Jcseg(Java中文分词器)
v2.6.2官方版- 软件大小:4.9M
- 更新日期:2020/8/28
- 软件语言:简体
- 软件类别:源码相关
- 软件授权:免费软件
- 软件官网:https://gitee.com/lionsoul/jcseg
- 适用平台:WinAll
软件介绍精品推荐相关视频人气软件相关文章评论0下载地址
Jcseg是基于mmseg算法的一个轻量级Java中文分词器,同时集成了关键字提取,关键短语提取,关键句子提取和文章自动摘要等功能,并且提供了一个基于Jetty的web服务器,方便各大语言直接http调用,同时提供了最新版本的lucene,solr和elasticsearch的搜索分词接口。
相关软件软件大小版本说明下载地址
Jcseg是基于mmseg算法的一个轻量级Java中文分词器,同时集成了关键字提取,关键短语提取,关键句子提取和文章自动摘要等功能,并且提供了一个基于Jetty的web服务器,方便各大语言直接http调用,同时提供了最新版本的lucene,solr和elasticsearch的搜索分词接口!
功能介绍
Jcseg核心功能:
中文分词:mmseg算法 + Jcseg 独创的优化算法,七种切分模式。
关键字提取:基于textRank算法。
关键短语提取:基于textRank算法。
关键句子提取:基于textRank算法。
文章自动摘要:基于BM25+textRank算法。
自动词性标注:基于词库+(统计歧义去除计划),目前效果不是很理想,对词性标注结果要求较高的应用不建议使用。
命名实体标注:基于词库+(统计歧义去除计划),电子邮件,网址,大陆手机号码,地名,人名,货币,datetime时间,长度,面积,距离单位等。
Restful api:嵌入jetty提供了一个绝对高性能的server模块,包含全部功能的http接口,标准化json输出格式,方便各种语言客户端直接调用。
Jcseg中文分词:
七种切分模式:
简易模式:FMM算法,适合速度要求场合。
复杂模式:MMSEG四种过滤算法,具有较高的歧义去除,分词准确率达到了98.41%。
检测模式:只返回词库中已有的词条,很适合某些应用场合。
最多模式:细粒度切分,专为检索而生,除了中文处理外(不具备中文的人名,数字识别等智能功能)其他与复杂模式一致(英文,组合词等)。
分隔符模式:按照给定的字符切分词条,默认是空格,特定场合的应用。
NLP模式:继承自复杂模式,更改了数字,单位等词条的组合方式,增加电子邮件,大陆手机号码,网址,人名,地名,货币等以及无限种自定义实体的识别与返回。
n-gram模式:CJK和拉丁系字符的通用n-gram切分实现。
分词功能特性:
支持自定义词库。在lexicon文件夹下,可以随便添加/删除/更改词库和词库内容,并且对词库进行了分类。
支持词库多目录加载. 配置lexicon.path中使用';'隔开多个词库目录.
词库分为简体/繁体/简繁体混合词库: 可以专门适用于简体切分, 繁体切分, 简繁体混合切分, 并且可以利用下面提到的同义词实现,简繁体的相互检索, Jcseg同时提供了词库两个简单的词库管理工具来进行简繁体的转换和词库的合并。
中英文同义词追加/同义词匹配 + 中文词条拼音追加.词库整合了《现代汉语词典》和cc-cedict辞典中的词条,并且依据cc-cedict词典为词条标上了拼音,依据《中华同义词词典》为词条标上了同义词(尚未完成)。更改jcseg.properties配置文档可以在分词的时候加入拼音和同义词到分词结果中。
中文数字和中文分数识别,例如:"一百五十个人都来了,四十分之一的人。"中的"一百五十"和"四十分之一"。并且 Jcseg会自动将其转换为阿拉伯数字加入到分词结果中。如:150, 1/40。
支持中英混合词和英中混合词的识别(维护词库可以识别任何一种组合)。例如:B超, x射线, 卡拉ok, 奇都KTV, 哆啦a梦。
支持英文的类中文切分,同样使用mmseg算法来消除歧义,例如:“openarkcompiler”会被切分成:“open ark compiler”,该功能也可以被关闭。
更好的拉丁支持,电子邮件,域名,小数,分数,百分数,字母和标点组合词(例如C++, c#)的识别。
自定义切分保留标点. 例如: 保留&, 就可以识别k&r这种复杂词条。
复杂英文切分结果的二次切分: 可以保留原组合,同时可以避免复杂切分带来的检索命中率下降的情况,例如QQ2013会被切分成: qq2013/ qq/ 2013, chenxin619315@gmail.com会被切分成: chenxin619315@gmail.com/ chenxin/ 619315/ gmail/ com。
支持阿拉伯数字/小数/中文数字基本单字单位的识别,例如2012年,1.75米,38.6℃,五折,并且 Jcseg会将其转换为“5折”加入分词结果中。
智能圆角半角, 英文大小写转换。
特殊字母识别:例如:Ⅰ,Ⅱ;特殊数字识别:例如:①,⑩。
配对标点内容提取:例如:最好的Java书《java编程思想》,‘畅想杯黑客技术大赛’,被《,‘,“,『标点标记的内容。(1.6.8版开始支持)。
智能中文人名/外文翻译人名识别。中文人名识别正确率达94%以上。(中文人名可以维护lex-lname.lex,lex-dname-1.lex,lex-dname-2.lex来提高准确率),(引入规则和词性后会达到98%以上的识别正确率)。
自动中英文停止词过滤功能(需要在jcseg.properties中开启该选项,lex-stopwords.lex为停止词词库)。
词库更新自动加载功能, 开启一个守护线程定时的检测词库的更新并且加载(注意需要有对应词库目录下的的lex-autoload.todo文件的写入权限)。
自动词性标注(目前基于词库)。
自动实体的识别,默认支持:电子邮件,网址,大陆手机号码,地名,人名,货币等;词库中可以自定义各种实体并且再切分中返回。
精品推荐
其他版本下载
相关视频
-
没有数据
人气软件
源码下载者406KB
/简体正则表达式测试工具446KB
/简体源码行数统计(Iris Code Counter)中文版171KB
/简体1000个易语言模块大全17.2M
/简体php集成环境(DedeAMPZ)完整专业版11.9M
/简体php168整站系统(齐博CMS)11.5M
/简体GirlAndLady网上商城源码7.1M
/简体巢客文件管理系统987KB
/简体Google Blog Converters(博客数据转移器)25.7M
/英文百姓问问答系统678KB
/简体
厂商其他下载
- 电脑版安卓版IOS版Mac版
-
快车(FlashGet)7.4M
/简体VeryCD 电驴(easyMule)4.1M
/简体Opera浏览器81.8M
/简体光影魔术手19.1M
/简体360安全浏览器7.044.6M
/简体格式工厂103.0M
/多国语言[中文]365桌面日历9.6M
/简体福昕PDF阅读器(Foxit Reader)88.4M
/简体快播(QvodPlayer)12.2M
/简体快玩游戏盒31.7M
/简体
优志愿57.2M
/简体全民枪战2.01.40G
/简体北京公交103.2M
/简体泰拉瑞亚245.9M
/简体迷你世界582.3M
/简体江苏高考16.0M
/简体小米枪战1.31G
/简体腾讯疯狂贪吃蛇48.3M
/简体腾讯街头篮球544.2M
/简体深海大作战手机版30.9M
/简体
跑跑卡丁车40.7M
/简体高考志愿君app63.9M
/简体传奇战域手游491M
/简体像素车超改iphone版370.4M
/简体代号英雄iphone版371.2M
/简体人vs导弹游戏iphone版224.5M
/简体北京公交16.5M
/简体熊猫看书iPad版32.9M
/简体影音先锋iPad版0KB
/简体WPS iPad版228M
/简体
Betterzip Mac23.9M
/简体IINA Mac版77M
/英文多宝游戏盒Mac版90.2M
/简体eZip Mac版15.7M
/简体ios5.1固件802M
/简体Adobe Photoshop CS6 Mac版1.05G
/简体英雄联盟Mac版66.2M
/英文magican for mac12.1M
/简体虾歌Mac版9M
/简体欧朋浏览器for mac169.3M
/简体
相关文章
查看所有评论>>网友评论共0条
热门关键词
精彩评论