admin 管理员组

文章数量: 888299

SPARK+ANSJ 中文分词基本操作

ANSJ 5.0.2

这是一个基于n-Gram+CRF+HMM的中文分词的java实现.
分词速度达到每秒钟大约200万字左右（mac air下测试），准确率能达到96%以上
目前实现了.中文分词. 中文姓名识别 . 用户自定义词典,关键字提取，自动摘要，关键字标记等功能
可以应用到自然语言处理等方面,适用于对分词效果要求高的各种项目.

下载地址 ：/

ansj_seg-5.0.2-all-in-one.jar

单个添加词典

import org.ansj.library.UserDefineLibrary
UserDefineLibrary.insertWord("艾泽拉斯","n",10) //参数（自定义词，词性，词频）

import org.ansj.splitWord.analysis.{BaseAnalysis, NlpAnalysis, ToAnalysis}
//基础分词
val parse = BaseAnalysis.parse("我在艾泽拉斯")
[我/r, 在/p, 艾/nr, 泽/ag, 拉/v, 斯/rg]
基础分词不支持用户自定义词典，所以不发生改变
println(parse)
//精准分词
val parse1 = ToAnalysis.parse("我在艾泽拉斯")
println(parse1)
[我/r, 在/p, 艾泽拉斯/n]
//NLP分词
val parse2 = NlpAnalysis.parse("我在艾泽拉斯")
println(parse2)
[我/r, 在/p, 艾泽拉斯/n]
 

 

单个移除词典
 

 

UserDefineLibrary.removeWord("艾泽拉斯")
val parse3 = ToAnalysis.parse("我在艾泽拉斯")
println(parse3)
[我/r, 在/p, 艾泽拉/nr, 斯/rg]

 

 

加载自定义词库
 

 

import org.ansj.library.UserDefineLibrary
词库格式（"自动义词"[tab]键"词性"[tab]键"词频"）

UserDefineLibrary.loadLibrary(UserDefineLibrary.FOREST,"/home/spark/opt/hadoop-2.7/bin/address2.dic")
第一个参数直接默认为 
UserDefineLibrary.FOREST
第二个参数词库路径
address2.dic 格式
艾泽拉斯    n    1000
雷霆图腾    n    1000
至高岭    n    1000
println(ToAnalysis.parse("我在艾泽拉斯至高岭雷霆图腾"))
[我/r, 在/p, 艾泽拉斯/n, 至高岭/n, 雷霆图腾/n]
 去停用词 

 

 

import org.ansj.recognition.impl.FilterRecognition
1.根据自定义词去停用词

val filter = new FilterRecognition()
val stopWord = "冠军"

filter.insertStopWord(stopWord)
val str = "湖人获得了冠军"
val parse4 = ToAnalysis.parse(str).recognition(filter)
println(parse4)
湖/n,人/n,获得/v,了/ul
2.根据词性去停用词
val filter1 = new FilterRecognition()
filter1.insertStopNatures("n")
val str = "湖人获得了冠军"
val parse5 = ToAnalysis.parse(str).recognition(filter)
获得/v,了/ul
3.根据正则表达式去停用词
val filter2 = new FilterRecognition()
filter2.insertStopRegex(Regex)//正则表达式

 

 

 


 
            
            
            

                本文标签：
                                                SPARKANSJ 中文分词基本操作
                                            


            

                

                    

                        版权声明：本文标题：SPARK+ANSJ 中文分词基本操作 内容由网友自发贡献，该文观点仅代表作者本人，
                        转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1693585849h230760.html，
                        本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。