jieba分词
作用:基于中文的分词工具,可以实现词频统计、关键词抽取等工作
安装
- 新建项目
- 打开命令提示符,安装jieba
- 安装:pip install jieba --use-pep517
jieba语法结构
- 结构1:jieba.cut(sentence , cut_all=False , HMM=True , use_paddle=False)
- sentence:需要分词的内容
- cut_all : 是否使用全模式,默认情况下为False即不使用
- HMM:是否使用隐马尔科夫链,默认下是开启的,会对字典中无出现的词语进行自动识别并对其进行组合,关闭或不会对陌生词语进行识别
- use_paddle:是否使用paddle模式进行分词,默认关闭
- 结构2:jieba.lcut() ,参数同上,返回值为列表list类型(推荐)
jiba分词的三种模式
- 精确模式:试图将句子最精确的切开,不存在冗余,适合文本的分析
- 全模式:将句子所有可能的词语组合都进行扫描,速度快,可能结果有歧义或者冗余
- 搜索引擎模式:在精确模式下,对长词再次进行切割,调高分词成功率
例1:
import jieba str1 = jieba.lcut('中国是一个伟大的国家') # 精确模式 print(str1) str2 = jieba.lcut('中国是一个伟大的国家', cut_all=True) # 全模式 print(str2) str3 = jieba.lcut_for_search('中华人民共和国是一个伟大的国家') # 搜索引擎模式 print(str3)
讯享网
例2:导入文件进行分词
讯享网txt = open('qingchun.txt', 'r', encoding='utf-8').read() words = jieba.lcut(txt) for w in words: if w=='\n': # 逢回车换行则输出\n print() else: print(w, end=' ')
例3:
import jieba txt = open('xz.txt', 'r', encoding='utf-8').read() words = jieba.lcut(txt) print(words)
自定义词典分词
- 原因:上例中某些词汇无法正常分词,表明jieba库中没有该词汇,分词有误,可以自定义字典,添加新词,完成分词操作
- 字典格式:
- 新建文本文件
- 一个词一行
- 每行分为三部分:词语、词频、词性,空格间隔,顺序不可错乱,后两者可以省略
- 文件打开方式必须为utf-8
- 例4:添加自定义字典分词
讯享网import jieba txt = open('xz.txt', 'r', encoding='utf-8').read() jieba.load_userdict('xzd.txt') # 使用自定义字典 words = jieba.lcut(txt) print(words)
- 例5:对内置默认字典添加词汇分词
import jieba txt = open('jsj.txt', 'r', encoding='utf-8').read() jieba.add_word('大数据') # 手动添加新词到默认字典 jieba.add_word('云计算') jieba.add_word('区块链') words = jieba.lcut(txt) print(words)
wordcloud
词云:通过关键词渲染对网络文本出现频率较高的词汇进行视觉上突出显示,通过词云图可以过滤到大量文本信息,使读者快速提取文本重要信息,已达到数据分析目的
安装所需库
- 安装数学计算库:pip install numpy
- 安装图像处理标准库:pip install pillow
- 安装绘图库:pip install matplotlib
- 安装wordcloud库(关键)
- pip install wordcloud (若报错,需要安装vs组建)
- 下载离线安装包进行安装:pip install 将下号的文件鼠标拖动到此处
制作步骤
- 读取文本:open()
- 分词
- 中文分词:jieba.lcut()
- 以空格分割文本:变量名=' '.join(变量名)
- 词云
- 调用对象:wordcloud.WordCloud(参数)
- 设置字体、布局等参数
- 生成词云:对象.generate(对象)
- 输出到文件:
- 对象.to_file('文件名') 默认格式为png或jpg
- 通过matplotlib库绘图输出
wordcloud.WordCloud( )函数介绍
- 参数

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/133119.html