中文文字校对和文档对比合并开源工具调研
针对中文文字错别字校对和word，ppt等文档对比合并需求，调研现存的一些开源工具。
一. 中文文字纠错：
- pycorrector （开源 python3.6）
中文文本纠错工具。
音似、形似错字（或变体字）纠正，可用于中文拼音、笔画输入法的错误纠正。依据语言模型检测错别字位置，通过拼音音似特征、笔画五笔编辑距离特征及语言模型困惑度特征纠正错别字。
语言模型：
Kenlm（统计语言模型工具）
RNNLM（TensorFlow、PaddlePaddle均有实现栈式双向LSTM的语言模型）
可扩展性：
- 加载字典
- 统一编码
- 长句切分为短句，对每一个短句进行检错纠错
- 首先，检测句子中的疑似错误信息，返回的疑似错误信息包括[错误词、错误词位置、错误类型]，具体的做法是：①将句子切分成一个个的词语，如果词语不是过滤词也没有出现在词、频数字典中，就认为这个词可能是一个错误词，把它加入疑似错误信息；②根据语言模型检测疑似错误字，加入疑似错误信息。
- 针对上一步得到的错误信息，逐个对错误进行纠正：如果困惑集中有这个词，直接将错误词替换即可；否则，取得所有可能正确的
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/27101.html