面向WI输入法的新词发现技术研究与实现

论文摘要

拼音输入法通过输入拼音串转换为汉字串,转换的准确率很大程度上取决于词典是否涵盖常用词汇,特别是一些新兴词汇。手工向词典中加入新词费时费力,而新词发现技术则从大规模文本中自动挖掘新词,具有自动化、易于发现热门词汇等特点。本文将探讨新词发现技术,并将挖掘出来的新词添加到输入法词典中以期提高输入法的音字转换准确率。本文首先探讨了两类新词的挖掘方法:情感词以及商品词。在情感词挖掘中,本文提出基于最大流最小割原理的迭代中文情感词挖掘方法,实验结果显示,基于该思想在挖掘主观词方面具有较强能力,其性能高于传统的基于统计模型的主观词挖掘方法;在商品词挖掘中,本文选择用户在购物网站上的搜索日志作为发现商品词的数据来源,并根据搜索日志的数据特点,在对用户查询(query)的自然分词基础上,采用N元递增分步算法和串频统计,计算候选串的条件概率,选择候选商品词。最后,本文介绍了针对“苹果”公司iOS平台的输入法开发的相关流程,并展示了新词发现技术在WI输入法中发挥的重要作用。WI输入法是哈尔滨工业大学计算机学院语言技术中心网络智能研究室研发的一款面向苹果平台的中文语句级输入法。它的第一个版本于2010年11月11日发布,目前已有用户12万以上,其输入的准确性、流畅性等获得了用户的广泛好评。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 课题来源及研究意义
• 1.2 新词的定义及分类
• 1.3 国内外研究现状
• 1.3.1 基于规则的新词发现方法
• 1.3.2 词语情感倾向性分析
• 1.3.3 规则和统计相结合的新词发现方法
• 1.4 本文的内容组织
• 第2章 基于最大流最小割原理的迭代中文情感词挖掘研究
• 2.1 引言
• 2.2 相关模型
• 2.2.1 最大熵模型
• 2.2.2 最大流最小割原理
• 2.3 基于最大流最小割的迭代中文情感词挖掘
• 2.3.1 构建情感词典
• 2.3.2 情感词分类
• 2.3.3 构建词的加权无向图
• 2.4 实验与分析
• 2.4.1 数据
• 2.4.2 实验结果与分析
• 2.5 本章小结
• 第3章 基于N 元递增分步算法的商品词发现
• 3.1 商品词的概念
• 3.1.1 商品词的特点
• 3.1.2 商品词的作用
• 3.2 商品词发现的任务
• 3.3 商品词发现处理的数据
• 3.4 商品词发现的方法
• 3.4.1 商品词发现的方法概述
• 3.4.2 日志的预处理
• 3.4.3 候选词的挖掘
• 3.5 结果评价
• 3.5.1 评价方式
• 3.5.2 评价结果
• 3.6 本章小结
• 第4章 新词在WI 输入法中的应用
• 4.1 iOS 系统介绍
• 4.1.1 各个层的功能及其包含的组件和框架
• 4.1.2 iOS 上开发软件的限制
• 4.1.3 iOS 上应用程序开放环境介绍
• 4.2 iOS 中文输入法开发的重点难点
• 4.2.1 iOS 上两类输入法的区别
• 4.2.2 iOS 中文输入法开发的难点
• 4.2.3 iOS 中文输入法开发的重点
• 4.3 新词在WI 输入法中的应用
• 4.3.1 加入情感词对音字转换精度的影响
• 4.3.2 加入商品词对音字转换精度的影响
• 4.4 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文及其它成果
• 致谢