面向网络文本的信息可信度研究

论文摘要

当互联网用户对一个疑惑的命题通过搜索引擎寻求答案时,不得不面对几十至几千条的搜索结果进行人工判别。网络上过量的搜索引擎返回结果分散了用户的精力和时间。又由于搜索引擎不能保证所有搜索结果的可靠性,其中掺杂的有误信息可能会误导用户,影响其做出正确的判断。如何过滤掉有误信息、筛选出可信信息是互联网用户面临的一个问题。因此研究信息可信度并帮助人们获取可信信息是有意义的。网络上传播的信息,其可信度与两大因素相关:信息源的可信度和信息在网络这一传播媒体中的传播转载的特点。本文在研究中同时考虑了这两方面因素,设计了两层特征空间来从网络文本信息中抽取可信信息候选集,通过信息源可信度分类和信息的可信度计算获取可信信息。两层特征空间的第一层是关于信息源的特征空间,用于判断信息源的可信度。通过组建可信信息、不可信信息的信息库,训练得到判断信息源可信度的模型。第二层特征空间用于判断信息的可信度,由信息源可信度及信息在网络中的覆盖率等其他统计信息组成,通过计算最终得到信息的可信度。本文的研究内容主要包括以下几方面:(1)在提取可信信息阶段,提出了利用词语结构特征从文本中提取可能为可信信息的候选信息。词语结构特征包括词性特征和命名实体特征,本文通过这两项特征来提取可信信息的候选集,实验中的提取准确度为91.25%。(2)在信息可信度计算阶段,提出了构造包括信息源特征和可信信息特征的两层特征空间,将第一层信息源的可信度分类结果加入到第二层可信信息特征空间中,再通过可信度计算,排序获得最终的高可信度答案。(3)结合本文提出的算法,设计实现了面向网络文本的信息可信度评估系统。系统在实验中获得89.2%的准确度。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 课题目的及意义
• 1.2 国内外研究现状
• 1.2.1 关于信息可信度的理论研究
• 1.2.2 相关技术和系统介绍
• 1.3 本文主要研究内容
• 第2章 信息可信度
• 2.1 信息可信度的定义
• 2.2 网络信息特点
• 2.3 网络信息可信度的评估标准
• 2.4 本文采用的评估标准
• 2.5 本章小结
• 第3章 可信答案候选集的获取
• 3.1 替换项提取流程
• 3.2 相关技术介绍
• 3.2.1 网页正文抽取技术
• 3.2.2 特征选择和文本表示
• 3.2.3 分类算法
• 3.3 基于规则的网页文本信息抽取
• 3.4 文本预处理
• 3.4.1 基于规则获取组块信息
• 3.4.2 词语结构特征的获取
• 3.5 词语结构过滤器
• 3.6 本章小结
• 第4章 信息可信度的计算
• 4.1 信息可信度评估流程
• 4.2 信息源可信度的评估模型的构建
• 4.2.1 训练数据的获得
• 4.2.2 信息源特征的选取
• 4.2.3 分类算法
• 4.3 信息可信度的计算
• 4.3.1 特征空间构造
• 4.3.2 计算信息可信度
• 4.4 本章小结
• 第5章 实验结果分析
• 5.1 系统设计
• 5.1.1 数据采集模块
• 5.1.2 替换项提取模块
• 5.1.3 信息源可信度评估模块
• 5.1.4 可信度计算模块
• 5.1.5 用户交互模块
• 5.2 实验环境
• 5.3 实验数据
• 5.3.1 选取替换项实验数据
• 5.3.2 信息源可信度分类实验数据
• 5.3.3 两种信息可信度评估方法的对比实验数据
• 5.4 实验评价方法
• 5.4.1 替换项抽取实验评价方法
• 5.4.2 分类评价方法
• 5.4.3 评估可信度实验的评价方法
• 5.5 实验结果分析
• 5.5.1 替换项提取实验
• 5.5.2 信息源可信度分类实验
• 5.5.3 两种信息可信度评估方法的对比实验
• 5.6 本章小结
• 结论
• 参考文献
• 致谢