农业知识库知识录入系统关键技术研究与实现

论文摘要

近年来,农村信息化是建设社会主义新农村的重要内容,随着信息技术对农业和农村经济发展的促进作用逐渐显现,农业信息化必将成为“十二五”规划的重点之一,而农业信息化服务的重要性突显。目前湖南农业科技服务手段匮乏,服务模式落后,信息技术缺乏针对性,覆盖面不足,缺乏大型实用的高质量知识库,信息资源重复建设,利用率不高,造成极大的资源浪费,所以智能、高效的农业知识库建设已成当务之急。在农业信息化服务平台中,本文的研究负责知识库及知识的入库,是整个平台其核心部分。本文以广大农学专家的科研成果、农学专家的实际经验和资料为基础,深入研究中文分词技术、文本分类技术、文本相关度计算等技术,设计出农业知识库结构并实现了知识库录入系统,取得一定的成果。本文主要成果包括以下几点：1.利用Hash表在查找效率上优势,提出了基于Hash机制的词典查找、更新、删除、添加等操作新算法,该算法根据汉字GB码的特点,将保存首字GB码,提高了存储空间利用率和分词的速度。2.在词典中建立了农业专业词汇和方言词汇一对多的对应关系,在满足系统需求的同时,提高了分词的准确性。3.建立查重机制。知识库知识录入及沉淀时需对数据进行查重,控制知识“进”的咽喉,减少数据冗余。通过研究文本相关度技术,提出了一种针对农业的文本相关度计算方法,计算录入数据与知识库数据的相关性。当存在录入数据与知识库数据条目的相似度达到某阈值(变量)时,系统将不允许该知识条目的录入。4.系统采用Ext、JQuery等富客户端技术,使用AJAX无刷新技术,实现了知识录入系统的界面,达到了直观、形象和人机界面友好、易用等特点。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1 国内外研究现状
• 2 本文选题依据及研究意义
• 3 本文研究目标及主要研究内容
• 4 本文结构安排
• 第二章 相关技术探究
• 1 中文分词技术概述
• 1.1 基于词典的中文分词方法
• 1.2 基于统计分词方法
• 1.3 基于理解分词方法
• 2 查重相关技术
• 2.1 TF/IDF算法
• 2.2 向量空间模型
• 2.3 lucene排序模型
• 3 本章小结
• 第三章 系统概述及总体设计
• 1 系统概述
• 2 系统的体系结构
• 3 本章小结
• 第四章 系统关键技术研究
• 1 中文农业专业分词词典设计
• 1.1 汉字GB码
• 1.2 词典在内存中的表示
• 1.3 单实例设计模式
• 1.4 词典在磁盘中的表示
• 2 中文农业专业分词算法设计
• 2.1 词典哈希函数设计
• 2.2 词典的构建算法
• 2.3 词汇的查找算法
• 2.4 词汇的添加算法
• 2.5 词汇的同步
• 3 查重算法设计
• 3.1 算法设计要求
• 3.2 算法设计思路
• 4 本章小结
• 第五章 系统设计与实现
• 1 系统实现思路
• 2 系统实现技术
• 2.1 Ext技术
• 2.2 Jquery技术
• 3 系统功能实现
• 3.1 知识库设计
• 3.2 知识录入
• 3.3 知识编辑
• 3.4 知识审核
• 3.5 分词器
• 3.6 查重器
• 4 本章小结
• 第六章 算法评估及系统的测试
• 1 中文农业专业分词算法评估
• 1.1 算法评估
• 1.2 算法存在问题及讨论
• 2 查重算法评估
• 2.1 算法评估
• 2.2 算法存在问题及讨论
• 3 系统测试
• 3.1 接口测试
• 3.2 系统功能测试
• 4 本章小结
• 第七章 总结与未来工作展望
• 1 总结
• 2 未来工作展望
• 参考文献
• 致谢
• 作者简介