蒙古文网页抓取及编码识别转换研究

论文摘要

随着Internet技术的发展和广泛应用,人们获取信息的方式也从传统的书本渐渐转移到了网络,造成网络信息飞速增长,网页数量不断增加,人们查找自己真正需要的信息难度也相应增加了。这样就促生了人们对信息查找工具—搜索引擎的需求。通过使用搜索引擎能够使人们比通过传统方式更迅速地找到信息、产品和服务。经过这几年蒙古文信息化建设,蒙古文网页也随之渐渐增多,获取蒙古文信息的范围也渐渐扩大起来,其中要寻找需要的信息的困难也相对增加起来。目前搜索引擎对信息检索起到很大作用,但是蒙古文搜索引擎却一直没有发展起来,其中主要的原因是蒙古文没有统一的编码,并且蒙古文网页编码多样化、(各种编码之间无相互转换规则)无规则、互相间无联系性,所以通过这些编码编辑的网页文本也会是各异的,这也是蒙古文搜索引擎一直没有出现的技术难题之一。然而对于普通用户只关注网页中的内容,并不关心它是使用何种技术、何种编码所制作。因此,我们对于一个未知编码的网页要想正确取得其内容,需要对其做出判断,以确定其是什么编码的网页,然后才能正确识别其内容,所以对蒙古文网页进行抓取、编码识别并转换为统一中间编码成为我们的研究的方向。

论文目录

• 摘要
• ABSTRACT
• 引言
• 第一章 网络蜘蛛SPIDER的工作原理
• 1.1 搜索引擎概述
• 1.2 网络蜘蛛基本原理
• 1.3 网络蜘蛛搜索策略
• 1.3.1 宽度优先搜索策略
• 1.3.2 深度优先搜索策略
• 1.3.3 垂直搜索策略
• 1.4 网络蜘蛛组成部分
• 1.4.1 URL解析
• 1.4.2 获取远程Web服务器的页面
• 1.4.3 网页分析算法
• 1.4.4 去除网页中的标签
• 第二章 蒙古文编码的多样性
• 2.1 蒙古文编码多样性
• 2.2 蒙古文编码多样实例化说明
• 第三章 不同蒙古文网页编码识别
• 3.1 不同蒙古文编码的范围
• 3.2 蒙古文编码识别原则
• 3.3 蒙古文网页识别算法
• 3.3.1 基于蒙古文编码非重叠区域的编码识别方法
• 3.3.2 基于蒙古文助词与标点特征字符识别
• 3.3.3 基于字频分布的编码识别
• 3.3.4 基于贝叶斯分类的编码识别
• 3.4 几种编码识别方法比较
• 第四章 蒙古文网页编码转换
• 4.1 蒙古文编码转换由来
• 4.2 蒙古文转换的原则
• 4.3 蒙古文编码转换
• 第五章 总结和展望
• 参考文献
• 致谢