分布式搜索引擎索引安全及缓存策略研究

论文摘要

本课题所依托的国家863项目“分布式密文全文检索系统关键技术研究”的主要应用场景是具有较高文档保密需求的政府机关和大中型企业。这些机构的文档保有规模和用户数量十分巨大,需要使用分布式搜索引擎才能满足日常搜索需要,而且他们对文档的安全性和访问控制均有较高要求,希望在满足日常搜索需求的同时可以兼顾索引安全和访问控制,尽量减少不必要的信息外泄。作者所在课题组研究索引安全和分布式检索已有时日,先后研发出集中式密文全文检索系统和分布式密文全文检索系统,并且在湖北省电子政务领域有成功的应用案例。但是先期系统仍然存在索引安全性不高,无独立缓存机制等不足之处,本课题在已有成果的基础上,针对上述问题进行了优化和改进。对索引安全策略的加密对象和加密方式进行了结构性调整,采用基于索引词倒排表物理分块加密的安全索引结构,直接面向底层索引文件进行操作,全部分块保持相同长度,避免了恶意用户利用分块大小不同进行统计攻击的可能性,获得了更高的安全性和索引处理效率。新增了适用于原有系统的分布式缓存机制,为检索服务器和索引服务器分别设置缓存。检索服务器缓存查询结果集,并且融入了对访问控制信息的支持;索引服务器缓存索引词倒排表,分为静态和动态两部分,前者存放日常查询中的高频索引词倒排表,负责处理大多数长期稳定的通用查询请求;后者存放系统新近查询用到的索引词倒排表,满足短期突发性热点词汇的查询需求。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 论文研究背景
• 1.2 国内外研究现状
• 1.3 论文主要工作
• 1.4 论文组织结构
• 第2章 搜索引擎概述
• 2.1 常见索引结构
• 2.2 索引分布策略
• 2.3 本章小结
• 第3章 分布式搜索引擎索引安全研究
• 3.1 倒排表索引的数据安全策略
• 3.2 基于物理分块加密的安全索引结构
• 3.3 支持多种加密模式的安全管理策略
• 3.4 本章小结
• 第4章 分布式搜索引擎缓存策略研究
• 4.1 搜索引擎通用缓存策略
• 4.2 分布式搜索引擎整体缓存架构
• 4.3 索引服务器缓存策略
• 4.4 检索服务器缓存策略
• 4.5 本章小结
• 第5章 分布式密文全文检索系统设计与实现
• 5.1 分布式Mimir 整体架构
• 5.2 分布式Mimir 核心模块设计
• 5.3 分布式Mimir 性能测试
• 5.4 本章小结
• 第6章 总结与展望
• 6.1 论文工作总结
• 6.2 进一步研究方向
• 参考文献
• 致谢
• 附录1 攻读硕士学位期间参与的科研项目
• 附录2 攻读硕士学位期间取得的科研成果