基于Python技术的校园网搜索引擎的设计与实现

针对上述问题，本文以燕山大学校园网为研究对象，在分析了网络搜索引擎的 原理、核心模块和运行流程的基础上，探索性地研究并实现了一个在Linux平台下 基于Python技术的面向校园网的原型搜索引擎。 首先，本文给出了搜索引擎的简要工作流程，介绍搜索引擎屮的一些关键的技 术，并着重分析了目前广泛运用的BM25搜索引擎检索模型。 其次，通过使用基于Python语言的Scrapy开源爬虫框架，BeautifulSoup网页解 析库，对搜索引擎的爬虫模块进行开发，指出了 Scrapy框架原有的URL去重方法会 导致针对大规模网站抓取时，内存耗费过大的问题，并提出了一种使用布隆过滤器 对Scrapy爬虫框架的URL去重功能进行改进的方案。同时，根据实际经验，提出了 两种防止爬虫被ban的策略。 再次，利用基于Python语言的Whoosh索引检索库，对本系统索引检索模块进 行开发。针对Whoosh对中文分词效果不好的问题，提出了使用jieba开源分词组件 来对Whoosh的中文分词功能进行改进。通过使用基于Python语言的Flask框架，来 实现用户界面，使用户可以通过网页端使......