河北联合大学 本科毕业设计中期检查报告 题目：简单搜索引擎设计与开发 学 院： 信息工程学院 专 业： 网络工程 班 级： 10 网络 2 班 姓 名： 学 号： 指导教师： 2014 年 3 月 15 日 

一、工作任务的进展情况 我选择的毕业设计的课题是简单搜索引擎设计与开发。设计的最终结果是实现 全文搜索引擎的基本功能，用户登录到特定的网页上，输入关键字查询自己需要的 信息，搜索引擎返回给用户相关的网页地址以及基本内容摘要。用户通过点击相关 的网页链接浏览选定的网页。 主要的课题工具lucene是一套全文搜索引擎的开发工具包，其中包含大量的 API，可以通过对于这些函数的调用实现搜索功能。网络爬虫采用开源的heritrix并 且对其进行一定的修改和删减。具体的编程语言采用java，开发工具为eclipse。 从选题开始，我通过查阅相关书籍、草拟工作计划，完成撰写开题报告、以及 进行需求分析并撰写需求分析报告等工作，现在目前已基本掌握了结合多种工具开 发一个简单的全文搜索引擎的的过程。 首先，在选定了课题以后，我听取导师针对我所选课题的指导与分析，对毕业 设计的相关内容有了一定的认识与了解。 其次，我按照导师的指导，安装了此次设计所用到的工具：eclipse，dreamweaver 并下载了开源的爬虫工具。由于以前没有接触过 java 编程，也开始了对 java 语言 的学习。同时，撰写了开题报告，并按着开题报告开始毕业设计的内容。到目前为 止，我已经学习了以下知识： (1) 学习了搜索引擎运行的基本原理和基本的工作过程，对于三大组成部分有 了一定的了解。 (2) 学习了 java 语言的语法，掌握了 java 的开发工具 eclipse 的使用方法和 错误的调试方法。 (3)学习了和网站相关的 HTML，css，javascript 等方面的知识。 (4) 学习了使用 lucene 中包含的 API 进行工程的开发。 (5) 学习了数据库的基本运行原理，由于一个搜索引擎的后台需要强大的数据 库支持，尤其是数据量巨大的时候，有时甚至需要多个数据库和索引库，比如搜索 过程中的关键词库和爬虫爬到网页之后存到的网页库等。在工作的过程中我已经基 本掌握了用 java 语言对数据库的基本操作。 (6) 学习了网络爬虫的基本知识，作为一个完整的全文搜索引擎的重要组成部 分，网络爬虫的工作过程直接影响整体系统的工作效率，在学习过程中我已经基本 掌握了在 eclipse 中配置 heritrix 的开发环境，配置运行时的参数和其镜像存储结 构等基本操作。 二、未按计划完成工作任务的原因 未完成的工作任务：对于网络爬虫部分的学习深度不够，只学到了基本部分， 

还有大部分没有搞懂。 未完成的原因：heritrix 采用 java 开发，由于以前没有学习过 java 语言，所 学习这门语言花费了大量的时间，所以时间上安排有些紧张；另外，由于爬虫程序 比较复杂，又没有良好的语言基础，所以在配置和学习的过程中存在不小的障碍。 三、工作中遇到的问题及改进措施 1、开始的过程中无法运行 java 程序。 解决方法：计算机中缺少 jdk，sun 公司官网上下载最新的 64 位的 jdk 安装之 后进行环境变量的配置。 2、刚开始消除重复抓取的链接过程比较费时间。 解决方法：定义两个队列采用二分法来查找并且消除，基本代码如下： function binarySearch(items, value){ var startIndex = 0, stopIndex = items.length - 1, middle = Math.floor((stopIndex + startIndex)/2); while(items[middle] != value && startIndex < stopIndex){ if (value < items[middle]){ stopIndex = middle - 1; } else if (value > items[middle]){ startIndex = middle + 1; } middle = Math.floor((stopIndex + startIndex)/2); } return (items[middle] != value) ? -1 : middle; } 四、下一步工作计划 (1) 继续学习网络爬虫的有关内容，不懂的地方向导师于复兴老师虚心请教。 (2) 将重点转移到前台界面的制作和数据库的搭建。 (3) 完成初步设计，并对编写的代码进行修改。 (4) 书写毕业设计说明书。 (5) 准备毕业答辩。在导师的指导下对毕业论文进行修改，准备毕业答辩。 学生签字：*** 2014 年 3 月 15 日