2 详细设计。
2.1 网页抓取。
网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL,在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL,并重复上述过程，直到达到系统的某一条件时停止。该模块通过网络爬虫从凤凰、腾讯、搜狐、网易新闻网中的网页爬取我们想要的页面URL.爬虫开始时，我们添加种子URL到URL请求队列中，我们输入的种子URL为凤凰、腾讯、搜狐、网页新闻网的页面的URL.通过对凤凰、腾讯、搜狐、网易新闻网的页面的URL格式进行分析，当得到的URL地址满足凤凰、腾讯、搜狐、网易网页面的URL格式，则将它添加到URL请求队列中。
网络爬虫的工作流图如图5所示。
定制网络爬虫抓取凤凰网：
<spiderConfig name=“Spider” interval=“200”>
<seed url=“http://news.ifeng.com/”
parser=“org.webspider.parser.NewsIfengParser”
listener=“org.webspider.listener.DbSpiderListener”
host=“news.ifeng.com” forbidden=“”>
<target type=“regex”><![CDATA[http://news\.ifeng\.com/a/\d{8}/\d+_\d{1}\.shtml]]></target>
<digUrl type=“start” ><![CDATA[http://news.ifeng.com/]]></digUrl>
</seed>
</spiderConfig>
2.2 网页信息抽取。
网页内容抽取主要负责将本地文件所存储的网页中按照某种抽取规则抽取所需信息，并将所得到的信息按照特定的格式保存到数据库中。
遍历存储所抓取网页的本地文件夹，如果遍历到网页，则运用jsoup对网页的标题，作者，时间，正文实现定向抓取。将抓取的内容保存为。txt文件存放到指定文件夹中。将抓取到的内容，如网页凤凰网新闻的标题，作者，发布时间，正文，链接地址，分别存入到数据库news表中的相应列。
网页信息抽取流程图6如下。
实现的关键代码：
public class DefaultParser implements Parser{.
@Override.
public List<Map<String, Object》 parse（Page page） {.
//创建一个List,存放解析出来的Map.
List<Map<String, Object》 datas = new ArrayList<Map<String,Object》（）。
//通过网页的html,创建一个Document.
Document doc = Jsoup.parse（page.getContent（））。
//创建一个map,用于存放解析的具体字段。
Map<String, Object> data = new HashMap<String,Object>（）。
//把网页的原始url放入map.
data.put（“origin_url”, page.getUrl（））。
//利用jsoup的选择器，提取标题title这个元素。
Elements title = doc.select（“title”）。
//得到标题的文本，并放到map里去。
data.put（“title”, title.text（））。
//解析得到的map,放入list里去。
datas.add（data）。
//返回解析结果List.
return datas;}}
