本文实例讲述了Python爬虫实现爬取百度百科词条功能。分享给大家供大家参考，具体如下： 爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行

读取excel中关键字，利用webdriver对关键词进行搜索，将搜索到的百度百科词条保存到excel中。

自己用爬虫抓取的百度百科分类词条，分好类的

百度百科约500万条词条，可用于语义关联或简单的知识网络建立，xml格式，解压后638M，请不要用记事本直接打开，我是用UE打开的，sublime好像会有乱码，文件内容示例如下： =1 <TITLE>=百度百科 =百度，百度百科，网络，百科全书，百科词典 =百度知道;贴吧;百度空间;百度地图;百度新闻搜索;百度图片;百度mp3;百度Hi;百度工具栏;百度影视;百度邮编搜索;百度黄页搜索;百度杀毒;百度语音搜索;科利尔百科全书;苏联大百科全书;汇吃百科;维基百科;百度视频;百度蜘蛛;百度文库;互动百科;百度文档;百度文化共享搜索;百度盲道;百度会员;百度搜藏;百度TV;百科全书;知识掌门人;百度游戏;百度有啊;张震;科友; =http://baike.baidu.com/view/1.htm =2 <TITLE>=词条 =百度，百度百科 =相关词条; =http://baike.baidu.com/view/2.htm =3 <TITLE>=编辑实验 =百度，百度百科，帮助，词条，编辑 =词条;百度; =http://baike.baidu.com/view/3.htm =4 <TITLE>=馒头 =食品，饮食，面食，食谱，蒸馍 =大饼;油条;面包;饺子;花卷;包子;麻花;食品;主食;糯米饭;蛋糕;鲜肉包;米粥;面条;凉拌菜;年糕;饼干;窝头;粽子;烤饼;酥饼;汤圆;烧饼; =http://baike.baidu.com/view/4.htm =6 <TITLE>=雁荡山 =地理，旅游，旅游景点，自然景观，地质公园 =华山;泰山;普陀山;恒山;嵩山;莫干山;浣江;衡山;括苍山;双龙洞;雪窦山;天台山;天目山;楠溪江;天柱山;景宁香炉山;乌镇;杭州西湖;泽雅;白水洋;武夷山;洞宫山;桃花岛;三清山;黄山;新安江水库;崂山区;溪口;太姥山;南麂列岛;野鹤湫;庐山;江心屿;瑶溪;朱家尖;石桅岩;绍兴县;杨家溪;仙岩山;仙都风景区;大龙湫;三折瀑;五岳; =http://baike.baidu.com/view/6.htm =7 <TITLE>=灵峰 =风景，雁荡山，地理，旅游，温州 = =http://baike.baidu.com/view/7.htm

入门级爬虫，爬取百度百科词条和简介

这篇文档就是解密百度百科之“企业词条”创建的那些不为人知的问题，并且我将抛开各种繁琐的“大道理”和“无用的知识点”，通过简单直接的“核心秘密”让大家看完后很快就能轻松的创建各种类型的百度百科企业词条，从此以后不用再花钱求别人了。

这篇文档就是解密百度百科之“作品”创建的那些不为人知的问题，并且我将抛开各种繁琐的“大道理”和“无用的知识点”，通过简单直接的“核心秘密”让大家看完后很快就能轻松的创建各种类型的百度百科作品词条，从此以后不用再花钱求别人了。

使用Python编写的爬取百度百科词条信息的Demo源代码，具体看博客：http://blog.csdn.net/tianmaxingkong_/article/details/52959784

百度百科全部词条，包含最新的百度百科全部词条，dic格式，解压后用notepad打开即可