一、项目介绍         今天我们的爬虫内容是bilibili视频弹幕爬取，并保存到本地为JSON格式，正常爬虫只需要发送请求，解析相应内容，而爬取bilibili的内容，视频弹幕并没在响应的html中，而是保存在一个响应的url中，以XML格式保存，所以这算是一个新的内容，我会在下面进行详解。 二、所需技术 import requests (发送请求获取响应数据) from lxml import etree (xpath提取内容) import re (正则表达式提取内容) import json (JSON格式与文本格式的转换) 三、网页分析 1、分析响应内容         首先以

首先我是从淘宝进去，爬取了按销量排序的所有（100页）女装的列表信息按综合、销量分别爬取淘宝女装列表信息，然后导出前100商品的 link，爬取其详细信息。这些商品有淘宝的，也有天猫的，这两个平台有些区别，处理的时候要注意。比如，有的说“面料”、有的说“材质成分”，其实是一个意思，等等。可以取不同的链接做一下测试。 import re from collections import OrderedDict from bs4 import BeautifulSoup from pyquery import PyQuery as pq #获取整个网页的源代码 from config impo

关于DHT协议 DHT协议作为BT协议的一个辅助，是非常好玩的。它主要是为了在BT正式下载时得到种子或者BT资源。传统的网络，需要一台中央服务器存放种子或者BT资源，不仅浪费服务器资源，还容易出现单点的各种问题，而DHT网络则是为了去中心化，也就是说任意时刻，这个网络总有节点是亮的，你可以去询问问这些亮的节点，从而将自己加入DHT网络。 要实现DHT协议的网络爬虫，主要分3步，第一步是得到资源信息(infohash，160bit，20字节，可以编码为40字节的十六进制字符串)，第二步是确认这些infohash是有效的，第三步是通过有效的infohash下载到BT的种子文件，从而得到对这个资源的

vivino网站葡萄酒信息，使用Python开发爬虫，从vivino网站爬取的数据，压缩包中main.py为爬虫程序，wine.csv为当时爬取的数据

（含源码）本程序分析了自2014年到2020年每年我国原油加工的产量，并且分析了2019年全国各省份原油加工量（山西、西藏、重庆、贵州、台湾省等地区由于网站未给出，故暂未处理） 运行本程序需要requests、bs4、csv、pandas、matplotlib、pyecharts库的支持，如果缺少某库请自行安装后再运行。 文件含2个excel表，4个csv文件以及一个名字为render的html文件（需要用浏览器打开），直观的数据处理部分是图片以及html文件，数据处理的是excel文件，这两个可以直接用于写报告。不懂可以扫文件中二维码在微信里面问。

新浪财经24小时python爬虫程序，内置自动推送到企业微信的群机械人的功能。适合微信企业群使用。爬虫仅供个人学习研究python使用，请勿使用于商业或非法用途。

[Python爬虫实例项目]使用Python3+scrapy+pymysql爬取某电影网站数万条数据到MySQL数据库源码

这里是一个用python写的百度贴吧和糗事百科的爬虫源代码

本篇文章给大家详细分析了通过Python爬虫如何采集到2345的天气预报信息，有兴趣的朋友参考学习下吧。

本程序可以爬取新闻网站的新闻列表，本代码以中国地质大学（武汉）官网为例，如果需要更换，可以直接更换baseURL，然后打开控制台分析代码结构，适当修改即可。