自己实现的百度百科爬虫，非框架，可运行，可用于新手学习入门，通过此项目可清晰了解爬虫实现的基本原理

生意参谋-市场大盘，市场排行爬虫脚本，采用pyppeteer+PIL方式处理数值图片问题，人工登录，并将爬取结果保存为csv文件 脚本截取： import asyncio from pyppeteer import launch from PIL import Image import pytesseract import datetime import time import pandas as pd async def main(): start_time = datetime.datetime.now() print('浏览器初始化……') browser = await launch(headless=False, args=['--disable-infobars',f'--window-size=1366,768']) page = await browser.newPage() await page.setViewport({'width': 1366, 'height': 768}) await page.goto('https://login.taobao.com/member/login.jhtml?redirectURL=https://www.taobao.com/') #从淘宝登录 await page.evaluate( '''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''') await asyncio.sleep(30) #人工输入账号密码登录 print('开始登录……') await page.goto('https://sycm.taobao.com/mc/mq/overview?cateFlag=2&cateId=50022270&dateType=week') #登录后跳转到生意参谋 await asyncio.sleep(10) #await page.click('#content-container > div.ebase-metaDecorator__root > div > div.ebase-FaCommonFilter__root > div > div > div > div > div.ebase-FaCommonFilter__top > div.ebase-FaCommonFilter__right > div > div > div.oui-date-picker-particle-button > button.ant-btn.oui-canary-btn.ant-btn-primary.ant-btn-sm > span') await page.evaluate( '''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''') #uvHits = await page.waitForSelector('#sycm-mc-mq-cate-trend > div.oui-card-content.alife-one-design-sycm-indexes-trend-card-content > div > div.alife-one-design-sycm-indexes-trend-index-container > div > div > div:nth-child(1) > div.alife-one-design-sycm-indexes-trend-index-item-multiple-line-selectable.alife-one-design-sycm-indexes-trend-index-item-uvHits.active > div > div.oui-index-cell-indexValue.oui-num > div > div:nth-child(2) > img') #await uvHits.screenshot({'path': 'uvHits.png'}) #await asyncio.sleep(3) print('开始爬取市场大盘……')

爬取网易云音乐评论

使用pyhton爬取天气预报，lstm进行负荷预测，并使用window定时任务设置每小时执行

Python编程，天气爬虫实现，，，，，，，，，，，

《精通Python网络爬虫 核心技术、框架与项目实战.pdf》

Python爬虫实战之爬取网站全部图片(二) 传送门： https://blog.csdn.net/qq_33958297/article/details/89388556   爬取网址: http://www.meizitu.com/a/more_1.html 爬取地址:https://www.meizitu.com/a/list_1_1.html   一.获得图片地址 和 图片名称 1.进入网址之后 按F12  打开开发人员工具点击elemnts    3.显示控制台 为了验证xpath是否正确 可以看到 我们获得了11个链接地址   不要被源码中的文字所迷惑   7.获得相应的请求头

百度图片爬虫python脚本，可以爬下关键字搜索下的所有图片。

用python写的一个翻译功能的小爬虫，如果有初学python的小伙伴，又对爬虫感兴趣的可以下载参考。

这是一个使用python语言编写的爬虫脚本，提供各种存储方式（txt，csv，mysql数据库存储），有requests+xpath库的爬取与解析方式，也有selenium工具的简单使用，可实现动态网站的爬取。需要自己完善核心数据代码（有注释，很详细），即可完成一个爬虫的编写。十分适合于初学者。