网络爬虫
用于获取 Coursera、EdX 和 Udacity 数据的爬虫程序
要求
Python 2.7 具有以下库:
刮痧
要求
JSON
运行爬虫
Coursera
要从 Coursera 收集数据,请运行:
python coursera/scrape_coursera.py
edX
要从 edX 收集数据,请导航到edx/目录并运行:
scrapy crawl edx
优达学城
要从 Udacity 收集数据,请导航到udacity/目录并运行:
scrapy crawl udacity
2023-01-03 12:10:20
804KB
Python
1