一个简单的 Python 维基百科爬虫。
运行: celery worker -A crawler.tasks --loglevel=info -Q fetch_queue -n 'fetcher' celery worker -A crawler.tasks --loglevel=info -Q parse_queue -n 'parser'
用于监控:celery -A crawler.tasks 花 --broker=amqp://guest:guest@localhost:5672// --broker_api=http://guest:guest@localhost:15672/api/
rabbitmq-plugins 启用 rabbitmq_management
花: RabbitMQ:
为什么只有维基百科 => 几乎可以保证健全的 HTML
2021-06-29 19:23:50
4KB
Python
1