mongodb的应用之用python爬取网页内容并用mongodb保存.
由于mongodb是文档型数据库，区别于传统的数据库，它是用来管理文档的。在传统的数据库中，信息被分割成离散的数据段，而在文档数据库中，文档是处理信息的基本单位。一个文档可以很长、很复杂、可以无结构，与字处理文档类似。一个文档相当于关系数据库中的一条记录。
文档存储一般用类似json的格式存储，存储的内容是文档型的。这样也就有机会对某些字段建立索引，实现关系数据库的某些功能。
MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。
2021-10-16 17:50:09
608KB
1
运用Scrapy对淘宝天猫进行爬取, 拿到天猫的评论数据, 运用selenium模拟浏览器方法进行爬取, 拿到所以页数的评论数据, 通过数据清理后, 用jieba切词进行词云制作
2021-10-15 19:32:14
247KB
1
先来一份完整的爬虫工程师面试考点:
一、 Python 基本功
1、简述Python 的特点和优点
Python 是一门开源的解释性语言，相比 Java C++ 等语言，Python 具有动态特性，非常灵活。
2、Python 有哪些数据类型？
Python 有 6 种内置的数据类型，其中不可变数据类型是Number(数字), String(字符串), Tuple(元组)，可变数据类型是 List(列表)，Dict(字典)，Set(集合)。
3、列表和元组的区别
列表和元组都是可迭代对象，能够对其进行循环、切片等，但元组 tuple 是不可变的。元组不可变的特性，使得它可以成为字典 Dict
2021-10-15 14:43:19
128KB
1
可以一键下载一加云服务的照片，使用python3环境，使用了下面两个库import json，import requests，教程地址https://blog.csdn.net/u013000099/article/details/101070036，新增原图下载，可在代码内选择是否下载原图。
2021-10-15 13:53:52
3.3MB
1
给大家分享一套课程——【完整版11章】Python高级爬虫实战-系统掌握破解反爬技能 挑战高薪（2021年10月已完结）
对爬虫工程师来说，突破反爬是一项重要但并不容易掌握的工作能力，因为反爬涉及的技术领域广泛，知识庞杂，网上也缺乏体系教程。不过别担心，本课中，爬虫技术专家带你深度了解Web端反爬策略，并教你用多手段、多方法破解反爬技术，向高级爬虫工程师晋级，挑战高薪。
2021-10-15 13:05:09
645B
1