爬虫python入门
个获取知乎用户主页信息的多线程Python爬虫程序。
简介：
* 使用[Requests](http://www.python-requests.org/en/master/)模拟HTTP请求/响应，[Beautiful Soup 4](https://www.crummy.com/software/BeautifulSoup/)提取页面信息。
* 使用Python内置的Thread多线程和IP代理提升爬取速度，并绕过知乎的反爬虫机制。
* 使用Python内置的query作为消息队列。
* 用csv文件存储数据。
## 环境依赖
* beautifulsoup4
* requests
## 使用方法
在项目路径下输入以安装需要的模块：
```shell
$ pip install -r requirments.txt
```
打开proxy.py文件，在""处填写代理隧道验证信息：
```python
# 代理隧道验证信息
proxyUser = ""
proxyPass = ""
```
（笔者使用一个IP代理隧道，若需要使用普通IP代理，
2023-03-17 21:10:34
19.35MB
1
kakadu软件可以将一幅图像压缩成JPEG2000的格式输出，只要修改命令行参数就行了。最新版本，不含代码，在Linux系统可用(64 位)，已在Ubuntu1804和ubuntu2004下应用。
2023-03-15 19:04:14
5.59MB
1
命令行聊天室
使用多线程和 TCP、UDP 连接用 C++ 编写的 Linux 多房间聊天
与服务器的连接基于 tcp，在每个房间或私人聊天中，连接都是基于 UDP 的 P2P
2023-03-13 15:45:27
764KB
1
使用多线程方法来进行zlib压缩的C源码，gcc编译环境。
压缩测试结果，与单线程的对比：
1线程，速度100%
2线程，速度183%
3线程，速度268%
4线程，速度345%
2023-03-12 09:18:40
462KB
1
一个简易的TCP端口扫描器，使用python3实现。
需求：扫描目标网站开放哪些端口号，将所有开放的端口号输出。
分析：使用socket连接，如果连接成功，认为端口开放，如果连接失败，认为端口关闭（有可能端口开放但连接失败，这里简单认为端口不开放）
使用到的库：socket, threading
过程：
先定义一个函数，对给定的（ip, port）进行扫描，看其是否能连接成功。
def tcpPortScan(ip, port, openPort):
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # 创建套接字
sock
2023-03-10 13:23:35
48KB
1
NULL
博文链接：https://lxl13041491.iteye.com/blog/2167118
2023-03-05 10:23:37
4KB
1