VB.NET下实现全硬盘文件快速查找，用到多线程和正则表达式-Quickly find full hard disk file in VB.NET, used in multi-threaded and regular expressions
2022-03-13 12:53:52
3KB
1
目标
嗯，我们知道搜索或浏览网站时会有很多精美、漂亮的图片。
我们下载的时候，得鼠标一个个下载，而且还翻页。
那么，有没有一种方法，可以使用非人工方式自动识别并下载图片。美美哒。
那么请使用python语言，构建一个抓取和下载网页图片的爬虫。
当然为了提高效率，我们同时采用多线程并行方式。
思路分析
Python有很多的第三方库，可以帮助我们实现各种各样的功能。问题在于，我们弄清楚我们需要什么：
1）http请求库，根据网站地址可以获取网页源代码。甚至可以下载图片写入磁盘。
2）解析网页源代码，识别图片连接地址。比如正则表达式，或者简易的第三方库。
3）支持构建多线程或线程池。
4）如果可能，
2022-03-11 15:30:15
131KB
1
如下，线程池两个线程：
线程池关键代码：
源码如下：
import re, multiprocessing
import requests, time
class HandleLaGou(object):
def __init__(self):
self.laGou_session = requests.session()
self.header = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHT
2022-03-11 15:21:59
62KB
1
主要为大家详细介绍了python网络编程之多线程同时接受和发送，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2022-03-10 20:29:08
41KB
1
根据网上寻找的资料，加上自己的整合，打包的一个Android多线程下载。可以实现断点下载，暂停继续取消下载，能够显示现在已完成大小，文件大小，完成度，下载速度等。使用方法如下：
public class MainActivity extends Activity implements OnClickListener,DownloadListener{
private static final String TAG = "MainActivity";
private static final String SD_PATH = Environment.getExternalStorageDirectory().getPath();
private boolean isPause = false;
private MultiThreadDownload multiThreadDownload ;
private Button buttonDownload;
private Button buttonCancel;
private TextProgressBar progressBarTest;//可以使用普通的进度，该进度条是可以显示现在完成度
private TextView textInfo;
@Override
public void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.main);//布局文件就是两个简单的按钮一个用于暂停继续下载，一个用于取消任务，还有一个文本用于显示已完成，文件大小，下载完成度，下载速度等信息以及一个进度条。
//http://d1.apk8.com:8020/game/plantsvszombies2.apk
buttonDownload = (Button)findViewById(R.id.buttonDownload);
buttonDownload.setText("单击下载");
buttonDownload.setOnClickListener(this);
progressBarTest = (TextProgressBar) findViewById(R.id.progressBarTest);
textInfo = (TextView) findViewById(R.id.textInfo);
buttonCancel = (Button) findViewById(R.id.buttonCancel);
buttonCancel.setOnClickListener(this);
}
@Override
public void onClick(View v) {
String downloadUrl = "http://dldir1.qq.com/invc/qqpinyin/QQInput4.1_1133(1001).apk";
String savePath = SD_PATH+File.separator+"downloadHelper"+File.separator;
String fileName = "QQInput.apk";
switch(v.getId()){
case R.id.buttonDownload:
if(!isPause){
multiThreadDownload = new MultiThreadDownload(MainActivity.this,downloadUrl, savePath, fileName, this);
multiThreadDownload.start();
buttonDownload.setText("下载...");
isPause = true;
}else{
buttonDownload.setText("暂停...");
isPause = false;
multiThreadDownload.onPause();
multiThreadDownload = null;
}
break;
case R.id.buttonCancel:
if(multiThreadDownload==null){
multiThreadDownload = new MultiThreadDownload(MainActivity.this,downloadUrl, savePath, fileName, this);
}
Log.d(TAG, ""+multiThreadDownload.isDownload());
if(multiThreadDownload.isDownload()){
multiThreadDownload.onCancel();
isPause = false;
}
multiThreadDownload = null;
break;
}
}
private Handler multiHandler = new Handler(){
@Override
public void handleMessage(Message msg) {
super.handleMessage(msg);
if(msg.what==1){
Bundle data = msg.getData();
float downloadSpeed = data.getFloat("downloadSpeed");
boolean speedHigh = false;
if(downloadSpeed>500){
speedHigh = true;
downloadSpeed/=1024;
}
progressBarTest.setProgress(data.getInt("completedSize"));
textInfo.setText(String.format("已完成：%.2fMB", data.getInt("completedSize")/1024f/1024)+"/"+
String.format("总大小：%.2fMB", data.getInt("fileSize")/1024f/1024)+"\n"+
String.format("进度：%.2f%%", data.getBoolean("isCompleted")?100.00:data.getFloat("downloadPercent"))+"/"+
String.format(speedHigh?"速度：%.2fM/S":"速度：%.2fKB/S", downloadSpeed));
if(data.getBoolean("isCompleted")){
buttonDownload.setText("下载完成");
textInfo.setText("下载完成");
}
}
}
};
@Override
public void onDownloading(boolean isCompleted,boolean isPause,boolean isCancel,int fileSize,int completedSize,int downloadedSize,float downloadPercent, float downloadSpeed) {
Log.d("MainActivity", isCompleted+"||"+isPause+"||"+completedSize+"||"+downloadedSize+"||"+downloadPercent+"||"+downloadSpeed);
Message message = Message.obtain();
message.what = 1;
Bundle data = new Bundle();
data.putBoolean("isCancel", isCancel);
data.putBoolean("isCompleted", isCompleted);
data.putInt("fileSize", fileSize);
data.putInt("completedSize", completedSize);
data.putInt("downloadedSize", downloadedSize);
data.putFloat("downloadPercent", downloadPercent);
data.putFloat("downloadSpeed", downloadSpeed);
message.setData(data);
multiHandler.sendMessage(message);
}
@Override
public void onBeforeDownload(boolean isCompleted,boolean isPause,boolean isCancel,int fileSize){
progressBarTest.setMax(fileSize);
}
@Override
public void onAfterDownload(boolean isCompleted,boolean isPause,boolean isCancel,int fileSize){
}
@Override
public void onPause(boolean isCompelted,boolean isPause,boolean isCancel,int fileSize,int completedSize,int downloadedSize,float downloadPercent,float downloadSpeed){
textInfo.setText("暂停...");
Log.d(TAG, "暂停...");
}
@Override
public void onCancelDownload(){
progressBarTest.setProgress(0);
textInfo.setText("下载取消");
buttonDownload.setText("重新下载");
}
}
2022-03-10 19:42:52
22KB
1
采用的是HTTP下载
首先采用一个主类TC_DownLoad_Main来下载多个文件
然后用一个子类TC_DownLoad来下载单个文件 反复创建这个子类便可以下载多个文件
在子类中用多个线程类TThread1来进行单个文件的多线程下载
2022-03-10 00:03:40
396KB
1