### b站视频爬虫
**功能**
爬取某个up的大部分视频
**使用到的库和框架**
scrapy+[you-get](https://github.com/soimort/you-get)
**使用方法**
1. 首先我们需要准备两个库，scrapy和you-get，只需要在命令行中输入以下两个命令即可
> scrapy: `pip install scrapy -i http://pypi.douban.com/simple --trusted-host pypi.douban.com`
>
> you-get: `pip3 install you-get`
2. 然后我们需要在b站找到一个你想要爬取视频的up主，并进入到的个人空间获取url，如图所示：这里我们可以看见中间有一串数字，这就是这个up主的uid了，而我们的爬虫需要这个uid才可以运行。
我们除了需要这个uid，还需要一个该up主的任意一个视频，作为爬虫的起始地址，而后我们的爬虫会根据这个起始地址下的推荐进行检索，找到并跳转到这个up的其他的视频中，并不断递归下去，直到推荐中没有出现该up的其他视频为止，所以这里其实有个bug，就是无法爬取这个up的所有视频.......只能说是大部分。
3. 我们需要进入项目目录中的bilibili.py文件中将刚刚得到的uid写入到`up_uid`后面，再把那个任意视频的视频链接写到`base_url`后面即可。因为我是在win10的环境下开发的，所以这个爬虫爬下来的视频会直接放到D盘下的sp文件夹下。如果想要修改保存地址，只需要进入到SP_download.py文件下找到download函数，将`-o`后的路径改为你想要保存的路径即可。记得要在路径前加空格，别和`-o`连一起。
4. 在运行的时候，我们需要分两步运行，首先是需要在命令行中，cd到bilibiliSP这个目录下，然后运行`scrapy crawl bilibili`，如果没有报错的话，经过一顿输出后，应该会在该目录下生成一个bilibili_Output.txt文件，然后我们再运行SP_download.py文件即可直接将视频保存在相应的目录下。
**bug（以下的bug有可能会被修复）**
1. 首先就是无法获取一个up主下的所有视频，因为他是根据推荐视频进行检索的，所以如果推荐的视频里没有该up的视频，就无法进行递归了。
2. 由于you-get在下载b站视频时比较慢，所以我这里使用了python中的多线程进行下载，但并没有规定具体的线程数量，也没有使用线程池进行约束，所以具体能跑多少线程完全看电脑的性能，而且电脑在运行时应该也会比较卡，我个人电脑的话，好像可以同时开25个线程同时下载....也可能是我的错觉......
3. you-get这个下载库在结合多线程之后会出现一些小bug，导致有很多时候视频虽然获取到了，但是并没有下载成功，会报错，这个还得继续研究一下原因。
4. 开始了就没有退路可言！没错，再开始运行这个爬虫的第二阶段，也就是运行SP_download之后，程序是无法停止的。就我个人的经验而谈，我是使用pycharm运行的，所以要真想停止的话可以直接使用任务管理器将pycharm终止掉。具体在终端运行这个py文件时如何停止，那就不得而知了。
**程序改动**
因为我这个爬虫在视频检索时是使用推荐检索的所以，理论上是可以爬取B站所有同类型视频的（如果B站没有相关检测机制的话），只需要对我这个爬虫的源代码进行一定的删减就可以做到了（没错就是删减，因为对特定up的爬取反而多了一些检测代码）。
**在此特别感谢you-get的贡献者团队！**
2021-06-22 10:03:31
16KB
本教程是DEDE仿站教程的中级班，教基础班有了较深的讲解，比如本地服务器环境的安装和目标网站分析、
本地织梦程序的安装和目标网站首页的初步仿制、首页的初步仿制、频道封面的仿制、文章内容页（自定义内容模型）的仿制等，共13讲。
完整目录如下
1 本期课程目录介绍
2 本地服务器环境的安装和目标网站分析
3 本地织梦程序的安装和目标网站首页的初步仿制
4 首页的初步仿制
5 频道封面的仿制
6 图片列表的仿制
7 文章内容页的仿制
8 文章内容页（自定义内容模型）的仿制
9 文章列表的仿制
10 用户提交表单的仿制（表单）
11 留言板的仿制
12 搜索页的仿制
13 首页的整体完善
2021-06-19 14:09:25
69B
教程描述：本教程主要介绍了织梦CMS仿站的基本知识，包括织梦CMS的认识、织梦仿站常用工具下载和软件安装、本地服务器环境搭建和DEDE程序安装、
织梦程序目录及后台的基础操作、织梦模板目录的认识、织梦标签的认识及网站首页、内页、目录页、列表页等仿制的案例，共20节，
完整的目录如下：
1 织梦CMS的认识和本课程的介绍
2 织梦仿站常用工具下载和软件安装
3 本地服务器环境搭建和DEDE程序安装
4 织梦程序目录及后台的基础操作
5 织梦模板目录的认识
6 织梦模板的简单修改
7 织梦标签的认识
8 课程回顾与学习总结
9 目标网站首页的仿制
10 目标网站首页基本替换
11 目标网站首页初步仿制
12 目标网站首页基本仿制
13 目标网站单页基本仿制
14 目标网站文章内容页的仿制
15 目标网站文章列表页的仿制
16 目标网站经典案例页面仿制
17 经典案例列表页面仿制
18 目标网站首页的完善
19 网站备份上传服务器及空间推荐
20 总结经验杂谈
2021-06-19 14:09:24
69B
整套1.6G 12集视频 包括模块介绍 接线讲解 参数设置 程序例子 讲解 主站和远程I0通信控制教程 Q主站和Q从站控制 Q系列和FX系列PLC通讯控制
4套 程序例子 讲解
1部分 主站和远程I0通信控制教程
2部分 Q主站和Q从站控制
3部分 Q系列和FX系列PLC通讯控制
4部分 Q系列和多台胞FX系列PLC通讯控制
2021-06-15 22:00:15
21.01MB
随着城市化建设发展，加油站布点越来越靠近人群密集区域，加油站人员出入频繁，加上人员缺乏安全意识，加油站安全管理要求越来越高，因此需要在加油站作业区、卸油区和超市区域建设现代化视频监控系统，而加油站出入口需要提供24小时彩色的视频监控，用作事后查证，且可提供夜间彩色的画质。
2021-05-20 19:01:56
1.51MB
很多新手朋友，想学做网站，看到淘宝上面便宜教程，都相当的兴奋，有的凭借自己的感觉买了几个，学完后还是无从下手，或者看了些教程依然不会做网站，碰到问题不知道如何处理等等。原因何在？网站知识更新很快，或者淘汰教程或者是没系统、完整的学习。为了帮助更多的新手朋友快速入门，小店特此对建站资源进行了整理最新最全，这些教程里讲解的内容是任何一所大学里都无法像媲美的，只要你按照下面的步骤一步一步的学习，在加上自己的练习，做网站应该没问题，不管是博客还是企业站，甚至是大型论坛，或门户站都不在话下。
适用人群：
经常会有顾客问“我学历不高能学会吗？”“我的英语很差能学好吗？”“教程难不难啊？”“我不是计算机专业的学起来会不会非常难啊？”
我来告诉你：只要你对自己有信心，只要你有耐心，只要你有一颗不甘平凡的心，只要你不安于现状，只要你年轻，看了我们的教程，你都可以学会！！零基础学建站，你也行！！如果你认真学习我们的教程，用不了几个月你就可以精通网站建设！
我们是做网站的，接触了非常多的站长，很多站长都是高中或者专科的学历，还有些站长甚至正在上高中，本科站长中大部分也不是计算机及其相关专业的，由此可见，能不能学好建站，不在于你的学历，不在于你的英语水平，不在于你的专业，就在于你的信心，你的耐心，你的那颗不甘平凡的心！
如果您就是想做一个普普通通的打工者，那么我想你不需要购买这套教程！普通的打工者过着朝九晚五的生活，是没有时间、没有耐力、没有精力来研究如何建站的，当然也没有这个必要！
1、难道网络赚钱的都是计算机网络专科的出身吗？
答：本店在网赚的圈子里已经5年，看到的网赚高手90%的都是草根出身，10 %是专科的，专科的都在公司里上班，搞网络与文凭和专业没多大关系，需要的是激情和实干精神。不懂什么是html、asp、php、javascript，学了我的教程，不出3月你就是行家。阿里巴巴 阿里妈妈 淘宝网的总裁——马云：1995年，在美国的西雅图，平生第一次接触到键盘，上网搜索。就在那一年，马云不顾23位同伴的反对，开始了自己的事业。世界首富比尔盖茨大学没有上完，就弃学从商，开创微软公司，后来一星期占领全球市场！
2、计算机网络技术难学吗？
答：再难学，也没有外语难学，网络技术是一门不用什么天赋和脑筋急转弯的东东，只要是那样操作，效果立竿见影。
3、你是否因为事业不顺利而整天无聊的打游戏聊QQ来打发苦闷的岁月?你是否像个游魂一样的在网络上漂游浪荡？在别人的网站论坛上灌水拍砖？有没有想过自己建一个网站开创自己的网络事业？造反要创建根据地，搞网络也要有一块属于自己的地盘——网站。
4，你是否听说过穿着睡衣赚钱？梦中赚钱的人？
答：那就是站长！网站是一个积累——持续发展-——逐步壮大的事业。你进入了站长的圈子，你就知道了什么是赚钱，什么是闷声赚大钱，前提是你需要搭建一个网站，你要了解网站知识。
5，也许你上了3年大学还在为生活发愁，但你学习建站3个月，就奠定了你后面几十年的丰衣足食，洋洋洒洒！
6，你不用看着面试官挑剔的眼光递上简历，也不用整天看着领导的脸色行事，也许你为了多赚钱还在加班累得晕头转向，须知，环境决定了生物的命运——粪坑的老鼠为了争夺粪便咬得偏体凌伤，粮仓的老鼠个个都是肥头大耳……，网络一直是一座金库，有源源不断的财富可以挖掘出来。中国的网络才刚刚起步，率先切人就占领了先机。
7，失败是成功之母，而尝试是成功之父！你仅仅是花24元买套教程像看电影一样的去看大师们是怎么在自己的电脑上搭建网站的，如果这都不敢尝试，你还能做什么？问我这套教程到底能不能值24元钱？我先问问你这24元到底有多大的价值！买得来两斤好一点的猪肉吗？请尊重知识！
关于这套教程，简单的说整理了以下几方面的视频教程:
【网站入门】:完全针对新手朋友，从认识网站的构成开始，一步步让你自学网站建设;
【软件使用】:网站建设过程中需要用到的图片处理软件，动画制作软件，FLASH制作软
件，以及网站代码编写软件等等，均有对应的视频教程，【图片处理不再难】
【代码常识】:网站程序的语言知识，H丁ML, ASP, PHP，等视频教程
【仿站技术】:借用主流的网站管理系统，我们可以快速的做成一个网站，例如：新云，
动易，帝国，织梦，WP博客，DZ论坛，掌握了这些网站管理系统的应用，我们可以快速仿制出一个自己想要的站点
【网站运营】:大部分网站的核心目的就是为了赚钱，在这里我们搜集到了一些经典的网
严实战案例，淘客网站的搭建，运营实战教程;
【网站SEO】:搜索引擎优化。网站做好了以后，有多少人能访问到您的网站，直接影响
到您网站的收益，影响到你到底能赚多少钱。每天10个人访问和每天
2021-05-18 20:02:32
77B