首先，简单介绍下网络爬虫
网络爬虫是通过网页的链接地址来寻找网页，从网站某一个页面（设置为主页）开始，读取网页的内容，找到网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到这个网站所有的网页都抓取完为止。实际上，由于抓取技术的限制以及存储技术、处理技术的限制，要完全抓取网站的所有网页是不可能的，也是不实际的！本着从用户需要为出发点，实际需要抓取的网页往往是有限的，只需抓取符合用户要求的网页即可！
抓取网页的策略
在抓取网页的时候，网络爬虫一般有两种策略（即两种搜索方法），广度优先和深度优先。
广度优先：是指网络爬虫会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此页面中链接的所有页面。这是最常用的方式，广度优先的搜索策略可以并行处理，提高抓取速度。
深度优先：是指网络爬虫会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。这种策略较易实现，但是抓取速度慢。
由于一般不可能抓取网站的所有链接，一般会设置访问层数，即搜索深度。起始页的深度为0，起始页中的链接url深度为1，依此类推。
构造C#语言的爬虫程序
C#已经封装了HTTP访问和多线程，这对编写网络爬虫提供了方便，而要C#网络爬虫程序需要解决以下问题：
HTML分析：需要某种HTML解析器来分析爬虫程序遇到的每一个页面。
页面处理：需要处理每一个下载得到的页面。下载得到的内容需要保存起来，以便进一步分析处理。
2021-12-22 22:51:00
31KB
1
小蜜蜂库存管理源码
源码描述：
一、源码特点
1.、应用DBML作为数据驱动连接，想学习DBML的可以学习
2、采用MVC开发模式，MVC应用是基于vs2010项目模版开发
二、菜单功能
业务说明：
1、实现商品库存的入出存
2、实现入出存数据导出到EXCEL
三、注意事项
1、开发环境为Visual Studio 2010，数据库为SQLServer2008，使用.net 4.0开发。
2、管理员登陆名密码均为：51aspx
3、默认数据库连接字符串在webconfig配置文件中修改
4、DB文件夹中是数据库文件，附加即可
2021-12-22 16:03:19
13.69MB
1.安装VS主题管理器ThemeManagerPackage.visx
2.打开VS2010的theme工具项用主题管理器添加Expresion.vstheme主题
3.导入【环境设置(.vssettings文件)】文件夹下的任意一个环境设置
2021-12-21 00:50:45
269KB
1
这是一个网上商城系统，基本实现了网上商城的功能。并且管理员登陆接口跟会员登陆接口一样，有部分开发文档。其中包括用例图，数据库设计图，架构设计图等。
开发软件vs2008,sql Server 2005,转移到vs2010中也能完美实现。使用了.net3.5进行开发。
架构设计
本网上商城采用ASP.NET Web应用程序的典型架构模式：数据库——数据访问层——业务逻辑层——页面层，各层的具体说明如下：
（1） 数据库是应用系统的最底层，用来保存系统的所有数据，本系统采用SQL SERVER 2008数据库。
（2） 数据访问层用来封装访问数据库的各种操作，如连接数据库、操作数据库、数据交换等。本系统的数据访问层由SQLHelper.cs文件实现。该文件中定义了SQLHelper类专门处理访问数据库的各种操作。
（3） 业务逻辑层与应用系统的业务逻辑相关联，它使用数据访问层提供的服务，同时也为上层提供服务。业务逻辑层通过数据访问层实现访问数据库的功能，同时为上层提供访问数据库的借口或函数等服务。
（4） 页面层用于实现应用系统的具体功能，由Web页面、控件、组件等组成。
本系统仅限用于学习交流，请毋用于商业用途。
如有任何侵犯版权行为，请QQ联系交流。QQ：876042100
2021-12-20 21:20:17
5.09MB
1