分类
大小:.11M更新:2015-06-23
类别:浏览辅助系统:WinAll
网络爬虫是一款一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁,自动索引,模拟程序或者蠕虫,该又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者,欢迎需要的下载!
NwebCrawler是用C#写的一款多线程网络爬虫程序,它的实现原理是先输入一个或多个种子URL到队列中,然后从队列中提取URL(先进先出原则),分析此网页寻找相应标签并获得其href属性值,爬取有用的链接网页并存入网页库中,其中用爬取历史来记录爬过的网页,这样避免了重复爬取。提取URL存入队列中,进行下一轮爬取。所以NwebCrawler的搜索策略为广度优先搜索。采用广度优先策略有利于多个线程并行爬取而且抓取的封闭性很强。
可配置:线程数,等待时间,连接超时,允许MIME类型和优先级,下载文件夹。
统计信息:URL数量,总下载文件,总下载字节数,CPU利用率和可用内存。
Preferential crawler:用户可以设置优先级的MIME类型。
Robust: 10+ URL normalization rules, crawler trap avoiding rules.
欢迎下载!
和平鸟京东一元商品获取器浏览辅助.46MV1.0绿色版
查看知网百科桌面版浏览辅助.92Mv1.0 官方最新版
查看活动线报采集工具浏览辅助.53Mv1.0绿色版
查看抖音电脑版在线观看插件浏览辅助.17M绿色版
查看柒柒定制主播娱乐软件浏览辅助Mv1.0绿色免费版
查看口罩补货查询(口罩购买渠道采集软件)浏览辅助.59Mv1.0 PC版
查看神马上货助手浏览辅助MV1.2.1275 官方版
查看威武猫微博助手浏览辅助Mv2.4官方版
查看头脑王者自动答题辅助浏览辅助MV1.0最新版
查看小白文件快速复制浏览辅助.99MV1.0免费版
查看去除GoogleChrome64位开发人员模式扩充功能提示工具浏览辅助.47M
查看弹窗拦截净网小助手浏览辅助.62Mv2.1.6 绿色版
查看chrome猫抓嗅探神器浏览辅助.07Mv1.0.12 官方最新版
查看心蓝12306订票助手 2020浏览辅助.12Mv1.0.0.2967官方版
查看雨滴日期推算软件浏览辅助.09M7.0官方版
查看旺掌柜淘宝互刷流量平台收藏软件浏览辅助MV5.04绿色版
查看Chrome网页截图插件(ScreenOFF)浏览辅助.41M1.6官方版
查看网站批量访问截图程序(网站截图助手)浏览辅助MV2019.6.0.5最新绿色版
查看WinLib Internet Browser Cleaner ActiveX浏览辅助.53MV7.0.2官方版
查看一键领取年费PPTV浏览辅助MV1.0去更新版
查看Steam社区错误一劳永逸解决浏览辅助M最新版
查看小葫芦战旗TV弹幕点歌系统插件浏览辅助MV3.2.9绿色版
查看暗巷搜素(百度谷歌360搜狗)浏览辅助.25M官方最新版
查看试客小兵(猎豆)自动抢任务辅助浏览辅助MV4.6.3免费电脑版
查看点击查看更多