分类
大小:12.6M更新:2015-05-19
类别:站长工具系统:WinAll
链接检查工具(Screaming Frog SEO Spider)是一款可以代理抓取,制作sitemap,导出url等功能,等非常实用的连接检查工具,欢迎下载!
一个网站的内部链接是否正确,是影响网站SEO的重要因素之一。“小站靠外链,大站靠内链”,只有在做好内链的前提下,有规模的网站才能够事半功倍的将排名优化上去。对于链接爬行工具来说,可能大家第一印象想起的就是Xenu。Xenu可以说是比较早期的一批SEO工具,而Xenu的功能也是较为普通。那么今天就为大家介绍一款和Xenu同样功能的软件,由Screaming Frog公司所出的SEO Spider。可能有些朋友对于Screaming Frog不太了解,我做一下简单的介绍吧,Screaming Frog是英国的一家网络公司,而Screaming Frog SEO Spider则是他们的一个产品。在Moz所发布的2014 行业报告里关于Top 10 SEO工具一项排名,Screaming Frog 是排到了第5的位置。
Spider分为试用版与收费版,试用版的权限较为鸡肋,只能爬行抓取到500个URL而已。而收费版的话呢,是99英镑/年。建议大家可以下载一个试用版玩玩看,如果觉得真的不错,Adrian建议你还是买一个正版。
Screaming Frog SEO Spider
Screaming Frog SEO Spider的界面
Spider的抓取方式可以分为Spider与URL,简单点理解就是一个你可以放一个页面或域名开始抓取,另外一个则是放一个URL文件进去抓取。
你在输入好url或选择好url文件后则会开始抓取内容,那么问题来了,Spider可以为我们抓取页面的什么内容呢?
页面链接
文件类型与编码
HTTP状态码和状态
Title与长度
Description与长度
Keywords与长度
H1标签文本与长度
H2标签文本与长度
Canonical URL
其他(文件大小,字数,层数,内链数量,站外链接数量等)
对于链接抓取的限制上,Spider也做了许多功能。首先是下面的特殊限制:
检查图片
检查css文件
检查js文件
检查swf文件,也就是Flash之类的
检查外部链接
检查目录以外的链接
跟踪标识Nofollow的站内链接
跟踪表示Nofollow的外部链接
忽略robots.txt
总共抓取数量
总共抓取层数
这里大家可能还是看不太懂,那Adrian为大家简单举例解释一下。
案例一:D姐想要抓UC所有页面,其中不包括CSS,JS,SWF(因为这些浪费时间和资源)。那么就可以取消勾选四个选项了;
案例二:民工想要像蜘蛛一样爬取UC的页面,那么就可以只勾选Ignore robots.txt这一项了;
案例三:何元想要只抓dx的首页所有链接,全部勾选上,除了不要勾Ignore与Limit search toal就可以了,当然记得勾上Limit Search Depth 并设置层级为1;
如果还看不懂,那我也无能为力了,只能好好培训一下SEO了。
其实Spider的功能有许多,我就不一一提及了。说几个我常用的功能吧!
第一个,正则爬行页面。
在configuration中的include和exclude里都有可以写正则的地方,在那里你可以设置你想要特定抓取爬行的链接。至于怎么使坏,需要你自己想象了。
第二个,速度限制。
在configuration中的Speed中有关于速度的限制,这里需要提一下的是速度上的限制不仅仅指的是线程,还有限制抓取URL速度,例如你想要1 URL/S,又或者是2 URL/S。这个功能可以躲避部分有防重复爬行限制的网站。
第三个,User Agent设置。
在configuration中有一个User Agent里可以设置你的身份,你可以设置为某搜索引擎的蜘蛛或浏览器都可以。
第四个,自定义字段检查功能。
同样是在configuration中的custom,这个功能可以说是比较好用的功能,主要是可以让Spider在爬行抓取的同时可以根据你所设置的自定义字段进行筛选。例如:我在Custom设置了包含DVD这个字眼,那么所有出现DVD字眼的页面都会特别筛选出来。
欢迎下载!
3389远程服务器批量管理器站长工具Mv2.0 绿色版
查看URL检测工具站长工具.01Mv2.0 绿色版
查看互刷天下站长工具.36Mv4.4.0.343 官方免费版
查看USEO外链推送工具站长工具M1.0
查看网站SEO优化小助手站长工具M绿色版
查看关键词追踪查看工具RANKAWARE站长工具Mv1.7.0 官方免费版
查看大势至网络准入控制系统站长工具M9.3官方版
查看Simon爱站关键词采集工具站长工具M4.0 无限制免费版
查看零视界域名Whois批量查询器站长工具.81MV1.0.0官方版
查看Catfish(鲶鱼)Blog站长工具Mv2.3.24官方版
查看网站防红工具站长工具.47M
查看软件下载站PC自适应源码站长工具M
查看仿站工具站长工具M2.0.0
查看网页关键词监控程序站长工具M2.0绿色版
查看熊猫关键词工具最新版站长工具MV2.5免注册码版
查看品众360点睛营销助手站长工具Mv1.16.217.13859 官方最新版
查看小表弟域名备案批量查询站长工具.34M1.0
查看域名筛选工具(Domain Name Filter pro)站长工具Mv2 绿色英文版
查看onpage优化工具(Website Auditor)站长工具Mv3.11.8 官方最新版
查看无忧企业网站系统免费版站长工具Mv2016.10.11官方版
查看网站坏链接检查工具(Xenu)站长工具.42M
查看魔术关键词排名查询工具站长工具M1.0绿色版
查看B站评论采集工具绿色版站长工具.44Mv1.0
查看优客365源码站长工具Mv1.2.1
查看点击查看更多