什么是搜索引擎蜘蛛(网络爬虫)

什么是搜索引擎蜘蛛(网络爬虫)

说到搜索引擎蜘蛛或者网络爬虫,非本专业的人可能一直无法理解是什么意思。正所谓隔行如隔山,看似简单的东西,其实掌握了本身就是一种潜在的价值。下面和老唐简单为大家介绍下。...

iis爬虫日志常见状态码(200,301,404,500)分析

iis爬虫日志常见状态码(200,301,404,500)分析

做SEO相信对于IIS日志,也就是通常所说的爬虫日志都不会陌生,爬虫日志的用途就是能够观察搜索引擎的蜘蛛来我们网站的爬取情况,可以更近距离的分析和接触蜘蛛。爬取次数,爬取时间点,爬取高峰期,爬取反应出来的HTTP状态码,为我们分析...