从搜索爬虫记录看到问题
晚上,花点时间找到了一个可用收缩蜘蛛爬行记录程序,刚装配不到5分钟,就看到搜狗的收缩爬虫呼来来全爬到博客上了,等了大概半小时多,爬虫记录上基本上能看到百度,谷歌,搜搜,雅虎等各大搜索爬虫。兴奋之余也彻底打消了,我网站收入担忧现在基本上确认爬虫门基本上都能畅通无阻在我博客上游荡,不过分析下,记录日志能发现大部分爬虫爬走的路径都是一些,老版映轩晓屋程序路径,都是当初Asp建站内容如今各大搜索引擎似乎对旧的路径很是偏爱,但收录后基本上没有页面能正常打开,而新网站页面爬虫也很少光顾。
这样,问题也真让人心急上网搜索下给出答案基本上是等待,它们更新,以及使用robots.txt文件,阻止收入旧的网站结构路径。另外,加紧网站原创内容更新和各搜索引擎上网址的提交。
反正,内容继续更新。以不变应万变,使网站体验更好不怕以后没人气。
【责任编辑:CSW8923】