【蜘蛛】对百度蜘蛛的研究

0xAA55

作为站长我当然希望自己的论坛能更容易被百度搜索到。那么我就需要了解百度蜘蛛的运作方式。
以我观察看来，百度应该是这样运作的：

1、用户提供页面URL
2、下载页面的内容，记录页面的关键字，收入数据库
3、分析里面的超链接、iframe等，然后将链接设置为页面，递归回到第二步。

也就是提供一个主页就行了。不过百度貌似并不会完全把所有链接都抓取掉。还是会漏掉一些链接。Discuz的百度结构化数据提交插件能较好地弥补这个问题。
此外提交URL也能适当增加论坛的百度收录量。

而如果论坛中有帖子的内容和百度已收录文章中的内容类似的话，百度大概就会无视掉这些内容——论坛必须有自己的内容才行啊。
如果论坛文章中出现的关键字太多，就会被算为作弊，会受到百度蜘蛛的惩罚——搜不到内容。
采集来的内容并不能帮助网站积攒百度收录量。