按照是否匿名和是否遵循robots.txt协议有4种蜘蛛： 1 真名真姓，遵循robots.txt 协议。代表：GoogleBot BaiduSpider MSNBot Yahoo!Slurp 等 2 真名真姓，不遵循robots.txt协议。代表：iAskSpider SohuAgent wget ...