如何模拟各大网站的蜘蛛请求来测试网站是否可以被蜘蛛正常抓取 -全讯平台

使用场景

网站人员经常需要做seo分析，在分析多个电商网站的过程中，有时需要测试对方全讯平台的友情链接，是否屏蔽搜索引擎蜘蛛访问？我们可以通过软件工具，模拟搜索引擎蜘蛛的浏览。建议使用谷歌浏览器模拟百度、谷歌等搜索引擎蜘蛛的访问。文章源自玩技e族-https://www.playezu.com/180301.html

本文使用google chrome浏览器做为请求模拟教程。（user-agent switcher for chrome）

第1步：下载chrome扩展文章源自玩技e族-https://www.playezu.com/180301.html

扩展程序 → 获取更多扩展程序 → 搜索“user-agent switcher for chrome” →  点击“  添加到 chrome”▼文章源自玩技e族-https://www.playezu.com/180301.html

第2步：刷新谷歌浏览器，你会注意到该插件已加载 ▼文章源自玩技e族-https://www.playezu.com/180301.html

第3步：进入 user-agent switcher for chrome“选项”文章源自玩技e族-https://www.playezu.com/180301.html

在user-agent switcher for chrome扩展图标右键， 选择“选项”后，会自动进入以下选项设置页 ▼文章源自玩技e族-https://www.playezu.com/180301.html

文章源自玩技e族-https://www.playezu.com/180301.html

第4步：添加搜索引擎蜘蛛访问识别码文章源自玩技e族-https://www.playezu.com/180301.html

添加chrome模拟搜索引擎蜘蛛访问识别，例如百度、谷歌 ▼文章源自玩技e族-https://www.playezu.com/180301.html

百度 ▼
mozilla/5.0 (compatible; baiduspider/2.0;  http://www.baidu.com/search/spider.html)
谷歌 ▼
mozilla/5.0 (compatible; googlebot/2.1;  http://www.google.com/bot.html)
搜狗 ▼
sogou web spider/4.0( http://www.sogou.com/docs/help/webmasters.htm#07)
bing ▼
mozilla/5.0 (compatible; bingbot/2.0;  http://www.bing.com/bingbot.htm)

第5步：选择搜索引擎蜘蛛访问该网站 ▼文章源自玩技e族-https://www.playezu.com/180301.html

文章源自玩技e族-https://www.playezu.com/180301.html

• 测试访问后，若如常显示，说明百度搜索引擎蜘蛛，能如常抓取网页。

总结：下方给大家准备了插件的下载地址，使用教程给顺带给放在里面了。

注意事项：使用和测试后请将配置还原，否则可能会出现其他网站无法打开或者异常，关闭插件就可以了文章源自玩技e族-https://www.playezu.com/180301.html

使用说明：本教程仅限测试交流切勿非法使用，使用过后请在24小时内删除。文章源自玩技e族-https://www.playezu.com/180301.html