神马搜索引擎爬虫YisuoSpiser的UA判断

神马是专注移动互联网的搜索引擎,原名“宜搜”,前身是一个小说引擎搜索,神马搜索引擎 YisouSpider 在移动互联网前数年可谓是叫苦不迭,很多的平台网站被过度反复的爬取而造成 网站服务器无法正常运转等状况不在少数。

神马搜索引擎爬虫 YisuoSpiser 的 UA 判断

实际上看 YisouSpider 这一搜索引擎蜘蛛的名字就应当晓得,之后被阿里巴巴拿下就宣布定位于移动引擎搜索。本文主要给读者普及神马搜索引擎 Useragent

神马搜索爬虫 Useragent 与 IP

先来看从网站日志中扒下来关于 YisouSpider 的几个记录:

"Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) CriOS/56.0.2924.75 Mobile/14E5239e YisouSpider/5.0 Safari/602.1"
"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"

神马搜索蜘蛛 IP 段:

  • 42.156.136.* - 42.156.139.*
  • 42.120.160.* - 42.120.161.*

在神马站长平台官网虽然看到了关于 YisouSpider 的一些介绍,却也描述得模棱两可,基本没有任何参考而言,网络上搜索了一些也全是 YisouSpider 几年前的东西了,所以无奈还是只能自己动手来看看了。

通过 IP 段加上完整的 User Agent,通过 IP 观察可以发现这是同一个 IP 段,应该也就是服务器集群的一组 IP 池,基本可以判断为是神马搜索蜘蛛无疑,通过 User Agent 的内容则可以判断,一种为移动端的 User Agent,一种则为 PC 端的 User Agent。

总结:当然神马搜索 IP 的验证方法和其他的搜索引擎 IP 验证方法雷同,这里就不多说了,可以移步到《各搜索引擎爬虫 UA 和蜘蛛 IP》。

本文原创作者:SEO大学,其版权均为SEO大学所有。如需转载,请注明出处:《神马搜索引擎爬虫YisuoSpiser的UA判断
28

发表评论

//百度统计