三八猪资源交易网

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

华为移动搜索AspiegelBot爬虫被发现高频爬取

2020-5-23 15:35| 发布者: 三八猪| 查看: 356| 评论: 0

摘要: 继上次头条搜索暴力爬取网站信息后,华为移动搜索AspiegelBot爬虫近日也被站长发现开始高频抓爬网站信息,就和站长头条差不多。了解到,这个AspiegelBot爬虫主要模拟安卓机进行抓爬 , UA标识符里也没有标注爬虫所属 ...

华为移动搜索AspiegelBot爬虫被发现高频爬取 华为 搜索引擎 微新闻 第1张

继上次头条搜索暴力爬取网站信息后,华为移动搜索AspiegelBot爬虫近日也被站长发现开始高频抓爬网站信息,就和站长头条差不多。

华为移动搜索AspiegelBot爬虫被发现高频爬取 华为 搜索引擎 微新闻 第2张

了解到,这个AspiegelBot爬虫主要模拟安卓机进行抓爬 , UA标识符里也没有标注爬虫所属公司信息,显然不想让人发现,后面有站长深挖才发现这个爬虫属华为搜索旗下的AspiegelBot公司,并且AspiegelBot的爬虫超高频抓取甚至堪比上次的头条爬虫的暴力抓取,很多被爬的一些小网站很多直接瘫痪,开始屏蔽华为搜索AspiegelBot爬虫的访问。

有站长表示: 这次华为移动搜索AspiegelBot爬虫高频爬取跟就和站长头条差不多,也是大量抓取网站信息,一般搜索引擎只有开始大量建立索引库才会这么玩,跟刚上线时的头条搜索一个套路,看来华为搜索也是要准备进场了!


鲜花

握手

雷人

路过

鸡蛋
关闭

站长推荐上一条 /1 下一条


QQ|小黑屋|Archiver|手机版|三八猪资源交易网

GMT+8, 2020-9-23 22:58

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

返回顶部

为了响应国家互联网安全,本站已和国家网信办举报中心对接。发布内容信息系统会自动记录IP地址、设备信息、行为记录等。如有发生犯罪违法违规行为,我们全部配合有关部门协助调查取证!

本站部分文字及图片均来自于网络,如侵犯到您的权益,请及时通知我们,我们将及时的处理。

本站所提供的信息,只供参考之用。本站不保证该等信息的准确性、有效性、及时性或完整性。本站一概毋须以任何方式就任何信息传递或传送的失误、不准确或错误对用户或任何其他人士负任何直接或间接的责任。
在法律允许的范围内,本站在此声明,不承担用户或任何人士就使用或未能使用本站所提供的信息或任何链接或项目所引致的任何直接、间接、附带、从属、特殊、惩罚性或惩戒性的损害赔偿(包括但不限于收益、预期利润的损失或失去的业务未实现预期的节省)。

本站中的文章(包括转贴文章)的版权仅归原作者所有,若作者有版权声明的或文章从其它网站(或各种互联网渠道)转载而附带有原所有站的版权声明者,其版权归属以附带声明为准;文章仅代表作者本人的观点,与本站立场无关。