Роботы.txt Распределение использования в Гернси

Вверху Роботы.txt Распределение использования в Гернси

Технологии	Веб-сайты	%
Googlebot Disallow	2 040	15,52
Baidu Bot Disallow	1 691	12,87
Some Robots Disallow	1 505	11,45
Sogou Bot Disallow	1 273	9,69
Google AdsBot Disallow	803	6,11
Robots Disallow	752	5,72
Google AdsBot Mobile Disallow	513	3,9
Yandex Bot Disallow	354	2,69
Microsoft BingBot Disallow	338	2,57
Alexa Bot Disallow	334	2,54
Yahoo Slurp Disallow	333	2,53
Ahrefs Bot Disallow	324	2,47
Soso Bot Disallow	317	2,41
Google Media Partners Disallow	263 *	2
GPTBot Disallow	241	1,83
Common Crawl Bot Disallow	203	1,54
Anthropic Claude Bot Disallow	201	1,53
Google Bard Disallow	200	1,52
AppleBot Disallow	191	1,45
Facebook Bot Disallow	189	1,44
Apple AI Bot Disallow	179	1,36
Perplexity	178	1,35
Google AdsBot Mobile Apps Disallow	173	1,32
Cohere AI Disallow	172	1,31
Majestic Bot Disallow	104	0,79
Semrush Bot Disallow	65	0,49
ByteDance Bytespider Disallow	25	0,19
Google Image Bot Disallow	23	0,17
Webz Omgili Disallow	21	0,16
Microsoft MSNBot Disallow	17	0,13
360 Bot Disallow	14	0,11
Exalead Bot Disallow	13	0,1
Google News Bot Disallow	12	0,09
DuckDuckGo Bot Disallow	12	0,09
Google Video Bot Disallow	11	0,08
Google Favicon Disallow	11	0,08
Diffbot Disallow	10	0,08
Google API Bot Disallow	10	0,08
Google DuplexWeb Disallow	10	0,08
Pipl Disallow	8	0,06
YOU Disallow	6	0,05
BuiltWithBot Disallow	4	0,03

13 143 Обнаружения

из Роботы.txt в Гернси. Последнее обновление 07th мар 2025.

Googlebot Disallow в настоящее время является самой популярной технологией в этой категории.