Роботы.txt Распределение использования в Гваделупе

Вверху Роботы.txt Распределение использования в Гваделупе

Технологии	Веб-сайты	%
Googlebot Disallow	698	23
Google AdsBot Disallow	596	19,64
Google AdsBot Mobile Disallow	526	17,33
Ahrefs Bot Disallow	121	3,99
Robots Disallow	114	3,76
Baidu Bot Disallow	86	2,83
Sogou Bot Disallow	75	2,47
Some Robots Disallow	68	2,24
Google Media Partners Disallow	53 *	1,75
Yandex Bot Disallow	49	1,61
Yahoo Slurp Disallow	45	1,48
Microsoft BingBot Disallow	44	1,45
Semrush Bot Disallow	44	1,45
Majestic Bot Disallow	43	1,42
GPTBot Disallow	40	12,42
Anthropic Claude Bot Disallow	36	11,18
Common Crawl Bot Disallow	34	10,56
AppleBot Disallow	33	1,09
Google Bard Disallow	31	9,63
Facebook Bot Disallow	31	9,63
Google AdsBot Mobile Apps Disallow	31	1,02
Apple AI Bot Disallow	30	9,32
Perplexity	29	9,01
Cohere AI Disallow	28	8,7
Alexa Bot Disallow	26	8,07
Soso Bot Disallow	25	0,82
Microsoft MSNBot Disallow	16	0,53
DuckDuckGo Bot Disallow	15	0,49
ByteDance Bytespider Disallow	11	3,42
Exalead Bot Disallow	8	0,26
Webz Omgili Disallow	8	2,48
Google Image Bot Disallow	6	0,2
Google News Bot Disallow	6	0,2
Google Video Bot Disallow	6	0,2
Google Favicon Disallow	5	0,16
Google API Bot Disallow	5	0,16
Google DuplexWeb Disallow	5	0,16
Diffbot Disallow	3	0,93
YOU Disallow	3	0,93
Youdao Bot Disallow	1	0,03
Pipl Disallow	1	0,03

3 035 Обнаружения

из Роботы.txt в Гваделупе. Последнее обновление 21st апр 2025.

Googlebot Disallow в настоящее время является самой популярной технологией в этой категории.