Роботы.txt Распределение использования в Украине

Вверху Роботы.txt Распределение использования в Украине

Технологии	Веб-сайты	%
Yandex Bot Disallow	23 442	25,22
Googlebot Disallow	13 658	14,7
Robots Disallow	13 079	14,07
Google AdsBot Disallow	4 953	5,33
Google AdsBot Mobile Disallow	4 142	4,46
Ahrefs Bot Disallow	2 814	3,03
Baidu Bot Disallow	2 813	3,03
Alexa Bot Disallow	2 571	29,56
Microsoft BingBot Disallow	2 542	2,74
Sogou Bot Disallow	2 448	2,63
Majestic Bot Disallow	2 290	2,46
Yahoo Slurp Disallow	2 254	2,43
Google Media Partners Disallow	2 239 *	2,41
Some Robots Disallow	1 850	1,99
Soso Bot Disallow	1 801	1,94
Semrush Bot Disallow	1 660	1,79
GPTBot Disallow	1 011	11,62
Common Crawl Bot Disallow	918	10,56
Microsoft MSNBot Disallow	769	0,83
Exalead Bot Disallow	592	0,64
Anthropic Claude Bot Disallow	513	5,9
Google Image Bot Disallow	507	0,55
Google Bard Disallow	440	5,06
360 Bot Disallow	440	0,47
AppleBot Disallow	373	0,4
Facebook Bot Disallow	329	3,78
Apple AI Bot Disallow	278	3,2
ByteDance Bytespider Disallow	265	3,05
Perplexity	259	2,98
Cohere AI Disallow	257	2,96
Youdao Bot Disallow	242	0,26
Google AdsBot Mobile Apps Disallow	215	0,23
Webz Omgili Disallow	190	2,18
YOU Disallow	168	1,93
BuiltWithBot Disallow	132	0,14
DuckDuckGo Bot Disallow	94	0,1
Diffbot Disallow	86	0,99
Google News Bot Disallow	82	0,09
Google Video Bot Disallow	65	0,07
Google API Bot Disallow	49	0,05
Google Favicon Disallow	46	0,05
Google DuplexWeb Disallow	45	0,05
Pipl Disallow	13	0,01
Google FeedFetcher Disallow	2	0
Google Read Aloud Disallow	1	0
LLMS Text	1	0

92 938 Обнаружения

из Роботы.txt в Украине. Последнее обновление 07th мар 2025.

Yandex Bot Disallow в настоящее время является самой популярной технологией в этой категории.