Роботы.txt Распределение использования в Шри-Ланка

Топ в Роботы.txt Распределение использования в Шри-Ланка

Технологии	Веб-сайты	%
Google AdsBot Disallow	1 169	14,47
Googlebot Disallow	1 075	13,31
Robots Disallow	843	10,44
Google AdsBot Mobile Disallow	765	9,47
Ahrefs Bot Disallow	455	5,63
Baidu Bot Disallow	320	3,96
Some Robots Disallow	266	3,29
Yandex Bot Disallow	215	2,66
Google Media Partners Disallow	194 *	2,4
Alexa Bot Disallow	191	2,36
GPTBot Disallow	183	2,27
Sogou Bot Disallow	176	2,18
Microsoft BingBot Disallow	175	2,17
Common Crawl Bot Disallow	172	2,13
Yahoo Slurp Disallow	165	2,04
Google Bard Disallow	165	2,04
AppleBot Disallow	162	2,01
Anthropic Claude Bot Disallow	161	1,99
Facebook Bot Disallow	159	1,97
Apple AI Bot Disallow	158	1,96
Perplexity	154	1,91
Google AdsBot Mobile Apps Disallow	154	1,91
Cohere AI Disallow	153	1,89
Soso Bot Disallow	150	1,86
Semrush Bot Disallow	91	1,13
Majestic Bot Disallow	76	0,94
Google Image Bot Disallow	37	0,46
Microsoft MSNBot Disallow	19	0,24
Exalead Bot Disallow	13	0,16
Webz Omgili Disallow	9	0,11
ByteDance Bytespider Disallow	8	0,1
DuckDuckGo Bot Disallow	6	0,07
Google News Bot Disallow	5	0,06
Youdao Bot Disallow	5	0,06
360 Bot Disallow	4	0,05
Google Video Bot Disallow	4	0,05
Google Favicon Disallow	4	0,05
Google API Bot Disallow	4	0,05
Google DuplexWeb Disallow	4	0,05
Diffbot Disallow	3	0,04
YOU Disallow	3	0,04
BuiltWithBot Disallow	2	0,02

8 077 Обнаружения

из Роботы.txt в Шри-Ланка. Последнее обновление 18th дек 2024.

Google AdsBot Disallow на данный момент является самой популярной технологией в этой категории.