Robots.txt Distribución de uso en Jersey

Distribución para sitios web que utilizan Robots.txt tecnologías

Tecnología	Sitios web	%
GPTBot Disallow	182	7,81
Common Crawl Bot Disallow	177	7,6
Google Bard Disallow	177	7,6
AppleBot Disallow	174	7,47
Anthropic Claude Bot Disallow	174	7,47
Perplexity	174	7,47
Google AdsBot Mobile Apps Disallow	174	7,47
Facebook Bot Disallow	173	7,42
Cohere AI Disallow	172	7,38
Apple AI Bot Disallow	171	7,34
Googlebot Disallow	147	6,31
Robots Disallow	63	2,7
Baidu Bot Disallow	54	2,32
Sogou Bot Disallow	44	1,89
Yandex Bot Disallow	44	1,89
Microsoft BingBot Disallow	41	1,76
Yahoo Slurp Disallow	40	1,72
Soso Bot Disallow	39	1,67
Alexa Bot Disallow	38	1,63
Ahrefs Bot Disallow	25	1,07
Google Media Partners Disallow	15 ^*	0,64
Majestic Bot Disallow	6	0,26
Semrush Bot Disallow	5	0,21
Microsoft MSNBot Disallow	4	0,17
ByteDance Bytespider Disallow	2	0,09
Webz Omgili Disallow	2	0,09
Google Image Bot Disallow	2	0,09
Exalead Bot Disallow	1	0,04
360 Bot Disallow	1	0,04
Diffbot Disallow	1	0,04
Google News Bot Disallow	1	0,04
Google Video Bot Disallow	1	0,04
DuckDuckGo Bot Disallow	1	0,04
Google Favicon Disallow	1	0,04
YOU Disallow	1	0,04
Google API Bot Disallow	1	0,04
Google DuplexWeb Disallow	1	0,04
Pipl Disallow	1	0,04