Archivo robots.txt Distribución de uso En Nepal

Distribución para sitios web que utilizan Archivo robots.txt Tecnologías

Tecnología	Sitios web	%
Robots Disallow	992	19,69
Googlebot Disallow	587	11,65
Google AdsBot Disallow	314	6,23
Baidu Bot Disallow	306	6,08
Some Robots Disallow	268	5,32
GPTBot Disallow	250	4,96
Google AdsBot Mobile Disallow	221	4,39
Sogou Bot Disallow	187	3,71
Yandex Bot Disallow	170	3,38
Google Media Partners Disallow	146 ^*	2,9
Microsoft BingBot Disallow	140	2,78
Ahrefs Bot Disallow	138	2,74
Alexa Bot Disallow	134	2,66
Yahoo Slurp Disallow	129	2,56
Soso Bot Disallow	114	2,26
Common Crawl Bot Disallow	92	1,83
Google Bard Disallow	89	1,77
Facebook Bot Disallow	84	1,67
AppleBot Disallow	81	1,61
Anthropic Claude Bot Disallow	80	1,59
Apple AI Bot Disallow	76	1,51
Semrush Bot Disallow	72	1,43
Majestic Bot Disallow	71	1,41
Perplexity	63	1,25
Cohere AI Disallow	61	1,21
Google AdsBot Mobile Apps Disallow	55	1,09
Webz Omgili Disallow	25	0,5
Microsoft MSNBot Disallow	16	0,32
Google Image Bot Disallow	13	0,26
Exalead Bot Disallow	12	0,24
ByteDance Bytespider Disallow	11	0,22
DuckDuckGo Bot Disallow	10	0,2
Diffbot Disallow	7	0,14
Youdao Bot Disallow	5	0,1
360 Bot Disallow	4	0,08
BuiltWithBot Disallow	3	0,06
Google News Bot Disallow	3	0,06
Google Video Bot Disallow	2	0,04
Google API Bot Disallow	2	0,04
Google Favicon Disallow	1	0,02
Google DuplexWeb Disallow	1	0,02
Pipl Disallow	1	0,02
Google FeedFetcher Disallow	1	0,02