ملف الروبوتات.txt توزيع الاستخدام في الهند

ليثبت ملف الروبوتات.txt توزيع الاستخدام في الهند

تكنولوجيا	المواقع الإلكترونية	%
Googlebot Disallow	118,937	14.3
Google AdsBot Disallow	111,043	13.35
Robots Disallow	66,451	7.99
Ahrefs Bot Disallow	60,406	7.26
Baidu Bot Disallow	60,001	7.21
Google AdsBot Mobile Disallow	58,224	7
Sogou Bot Disallow	44,783	5.38
Yandex Bot Disallow	41,149	4.95
Microsoft BingBot Disallow	40,512	4.87
Alexa Bot Disallow	40,288	4.84
Yahoo Slurp Disallow	39,292	4.72
Soso Bot Disallow	37,807	4.55
Some Robots Disallow	33,664	4.05
Google Media Partners Disallow	7,558 *	0.91
GPTBot Disallow	6,658	0.8
Majestic Bot Disallow	5,865	0.71
Common Crawl Bot Disallow	5,684	0.68
Google Bard Disallow	4,985	0.6
Anthropic Claude Bot Disallow	4,882	0.59
AppleBot Disallow	4,839	0.58
Facebook Bot Disallow	4,687	0.56
Semrush Bot Disallow	4,463	0.54
Apple AI Bot Disallow	4,385	0.53
Perplexity	4,141	0.5
Cohere AI Disallow	3,674	0.44
Google AdsBot Mobile Apps Disallow	3,611	0.43
BuiltWithBot Disallow	3,092	0.37
Google Image Bot Disallow	2,088	0.25
Microsoft MSNBot Disallow	1,800	0.22
Webz Omgili Disallow	1,338	0.16
ByteDance Bytespider Disallow	1,295	0.16
Exalead Bot Disallow	1,044	0.13
360 Bot Disallow	501	0.06
DuckDuckGo Bot Disallow	421	0.05
Google News Bot Disallow	377	0.05
Google Video Bot Disallow	305	0.04
Diffbot Disallow	299	0.04
YOU Disallow	292	0.04
Google Favicon Disallow	254	0.03
Google API Bot Disallow	184	0.02
Google DuplexWeb Disallow	175	0.02
Youdao Bot Disallow	171	0.02
Pipl Disallow	84	0.01
Google FeedFetcher Disallow	15	0
Google Read Aloud Disallow	4	0
Google Web Light Disallow	1	0

831,729 الاكتشافات

ل ملف الروبوتات.txt في الهند. آخر تحديث 04th رجب 2025.

Googlebot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.