ملف robots.txt توزيع الاستخدام في قائمة أفضل 10 آلاف موقع

أعلى في ملف robots.txt توزيع الاستخدام في قائمة أفضل 10 آلاف موقع

تكنولوجيا	المواقع الالكترونية	%
Robots Disallow	3,652	36.52
Some Robots Disallow	1,498	14.98
GPTBot Disallow	1,465	14.65
Googlebot Disallow	1,371	13.71
Common Crawl Bot Disallow	1,143	11.43
AppleBot Disallow	1,073	10.73
Anthropic Claude Bot Disallow	1,010	10.1
Ahrefs Bot Disallow	992	9.92
Google AdsBot Disallow	861	8.61
ByteDance Bytespider Disallow	793	7.93
Yandex Bot Disallow	775	7.75
Google Bard Disallow	737	7.37
Perplexity	725	7.25
Facebook Bot Disallow	724	7.24
Semrush Bot Disallow	724	7.24
Webz Omgili Disallow	685	6.85
Cohere AI Disallow	659	6.59
Apple AI Bot Disallow	635	6.35
Microsoft BingBot Disallow	597	5.97
Majestic Bot Disallow	580	5.8
Baidu Bot Disallow	569	5.69
Diffbot Disallow	475	4.75
Alexa Bot Disallow	420	4.2
Yahoo Slurp Disallow	332	3.32
Google Media Partners Disallow	320	3.2
Microsoft MSNBot Disallow	319	3.19
Google AdsBot Mobile Disallow	296	2.96
Sogou Bot Disallow	261	2.61
Google Image Bot Disallow	257	2.57
YOU Disallow	216	2.16
Exalead Bot Disallow	195	1.95
Google News Bot Disallow	187	1.87
Google AdsBot Mobile Apps Disallow	177	1.77
Soso Bot Disallow	160	1.6
DuckDuckGo Bot Disallow	146	1.46
360 Bot Disallow	133	1.33
Google Video Bot Disallow	112	1.12
Google API Bot Disallow	82	0.82
Google Favicon Disallow	76	0.76
Google DuplexWeb Disallow	72	0.72
Pipl Disallow	69	0.69
BuiltWithBot Disallow	60	0.6
Youdao Bot Disallow	24	0.24
LLMS Text	8	0.08
Google FeedFetcher Disallow	4	0.04
Google Web Light Disallow	1	0.01
Google BIG Bench Disallow	1	0.01

25,671 الكشف

ل ملف robots.txt في قائمة أفضل 10 آلاف موقع. آخر تحديث 07th رمضان 2025.

Google Media Partners Disallow هي حاليًا التكنولوجيا الأكثر شيوعًا في هذه الفئة.