ملف الروبوتات.txt توزيع الاستخدام في جزر فيرجن الأمريكية

ليثبت ملف الروبوتات.txt توزيع الاستخدام في جزر فيرجن الأمريكية

تكنولوجيا	المواقع الإلكترونية	%
Google AdsBot Disallow	473	17.35
Googlebot Disallow	327	12
Anthropic Claude Bot Disallow	152	5.58
Common Crawl Bot Disallow	150	5.5
GPTBot Disallow	148	5.43
Facebook Bot Disallow	147	5.39
AppleBot Disallow	146	5.36
Google Bard Disallow	146	5.36
Apple AI Bot Disallow	143	5.25
Cohere AI Disallow	141	5.17
Perplexity	140	5.14
Google AdsBot Mobile Apps Disallow	138	5.06
Ahrefs Bot Disallow	94	3.45
Robots Disallow	58	2.13
Yandex Bot Disallow	47	1.72
Majestic Bot Disallow	35	1.28
Some Robots Disallow	34	1.25
Google Media Partners Disallow	34 *	1.25
Semrush Bot Disallow	29	1.06
Alexa Bot Disallow	27	0.99
Microsoft BingBot Disallow	26	0.95
Yahoo Slurp Disallow	26	0.95
Soso Bot Disallow	20	0.73
Microsoft MSNBot Disallow	11	0.4
Exalead Bot Disallow	6	0.22
Google Image Bot Disallow	6	0.22
ByteDance Bytespider Disallow	5	0.18
Webz Omgili Disallow	5	0.18
360 Bot Disallow	3	0.11
BuiltWithBot Disallow	2	0.07
Diffbot Disallow	2	0.07
Google News Bot Disallow	1	0.04
Google Video Bot Disallow	1	0.04
YOU Disallow	1	0.04
Google Favicon Disallow	1	0.04
Pipl Disallow	1	0.04

2,726 الاكتشافات

ل ملف الروبوتات.txt في جزر فيرجن الأمريكية. آخر تحديث 04th رجب 2025.

Google AdsBot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.