ملف الروبوتات.txt توزيع الاستخدام في الأرض الخضراء

ليثبت ملف الروبوتات.txt توزيع الاستخدام في الأرض الخضراء

تكنولوجيا	المواقع الإلكترونية	%
Robots Disallow	129	10.42
Googlebot Disallow	104	8.4
Google AdsBot Disallow	101	8.16
Google AdsBot Mobile Disallow	72	5.82
Ahrefs Bot Disallow	62	5.01
Baidu Bot Disallow	55	4.44
GPTBot Disallow	48	3.88
Common Crawl Bot Disallow	45	3.63
Some Robots Disallow	44	3.55
Anthropic Claude Bot Disallow	43	3.47
Google Bard Disallow	42	3.39
Facebook Bot Disallow	41	3.31
AppleBot Disallow	40	3.23
Apple AI Bot Disallow	38	3.07
Cohere AI Disallow	36	2.91
Perplexity	36	2.91
Yandex Bot Disallow	35	2.83
Google AdsBot Mobile Apps Disallow	35	2.83
Microsoft BingBot Disallow	34	2.75
Alexa Bot Disallow	30	2.42
Yahoo Slurp Disallow	30	2.42
Soso Bot Disallow	27	2.18
Majestic Bot Disallow	25	2.02
Google Media Partners Disallow	17 *	1.37
Webz Omgili Disallow	10	0.81
Semrush Bot Disallow	9	0.73
ByteDance Bytespider Disallow	9	0.73
Microsoft MSNBot Disallow	6	0.48
Google Image Bot Disallow	5	0.4
Diffbot Disallow	4	0.32
Exalead Bot Disallow	3	0.24
Google News Bot Disallow	3	0.24
Google Video Bot Disallow	3	0.24
DuckDuckGo Bot Disallow	3	0.24
Google Favicon Disallow	3	0.24
Google API Bot Disallow	3	0.24
Google DuplexWeb Disallow	3	0.24
YOU Disallow	2	0.16
360 Bot Disallow	1	0.08
BuiltWithBot Disallow	1	0.08
Pipl Disallow	1	0.08

1,238 الاكتشافات

ل ملف الروبوتات.txt في الأرض الخضراء. آخر تحديث 04th رجب 2025.

Robots Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.