ملف الروبوتات.txt توزيع الاستخدام في واليس وفوتونا

ليثبت ملف الروبوتات.txt توزيع الاستخدام في واليس وفوتونا

تكنولوجيا	المواقع الإلكترونية	%
Robots Disallow	94	13.37
Baidu Bot Disallow	70	9.96
Googlebot Disallow	69	9.82
Sogou Bot Disallow	65	9.25
Alexa Bot Disallow	59	8.39
Yandex Bot Disallow	58	8.25
Microsoft BingBot Disallow	57	8.11
Yahoo Slurp Disallow	56	7.97
Soso Bot Disallow	56	7.97
Google Media Partners Disallow	34 *	4.84
Ahrefs Bot Disallow	10	1.42
Microsoft MSNBot Disallow	6	0.85
Semrush Bot Disallow	5	0.71
Google AdsBot Disallow	4	0.57
Common Crawl Bot Disallow	4	0.57
Majestic Bot Disallow	4	0.57
Google Image Bot Disallow	4	0.57
Google AdsBot Mobile Disallow	3	0.43
GPTBot Disallow	3	0.43
Anthropic Claude Bot Disallow	3	0.43
ByteDance Bytespider Disallow	3	0.43
Exalead Bot Disallow	3	0.43
Webz Omgili Disallow	3	0.43
AppleBot Disallow	2	0.28
Google Bard Disallow	2	0.28
Facebook Bot Disallow	2	0.28
Apple AI Bot Disallow	2	0.28
Perplexity	2	0.28
Google AdsBot Mobile Apps Disallow	2	0.28
Diffbot Disallow	2	0.28
Google News Bot Disallow	2	0.28
Google Video Bot Disallow	2	0.28
DuckDuckGo Bot Disallow	2	0.28
Google Favicon Disallow	2	0.28
Google API Bot Disallow	2	0.28
Google DuplexWeb Disallow	2	0.28
Cohere AI Disallow	1	0.14
360 Bot Disallow	1	0.14
BuiltWithBot Disallow	1	0.14
Youdao Bot Disallow	1	0.14

703 الاكتشافات

ل ملف الروبوتات.txt في واليس وفوتونا. آخر تحديث 04th رجب 2025.

Robots Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.