ملف الروبوتات.txt توزيع الاستخدام في جنوب أفريقيا

ليثبت ملف الروبوتات.txt توزيع الاستخدام في جنوب أفريقيا

تكنولوجيا	المواقع الإلكترونية	%
Googlebot Disallow	38,299	13.57
Google AdsBot Disallow	34,292	12.15
Google AdsBot Mobile Disallow	21,501	7.62
Baidu Bot Disallow	20,297	7.19
Sogou Bot Disallow	17,410	6.17
Ahrefs Bot Disallow	15,112	5.35
Yandex Bot Disallow	12,084	4.28
Microsoft BingBot Disallow	11,608	4.11
Some Robots Disallow	10,971	3.89
Yahoo Slurp Disallow	10,916	3.87
Alexa Bot Disallow	10,804	3.83
Soso Bot Disallow	10,407	3.69
Robots Disallow	9,190	3.26
Anthropic Claude Bot Disallow	5,077	1.8
GPTBot Disallow	4,857	1.72
Common Crawl Bot Disallow	4,737	1.68
Google Bard Disallow	4,532	1.61
AppleBot Disallow	4,513	1.6
Facebook Bot Disallow	4,472	1.58
Apple AI Bot Disallow	4,368	1.55
Perplexity	4,360	1.54
Cohere AI Disallow	4,321	1.53
Google AdsBot Mobile Apps Disallow	3,859	1.37
Majestic Bot Disallow	3,060	1.08
Semrush Bot Disallow	2,746	0.97
ByteDance Bytespider Disallow	2,363	0.84
Google Media Partners Disallow	1,353 *	0.48
Microsoft MSNBot Disallow	747	0.26
Webz Omgili Disallow	711	0.25
Diffbot Disallow	651	0.23
YOU Disallow	535	0.19
Google Image Bot Disallow	471	0.17
360 Bot Disallow	412	0.15
DuckDuckGo Bot Disallow	311	0.11
Exalead Bot Disallow	281	0.1
Google News Bot Disallow	121	0.04
Google Video Bot Disallow	114	0.04
Google Favicon Disallow	99	0.04
Google API Bot Disallow	81	0.03
Google DuplexWeb Disallow	80	0.03
BuiltWithBot Disallow	71	0.03
Pipl Disallow	60	0.02
Youdao Bot Disallow	11	0
Google FeedFetcher Disallow	3	0
Google Read Aloud Disallow	1	0

282,269 الاكتشافات

ل ملف الروبوتات.txt في جنوب أفريقيا. آخر تحديث 04th رجب 2025.

Googlebot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.