ملف الروبوتات.txt توزيع الاستخدام في أفضل 1 مليون موقع

ليثبت ملف الروبوتات.txt توزيع الاستخدام في أفضل 1 مليون موقع

تكنولوجيا	المواقع الإلكترونية	%
Robots Disallow	134,173	13.42
Ahrefs Bot Disallow	62,214	6.22
Googlebot Disallow	59,313	5.93
Yandex Bot Disallow	48,338	4.83
Google AdsBot Disallow	42,204	4.22
Some Robots Disallow	40,719	4.07
Baidu Bot Disallow	35,611	3.56
GPTBot Disallow	32,992	3.3
Semrush Bot Disallow	31,338	3.13
Majestic Bot Disallow	31,001	3.1
Microsoft BingBot Disallow	25,425	2.54
Google Media Partners Disallow	23,027	2.3
Common Crawl Bot Disallow	22,230	2.22
Anthropic Claude Bot Disallow	20,695	2.07
Yahoo Slurp Disallow	20,516	2.05
Alexa Bot Disallow	20,007	2
Sogou Bot Disallow	19,897	1.99
AppleBot Disallow	14,191	1.42
Google Bard Disallow	13,934	1.39
ByteDance Bytespider Disallow	13,483	1.35
Microsoft MSNBot Disallow	13,075	1.31
Soso Bot Disallow	13,033	1.3
Facebook Bot Disallow	12,071	1.21
Google AdsBot Mobile Disallow	11,852	1.19
Google Image Bot Disallow	10,614	1.06
Exalead Bot Disallow	9,243	0.92
Perplexity	9,235	0.92
Cohere AI Disallow	8,636	0.86
Webz Omgili Disallow	8,098	0.81
Apple AI Bot Disallow	7,959	0.8
Google AdsBot Mobile Apps Disallow	7,769	0.78
Google News Bot Disallow	6,798	0.68
DuckDuckGo Bot Disallow	5,975	0.6
360 Bot Disallow	5,599	0.56
Google Video Bot Disallow	5,352	0.54
Google Favicon Disallow	4,784	0.48
Google API Bot Disallow	4,684	0.47
Google DuplexWeb Disallow	4,576	0.46
Diffbot Disallow	4,303	0.43
YOU Disallow	3,151	0.32
BuiltWithBot Disallow	2,576	0.26
Pipl Disallow	2,165	0.22
Youdao Bot Disallow	939	0.09
Google FeedFetcher Disallow	151	0.02
Google Read Aloud Disallow	53	0.01
Google Web Light Disallow	16	0
Google BIG Bench Disallow	5	0

874,020 الاكتشافات

ل ملف الروبوتات.txt في أفضل 1 مليون موقع. آخر تحديث 17th جمادى الثانية 2024.

Google Media Partners Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.