ملف robots.txt توزيع الاستخدام في الولايات المتحدة

أعلى في ملف robots.txt توزيع الاستخدام في الولايات المتحدة

تكنولوجيا	المواقع الالكترونية	%
Yandex Bot Disallow	2,179,192	5.66
Microsoft BingBot Disallow	2,074,445	5.39
Alexa Bot Disallow	2,028,947	5.27
Robots Disallow	2,025,965	5.26
Yahoo Slurp Disallow	1,958,110	5.09
Soso Bot Disallow	1,885,251	4.9
Ahrefs Bot Disallow	1,849,788	4.81
GPTBot Disallow	1,830,579	4.76
Common Crawl Bot Disallow	1,819,022	4.73
AppleBot Disallow	1,721,525	4.47
Anthropic Claude Bot Disallow	1,708,084	4.44
Google Bard Disallow	1,672,269	4.34
Facebook Bot Disallow	1,654,911	4.3
Apple AI Bot Disallow	1,632,881	4.24
Cohere AI Disallow	1,599,398	4.16
Perplexity	1,571,764	4.08
Google AdsBot Disallow	1,545,606	4.02
Google AdsBot Mobile Apps Disallow	1,539,203	4
Google AdsBot Mobile Disallow	1,221,522	3.17
Googlebot Disallow	970,002	2.52
Majestic Bot Disallow	764,168	1.99
Semrush Bot Disallow	671,898	1.75
Baidu Bot Disallow	396,100	1.03
Some Robots Disallow	344,099	0.89
Sogou Bot Disallow	304,959	0.79
ByteDance Bytespider Disallow	208,196	0.54
Google Media Partners Disallow	201,327 *	0.52
Exalead Bot Disallow	179,660	0.47
Microsoft MSNBot Disallow	170,085	0.44
360 Bot Disallow	155,771	0.4
Google Image Bot Disallow	133,897	0.35
Webz Omgili Disallow	130,181	0.34
Diffbot Disallow	71,702	0.19
BuiltWithBot Disallow	64,941	0.17
Google News Bot Disallow	34,485	0.09
Google Video Bot Disallow	33,741	0.09
Youdao Bot Disallow	29,154	0.08
Google Favicon Disallow	26,822	0.07
YOU Disallow	26,515	0.07
DuckDuckGo Bot Disallow	25,954	0.07
Google API Bot Disallow	9,620	0.02
Google DuplexWeb Disallow	8,499	0.02
Pipl Disallow	8,368	0.02
Google FeedFetcher Disallow	1,214	0
Google Read Aloud Disallow	1,031	0
LLMS Text	588	0
Google Web Light Disallow	89	0
Google BIG Bench Disallow	13	0

38,491,541 الكشف

ل ملف robots.txt في الولايات المتحدة. آخر تحديث 23st شوال 2025.

Yandex Bot Disallow هي حاليًا التكنولوجيا الأكثر شيوعًا في هذه الفئة.