ملف الروبوتات.txt توزيع الاستخدام في .me

التوزيع لمواقع الويب باستخدام ملف الروبوتات.txt التقنيات

Googlebot Disallow 10%Baidu Bot Disallow 9%Some Robots Disallow 6%Yahoo Slurp Disallow 5%Yandex Bot Disallow 5%Microsoft BingBot Disallow 5%Alexa Bot Disallow 5%Soso Bot Disallow 5%Sogou Bot Disallow 4%Google AdsBot Disallow 4%Robots Disallow 4%Google AdsBot Mobile Disallow 4%AppleBot Disallow 3%Other 31%
ليثبت ملف الروبوتات.txt توزيع الاستخدام في .me
تكنولوجيا المواقع الإلكترونية %
Googlebot Disallow 38,209 10.13
Baidu Bot Disallow 33,101 8.78
Some Robots Disallow 21,305 5.65
Yahoo Slurp Disallow 19,560 5.19
Yandex Bot Disallow 19,093 5.06
Microsoft BingBot Disallow 18,954 5.03
Alexa Bot Disallow 18,739 4.97
Soso Bot Disallow 18,187 4.82
Sogou Bot Disallow 16,958 4.5
Google AdsBot Disallow 14,990 3.97
Robots Disallow 14,779 3.92
Google AdsBot Mobile Disallow 13,288 3.52
AppleBot Disallow 11,669 3.09
GPTBot Disallow 11,233 2.98
Common Crawl Bot Disallow 10,985 2.91
Google Bard Disallow 10,755 2.85
Anthropic Claude Bot Disallow 10,735 2.85
Facebook Bot Disallow 10,608 2.81
Apple AI Bot Disallow 10,415 2.76
Perplexity 9,561 2.53
Cohere AI Disallow 9,178 2.43
Google AdsBot Mobile Apps Disallow 9,115 2.42
Google Media Partners Disallow 4,872 * 1.29
Ahrefs Bot Disallow 4,546 1.21
Semrush Bot Disallow 3,938 1.04
Majestic Bot Disallow 3,868 1.03
Webz Omgili Disallow 1,709 0.45
Exalead Bot Disallow 1,547 0.41
ByteDance Bytespider Disallow 1,042 0.28
Microsoft MSNBot Disallow 773 0.2
Google Image Bot Disallow 596 0.16
360 Bot Disallow 531 0.14
Google News Bot Disallow 300 0.08
Google Video Bot Disallow 285 0.08
Diffbot Disallow 274 0.07
Google Favicon Disallow 268 0.07
BuiltWithBot Disallow 239 0.06
DuckDuckGo Bot Disallow 225 0.06
YOU Disallow 201 0.05
Google API Bot Disallow 181 0.05
Google DuplexWeb Disallow 178 0.05
Pipl Disallow 96 0.03
Youdao Bot Disallow 80 0.02
Google FeedFetcher Disallow 7 0
Google Read Aloud Disallow 1 0
Google Web Light Disallow 1 0

377,175 الاكتشافات

ل ملف الروبوتات.txt في .me. آخر تحديث 30st جمادى الثانية 2024.

Googlebot Disallow Googlebot Disallow حاليًا هي التقنية الأكثر شيوعًا في هذه الفئة.

قمة 1m
أفضل 1,000,000 موقع من حيث عدد الزيارات
920,308
قمة 100k
أفضل 100.000 موقع من حيث عدد الزيارات
164,147
قمة 10k
أفضل 10000 موقع من حيث حركة المرور
24,477
الإنترنت بالكامل
187,219,494
الولايات المتحدة
49,628,435
ألمانيا
7,387,769
المملكة المتحدة
4,697,812
روسيا
4,064,763
أستراليا
3,048,196
كندا
2,160,794
إيطاليا
1,969,185
فرنسا
1,337,241
البرازيل
1,292,894
هولندا
1,038,735
.co
1,026,647
إسبانيا
988,557
سويسرا
889,534
اليابان
872,015
الهند
776,132
الصين
687,121
PL بولندا
517,625
NZ نيوزيلندا
474,439
BE بلجيكا
460,129
SE السويد
454,197
AT النمسا
377,866
ME .me
377,175
NO النرويج
330,663
DK الدنمارك
316,250
CZ الجمهورية التشيكية
312,329
MX المكسيك
306,950
ZA جنوب أفريقيا
273,646
IE أيرلندا
265,110
KR كوريا الجنوبية
250,434
IO .io
240,089
RO رومانيا
237,588
CC جزر كوكوس
231,577
TR ديك رومى
224,004
FI فنلندا
205,173
ID إندونيسيا
191,461
PH فيلبيني
168,880
PT البرتغال
149,449
TW تايوان
146,715
HU هنغاريا
136,223
SG سنغافورة
133,400
AR الأرجنتين
130,652
TH تايلاند
111,492
CL شيلي
109,832
TV .tv
105,888
GR اليونان
105,770
HK هونج كونج
103,411
UA أوكرانيا
101,750
VN فيتنام
93,321
AI أنغيلا
86,881
SK سلوفاكيا
86,341
IL إسرائيل
83,870
AE الإمارات العربية المتحدة
76,690
VG جزر فيرجن البريطانية
70,353
MY ماليزيا
65,425
LU لوكسمبورغ
61,920
SA المملكة العربية السعودية
44,056
WS ساموا
41,781
PK باكستان
40,365
LT ليتوانيا
39,579
IR إيران
39,242
BG بلغاريا
37,121
EE إستونيا
34,737
IS أيسلندا
33,863
CM الكاميرون
33,502
LV لاتفيا
33,361
SI سلوفينيا
32,323
PE بيرو
32,204
HR كرواتيا
23,888
NU نيوي
22,674
PR بورتوريكو
21,052
CR كوستا ريكا
20,983
RS صربيا
19,701
BY بيلاروسيا
19,082
EC الاكوادور
18,794
IM جزيرة آيل أوف مان
18,130
KE كينيا
17,280
NG نيجيريا
17,246
PW بالاو
16,804
UY أوروغواي
16,218
LI ليختنشتاين
14,813
TO تونغا
14,345
RE جمع شمل
13,999
DO جمهورية الدومينيكان
13,903
KZ كازاخستان
13,573
MT مالطا
12,514
GG غيرنسي
12,195
VC سانت فنسنت وجزر غرينادين
12,174
BD بنغلاديش
11,837
MA المغرب
11,555
GT غواتيمالا
10,799
SH سانت هيلانة
10,774
EG مصر
10,377
LB لبنان
8,992
PA بنما
8,860
AL ألبانيا
8,436
CY قبرص
8,166
GE جورجيا
8,141
LK سيريلانكا
8,054
VE فنزويلا
7,777
QA دولة قطر
6,964
AM أرمينيا
6,961
BZ بليز
6,887
GH غانا
6,626
UG أوغندا
6,482
SO الصومال
6,409
TZ تنزانيا
6,223
FM ميكرونيزيا
6,050
UZ أوزبكستان
6,000
KW الكويت
5,628
NP نيبال
5,107
JO الأردن
4,700
MD مولدوفا
4,626
MK مقدونيا
4,618
CX جزيرة عيد الميلاد
4,577
HN هندوراس
4,504
PY باراجواي
3,846
MU موريشيوس
3,713
TN تونس
3,677
GP جوادلوب
3,445
BS جزر البهاما
3,372
KH كمبوديا
3,360
SV السلفادور
3,245
MN منغوليا
3,227
BH البحرين
3,176
AG أنتيغوا وبربودا
3,148
AZ أذربيجان
3,113
BO بوليفيا
3,097
MC موناكو
3,066
PM سانت بيير وميكلون
2,961
BA البوسنة والهرسك
2,941
OM سلطنة عمان
2,808
DZ الجزائر
2,803
NA ناميبيا
2,773
RW رواندا
2,760
KY جزر كايمان
2,718
ST سان تومي وبرينسيبي
2,666
VI جزر فيرجن الأمريكية
2,633
ET أثيوبيا
2,597
ZW زيمبابوي
2,467
JE جيرسي
2,433
FO جزر فاروس
2,391
TT ترينداد وتوباغو
2,357
JM جامايكا
2,170
AF أفغانستان
2,165
ZM زامبيا
2,151
BM برمودا
2,134
SC سيشيل
2,080
NI نيكاراغوا
1,985
MQ مارتينيك
1,905
SX سينت مارتن
1,834
MS مونتسيرات
1,730
BB بربادوس
1,722
IQ العراق
1,646
CI كوت ديفوار
1,633
NC كاليدونيا الجديدة
1,618
MM ميانمار
1,608
MZ موزمبيق
1,605
MV جزر المالديف
1,587
AD أندورا
1,585
YT مايوت
1,456
LC القديسة لوسيا
1,453
AO أنغولا
1,408
CD الكونغو
1,362
FJ فيجي
1,349
SN السنغال
1,327
AS ساموا الأمريكية
1,314
BW بوتسوانا
1,281
KG قيرغيزستان
1,275
TC جزر تركس وكايكوس
1,272
ML مالي
1,214
GL الأرض الخضراء
1,154
GD غرينادا
1,073
GI جبل طارق
1,007
MG مدغشقر
1,002
AW أروبا
960
HT هايتي
930
PS فلسطين
889
GS جورجيا الجنوبية وجزر ساندويتش الجنوبية
880
GY غيانا
875
VU فانواتو
714
NE النيجر
642
TG توجو
639
BF بوركينا فاسو
623
WF واليس وفوتونا
619
MW ملاوي
618
GM غامبيا
587
TJ طاجيكستان
584
CU كوبا
539
DJ جيبوتي
480
PG بابوا غينيا الجديدة
477
GF غيانا الفرنسية
444
GU غوام
442
BN بروناي
434
AX جزر آلاند
432
BJ بنين
419
SL سيرا ليون
412
SR سورينام
375
SB جزر سليمان
356
TL تيمور الشرقية
323
YE اليمن
319
SD السودان
303
LR ليبيريا
296
CK جزر كوك
289
BI بوروندي
288
SY سوريا
278
LA جمهورية لاو الديمقراطية الشعبية
276
PF بولينيزيا الفرنسية
262
LY ليبيا
246
SM سان مارينو
243
HM قلب الجزيرة وجزر ماكدونالز
224
TM تركمانستان
223
BT بوتان
204
CW كوراكاو
187
SZ سوازيلاند
186
SJ سفالبارد وجان ماين
167
GA الجابون
164
KN سانت كيتس ونيفيس
155
LS ليسوتو
144
MR موريتانيا
144
MO ماكاو
138
DM دومينيكا
122
MP جزر مريانا الشمالية
111
UM جزر الولايات المتحدة البعيدة الصغرى
87
NF جزيرة نورفولك
81
CV كابو فيردي
77
CG الكونغو
71
VA مدينة الفاتيكان
66
GN غينيا
66
KI كيريباتي
62
SS جنوب السودان
61
TD تشاد
60
FK جزر فوكلاند
53
BL سانت بارتيليمي
50
GW غينيا بيساو
46
MH جزر مارشال
44
PN بيتكيرن
36
NR ناورو
28
AQ القارة القطبية الجنوبية
24
BQ بونير
20
ER إريتريا
15
GQ غينيا الإستوائية
13
فئات