机器人.txt 使用分布

网站分发使用 机器人.txt 技术

置顶 机器人.txt 使用分布
技术 网站 %

0 检测结果

的 机器人.txt . 最近更新时间 18th 12月 2024.

顶部 1m
按流量排名前 1,000,000 个网站
874,020
顶部 100k
按流量排名前 100,000 个的网站
153,037
顶部 10k
按流量排名前 10,000 个网站
22,876
整个互联网
178,790,857
美国
50,588,778
德国
7,237,838
英国
4,740,717
俄罗斯
3,939,848
澳大利亚
3,044,952
加拿大
2,171,895
意大利
1,870,671
法国
1,316,306
巴西
1,252,692
.co
1,028,587
荷兰
1,027,984
西班���
948,549
日本
886,466
瑞士
840,439
印度
776,532
中国
603,997
PL 波兰
489,698
NZ 新西兰
476,834
BE 比利时
459,548
SE 瑞典
431,930
AT 奥地利
369,196
ME .me
368,341
NO 挪威
325,445
MX 墨西哥
304,901
DK 丹麦
304,179
CZ 捷克共和国
303,144
ZA 南非
272,058
IE 爱尔兰
255,473
KR 韩国
249,673
RO 罗马尼亚
230,520
TR 火鸡
228,394
IO .io
227,045
CC 科科斯群岛
208,810
FI 芬兰
201,548
ID 印度尼西亚
188,071
PH 菲律宾
166,891
PT 葡萄牙
147,793
TW 台湾
139,650
SG 新加坡
135,643
AR 阿根廷
128,286
HU 匈牙利
115,422
TH 泰国
111,114
CL 智利
110,976
HK 香港
104,263
TV .tv
104,119
GR 希腊
102,772
UA 乌克兰
99,253
VN 越南
92,562
IL 以色列
85,209
AI 安圭拉
81,414
SK 斯洛伐克
78,092
AE 阿联酋
76,621
VG 英属维尔京群岛
68,550
MY 马来西亚
65,963
LU 卢森堡
59,396
SA 沙特阿拉伯
42,806
WS 萨摩亚
40,273
PK 巴基斯坦
39,825
LT 立陶宛
37,943
IR 伊朗
37,152
BG 保加利亚
36,334
EE 爱沙尼亚
34,581
IS 冰岛
33,355
LV 拉脱维亚
32,987
CM 喀麦隆
32,485
PE 秘鲁
31,868
SI 斯洛文尼亚
30,838
HR 克罗地亚
23,682
NU 纽埃
22,071
PR 波多黎各
21,131
CR 哥斯达黎加
20,786
RS 塞尔维亚
19,357
EC 厄瓜多尔
18,587
BY 白俄罗斯
18,512
NG 尼日利亚
17,007
KE 肯尼亚
16,943
IM 马恩岛
16,818
PW 帕劳
16,358
UY 乌拉圭
16,270
LI 列支敦士登
14,113
TO 汤加
13,912
DO 多明尼加共和国
13,526
RE 团圆
13,272
KZ 哈萨克斯坦
13,255
MT 马耳他
12,419
VC 圣文森特和格林纳丁斯
11,798
GG 根西岛
11,714
MA 摩洛哥
11,397
BD 孟加拉国
11,269
GT 危地马拉
10,794
EG 埃及
10,244
SH 圣赫勒拿岛
10,043
LB 黎巴嫩
9,052
PA 巴拿马
8,892
AL 阿尔巴尼亚
8,186
GE 乔治亚州
8,119
LK 斯里兰卡
8,077
CY 塞浦路斯
7,994
VE 委内瑞拉
7,745
QA 卡塔尔
6,859
AM 亚美尼亚
6,711
BZ 伯利兹
6,594
GH 加纳
6,551
UG 乌干达
6,311
TZ 坦桑尼亚
6,201
UZ 乌兹别克斯坦
6,010
SO 索马里
5,959
FM 密克罗尼西亚
5,803
KW 科威特
5,663
NP 尼泊尔
5,371
JO 约旦
4,690
MD 摩尔多瓦
4,548
MK 马其顿
4,533
HN 洪都拉斯
4,490
CX 圣诞岛
4,346
PY 巴拉圭
3,853
MU 毛里求斯
3,784
TN 突尼斯
3,563
GP 瓜德罗普岛
3,557
KH 柬埔寨
3,349
BS 巴哈马
3,314
SV 萨尔瓦多
3,233
MN 蒙古
3,157
RW 卢旺达
3,128
AZ 阿塞拜疆
3,110
BH 巴林
3,098
MC 摩纳哥
3,081
BO 玻利维亚
3,057
AG 安提瓜和巴布达
2,948
BA 波斯尼亚和黑塞哥维那
2,931
OM 阿曼
2,872
NA 纳米比亚
2,833
VI 美属维尔京群岛
2,741
KY 开曼群岛
2,718
DZ 阿尔及利亚
2,686
ZW 津巴布韦
2,508
ST 圣多美和普林西比
2,482
TT 特立尼达和多巴哥
2,365
JE 球衣
2,330
FO 法罗群岛
2,253
JM 牙买加
2,215
ZM 赞比亚
2,153
AF 阿富汗
2,151
BM 百慕大
2,113
ET 埃塞俄比亚
2,077
NI 尼加拉瓜
2,035
SC 塞舌尔
1,984
PM 圣皮埃尔和密克隆群岛
1,948
MS 蒙特塞拉特
1,824
BB 巴巴多斯
1,744
SX 圣马丁岛
1,696
MM 缅甸
1,662
IQ 伊拉克
1,620
MZ 莫桑比克
1,619
NC 新喀里多尼亚
1,614
MV 马尔代夫
1,607
AD 安道尔
1,577
CI 科特迪瓦
1,548
AO 安哥拉
1,464
YT 马约特岛
1,384
FJ 斐济
1,361
MQ 马提尼克岛
1,328
BW 博茨瓦纳
1,314
CD 刚果
1,304
LC 圣卢西亚
1,302
SN 塞内加尔
1,281
TC 特克斯和凯科斯群岛
1,258
KG 吉尔吉斯斯坦
1,231
AS 美属萨摩亚
1,207
GL 格陵兰
1,148
ML 马里
1,074
MG 马达加斯加
1,038
GI 直布罗陀
1,016
AW 阿鲁巴岛
936
HT 海地
915
PS 巴勒斯坦
887
GY 圭亚那
887
GD 格林纳达
864
GS 南乔治亚岛和南桑威奇群岛
844
VU 瓦努阿图
706
TG 多哥
626
MW 马拉维
622
BF 布基纳法索
596
TJ 塔吉克斯坦
587
WF 瓦利斯和富图纳群岛
584
GM 冈比亚
574
CU 古巴
534
DJ 吉布提
498
PG 巴布亚新几内亚
462
NE 尼日尔
456
GF 法属圭亚那
448
GU 关岛
445
BN 文莱
432
AX 奥兰群岛
430
BJ 贝宁
417
SL 塞拉利昂
379
SR 苏里南
378
SB 所罗门群岛
349
YE 也门
338
TL 东帝汶
336
SD 苏丹
300
LR 利比里亚
297
CK 库克群岛
292
LA 老挝人民民主共和国
282
PF 法属波利尼西亚
265
BI 布隆迪
263
SM 圣马力诺
248
HM 赫德岛和麦克唐纳群岛
242
LY 利比亚
232
TM 土库曼斯坦
218
SY 叙利亚
188
CW 库拉索
184
MP 北马里亚纳群岛
184
BT 不丹
182
SZ 斯威士兰
180
KN 圣基茨和尼维斯
162
GA 加蓬
160
SJ 斯瓦尔巴群岛和扬马延岛
160
LS 莱索托
148
MR 毛里塔尼亚
142
DM 多米尼加
130
MO 澳门
128
UM 美国本土外小岛屿
84
NF 诺福克岛
80
CV 佛得角
79
VA 梵蒂冈城
73
CG 刚果
69
GN 几内亚
69
TD 乍得
63
KI 基里巴斯
61
FK 福克兰群岛
52
SS 南苏丹
52
BL 圣巴泰勒米岛
50
GW 几内亚比绍
48
MH 马绍尔群岛
47
PN 皮特凯恩
32
NR 瑙鲁
28
AQ 南极洲
23
BQ 博内尔岛
20
ER 厄立特里亚
16
GQ 赤道几内亚
12
类别