StuartM(斯图亚特•莫法特)
# 1
文森特(Vincent Bidaux)
# 3
你的robots TXT似乎不允许一切:
用户代理:*不允许:
robots.txt不是因为站点设置中的字段为空。如果您以前禁止了机器人，并且只是擦除了字段的内容，那么robots.txt往往不会被刷新。
尝试通过在robots.txt字段中写入新值来专门允许所有的机器人。
StamuR(罗宾)
# 4
大家好，爬的太晚了。我每天在我的网站上上传文章，但他们仍然没有索引。谷歌是否遵循任何算法，根据它的索引或在我的网站错误，因为我的一些文章没有索引。
这是我的Live网站:https://truepaintballer.com
我上个月上传了5篇文章，但它们仍然没有被索引。需要你的帮助。
嗨@vincent，这个配置看起来是对的根据说明书；．我总是发现robots . txt语法有点笨拙。
但这应该允许所有机器人爬行;
用户代理:*不允许:
Googlebot似乎支持一些额外的结构，比如;
User-agent: * Allow: /
然而，这被认为是不标准的。
@StuartM问题解决了吗?也许这是某种缓存问题。
