你好@Izzywashere
欢迎来到论坛。
你能分享一个链接到你发布的网站和只读链接吗?
此外，在您的项目设置，SEO选项卡，在robots.txt文件中设置了什么?
干杯!
谷歌在决定索引哪些页面和不索引哪些页面时非常随意。一般来说，我的经验是谷歌将索引站点的主要区域，在站点的20%到60%之间，然后如果它看到了兴趣，就扩展它。
为什么?因为Zipf定律．大多数互联网从来没有被搜索过，那么为什么要索引它呢?
在你的网站上，一切看起来都很好，可能除了你的robots . txt．
我将在下面解释原因。
这是我检查过的——
您的“折叠”页面只是您的社区页面。所有其他的/道路/页是Collection-generated页面。
SITEMAP.XML
您的社区页面在您的sitemap.xml所以谷歌知道它们。
https://www.buildtorentlist.com/sitemap.xml
< url > < loc > https://www.buildtorentlist.com/communities/tx/build-to-rent-homes-dallas < / loc > < / url >
它们也没有密码保护，或包含任何明显的“禁止机器人”的指令< >头．我没有检查无索引指令的链接，但这不太可能。
robots . txt
你也没有robots . txt配置好了，这通常不是问题。然而Webflow的404页，您有一个重定向脚本回到您的主页。
也就是说，如果你试图访问你的robots . txt-
https://www.buildtorentlist.com/robots.txt
服务器正确地响应404但之后你会被重定向。同样，这应该不会引起问题，但您最好设置您的robots . txt内容显式为allow-all;
User-agent: * Allow: /
除此之外，我最好的建议是努力让这些页面更有价值。添加好内容，定期更新，不断为你的网站添加内容等等。
如果您正在使用谷歌Search Console，您可能会得到一些关于什么被索引、什么没有被索引以及原因的更好的信息。
1像
谢谢，这很有帮助。
我使用谷歌搜索控制台，这是我发现它没有索引文件夹内的那些页面(具体地说)
好的，我将按照你的建议在robots.txt字段中添加以下内容:
用户代理:*
允许:/
我需要删除404重定向到主页脚本吗?
此外，由于sitemap.xml识别文件夹中的页面，我是否应该直接将sitemap提交给谷歌?
不，我认为这很好，而且很酷。如果是我，我可能会更改它以显示一个漂亮的404，然后在4秒后自动重定向。或者提供搜索等，帮助人们找到他们想要的东西。
基本上，“不会有伤害。”在客户端站点上，我总是设置谷歌搜索控制台并提交他们的sitemap.xml。这能让我更快地追踪。
我已经在webflow中输入了一个自定义的站点地图(在我清理了它之后)，并将它提交到谷歌以及。webflow生成了我不想被索引的链接(例如，网站自带的电子商务/结帐页面，无法删除或起草它们)
谢谢你的洞察力
1像
据我所知，删除页面sitemap.xml不会告诉谷歌“不要索引这个。”它只是帮助谷歌找到什么应该索引，并确定自上次访问以来是否发生了更改。
为了防止在页面上建立索引，你可能需要在页面的头部添加META;
< meta name = "机器人"内容=“noindex”>
如果您可以将页面标记为“无搜索引擎索引”，然后让Webflow自动适当地更新HTTP响应头、meta、robots.txt和sitemap.xml，那将是最理想的。
https://wishlist.www.raktarban.com/ideas/WEBFLOW-I-211
1像
啊，好的，我明白了。我将添加这个来排除页面，并从webflow切换回自动站点地图
嗨，我输入了你的代码< meta name = "机器人"内容=“noindex”>但是webflow autositemap仍然在生成这些页面
改变应该是即时正确的吗?
是的，这是正确的，您不需要担心sitemap.xml。
META noindex告诉谷歌不要索引你的页面。
多年来，搜索引擎索引在许多不同的举措下不断发展，我相信它将继续发展，但今天你可以把它看作三个主要部分……
/ sitemap.xml
告诉搜索引擎你的页面在哪里，以及它们最近一次更改的时间。
它没有告诉引擎他们可以看什么，或者他们应该索引什么，它只是一个方便的机制，使爬行和变化检测更有效。
/ robots . txt
告诉搜索引擎他们可以做什么看看．
这与告诉引擎它们被允许做什么是不同的指数．
一般来说，在这里排除页面是没有用的，因为如果谷歌已经索引了您的页面，并且然后你把它加到robots . txt，谷歌将不再查看它，这意味着它将永远不会更新或取消索引它。
< meta name = "机器人"内容=“noindex”>
当你在一个页面的HEAD中有这个META时，它告诉搜索引擎不要索引这个页面，如果他们已经索引了这个页面，就删除它。
对于99%的Webflow网站，最好的方法是自动生成sitemap.xml来显示所有内容，在你不想索引的页面上使用META NOINDEX。
明白了，谢谢你的澄清。听起来noindex脚本将实现我想要的
