Anthropic 用 robots.txt 而非 noindex 隐藏 Claude 共享对话

据 Wired 于2026年7月27日报道，Anthropic 通过 robots.txt 而非 noindex 元标签来屏蔽 Claude 共享对话页面。这两者有本质区别：robots.txt 只能阻止爬虫抓取新页面，如果链接已被收录或在其他地方被引用，没有 noindex 标签的页面仍可能被搜索到。