知乎已經(jīng)完全禁止谷歌和必應搜索抓取內(nèi)容 看起來真怕內(nèi)容被訓練AI？ – 藍點網(wǎng)
昨天藍點網(wǎng)提到知乎開始強制要求登錄賬號，知乎否則將禁止查看知乎問答和專欄的已經(jīng)應搜完整內(nèi)容，之前通過腳本屏蔽知乎登錄彈窗已經(jīng)沒有意義，完全網(wǎng)成都漂亮外圍外圍上門外圍女姐上門（微信156-8194-*7106）提供1-2線城市外圍上門外圍女，真實可靠快速安排30分鐘到達因為屏蔽彈窗后要查看內(nèi)容還是禁止會繼續(xù)彈出登錄窗口。
為什么要強制用戶登錄暫時還不清楚，谷歌考慮到知乎在搜索引擎中的和必權(quán)重非常高，各大搜索引擎檢索問題時都可能看到排在前面的索抓知乎頁面，強制登錄將對大量用戶造成影響。取內(nèi)起
一個可能的容看容被成都漂亮外圍外圍上門外圍女姐上門（微信156-8194-*7106）提供1-2線城市外圍上門外圍女，真實可靠快速安排30分鐘到達原因是知乎不愿意自己的內(nèi)容被各大搜索引擎或其他爬蟲抓取拿去訓練 AI 模型，現(xiàn)在強制登錄后想要限制抓取在技術(shù)手段上是怕內(nèi)非常容易的，比如某個用戶短時間內(nèi)訪問大量頁面，訓練那肯定是藍點不正常的。
還禁止谷歌和必應等搜索引擎：
值得注意的是，今天早上藍點網(wǎng)接到網(wǎng)友的已經(jīng)應搜反饋，知乎 robots.txt 文件已經(jīng)在 4~5 月某個時候修改(具體時間可能是完全網(wǎng) 5 月 22 日，與知乎強制登錄時間近似)，此次修改知乎僅允許百度搜索和搜狗(搜狗是新增的，之前禁止搜狗抓取內(nèi)容)抓取其內(nèi)容，不再允許其他搜索引擎內(nèi)容。
知乎在幾年前曾與百度達成合作因此在百度搜索中知乎的頁面權(quán)重非常高可以獲得更多點擊量，現(xiàn)在只允許百度和搜狗而禁止其他一切搜索引擎，不知道知乎是否已經(jīng)與百度達成了某些方面的協(xié)議。
目前的這種狀況是用戶在知乎發(fā)布的任何新內(nèi)容，都不會被谷歌和必應收錄了，也就是知乎所有新內(nèi)容在谷歌和必應上都無法再查到。
大概率還是 AI 訓練問題：
無論是強制登錄還是禁止搜索引擎抓取內(nèi)容，這些操作看起來都非常像是知乎為了避免自己的內(nèi)容被抓取而拿去訓練人工智能，這和之前埃隆馬斯克對 X/Twitter 的操作本質(zhì)上也就是類似的。
對于大型內(nèi)容網(wǎng)站來說趁著 AI 熱潮賣數(shù)據(jù)確實是個比較不錯的變現(xiàn)方式，但禁止抓取也意味著開放的互聯(lián)網(wǎng)正在逐漸走向封閉。
未來可能會有更多網(wǎng)站禁止搜索引擎或其他爬蟲抓取內(nèi)容甚至也同樣強制要求登錄，對互聯(lián)網(wǎng)用戶來說這肯定不是一個好消息。
附知乎此前的 robots.txt 文件：(2024-04-28)
User-agent: GooglebotDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Googlebot-ImageDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-newsDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: BaiduspiderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-renderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-imageDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: bingbotDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-Agent: *Disallow: /
最新的 robots.txt 文件(2024-05-27)：
User-agent: Baiduspider-newsDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: BaiduspiderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-renderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Baiduspider-imageDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /search-specialDisallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-agent: Sogou web spiderDisallow: /appview/Disallow: /loginDisallow: /logoutDisallow: /resetpasswordDisallow: /termsDisallow: /searchAllow: /tardis/sogou/Disallow: /notificationsDisallow: /settingsDisallow: /inboxDisallow: /admin_inboxDisallow: /*?guide*User-Agent: *Disallow: /
感謝網(wǎng)友 顏黎明 投遞的消息