小紅書禁止所有搜索引擎抓取其內容 所以只能通過站內手動搜索了 – 藍點網
百度搜索目前已經收錄小紅書網站上 7 億 9807 萬個網頁,小紅谷歌則只索引了小紅書網站的書禁索引所只索藍首頁,為什么呢?有搜大連金州上課工作室(品茶喝茶)vx《189=4143》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達因為小紅書早已禁止所有搜索引擎抓取小紅書的內容。
藍點網接到網友提醒稱小紅書的擎抓 robots.txt 文件已經明確禁止所有搜索引擎抓取內容,不過藍點網檢索后發現實際上小紅書是內容能通內手在 2023 年 4 月 2 日修改 robots.txt 文件的,轉眼間這都修改了 1 年。過站
目前并不清楚小紅書為什么禁止搜索引擎抓取內容,動搜點網從 SEO 角度來說,小紅允許搜索引擎抓取有助于給小紅書帶來更多流量,書禁索引所只索藍畢竟現在百度都索引了 7 億多個網頁。有搜大連金州上課工作室(品茶喝茶)vx《189=4143》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達

而且小紅書是擎抓去年 4 月修改的,所以估計也不是內容能通內手因為防止被抓取內容訓練 AI 吧?但小紅書目前的內容庫拿去訓練 AI 確實很有價值,畢竟巨量文字和圖片內容。過站
不過 robots.txt 文件只是動搜點網君子協定,屬于防君子不妨小人的小紅那種,除了會導致用戶無法從搜索引擎直接查詢小紅書內容外,其實幫助也不大,畢竟其他非搜索引擎的爬蟲也會繼續抓取內容,小紅書肯定也做了反爬措施了。
現在國內的網站禁止搜索引擎抓取已經是個很常見的事情,或者專門預留一些層級目錄供搜索引擎抓取想要獲得一些流量,更有甚者甚至別說搜索引擎了,就連正常的用戶訪問也會被攔截,必須注冊賬號登錄后才能繼續訪問,這顯然不是一個好事情。
附小紅書 2023 年 4 月 2 日的 robots.txt 信息:
User-agent:GooglebotAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:BaiduspiderAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:bingbotDisallow:/User-agent:Sogou web spiderAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:Sogou wap spiderAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:YisouSpiderDisallow:/User-agent:BaiduSpider-adsAllow:/activity/sem/kratosAllow:/activity/sem/walleUser-agent:*Disallow:/
下面是小紅書最新的 robots.txt 信息:
User-agent:GooglebotDisallow:/User-agent:BaiduspiderDisallow:/User-agent:bingbotDisallow:/User-agent:Sogou web spiderDisallow:/User-agent:Sogou wap spiderDisallow:/User-agent:YisouSpiderDisallow:/User-agent:BaiduSpider-adsDisallow:/User-agent:*Disallow:/
- ·《拂曉:勝利之刻》夏熾花水 松握隆冬
- ·Key社催淚經典《ONE:輝之季節》重制版發售日公布!
- ·質量效應2新故事介紹
- ·世界智謀故事 英軍真假炮兵陣的故事
- ·DOTA2卡牌游戲《Artifact》發售時間價格曝光
- ·克里斯托弗勞埃德確認為回到未來游戲
- ·黑暗孢子(Darkspore)的全新游戲風格
- ·原神提納里精通和攻擊收益哪個大
- ·《龍騰世紀:影障守護者》預計將在今年秋季發售
- ·世界智謀故事 一顆燃燒的鉆石的故事
- ·爐石傳說術士皮膚奈姆希怎么樣 爐石傳說奈姆希皮膚圖文解析
- ·《惡靈附身2》畫面很卡幀數很低怎么辦 提高幀數畫面怎么設置
- ·《這是我的戰爭》4月8日前可免費游戲 3折銷售
- ·咸魚之王遺跡探險諸葛亮關打法陣容攻略
- ·《時空中的繪旅人》cp29參展情報公開!霧影蒸騰 深入繁華都市的秘境
- ·手辦鑒賞室:惡魔少女魅惑滿滿!橘愛麗絲夢幻打歌服
- ·杭州臨安小姐包夜vx《192+1819+1410》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達
- ·廈門外圍大學生(服務)vx《192+1819+1410》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達
- ·廈門湖里高端外圍經紀人的聯系方式vx《192+1819+1410》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達
- ·佛山高明找酒店上門(同城酒店上門)vx《192+1819+1410》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達
- ·杭州臨平高級資源上門按摩服務vx《192+1819+1410》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達
- ·青島李滄附近約美女上門vx《192+1819+1410》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達
- ·重慶渝中怎么找酒店上門資源vx《192+1819+1410》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達
- ·長春附近約服務外圍女上門vx《192+1819+1410》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達
- ·西安新城附近約美女上門vx《192+1819+1410》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達
- ·西安新城(小姐上門)找小姐聯系方式vx《192+1819+1410》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達
