( •̀ .̫ •́ )✧ 更新了 robot.txt

今天我更新了 blog 的 robots.txt 了

更新成

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

Sitemap: https://shiyou-blog.blogspot.com/sitemap.xml

原先只有以下兩條。

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://shiyou-blog.blogspot.com/sitemap.xml

這兩條也很好懂，第一條是禁止 AdSense 檢索器存取權（參考：Google AdSense說明：在 robots.txt 檔案中授予 AdSense 檢索器存取權）；第二條則是禁止機器人查閱 blogger 搜尋結果。

至於後面追加的則是避免 chat GPT 爬蟲（參照OpenAI API：Bot），以免自己內容被 AI 學習。

目前正在研究如何迴避 Bing AI 和 Google Bard