Robots協議是一種網站協議，也稱為robots.txt文件，用于告訴網絡搜索引擎哪些頁面可以被抓取和索引，以及哪些頁面不應被抓取。它是一個文本文件，位于網站的根目錄下，可以通過URL路徑“/rob...
