搜索引擎用來爬行和訪問頁面的程序,稱為蜘蛛 (Spider) 或機器人 (Bot)
搜索引擎蜘蛛訪問網站頁面時,類似於普通用戶使用的瀏覽器。蜘蛛程序發出頁面訪問請求後,服務器返回
HTML 代碼,蜘蛛程序把收到的代碼存入原始頁面資料庫。
蜘蛛訪問任何一個網頁時,都會先訪問網站根目錄下的 robots.txt 文件。
如果 robots.txt 文件禁止搜索引擎抓取某些文件或目錄,蜘蛛會遵守協議,不抓取被禁止的網址。
Line:@887xioya
★★★★★訂閱 SEO 十萬個為什麼頻道★★★★★:
https://www.youtube.com/channel/UC6dMbzahuwk00c3WBQMkd1Q