SEO 入門

【SEO•不難】SEO十萬個為什麼系列_04 什麼是搜索引擎蜘蛛?

搜索引擎用來爬行和訪問頁面的程序,稱為蜘蛛 (Spider) 或機器人 (Bot)
搜索引擎蜘蛛訪問網站頁面時,類似於普通用戶使用的瀏覽器。蜘蛛程序發出頁面訪問請求後,服務器返回
HTML 代碼,蜘蛛程序把收到的代碼存入原始頁面資料庫。
蜘蛛訪問任何一個網頁時,都會先訪問網站根目錄下的 robots.txt 文件。
如果 robots.txt 文件禁止搜索引擎抓取某些文件或目錄,蜘蛛會遵守協議,不抓取被禁止的網址。


Line:@887xioya

★★★★★訂閱 SEO 十萬個為什麼頻道★★★★★:
https://www.youtube.com/channel/UC6dMbzahuwk00c3WBQMkd1Q

Related Posts

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *