為了抓取網站上更多的頁面,搜索引擎蜘蛛會追蹤頁面上的連結,從一個頁面爬到下一個頁面,就好像蜘蛛在
蜘蛛網上爬行那樣。
整個互聯網是由相互連結的網站和頁面組成的,蜘蛛從任何一個頁面出發,順著連結都可以爬行到網一的所有
頁面。
蜘蛛爬行策略簡單的說可以分為二種:一種是深度爬行、另一種是廣度爬行。
只要給蜘蛛足夠的時間,無論是哪種爬策略都能爬完整個互聯網,蜘蛛可以爬行到眾多的網站(廣度),
也會爬行到一部份網站的內頁(深度),同時也會考慮到頁面權重、網站規模、外部連結和網頁更新等因素。
Line:@887xioya
★★★★★訂閱 SEO 十萬個為什麼頻道★★★★★:
https://www.youtube.com/channel/UC6dMbzahuwk00c3WBQMkd1Q