在互聯網中，URL是每個頁面的入口地址，蜘蛛程序就是通過這些URL列表抓取到頁面的，蜘蛛不斷地從這些頁面中獲取URL資源及存儲頁面，并加入URL列表，如此不斷地循環，搜索引擎就可以從互聯網中獲取到足夠的頁面。
URL是頁面的入口，域名則是網站的入口。搜索引擎就是通過域名進入網站，挖掘URL資源。換而言之，搜索引擎在互聯網中抓取頁面的首要任務就是要有龐大的域名列表，再不斷的通過域名，進入網站抓取網站中的頁面。
而對于seo而言，想被網站搜索引擎收錄，首要條件就是加入搜索引擎的域名列表，常見加入搜索引擎的域名列表的有以下兩種方式。
（1）利用搜索引擎提供的網站登錄入口，向搜索引擎提交網站域名，不過用此方法搜索引擎只會定期抓取并更新，這種做法比較被動，從域名提交到網站被收錄所花費的時間也比較長。
（2）通過與有質量的“外鏈”，使搜索引擎在抓取“別人”的網站頁面時發現我們的網站，從而實現對網站的收錄，這種方法主動權在我們手上（只要有足夠多的“外鏈”）且收錄速度比第一種方法快，根據外部鏈接的數量、質量相關性，一般2-7天就會被搜索引擎收錄。
