有些找過工作面試的朋友（特別是爬蟲的崗位）應(yīng)該常常被問到，你知道你在瀏覽器輸入百度的網(wǎng)址之后，背后做了什么操作嗎？其實這主要是想看看你對計算機網(wǎng)絡(luò)協(xié)議的了解，今天小帥b就跟你淺談一下這個問題，在此之前，我們先來了解一下什么是 URL 。
你真的理解URL是什么？
我們經(jīng)常使用瀏覽器上網(wǎng)，在想要查詢某些網(wǎng)站的時候，我們都會在瀏覽器的地址欄中輸入一段字符串，也就是我們常說的「網(wǎng)址」，其實我們說的這個「網(wǎng)址」，指的就是URL，URL的全稱是Uniform Resource Location， 叫做 「統(tǒng)一資源定位」。
比如我們想要訪問 google，應(yīng)該會在瀏覽器的地址欄中輸入：
http://www.google.com。
這時候我們可以看到 URL 中兩個比較重要的部分，一個是協(xié)議，一個是資源名稱，它們被 「://」分隔開，左邊的 http 就是協(xié)議，右邊的 www.google.com 就是資源名稱。
我們這里用到的協(xié)議是 HTTP 協(xié)議，他的全稱叫做超文本傳輸協(xié)議，網(wǎng)絡(luò)上的請求協(xié)議有許多，例如我們比較熟悉的其它協(xié)議有 ftp 協(xié)議，https 協(xié)議等等。
為什么要用協(xié)議呢？
因為沒有規(guī)矩，不成方圓，我們在傳輸數(shù)據(jù)的時候，需要通過相應(yīng)的規(guī)則才能獲取相應(yīng)的資源，比如你在家里，突然餓了，想要點外賣，那么你需要找到你想吃的，然后付錢，商家才給你做，外賣小哥哥才笑嘻嘻的給你送，如果你不遵循這一規(guī)則，你不給錢，你能吃到嗎？外賣小哥會笑嘻嘻給你送嗎？除非很帥。
所以我們這里使用的 HTTP 協(xié)議，可以給我們提供超文本文檔。
資源名稱
資源名稱是一個完整的地址，它的格式是完全取決于協(xié)議而定，不過在大多數(shù)的協(xié)議里面，資源名稱都包括：
1.Host Name ：主機名，也就是服務(wù)器的名稱，一般是域名，也就是域名對應(yīng)的這臺服務(wù)器的 ip 地址， 例如http://www.google.com 中的 www.google.com 就是主機名。
2.FileName ：文件名，也就是我們要訪問服務(wù)器上某個位置上的文件，這個文件所在的路徑名就是FileName，例如我們要訪問 a 服務(wù)器上的老師目錄下的照片，那么我們就可以這樣訪問：
http://www.a.com/teacher/照片.jpg
這里的 teacher/照片.jpg 就是FileName。
3.Port Number: 端口號，這個是用于連接的端口，我們默認訪問不需要輸入端口，是因為 80 是默認的連接端口，一般服務(wù)器上有 0-65535 個端口，他開放哪個端口給你訪問，你就只能通過它給你的端口進行訪問，就好比你要去開房，發(fā)現(xiàn)酒店有65536 個房間，然后客服人員告訴你第 8000 個房間可以住，那么你就交完錢拿著房卡去 8000 號的房玩耍，總不會去 65536 個房間玩?zhèn)€遍吧！
這個端口后一般是在尾部添加冒號，在冒號寫上端口號。例如：http://www.google.com:80
4.Parameters :請求參數(shù)，我們可以通過參數(shù)去訪問特定的資源，一般在訪問的地址后面添加 key-value 的相識的值去訪問，例如我們要訪問 a 這個網(wǎng)站的老師目錄下第一到第十張波多野結(jié)衣的照片就可以這樣呀訪問：
http://www.a.com/teacher/pic/boduoyejieyi?start=1&end=10
好了，接下來就說說你在瀏覽器輸入baidu.com后，都發(fā)生了什么
- 你在 Chrome 的地址欄輸入baidu.com
2.Chrome通過 DNS 去查找 baidu.com 這個域名對應(yīng)的IP地址：
DNS的查找過程是這樣的：
Chrome瀏覽器會先查找有沒有緩存的 DNS 記錄，如果在瀏覽器緩存沒有找到需要的記錄，就會去做一個系統(tǒng)的調(diào)用，獲取系統(tǒng)緩存的記錄；
如果沒有記錄請求會繼續(xù)到路由器上，路由器上有自己的 DNS 緩存；
如果沒有記錄就會到 ISP 的 DNS 緩存中查看記錄；
如果沒有記錄就會在 ISP 的 DNS 服務(wù)器從根服務(wù)器域名服務(wù)器開始遞歸搜索最后得到 IP 地址。
3.瀏覽器給 baidu 服務(wù)器發(fā)送一個 HTTP 請求
獲取到 baidu 的 ip 地址之后，就可以給 baidu 這個服務(wù)器發(fā)送 HTTP 請求了，我們通過 URL 地址去發(fā)送的時候是一個GET 的請求，這時候會向 baidu 服務(wù)器發(fā)送一個 header 信息：
Accept:text/html,Application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8 Accept-Encoding:gzip, deflate, br Accept-Language:zh-CN,zh;q=0.8 Cache-Control:no-cache Connection:keep-alive Cookie:PSTM=1506157985; BIDUPSID=DA662DF344C147D17FB4828CCD795292; ... Host:www.baidu.com Pragma:no-cache Upgrade-Insecure-Requests:1 User-Agent:Mozilla/5.0 (windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36
經(jīng)常寫反反爬的話你應(yīng)該知道其中
- User-Agent是向 baidu 服務(wù)器提供瀏覽器的類型，操作系統(tǒng)版本，瀏覽插件，瀏覽器語言等信息。
- Accept是告訴服務(wù)器說我們需要接收的類型是什么樣子的。
- Connection:keep-alive 是為了后邊請求不要關(guān)閉TCP連接。
- Cookie 是以文本形式存儲，每次請求的時候就會發(fā)送給服務(wù)器，它可以存儲用戶的狀態(tài)，用戶名等信息。
4.baidu服務(wù)器301重定向響應(yīng)
因為剛剛我們在 Chrome 瀏覽器中輸入的是 baidu.com 而不是www.baidu.com，這時候 baidu 服務(wù)器就會將我們的請求響應(yīng)一個 301 永久重定向到 www.baidu.com。
5.Chrome瀏覽器請求重定向來的地址
這時候 Chrome 瀏覽器知道 www.baidu.com 才是 baidu 希望訪問的地址，那么這時候 Chrome 瀏覽器就會給 baidu 服務(wù)器發(fā)送另一個請求。
6.baidu服務(wù)器處理請求
baidu服務(wù)器在這個時候接收到了請求，它會去查看請求它的參數(shù)還有 cookie 信息，然后會進行一些操作處理，例如對數(shù)據(jù)進行存儲，從數(shù)據(jù)庫中獲取需要被請求的數(shù)據(jù)等。
7.baidu服務(wù)器返回HTML響應(yīng)
當 baidu 服務(wù)器處理好之后，就會給瀏覽器返回數(shù)據(jù)了，這個時候會有一個 Response Headers 發(fā)送給瀏覽器：
Bdpagetype:1 Bdqid:0xddf2be49000b5995 Bduserid:0 Cache-Control:private Connection:Keep-Alive Content-Encoding:gzip Content-Type:text/html; charset=utf-8 Cxy_all:baidu+09720a4fa84e5493ae7506a57de6bc05 Date:Sat, 14 Oct 2017 09:39:32 GMT Expires:Sat, 14 Oct 2017 09:39:32 GMT Server:BWS/1.1 Set-Cookie:BDSVRTM=49; path=/ Set-Cookie:BD_HOME=0; path=/ Set-Cookie:H_PS_PSSID=1440_13551_21103_24658; path=/; domain=.baidu.com Strict-Transport-Security:max-age=172800 Transfer-Encoding:chunked Vary:Accept-Encoding X-Powered-By:Hphp X-Ua-Compatible:IE=Edge,chrome=1
Response Headers 說明了是否緩存這個頁面，怎么去解釋響應(yīng)信息，cookie 的設(shè)置，隱私信息等。
其中
- Content-Encoding:gzip告訴瀏覽器整個響應(yīng)體是用gzip算法壓縮的。
- Content-Type:text/html; charset=utf-8 告訴瀏覽器將響應(yīng)的內(nèi)容以HTML的形式呈現(xiàn)出來，字符集是utf-8。
8.Chrome瀏覽器顯示baidu頁面
這時候 Chrome 瀏覽器獲得了響應(yīng)內(nèi)容，就開始顯示 baidu 的HTML頁面了，瀏覽器在顯示的時候，發(fā)現(xiàn)需要獲取其他的標簽內(nèi)容，比如圖片、css 樣式表、JAVAScript 文件，那么瀏覽器就會繼續(xù)對 baidu 服務(wù)器去發(fā)送請求這些內(nèi)容，這些靜態(tài)的文件baidu 會把它進行緩存，利用內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）進行分發(fā)，所以這些靜態(tài)文件在很多 CDN 數(shù)據(jù)中心都有備份，所以瀏覽器很快就能獲取到這些靜態(tài)文件。
從而進行頁面吧的完整的顯示:
當然，這只是淺談一下，讓你有一個清晰的了解，如果你對網(wǎng)絡(luò)方面感興趣的話，可以去了解一下計算機網(wǎng)絡(luò)的組成，什么是報文，什么是分組交換，如何握手以及各層之間的關(guān)系，比如物理層，數(shù)據(jù)鏈路層，運輸層等。
