為了將我們的應用部署到服務器上,我們需要為其配置一個運行環境。從底層到頂層有這樣的運行環境及容器:
- 隔離硬件:虛擬機
- 隔離操作系統:容器虛擬化
- 隔離底層:Servlet容器
- 隔離依賴版本:虛擬環境
- 隔離運行環境:語言虛擬機
- 隔離語言:DSL
實現上這是一個請求的處理過程,一個HTTP請求會先到達你的主機。如果你的主機上運行著多個虛擬機實例,那么請求就會來到這個虛擬機上。又或者是如果你是在Docker這一類容器里運行你的程序的話,那么也會先到達Docker。隨后這個請求就會交由HTTP服務器來處理,如Apache、Nginx,這些HTTP服務器再將這些請求交由對應的應用或腳本來處理。隨后將交由語言底層的指令來處理。
不同的環境有不同的選擇,當然也可以結合在一起。不過,從理論上來說在最外層還是應該有一個真機的,但是我想大家都有這個明確的概念,就不多解釋了。
1、隔離硬件(虛擬機)
在虛擬機技術出現之前,為了運行不同用戶的應用程序,人們需要不同的物理機才能實現這樣的需求。對于Web應用程序來說,有的用戶的網站訪問量少消耗的系統資源也少,有的用戶的網站訪問量大消耗的系統資源也多。雖然有不同的服務器類型可以選擇,然而對于多數的訪問少的用戶來說他們需要支付同樣的費用。這聽上去相當的不合理,并且也浪費了大量的資源。并且對于系統管理員來說,管理這些系統也不是一件容易的事。在過去硬件技術革新特別快,讓操作系統運行在不同的機器上也不是一件容易的事。
虛擬機(Virtual machine)指通過軟件模擬的具有完整硬件系統功能的、運行在一個完全隔離環境中的完整計算機系統。
這是一個很有意思的技術,它可以讓我們在一個主機上同時運行幾個不同的操作系統。我們可以為這幾個操作系統使用不同的硬件,在這之上的應用可以使用不同的技術棧來運行,并且從理論上互相不影響。其架構如下圖所示:
借助于虛擬機技術,當我們需要更多的資源的時候,創建一個新的虛擬機就行了。同時,由于這些虛擬機上運行的是同樣的操作系統,并且可以使用相同的配置,我們只需要編寫一些腳本就可以實現其自動化。當我們的物聯機發生問題時,我們也可以很快將虛擬機遷移或恢復到另外的宿主機。
2、隔離操作系統(容器虛擬化)
對于大部分的開發團隊來說,直接開發基于虛擬機的自動化工具不是一件容易的事,并且他從使用成本上來說比較高。這時候我們就需要一些更輕量級的工具容器——它可以提供輕量級的虛擬化,以便隔離進程和資源,而且不需要提供指令解釋機制以及全虛擬化的其他復雜性。并且,它從啟動速度上來說更快。
LXC
在介紹Docker之前,我們還是稍微提一下LXC。因為在過去我有一些使用LXC的經歷,讓我覺得LXC很贊。
LXC,其名稱來自linux軟件容器(Linux Containers)的縮寫,一種操作系統層虛擬化(Operating system–level virtualization)技術,為Linux內核容器功能的一個用戶空間接口。它將應用軟件系統打包成一個軟件容器(Container),內含應用軟件本身的代碼,以及所需要的操作系統核心和庫。通過統一的名字空間和共用API來分配不同軟件容器的可用硬件資源,創造出應用程序的獨立沙箱運行環境,使得Linux用戶可以容易的創建和管理系統或應用容器。
我們可以將之以上面說到的虛擬機作一個簡單的對比,其架構圖如下所示:
我們會發現虛擬機中多了一層Hypervisor——運行在物理服務器和操作系統之間,它可以讓多個操作系統和應用共享一套基礎物理硬件。這一層級可以協調訪問服務器上的所有物理設備和虛擬機,然而由于這一層級的存在,它也將消耗更多的能量。據愛立信研究院和阿爾托大學發表的論文表示:Docker、LXC與Xen、KVM在完成相同的工作時要少消耗10%的能耗。
LXC主要是利用cgroups與namespace的功能,來向提供應用軟件一個獨立的操作系統運行環境。cgroups(即Control Groups)j Linux內核提供的一種可以限制、記錄、隔離進程組所使用的物理資源的機制。而由namespace來責任隔離控制。
與虛擬機相比,LXC隔離性方面有所不足,這就意味著在實現可移植部署會遇到一些困難。這時候,我們就需要Docker來提供一個抽象層,并提供一個管理機制。
Docker
Docker 是一個開源的應用容器引擎,讓開發者可以打包他們的應用以及依賴包到一個可移植的容器中,然后發布到任何流行的 Linux 機器上,也可以實現虛擬化。Docker可以自動化打包和部署任何應用、創建一個輕量級私有PaaS云、搭建開發測試環境、部署可擴展的Web應用等。
構建出Docker的Container是一個很有意思的過程。在這一個過程中,首先我們需要一個base images,這個基礎鏡像不僅包含了一個基礎系統,如Ubuntu、Debian。他還包含了一系列的模塊,如初始化進程、SSH服務、syslog-ng等等的一些工具。由上面原內容構建了一個基礎鏡像,隨后的修改都將于這個鏡像,我們可以用它生成新的鏡像,一層層的往上疊加。而用戶的進程運行在writeable的layer中。
從上圖中我們還可以發現一點: Docker容器是建立在Aufs基礎上的。AUFS是一種Union File System,它可以不同的目錄掛載到同一個虛擬文件系統下。它的目的就是為了實現上圖的增量遞增的過程,同時又不會影響原有的目錄。即如下的流程如下:
image
其增量的過程和我們使用Git的過程中有點像,除了在最開始的時候會有一個鏡像層。隨后我們的修改都可以保存下來,并且當下次我們提交修改的時候,我們也可以在舊有的提交上運行。
因此,Docker與LXC的差距就如下如圖所示:
LXC時每個虛擬機只能是一個虛擬機,而Docker則是一系列的虛擬機。
3、隔離底層(Servlet容器)
在上面的例子里我們已經隔離開了操作系統的因素,接著我們還需要解決操作系統、開發環境引起的差異。早期開發Web應用時,人們使用CGI技術,它可以讓一個客戶端,從網頁瀏覽器向執行在網絡服務器上的程序請求數據。并且CGI程序可以用任何腳本語言或者是完全獨立編程語言實現,只要這個語言可以在這個系統上運行。而這樣的腳本語言在多數情況下是依賴于系統環境的,特別是針對于C++這一類的編譯語言來說,在不同的操作系統中都需要重新編譯。
而JAVA的Servlet則是另外一種有趣的存在,它是一種獨立于平臺和協議的服務器端的Java應用程序,可以生成動態的Web頁面。
Tomcat
在開發Java Web應用的過程中,我們在開始環境使用Jetty來運行我們的服務,而在生產環境使用Tomcat來運行。他們都是Servlet容器,可以在其上面運行著同一個Servlet應用。Servlet是指由Java編寫的服務器端程序,它們是為響應Web應用程序上下文中的HTTP請求而設計的。它是應用服務器中位于組件和平臺之間的接口集合。
Tomcat服務器是一個免費的開放源代碼的Web應用服務器。它運行時占用的系統資源小,擴展性好,支持負載平衡與郵件服務等開發應用系統常用的功能。除此,它還是一個Servlet和JSP容器,獨立的Servlet容器是Tomcat的默認模式。其架構如下圖所示:
Servlet被部署在應用服務器中,并由容器來控制其生命周期。在運行時由Web服務器軟件處理一般請求,并把Servlet調用傳遞給“容器”來處理。并且Tomcat也會負責對一些靜態資源的處理。
4、隔離依賴版本(虛擬環境)
對于Java這一類的編譯語言來說,不存在太多語言運行帶來的問題。而對于動態語言來說就存在這樣的問題,如Ruby、Python、Node.js等等,這一個問題主要集中于開發環境。當然如果你在一個服務器上運行著幾個不同的應用來說,也會存在這樣的問題。這一類的工具在Python里有VirtualEnv,在Ruby里有RVM、Rbenv,在Node.js里有NVM。
下圖是使用VirtualEnv時的不同幾個應用的架構圖:
如下所示,在不同的虛擬環境里,我們可以使用不同的依賴庫。在這上面構建不同的應用,也可以使用不同的Python版本來構建系統。通常來說,這一類的工具主要用于本地的開發環境。
5、隔離運行環境(語言虛擬機)
最后一個要介紹的可能就是更加抽象的,但是也是更加實用的一個,JVM就是這方面的一個代表。在我們的編程生涯里,我們很容易就會遇到跨平臺問題——即我們在我們的開發機器上開發的軟件,在我們的產品環境的機器上就沒有辦法運行。特別是當我們使用Mac OS或者windows機器上開發了我們的應用,然后我們需要在Linux系統上運行,就會遇到各種問題。并且當我們使用了一個需要重新編譯的庫時,這種問題就更加麻煩。
如下圖所示的是JVM的架構示意圖
JVM是一種用于計算設備的規范,它是一個虛構出來的計算機,是通過在實際的計算機上仿真模擬各種計算機功能來實現的。它可以實現“編寫一次,到處運行”。
換句話來說,它在底層實現了環境隔離,它屏蔽了與具體操作系統平臺相關的信息,使得Java程序只需生成在Java虛擬機上運行的目標代碼(字節碼),就可以在多種平臺上不加修改地運行。
基于此,只要其他編程語言的編譯器能生成正確Java bytecode文件,這個語言也能實現在JVM上運行。如下圖所示的是基于JVM的Jython語言的架構圖:
其底層是基于JVM,而編寫時則是用Python語言,并且他可以使用Java的模塊來編程。
常見擁有同樣架構的工具,還有MySQL,如下圖是所示的是MySQL的架構圖:
MySQL在最頂層提供了一個名為SQL的查詢語言,這個查詢語言只能用于查詢數據庫,然而它卻是一種更高級的用法 。它不像通用目的語言那樣目標范圍涵蓋一切軟件問題,而是專門針對某一特定問題的計算機語言,即領域特定語言。
6、隔離語言(DSL)
這是一門特別有意思也特別值得期待的技術,但是實現它并不是一件容易的事。
作為討論隔離環境的一部分,我們只看外部DSL。內部DSL與外部DSL最大的區別在于:外部DSL近似于創建了一種新的語法和語義的全新語言。如下圖所示是兩中DSL的一種對比:
在這樣的外部DSL里,我們有自己的語法、自己的解析器、類型檢測器等等。最簡單且最常用的DSL就是Markdown,如下圖所示:
如果我們可以將我們的業務邏輯寫成DSL,那么我們就不需要擔心底層語言的變動過多地影響原有的業務邏輯。換句話說,這相當于創建了我們自己的語言隔離環境,我們不需要思考用何種語言來實用我們的業務。