一.Node.js 締造的傳奇
I have a job now, and this guy is the reason why I have that now. His hobby project is what I use for living. Thanks. —— Shajan Jacob
2009 年 Ryan Dahl 在 JSConf EU 大會上推出了 Node.js,最初是希望能夠通過異步模型突破傳統 Web 服務器的高并發瓶頸,之后愈漸發展成熟,應用越來越廣,出現了繁榮的 Node.js 生態
借助 Node.js 走出瀏覽器之后,JAVAScript 語言也 一發不可收拾 :
Any Application that can be written in JavaScript, will eventually be written in JavaScript. —— Jeff Atwood
(摘自 The Principle of Least Power )
早在 2017 年,NPM 就憑借茫茫多的社區模塊成為了 世界上最大的 package registry ,目前模塊數量已經 超過 125 萬 ,并且仍在快速增長中(每天新增900多個)
甚至 Node.js 工程師已經成為了一種新興職業,那么, 帶有傳奇色彩的 Node.js 本身是怎么實現的呢?
二.Node.js 架構概覽
JS 代碼跑在 V8 引擎上,Node.js 內置的 fs 、 http 等核心模塊通過 C++ Bindings 調用 libuv、c-ares、llhttp 等 C/C++類庫,從而接入操作系統提供的平臺能力
其中, 最重要的部分是 V8 和 libuv
三.源碼依賴
V8
V8 is google’s open source high-performance JavaScript and WebAssembly engine, written in C++. It is used in Chrome and in Node.js, among others.
一個用 C++寫的 JavaScript 引擎,由 Google 維護,用于 Chrome 瀏覽器和 Node.js
libuv
libuv is cross-platform support library which was originally written for Node.js. It’s designed around the event-driven asynchronous I/O model.
為 Node.js 量身打造,用 C 寫的跨平臺異步 I/O 庫,提供了非阻塞的文件系統、DNS、網絡、子進程、管道、信號、輪詢和流式處理機制:
對于無法在操作系統層面異步去做的工作,通過線程池來完成,如文件 I/O、DNS 查詢等,具體原因見 Complexities in File I/O
P.S.線程池的容量可以配置,默認是 4 個線程,具體見 Thread pool work scheduling
此外, Node.js 中的事件循環、事件隊列也都是由 libuv 提供的 :
Libuv provides the entire event loop functionality to NodeJS including the event queuing mechanism.
具體運作機制如下圖:
其它依賴庫
另外,還依賴一些 C/C++庫:
- llhttp :用 TypeScript 和 C 寫的輕量級 HTTP 解析庫,比之前的 http_parser 快 1.5 倍,不含任何系統調用和內存分配(也不緩存數據),因此每個請求的內存占用極小
- c-ares :一個 C 庫,用來處理異步的 DNS 請求,對應 Node.js 中 dns 模塊提供的 resolve() 系列方法
- OpenSSL :一個通用的加密庫,多用于網絡傳輸中的 TLS 和 SSL 協議實現,對應 Node.js 中的 tls 、 crypto 模塊
- zlib :提供快速壓縮和解壓支持
P.S.關于 Node.js 源碼依賴的更多信息,見 Dependencies
四.核心模塊
像瀏覽器提供的 DOM/BOM API 一樣,Node.js 不僅提供了 JavaScript 運行時環境,還擴展出了一系列平臺 API,例如:
- 文件系統相關:對應 fs 模塊
- HTTP 通信:對應 http 模塊
- 操作系統相關:對應 os 模塊
- 多進程:對應 child_process 、 cluster 模塊
這些內置模塊稱為 核心模塊,為邁出瀏覽器世界的 JavaScript 長上了手腳
五.C++ Bindings
在核心模塊之下,有一層 C++ Bindings,將上層的 JavaScript 代碼與下層 C/C++類庫橋接起來
底層模塊為了更好的性能,采用 C/C++實現,而上層的 JavaScript 代碼無法直接與 C/C++通信,因而需要一個橋梁(即 Binding):
Bindings, as the name implies, are glue codes that “bind” one language with another so that they can talk with each other. In this case (Node.js), bindings simply expose core Node.js internal libraries written in C/C++ (c-ares, zlib, OpenSSL, llhttp, etc.) to JavaScript.
另一方面,通過 Bindings 也可以復用可靠的老牌開源類庫,而不必手搓所有底層模塊
以文件 I/O 為例,讀取當前 JS 文件內容并輸出到標準輸出:
// readThisFile.js
const fs = require('fs')
const path = require('path')
const filePath = path.resolve(__filename);
// Parses the buffer into a string
function callback (data) {
return data.toString()
}
// Transforms the function into a promise
const readFileAsync = (filePath) => {
return new Promise((resolve, reject) => {
fs.readFile(filePath, (err, data) => {
if (err) return reject(err)
return resolve(callback(data))
})
})
}
(() => {
readFileAsync(filePath)
.then(console.log)
.catch(console.error)
})()
然而,其中用到的 fs.readFile 接口既不是 V8 提供的,也不是 JS 自帶的,而是由 Node.js 以 C++ Binding 的形式借助 libuv 實現的:
// https://github.com/nodejs/node/blob/v14.0.0/lib/fs.js#L58
const binding = internalBinding('fs');
// https://github.com/nodejs/node/blob/v14.0.0/lib/fs.js#L71
const { FSReqCallback, statValues } = binding;
// https://github.com/nodejs/node/blob/v14.0.0/lib/fs.js#L297
function readFile(path, options, callback) {
callback = maybeCallback(callback || options);
options = getOptions(options, { flag: 'r' });
if (!ReadFileContext)
ReadFileContext = require('internal/fs/read_file_context');
const context = new ReadFileContext(callback, options.encoding);
context.isUserFd = isFd(path); // File descriptor ownership
const req = new FSReqCallback();
req.context = context;
req.oncomplete = readFileAfterOpen;
if (context.isUserFd) {
process.nextTick(function tick() {
req.oncomplete(null, path);
});
return;
}
path = getValidatedPath(path);
const flagsNumber = stringToFlags(options.flags);
binding.open(pathModule.toNamespacedPath(path),
flagsNumber,
0o666,
req);
}
最后的 binding.open 是一個 C++調用,用來打開文件描述符,三個參數分別是文件路徑, C++ fopen 的文件訪問模式串(如 r 、 w+ ),以及八進制格式的文件讀寫權限( 666 表示每個人都有讀寫權限),和接收返回數據的 req 回調
其中, internalBinding 是個 C++ binding loader, internalBinding('fs') 實際加載的 C++代碼位于 node/src/node_file.cc
至此,關鍵的部分差不多都清楚了,那么,一段 Node.js 代碼究竟是怎樣運行的呢?
六.運行原理
首先,編寫的 JavaScript 代碼由 V8 引擎來運行,運行中注冊的事件監聽會被保留下來,在對應的事件發生時收到通知
網絡、文件 I/O 等事件產生時,已注冊的回調函數將排到事件隊列中,接著被事件循環取出放到調用棧上,回調函數執行完(調用棧清空)之后,事件循環再取一個放上去……
執行過程中遇到 I/O 操作就交給 libuv 線程池中的某個 woker 來處理,結束之后 libuv 產生一個事件放入事件隊列。事件循環處理到返回事件時,對應的回調函數才在主線程開始執行,主線程在此期間繼續其它工作,而不阻塞等待
Node.js 就像一家咖啡館,店里只有一個跑堂的(主線程),一大堆顧客涌過來的時候,會排隊等候(進入事件隊列),到號的顧客訂單會被傳給經理(libuv),經理將訂單分配給咖啡師(worker 線程),咖啡師用不同的原料和工具(底層依賴的 C/C++模塊)來制作訂單要求的各種咖啡,一般會有 4 個咖啡師值班,高峰時候可能會增加一些。訂單傳給經理后,不等咖啡做出來,而是接著處理下一個訂單。一杯咖啡做完之后,放到出餐流水線(IO Events 隊列),送達前臺后,跑堂的喊名字,顧客過來取