1. 工具說明

安裝 Docker >= 19.03: 該 Docker 版本包含 buildx。
安裝 buildx: https://github.com/docker/buildx#in
linux kernel >= 4.8: 自該 Linux 內(nèi)核版本 binfmt_misc 支持 fix-binary (F) flag。fix_binary 標(biāo)志允許內(nèi)核在容器或 chroot 內(nèi)使用 binfmt_misc 注冊的二進(jìn)制格式處理程序，即使該處理程序二進(jìn)制文件不是該容器或 chroot 內(nèi)可見的文件系統(tǒng)的一部分。

Docker Buildx 是一個 docker CLI 插件，其擴(kuò)展了 docker 命令，支持 Moby BuildKit 提供的功能。提供了與 docker build 相同的用戶體驗，并增加了許多新功能。

BuildKit 是下一代的鏡像構(gòu)建組件，主要特點有很多，本文主要使用其可以編譯多種系統(tǒng)架構(gòu)的特性。

網(wǎng)址：
https://github.com/moby/buildkit

需要注意的是，該功能僅適用于 Docker v19.03+ 版本。

本文將講解如何使用 Buildx 構(gòu)建多種系統(tǒng)架構(gòu)的鏡像。

在開始之前，已經(jīng)默認(rèn)你在 Linux 系統(tǒng)（各大發(fā)行版）下安裝好了 64 位的 Docker。

在寫本文時，使用的 Docker 版本號是 19.03.11。

root@i-3uavns2y:~#dockerversion
Client:DockerEngine-Community
Version:19.03.11
APIversion:1.40
Goversion:go1.13.10
Gitcommit:42e35e61f3
Built:MonJun109:13:482020
OS/Arch:linux/amd64
Experimental:true
Server:DockerEngine-Community
Engine:
Version:19.03.11
APIversion:1.40(minimumversion1.12)
Goversion:go1.13.10
Gitcommit:42e35e61f3
Built:MonJun109:12:262020
OS/Arch:linux/amd64
Experimental:false
containerd:
Version:1.2.13
GitCommit:7ad184331fa3e55e52b890ea95e65ba581ae3429
runc:
Version:1.0.0-rc10
GitCommit:dc9208a3303feef5b3839f4323d9beb36df0a9dd
docker-init:
Version:0.18.0
GitCommit:fec3683
root@i-3uavns2y:~#uname-a
Linuxi-3uavns2y4.15.0-55-generic#60-UbuntuSMPTueJul218:22:20UTC2019x86_64x86_64x86_64GNU/Linux

2. 運(yùn)行原理

Buildx 本質(zhì)上調(diào)用了 buildkit 的 api，構(gòu)建是在 buildkit 的環(huán)境中進(jìn)行的。是否支持多架構(gòu)，取決于 buildkit 的環(huán)境，如果需要 buildkit 支持多架構(gòu)，需要在宿主機(jī)執(zhí)行（當(dāng)然這個不是必須的，按構(gòu)建的需求進(jìn)行控制）

BuildKit 旨在為多個平臺進(jìn)行構(gòu)建，而不僅適用于調(diào)用構(gòu)建的用戶碰巧運(yùn)行的體系結(jié)構(gòu)和操作系統(tǒng)。

調(diào)用構(gòu)建時，您可以設(shè)置--platform 標(biāo)志以指定構(gòu)建輸出的目標(biāo)平臺（例如 linux/amd64，linux/arm64、或 darwin/amd64）。

當(dāng)當(dāng)前構(gòu)建器實例由 docker-container 或 kubernetes 驅(qū)動程序支持時，您可以一起指定多個平臺。在這種情況下，它會構(gòu)建一個清單列表，其中包含所有指定架構(gòu)的類型。當(dāng)你在 docker run or 中使用這個鏡像時 docker service，Docker 會根據(jù)節(jié)點的平臺選擇正確的鏡像。

您可以使用 Buildx 和 Dockerfiles 支持的三種不同策略構(gòu)建多平臺鏡像：

1 在內(nèi)核中使用 QEMU 仿真支持
2 使用相同的構(gòu)建器實例在多個本機(jī)節(jié)點上構(gòu)建
3 使用 Dockerfile 中的一個階段交叉編譯到不同的架構(gòu)

如果您的節(jié)點已經(jīng)支持 QEMU，那么 QEMU 是最簡單的入門方式（例如，如果您使用的是 Docker Desktop）。它不需要對 Dockerfile 進(jìn)行任何更改，并且 BuildKit 會自動檢測可用的二級架構(gòu)。當(dāng) BuildKit 需要為不同的架構(gòu)運(yùn)行二進(jìn)制文件時，它會通過在 binfmt_misc 處理程序中注冊的二進(jìn)制文件自動加載它。

要使 binfmtmisc 在主機(jī)操作系統(tǒng)上注冊的 QEMU 二進(jìn)制文件在容器內(nèi)透明地工作，它們必須使用該 fixbinary 標(biāo)志進(jìn)行注冊。這需要內(nèi)核 >= 4.8 和 binfmt-support >= 2.1.7。您可以通過檢查在
/proc/sys/fs/binfmt_misc/qemu-*是否有內(nèi)容來檢查是否正確注冊。雖然 Docker Desktop 預(yù)先配置了 binfmt_misc 對其他平臺的支持，但對于其他安裝，它可能需要使用 tonistiigi/binfmt 鏡像進(jìn)行安裝。

root@i-tpmja312:~#dockerrun--privileged--rmtonistiigi/binfmt--installall
root@i-tpmja312:~#ls/proc/sys/fs/binfmt_misc/qemu-*
/proc/sys/fs/binfmt_misc/qemu-aarch64/proc/sys/fs/binfmt_misc/qemu-ppc64le
/proc/sys/fs/binfmt_misc/qemu-arm/proc/sys/fs/binfmt_misc/qemu-riscv64
/proc/sys/fs/binfmt_misc/qemu-mips64/proc/sys/fs/binfmt_misc/qemu-s390x
/proc/sys/fs/binfmt_misc/qemu-mips64el

使用多個原生節(jié)點可以更好地支持 QEMU 無法處理的更復(fù)雜的情況，并且通常具有更好的性能。您可以使用該--Append 標(biāo)志向構(gòu)建器實例添加其他節(jié)點。

2. 啟用 Buildx

Docker 在 19.03 引入了一個新的特性，使得 Docker 可以構(gòu)建不同 CPU 體系結(jié)構(gòu)的鏡像，比如 ARM 鏡像，這是不必引入模擬器的情況下，Docker 自身所提供的原生統(tǒng)一構(gòu)建機(jī)制，但是使用時需要進(jìn)行設(shè)定才能進(jìn)行使用。(從 v20.10 版本開始，Docker CLI 所有實驗特性的命令均默認(rèn)開啟，無需再進(jìn)行配置或設(shè)置系統(tǒng)環(huán)境變量。)

buildx 命令屬于實驗特性，因此首先需要開啟該特性。

問題現(xiàn)象

直接使用時可能會出現(xiàn)如下問題，因為沒開啟實驗特性

root@i-3uavns2y:~#dockerbuildxversion
docker:'buildx'isnotadockercommand.
See'docker--help'

永久開啟 dockerd 的實驗特性

編輯 ~/.docker/config.json 文件，新增如下內(nèi)容（以下的演示適用于事先不存在 .docker 目錄的情況下）,使用 docker version 命令查看版本信息，配置生效后可以看到 Server: Docker Engine 中有 Experimental: true ：

root@i-3uavns2y:~#mkdir~/.docker
root@i-3uavns2y:~#cat>~/.docker/config.json<<EOF
{
"experimental":"enabled"
}
EOF
root@i-3uavns2y:~#dockerbuildxversion
github.com/docker/buildxv0.3.1-tp-docker6db68d029599c6710a32aa7adcba8e5a344795a7

臨時開啟

Linux/macOS 下或者通過設(shè)置環(huán)境變量的方式（不推薦）：

$exportDOCKER_CLI_EXPERIMENTAL=enabled
$dockerbuildxversion
github.com/docker/buildxv0.3.1-tp-docker6db68d029599c6710a32aa7adcba8e5a344795a7

3. 新建 builder 實例

在 Docker 19.03+ 版本中可以使用 docker buildx build 命令使用 BuildKit 構(gòu)建鏡像。該命令支持 --platform 參數(shù)可以同時構(gòu)建支持多種系統(tǒng)架構(gòu)的 Docker 鏡像，大大簡化了構(gòu)建步驟。

Docker 在 Linux 系統(tǒng)架構(gòu)下是不支持 arm 架構(gòu)鏡像，因此我們可以運(yùn)行一個新的容器讓其支持該特性，Docker 桌面版則無需進(jìn)行此項設(shè)置（mac 系統(tǒng)）。

在內(nèi)核中使用 QEMU 仿真支持來進(jìn)行多架構(gòu)鏡像構(gòu)建

#安裝模擬器（用于多平臺鏡像構(gòu)建）
$dockerrun--rm--privilegedtonistiigi/binfmt:latest--installall

注：docker/binfmt 可以參考網(wǎng)址：
https://hub.docker.com/r/docker/binfmt/tags 獲取最新鏡像

由于 Docker 默認(rèn)的 builder 實例不支持同時指定多個 --platform，我們必須首先創(chuàng)建一個新的 builder 實例。同時由于國內(nèi)拉取鏡像較緩慢，我們可以使用配置了鏡像加速地址
dockerpracticesig/buildkit:master 鏡像替換官方鏡像

如果你有私有的鏡像加速器，可以基于
https://github.com/docker-practice/buildx 構(gòu)建自己的 buildkit 鏡像并使用它。

#適用于國內(nèi)環(huán)境
root@i-3uavns2y:~#dockerbuildxcreate--use--name=mybuilder-cn--driverdocker-container--driver-optimage=dockerpracticesig/buildkit:master

#適用于騰訊云環(huán)境(騰訊云主機(jī)、coding.net持續(xù)集成)
root@i-3uavns2y:~#dockerbuildxcreate--use--name=mybuilder-cn--driverdocker-container--driver-optimage=dockerpracticesig/buildkit:master-tencent
#使用默認(rèn)鏡像
root@i-3uavns2y:~#dockerbuildxcreate--namemybuilder--driverdocker-container

#使用新創(chuàng)建好的builder實例
root@i-3uavns2y:~#dockerbuildxusemybuilder

查看已有的 builder 實例

root@i-tpmja312:~#dockerbuildxls
NAME/NODEDRIVER/ENDPOINTSTATUSPLATFORMS
mybuilder*docker-container
mybuilder0unix:///var/run/docker.sockinactive
defaultdocker
defaultdefaultrunninglinux/amd64,linux/386

4. 新建 Dockerfile 文件

要想構(gòu)建多種系統(tǒng)架構(gòu)的鏡像，還需要一個支持的 Dockerfile 文件，這里面多架構(gòu)鏡像最主要的就是基礎(chǔ)鏡像和安裝的軟件都需要支持多架構(gòu)

以下是一個示例的 Dockerfile 文件，該 Dockerfile 文件內(nèi)容如下：

mkdir~/demo
cd~/demo
cat>Dockerfile<<EOF
FROM--platform=$TARGETPLATFORMalpine
RUNuname-a>/os.txt
CMDcat/os.txt
EOF

$TARGETPLATFORM 是內(nèi)置變量，由 --platform 參數(shù)來指定其值。

由于是基于 alpine 的鏡像來制作的，而 alpine 是支持以下 7 種系統(tǒng)架構(gòu)的，因此我們制作的鏡像也就跟著支持這 7 種系統(tǒng)架構(gòu)。

linux/amd64,linux/arm/v6,linux/arm/v7,linux/arm64/v8,linux/386,linux/ppc64le,linux/s390x

更友好一點的架構(gòu)名稱如下：

amd64,arm32v6,arm32v7,arm64v8,i386,ppc64le,s390x

這里穿插一句吐槽,簡單統(tǒng)計了一下，ARM 的系統(tǒng)架構(gòu)有如下各種簡稱：

arm64,armv8l,arm64v8,aarch64
arm,arm32,arm32v7,armv7,armv7l,armhf
arm32v6,armv6,armv6l,arm32v5,armv5,armv5l,armel,aarch32

而對比 Intel 和 AMD 的就簡單多了：

x86,386,i386,i686
x86_64,x64,amd64

5. 構(gòu)建鏡像

docker buildx build 的具體參數(shù)含義，參考下面的官方文檔

https://docs.docker.com/engine/reference/commandline/buildx_build/

使用 $ docker buildx build 命令構(gòu)建鏡像，注意將 myusername 替換為自己的 Docker Hub 用戶名。--push 參數(shù)表示將構(gòu)建好的鏡像推送到 Docker 倉庫。再來構(gòu)建一個多系統(tǒng)架構(gòu)鏡像，并將構(gòu)建好的鏡像推送到 Docker 倉庫（也就是 hub.docker.com）。在此操作之前，你需要事先注冊一個賬號（演示過程省略），并登錄。

登錄命令如下：

root@i-tpmja312:~/demo#dockerlogin

輸入你的用戶名和密碼即可登錄。

注意，以下演示的命令中 tag 的前面是我的用戶名 doubledong，如果你想制作自己的鏡像，請自行替換為你自己的用戶名。

使用 --push 參數(shù)構(gòu)建好的鏡像推送到 Docker 倉庫。

構(gòu)建命令如下：

在本地構(gòu)建支持 7 種 platform 的鏡像

root@i-tpmja312:~/demo#dockerbuildxbuild--platformlinux/amd64,linux/arm/v6,linux/arm/v7,linux/arm64/v8,linux/386,linux/ppc64le,linux/s390x-tdoubledong/hello.--push

#查看鏡像信息
root@i-tpmja312:~/demo#dockerbuildximagetoolsinspectdoubledong/hello
Name:docker.io/doubledong/hello:latest
MediaType:application/vnd.docker.distribution.manifest.list.v2+json
Digest:sha256:7fd51fbd9f5a478c751ab2138d87341da7937b82bbf2362b23d474727b2c7234

Manifests:
Name:docker.io/doubledong/hello:latest@sha256:564098e26174ef2142fbb8bf21d3e57bc2cb31e31933e6e23c5ee8a7bea05219
MediaType:application/vnd.docker.distribution.manifest.v2+json
Platform:linux/amd64

Name:docker.io/doubledong/hello:latest@sha256:d378c84bcd8bce4b5d771be692bd251a8cb3bbaca9f203d20a5da6989d42c614
MediaType:application/vnd.docker.distribution.manifest.v2+json
Platform:linux/arm/v6

Name:docker.io/doubledong/hello:latest@sha256:1968399b3651bbcb0dc6218e6dfcb261995723decf39b9c80327624409158ff5
MediaType:application/vnd.docker.distribution.manifest.v2+json
Platform:linux/arm/v7

Name:docker.io/doubledong/hello:latest@sha256:62ac2af6e39ab10e77d83114931ff1abe449c30a86d0bf590d4bbf71836dcec1
MediaType:application/vnd.docker.distribution.manifest.v2+json
Platform:linux/arm64

Name:docker.io/doubledong/hello:latest@sha256:3ef9adac67717528ca95f89c184830aa072da155fc17e2a7e95dd9433d9aab51
MediaType:application/vnd.docker.distribution.manifest.v2+json
Platform:linux/386

Name:docker.io/doubledong/hello:latest@sha256:67e4c3e5c7eca8af5909373446e9e5fa6d1083223b3766bb8e9e6f41c01ca43b
MediaType:application/vnd.docker.distribution.manifest.v2+json
Platform:linux/ppc64le

Name:docker.io/doubledong/hello:latest@sha256:f3dc2d058e4915a61281d945ae92e77b44e2b81a601c63470ce1912e4e29c53e
MediaType:application/vnd.docker.distribution.manifest.v2+json
Platform:linux/s390x

.命令執(zhí)行成功后，你就會在 Docker Hub 看到你上傳的鏡像啦。示例圖如下：

使用 Docker Buildx 構(gòu)建多種系統(tǒng)架構(gòu)鏡像

做完上面的那一步，實際上是把構(gòu)建好的鏡像放在了本地路徑下,此時我們再來查看一下已有的 builder 實例。

root@i-tpmja312:~/demo#dockerbuildxls
NAME/NODEDRIVER/ENDPOINTSTATUSPLATFORMS
mybuilder*docker-container
mybuilder0unix:///var/run/docker.sockrunninglinux/amd64,linux/arm64,linux/riscv64,linux/ppc64le,linux/s390x,linux/386,linux/mips64le,linux/mips64,linux/arm/v7,linux/arm/v6
defaultdocker
defaultdefaultrunninglinux/amd64,linux/386

你會發(fā)現(xiàn) mybuilder 下存在 8 種支持的架構(gòu)（riscv64 目前還用不上，但是已經(jīng)支持）。

此時查看一下 docker image 的運(yùn)行情況，會發(fā)現(xiàn)存在一個名為
buildx_buildkit_mybuilder0 的容器在運(yùn)行。

這是剛才在本地構(gòu)建時，自動創(chuàng)建的，不用刪除，后續(xù)可以繼續(xù)使用。

root@i-tpmja312:~/demo#dockerps-as|grepbuildx_buildkit
e274b21faea2moby/buildkit:buildx-stable-1"buildkitd"7minutesagoUp7minutesbuildx_buildkit_mybuilder00B(virtual144MB)

6. 寫在最后

在制作多系統(tǒng)架構(gòu)的 Docker 鏡像時，建議使用 CPU 比較強(qiáng)或者多核心的 VPS 來構(gòu)建，否則會非常耗時，本篇文章主要講的是手動進(jìn)行多架構(gòu)鏡像的構(gòu)建，也可以是用 cicd 工具來自動化進(jìn)行構(gòu)建，后續(xù)文章進(jìn)行說明

參考鏈接：

https://yeasy.gitbook.io/docker_practice/image/manifest

https://github.com/docker/buildx#installing