Kubernetes是云計(jì)算發(fā)展演進(jìn)的一次徹底革命性的突破。如今，已經(jīng)有越來(lái)越多的企業(yè)逐漸接受并將自己的核心業(yè)務(wù)系統(tǒng)遷移到Kubernetes平臺(tái)。本期智匯華云，華云數(shù)據(jù)為大家?guī)?lái)Kubernetes特性——In-Tree to CSI Volume Migration。
背景
In-tree
kubernetes早期通過(guò)in-tree的方式來(lái)為容器提供存儲(chǔ)，in-tree可以理解為對(duì)接外部存儲(chǔ)的plugin的代碼集成在kubernetes中，在k8s的代碼目錄里面我們可以看到大量的關(guān)于外部存儲(chǔ)的plugin集成的代碼k8s.io/pkg/volume。可以通過(guò)in-tree的代碼與這些外部存儲(chǔ)進(jìn)行對(duì)接，這些plugin提供了volume的create/delete/attach/detach/mount/unmount/recyle以及卷監(jiān)控等volume的管理。In-tree支持20+種volume plugin，例如比較常用的iscsi/nfs/fc/ceph/azure/aws/gce/glusterfs/openstack等等。
CSI
In-tree的方式對(duì)于新增一種volume plugin變得很困難，廠商期望在kubernetes中新支持一種volume plugins需要考慮kubernetes的發(fā)布過(guò)程，另外第三方存儲(chǔ)的代碼在kubernetes倉(cāng)庫(kù)中對(duì)于kubernetes穩(wěn)定性以及測(cè)試和維護(hù)帶來(lái)了挑戰(zhàn)。所以kubernetes社區(qū)提出了CSI規(guī)范用于更好的支持其他廠商的外部存儲(chǔ)。
CSI定義了一套接口規(guī)范，各個(gè)外部廠商可以根據(jù)自身存儲(chǔ)開發(fā)自身的CSIDriver插件，來(lái)完成對(duì)于整個(gè)卷生命周期的管理。引入對(duì) CSI 驅(qū)動(dòng)的支持，使得 Kubernetes 和存儲(chǔ)后端技術(shù)之間的集成工作更易建立和維護(hù)，集群管理員可以只選擇集群需要的存儲(chǔ)驅(qū)動(dòng)。
CSI Volume Migration
CSI Volume Migration特性是支持in-tree定義的PVC&PV資源對(duì)象對(duì)應(yīng)的功能可以由外部的對(duì)應(yīng)的CSI插件來(lái)替代完成，例如之前集群中使用provision=kubernetes.io/cinder創(chuàng)建的pvc以及pv對(duì)象卷的生命周期管理可以由Cinder CSI Plugin來(lái)完成，而不是之前in-tree來(lái)完成。
為什么需要引入CSI Volume Migration
In-tree方式過(guò)渡到csi方式對(duì)接外部存儲(chǔ)：csi driver越來(lái)越普遍以及成熟，可以替代in-tree的方式，對(duì)于存儲(chǔ)插件的開發(fā)者，減少維護(hù)in-tree方式的插件，并最終將這些插件從kubernetes倉(cāng)庫(kù)的代碼中移除。
平滑的過(guò)渡：遷移到CSI driver的方式，而不破壞與現(xiàn)有存儲(chǔ) API 類型的 API 兼容性。由特性來(lái)實(shí)現(xiàn)將in-tree存儲(chǔ) API 翻譯成等效的 CSI API，將操作委托給一個(gè)替換的 CSI 驅(qū)動(dòng)來(lái)完成。之前創(chuàng)建的in-tree的PV/PVC對(duì)象可以繼續(xù)工作，只是實(shí)際的工作由in-tree的邏輯實(shí)現(xiàn)替代成CSI來(lái)驅(qū)動(dòng)完成。未來(lái)計(jì)劃將在 Kubernetes v1.26 和 v1.27 之前移除云提供商提供的in-tree存儲(chǔ)插件的代碼。
//CSI migrate各個(gè)plugin的最新的進(jìn)展
怎么使用CSI Volume Migration特性
打開CSIMigration以及CSIMigration{provider}的特性開發(fā)（1.17）,{provider}是in-tree的cloud provider storage type.
打開InTreePlugin{provider}Unregister，該feature是可注銷參數(shù)名稱中 {provider} 部分所指定的in-tree存儲(chǔ)插件。InTreePlugin{provider}Unregister 是一種特性，可以獨(dú)立于 CSI 遷移功能來(lái)啟用或禁用。當(dāng)啟用此種特性時(shí)，組件將不會(huì)把相應(yīng)的in-tree存儲(chǔ)插件注冊(cè)到支持的列表中。如果集群操作員只啟用了這種參數(shù)，終端用戶將在使用該插件的 PVC時(shí)會(huì)遇到錯(cuò)誤，提示其找不到插件。如果集群操作員不想支持過(guò)時(shí)的in-tree存儲(chǔ) API，只支持 CSI，那么他們可能希望啟用這種特性。在k8s 1.21之前這個(gè)feature名稱是CSIMigration{provider}Complete，在v1.21版本棄用了CSIMigration{provider}Complete,而是改用InTreePlugin{vendor}Unregister，功能上二者是一致的。
安裝對(duì)應(yīng)的csi driver
以openstack-cinder in-tree為例演示
在kubernetes 1.22版本上需要打開如下三個(gè)特性
K8s.io/Kubernetes/pkg/features/kube_features.go
// Enables the in-tree storage to CSI Plugin migration feature.
CSIMigration featuregate.Feature = "CSIMigration"
// Enables the OpenStack Cinder in-tree driver to OpenStack Cinder CSI Driver migration feature.
CSIMigrationOpenStack featuregate.Feature = "CSIMigrationOpenStack"
// Disables the OpenStack Cinder in-tree driver.
InTreePluginOpenStackUnregister featuregate.Feature = "InTreePluginOpenStackUnregister"
安裝cinder-csi-plugin
查看csinodes，存在annotations
之后創(chuàng)建一個(gè)in-tree的pvc，查看cinder-csi-plugin日志，是否是由cinder-csi來(lái)完成
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: csi-sc-cinderplugin
provisioner: kubernetes.io/cinder
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: csi-pvc-cinderplugin
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 1Gi
storageClassName: csi-sc-cinderplugin
---
apiVersion: v1
kind: Pod
metadata:
name: nginx
spec:
nodeSelector:
kubernetes.io/hostname: node4
containers:
- image: nginx
imagePullPolicy: IfNotPresent
name: nginx
ports:
- containerPort: 80
protocol: TCP
volumeMounts:
- mountPath: /var/lib/www/html
name: csi-data-cinderplugin
volumes:
- name: csi-data-cinderplugin
persistentVolumeClaim:
claimName: csi-pvc-cinderplugin
readOnly: false
如何實(shí)現(xiàn)CSI Volume Migration
kubernetes 1.22代碼分析主要是針對(duì)每個(gè)in-tree的插件實(shí)現(xiàn)type InTreePlugin interface k8s.io/Kubernetes/staging/src/k8s.io/csi-translation-lib/plugins/in_tree_volume.go
// InTreePlugin handles translations between CSI and in-tree sources in a PV
type InTreePlugin interface {
// TranslateInTreeStorageClassToCSI takes in-tree volume options
// and translates them to a volume options consumable by CSI plugin
TranslateInTreeStorageClassToCSI(sc *storage.StorageClass) (*storage.StorageClass, error)
// TranslateInTreeInlineVolumeToCSI takes a inline volume and will translate
// the in-tree inline volume source to a CSIPersistentVolumeSource
// A PV object containing the CSIPersistentVolumeSource in it's spec is returned
// podNamespace is only needed for azurefile to fetch secret namespace, no need to be set for other plugins.
TranslateInTreeInlineVolumeToCSI(volume *v1.Volume, podNamespace string) (*v1.PersistentVolume, error)
// TranslateInTreePVToCSI takes a persistent volume and will translate
// the in-tree pv source to a CSI Source. The input persistent volume can be modified
TranslateInTreePVToCSI(pv *v1.PersistentVolume) (*v1.PersistentVolume, error)
// TranslateCSIPVToInTree takes a PV with a CSI PersistentVolume Source and will translate
// it to a in-tree Persistent Volume Source for the in-tree volume
// by the `Driver` field in the CSI Source. The input PV object can be modified
TranslateCSIPVToInTree(pv *v1.PersistentVolume) (*v1.PersistentVolume, error)
// CanSupport tests whether the plugin supports a given persistent volume
// specification from the API.
CanSupport(pv *v1.PersistentVolume) bool
// CanSupportInline tests whether the plugin supports a given inline volume
// specification from the API.
CanSupportInline(vol *v1.Volume) bool
// GetInTreePluginName returns the in-tree plugin name this migrates
GetInTreePluginName() string
// GetCSIPluginName returns the name of the CSI plugin that supersedes the in-tree plugin
GetCSIPluginName() string
// RepairVolumeHandle generates a correct volume handle based on node ID information.
RepairVolumeHandle(volumeHandle, nodeID string) (string, error)
}
之后在原有的卷調(diào)度以及卷生命周期管理的時(shí)候，通過(guò)各個(gè)plugin提供的TranslateInTreexxx函數(shù)轉(zhuǎn)換成CSI對(duì)象，按照CSI對(duì)象的操作流程進(jìn)行操作。如果是支持遷移的卷類型，則原來(lái)的流程將會(huì)被忽略。下面是volume調(diào)度策略node-limit來(lái)看CSI mirgrate特性是如何讓用戶無(wú)感知的遷移的
Nodevolumelimits調(diào)度策略主要是限制單個(gè)node上相同類型的卷的數(shù)量不能超過(guò)一定的數(shù)量，可以在CSINode里面定義數(shù)量的大小。Nodevolumelimits-plugin代碼的位置在k8s.io/Kubernetes/pkg/scheduler/framework/plugins/nodevolumelimits/csi.go
Filter（）
filterAttachableVolumes
pl.getCSIDriverInfo(csiNode, pvc)中
csiSource := pv.Spec.PersistentVolumeSource.CSI
if csiSource == nil {
// We make a fast path for non-CSI volumes that aren't migratable
if !pl.translator.IsPVMigratable(pv) {
return "", ""
}
pluginName, err := pl.translator.GetInTreePluginNameFromSpec(pv, nil)
if err != nil {
klog.V(5).InfoS("Unable to look up plugin name from PV spec", "err", err)
return "", ""
}
if !isCSIMigrationOn(csiNode, pluginName) {
klog.V(5).InfoS("CSI Migration of plugin is not enabled", "plugin", pluginName)
return "", ""
}
csiPV, err := pl.translator.TranslateInTreePVToCSI(pv)
if err != nil {
klog.V(5).InfoS("Unable to translate in-tree volume to CSI", "err", err)
return "", ""
}
if csiPV.Spec.PersistentVolumeSource.CSI == nil {
klog.V(5).InfoS("Unable to get a valid volume source for translated PV", "PV", pvName)
return "", ""
}
csiSource = csiPV.Spec.PersistentVolumeSource.CSI
}
獲取pvc in-intree對(duì)應(yīng)的csi對(duì)象。之后Nodevolumelimits-plugin中去判斷node所在的in-tree或者csi對(duì)象總的volume的數(shù)量有沒(méi)有超過(guò)limit的限制。
總結(jié)
CSIMigration可以使得in-tree的pvc&pv可以由csi來(lái)管理，但是卷的管理能力只僅限于in-tree本身具備的一些能力，csi中具有的一些高級(jí)的功能，例如snapshot等，是沒(méi)有辦法針對(duì)in-tree的pvc&pv來(lái)進(jìn)行操作的。
截止k8s 1.24 release，CSIMigration特性處于beta狀態(tài)，目前支持migration的in-tree插件有GCE/AWS/AzureDisk/AzureFile/vSphere/Openstack/RBD/Portworx，可以看出將所有in-tree的代碼從kubernetes代碼中剝離出來(lái)仍然還有很多工作要做，并且CSIMigration特性引入了很多過(guò)渡的代碼。同時(shí)思考是否可以通過(guò)直接convert將in-tree的pvc、pv對(duì)象直接轉(zhuǎn)化成csi規(guī)范的對(duì)象，是不是也是一種更好的思路。
