Kata ContainersをKubernetesで活用する:shared kernelがリスクになるとき、MicroVMでPodsを保護する

Virtualization tutorial - IT technology blog
Virtualization tutorial - IT technology blog

Kubernetesを運用する多くの人が見落としがちな事実がある:コンテナは仮想マシンではない。同じノード上で50個のPodを動かすとき、すべてがhostのkernelを共有している。任意のPodでkernel脆弱性が悪用されれば、そのノード全体に特権昇格し、さらにcluster全体へと被害が拡大する可能性がある。

この問題に気づいたのは、ProxmoxでKubernetesのラボを構築していたときだ。Proxmox VEで12台のVMとコンテナを管理するhomelabを運用していて、productionに投入する前にあらゆることをテストするplaygroundとして使っている。multi-tenantのワークロード(複数のチームが同じclusterを共有する構成)を試していたとき、悪意のあるコンテナやzero-day脆弱性が存在した場合、LinuxのnamespaceによるIsolationだけでは不十分だと気づいた。

現実の問題:Container isolationは完璧ではない

Kubernetes Podはリソース分離のためにLinux namespaces(pid、net、mnt、uts、ipc)とcgroupsを使用している。堅牢に聞こえるかもしれないが、攻撃対象領域(attack surface)は依然として存在する:

  • Shared kernel syscalls:すべてのコンテナがhostのkernelに直接syscallを呼び出す。Dirty Pipe(CVE-2022-0847)やruncの脆弱性(CVE-2024-21626)などのCVEは、これが単なる理論的なリスクではないことを証明している。
  • 設定ミスによるContainer escape:privileged: trueで実行されるPod、hostの/procをマウント、またはhostNetwork: trueを使用する構成 — real-worldのdeploymentで非常によく見られる。
  • Multi-tenantリスク:複数のチームや顧客がclusterを共有する場合、一つのworkloadが侵害されると、kernelを経由して他のworkloadにも影響が及ぶ可能性がある。

2019年、runcの脆弱性により、コンテナ内でroot権限を持つ攻撃者がホスト上のruncバイナリを上書きできてしまい、パッチが未適用のDockerおよびkubernetesのdeployment全体に影響を与えた。これはラボでのPOCではなく、実際のcontainer escapeだった。

根本原因:Containerはprocess isolationに過ぎない

コンテナの本質は、kernel機能によって分離されたprocessesだ。VMとは異なり、コンテナ固有のkernelはなく、workloadとhardwareの間にhypervisor layerも存在しない。これによりperformanceは向上するが、security boundaryは大幅に弱くなるというトレードオフがある。

3つのモデルを簡単に比較してみよう:

  • 従来のVM:Guest OS → Hypervisor (KVM) → Hardware。高いisolationだが、オーバーヘッドも大きく、起動に数秒かかり、各VMで数百MBのRAMを消費する。
  • Container (runc):Process → Linux namespace/cgroup → Host kernel → Hardware。高速でlightweightだが、shared kernelが中核的な弱点となる。
  • MicroVM:両者の長所を組み合わせる — コンテナのようにlightweightでありながら、VMのように独自のkernelを持ち、1〜2秒で起動する。

問いはこうだ:performanceや互換性を大きく犠牲にすることなく、VMのsecurity boundaryを持ちながらKubernetes workloadsを実行するにはどうすればよいか?

解決策

解決策1:gVisor (Google)

gVisorはuser-space kernel(Sentry)をコンテナとhost kernelの仲介として実行する。コンテナからのsyscallは、host kernelに直接届く前にSentryによってインターセプトされ処理される。メリット:hardware virtualizationが不要で、あらゆるLinux hostで動作する。デメリット:syscallの100%互換はなく、I/Oが多いワークロードではperformanceへの影響が大きい。

解決策2:Firecracker standalone (AWS)

FirecrackerはServerless向けに設計されたVMM(Virtual Machine Monitor)で、AWS LambdaやFargateで使用されている。Boot timeは約125ms、メモリオーバーヘッドは約5MB/VMだ。ただし、Kubernetesへの直接統合は複雑で、adapter layerが別途必要になる。

解決策3:Kata Containers

Kata ContainersはKubernetesのcontainer runtime interfaceとlightweight VMを組み合わせる。各PodはそれぞれのMicroVM内で実行され(hypervisorとしてQEMU/KVMまたはFirecrackerを使用)、独自のkernelを持ちながら、OCIコンテナエコシステムと完全な互換性を維持する。コミュニティが大きく、ドキュメントが充実しており、containerdとネイティブ統合できるため、この方法を選んだ。

KubernetesへのKata Containersのデプロイ

ステップ1:worker nodeでhardware virtualizationを確認する

# CPUのvirtualizationサポートを確認する
grep -E 'vmx|svm' /proc/cpuinfo | head -1

# KVMモジュールを確認する
lsmod | grep kvm

# 未ロードの場合:
modprobe kvm_intel   # Intel
# または
modprobe kvm_amd     # AMD

worker nodeがProxmox上で動くVM(私のラボと同様)の場合、Proxmox host側でnested virtualizationを有効にする必要がある:

# Proxmox host上で実行 — worker VMの中ではない
echo "options kvm_intel nested=1" > /etc/modprobe.d/kvm-intel.conf
modprobe -r kvm_intel && modprobe kvm_intel

# worker node VMで確認:
cat /sys/module/kvm_intel/parameters/nested
# 戻り値は1またはYであること

ステップ2:worker nodeにKata Containers runtimeをインストールする

ARCH=$(uname -m)
KATA_VERSION="3.3.0"

curl -fsSL https://github.com/kata-containers/kata-containers/releases/download/${KATA_VERSION}/kata-static-${KATA_VERSION}-${ARCH}.tar.xz \
  -o /tmp/kata-static.tar.xz

tar -xJf /tmp/kata-static.tar.xz -C /

# インストールの成功を確認する
kata-runtime check
# Output: "System is capable of running Kata Containers"

ステップ3:containerdにKata runtimeを認識させる

/etc/containerd/config.tomlを編集してKata handlerを追加する:

[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.kata]
  runtime_type = "io.containerd.kata.v2"

[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.kata.options]
  ConfigPath = "/opt/kata/share/defaults/kata-containers/configuration.toml"
systemctl restart containerd
systemctl status containerd

ステップ4:KubernetesにRuntimeClassを作成する

RuntimeClassはKubernetesのリソースで、各workloadに対してcontainer runtimeを指定できる — どのPodがKataを使い、どのPodがデフォルトのruncを使うかを制御するメカニズムだ:

apiVersion: node.k8s.io/v1
kind: RuntimeClass
metadata:
  name: kata-containers
handler: kata
scheduling:
  nodeSelector:
    kata-runtime: "true"
kubectl apply -f kata-runtimeclass.yaml

# Kataをサポートするworker nodeにラベルを付ける
kubectl label node worker-node-1 kata-runtime=true
kubectl label node worker-node-2 kata-runtime=true

ステップ5:Kata runtimeでPodをデプロイする

Pod specにruntimeClassNameを追加するだけでよく、imageやアプリケーションの設定を変更する必要はない:

apiVersion: v1
kind: Pod
metadata:
  name: kata-nginx
spec:
  runtimeClassName: kata-containers   # ← 追加が必要な行はこれだけ
  containers:
  - name: nginx
    image: nginx:1.25-alpine
    ports:
    - containerPort: 80
    resources:
      requests:
        memory: "64Mi"
        cpu: "100m"
      limits:
        memory: "128Mi"
        cpu: "200m"
kubectl apply -f kata-pod.yaml
kubectl get pod kata-nginx -o wide

ステップ6:実際のisolationを確認する

Kataが正しく動作していることを確認する最も手っ取り早い方法 — kernel versionを比較する:

# host nodeのkernel
uname -r
# 例:5.15.0-91-generic

# 通常のPod(runc runtime)のkernel
kubectl exec regular-pod -- uname -r
# Output: 5.15.0-91-generic  ← hostと同じkernel

# Kata PodのKernel
kubectl exec kata-nginx -- uname -r
# Output: 6.1.38             ← Kata MicroVM独自のkernel

この違いがすべてを物語っている。Kata Podは完全に独立したkernelで動作しており、コンテナ内でkernel exploitが発生しても、MicroVMの外に抜け出してhostや他のPodに影響を与えることはできない。

Kataを使うべきケース、不要なケース

実際の経験と大企業のproduction case studiesを読んで得た知見から:

  • Kataを使うべき場面:multi-tenant cluster、untrusted codeを実行するCI/CD runner(例:外部contributorのコードのビルド)、機密データを扱うworkload、payment processing、fintech。
  • 必ずしも必要でない場合:untrusted inputを処理しないinternal microservices、社内のbatch jobs、development environments。これらはruncを使った方がperformanceが高い。
  • 知っておくべきperformanceオーバーヘッド:boot timeは約1〜2秒(runcのミリ秒単位と比較して)、各Podのmemoryオーバーヘッドは約50MB増。long-runningのworkloadにとって、この数値はほぼ無視できる。
  • 覚えておくべき制限:Kata PodはhostNetwork、hostPID、またはhostIPCを使用できない — これはバグではなく、意図的な仕様だ。これらはまさにsecurity boundaryを弱めるものだからだ。

現在、homelabではmixed runtime clusterを運用している:internal servicesはruncを使い、自作コードのテストや出所不明のソースからpullしたPodはKataで実行している。オーバーヘッドは許容範囲内で、namespace isolationのみを使う場合と比べてsecurity boundaryがはるかに明確になる。

Kata ContainersはRBAC、network policies、image scanningの代替にはならない — それらは依然として必要な保護レイヤーだ。しかし、kernelレベルで重要なisolation layerを追加し、multi-tenantやuntrusted workloadsを扱う環境では、デプロイコストに対して得られるメリットははるかに大きい。

Share: