openEuler CloudNative部署指南：生产环境最佳实践

openEuler CloudNative部署指南：生产环境最佳实践

【免费下载链接】cloudnativeInformation summary and discussion platform for CloudNative SIG项目地址: https://gitcode.com/openeuler/cloudnative

前往项目官网免费下载：https://ar.openeuler.org/ar/

在当今云原生技术蓬勃发展的时代，openEuler CloudNative SIG（特别兴趣小组）为开发者和企业用户提供了一套完整、可靠的云原生基础设施解决方案。无论您是初次接触Kubernetes的新手，还是寻求生产环境优化方案的专业运维人员，本文将为您详细介绍如何在openEuler操作系统上部署和优化云原生环境，确保您的应用能够稳定、高效地运行。🚀

为什么选择openEuler CloudNative？

openEuler CloudNative SIG致力于为广大用户、开发者和爱好者提供便捷、易用的云原生基础设施，构建简单高效的云原生应用开发托管环境。该项目不仅提供了完整的Kubernetes二进制部署方案，还针对生产环境进行了深度优化，确保系统的高可用性和安全性。

生产环境部署架构设计

在生产环境中，我们推荐采用高可用架构，确保系统的稳定运行。典型的openEuler Kubernetes集群架构包括：

• 3个Master节点：实现控制平面的高可用
• 3个Worker节点：提供计算资源和工作负载运行环境
• etcd集群：分布式键值存储，存储集群状态数据

这种架构设计确保了即使某个节点发生故障，整个集群仍能正常运行，为生产环境提供了坚实的可靠性保障。

环境准备与系统要求

硬件配置建议

对于生产环境，我们建议为每个节点配置以下硬件资源：

节点类型	CPU核心数	内存	存储空间	网络带宽
Master节点	4-8核	8-16GB	100GB以上	千兆以太网
Worker节点	8-16核	16-32GB	200GB以上	千兆以太网

软件依赖安装

在openEuler系统上，首先需要安装必要的依赖包：

dnf install -y docker conntrack-tools socat

对于容器运行时，openEuler支持多种选择，包括Docker和iSulad。iSulad是openEuler社区开发的轻量级容器运行时，具有更好的性能和安全性。

证书管理最佳实践

证书生成与配置

在生产环境中，证书管理至关重要。openEuler CloudNative项目提供了详细的证书生成指南，使用CFSSL工具创建自签名证书：

# 生成CA根证书 cfssl gencert -initca ca-csr.json | cfssljson -bare ca # 生成API Server证书 cfssl gencert -ca=ca.pem -ca-key=ca-key.pem \ -config=ca-config.json -profile=kubernetes \ kubernetes-csr.json | cfssljson -bare kubernetes

证书配置文件位于docs/2-用户指南/k8s二进制部署指南.md中，包含了完整的证书生成流程和配置示例。

证书安全建议

1. 定期轮换证书：建议每90天更新一次证书
2. 使用专用CA：生产环境建议使用企业级CA或Let's Encrypt
3. 证书备份：定期备份所有证书和密钥文件

Kubernetes集群部署步骤

1. etcd集群部署

etcd作为Kubernetes的后端存储，其稳定性和性能直接影响整个集群。在openEuler上部署etcd集群的配置示例如下：

# etcd服务配置文件 cat > /usr/lib/systemd/system/etcd.service <<EOF [Unit] Description=Etcd Server After=network.target After=network-online.target Wants=network-online.target [Service] Type=notify WorkingDirectory=/var/lib/etcd/ ExecStart=/usr/bin/etcd \ --name=k8smaster0 \ --cert-file=/etc/etcd/kubernetes.pem \ --key-file=/etc/etcd/kubernetes-key.pem \ --peer-cert-file=/etc/etcd/kubernetes.pem \ --peer-key-file=/etc/etcd/kubernetes-key.pem \ --trusted-ca-file=/etc/etcd/ca.pem \ --peer-trusted-ca-file=/etc/etcd/ca.pem \ --initial-advertise-peer-urls https://192.168.122.154:2380 \ --listen-peer-urls https://192.168.122.154:2380 \ --listen-client-urls https://192.168.122.154:2379,https://127.0.0.1:2379 \ --advertise-client-urls https://192.168.122.154:2379 \ --initial-cluster-token etcd-cluster-0 \ --initial-cluster k8smaster0=https://192.168.122.154:2380,k8smaster1=https://192.168.122.155:2380,k8smaster2=https://192.168.122.156:2380 \ --initial-cluster-state new \ --data-dir /var/lib/etcd Restart=always RestartSec=10s LimitNOFILE=65536 [Install] WantedBy=multi-user.target EOF

2. 控制平面组件部署

Kubernetes控制平面包括API Server、Controller Manager和Scheduler。openEuler提供了详细的systemd服务配置模板：

• API Server配置：位于/etc/kubernetes/apiserver
• Controller Manager配置：位于/etc/kubernetes/controller-manager
• Scheduler配置：位于/etc/kubernetes/scheduler

详细的配置参数和最佳实践可以在docs/2-用户指南/k8s二进制部署指南.md中找到。

3. 节点组件部署

Worker节点的部署需要配置kubelet和kube-proxy服务。关键配置包括：

# kubelet配置文件示例 apiVersion: kubelet.config.k8s.io/v1beta1 kind: KubeletConfiguration authentication: x509: clientCAFile: /etc/kubernetes/pki/ca.pem authorization: mode: Webhook clusterDNS: - 10.32.0.10 clusterDomain: cluster.local runtimeRequestTimeout: "15m"

网络配置与CNI插件

CNI网络插件选择

openEuler支持多种CNI网络插件，包括：

1. Bridge插件：简单的桥接网络，适合测试环境
2. Calico：生产环境推荐，支持网络策略
3. Flannel：简单易用，适合中小规模集群

配置示例位于docs/2-用户指南/k8s二进制部署指南.md的CNI网络配置部分。

网络策略实施

在生产环境中，建议实施网络策略以增强安全性：

apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: default-deny namespace: production spec: podSelector: {} policyTypes: - Ingress - Egress

存储方案选择

持久化存储配置

openEuler支持多种存储方案：

1. 本地存储：适合有状态应用的临时数据
2. NFS存储：适合共享存储需求
3. Ceph RBD：生产环境推荐，提供高可用存储
4. CSI插件：支持云厂商的块存储

存储类配置示例

apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: fast provisioner: kubernetes.io/rbd parameters: monitors: 192.168.1.1:6789,192.168.1.2:6789,192.168.1.3:6789 pool: rbd imageFormat: "2" imageFeatures: layering csi.storage.k8s.io/provisioner-secret-name: ceph-secret csi.storage.k8s.io/provisioner-secret-namespace: default

监控与日志管理

监控方案部署

1. Prometheus：集群监控和指标收集
2. Grafana：监控数据可视化
3. Alertmanager：告警管理

日志收集配置

apiVersion: apps/v1 kind: DaemonSet metadata: name: fluent-bit namespace: logging spec: template: spec: containers: - name: fluent-bit image: fluent/fluent-bit:latest volumeMounts: - name: varlog mountPath: /var/log - name: fluent-bit-config mountPath: /fluent-bit/etc/ volumes: - name: varlog hostPath: path: /var/log - name: fluent-bit-config configMap: name: fluent-bit-config

安全加固措施

1. RBAC权限管理

实施最小权限原则，为不同角色配置适当的权限：

apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: pod-reader rules: - apiGroups: [""] resources: ["pods"] verbs: ["get", "watch", "list"]

2. Pod安全策略

apiVersion: policy/v1beta1 kind: PodSecurityPolicy metadata: name: restricted spec: privileged: false allowPrivilegeEscalation: false requiredDropCapabilities: - ALL volumes: - 'configMap' - 'emptyDir' - 'projected' - 'secret' - 'downwardAPI' - 'persistentVolumeClaim' hostNetwork: false hostIPC: false hostPID: false runAsUser: rule: 'MustRunAsNonRoot' seLinux: rule: 'RunAsAny' supplementalGroups: rule: 'MustRunAs' ranges: - min: 1 max: 65535 fsGroup: rule: 'MustRunAs' ranges: - min: 1 max: 65535 readOnlyRootFilesystem: false

3. 网络策略实施

限制Pod之间的网络通信，只允许必要的流量：

apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: api-allow namespace: production spec: podSelector: matchLabels: app: api-server policyTypes: - Ingress ingress: - from: - podSelector: matchLabels: app: frontend ports: - protocol: TCP port: 8080

性能优化建议

1. 内核参数调优

# 增加文件描述符限制 echo "fs.file-max = 65535" >> /etc/sysctl.conf echo "vm.swappiness = 0" >> /etc/sysctl.conf echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf sysctl -p

2. Kubelet资源配置

apiVersion: kubelet.config.k8s.io/v1beta1 kind: KubeletConfiguration maxPods: 110 kubeReserved: cpu: "100m" memory: "100Mi" ephemeral-storage: "1Gi" systemReserved: cpu: "100m" memory: "100Mi" ephemeral-storage: "1Gi" evictionHard: memory.available: "100Mi" nodefs.available: "10%" nodefs.inodesFree: "5%" imagefs.available: "15%"

3. 容器运行时优化

对于使用iSulad作为容器运行时的情况：

{ "registry-mirrors": ["docker.io"], "insecure-registries": ["k8s.gcr.io", "quay.io"], "pod-sandbox-image": "k8s.gcr.io/pause:3.2", "network-plugin": "cni", "cni-bin-dir": "/usr/libexec/cni/", "cni-conf-dir": "/etc/cni/net.d" }

高可用性配置

1. 多Master节点配置

确保控制平面的高可用性，配置多个Master节点：

# 在第一个Master节点上初始化集群 kubeadm init --control-plane-endpoint "LOAD_BALANCER_DNS:LOAD_BALANCER_PORT" # 在其他Master节点上加入集群 kubeadm join LOAD_BALANCER_DNS:LOAD_BALANCER_PORT \ --token <token> \ --discovery-token-ca-cert-hash <hash> \ --control-plane

2. 负载均衡器配置

使用HAProxy或Nginx作为API Server的负载均衡器：

# HAProxy配置示例 global log /dev/log local0 log /dev/log local1 notice chroot /var/lib/haproxy stats socket /run/haproxy/admin.sock mode 660 level admin stats timeout 30s user haproxy group haproxy daemon defaults log global mode tcp option tcplog option dontlognull timeout connect 5000 timeout client 50000 timeout server 50000 frontend kubernetes bind *:6443 option tcplog default_backend kubernetes-master-nodes backend kubernetes-master-nodes option tcp-check balance roundrobin server master1 192.168.122.154:6443 check fall 3 rise 2 server master2 192.168.122.155:6443 check fall 3 rise 2 server master3 192.168.122.156:6443 check fall 3 rise 2

备份与恢复策略

1. etcd数据备份

# 定期备份etcd数据 ETCDCTL_API=3 etcdctl snapshot save snapshot.db \ --endpoints=https://192.168.122.154:2379 \ --cacert=/etc/etcd/ca.pem \ --cert=/etc/etcd/kubernetes.pem \ --key=/etc/etcd/kubernetes-key.pem

2. 集群状态备份

# 备份集群资源 kubectl get all --all-namespaces -o yaml > cluster-backup.yaml kubectl get pv -o yaml > pv-backup.yaml kubectl get pvc --all-namespaces -o yaml > pvc-backup.yaml

故障排查与维护

1. 常见问题解决

问题：节点NotReady状态

# 检查kubelet服务状态 systemctl status kubelet journalctl -u kubelet -f # 检查网络连接 ping <master-node-ip> telnet <master-node-ip> 6443

问题：Pod创建失败

# 查看Pod事件 kubectl describe pod <pod-name> -n <namespace> # 查看容器日志 kubectl logs <pod-name> -n <namespace>

2. 性能监控指标

# 查看节点资源使用情况 kubectl top nodes # 查看Pod资源使用情况 kubectl top pods --all-namespaces # 查看集群事件 kubectl get events --sort-by='.lastTimestamp'

持续集成与部署

1. GitOps实践

采用ArgoCD或Flux实现GitOps工作流：

apiVersion: argoproj.io/v1alpha1 kind: Application metadata: name: production-app namespace: argocd spec: project: default source: repoURL: https://gitcode.com/openeuler/cloudnative.git targetRevision: HEAD path: manifests/production destination: server: https://kubernetes.default.svc namespace: production syncPolicy: automated: prune: true selfHeal: true syncOptions: - CreateNamespace=true

2. 镜像管理策略

使用openEuler官方镜像仓库：

# 拉取openEuler基础镜像 isula pull hub.oepkgs.net/openeuler/openeuler:20.03-lts-sp2 # 或使用Docker docker pull hub.oepkgs.net/openeuler/openeuler:21.03

详细的镜像使用方法和版本信息可以在docs/2-用户指南/openEuler容器镜像使用方法.md中找到。

总结

openEuler CloudNative SIG提供了一套完整的云原生解决方案，从基础的Kubernetes部署到生产环境的最佳实践，都经过了社区的充分验证和优化。通过本文介绍的部署指南和最佳实践，您可以快速搭建一个稳定、高效、安全的云原生环境。

记住，生产环境的成功部署不仅仅是技术实现，更需要结合业务需求进行持续优化和监控。openEuler社区提供了丰富的文档和支持，帮助您在云原生之旅中取得成功。🌟

关键要点回顾：

• ✅ 采用高可用架构确保服务连续性
• ✅ 严格的安全策略和证书管理
• ✅ 完善的监控和日志系统
• ✅ 定期备份和恢复测试
• ✅ 持续的性能优化和调整

现在，您已经掌握了openEuler CloudNative生产环境部署的核心知识，是时候开始您的云原生之旅了！如果您在部署过程中遇到任何问题，openEuler社区随时为您提供支持。

【免费下载链接】cloudnativeInformation summary and discussion platform for CloudNative SIG项目地址: https://gitcode.com/openeuler/cloudnative