前言
基于开源构建的一站式数据算法服务平台部署
背景需求
zVl66TL7pz106ub9M8zceWOfT6Rtv7FCfTYlGYNMGig=
准备工作
Kubernetes(k8s)多主的高可用集群部署
集群架构
服务器
系统：CentOS8,内核版本：
| 服务器名称 | IP | 组件 | 角色 | 备注 |
|---|
| master1 | | kubectl、kubeadm、kubelet、keepalived、haproxy | | |
| master2 | | kubectl、kubeadm、kubelet、keepalived、haproxy | | |
| master3 | | | | |
| slave1 | | kubectl、kubeadm、kubelet | | |
| slave2 | | | | |
| slave3 | | | | |
| slave4 | | | | |
| slave5 | | | | |
| slave6 | | | | |
| slave7 | | | | |
| slave8 | | | | |
| slave9 | | | | |
组件及其版本
| 组件 | 类别 | 版本 | 下载地址 | 备注 |
|---|
| Kubernetes | Kubernetes 也称为 K8s，是用于自动部署、扩缩和管理容器化应用程序的开源系统 | v1.26 | | |
| KubeSphere | KubeSphere 是在 Kubernetes 之上构建的以应用为中心的多租户容器平台,提供全栈的 IT 自动化运维的能力,简化企业的 DevOps 工作流 | v3.4.0 | | |
| Docker | 容器引擎 | 20.10.7 | | |
| HAProxyHAProxy | keepalived是集群管理中保证集群高可用的一个服务软件，其功能类似于heartbeat，用来防止单点故障 | | | |
| HAProxy | 开源的、高性能的、基于TCP(第四层)和HTTP(第七层)应用的负载均衡软件,借助HAProxy可以快速、可靠地提供基于TCP和HTTP应用的负载均衡解决方案 | | | |
环境准备
Docker部署
Containerd部署
KubeSphere部署
K8S集成Zadig实现CI/CD DevOps
组件及其版本
| 组件 | 类别 | 版本 | 下载地址 | 备注 |
|---|
| Zadig | 云原生 DevOps 平台,覆盖从需求到开发、测试、运维的一体化工程技术底座 | v2.2.0 | | |
| Harbor | | | | |
| GitLab | | | | |
| GitHub | | | | |
| Maven | | | | |
| Node | | | | |
| Java | | | | |
| Scala | | | | |
| Python | | | | |
| pnpm | | | | |
| nvm | | | | |
| pip | | | | |
Q&A
名称解释
| 名称 | 解释说明 | 备注 |
|---|
| kubectl | xxxcbxbxa | |
| keepalived | | |
| haproxy | | |
| pod | pod是k8s的最小工作单元。每个pod包含一个或者多个容器。pod中的容器会作为一个整体被master调度到一个node上运行 | |
| controller | k8s通常不会直接创建pod,而是通过controller来管理pod的。controller中定义了pod的部署特性，比如有几个副本，在什么样的node上运行等。 | |
| slave1 | | |
| slave1 | | |
| slave1 | | |
| slave1 | | |
| slave1 | | |
| slave1 | | |
| slave1 | | |
参考资料
