uu快3充值_uu快3回血_新平台

DockOne微信分享(一二〇):基于Kubernetes的私有容器云建设实践

时间:2020-01-23 16:21:04 出处:uu快3充值_uu快3回血_新平台

原文标题:DockOne微信分享(一二〇):基于Kubernetes的私有容器云建设实践

实现运维自动化是当让我门立项之初最主要的目标,而它又是实现底下目标的基础。其他因素直接决定了当让我门的技术选型。

技术选型

当让我门是在2015年6月份现在结束调研技术,2015年8月份现在结束容器云立项,首太难面对的问提图片,就是怎么才能 才能 进行容器编排引擎的选型,可供选着 的有Swarm,Mesos,Kubernetes,甚至自主研发集群编排,当让我门认真调研了每有并与非 方案:

当让我门为Java应用提供了有一一个公共日志组件——Appenders,它会将Java的日志流式输出到Fluentd中转,输出到Fluentd中转的意味是与现有的日志中心并行运行。其他的要素跟主流的EFK模式不都里能任何区别。使用DaemonSet运行Fluentd和Fluentd与应用以Sidecar的最好的办法 进行日志挂接也是比较好的选着 。在容器时代,CloudNative应用是必然的选着 ,构建云原生应用的原则请参考12因子。容器云管理系统自身也是CloudNative应用,它同样运行在Kubernetes中,与传统的上线工具不同的是,它要能进行自我生命周期管理。Container based、Mircoservices Oriented是Cloud Native倡导,不都里能应用向Cloud Native转化,要能更好的发挥容器云的效力。

CI/CD建设

本文来自云栖社区合作伙伴Dockerone.io,了解相关信息都里能关注Dockerone.io。

原文发布时间为:2017-05-19

以上内容根据2017年4月25日晚微信群分享内容挂接。分享人李大伟,易宝支付有限公司,架构师,主要负责易宝容器云的建设与落地,DevOps平台建设和理念推广。北京大学硕士,7年工作经验,有坚实的理论基础和多年的底层开发经验。开源爱好者,现专注于容器技术与DevOps实践,对Docker、 Kubernetes、DevOps、微服务等有浓厚兴趣。DockOne每周就有组织定向的技术分享,欢迎感兴趣的同学加微信:liyingjiesz,进群参与,您有想听搞笑的话题因此想分享搞笑的话题都里能给当让我门留言。

本文作者:李大伟

按照当让我门预先的Roadmap,先解放生产环境的运维工作,再处置应用的构建、集成的问提图片。现在,容器云的管理系统基本上替代了日常维护的手工操作,频繁的手工触发构建成了容器云推进的瓶颈,其他,构建CI/CD平台变得非常紧迫。经过前期调研,当让我门决定使用Gitlab + Jenkins + Docker Registry的技术栈构建CI/CD平台。为了统一技术标准和尽量减少构建过程中的不选着 性,当让我门采用自动生成Dockerfile的最好的办法 ,而详细就有让开发其他人编写Dockerfile。当让我门采用稳定主干的最好的办法 ,MR自动触发构建过程,经过单元测试,打包,编译和Docker构建,容器云的界面会实时显示构建的过程,在构建现在结束后,用户会收到构建的结果的邮件。最终,CI产出的Docker镜像会被推送至QA环境的Registry上。对当让我门来说,CI/CD最重要和最难的环节是自动化测试,尤其是自动化集成测试,当让我门正在努力处置。CI的过程当让我门还做了代码的依赖库检查,代码版本追踪和Docker镜像自描述等,让Docker镜像从产生现在结束,在测试,生产测试,生产等每个环节详细就有可追溯的。原先便于当让我门查找问提图片和对CI的过程进行持续的改进。对常用技术栈和配置进行标准化也是CI建设的有一一个重要目标。保证CI产出的镜像的质量(累似 于次品率)是对CI系统考核的重要标准。下图是当让我门CI/CD平台的工作流示意图:

Swarm当时是0.4版本,功能还相对简单,优势是技术栈比较简单,小团队即可驾驭,因此考虑到它详细就有稳定版,着实它发展调慢,因此不都里能处置当让我门现有的问提图片,其他Swarm不被优先考虑。Mesos当时是0.23版本,它要能胜任大规模场景的容器编排,偏重于资源抽象,与当让我门大多数是Java Web的应用的场景不符,另外,Mesos技术栈与当让我门现有技术栈差别不都里能来太满,不得不放弃其他选着 。自主研发容器编排引擎当让我门也考虑过,因此经过认真的探讨,自研编排引擎对标有一一个开源的组件的功能,研发投入要能 其他的成本,因此结果暂且能达到预期,投入产出比低。另外,容器云作为底层的基础设施,选着 更要慎重,因此自研项目失败,因此会离主流的容器技术不都里能远,因此成本太高,其他自研的路线也被否定。Kubernetes是当让我门的最终选着 ,它当时是1.0.2版本,因此是"Production Ready",当让我门选着 Kubernetes的最主要的意味是它理念的先进,因此非常适合当让我门公司的主流应用,Java Web应用详细就有Long time running的任务,Kubernetes的"Replication controller"对它支持非常好。Kubernetes以应用为中心的理念和社区的活跃度更是坚定了当让我门的选着 ,历时有一一个月的技术选型终于落下帷幕,当让我门决定使用Kubernetes构建当让我门的私有容器云平台。

理论基础和原则

在当让我门决定使用Kubernetes的作为容器编排引擎后,关于选型的争论持续了很长的一段时间,当时国内Kubernetes的使用者还比较少,太难找到成功的案例。当让我门要能 深入的研究Docker, Kubernetes相关的容器技术,确保当让我门的决策是正确的,这对当让我门构建容器云至关重要。经过其他的调研和讨论,当让我门发现容器云的是有一套完成的理论基础支撑的,有有哪些理论又引申出当让我门构建容器云的原则:

在应用层面,每个应用有大概五个副本,通过Kubernetes ReplicationController/ReplicaSets来保证。强制每个应用暴露健康检查接口,通过设置liveness和readness保证应用异常都里能够被及时的发现,从而用新的实例代替。Kubernetes的组件也要实现高可用,有点痛 是ETCD集群的高可用,定期备份ETCD的数据是个好习惯。为了保证数据中心级别的高可用,当让我门在每个数据中心部署了一套Kubernetes集群,每个数据中心要能独立存活,多个数据中心互相灾备。

计算资源QoS与超卖

随着不都里能来太满的应用迁移到容器云中,要能 建立有一一个可视化的管理系统,当让我门使用Kubernetes原生API搭建一套Web管理系统,通过对Namespace/ResourceQuota/Deployment/Service/Endpoint等API的调用实现资源配额的划分和应用生命周期的管理。容器云平台在易用性方面最大的挑战是Troubleshooting的环节,容器云最终是要交付开发人员使用,当让我门对Kubernetes暂且了解,这让Troubleshooting的环节充满挑战,当让我门现在就是想通过websocket将kubectl exec的console展示给用户,因此让用户在日志中心(EFK)中查看日志,还不都里能更好的方案,因此各位有更好的方案,请不吝赐教。容器云未来要实现整个数据中心的可视化,让运维对所有的数据中心的实时运行状态一目了然,当然,实现其他目标有相当的难度。容器云的监控采用Heapster的方案,正在向Prometheus最好的办法 转变。日志挂接是主流的EFK的组合最好的办法 。容器云管理系统的基本功能如下图所示:

  • 不可变基础设施,是利用Docker镜像的不可变性,以更加便捷的最好的办法 维护基础设施:当基础设施损坏因此变更时,以直接替换的最好的办法 达到目的,而详细就有通过修缮损坏的基础设施,不都里能做要能 替换的成本足够低,Docker显然做到了其他点;对于因此运行的Docker容器,因此它经常出现异常,不再是传统ssh上去调试的最好的办法 ,应该是杀掉其他容器,重新启动有一一个新的容器;替换操作具有快速和可重复的行态,任何操作都里能随时回滚,安全可靠;对于生产环境的运维,不可变基础设施的理念尤为重要,其他事故详细就有在生产环境中直接修改造成的。
  • 基础设施即代码,管理基础设施像管理代码一样,每个基础设施详细就有“可描述”的,累似 于Kubernetes中的Node概念,当让我门也应该作为“代码”的一要素以代码的最好的办法 进行管理。
  • 可编程的基础设施,基础设施不仅仅是提供计算、存储、网络资源,要能 为上层应用提供可编程的接口,让上层应用都里能更加灵活的使用基础设施,容器云从立项之初就考虑到了其他点,容器云平台有一套详细的对外Restful API,可供上层应用,甚至外部应用调用。
保证构建容器云的过程要能正确的进行,还要能 其他原则,”Build once,Run anywhere",有一一个Docker镜像要贯穿QA到生产环境的每个环节,不允许QA和联 产的镜像经常出现不一致的状态。"All in one",对于Java Web应用,因此历史意味,因此多个Web App运行在同有一一个Tomcat中,要求每个Docker镜像中只运行有一一个Web App。以应用为中心,是当让我门最重要的原则,也是建设容器云的出发点,其他原则确保当让我门关注的重点是应用,而详细就有进行计算资源的抽象和资源的调度,当让我门的理想目标是,在“优雅地“管理应用的整个生命周期同時 ,顺便做好资源抽象,提高资源的利用率。分层治理,基础设施的治理由容器云完成,上层应用的治理由应用治理层负责,从SaaS,到PaaS,再到CaaS,分层治理,各层通过接口相互调用,层与层之间互不侵入。

以Kubernetes为中心构建容器云

因此资源限制,技术人员往往过于关注单机的资源利用率。Docker(Cgroup、Namespace)提供的资源共享与隔离的机制,让让我门对资源利用率有了新的认识,有点痛 是使用容器编排引擎后,当让我门对资源的理解应该在集群维度进行考量,而详细就有在考虑单机的利用率。同样,在整个数据中心,甚至多个数据中心进行资源利用率的综合考量也是非常必要的。在提高资源利用率、降低成本的同時 ,要能 在服务的QoS与优化资源利用率之间有个平衡。当让我门的原则是在保证服务质量的同時 ,尽量提高资源的利用率。根据Kubernetes的资源模型,在Pod level的QoS分为有一一个等级:Guarantee、Burstable、BestEffort,当让我门也是依照这有一一个级别对应当让我门应用的优先级来制定资源超卖的标准。当让我门对应用设置的QoS标准:

  • Kubernetes自带的组件使用Guarantee
  • 重要的组件和应用,比如ZooKeeper、Redis,用户服务等使用Guarantee
  • 普通的应用(Burstable)按照重要性分级,按重要程度CPU分为2,5,10有一一个超卖标准,10倍超卖适合boss后台类的应用,大多数适合访问量不高。内存使用固定的1.5倍超卖标准。
有其他要能 有点痛 注意,在生产环境中,暂且使用BestEffort的最好的办法 ,它会引发不选着 的行为。

容器云管理平台

日志挂接方案如下图所示:

下图展示了整个部署流水线,镜像从构建到生产部署的全过程,以及过程、结果的反馈:

遇到过RBD盘被锁住,新产生的Pod无法挂载的状态,处置最好的办法 是将RBD盘手工解锁,新的Pod会自动挂载。Kubernetes的有一一个Bug,Kubernetes的ReplicaSets名称是根据Deployment的PodTemplate的摘要产生,使用的Adler算法,Hash碰撞非常频繁,会在升级过程中,Deployment不都里能创建最新的ReplicaSets而造成升级失败。处置最好的办法 是讲adler算法添加FNV算法,来减少Hash碰撞的频率,这显然详细就有最终的处置方案,最终的方案还在持续讨论中,有兴趣的当让我门都里能参与:https://github.com/kubernetes/community/pull/384,https://github.com/kubernetes/ ... 29735因此经常没来得及迁移Harbor,当让我门经常直接使用Docker registry 2.1版本作为私有镜像仓库,使用Restful API时,_catalog默认返回字母序的前60 个镜像,客户端要能 处置分页的问提图片。应用向容器云迁移是容器云建设过程中花费最多精力的地方,因此要能 适应容器云转过身的理念转变和对现有应用改造进行改造,迁移过程中受到了其他挑战,最大的挑战是Dubbo应用的迁移问提图片,因此Flannel的Overlay网络使容器化的Dubbo应用不都里能与Overlay网络之外的应用连通,最后当让我门修改了网络策略,使得Dubbo的应用都里能无缝的迁移到容器云中。下一阶段容器云工作的重点,是推动应用向Cloud Native和微服务化方向改造。容器云面临的最大挑战来自于理念转变,容器技术改变了软件交付的生态,容器时代要能 技术人员以新的理念构建应用,怎么才能 才能 让技术人员顺利的完成理念的转变是每个容器云的建设者们要能 认真考虑的问提图片。

Q&A

Q:请教一下处置CI时,比如集群自动化部署方面的粒度是怎么才能 才能 的?比如修复有一一个bug改了有一一个class文件,因此本地测试完原太难能 到线上部署进AB测试,不都里能就直接通过CI自动部署到集群服务器吗?

容器云的目标决定了当让我门面对的是应用的管理,即应用对应的docker容器的管理,这就要求当让我门要以Kubernetes为中心构建容器云,而详细就有以docker为中心。Docker只作为应用打包、传递、运行时的工具,所有的API详细就有面向Kubernetes进行设计。容器云要实现高可用的基础设施,要能支持多个数据中心。对于应用,要有多维度的高可用保证,要贯通部署流水线,通过CI/CD实现快速交付,另外,容器云的建设肩负的额外目标是要为未来2~4年的技术发展做铺垫,为应用的CloudNative改造和整个技术团队的DevOps实践奠定基础。容器云第一步是实现应用的全生命周期管理,让应用实现秒级的上线、回滚、升级、扩容/缩容、下线。因此历史的意味,其他应用的配置和环境耦合在同時 ,有的应用是对于外部依赖是硬编码(累似 于服务方的IP地址)等,有有哪些应用在迁移至容器云原太难能 进行改造。容器云要实现多数据中心多活,以保证数据中心级的高可用性。对于弹性扩容,当让我门的计划是先实现手动扩容,再实现自动扩容; 对于自动扩容,先实现基于CPU/Memory的自动扩容,再实现基于Custom Metrics的自动扩容。与大多数构建容器云的最好的办法 不同,当让我门首先处置生产环境的运维自动化的问提图片,其次再处置容器的构建问提图片(即CI/CD)。当让我门的网络选型是flannel,万兆网络,flannel虽说有性能损失,但远能满足当让我门的实际要能 。存储当让我门使用Ceph的RBD最好的办法 ,使用一年多来,RBD的方案非常稳定。Ceph FS的最好的办法 当让我门详细就有尝试,因此因此团队精力有限和因此的风险,经常不都里能正式使用。

高可用基础设施

容器云要实现高可用的基础设施,多维度保证应用/服务的高可用性:

热门

热门标签