windix · 某证券公司 ：结论：面向一些AI应用场景，AI容器化是一种可选的解决方案。企业中典型的AI应用包括：1、推荐场景：业务特点方面，模型上使用千亿至万亿稀疏矩阵参数，数据集上包含百万至千万用户的行为特征数据，训练方式上通常单机8卡可解决AI模型基础需求；对AI基础设施诉求方面，数据大吞吐量，GPU通信...more

匿名用户 ：主流国产虚拟化平台的配套也是比较完善的，他们产品在设计阶段或多或少都会参考一些VMware的功能。但如楼上说的，确实使用习惯各方面和VMware有一定区别。如果想试试，可以拉几家主流的大厂的做个POC，需要从功能层面去对比，国产化和VMware很多的技术实现不一样。既然早晚得换，心...more

宋浩 · 北银金融科技有限责任公司 ：学习国产化虚拟平台最重要的就是环境，而其他岗位是没办法接触的。自己搭建的话硬件资源不好满足、软件授权也不好搞，想低成本的话，可以沿着以下几种思路：1）向同事学习做虚拟化工作同事做变更的时候，多旁边看看。2）参加培训参加国产虚拟化厂商的培训，考证书。3）网上资料网上尝试找...more

宋浩 · 北银金融科技有限责任公司 ：一、考量因素（回答从哪些方面进行选型考量） 1.明确”小云“定位 承载的资源类型：单虚拟机，还是虚拟机和容器 平衡成本和发展：成本有限，还要兼顾发展 2.现网现状现网资源需求情况、资源投入现状、资源类型的增长预期、工程师技术栈等 3.一云多芯基本国产的都可以支持，主流平台...more

强哥之神 · 上汽集团云计算中心 ：我觉得主要得需要关注在性能、高可用性、扩展能力、安全性及成本等方面的技术指标，我就简单地说明如下：1、评估在容器化环境下运行大数据作业的性能，包括作业执行时间、资源利用率等。 2、评估容器化大数据平台对于节点故障、容器故障等异常情况的处理能力，包括自动故障转移...more

强哥之神 · 上汽集团云计算中心 ：大数据平台容器化的技术路线可以基于不同的容器编排和管理工具，常见的包括K8S、Docker Swarm和Mesos等。现在一般是用K8S了。因为我们主要使用的K8S，我就谈谈K8S的优点吧：1、K8S是目前最流行的容器编排平台，拥有庞大的社区支持和丰富的生态系统，提供了丰富的功能和工具。2、K8...more

强哥之神 · 上汽集团云计算中心 ：在大数据作业容器化部署后，日志收集、监控告警和异常诊断是保障系统稳定性和运行效率的关键环节 。1、确保大数据作业容器中的日志输出符合统一的格式和标准 ，使用日志聚合工具（比如Fluentd、Filebeat）收集大数据作业容器的日志，并发送到公司的统一日志平台进行存储和分析。2...more

强哥之神 · 上汽集团云计算中心 ：通过资源隔离（比如采用K8S不同的namespace并分配不同的租户quota)、优先级和抢占（采用不同的PriorityClass ）、资源限制（不同的limit、request，quota等）、监控和自动化调整（如 Prometheus 和 Grafana ，结合HPA/VPA等）、队列和调度策略以及独立的存储和网络配置等手段，可以有效保障...more

强哥之神 · 上汽集团云计算中心 ：原有部署模式下计算任务读写数据存储的HDFS通常也会在容器化环境中部署，但需要注意以下几点：1、HDFS可以作为独立的服务容器化部署，或者作为容器内的数据卷挂载到计算任务的容器中。通常会使用分布式存储系统（如Ceph、GlusterFS）来实现数据持久化和共享。2、 计算任务容器和HD...more

dean25 · 民生银行 ：如何实现业务容器与大数据容器的混合调度部署，两者的调度器的逻辑如何进行统一，以达到在保证安全生产的前提下，充分利用集群资源，降本增效 。针对这个话题我谈谈我的建议：大数据作业通常需要独立的调度器，和在线业务的调度器独立，因为二者的调度逻辑有很大的差异。在线业务用缺...more

jinhaibo · 昆仑银行 ：在大数据业务场景下，容器的调度是一个关键的环节，它决定了如何有效地利用集群资源以支持大数据应用的运行。以下是一些建议的容器调度方法：资源需求预测：对于大数据应用，通常需要大量的计算、存储和网络资源。在容器调度之前，可以基于历史数据或机器学习模型预测资源需求，以便提...more

dean25 · 民生银行 ：混合部署后，计算部分肯定是完全容器化，存储如hdfs还需要使用传统的hdfs，也就是实现存算分离。如果之前没有大量存量的hadoop yarn提交作业方式，也可以考虑spark on k8s。如果有存量yarn作业需要迁移，可以考虑用yarn on k8s，这样便于存量作业平滑迁移，出现问题也可以回切，也...more

强哥之神 · 上汽集团云计算中心 ：在选择大数据混合部署的容器化技术路线时，完全容器化和部分容器化各有优劣，最终选择取决于具体的业务需求、现有技术栈、团队技能和长远发展规划 ，简单来说就三类：* 现代化需求强烈且具备相应技术能力的企业 ：可以选择完全容器化，使用 Spark on K8S。已有大量 Hadoop 工作负载...more

强哥之神 · 上汽集团云计算中心 ：1、创建网络策略，限制离线任务Pod与在线业务Pod之间的直接通信。这样可以避免离线任务占用在线业务的网络带宽 。2、在物理层面，使用不同的网络接口和交换机配置，将在线业务和离线任务的网络流量隔离 。3、利用虚拟网络技术（如VLAN、VXLAN）在同一物理网络上创建多个逻辑网络，实...more

jinhaibo · 昆仑银行 ：在AI数据中心的建设中，根据应用场景所需要的资源不同，会使得技术架构存在多样性，例如容器化、超算架构和虚拟化这些技术相互支持、相互融合。为了高效处理AI任务，AI数据中心需要配备高性能的硬件设备和优化的软件框架。而容器化技术提供了一种轻量级的应用程序部署和运行方法...more

dean25 · 民生银行 ：企业要通过容器技术落地大数据混部，要保证稳定性这块，首先需要确保基础调度组件，如RM，NM的稳定性，同时具备高可用能力和异常情况下快速重启恢复能力。作业提交建议有2此重试机制，如果因为RM/NM偶发异常导致作业失败，可以通过重试恢复。这里说的离线大数据作业都是批量式的，flink...more

强哥之神 · 上汽集团云计算中心 ：1、对于部分要求有状态，那么确保有状态服务的数据可靠性和可扩展性，可以使用分布式存储系统 。（比如ceph,hdfs,glusterfs等)2、设计和部署要实现高可用架构，避免单点故障影响系统稳定性。 （比如：多副本部署、负载均衡等）3、要使用自动化工具和监控系统，确保及时发现和解决问题，保...more

yxb86101 · 潍柴智能科技 ：一个管理平台应该更优:可以方便管理及运维，唯一问题就是如果故障，影响范围广，但这个可以通过主备或者双活等技术解决。网络隔离势必要有多个平台，成本投入增加，运维管理复杂。

朱向东 · 某银行 ：一个虚拟化管理平台纳管多个集群和按照网络区域建多个管理台的利弊是什么？针对这个话题我可以谈谈个人观点。对于虚拟化管理平台来说，如果没有强制隔离的要求，建议采用一个虚拟化管理平台统一管理多个集群，这样便于运维管理和集中纳管。如果有强制隔离要求，则每个网络安全区建...more

努力搬砖 · 兴业银行 ：一个管理平台纳管多个网络区域集群优势：1、前期安装部署相对更便捷。只需要部署一套管理平台。2、降低管理及运维成本。只需要在一套管理平台上就可以对所有集群进行管理和运维操作。3、占用资源相对较少。因为管理平台只有一套，也就只占用一套管理平台所需的资源。劣势：1、...more