大数据大数据（Big Data），是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
最新
大数据·2天前
本文来自腾讯蓝鲸智云社区用户：CanWayITIL（InformationTechnologyInfrastructureLibrary）是全球最广泛使用的IT服务管理方法，旨在帮助组织充分利用其技术基础设施和云服务来实现增长和转型。优化IT运维，作为企业运营的关键环节，对于提升效率、增强IT与业务目标的一致性至关重要...(more)
浏览112
大语言模型·5天前
议题说明数据对机器学习模型训练起着至关重要的基础作用，使用高质量数据集用于训练或微调模型，能够大大提升模型的效果和性能。在垂直领域训练过程中，有很多种任务，如何收集和标注多种情况的数据，对提升模型的综合能力应对有重要意义。长尾数据指的是数据集中一些类别样本数据...(more)
浏览3805
大数据平台进行容器化的主要驱动力是提高资源的弹性和利用率，简化运维流程，以及增强平台的可移植性和标准化。为了评估是否有必要做容器化，企业应该从以下几个角度进行考量：成本效益分析：计算容器化转型的直接和间接成本（包括技术培训、设备投资、软件许可等），与其带来的效益（如提...
AI方面，我觉得现在在智能化运维方面是有很多应用场景的。比如：结合监控、日志、告警及资源等 ，做一些资源智能调度，预测应用资源使用情况，实现自动化运维、自动恢复等。另外，也可以使用AI技术对大数据容器平台的安全日志进行分析，检测异常行为和潜在威胁。现在很多场景都有大模...
加强容器镜像安全（比如：确保使用来自信任来源的基础容器镜像，审查基础镜像的内容和配置，避免使用未经验证或存在安全漏洞的镜像。 ）、容器运行时安全（比如：使用容器运行时的安全特性 cgroup，及最小化容器权限）、网络安全（networkpolicy，结合容器网络实现网络隔离）、资源访问控制（rbac，n...
云计算·2024-05-14
主要用于配置主机属性的自动应用。当主机发生模块转移或模块新加入主机时，会根据目标模块配置的策略自动触发修改主机属性，比如主机负责人、主机状态。主机属性自动应用顾名思义是应用到主机上，而主机是必须在模块下的，所以有两种方式配置自动应用。一、按业务拓扑（模块）配置实...(more)
浏览390
离线在线混合部署后，主要是错峰运行。夜间(22:00-8:00)之间是在线的低谷期，可以出让较多的CPU计算资源给大数据，比如40%-45%。白天(8:00-18:00) 是在线应用的高峰期，可以出让比如15%-20%的资源给大数据作业；晚上(18:00-22:00)在线业务负载相比白天下降，可以出让30%的资源给大...
NameNode 的动态扩缩容一般的方式如下：1、水平扩展：对于 NameNode，可以采用主备模式部署，利用 ZooKeeper 等工具实现自动故障转移。当主 NameNode 负载过高或发生故障时，自动切换到备用 NameNode。2、优先级负载均衡：在主备模式下，可以使用负载均衡器，将请求优先发送到主 NameNod...
大数据·2024-05-07
个人认为这个要分几个方面看，容器化并不是在等量资源条件下可以提升性能。它实现的是降本增效，实现快速部署和易于扩展。将虚拟机底层化。在更少的硬件基础下运行更多的程序。容器化后，若瓶颈在于存储，那么就需要提高容器外存储访问的IO或者网络速度，例如可以考虑分布式存储。...
