数据湖
数据湖
数据湖是一种大型数据存储库和处理引擎。它能够大量存储各种类型的数据,拥有强大的信息处理能力和处理几乎无限的并发任务或工作的能力。
数据湖是一种大型数据存储库和处理引擎。它能够大量存储各种类型的数据,拥有强大的信息处理能力和处理几乎无限的并发任务或工作的能力。

文章

数据治理·2023-07-19
郑金辉 · 某公司 擅长领域:云计算, 系统运维, 大数据
59 会员关注
湖仓一体化是数据架构设计的新概念,通过数据湖和数据仓库的打通和融合,实现数据流动和价值最大化。智慧湖仓架构实现了湖里和仓里的数据/元数据无缝打通,并且“自由”流动,为企业提供了海量业务数据的汇集和保存,以及各种数据服务的调用,用于BI、可视化分析、搜索、建模、特征...(more)
浏览1775
大数据·2021-08-26
云存储小天使 · 腾讯云 擅长领域:存储, 云计算, 分布式系统
1 会员关注
GooseFS是腾讯云对象存储团队最新推出的高性能、高可用以及可弹性伸缩的分布式缓存系统,依靠对象存储(CloudObjectStorage,COS)作为数据湖存储底座的成本优势,为数据湖生态中的计算应用提供统一的数据湖入口,可加速基于腾讯云对象存储的各类海量数据分析以及机器学习等任务。本...(more)
浏览1294
大数据·2021-08-10
云存储小天使 · 腾讯云 擅长领域:存储, 云计算, 分布式系统
1 会员关注
前言GooseFS是由腾讯云推出的一款分布式缓存方案,主要针对包括需要缓存加速的数据湖业务场景,提供基于对象存储COS服务的近计算端数据加速层。GooseFS基于开源大数据缓存方案Alluxio进行设计和研发。相较于开源方案,GooseFS提供了更多关键特性,稳定性和性能优化;同时深度融合...(more)
浏览942
腾讯云·2021-07-16
云存储小天使 · 腾讯云 擅长领域:存储, 云计算, 分布式系统
1 会员关注
数据湖加速器GooseFS是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。依靠对象存储(CloudObjectStorage,COS)作为数据湖存储底座的成本优势,为数据湖生态中的计算应用提供统一的数据湖入口,加速海量数据分析、机器学习、人工智能等业务访问存储的性能。GooseFS采用了...(more)
浏览988
数据湖·2020-05-26
xclu_csdc · csdc 擅长领域:大数据, 数据湖, 存储
1 会员关注
前言:不久前召开的中央政治局常委会会议强调,“加快5G网络、数据中心等新型基础设施建设进度”。这一要求,为“新基建”按下快进键。战疫期间,助力线上交易、远程办公、在线教育,云服务无处不在;从流动人员健康监测,到疫情态势研判,大数据应用身手不凡;广泛应用机器人配送、无接触...(more)
专栏: 活动总结
浏览9762
数据湖·2020-04-16
zftang · 小白一枚 擅长领域:数据库, 云计算, 服务器
65 会员关注
大数据刚兴起的时候,数据主要用途是BI、报表、可视化。因此数据需要是结构化的,并且需要ETL对数据进行预处理。这个阶段数据仓库更适合完成这样的需求,所以企业大部分需要分析的数据都集中到数据仓库中。而机器学习的兴起对数据的需求更加灵活,如果从数据仓库中提数会有一些...(more)
浏览1305
数据湖·2020-04-16
zftang · 小白一枚 擅长领域:数据库, 云计算, 服务器
65 会员关注
打孔卡被发明出来后,磁带被发明出来,然后是磁盘存储和数据库管理系统,紧跟着是第四代编程语言、元数据、软盘和移动计算。技术进步的如此之快,以至于我们甚至来不及记清楚它们的名字。很快个人电脑和电子表格就像西装和领带一样随处可见。在告诉发展的几十年里,公司经历了从没...(more)
浏览717
数据湖·2020-04-16
zftang · 小白一枚 擅长领域:数据库, 云计算, 服务器
65 会员关注
转载链接:https://www.jianshu.com/p/dc510ec49f53维基上对它的解释:数据湖(DataLake)是一个以原始格式存储数据的存储库或系统。它按原样存储数据,而无需事先对数据进行结构化处理。一个数据湖可以存储结构化数据(如关系型数据库中的表),半结构化数据(如CSV、日志、XML、JSON),非结...(more)
浏览1265
大数据·2018-05-08
cys866 · 上海优铭云计算有限公司 擅长领域:大数据, 分布式系统, 服务器
7 会员关注
数据湖项目的可行性a)数据湖技术大数据的出现,以及大数据处理平台Hadoop架构的出现,催生了数据湖的产生。最初数据湖的概念是2011年首先出现的,可以说,就像数据仓库是处理结构化数据的过程一样,数据湖是Hadoop用于处理大数据,包含结构化数据,非结构化数据的过程。虽然使用的技术...(more)
专栏: 最佳实践
浏览7080
评论1

    描述

    数据湖是一种大型数据存储库和处理引擎。它能够大量存储各种类型的数据,拥有强大的信息处理能力和处理几乎无限的并发任务或工作的能力。
    数据湖是一种大型数据存储库和处理引擎。它能够大量存储各种类型的数据,拥有强大的信息处理能力和处理几乎无限的并发任务或工作的能力。
    X社区推广
  • 提问题