博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
为数据计算提供强力引擎,阿里云文件存储HDFS v1.0公测发布
阅读量:6496 次
发布时间:2019-06-24

本文共 987 字,大约阅读时间需要 3 分钟。

hot3.png

在2019年3月的北京云栖峰会上,阿里云正式推出全球首个云原生HDFS存储服务—文件存储HDFS,为数据分析业务在云上提供可线性扩展的吞吐能力和免运维的快速弹性伸缩能力,降低用户TCO。阿里云文件存储HDFS的发布真正解决了HDFS文件系统不适应云上场景的缺陷问题,用户无须花费精力维护和优化底层存储。

云时代,通过借助虚拟化技术,大数据分析的计算框架在云上逐渐实现了快速部署和弹性伸缩。但是作为数据底座的HDFS文件系统,它在设计之初并没有考虑到上云场景。其数据的扩缩容、故障硬件排除都依赖大量手工运维,因此其服务质量难以保证。在随着其他计算引擎一起弹性部署时,HDFS会成为整个计算框架的短板,限制了业务的整体弹性伸缩能力,增加了规划和运维难度。

1240

为响应用户在云上使用HDFS的诉求,文件存储HDFS应运而生。产品设计方面,得益于文件存储HDFS兼容标准Hadoop文件接口,基于HDFS进行开发的分析服务无须进行改造即可直接连接文件存储HDFS进行数据分析,可作为serverless计算架构的后端数据引擎。用户无须花费精力维护和优化底层存储,聚焦在计算和业务本身。

用户场景方面,文件存储HDFS的多租户和权限控制能力可以有效支撑企业内部多业务数据管理的场景。用户可以将生产集群的数据直接写入文件存储HDFS,也可以将存储在自建HDFS、阿里云OSS、文件存储NAS中的数据导入到文件存储HDFS,再利用Spark/Mapreduce/Flink/Hive/Tensoflow等不同的分析框架对文件存储HDFS上的数据进行处理,处理结果可以按需输出到不同的系统中。广泛用于实时统计与分析、离线用户画像、实时分析、机器学习等业务场景中。

1240

技术能力方面,作为聚焦大数据分析场景的云存储产品,文件存储HDFS针对计算中最关注的吞吐性能进行了软硬一体的优化,提供远超自建HDFS的吞吐能力。在模拟离线分析场景的Terasort测试中,在使用同等数量的CPU和内存的情况下,用文件存储HDFS替代HDFS可以使整体的分析性能提升一倍。

1240

了解更多关于文件存储HDFS的产品信息和申请公测资格,欢迎访问

 


本文作者:luoming0439

本文为云栖社区原创内容,未经允许不得转载。

转载于:https://my.oschina.net/u/3827390/blog/3031415

你可能感兴趣的文章
递归和迭代的差别
查看>>
基于jquery的可拖动div
查看>>
可以简易设置文字内边距的EdgeInsetsLabel
查看>>
[詹兴致矩阵论习题参考解答]习题1.3
查看>>
Android Fragment的使用
查看>>
mysql半同步复制实现
查看>>
沙朗javascript总结一下(一)---基础知识
查看>>
js深入研究之函数内的函数
查看>>
LeetCode:4_Median of Two Sorted Arrays | 求两个排序数组的中位数 | Hard
查看>>
uva-12657 - Boxes in a Line(双向链表)
查看>>
python之commands模块
查看>>
android应用开发--------------看RadioGroup源代码,写相似单选选项卡的集成控件(如底部导航,tab等等)...
查看>>
LeetCode - Binary Tree Level Order Traversal
查看>>
FTP协议完全详解
查看>>
iOS:实现图片的无限轮播
查看>>
【C语言天天练(十五)】字符串输入函数fgets、gets和scanf
查看>>
【环境配置】配置sdk
查看>>
accept()
查看>>
USB 2.0 Hub IP Core
查看>>
USB 2.0 OTG IP Core
查看>>