云上大数据:硬件革新提升云端分析能力及智能化

  无可否认,大数据正在成为改变人们生活的重要因素,而大数据和云计算的整合也在如火如荼地进行中。以云计算为基础的信息存储、分享和挖掘手段为知识生产提供了工具,通过对大数据分析、预测会使得决策更为精准,而对于许多提供云服务的企业来说,随着硬件能力的快速发展,为企业用户提供大数据及智能学习型服务,以此为基础的解决方案,正在为行业产业升级和效率提高提供着帮助。

  作为国内公有云排名前三的厂商,金山云在人工智能领域有着很好的用户基础和技术应用。而在金山云的人工智能KDL底层技术中,基于了金山云高性能的异构计算集群,融合了英特尔等顶级合作伙伴的领先性软硬件技术,为企业用户带来了非常高的使用价值。英特尔与金山云合作的项目则针对托管Hadoop(Kingsoft MapReduce,简称KMR)解决方案进行。

  金山云大数据和AI技术总监 张东进

  根据金山云大数据和AI技术总监张东进介绍,本次合作不仅能够帮助客户解决数据应用和分析方面的迫切需求,同时基于双方在机器学习、深度学习领域的合作,标志着金山云在人工智能领域迈出重要一步。

  金山云是国内最大的OpenStack厂商之一。其云存储已经达到400PB以上,每天的增量在500TB左右,积累了游戏、互联网、医疗等众多行业的用户和数据。张东进谈到,金山云的基础设施很多是构建在英特尔的硬件设施之上,在效率方面将TensorFlow、BigDL等框架都集成进来,在底层库方面基于英特尔等各个合作伙伴的库来做深度优化。因为KML是全流程的平台,因此从整个物料的预处理、物料的存储、训练、评估、上线预测等方面都提供了完整的支持。英特尔领先的产品、技术以及理念,不仅对金山云有很大的帮助,也促进了整个行业的发展。而对金山云来说,人工智能将成为新的市场与技术热点领域,其中蕴含着巨大机会和众多的可能性。随着硬件技术的革新,金山云在云端分析及智能化方面有了更加强大的能力。

  另外,金山云提供的企业级数据加密和HPC集群,为客户提供了最安全、最稳定的环境,其分钟级自动恢复能力也是首屈一指。在底层异构计算集群方面,英特尔提供了高性能的E5系列CPU、SSD技术辅助,来保障了高性能HPC计算集群为客户提供服务价值。

  金山云大数据产品经理 杨亮

  金山云大数据产品经理杨亮补充了相关的产品介绍。他介绍了KMR平台的三项核心价值:分钟级集群户数和扩容、丰富的大数据生态组件和与KS3无缝对接,大幅度节省存储成本。KMR采用了基于英特尔至强处理器E5 v4产品家族的硬件平台,以Apache Hadoop和Apache Spark两大数据计算系统为基础,集成了常用的大数据分析组件,通过自动调度弹性计算服务(KEC),英特尔与金山云在一些开源项目或开源软件上做进一步优化,比如英特尔BigDL模块,可以帮助金山云去优化Spark机器学习的性能,能够帮助企业用户快速构建分布式数据分析系统。KMR还可与金山云的多种云服务产品结合,从而建立端到端的数据分析处理解决方案,进而让用户以更低廉的成本,不但能够获得更可靠的数据,更能灵活方便地对这些数据进行收集和管理。

 据介绍,当当网与金山云在展开技术合作之后,通过使用专线实现了历史数据打通、搭建Storm和Kafka软件保障业务、提供数据库服务、使用英特尔的固态盘进行加速等多种方式,最终实现了当当网在高压力下IT系统的稳定运行,大幅度减少运维成本,优化业务的灵活性,随时调整资源配置。目前,除了当当网之外,KMR已为分布在电商、游戏等行业的10多家客户采用。另外,金山云也在和北京市政府合作建立医疗领域重点实验室,针对医疗大数据、医疗信息化和人工智能三方面开展合作。通过金山医生、云上医院和云化医院及区域医疗平台等产品提供医疗智能化服务。

  以往,企业建设大数据平台需要采购诸多设备、对技术人员的能力要求也非常高,快速推进应用也面临着诸多风险。当平台计算能力有限之时,计算能力需要扩容,采购硬件时间往往需要花费两周以上时间。正是硬件水平的快速支持与提升,使得云计算技术能够在几分钟之内快速完成上述工作。而随着CPU及存储产品的快速发展,将计算能力和读写能力几十上百倍的提升,云端的大数据分析及智能化被快速展开。存储与计算分开成两个独立集群,正是基于硬件能力的强大,通过互联网的连接,保证了多租户、灵活性、安全性,存储网络和计算网络的分开。硬件的快速提升使得如金山云这类云端的大数据服务快速实现,Big Data As a Service成为了一种可实现价值的可能。

第 1 /  10 页
点击查看余下全文