云上大数据:硬件革新提升云端分析能力及智能化

2017-04-27 13:21:00 作者:徐征 分类 : 比特网

  无可否认,大数据正在成为改变人们生活的重要因素,而大数据云计算的整合也在如火如荼地进行中。以云计算为基础的信息存储、分享和挖掘手段为知识生产提供了工具,通过对大数据分析、预测会使得决策更为精准,而对于许多提供服务的企业来说,随着硬件能力的快速发展,为企业用户提供大数据及智能学习型服务,以此为基础的解决方案,正在为行业产业升级和效率提高提供着帮助。

  作为国内公有云排名前三的厂商,金山云在人工智能领域有着很好的用户基础和技术应用。而在金山云的人工智能KDL底层技术中,基于了金山云高性能的异构计算集群,融合了英特尔等顶级合作伙伴的领先性软硬件技术,为企业用户带来了非常高的使用价值。英特尔与金山云合作的项目则针对托管Hadoop(Kingsoft MapReduce,简称KMR)解决方案进行。

  金山云大数据和AI技术总监 张东进

  根据金山云大数据和AI技术总监张东进介绍,本次合作不仅能够帮助客户解决数据应用和分析方面的迫切需求,同时基于双方在机器学习、深度学习领域的合作,标志着金山云在人工智能领域迈出重要一步。

  金山云是国内最大的OpenStack厂商之一。其云存储已经达到400PB以上,每天的增量在500TB左右,积累了游互联网、医疗等众多行业的用户和数据。张东进谈到,金山云的基础设施很多是构建在英特尔的硬件设施之上,在效率方面将TensorFlow、BigDL等框架都集成进来,在底层库方面基于英特尔等各个合作伙伴的库来做深度优化。因为KML是全流程的平台,因此从整个物料的预处理、物料的存储、训练、评估、上线预测等方面都提供了完整的支持。英特尔领先的产品、技术以及理念,不仅对金山云有很大的帮助,也促进了整个行业的发展。而对金山云来说,人工智能将成为新的市场与技术热点领域,其中蕴含着巨大机会和众多的可能性。随着硬件技术的革新,金山云在云端分析及智能化方面有了更加强大的能力。

  另外,金山云提供的企业级数据加密和HPC集群,为客户提供了最安全、最稳定的环境,其分钟级自动恢复能力也是首屈一指。在底层异构计算集群方面,英特尔提供了高性能的E5系列CPU、SSD技术辅助,来保障了高性能HPC计算集群为客户提供服务价值。

  金山云大数据产品经理 杨亮

  金山云大数据产品经理杨亮补充了相关的产品介绍。他介绍了KMR平台的三项核心价值:分钟级集群户数和扩容、丰富的大数据生态组件和与KS3无缝对接,大幅度节省存储成本。KMR采用了基于英特尔至强处理器E5 v4产品家族的硬件平台,以Apache Hadoop和Apache Spark两大数据计算系统为基础,集成了常用的大数据分析组件,通过自动调度弹性计算服务(KEC),英特尔与金山云在一些开源项目或开源软件上做进一步优化,比如英特尔BigDL模块,可以帮助金山云去优化Spark机器学习的性能,能够帮助企业用户快速构建分布式数据分析系统。KMR还可与金山云的多种云服务产品结合,从而建立端到端的数据分析处理解决方案,进而让用户以更低廉的成本,不但能够获得更可靠的数据,更能灵活方便地对这些数据进行收集和管理。

 据介绍,当当网与金山云在展开技术合作之后,通过使用专线实现了历史数据打通、搭建Storm和Kafka软件保障业务、提供数据库服务、使用英特尔的固态盘进行加速等多种方式,最终实现了当当网在高压力下IT系统的稳定运行,大幅度减少运维成本,优化业务的灵活性,随时调整资源配置。目前,除了当当网之外,KMR已为分布在电商、游戏等行业的10多家客户采用。另外,金山云也在和北京市政府合作建立医疗领域重点实验室,针对医疗大数据、医疗信息化和人工智能三方面开展合作。通过金山医生、云上医院和云化医院及区域医疗平台等产品提供医疗智能化服务。

  以往,企业建设大数据平台需要采购诸多设备、对技术人员的能力要求也非常高,快速推进应用也面临着诸多风险。当平台计算能力有限之时,计算能力需要扩容,采购硬件时间往往需要花费两周以上时间。正是硬件水平的快速支持与提升,使得云计算技术能够在几分钟之内快速完成上述工作。而随着CPU及存储产品的快速发展,将计算能力和读写能力几十上百倍的提升,云端的大数据分析及智能化被快速展开。存储与计算分开成两个独立集群,正是基于硬件能力的强大,通过互联网的连接,保证了多租户、灵活性、安全性,存储网络和计算网络的分开。硬件的快速提升使得如金山云这类云端的大数据服务快速实现,Big Data As a Service成为了一种可实现价值的可能。

* 本文为ChinaByte比特网原创内容,版权所有,转载请注明出处和原文链接,未经授权请勿用于商业用途。

最近更新
科普

科普图集
互联网+升级到智能+,开启万物智联新时代

互联网+升级到智能+,开启万物智联新时代>>详情

中国互联网消费市场,发展潜力一片大好

中国互联网消费市场,发展潜力一片大好>>详情

邮件订阅

软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯,最新的软件技巧,最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中,与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊!
网络周刊
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧,帮助网管答疑解惑,成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一,主要关注x86服务器,RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析,让您第一时间了解服务器行业的趋势。
存储周刊
比特存储周刊长期以来,为读者提供企业存储领域高质量的原创内容,及时、全面的资讯、技术、方案以及案例文章,力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
安全周刊
比特安全周刊通过专业的信息安全内容建设,为企业级用户打造最具商业价值的信息沟通平台,并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比,比特安全周刊运作模式更加独立,对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事,为企业级用户打造重点突出,可读性强,商业价值高的信息共享平台;同时为互联网、IT业界及通信厂商提供一条精准快捷,渗透力强,覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展,全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托,汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台,并持续提供丰富的资讯和服务,探讨信息化建设,推动中国信息化发展引领CIO未来职业发展。
IT专家网
IT专家新闻邮件长期以来,以定向、分众、整合的商业模式,为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容,包括IT新闻、评论、专家答疑、技巧和白皮书。此外,IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊
X周刊是一份IT人的技术娱乐周刊,给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍,同时用户还能参与我们推荐的互动游戏,给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。