论坛 产品库 视频 专题 CIO俱乐部 Windows8 实验室 CMO俱乐部 案例

同程网黄旭升:大数据时代同程走过的路

发布时间:2013-09-07 11:41:00 来源:比特网 作者:李伟
关键字:大数据

  2013年9月7日消息,2013南京软博会的分论坛第三届焦点技术大会(以下简称大会)在南京黄埔大酒店举行。据了解,本届大会有三大主题会场,分别为“大数据云计算”、“移动互联网和即时通讯”、“开发实践及架构设计”。全天共24个主题,其中包括了焦点科技、新一站保险网、同程网、365地产家居网、途牛旅游网等知名互联网企业的技术实践经验,与往届焦点技术大会相比,本届大会在大数据和移动应用相关内容上的主题数量大幅增加,大数据和移动应用成为本届大会的主线。在大会上来自同程网黄旭升就《大数据时代,同程走过的路》发表题的演讲,黄旭升从大数据背景以及同程在大数据遇到的问题及解决之道进行了精彩的分享。

同程网黄旭升:大数据时代同程走过的路

同程网黄旭升

  黄旭升指出,大数据呈现数据爆炸式增长、分布式文件系统、并行计算等特点,随着业务的增长,同程面对的挑战是:第一、如何支持网站并发访问;第二、面对海量数据如何进行挖掘;第三、如何让企业人员快速的进行数据分析;第四、如何管理监控应用系统日志。

  针对面对以上挑战又应该如何来做呢?黄旭升详细的对于同程大数据架构了解读。通过HBASE来解决网站高并发访问问题,这是因为通过Zookeeper保证HA;强一致性,读写只在同一台regionserver上进行;水平扩展,只要增加服务器节点就能提升中存储和读写吞量;高性能的随读写;与Hadoop的无缝集成。

同程网黄旭升:大数据时代同程走过的路

  解决海量数据挖掘问题利用R语言+Hadoop来解决,这是因为R语言提供 了丰富的算法包,涉及到 各个领域,我们常用的算法模型基上都能找到,且生命力非常强;R语言在云计算能力有限,很多时候只能抽样计算,但我们可以利用Hadoop分布式计算优势与R结合做全量计算提升计算精度。

  解决日志存储问题利用R语言+Pig+mongoDB,这是因为MongoDB的优势在于海量文本数据的存储和明细数据的获取;使用Pig是弥补MongoDB统计计算的短板;与R语言的结合 是在相关的模型中挖掘出我们想要的知识。


比特微信账号
比特微信账号

微信扫一扫
关注Chinabyte

返回首页 长微博 返回顶部