成立于2012年的北京金山云网络技术有限公司*（以下简称“金山云”），是国内领先的云计算服务提供商，以业内领先的用户体验和服务端技术，为用户提供国内领军级云服务产品。目前，金山云拥有云服务器、海量云存储、负载均衡、云关系型数据库等多项核心业务，帮助客户实现动态配置资源，应对业务的剧烈变化，提升业务的稳定性。现在，金山云每天新增数据量达500T，总存储规模超过400PB，海量分布式存储技术已达世界领先水平。未来，金山云将持续加大投入，力争成为全球领先的云计算服务商。
面临挑战
• 平台部署复杂度对效率产生影响：大数据时代的到来，令企业用户认识到利用大数据帮助企业进行经营决策的重要性，各企业纷纷着手部署自己的大数据分析平台。但平台部署的复杂度及维护难度却成为企业用户大数据发展的路障。
• 分析处理性能的要求提高：大数据处理分析的结果将对用户的决策产生直接影响，因此，数据处理过程需要更加实时、稳定和准确，这些都对进行大数据分析处理的动力源平台提出了更高的性能要求。
• 降低企业的TCO压力：企业的业务变动会带来大数据处理资源需求的频繁变动，无论对于自建系统还是云平台都会造成成本压力，同时也带来资源浪费。
解决方案
• 可以快速部署、弹性扩展的金山云KMR产品：针对用户需求，KMR提供多种节点配置，可弹性增加或减少节点，应对用户多变的业务需求；同时，分钟级集群部署和扩容能力，可以帮助用户快速部署。
• 成熟生态圈为平台提供延展性，降低运营成本：围绕KMR，金山云还提供云存储、云主机、关系型数据库等一系列服务，为用户提供延伸服务。同时，KMR通过与其他产品整合，也使用户的运营成本更低，数据可靠性更高。
• 英特尔®架构产品支持高性能云数据分析平台：通过引入英特尔®至强®处理器E5家族、英特尔®固态盘以及英特尔®万兆位以太网服务器适配器等产品，KMR产品在处理能力、稳定性等多个性能指标上都拥有卓越表现。
由英特尔®至强®处理器E5产品家族、英特尔®固态盘以及英特尔®万兆位以太网服务器适配器支持的金山云KMR解决方案，以其高性能、易部署、扩展性强和生态链完整的特性来协助企业进行大数据分析工作，为企业的经营和发展策略添砖加瓦。
影响
• KMR的优异表现体现了英特尔技术对云平台产品的良好支持：通过用户实践和综合测评，KMR的优异表现都证明，英特尔的产品和技术可以让数据中心/云计算平台在高性能、可扩展性等方面如虎添翼。
• 金山云良好的云生态建设思路为云平台的发展提供实践：金山云提供的多种云服务产品打造了成熟的云生态环境。KMR与这些服务进行组合，形成端到端的数据分析处理解决方案。这种一揽子方案的模式不仅获得了用户的好评，也为未来云平台的发展提供了良好实践。
大数据的价值逐渐凸显，大数据的分析处理成为用户关注的焦点。通过大数据处理与分析，用户可以获取有益信息，辅助经营决策。大数据处理分析工作对平台的计算、存储、网络性能有着很高的要求。现在，利用Apache Hadoop*、Apache Spark *以及先进的云平台技术来执行大数据处理与分析已成为业界的重要选择。Apache Hadoop*是一个处理、存储和分析海量分布式、非结构化数据的开源框架。它可以使用简单的编程模型，跨计算集群对大数据进行分布式处理。Hadoop的重要模块MapReduce*善于从海量数据中对用户所关心的内容进行提取和分析。Apache Spark*是另一种为大规模数据处理而设计的通用计算框架，通过使用内存计算来提升性能。
利用云平台进行大数据处理时，用户面临的重要挑战是如何对平台进行部署、管理与扩展，包括安装和操作管理能力、动态分配多任务负载下数据处理的能力以及多数据整体分析的能力。针对这一挑战，金山云推出托管Hadoop Kingsoft Map Reduce，以下简称KMR，这是一种基于 Hadoop*、Spark* 等计算框架的集群托管服务，可以方便用户快速构建数据分析集群、处理海量数据。同时也可配合金山云KS3、KTS、RDS等产品为用户提供端到端的大数据解决方案。
完全托管，集群分钟级快速部署
过去，企业通过自建平台来进行计算、存储、数据处理等工作，这种方式会消耗大量资源在软、硬件维护上。例如，部署一个典型的Hadoop平台，通常需要经历业务评估、设备选型采购、硬件上架调试、操作系统和平台软件安装调试等一系列复杂工作，花费1-3个月的时间。同时，企业在专业维护人员上的缺失也使自建平台在安全性、系统稳定性等方面的表现不尽如人意。因此，很多企业都逐渐将目光转移到云平台上。
尽管如此，向云平台的转移却并不能完全消除用户在部署上遇到的问题，面对不同的业务需求，用户仍需要耗费一定的资源去执行部署和维护的工作。KMR的重要优势，就是能最大程度地帮助用户降低部署的复杂度和运维的工作量。通过采用弹性计算服务（Kingsoft Elastic Compute,KEC）构建集群，通常情况下只需几分钟即可自动完成部署工作，用户只需关心数据处理任务本身，而不需要关注硬件和底层系统的运维工作。
以KMR在游戏厂商的实际部署为例，由于游戏行业具有极强的短期爆发能力，一款S级游戏短期内就需要开放数百组游戏服务器，这些服务器每天会产生几十甚至上百GB的日志需要集中存储并满足不定时查询。最初，日志采用分区灌入My SQL数据库并执行定期查询，然后汇总结果计算相关的KPI指标。但运行一段时间后发现，数据存储成本高，系统可用性得不到保障，需要手动维护不同数据集之间的关系，查询效率低下且灵活性受限。
在部署KMR之后，所有的日志数据都通过KMR统一存储、统一处理，快速建立集群环境，并可根据游戏用户规模在数分钟内进行扩容/缩容。同时，利用金山云完善的云生态环境，数据可存储在对象存储KS3中，使用KMR直接查询，除了节省了大量人力，提高了效率，并大幅降低了存储成本。据测算，存储成本可节省75%以上。
图一 部署KMR以应对游戏日志处理
性能优化，大数据分析即时响应
大数据分析处理的核心目的是为行为决策提供参考，因此时效性是评价其分析平台能力好坏的重要指标。在一些特殊场景中数据的处理分析速度带来的影响更不容小觑。
例如在医疗行业，数据分析已迅速成为分析健康危险因素和改善病人护理的核心。各类病患的数据，包括临床、病史、用药史以及DNA，需要依托于云计算才能够被更快速、更高效和更准确地进行分析，帮助医生对病患的病情进行诊断，以对症下药从而达到最佳的治疗效果。同时，可以帮助医院及医生积累病例数据，进行科研分析提炼，并帮助新药的开发。利用大数据分析，还能够帮助医疗卫生机构对可能的疫情进行预测和监控，进行全民健康管理；KMR领先的大数据分析能力，可以良好应对医院全面、复杂、多变的业务和科研场景，为临床决策提供有力支持，提升医院的运营效率、提升医疗卫生系统对健康、疾控等方面的管理能力。
在某医院的部署实践中，医院的总数据量已经达到280TB，临床数据中CDR（Clinical Document Repository），的数据库记录了10亿条患者诊疗信息。通过KMR的部署，用户可以以毫秒级的速度对信息进行查询，并在极短的时间内获得分析结果。KMR强劲的性能表现得到了英特尔.至强.处理器E5系列、英特尔.SSD以及英特尔.万兆位以太网服务器适配器的支持。英特尔.至强.处理器 E5-2600 v4基于14 纳米处理技术构建，提供每插槽高达22个内核/44 条线程和每插槽高达 55 MB 最新级别高速缓存(LLC)，以提高性能；同时，提供英特尔. 事务性同步扩展（英特尔. TSX）来提升并行工作负载性能。
同时，英特尔固态盘以及英特尔万兆位以太网服务器适配器的引入，也令KMR性能表现卓越。适用PCIe* 的英特尔数据中心固态盘可以直接为英特尔至强处理器提供极致的数据吞吐量，在KMR中采用的高性能英特尔®以太网聚合网络适配器X520-SR2，针对苛刻的数据中心/云环境提供了高度的灵活性以及可扩展性。
在硬件产品以外，英特尔在各类大数据分析软件库上的贡献也为金山云的性能加速提供了动力。例如英特尔高性能数据分析加速库（Intel® Data Analy ticsAcceleration Library，以下简称Intel®DA AL)，包含了基于英特尔平台优化的常用机器学习算法库（如K-Means，LR，PC A等）。在英特尔工程师的协助下，金山云完成了Intel® DAAL库的评测。DAALK-Means算法对应传统的Spark ML-Lib算法有近4.6倍性能提升。
通过一项对2亿4千万条模拟样本数据的测试表明，金山云在数据处理分析性能上优于竞品：
图二 金山云KMR模拟样本数据对比测试
经验
• 用户选择云服务来执行大数据处理分析工作的最大初衷是获得灵活、高效、易部署、易扩展的特性以及TCO的降低，因此弹性可伸缩的云服务最受用户青睐。
• 大数据分析并不仅仅只是对数据进行处理和分析那么简单，相关的存储、传输等功能同样重要。完整的生态链有助于基于云的大数据分析平台更长远和健康的发展。
• 实践证明，英特尔.至强.处理器E5产品家族、英特尔.固态盘以及英特尔.万兆位以太网服务器适配器有助于KMR性能提升，获得更好用户体验，同时，英特尔不断引领着各项大数据开源技术正为大数据处理分析技术的发展提高源源不断的动力。
生态丰富，弹性服务有效降低TCO。
用户数据从产生到最终体现价值，包含收集、存储、分析处理和消费等多个环节，每个环节又有多种多样的需求。除了KMR以外，大数据的处理与分析还需要多种云服务能力的配合。基于金山云丰富的生态环境和良好的开放性，KMR不仅提供了丰富的开源生态组件，还可以和其他云服务产品以及第三方的解决方案无缝集成，共同构建端到端的大数据生态。
以存储为例，KMR提供了金山云KS3 （标准存储服务）访问接口。在进行数据处理时，通过内部高速网络直接访问KS3的同时，也可将原始数据将统一汇总到这里。KMR集群中运行的 Map Reduce、Spark等作业就可以直接调用KS3中存储的数据进行计算，并把结果写回到KS3。KS3提供了较低的使用成本和极高的数据可靠性，保证了在集群释放时仍然可以持久地存储原始数据和计算结果。
图三 KMR支持丰富的开源生态组件
同时，KMR对大量开源生态组件都具有较好支持，除集成了最基础的Hadoop组件外，还集成了Spark, Hbase，Storm, Kafka等生态组件，以及Ambari, Ganglia等集群监控管理工具，可以帮助用户轻松构建复杂的大数据分析系统，满足批量计算、流式处理、消息队列、交互式查询、NoSQL等多种业务场景的需求。
KMR集群的灵活配置也有助于用户合理调整工作集群数量。通常，KMR集群由主节点（Master Node）和若干核心节点（Core Node）及任务节点（Task Node）组成。KMR提供了多种节点配置，用户可在需要时动态增加或者减少节点数量。这种强大的扩展能力和弹性伸缩能力，消除了Hadoop安装部署成本和管理复杂性，让用户可以更加专注数据分析处理本身
新兴的电商网站往往拥有几十个大类、数百万种商品，每天的增量数据高达数TB，遇到各种促销期间，IT资源的需求更会陡增。这种潮汐型的需求，如果采用自建系统的方式，将耗费大量资源在备用机上，造成大量资源浪费。
采用KMR之后，电商网站通过直连专线的方式连接金山云数据中心，由KMR服务快速创建Storm和Kafka集群，搭建实时数据处理系统，数据处理结果写入MongoDB服务；由KS3服务应对海量存储需求，获得高性价比，高可靠性存储服务。通过与金山云完整生态系统的融合，电商网站促销期间IT系统的压力得到了有效的缓解，系统维护工作和资源拥有成本（TCO）大幅减少，资源也可以根据业务需求进行灵活的调整和配置。
展望未来，新技术助推更优服务
随着虚拟化技术、超融合解决方案、软件定义数据中心等云平台相关技术的不断发展，金山云将继续优化KMR产品，为用户提供优质的云服务方案。作为大数据分析领域领跑者的英特尔，也将继续助理金山云完善KMR产品，为用户提供更优质服务。
现在，英特尔开源了基于Apache Spark *的分布式深度学习库BigDL*，可以直接运行在金山云一类的Hadoop/Spark集群上，并允许用户编写标准的Spark程序来进行深度学习的训练与预测。实践表明，BigDL的特性表现在：
• 深度学习能力：与Torch一样，BigDL全面支持Tensor数值计算和高层次神经网络深度学习；同时，用户还可以使用BigDL加载预先经过培训的Caffe或Torch模型到Spark程序中。
• 高性能：BigDL在每个Spark 任务内使用英特尔® MKL和多线程的编程。因此它比开源Caffe、Torch或单节点英特尔至强处理器上的TensorFlow性能都有数量级的提升。
• 高效扩展：通过实施Spark上的同步 SGD和all-reduce通信，BigDL可有效进行横向扩展，以匹配“大数据规模”的能力执行数据分析。
图四 基于Apache Spark *的BigDL*架构
未来，通过提供类似于BigDL的先进技术，英特尔可以帮助金山云的用户在KMR及相关平台上获得数据存储、预处理、分析和深度学习等一站式服务，获得更强劲的大数据分析和处理能力。
文章摘自英特尔精英汇
欢迎联系CA88集团咨询英特尔相关产品信息
CA88集团联系方式
咨询热线：400-830-0107
CA88官网：www.clw500.com
客户垂询邮箱：Customer@clw500.com
客户垂询QQ：1305742380
地址：深圳市福田区深南大道1006号国际创新中心C座11楼
邮编：518026
当前位置：
粤公网安备 44030402001885号
友情链接： 金沙古酒 | 中青宝 | 宝德控股 | 宝德计算 |