七牛云联合Gartner发布《深度学习平台完全实践指南》白皮书

原标题：七牛云联合Gartner发布《深度学习平台完全实践指南》白皮书

上海2018年12月14日电 /美通社/ -- 近年来，深度学习作为AI领域最受欢迎的技能之一，在图像语音识别等众多领域都有着重大的技术飞跃，越来越多的公司在大力开发基于深度学习的能力深度学习始于研究人脑神经元，其涉及如概率论统计学等多个学科，目的是使机器有能力自主“学习”，辅助人们检测决策，便利人们的生活，随着深度学习的不断发展，也在不断拓展整个AI的应用深度学习技术在当前行业智能化转型的过程中能够发挥的作用已经不言而喻，因此，选择一款真正便于应用的高度集成化深度学习平台就成了决策者们需要考虑的问题

近日，七牛云联合Gartner最新发布了一份《深度学习平台完全实践指南》（A Complete Practical Guide of Deep Learning Platform）白皮书，该白皮书从多角度阐述了用户如何选择最能满足业务需求场景的深度学习平台，并展示深度学习技术在今后行业应用中体现的巨大价值，本文则是结合Gartner白皮书进行了编译解读

深度学习平台解读：十项综合评价标准需参考

为了更好地满足业务场景并持续提高研发能力，国内外技术实力雄厚的公司都纷纷发力自研深度学习平台如 Google Cloud PlatformAWS Machine Learning腾讯DI-X阿里云PAI七牛云AVA等各大深度学习平台都拥有着自身独到的优势，然而对于想要将深度学习技术与业务场景充分结合的使用者来说，有些标准是在搭建选择平台时需必须遵循的

在本篇报告中，则详细介绍了选择深度学习平台需要参考的十项综合评价标准，主要包括：

1支持数据预处理；

2性能指标可视化；

3支持全部主流框架，如MXNETTENSORFLOWPYTORCHCAFFE等；

4训练参数交换延迟低；

5具有强可扩展性；

6用户友好度高；

7私有化部署时间短；

8存储与计算分离；

9调参及迭代优化；

为了适应用户不停变化的需求，深度学习平台则需要不断自我演进，并适配不同的框架算法，这使得搭建使用深度学习平台的过程遇到诸多挑战，但在当下大规模的深度训练平台倾向于数据存储计算独立扩展，并通过训练过程的优化，满足各种各样的挑战

在本篇报告中，则明确指出了应对方案，如：基于云存储搭建深度训练平台，存储系统具有良好的扩展性；提供高效便捷的数据集管理，支持格式自动转换；定制化计算策略，提升GPU使用效率；优化流程，提升训练效率；高性能深度学习平台等应对方案

综上所述，深度训练的过程中难免会遇到各种挑战，但如果能利用好高性能的深度学习平台，这些挑战就能被逐一解决

探寻深度学习新路径：AVA深度学习平台四大优势

AVA深度学习平台基于通用服务器标准开源组件搭建，并在其中完成大量优化从以下AVA平台的整体架构图可见，存储计算集群独立建设演进由于存储完全搭建在云端，能够同时对接各主流厂商的对象存储，使训练不受地域限制，并配以本地高速缓存，满足高性能高扩展性要求AVA深度学习平台使用Kubernetes负责管理GPU集群，并配以自定义的调度器Quota管理框架，充分发挥GPU资源，提高训练速度

报告中显示，七牛云AVA深度学习平台具有如下优势：

1通过资源调度最大化GPU利用率：调度算法设计的好坏对训练速度效果有至关重要的影响对此，AVA做了以下优化，调度时选取具有Affinity的GPU通过配置，可选均衡调度或集中调度方式，缺省采取集中调度模式此外，由于不同训练任务之间可能需要通讯，而位于同一台机器上两个训练任务间的通讯效率明显高于将任务分置于两台机器通过指定策略，AVA可以通过指定策略，采取不同的调度方法，适应不同的训练需求

2安装简单，易于集成使用：AVA平台所有服务均基于DockerKubernetes打造，并以Docker镜像加Kubernetes部署Yaml脚本方式对外提供服务AVA平台可同时部署在公有云私有云对接常用的公有云标准组件，只需一天即可完成部署调试，而对于比较复杂的私有云环境，也只需2到3天即可完成部署调试过程

3部署灵活，支持公有云私有云：AVA平台具有很大的灵活性，既可以部署在私有云环境中，也可以部署在不同的公有云环境中，且能避免数据或服务局限在单一服务商用户完成部署后，能够方便地从公有云迁到私有云，反之亦然对于数据较为敏感的行业，用户可以将AVA平台部署于私有存储系统，在数据不出岛的情况下进行训练此外训练平台数据可以分开部署，使用存放在AWS或Azure的数据在AVA平台进行训练，不需要数据迁移

4高效的调参迭代管理：参数的选择对于深度训练的效果同样重要为了获得高精度的模型，深度训练需要反复观察训练精度损失率，并不停调整模型层次结构学习率等参数AVA平台能够整合训练过程，使用高效搜索排序算法，并根据预定义规则，自动或半自动挑选网络模型及组合不同的训练参数，批量运行深度训练

AI时代下，AVA深度学习平台创造更多价值

可以看到，有了AVA深度学习平台的依托，算法人员能在短时间内实现许多高难度训练，并且将其运用于实际生产中对此，报告中基于AVA深度学习平台应用，能够为行业带来的价值进行了举例说明

在内容安全审核方面，对于企业来说，如果全部依靠人工完成针对色情暴恐政治敏感内容的识别，将会造成大量的人力物力管理等额外成本原本每人每日只能审核几百张的图片，在结合AVA深度学习平台后，这项应用的效率得到了指数级的提升，图片视频日处理量可达十亿级规模，毫秒级处理结果响应

在智慧城市方面，城市建筑垃圾产出大，污染严重，要解决这个问题渣土车超速行驶占道沿路抛洒等的问题，可以通过计算机视觉，利用交管摄像头对渣土车进行识别，对违法行为实现智能告警，形成对渣土运营的“出土--运输--回填”监管闭环，大幅提升治理效率与效果基于强大GPU集群算力优秀的深度学习算法的AI模型，能够在AVA平台上快速迭代，并结合用户的反馈不断进行升级通过私有化部署保障数据安全，正是城市运营与管理所需要的

在智慧广电方面，广电行业存储的数据巨大，每个频道每年累计点播的数据量可达百万小时级别并且，由于新闻具有时效性，看似价值密度并不很高的数据，如果得到有效利用，实际上是极具社会价值的目前的云播控云媒资，分别对应直播场景点播场景，这些产品都是基于深度学习的结合AVA后，直播调度直播互动的效率提升50%，并能节约20%的人力；媒资管理效率提升30%，并能节约50%的人力一个优秀的深度学习平台就像一个地基，有了平稳的基础，才能够开始搭建目标分割特征学习动态回归时序分析目标角度归一化等的“砖头”，将业务细细打磨

除此之外，报告中还列举了深度学习在医疗交管物流教育等行业的应用价值从报告中可以看到，深度学习的价值巨大，目前可预见的未来发展也很广阔除了上文的应用，能做的还有更多：结合虚拟现实，将AR应用于更多的如看房游戏等的商业场景，多行业开发工业机器人等等；家居助理文本翻译智能问答无人驾驶航天航空军事机器等的应用都将越来越成熟在实现大量应用的过程中，充分利用深度学习平台来实现算法优化将是产品告诉落地的关键深度学习技术是未来的大势所趋，选择优秀的深度学习平台则是当下的最优选择必经之路

想了解更多《深度学习平台完全实践指南》的相关内容，可点击详细报告：

Gartner白皮书英文版链接：https://www.gartner.com/technology/media-products/newsletters/qiniu/1-5PAX8DA/client1.html#2

Gartner白皮书中文版链接：https://mars-assets.qnssl.com/gartner_atlab_white_book.pdf