为什么大数据多,能赚钱的公司少?

佚名 2022-08-01

据说大数据可以在几分钟内帮助你赚更多的钱 10 倍——这话不假。

在这个智能硬件快速发展的时代,困扰应用开发者的一个重要问题是如何在功率、覆盖范围、传输速率和成本之间找到微妙的平衡。企业组织可以帮助他们降低成本,提高效率,开发新产品,做出更明智的业务决策。

虽然大数据已经成为许多企业信息管理的基础,但很难衡量他们沉淀的数据资产能产生多少增值。

如果只停留在数据收集和分析报告的发布中,随着数据类型的不断变化,大量的碎片化和非结构化数据将使企业难以在营销和运营过程中有效提炼价值。

这就是为什么大数据多,能赚钱的公司少。

从技术上讲,大数据与云计算的关系与硬币的正反面密不可分。大数据计算的分布式处理、分布式数据库、云存储和虚拟化技术,大数据不能用单台计算机处理。

然而,面对大量复杂和非机构化的数据,如何快速提高分析和培训效率已成为企业必须解决的问题。

为此,谷歌的深度学习框架 TensorFlow 自 2015 年 11 自月开源以来,一直受到学术界和工业界的广泛关注。然而要将 TensorFlow 在生产环境中仍然存在着巨大的挑战。

进一步减少 TensorFlow 使用门槛,才云(Caicloud)早在 2016 年 4 中国第一个基于容器集群的分布式深度学习系统于1月发布,并于1月发布 2017 年 2 月 12 日发布产品 TensorFlow as a Service(TaaS) v1.0.0 商用版。

TaaS 包括支持 CPU 和 GPU 的分布式 TensorFlow 模型培训平台和模型托管平台。通过将 TensorFlow 容器云平台管理工具与谷歌开源 Kubernetes 才云提供的组合 TaaS 服务解决了 TensorFlow 学习成本高、管理难、监控难、上线难等问题,旨在帮助企业更快、更容易地体验和应用最新的深度学习技术。

目前,才云 TaaS 私有云已经在一些金融、能源和电子商务行业着陆,帮助企业解决问题,并已经开启了公共云内测.

正是由于 Kubernetes 和 TensorFlow 才云的完美结合 TaaS 一经发布发布 CNCF K8S 高度重视上游,并受邀参加今年在柏林举行的活动 KubeCon 大会。无独有偶,才云将 AI 融入云的视角也出现在特斯拉创始人身上 Elon Musk 科技孵化器 Y Combinator 的掌门人 Sam Altman 非营利创业公司成立 OpenAI 的演讲中。无独有偶,才云将 AI 融入云的视角也出现在特斯拉创始人身上 Elon Musk 科技孵化器 Y Combinator 的掌门人 Sam Altman 非营利创业公司成立 OpenAI 的演讲中。

这家据称有 10 以亿美元注资为背景的公司,始终以人工智能红利为使命。他们于 2016 年 4 人工智能是一种用于研发和强化学习算法的工具包 OpenAI Gym,从而成功打破谷歌,Facebook 等巨头霸占 AI 领域格局。

Musk 与邪恶人工智能作斗争的最佳方式不是限制人工智能的接入和使用,而是更广泛地推广它。

在谈到世界顶尖人工智能领域的人才时,就是这样一家公司 GPU 对涉及大型神经网络的学习问题也表达了明确的看法。那就是“GPU 逐渐变得不可或缺。我们将使用它 GPU 为大规模任务训练神经网络,我们也期待我们的许多用户这样做。”

但是,传统的分布式 TensorFlow 没有把 CPU 跟 GPU 虚拟化。物理只能直接使用 GPU 资源不能最大化利用率。即使在单机环境中使用最先进的环境 GPU 不能满足其计算量的要求。在集群环境中,TensorFlow 存在门槛高、配置难、管理难等问题。

作为称道的是,作为一家中国初创公司。本次 KubeCon 才云首席大数据科学家郑泽宇和才云高级云开源工程师赵慧智通过 Kubernetes 搭建可支持 GPU 的 TensorFlow 集群演讲(详情请点击柏林 KubeCon 直击| 看 TensorFlow 如何从 AI 工具变身 AI 产品》),很好地回答了困扰深度学习发展的技术问题,让世界看到了中国企业的贡献和价值。

才云技术专家(左二:赵慧智,右一:郑泽宇)和 OpenAI 及 Google GCE Manager 讨论了如何部署 TensorFlow on Kubernetes 实现技术点及其技术点的方法 GPU 在 GCE 中的 upstream 现状及后续研发工作。

在本次 KubeCon 已经有很多了 AI 厂家在思考怎么做 TensorFlow 操作更好 Kubernetes 上了。 才云认为在 GPU 支持需要更多的考虑 GPU 类型, GPU 如何暴露给 container 内部程序,还有很多 GPU 调度和分配支持与性能调优。 才云认为在 GPU 支持需要更多的考虑 GPU 类型, GPU 如何暴露给 container 内部程序,还有很多 GPU 调度分配支持和性能调整。

目前 GPU 在 Kubernetes 支持不是很好,所以很多厂家在使用时都会选择比较 Trick 的方式。例如将不同 GPU 的类型通过 Kubernetes 的 Label 区分和选择方法,并将 GPU 通过 Privilege 或者单一的 GPU 支持配置(在 1.5 已经可以在一台机器上做到了 GPU 支持)实现让步 TensorFlow 加快优化模型训练。

随着 1.6 的 Release,GPU 最新的 Alpha 多个版本可以支持 GPU 调度、 GPU 设备自发现,多 GPU 指定等功能。而这将为有 GPU 需求制造商不仅在部署层面简化了操作,而且在使用和基础上提供了很大的好处 Container 特别是在隔离方面提供了更好的支持 AI 领域。

从大数据到 AI,从工具到服务,入有效地学习沉淀数据的产物,从工具到服务,促进移动互联网的重新变化。而这其中,GPU 有效调度对深度学习的影响可以说是加速引擎。只有掌握了这一点,才能快速分析,做出准确的决策,实现商业价值。

此时此刻,面对汹涌复杂的海量数据,有多少公司能够抓住机遇,通过数据分析和深度学习 AI 突出重围,成为新时代的领军人物?谷歌的深度学习框架 TensorFlow 横空诞生,能扫清门槛,将分布式深度学习系统轻松应用于企业生产环境领行业的优势。


版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权本站发表,未经许可,不得转载。

分享:

扫一扫在手机阅读、分享本文