我和一个在股票市场有经验的朋友聊天。他正在分析由 ARK Invest 团队创建的 Big Ideas 2021 deck,他们在这里展示了他们对新兴技术及其未来机遇的想法。朋友让我复习深度学习部分,和他分享一下我的看法。看完卡牌,首先佩服的是内容的质量。然而,我发现了一些我不赞同的部分和一些我认为有见地的部分。我决定写一篇文章,与人工智能社区分享我对他们研究的想法。
ark-invest.com](https://ark-invest.com/big-ideas-2021/)
根据 ARK 的说法,深度学习模型所需的计算能力将在人工智能芯片行业创造一个繁荣。近年来,深度学习模型变得越来越大,以针对我们遇到的更具挑战性的问题。然而,这是有代价的。例如,GPT-3 的模特培训费用高达数百万美元。
为了训练更强大的模型,用于模型训练的计算资源在过去 10 年中每年飙升 10 倍。许多公司专门为深度学习模型设计新的芯片。此外,人工智能行业逐渐接受边缘计算,以确保计算和存储发生在使用点,以提高数据隐私和带宽效率。假设一个世界,每个日常产品,如咖啡机或冰箱,里面都有一个人工智能芯片。这对芯片行业来说是一个巨大的机会,可以构建各种各样的人工智能芯片,以满足从咖啡机到自动驾驶汽车的各种市场需求。
www.nvidia.com](https://www.nvidia.com/en-us/ai-data-science/)
他们认为,人工智能行业正在从计算机视觉转向自然语言处理。简单来说,从视觉到语言。深入研究了计算机视觉的大多数主流应用,例如对象检测、语义分割、姿态估计和人脸识别。另外,您可以找到现成的产品或库,为您提供开箱即用的服务。另一方面,我们仍然在努力开发具有成本效益、可扩展和情境化的语言理解深度学习模型。因此,可以预测这种转变会发生。
深入研究了计算机视觉的大多数主流应用,例如对象检测、语义分割、姿态估计和人脸识别。
据方舟公司称,OpenAI 的 GPT-3“理解”语言。这是一个大胆的声明,我不能支持。我知道有时候我们夸大事情来推动他们前进;然而,即使从商业角度来看,这也超出了我所能接受的范围。作为一名 NLP 专家,我知道我们在这个领域面临的挑战。我相信 GPT 3 号解决了其中的一些问题,并在隧道的尽头露出了曙光。然而,我们离从整体上理解语言还很远。据说 GPT-3 可以用十几种计算机语言编写代码。写代码的人会同意我的观点,写几十行简单的代码包括“if … then …”或者“model.fit()”不算编程。
GPT 3 号显示出隧道尽头的曙光。然而,我们离从整体上理解语言还很远。
[## OpenAI 的新语言生成器 GPT-3 非常好,而且完全不用动脑
最后,ARK 声称深度学习可以比互联网创造更多的经济价值。不同意!我开始写这篇文章主要是因为这一节。我认为深度学习和互联网之间的比较从根本上来说是错误的。下面我会详细解释。
软件即服务(或 SaaS),对我们来说代表互联网的行业,在规模上运作良好。当商业逻辑在 SaaS 得到发展时,唯一的规模瓶颈是云服务,这是过去几年破解的。总的来说,人工智能在扩展和维护方面面临着严峻的挑战。
ARK 声称深度学习可以创造比互联网更多的经济价值!
现实是,深度学习模型对于新的数据集来说很脆弱。迁移学习(获取新数据本质的过程)所需的计算和努力是不可忽略的。当您处理边缘案例或新数据时,过去的性能不一定保持不变。也就是说,可靠性和可维护性仍然是深度学习环境中的主要挑战。
简而言之,深度学习和 SaaS 是根本不同的,我们无法比较它们。
如果你喜欢这个帖子,想支持我…
[## 通过我的推荐链接加入 Medium—Pedram Ataee 博士
pedram-ataee.medium.com](https://pedram-ataee.medium.com/membership)