为何现实中的 AI 比基准测试更难 | EliseAI 的 Mario Martone

当 AI 出错不仅仅影响基准测试分数，而是危及人们的住房或医疗时，情况会有何不同？EliseAI 应用研究主管 Mario Martone 认为，在关键行业中部署 AI 需要一套完全不同的可靠性标准。

Mario 加入了 MTS，解释 EliseAI 如何处理每月约 500 万次电话，为什么大语言模型并非所有问题的最佳解决方案，以及团队如何结合语言模型、传统机器学习、神经网络和内部构建的评估方法，来决定哪些方案在实际生产中真正有效。

凭借 15 年研究理论物理的经验，Mario 还解释了科学方法如何塑造 EliseAI 的研究文化，包括用内部基准测试检验新模型、对开源模型进行微调，以及在住房和医疗领域自动化日益复杂的工作流程。他还指出，将 AI 应用于现实世界所产生的问题，在智力难度上与他研究弦理论时遇到的问题不相上下。

资源：

了解更多关于 EliseAI 的信息：https://www.eliseai.com/

在 LinkedIn 上关注 Mario Martone：https://www.linkedin.com/in/mcmartone/

关注 MTS：https://www.mts.now/

保持更新：

在 YouTube 上关注 a16z：YouTube

在 [X] 上关注 a16z：https://www.x.com/a16z

在 LinkedIn 上关注 a16z：https://www.linkedin.com/company/a16z

在 Spotify 上收听 a16z Show：https://open.spotify.com/show/5bC65RDvs3oxnLyqqvkUYX?si=3E8B3qT9TyiwAHJ7JnaKbg

在 Apple Podcasts 上收听 a16z Show：https://podcasts.apple.com/us/podcast/a16z-podcast/id842818711

关注我们的主持人：https://twitter.com/eriktorenberg

请注意，本文内容仅供信息参考；不应被视为法律、商业、税务或投资建议，也不应用于评估任何投资或证券；本文不针对任何 a16z 基金的投资人或潜在投资者。a16z 及其关联方可能持有所讨论公司的投资。更多详情请参阅 a16z.com/disclosures。

由 Simplecast 托管，AdsWizz 公司。有关 AdsWizz 收集和使用个人数据用于广告的信息，请参阅 pcm.adswizz.com。