亚马逊的全新 Nova 系列基础模型和 Amazon Bedrock 上新的延迟优化推理为亚马逊网络服务合作伙伴带来了巨大的收益。
AWS 顶级服务合作伙伴 Caylent 首席技术官 Randall Hunt 表示：“我们对 Nova 模型感到非常兴奋，因为其中蕴藏着巨大的机会。想想它可以用于哪些应用，例如安全摄像头、零售、体育，以及任何你想对视频片段执行的生成搜索，或者如果你想要生成产品视频。”
“以前是可以实现的，但无法通过 API 无缝启用，现在只需调用一次 API 即可，”亨特说，他的公司的AWS业务在 2024 年飙升了 80%。 “所以我不必去启动一堆服务器，处理动态帧采样和所有其他复杂问题。”
Amazon Nova 基础模型 (FM) 于本周在拉斯维加斯举行的AWS re:Invent 2024上发布，是新一代 AI 模型，旨在在Amazon Bedrock上提供智能和业界领先的性价比。
Nova 的使命是降低任何生成性 AI任务的成本和延迟，客户能够在 Nova FM 的基础上分析文档和视频、理解图表和图解、生成视频内容并构建复杂的 AI 代理。
新的“杀手级功能”：针对 Bedrock 的延迟优化推理
Caylent 是 AWS Nova 的发布合作伙伴之一，在早期就获得了基础模型的使用权，同时与 AWS 在开发和价格性能方面进行了密切合作。“我对他们的成果印象深刻，”Hunt（上图）说道。
一项新功能将有助于推动亚马逊 Bedrock 和新 Nova 模型采用 AI 和 GenAI，那就是 AWS 为亚马逊 Bedrock 中的 FM 提供的新延迟优化推理。本周在 AWS re:Invent 上发布的这项新延迟优化推理旨在为 AI 应用程序提供更快的响应时间和更高的响应能力。
目前，Bedrock 的新推理选项支持 Anthropic 的 Claude 3.5 Haiku 模型和 Meta 的 Llama 3.1 405B 和 70B 模型，与标准模型相比，可提供更低的延迟，同时不影响准确性。
“许多人可以以共享租赁的方式利用它，这就是新的 Bedrock 延迟优化推理所允许的——这将是一个杀手级功能，”Hunt 说。“价格方面，它比其他 Bedrock 选项高出 25%。因此，您可以以 25% 的价格获得 Anthropic 3.5 Haiku 和 Llama 3.1405b，但每秒的速度会快数百个令牌。”
总部位于加州尔湾的 Caylent 是 AWS 全球最具创新力的合作伙伴之一。今年，该公司荣获 AWS 年度迁移合作伙伴奖、AWS 年度 GenAI 行业解决方案合作伙伴奖以及北美金融服务年度行业合作伙伴奖。
本周，Caylent 推出了自己的应用智能交付模型，专门用于 AI 优先的云服务。该模型旨在通过在客户云演进的每个阶段战略性地、有意识地应用 AI，降低云迁移和现代化的障碍。
Caylent 的首席技术官最终表示，“每个人都只是想尽快获得最高质量的代币和尽可能低的成本”。亨特说：“亚马逊通过对 Trainium 和 Bedrock 延迟优化推理的新投资为他们提供了支持。”“我们对此感到非常兴奋。”
AWS 表示，与任何其他主要云提供商相比，Anthropic Claude 3.5 Haiku 和 Llama 模型在 AWS 上的运行速度都更快。
亚马逊的三款 Nova 机型：Micro、Lite 和 Pro
Amazon Nova 模型包括三种旨在满足客户不同需求的理解模型：Micro、Lite 和 Pro。
Amazon Nova Micro 是一种纯文本模型，在 Amazon Nova 系列模型中提供最低的延迟响应。Nova Micro 的上下文长度为 128K 个令牌，并针对速度和成本进行了优化，擅长处理文本摘要、翻译、内容分类、交互式聊天和头脑风暴以及简单的数学推理和编码等任务。
接下来是 Amazon Nova Lite，这是一种非常低成本的多模式模型，旨在处理图像、视频和文本输入以生成文本输出。Nova Lite 可以高精度地处理实时客户互动、文档分析和视觉问答任务。该模型最多可处理 300,000 个标记长度的输入，并且可以在单个请求中分析多张图像或长达 30 分钟的视频。
最后，Amazon Nova Pro 是一款多模态模型，在 Nova 系列中具有最佳的准确性、速度和成本组合，适用于各种任务。Nova Pro 能够处理多达 300,000 个输入令牌并处理包含超过 15,000 行代码的代码库。AWS 表示，Pro 在多模态智能和代理工作流方面树立了新标准，这些工作流需要调用 API 和工具来完成复杂的工作流。
德勤咨询公司 AWS 首席高管 JB McGinnis 表示，Amazon Nova 凸显了 AWS 致力于在 AI 领域提供灵活性和选择性的承诺。
McGinnis 表示：“通过提供多样化的基础模型套件，AWS 使组织能够选择最适合其特定工作负载和行业的工具。这种方法认识到没有两家企业是相同的，并确保公司能够根据其独特需求定制 AI 解决方案。”
他说，Nova 表明了向适应性 AI 系统的转变，使企业能够精准而自信地进行创新，同时保持对成本和可扩展性的控制。“这是实现跨行业更广泛采用的关键一步，”McGinnis 说。
