边缘云提供商 Fastly开发了一个开源边缘计算 API，据称该 API 可以为开发人员提供更快、更实惠的访问 OpenAI 的 ChatGPT 的权限，以便交付产品。
该公司报告称，这款名为“Fastly AI 加速器”的新加速器在其 Edge Cloud Platform 上运行并利用语义缓存，加快了 AI 聊天机器人的访问时间，促进了代码生成和调试等开发人员服务。
该公司暗示，它可能会通过扩展这一专门的 API 来拓宽其 AI 战略，以便未来涵盖 ChatGPT 之外的其他大型语言模型 (LLM)。
Fastly强调，这是解决流行 AI 应用程序遇到的一些问题的催化剂，因为它们每天要处理数十万个 API 调用，并感受到后端效率低下的痛苦。例如，如果没有语义缓存，每次调用 LLM 都需要返回提供商获取信息，这可能会增加成本和延迟。AI Accelerator 的语义缓存旨在通过存储来自 Fastly 高性能边缘平台的许多查询的响应来快速克服这些问题，从而提供更好的用户体验，提高性能并降低成本。
这一进展引起了 Moor Insights & Strategy 行业分析师 Will Townsend 的关注，他称其为游戏规则改变者。AI Accelerator 不仅可以提高生成式 AI 性能，还可以降低代币成本。这展示了 Fastly 的架构优势，并表明他们的 CDN 方法可以应用于更多非传统服务。
Fastly 是一家高性能云内容交付平台提供商，该公司一直在将其产品从传统的 CDN 解决方案中多元化，从而与 Akamai 和 Edgio 等公司展开竞争。现在，该公司正在向托管安全、云计算、视频流等领域扩张，将自己定位为下一代解决方案。
在 Fastly 最近的季度财报电话会议上，首席执行官 Todd Nightingale 强调，客户越来越多地寻求无服务器计算和边缘存储等先进解决方案。这与公司提供尖端技术以满足不断变化的市场需求的战略重点相一致。
Fastly 的边缘网络基础设施非常广泛，横跨美国二十多个站点和众多国际地点。在其最新季度报告中，该公司记录了其边缘计算产品的增长，该业务部门的收入同比增长从约 200 万美元增加到近 300 万美元。虽然这只占 Fastly 总收入的一小部分，但该公司非常重视边缘计算，以实现未来的增长。
AI 加速器的推出对于电信行业来说尤其值得关注，因为包括 Lumen Technologies、Verizon 和 Akamai 在内的多家公司一直在探索 AI 与边缘计算的交叉机会。这些努力源于对边缘计算潜力的坚信，即推动构建更小、分布式数据中心以支持低延迟服务。
然而，这种预期的近乎即时、亚毫秒级、对延迟敏感的需求仅部分实现，给一些边缘计算项目带来了挫折。尽管存在这些困难，但围绕 ChatGPT 等人工智能服务的重新兴起正在重新将注意力集中在边缘计算上；采用率正在缓慢上升。尽管当今大多数人工智能部署都集中在大型数据中心，但未来预计将转向“推理”人工智能世界，由于边缘计算提供的低延迟网络连接，一些服务将更好地在边缘提供。
AI 加速器是科技行业日益兴起的将复杂功能（例如机器学习）抽象为 API 的趋势的一部分。无线行业的开发人员越来越多地有机会通过 API 直接从网络购买新的网络功能，这对需要收回 5G 网络投资的运营商来说是一个诱惑。
