近期,Google Cloud 宣布 Vertex AI Model Garden 新增新成员,正式纳入Llama 3.1系列模型家族,其中特别引人注目的是Meta目前最强大且应用广泛的405B模型。这进一步体现了Google Cloud致力于提供开放、灵活的AI生态系统,帮助您找到最适合自己需求的解决方案。
Vertex AI 提供精选的第一方、开源和第三方模型集合,其中许多模型(包括新的 Llama 模型)可以作为完全托管的模型即服务 (MaaS) 产品提供。借助 MaaS,您可以选择适合您要求的基础模型,只需通过 API 访问它,使用强大的开发工具对其进行定制,然后部署在 Google Cloud 完全托管的基础设施上。整个过程简单方便,所有费用都通过单一账单处理,让您无需担心基础设施的维护问题。
Meta 的 Llama 3.1 代表了开放重量模型的范式转变,在同类产品中拥有无与伦比的性能和多功能性。该版本具有一系列针对不同应用量身定制的模型:
Llama 3.1 405B:Llama 3.1 405B 是迄今为止最大的开放基础模型,Llama 3.1 405B 在开放模型中的灵活性、控制和创新方面树立了新标准。该模型开启了一系列新的可能性,从生成合成数据和为复杂的推理任务提供动力,到以最少的微调轻松处理直接推理场景。
Llama 3.1 8B 和 70B:这些新版本的 Llama 3 模型擅长理解语言细微差别、掌握上下文以及执行翻译和对话生成等复杂任务。
只需简单几步,您就能直接通过 Vertex AI 的模型即服务(MaaS)功能访问到全新的 405B 模型,无需繁琐设置,也无需担心基础设施的复杂性。好消息是,全面开放使用将在接下来的几周内实现。不仅如此,8B 和 70B 型号也将在同期以 MaaS 形式加入我们的服务行列。现在,您可以在 Vertex AI Model Garden 中轻松选择这三个模型,享受自助服务的便利,同时保持对基础设施的灵活掌控。
这些模型可作为预训练和指令调整的版本来支持您的特定需求,并且它们包括 128,000 个标记的扩展上下文,与前几代相比,可以更深入地理解更长、更复杂的文本。Llama 3.1 模型还包括八种语言的多语言支持,进一步扩大了其范围和适用性。
在 Google Cloud 中使用 Llama 3.1
Google Cloud 的 Vertex AI 是一个综合性 AI 平台,用于试验、定制、部署和监控 Llama 3.1 等基础模型。Llama 3.1 加入了 Vertex AI Model Garden 上已有的 150 多个精选的企业级模型,扩大了您的选择范围和灵活性,以选择最适合您的需求和预算的模型,并跟上跨越式创新的步伐。

Vertex AI 上 Llama 3.1 的模型卡
在 Vertex AI 上使用 Llama 3.1,您可以:
充满信心地进行实验:在我们直观的环境中通过简单的 API 调用和全面的并行评估来探索 Llama 3.1 的功能,而无需担心复杂的部署过程。
根据您的具体需求定制 Llama 3.1:使用您自己的数据微调模型,以构建适合您独特需求的定制解决方案。如果您通过 Vertex AI Model Garden 中的自助服务访问 8B 和 70B 模型,那么您今天就可以开始微调。微调 405B 模型的能力将在未来几周内提供。
让您的 AI 真实可靠:利用 Vertex AI 的多种接地和 RAG 选项,确保您的 AI 输出可靠、相关且值得信赖。例如,您可以将模型连接到企业系统、使用 Vertex AI Search 进行企业信息检索、利用 Llama3 进行生成等。
制作智能代理:使用 Vertex AI 的全套工具(包括 Vertex AI 上的 LangChain)创建和编排由 Llama 3.1 提供支持的代理。使用 Genkit 的 Vertex AI 插件将 Llama 3.1 集成到您的 AI 体验中。
无开销部署:凭借灵活的自动扩展和即用即付定价,甚至消除了 405B 型号的部署和扩展的复杂性。当然,还可以利用专为人工智能工作负载构建的世界一流基础设施。
让 Llama 3.1 在您的护栏内运行:不仅支持 Meta 的 Llama Guard,还支持 Google Cloud 的内置安全、隐私和合规性措施,可以放心部署。
随着AI模型的不断创新,企业AI生态系统日益丰富多样。Google Cloud 致力于打造一个开放的 AI 环境,让客户轻松获取前沿 AI 能力,推动业务发展。