Meta发布Llama 31 405B、70B和8B模型在Amazon Bedrock中

重点总结

今天，我们很高兴地宣布 Llama 31模型在Amazon Bedrock中的正式发布。Llama 31模型是Meta迄今为止最先进的模型，包含8B、70B和405B三种参数大小，展现出在多个行业基准测试中的前沿表现，并为您的 生成式人工智能Generative AI 应用提供全新功能。

所有Llama 31模型的上下文长度都支持128K比Llama 3增加了120K tokens，在多语言对话用例中的推理能力大大提高，支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语八种语言。

现在，您可以在 Amazon Bedrock 中使用三种新的Llama 31模型来构建、实验并负责地扩大您的生成式AI想法：

Meta对Llama 31在超过150个基准数据集上的性能进行了评估，这些数据集涵盖了多种语言及广泛的人类评估。从以下图表可以看到，Llama 31在每个主要基准测试类别上均优于Llama 3。

想要了解更多关于Llama 31的特点和功能，您可以访问Meta的 Llama 31模型卡 和AWS文档中的 Llama模型。

利用Llama 31的 负责任的AI 能力，结合Amazon Bedrock的数据治理和模型评估功能，您可以自信地构建安全可靠的生成式AI应用。

Amazon Bedrock的护栏 通过创建多个针对特定用例定制的护栏配置，您可以利用护栏促进用户与生成式AI应用之间的安全互动，实施符合您用例和责任AI政策的安全措施。

Amazon Bedrock的模型评估 您可以在几步之内评估、比较并选择适合自己用例的最佳Llama模型，支持自动评估和人工评估。

有关如何确保AWS数据和应用程序的安全性和隐私的更多信息，请访问 Amazon Bedrock的安全与隐私 页面。

入门指南

如果您是新用户，想要使用Meta的Llama模型，请访问 Amazon Bedrock控制台，在左下角选择“模型访问”。要访问Meta的最新Llama 31模型，请分别请求 Llama 31 8B Instruct、Llama 31 70B Instruct 或 Llama 31 450B Instruct 的访问权限。

要在Amazon Bedrock控制台中测试Llama 31模型，请在左侧菜单中的“Playgrounds”下选择 文本 或 聊天。接着选择 选择模型，然后选择 Meta 分类和 Llama 31 8B Instruct、Llama 31 70B Instruct 或 Llama 31 405B Instruct 作为模型。

在以下示例中，我选择了 Llama 31 405B Instruct 模型。

通过选择 查看API请求，您还可以通过 AWS命令行接口AWS CLI 和AWS SDK访问模型。您可以使用类似 metallama318binstructv1、metallama3170binstructv1 或 metallama31405binstructv1 的模型ID。

以下是AWS CLI命令示例：

bashaws bedrockruntime invokemodel modelid metallama31405binstructv10 body {prompt [INST]你是一位非常聪明的机器人，具备卓越的批判性思维[/INST] 我去市场买了10个苹果。我给你的朋友2个苹果，给助手2个。我又买了5个苹果，吃了1个。我还剩多少个苹果？让我们一步一步想下去。maxgenlen512temperature05topp09} clibinaryformat rawinbase64out region uswest2 invokemodeloutputtxt

您还可以在 Amazon SageMaker JumpStart中使用所有Llama 31模型8B、70B和405B。您只需点击几下即可在 Amazon SageMaker Studio中发现并部署Llama 31模型，或者通过SageMaker Python SDK进行编程操作。您可以使用SageMaker的 管道、 调试器 或者容器日志来操作模型，帮助确保数据安全。

即将推出的Amazon Bedrock和Amazon SageMaker JumpStart的Llama 31模型微调功能也在筹备中。当您在SageMaker JumpStart中构建微调模型时，还可以将您的自定义模型 导入到Amazon Bedrock。想了解更多信息，请访问 Meta Llama 31模型现已在Amazon SageMaker JumpStart可用 的AWS机器学习博客。

对于希望通过自我管理的机器学习工作流在AWS上部署Llama 31模型的客户，AWS Trainium 和 AWS Inferentia 驱动的 Amazon弹性计算云Amazon EC2 实例，可以实现高性能、低成本在AWS上部署Llama 31模型。了解更多信息，请访问AWS机器学习博客 AWS AI芯片为Meta Llama 31模型提供高性能和低成本。

客户声音

为了庆祝此次发布，Meta的商业开发经理Parkin Kent谈到了Meta与Amazon的合作，强调他们如何共同推动生成AI的可能性边界。

探索客户企业如何利用Amazon Bedrock中的Llama模型来发挥生成AI的力量。Nomura是一家遍布30个国家和地区的全球金融服务集团，正利用Amazon Bedrock中的Llama模型普及生成AI。

TaskUs是一家领先的外包数字服务和下一代客户体验提供商，正在帮助客户维护、保护和发展他们的品牌。

现已推出

Meta的Llama 31 405B、70B和8B模型今天在Amazon Bedrock中正式上线，适用于美国西部俄勒冈地区。查看 完整的地区列表 以获取最新消息。想了解更多，请访问 Amazon Bedrock中的Llama产品页面 和 Amazon Bedrock定价 页面。

立刻在 Amazon Bedrock控制台 中试用Llama 31，并通过 AWS rePost for Amazon Bedrock 或您的AWS支持联系人发送反馈。

访问我们的 communityaws网站 获取深入的技术内容和了解我们的Builder社区是如何在解决方案中使用Amazon Bedrock的。期待了解您在Amazon Bedrock中使用Llama 31构建的内容！

Channy

2024年7月23日 更新文章以添加模型访问的新截图和TaskUs的客户视频。2024年7月25日 更新文章以说明Llama 31 405B现已正式上线。

Channy Yun ()

Channy是AWS云的首席开发者倡导者，他热爱社区驱动的学习和技术分享。