Llama 3.2 指南：工作原理、用例等

[mostakimvip06]

Llama 3.2 的一个关键特性是引入了具有 110 亿和 900 亿个参数的视觉模型。

这些模型为 Llama 生态系统带来了多模式功能，使模型能够处理和理解文本和图像。

多式联运能力
Llama 3.2 中的视觉模型在图像识别和语言处理任务方面表现出色。它们可以回答有关图像的问题、生成描述性标题，甚至可以推理复杂的视觉数据。


图像理解演示（来源：Meta AI）
根据 Meta 的实例，这些模型可以分析文档中嵌入的图表并总结主 日本赌博数据 要趋势。它们还可以解读地图，确定徒步旅行路线的哪一部分最陡峭，或计算两点之间的距离。

Llama 视觉模型的用例
文本和图像推理的融合提供了广泛的潜在应用，包括：

文档理解：这些模型可以从包含图像、图形和图表的文档中提取和总结信息。例如，企业可以使用 Llama 3.2 自动解释以视觉形式呈现的销售数据。
视觉问答：通过理解文本和图像，Llama 3.2 模型可以根据视觉内容回答问题，例如识别场景中的对象或总结图像的内容。
图像字幕：模型可以为图像生成字幕，使其在数字媒体或无障碍等领域有用，在这些领域理解图像的内容非常重要。
开放且可定制
Llama 3.2 的视觉模型是开放且可定制的。开发人员可以使用 Meta 的Torchtune框架对这些模型的预训练版本和对齐版本进行微调。

此外，这些模型可以通过Torchchat在本地部署，减少对云基础设施的依赖，并为希望在本地或资源受限的环境中部署 AI 系统的开发人员提供解决方案。

该视觉模型还可以通过 Meta 的智能助手 Meta AI 进行测试。

Llama 3.2 视觉模型的工作原理
为了让 Llama 3.2 视觉模型能够理解文本和图像，Meta 使用特殊适配器将预训练的图像编码器集成到现有的语言模型中。这些适配器将图像数据与模型的文本处理部分链接起来，使其能够处理这两种类型的输入。

训练过程从 Llama 3.1 语言模型开始。首先，团队使用大量图片和文本描述对模型进行训练，教会模型如何将两者联系起来。然后，他们使用更清晰、更具体的数据对其进行改进，以提高其理解和推理视觉内容的能力。

在最后阶段，Meta 使用微调和合成数据生成等技术来确保模型提供有用的答案并安全运行。

基准：优势与劣势
Llama 3.2 视觉模型在图表理解方面表现出色。在 AI2 Diagram（92.3）和 DocVQA（90.1）等基准测试中，Llama 3.2 的表现优于 Claude 3 Haiku。这使其成为涉及文档级理解、视觉问答和从图表中提取数据的任务的绝佳选择。

在多语言任务（MGSM）中，Llama 3.2 的表现也非常出色，得分 86.9，几乎与 GPT-4o-mini 匹敌，对于使用多种语言的开发人员来说是一个不错的选择。

Llama 3.2 11B 和 90B 基准测试

来源：Meta AI

虽然 Llama 3.2 在基于视觉的任务中表现良好，但它在其他领域也面临挑战。在 MMMU-Pro Vision（测试视觉数据的数学推理）中，GPT-4o-mini 的表现优于 Llama 3.2，得分为 36.5，而 Llama 得分为 33.8。

同样，在 MATH 基准测试中，GPT-4o-mini 的表现（70.2）大幅超越 Llama 3.2（51.9），可见 Llama 在数学推理任务上仍有提升空间。

Llama 3.2 1B 和 3B 轻量级型号
Llama 3.2 的另一项重大改进是引入了专为边缘和移动设备设计的轻量级模型。这些模型分别具有 10 亿和 30 亿个参数，经过优化，可以在较小的硬件上运行，同时在性能上保持合理的妥协。

设备上的人工智能：实时且私密
这些模型旨在在移动设备上运行，提供快速的本地处理，而无需将数据发送到云端。在边缘设备上本地运行模型有两个主要好处：

响应时间更快：由于模型在设备上运行，它们可以几乎即时处理请求并生成响应。这对于速度至关重要的实时交互尤其有用。
增强隐私：通过本地处理，用户数据无需离开设备。这样可以保证敏感信息（如个人信息或日历事件）的安全，并由用户控制，而不会被发送到云端。
Llama 3.2 的轻量级模型针对 Arm 处理器进行了优化，并在 Qualcomm 和 MediaTek 硬件上启用，这些硬件为当今的许多移动和边缘设备提供支持。