Paper Digest.

阅读笔记 InternLM2 Technical Report class llm 书生浦语模型类型 规模：7B、20B InternLM2_Base ：高质量、强可塑性的基座模型 InternLM2 ：在Base基础上，在多个能力进行了强化，更优秀的基座模型 Chat-SFT ：在Base基础上，经过有监督微调SFT后的对话模型 InternLM2-Chat ：在Chat-SFT基础上，再经过RLHF对齐后的对话模型 InternLM亮点 超长上下文，200k token 在数学、代码能力上比肩ChatGPT 具有代码解释器 模型到应用 根据业务场景 评估所需要的算力 来决定到底采用续训练/全参数微调，还是部分参数微调 如果需要和环境进行交互，那么则需要构建AI agent 开源链条 下面结合InternLM2 技术报告 arxiv.org/pdf/2403.17297.pdf 数据集 书生万卷1.0 2TB 书生万卷CC 400GB 开源数据集平台OpenDataLab：OpenDataLab 数据处理 预训练数据包括文本数据、代码数据、超长上下文数据 文本数据预处理流程 ：jsonl格式化 –> 去重 –> 去乱码 –> 去有害 –> 去广告 –> 去低质 代码数据预处理流程 ：md格式化 –> 去重 –> 去低质 –> 依赖排序 超长上下文数据预处理 ：长文本选择 –> 统计过滤 –> 上下文关联性过滤 预训练 internEvo： 预训练框架，可以pretrain，SFT,RLHF 使用教程 — InternEvo 0.3.4 文档 支持多种并行训练方式：data，tensor，squence，pipeline 同时使用了2019的 Zero Redundancy Optimizer 用于减少训练显存开销，此外还有2023 FlashAttention，2023 mixed-precision training 增加硬件的利用率。 这3篇文章论文的效率提升，正是我目前所需要的。 微调 Xtuner 适配20系列以上的显卡，只需要8GB显存即可微调7B模型 在训练阶段，7B和20B模型分别使用AdamW优化器，初始学习率为4e-5，进行了一个epoch的训练。 在训练步骤中每个微批的每次向前和向后传递期间，InternEvo通过AllGather有效地预取即将到来的层的完整参数集，同时并发地计算当前层。生成的梯度通过ReduceScatter在参数分片组内进行同步，随后使用AllReduce在参数分片组之间进行同步。 这里将分布式通信的过程与训练的过程重叠在一起，最大限度地提高了训练管道的效率。 模型架构 总体遵循LLaMA的结构设计原则，沿用了RMSNorm和SwiGLU激活函数，除此之外 对模型中的权重矩阵如Wk, Wq, Wv进行了调整，以支持不同的张量并行转换，并提高训练速度。 为了支持长上下文，采用了分组查询注意力 (GQA)结构，以便在处理非常长的上下文时保持高速和低GPU显存消耗。 评测 openCompass2.0 CompassKit 大模型评测全站工具链，可以用于查看大模型能力榜单 OpenCompass CompassHub 高质量基准数据集，其中评测最高分为gpt4turbo，61.8分。应该算标准比较高的。 部署 LMDeploy 欢迎来到 LMDeploy 的中文教程！ — lmdeploy 0.2.6 文档 它提供大模型在GPU上部署的全流程解决方案，包括模型轻量化、推理和服务。 轻量化：支持4bit权重，8bitK/V cache 推理引擎：turbomind、pytorch 服务：openai-sever、gradio、trition inference server 和deepmind有一定差距 轻量级智能体框架 欢迎来到 Lagent 的中文文档! — Lagent agents 实现了多种智能体，如 ReAct，AutoGPT。 llms 支持多种大语言模型，包括在 HuggingFace 上托管的开源模型（Llama-2, InterLM）及 GPT3.5/4 等闭源模型。 actions 包含一系列工具，并提供工具执行器来统一管理。 目前看起来还是比较简略的。 远远比不上autogen

阅读笔记 Video-LLaMA cross-Modal video-understanding 望文生义 [2306.02858] Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding (arxiv.org) 通过指令微调的方式，让大模型来进行视频(audio+visual)理解。 引言 Video-LLaMA 一个使大型语言模型（LLM）能够理解视频中的视觉和听觉的内容的多模态框架。它从冻结的预训练的视觉和音频encoder以及冻结的LLM中引导跨模态训练。 与之前专注于静态图像的视觉LLM不同，如（MiniGPT-4/LLaVA），Video-LLaMA主要解决了两个挑战 捕捉视觉场景中的时间变化 提出一种视频QFormer,将预训练的图像编码器组装到我们的视频编码器中，并引入视频到文本生成任务来学习视频语言对应关系。 整合视听信号。 利用ImageBind，这是一种将多个模态对齐的通用嵌入模型，作为预训练的音频编码器，并在ImageBind之上引入音频Q-Former，以学习LLM模块的合理听觉查询嵌入。为了使视觉和音频编码器的输入与LLM的嵌入空间对齐，使用大量指令调整(instruct-tuned)数据集训练Video-LLaMA。 相关工作 LLM模型。我们的工作基于这些出色的LLM，并提供即插即用的插件，使他们能够理解视频中的视觉与听觉内容。 多模态LLM模型（两类） 使用LLM作为控制器，并使用现有的多模态模型作为工具。当接受到指令时，LLM识别用户意图并决定调用哪些工具。最后结合多模态模型的结果来生成综合响应。如chatgpt等 训练基本的大规模多模态模型，关键思想为将其他模态预训练模型与文本LLM对齐，如BLIP2，visualGLM，引入Q-Former将学习到的图像查询映射到LLM的文本嵌入空间。 Video-LLaMA限制 感知能力有限 处理长视频能力有限 幻觉问题，继承了冻结LLM的幻觉问题。 句法和语义正确但是与现实完全脱节，基于错误假设的模 型生成的输出，会导致伦理问题，道德问题。 原因。过拟合；encode和decode错误；训练数据的偏差，以及训练数据缺乏多样性。

阅读笔记 Cross-Modal Implicit Relation Reasoning and Aligning for Text-to-Image Person Retrieval cross-Modal text2image 望文生义 [2303.12501] Cross-Modal Implicit Relation Reasoning and Aligning for Text-to-Image Person Retrieval 根据自然语言所给出的目标，通过发现多模态中隐式关系，进行行人检索 论文简要 : 前人方法：缺乏对齐各个模态的能力 本文提出了一种跨模态隐式关系推理与对齐框架(IRRA)，用于文本到图像的人物检索，通过隐式关系推理和对齐来学习视觉和文本模态之间的映射关系，实现更好的图像-文本匹配。通过设计隐式关系推理模块和相似性分布匹配损失函数，IRRA在三个公共数据集上取得了新的最优结果，与之前的方法相比，Rank-1准确率提高了约3%-9%。 创新：首次设计一个隐式推理关系模块，可以有效融合视觉和文本表示，并且通过MLM的方式对齐多个模态。 前人模型 masked language model（MLM） 不了解 预训练语言模型综述 - 知乎 (zhihu.com) 包含MLM的描述 ranking loss 不了解 一文理解Ranking Loss/Margin Loss/Triplet Loss - 知乎 (zhihu.com) cross-modal projection matching (CMPM) [53] 不了解； Contrastive Language-Image Pre-training (CLIP) 本作基础模型