参数小 ，性能强！开源多模态模子—TinyGPT 鉴于ViT的参数小EVA模子

TinyGPT-V主要架构

TinyGPT-V主要由大语言模子Phi-2 、参数小视觉编码器和线性投影层三大块组成。强开

开辟职员选择了微软最新开源的源多Phi-2 ，作为TinyGPT-V的模态模前提大语言模子 。Phi-2只有27亿参数 ，参数小但明白和推理威力异常强，强开出国劳务公司怎么找正规的能保留一年嘛在多项庞杂基准尝试中展现出与大130亿参数模子亲近也许突出的源多效验。

视觉编码器选择了与MiniGPT-v2相同的模态模架构
，鉴于ViT的参数小EVA模子 。这是强开一个预训练好的视觉前提模子，在整体TinyGPT-V的源多训练流程中依旧解冻状态。

线性投影层的模态模作用则是，将视觉编码器提取的参数小劳务公司需要办理哪些资质图像特征嵌入到大语言模子中，使大语言模子能够明白图像信息。强开

TinyGPT-V中的源多第一层线性投影层选择了来自BLIP-2的Q-Former组织，这样能够最大水准复用BLIP-2的预训练效果 
。

第二层线性投影层用新的高斯疏散初始化，手段是填充前一层输入和语言模子嵌入层之间的维度差异。

TinyGPT-V训练流程

TinyGPT-V的劳务公司办理资质需要多少钱训练通过了四个阶段
 ，每一个阶段所运用的数据集及试验流程各不相同
。

第一阶段是热身训练 ，手段是使Phi-2模子顺应图像形式的输入 
。这个阶段运用的训练数据蕴涵Conceptual Caption、SBU和LAION三个数据集，日本租房算计约500万幅图像和对应的形容文本 。

第二阶段停止预训练，手段是进一步增加图像文本对上的损失
。这个阶段异样运用第一阶段的Conceptual Caption、SBU和LAION数据集。试验树立了4个阶段，每一个阶段有5000个迭代 。

第三阶段停止指令调优 ，运用MiniGPT-4和LLaVA的一些带指令的图像文本对停止模子训练 ，如“形容这张图片的实质”。

第四阶段停止多恣意调优。这一阶段运用了越发庞杂和雄厚的多模态数据集，如LLaVA中庞杂语义对齐的句子、Flickr30K中的物体剖析数据集、多恣意融合语料、纯文本语料等 。

同时选择了与第二阶段相似的学习率政策，最终使得损失从2.720下落到了1.399。

为了尝试TinyGPT-V的性能，钻研职员从多个角度评价了在视觉问答 、视空间推理、图片字幕天生等多个视觉语言恣意上的展现 。

效果显现 ，TinyGPT-V的参数很小，性能却异常懀呛，譬如 ，在VSR空间推理恣意上，以53.2%的准确率
，突出整个介入尝试的模子 。

本文素材泉源TinyGPT-V论文
，若有侵权请通联省略