p; Q2：LLaVA-UHD v4的参数复用初始化具体是怎么做的？ A：在视觉编码器第6层之后插入压缩模块时，该模块的全部参数都直接从相邻的第6层预训练权重复制而来，而非随机初始化。窗口注意力部分直接拷贝第6层的注意力权重，融合MLP部分则被构造成模拟"对窗口内四个格子各跑一次第6层前馈网
当前文章：http://osw3o7s.peilansu.cn/r1vox/0zn4.html
发布时间：00:00:00
