Tag: Pre-training

All the articles with the tag "Pre-training".

• X-Fusion: Introducing New Modality to Frozen Large Language Models

  Published: 4 May, 2025 |  at  04:31 PM

  

  66.52 🤔

  本文提出X-Fusion框架，通過凍結LLM參數並添加雙塔結構，高效實現多模態理解和生成，同時保留原始語言能力。

• Less is More: Towards Green Code Large Language Models via Unified Structural Pruning

  Published: 4 May, 2025 |  at  04:27 PM

  

  66.29 🤔

  本文提出Flab-Pruner，一种结合词汇、层和FFN剪枝的统一结构剪枝方法，通过KL散度优化和自定义微调策略，在减少代码LLM参数的同时保持高性能和效率。

• GuidedQuant: Large Language Model Quantization via Exploiting End Loss Guidance

  Published: 19 May, 2025 |  at  11:18 AM

  

  65.19 🤔

  GuidedQuant通过整合最终损失梯度信息并保留输出通道内权重依赖性，结合LNQ算法显著提升了大型语言模型在权重和激活量化下的性能，实现了更高效的后训练量化。

• Kimi-Audio Technical Report

  Published: 4 May, 2025 |  at  04:32 PM

  

  64.70 🤔

  本文提出Kimi-Audio，一个开源的音频基础模型，通过结合音频分词、LLM处理和逆分词的统一架构，以及大规模多模态训练，实现了音频理解、生成和对话的多任务SOTA性能。

• HYPEROFA: Expanding LLM Vocabulary to New Languages via Hypernetwork-Based Embedding Initialization

  Published: 4 May, 2025 |  at  04:33 PM

  

  62.92 🤔

  本文提出基于超网络的HYPEROFA方法，用于初始化新语言令牌嵌入，提高PLM对低资源语言的适应性，性能优于随机初始化并与OFA方法持平或更好。