Tag: Representation Learning
All the articles with the tag "Representation Learning".
-
Diff-Prompt: Diffusion-Driven Prompt Generator with Mask Supervision
Published: at 04:32 PM
54.39 🤔本文提出Diff-Prompt方法，使用扩散模型基于掩码监督生成细粒度提示信息，显著提升预训练多模态模型在复杂指代表达理解任务上的性能，同时保持高效微调。
-
W-PCA Based Gradient-Free Proxy for Efficient Search of Lightweight Language Models
Published: at 04:30 PM 53.85 🤔本文提出 W-PCA 方法，通过结合参数数量和主成分分析，提供一种高效的零-shot NAS 代理，用于轻量级语言模型的搜索，显著提高了搜索效率和模型性能。
-
PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning
Published: at 04:28 PM 53.32 🤔本文提出PointLoRA方法，通过低秩适配和多尺度令牌选择，实现点云模型的参数高效微调，显著减少可训练参数同时在多个数据集上达到竞争性性能。
-
Empirical Evaluation of Progressive Coding for Sparse Autoencoders
Published: at 04:33 PM 51.36 🤔本文通过实证评估比较了Matryoshka SAEs和基于字典幂律修剪的方法，以实现SAEs的渐进式编码，提高计算效率、重建保真度和可解释性。
-
Improving Reasoning Performance in Large Language Models via Representation Engineering
Published: at 11:15 PM 88.60 👍本文通过表示工程方法，利用控制向量干预大型语言模型的残差流，成功提升了Pythia和Mistral模型在归纳、演绎和数学推理任务上的表现，表明推理能力可通过调整内部表示进行调控。