Posts
All the articles I've posted.
-
Diff-Prompt: Diffusion-Driven Prompt Generator with Mask Supervision
Published: at 04:32 PM
54.39 🤔本文提出Diff-Prompt方法，使用扩散模型基于掩码监督生成细粒度提示信息，显著提升预训练多模态模型在复杂指代表达理解任务上的性能，同时保持高效微调。
-
W-PCA Based Gradient-Free Proxy for Efficient Search of Lightweight Language Models
Published: at 04:30 PM 53.85 🤔本文提出 W-PCA 方法，通过结合参数数量和主成分分析，提供一种高效的零-shot NAS 代理，用于轻量级语言模型的搜索，显著提高了搜索效率和模型性能。
-
Beyond Public Access in LLM Pre-Training Data
Published: at 04:32 PM 53.67 🤔本文通過DE-COP成員推斷攻擊方法，使用O'Reilly書籍數據集證明OpenAI的GPT-4o可能訓練過非公共版權內容，突顯了LLM預訓練數據中非公共數據使用增加的趨勢及加強透明度和許可框架的必要性。
-
On-Device Qwen2.5: Efficient LLM Inference with Model Compression and Hardware Acceleration
Published: at 04:29 PM 53.38 🤔本文提出软件硬件协同优化框架，通过 AWQ 模型压缩和 FPGA 加速在边缘设备上高效部署 Qwen2.5-0.5B 模型，实现 55.1% 的压缩率和 5.1 tokens/s 的推理速度，同时保持较高准确性。
-
ASIDE: Architectural Separation of Instructions and Data in Language Models
Published: at 04:27 PM 53.34 🤔本文提出ASIDE方法，通过在嵌入级别应用固定正交旋转实现大型语言模型的指令-数据架构分离，提高了模型的安全性和对提示注入攻击的鲁棒性，同时不牺牲性能。