Tag: Model Compression

All the articles with the tag "Model Compression".

• On-Device Qwen2.5: Efficient LLM Inference with Model Compression and Hardware Acceleration

  Published: 4 May, 2025 |  at  04:29 PM

  

  53.38 🤔

  本文提出软件硬件协同优化框架，通过 AWQ 模型压缩和 FPGA 加速在边缘设备上高效部署 Qwen2.5-0.5B 模型，实现 55.1% 的压缩率和 5.1 tokens/s 的推理速度，同时保持较高准确性。