Tag: Continual Learning
All the articles with the tag "Continual Learning".
-
Rethinking Memory in AI: Taxonomy, Operations, Topics, and Future Directions
本文通过提出AI记忆系统的分类(参数、上下文结构化和非结构化)和六种基本操作(整合、更新、索引、遗忘、检索、压缩),系统化地综述了长期记忆、长上下文、参数修改和多源记忆等研究主题,并展望了未来方向。
-
The dynamic interplay between in-context and in-weight learning in humans and neural networks
本文通过神经网络中上下文学习(ICL)与权重学习(IWL)的动态交互,统一解释了人类学习中的组合性泛化、课程效应及灵活性与保留性权衡,为认知科学双过程理论提供了新视角。
-
Replay to Remember: Retaining Domain Knowledge in Streaming Language Models
本文通过结合LoRA和轻量级重放机制的方法,在流式学习条件下帮助大型语言模型减轻灾难性遗忘,同时实现了实时域适应。