transformer复现（fragattacks复现）

科技前沿 • 2025-05-18 10:26 • 阅读 33

大家好，我是讯享网，很高兴认识大家。

蚂蚁集团最近也出来炸场了，9月推出了自研KAG框架，直接掀翻朴素RAG，提升了一倍性能！近日也终于开源。

这个KAG框架其实是一种知识增强技术，为了解决模型在理解和生成专业知识方面的不足。这种技术可以提高模型的性能和质量，让模型能更准确地回答涉及专业知识的问题，给我们提供更高效、便捷的知识服务。

因此在很多场景中，特别是智能问答系统、教育个性化等，知识增强是我们的首选，自然也成了研究热点，相关成果效果绝佳，比如AudioBERT方法，预测准确性提高了40%+；KnowAgent框架，保证性能的同时提升了12倍参数效率。

除此以外，还有一些很值得学习的知识增强新方法，我从中挑选了10篇，简单提炼了可参考的创新点，希望可以给同学们提供论文灵感。

扫码添加小享，回复“知识增强”

免费获取全部论文+开源代码

KAG: Boosting LLMs in Professional Domains via Knowledge Augmented Generation

方法：作者通过引入知识增强生成（KAG）框架解决传统RAG方法在专业知识服务中的局限性，重点在于利用知识图谱和向量检索互相增强，提升生成和推理性能。多跳问答任务验证了其优越性，显著提升了问答的专业性和准确性。

创新点：

AudioBERT: Audio Knowledge Augmented Language Model

方法：论文通过一个高效的LLM数据生成管道引入首个用于评估语言模型听觉知识的基准数据集，发现文本预训练语言模型在听觉常识上不足，并提出通过自适应检索和利用听觉知识（使用可切换LoRA方法）注入听觉知识，提高多模态适应性。

创新点：

扫码添加小享，回复“知识增强”

免费获取全部论文+开源代码

Knowagent: Knowledge-augmented planning for llm-based agents

方法：论文提出了一个名为KnowAgent的框架，通过整合外部动作知识来增强大型语言模型的规划能力，解决规划幻觉问题，采用知识自学习策略优化任务路径，实验结果表明KNOWAGENT在HotpotQA和ALFWorld数据集上的表现优于现有基准。

创新点：

Mllm is a strong reranker: Advancing multimodal retrieval-augmented generation via knowledge-enhanced reranking and noise-injected training

方法：论文提出了一种名为RagVL的框架，通过知识增强的重排序和噪声注入训练来改进多模态检索增强生成。研究采用了简单的指令模板进行重排序训练，并在生成过程中引入视觉噪声，以提高模型的鲁棒性。

创新点：

扫码添加小享，回复“知识增强”

免费获取全部论文+开源代码