最近了解了下些常见的推理和加速方案：量化方案：gptq、quantization、int8、int4、AWQ、SpeculativeDecoding、GGUFAttention加速方案：atten的

论文名称：LM-Combiner:AContextualRewritingModelforChineseGrammaticalErrorCorrection论文作者：王一轩，王宝鑫，

大模型在指定任务上进行微调后，会取得较为不错的效果，但同时可能带来模型原有能力的下降。今天给大家带来一篇通过自我蒸馏减轻大模型微调时的灾难性遗忘的方法-SDFT（Self-DistillationF

最近长上下文的业务需求越来越多，刚好把这个能力现状和主流方案的基础内容简单梳理一下。跟长文本最相关的自然就是位置编码，现在很多模型都使用了RoPE这种位置编码，之前已经把RoPE的基础内容梳理了一遍：

在这篇博客中，我们将向你介绍俄罗斯套娃嵌入的概念，并解释为什么它们很有用。我们将讨论这些模型在理论上是如何训练的，以及你如何使用SentenceTransformers来训练它们。除此之外，我们

OpenAI：Superalignment的一种途径——Weak-to-StrongGeneralizationIIya在OpenAI出大新闻之前在好多场合讲了要推进“Superalignment”