Transformer 特别适合摘要任务，因其自注意力机制可全局建模词间关系，解决 RNN 长程衰减问题，精准捕捉转折、因果等语义结构，配合编码器 - 解码器架构与匹配预训练目标（如 BART 去噪、T5 文本到文本）显著提升生成质量。
Transformer 模型是当前自然语言生成（NLG）与文本摘要任务的核心架构，其核心在于自注意力机制与位置 编码 的协同设计，而非依赖序列顺序的 RNN 结构。真正发挥效果的关键，不在于堆叠层数，而在于训练数据质量、微调策略和解码控制。
为什么Transformer 特别适合摘要任务
摘要本质是信息压缩与语义重组，要求模型准确识别关键实体、事件关系与逻辑主干。Transformer 通过全局自注意力，能在一次前向传播中建模任意两词间的依赖，避免 RNN 的长程衰减问题。例如，“尽管公司 Q3 营收增长 12%，但净利润同比下降 8%，主因研发投入增加 35%”这类含转折与因果的句子，BERT 类编码器可同时捕获“营收增长”与“净利润下降”的对立关系，以及“研发投入增加”这一原因节点。
实际应用中需注意：
– 编码器 - 解码器结构（如 BART、T5）比纯编码器（如 BERT）更适配生成式摘要；
– 预训练目标要匹配下游任务：BART 用去噪目标（mask+ 重构），T5 用文本到文本统一框架，均优于仅 MLM 预训练的模型；
– 中文场景下，需确认分词器是否支持字粒度或词粒度合理切分（如使用 BERT-wwm-ext 或 PERT）。
从零跑通一个摘要 Pipeline
以 Hugging Face Transformers 库为例，三步即可启动轻量级摘要服务：
- 加载模型与分词器：优先选用已微调的中文摘要模型，如IDEA-CCNL/Randeng-Pegasus-238M-Summary-Chinese（基于 Pegasus，专为中文新闻摘要优化）；
- 预处理输入：控制原文长度≤1024 token，过长时按句子切分后取 Top- K 重要句（可用 TextRank 初筛），避免截断关键谓词结构；
- 生成控制参数 ：设置
max_length=150（防冗余）、num_beams=4（平衡速度与质量）、repetition_penalty=1.2（抑制重复短语），中文建议关闭early_stopping以防截断未完成句。
常见失效场景与应对
模型输出空、乱码、套话或严重偏离原文，往往不是模型本身问题，而是数据或接口配置偏差：
立即学习“Python 免费学习笔记（深入）”；
- 输入含不可见控制符 ：PDF 提取文本常带 u200b、u3000 等 Unicode 空格，需用
re.sub(r'[u200b-u3000]+', ' ', text)清洗； - 领域错配：通用模型对法律条款、医疗报告等专业文本泛化差，应先用领域语料继续预训练（Continual Pretraining），再微调；
- 解码温度过高 / 过低 ：默认
temperature=1.0适合多数场景；若需更高确定性（如新闻摘要），设为 0.7；创意型摘要（如广告文案）可升至 1.1，但需配合top_k=50防失控。
进阶：可控生成与评估落地
业务中常需约束摘要风格或关键词覆盖。可通过以下方式实现：
- 前缀引导 ：在输入开头拼接指令，如
"【简明版】"或"关键词：碳中和、光伏、补贴"，部分模型（如 ChatGLM-6B 微调版）能响应此类提示； - 约束解码 ：使用 Hugging Face 的
ForceWordsLogitsProcessor强制生成指定词，适用于必须包含政策文件编号、产品型号等硬性字段的场景； - 评估不止看 ROUGE：ROUGE 高只说明 n -gram 重合多，建议人工抽样检查三点——事实一致性（是否捏造数据）、信息完整性（是否遗漏核心动词）、可读性（是否出现“其”“该”指代不明）。内部可用
factcc模型做自动事实校验。
