Python lxml怎么清理和修复不规范的HTML/XML

9次阅读

lxml 修复 HTML/XML 的核心方法是:先用 etree.HTML()或 HTMLParser(recover=True)自动修复语法错误,再用 Cleaner 过滤危险内容,必要时通过 xpath 手动调整结构。

Python lxml 怎么清理和修复不规范的 HTML/XML

lxml 的 etree.HTML()etree.XML() 本身就会自动修复常见语法错误,但更可靠、更可控的方式是使用 lxml.html.clean 模块清理 HTML,配合 lxml.etree.Parser 的 recover 选项修复损坏结构。

用 HTMLParser 自动修复破损 HTML

面对缺失闭合标签、错位嵌套、未转义字符等 常见问题,直接用带容错能力的解析器最省心:

  • 启用 recover=True(默认开启)让 parser 尽力重建树结构
  • 对严重破损的 HTML,显式创建 HTMLParser 并设 recover=True
  • 避免用 XMLParser 解析 HTML——它更严格,容易报错退出

示例:

from lxml import etree, html <h1> 自动修复并解析(推荐用于网页抓取结果)</h1><p>broken_html = "<p>Hello <b>world</p><p><span> 立即学习 </span>“<a href="https://pan.quark.cn/s/00968c3c2c15" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">Python 免费学习笔记(深入)</a>”;</p></b>" tree = html.fromstring(broken_html)  # 内部已用 recover=True 的 HTMLParser</p><h1> 或显式控制 </h1><p>parser = html.HTMLParser(recover=True) tree = etree.parse(StringIO(broken_html), parser)

用 Cleaner 移除危险或冗余内容

lxml.html.clean.Cleaner 不修复结构,而是安全过滤:删 script/style、剥离 JS 事件、清理注释、标准化空白等。

  • 默认只删 script/style,其他行为需手动开启
  • safe_attrs_only=True 只保留白名单属性(如 class、id),去掉 onclick 等
  • page_structure=False 允许保留 body 外的内容(如 head 中的 title)
  • 可组合使用:Cleaner(……).clean_html(html_string)

示例:

from lxml.html.clean import Cleaner <p>cleaner = Cleaner(scripts=True, style=True, javascript=True, embedded=True, frames=True, meta=True, page_structure=False, safe_attrs_only=True, remove_unknown_tags=False) clean_html = cleaner.clean_html("<script>alert()</script><p onclick='x()'>OK</p>")</p><h1>→ "<p>OK</p>"</h1><p>

手动修补常见结构问题

对于 parser 无法自动纠正的深层问题(如孤立的、错乱的表格嵌套),可结合 xpath 定位 + python 逻辑修复:

  • tree.xpath("//text()[normalize-space()='']") 找空文本节点并移除
  • 遍历所有 <table>,检查是否被意外包在 <code><p></p> 里(HTML 规范不允许),用 getparent().replace() 调整
  • etree.strip_tags(tree, 'font', 'center') 直接删弃用标签
  • 对乱码或非法字符,先用 html.unescape() 预处理字符串再解析
  • XML 场景:用 XMLParser + recover 处理松散 XML

    XML 比 HTML 更严格,但 lxml 的 XMLParser(recover=True) 仍能处理部分错误(如缺失结束标签、未闭合属性):

    • 仅适用于“类 XML”的不规范输入,不是万能的;严重错误仍会失败
    • 搭配 resolve_entities=False 防止 DTD 实体攻击(尤其处理不可信输入时)
    • 修复后建议用 etree.tostring(tree, encoding='unicode') 输出验证效果

    示例:

    from lxml import etree <p>broken_xml = "<root><item>A<item>B</root>" parser = etree.XMLParser(recover=True, resolve_entities=False) tree = etree.parse(StringIO(broken_xml), parser)

    基本上就这些。核心思路是:先用容错 parser 尽力恢复结构,再用 Cleaner 控制内容安全,必要时辅以 xpath + 手动调整。不复杂但容易忽略 recover 和 Cleaner 的组合使用。

星耀云
版权声明:本站原创文章,由 星耀云 2025-12-21发表,共计2151字。
转载说明:转载本网站任何内容,请按照转载方式正确书写本站原文地址。本站提供的一切软件、教程和内容信息仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。
text=ZqhQzanResources