先设计过滤规则再选择实现方式，可提升日志处理效率。从明确需求（如监控错误、分析访问）出发，针对不同格式日志（如 syslog、Nginx）使用 Shell 脚本（grep/awk/sed）快速过滤基础信息，或用 Python 进行结构化解析、正则匹配与多条件判断，并可集成至 rsyslog 规则或通过 journalctl+json 实现系统级过滤，逐步构建高效可控的日志过滤体系。
在 Linux 系统中，日志数据量大且来源多样，直接查看原始日志效率低。构建自定义日志过滤模块可以按需提取关键信息，提升排查问题和监控系统的效率。实现方式灵活，可基于脚本、工具 链或集成现有日志框架。
明确过滤需求与日志格式
开始前需清楚目标：是监控错误、分析访问行为，还是追踪特定服务？常见日志如/var/log/messages、/var/log/syslog、Nginx 的access.log 等，每种格式不同。例如：
- Nginx 访问日志通常包含 IP、时间、请求路径、状态码
- 系统日志可能以时间戳 + 主机名 + 服务名开头
根据字段设计过滤规则，比如只保留状态码为 500 的请求，或筛选含“Failed”关键字的行。
使用 Shell 脚本快速实现基础过滤
对于简单场景，用 grep、awk、sed 组合即可完成。例如编写一个 shell 脚本filter_logs.sh：
#!/bin/bash LOG_FILE=$1 PATTERN=$2 <h1> 提取含错误关键词的日志 </h1><p>grep -E "ERROR|Failed|denied" $LOG_FILE | awk '{print $1,$2,$3,$(NF)}' | sort | uniq -c</p>运行：./filter_logs.sh /var/log/syslog ERROR，输出带计数的去重记录。可根据需要加入时间范围过滤（如用 date 命令比对）或输出到文件。
编写 Python 模块实现高级过滤逻辑
当需求复杂（如正则分组、多条件判断、输出 JSON），Python 更合适。示例代码：
import re import sys from datetime import datetime <p>def parse_log_line(line):</p><h1> 匹配常见 syslog 格式 </h1><pre class='brush:php;toolbar:false;'>pattern = r'(w+s+d+s+S+)s+(S+)s+(S+):s+(.*)' match = re.match(pattern, line) if match: timestamp, host, service, message = match.groups() return { "time": timestamp, "host": host, "service": service, "level": "ERROR" if "error" in message.lower() else "INFO", "msg": message } return Nonedef filter_logs(file_path, keyword=None): results = [] with open(file_path, ‘r’) as f: for line in f: parsed = parse_log_line(line) if parsed and (not keyword or keyword.lower() in parsed[‘msg’].lower()): results.append(parsed) return results
if name == “main“: logs = filter_logs(sys.argv[1], sys.argv[2] if len(sys.argv) > 2 else None) for entry in logs: print(entry)
该模块支持结构化解析、关键字过滤和级别标记，还可扩展为读取 配置文件、写入数据库或通过 API 暴露服务。
结合 rsyslog 或 journalctl 增强系统级过滤
若需长期部署，可利用系统机制：
- rsyslog：在 /etc/rsyslog.d/ 下新建规则文件，定向输出特定日志到独立文件
- journalctl：配合 systemd 服务，使用 - j 参数输出 JSON，并用 jq 进一步处理
例如：journalctl -u nginx.service -o json | jq ‘select(.CODE_LINE)’ 可实现服务级结构化过滤。
基本上就这些。从简单脚本起步，逐步过渡到模块化程序，再结合系统工具，就能搭建出适应实际场景的日志过滤能力。关键是保持规则清晰、输出可控，避免过度消耗资源。
