Go 语言高并发需合理调度:用固定 worker 池 + 任务 channel 限并发,sync.WaitGroup 等待完成,context 控制超时与取消,channel 做生产者 - 消费者通信并设缓冲防阻塞。

Go 语言天生支持高并发,开启多协程(goroutine)处理任务并不难,关键在于 合理调度、避免资源争用、控制并发规模、确保结果可靠。下面从实际出发,讲清楚核心思路和常用做法。
用 go 关键字快速启动协程,但别无节制
最基础的方式就是 go func() { ……}()。但直接在循环里狂起 goroutine 很容易压垮系统——比如读取 10 万行日志并逐行处理,如果每行都起一个 goroutine,瞬间上十万协程,内存和调度开销会飙升。
- 推荐配合 固定数量的工作协程 + 任务队列(channel)使用
- 用
sync.WaitGroup等待所有任务完成 - 必要时加
runtime.GOMAXPROCS(n)控制并行线程数(通常默认即可,不建议随意改)
用 channel 做任务分发与结果收集
channel 是 Go 并发的“管道”,天然适合做生产者 - 消费者模型。把任务发到输入 channel,多个 goroutine 从里面取;处理完再把结果写进输出 channel。
- 输入 channel 一般设为
chan Task,关闭后消费者能感知退出 - 输出 channel 可以是
chan Result,主协程 range 接收,或用select配合超时控制 - 注意 buffer 大小:无缓冲 channel 会同步阻塞,有缓冲可缓解瞬时压力(如
make(chan Task, 100))
限制并发数:worker pool 模式最稳妥
真正可控的并发调度,靠的是 worker pool(工作池)。它明确限定同时运行的 goroutine 数量,既防爆又保吞吐。
立即学习“go 语言免费学习笔记(深入)”;
- 启动 N 个长期运行的 worker 协程,每个都 for-select 从任务 channel 读取
- 主协程只负责往 channel 塞任务,不关心谁来干
- 可通过调整 worker 数量(如 CPU 核心数的 2–4 倍)平衡 I/O 密集型或 CPU 密集型任务
- 简单示例:启动 5 个 worker 处理一批 URL 抓取任务,无论 URL 是 100 个还是 10 万个,最多同时发 5 个请求
错误处理与上下文取消不能少
真实场景中,任务可能失败、超时、被主动中断。用 context.Context 统一管理生命周期非常必要。
- 把
ctx传给每个 worker,在 I/O 调用中使用(如http.NewRequestWithContext) - worker 内部用
select {case 响应取消 - 主协程调用
ctx, cancel := context.WithTimeout(……),并在结束前cancel() - 错误建议通过额外 channel 或结构体字段返回,避免 panic 泛滥
基本上就这些。Golang 并发不复杂,但容易忽略调度边界和资源守恒。把 channel 当队列、worker 当工人、context 当哨兵,模型就立住了。