C++ 轻量级线程安全 Job System 采用无锁设计:Job 结构体(alignas(64))封装函数指针与原子依赖计数;工作线程本地双端队列 + 全局偷任务队列;引用计数驱动依赖调度;内存池 +freelist 管理 job 生命周期。

用 C++ 实现一个轻量级、线程安全的 Job System,核心是把任务(Job)拆成可并行执行的小单元,由工作线程池统一调度。不依赖第三方库(如 Intel TBB),纯手写,适合嵌入游戏引擎——重点在低开销、无锁 设计、依赖管理与内存友好。
1. Job 基类与函数对象封装
每个 job 应是一个可调用对象,支持捕获上下文、无虚函数开销(避免 vtable)、能自动推导参数。推荐用 std::function + lambda 封装,但为性能考虑,更优解是自定义轻量包装器:
- 定义
Job结构体,含执行函数指针(或void*+ 调用函数)、用户数据指针、依赖计数(atomic_int) - 用
alignas(64)对齐,避免 false sharing - 不使用虚函数;通过模板 + 类型擦除(如小型缓冲区 + 函数指针)实现零成本抽象
2. 线程池与无锁任务队列
主线程提交 job,工作线程从共享队列中取 job 执行。关键点是避免锁竞争:
- 用
moodycamel::ConcurrentQueue(轻量、无锁、头尾分离)——若坚持纯手写,可用双端无锁队列(如 Treiber stack + steal-local deque) - 每个工作线程维护自己的本地双端队列(local deque),优先 pop_back(LIFO,提高 cache 局部性),全局队列用于跨线程 steal(pop_front)
- 主线程提交 job 到全局队列;工作线程空闲时尝试从其他线程本地队列偷任务(work-stealing)
3. 依赖管理与 同步机制
游戏逻辑常需顺序保障(如“动画更新 → 物理模拟 → 渲染准备”),不能只靠提交顺序。用引用计数 + 回调通知:
立即学习“C++ 免费学习笔记(深入)”;
- 每个 job 持有
std::atomic_int m_dependents{0},表示它被多少个后续 job 依赖 - job 执行完后,对每个依赖它的 job 调用
done():原子减一,若归零则将其加入就绪队列 - 提交 job 时,用
job->add_dependency(other_job)自动递增对方的m_dependents - 避免用 barrier 或 condition_variable;全部基于原子操作 + 队列推送,保持无锁
4. 内存分配与生命周期控制
频繁 new/delete job 会成为瓶颈。采用内存池 + 对象复用:
- 预分配大块内存(如 1MB slab),按固定大小(如 128B)切分为 job slot
- 用 freelist(单链表,head 存于 atomic 指针)管理空闲 slot,push/pop 无锁
- job 提交后由系统负责释放(执行完且无依赖时自动归还),用户只需调用
JobSystem::AddJob(……) - 禁止在 job lambda 中持有外部 栈对象引用;所有数据应拷贝或用 arena 分配
基本上就这些。实际集成到引擎时,再加一层封装:比如 ParallelFor(自动切分 range)、WaitForJobs(spin-wait 依赖组)、ScopeGuard(确保帧结束前所有 job 完成)。不复杂但容易忽略的是 cache 对齐、依赖计数初始化、以及 worker 线程的亲和性绑定(pthread_setaffinity_np 或 Windows SetThreadIdealProcessor)——这些细节能让 job system 在真机上稳稳跑满多核。