Spinel 无 GVL 真并行线程模型：M:N 调度、工作窃取与停止世界 GC 如何协同

Spinel 无 GVL 真并行线程模型：M:N 调度、工作窃取与停止世界 GC 如何协同

【免费下载链接】spinelRuby AOT compiler项目地址: https://gitcode.com/gh_mirrors/spin/spinel

Spinel 是一款 Ruby AOT 编译器，能把 Ruby 源码编译为独立原生可执行文件。它的最大亮点之一，是不依赖 GVL（全局虚拟机锁）的真并行线程模型：Ruby 线程被调度到 N 个 OS 工作线程上同时运行，配合 M:N 调度器、工作窃取与停止世界（STW）垃圾回收，CPU 密集型线程可以在多个核心上真正并行推进。这篇指南带你读懂这套模型的三大支柱是如何协同工作的。

🧵 为什么 Spinel 的线程是"真并行"

CRuby 的线程受 GVL 约束，同一时刻只有一个线程执行 Ruby 代码；而 Spinel 采用的是JRuby / TruffleRuby 式的并行模型：

• 两个线程可以同时跑在两个核心上，互不阻塞；
• 没有隐式的"每对象锁"，共享数据不加同步就是数据竞争；
• 用户可见的线程契约写在 docs/thread.md，实现细节（M:N 调度器、运行队列、抢占监控）则在 docs/internals/thread-mn-design.md。

⚠️ 重要心智转换："看起来不并发"不是 Spinel 的特性，而是需要你用Mutex主动保证的正确性。

🏗️ M:N 调度：绿色线程跑在 N 个 OS 工作线程上

Spinel 中每个 RubyThread是一个绿色线程（green thread），底层复用与Fiber完全相同的协程机制——代码生成阶段线程块就是按Fiber.new的方式构建的，"线程 = 协程 + 一条调度记录"。

调度体系的关键设计（权威实现见 lib/sp_sched.h、lib/sp_sched.c）：

组件	作用
N 个 OS workers	数量 =min(在线核心数, SPINEL_WORKERS)；worker 0 即主线程
全局运行队列g_grq	新创建、被唤醒的线程先落到这里
每 worker 本地队列g_lrq	保持"就地重跑"的局部性
工作窃取	worker 取任务的顺序：本地 → 全局 → 从更忙的 worker 偷一个
单把互斥锁	保护所有队列、存活线程注册表与等待列表，避免锁风暴
off-cpu 握手	off_cpu/wake_pending标志防止"唤醒者"在线程还没切完栈时就把它投到第二个 worker

工作窃取的价值在于：没有单一热点队列，负载天然被摊平，每个 worker 都能持续吃到可运行线程。

另外还有一个容易忽略的细节：线程被钉在首次运行的 worker 上（home_wid字段，见 lib/sp_sched.h）。因为线程存活的 C 栈帧里缓存了该 worker 的 TLS 地址（GC 影子栈、异常栈等），换 worker 恢复会污染两边的线程局部数据。

⏱️ 监控线程与抢占：忙线程不会被饿死

一个专职的监控线程（sysmon）负责三件事：

1. 计时器：sleep、带超时的 I/O 与同步等待统一汇入一个CLOCK_MONOTONIC最小堆，到期唤醒；
2. 时间片抢占：监控线程每 5 ms 复查各 worker 当前线程的运片时长，超过约 10 ms 时间片就发出抢占请求（默认SIGURG，可用SPINEL_PREEMPT_SIGNAL覆盖）。抢占在安全点轮询处生效——即循环回边处生成if (safepoint_flag) safepoint()——所以这是一个线程死循环也不会饿死兄弟线程；
3. 调度器感知的 I/O：等待 socket、管道、终端读就绪的线程会整体让出 worker，由监控线程重建poll()集合，fd 就绪或超时先到者唤醒。

第 3 点不只是公平性问题：GC 要在安全点停止所有 worker，而陷在内核系统调用里的 worker 永远到不了安全点——阻塞 I/O 如果不让位，会拖住每个线程的下次内存分配。

🧹 停止世界 GC：并行堆上不加写屏障的正确性保障

多个 worker 同时改写堆，Spinel 的解法是在安全点上的 stop-the-world：

• 收集器请求 STW 后设置标志位，worker 在循环回边轮询到即停车；
• 停在屏障上的 worker 会先把"正在途"的根（未决异常对象、proc 返回的 home 值）发布到影子栈，收集器再标记所有 worker 的根纤维与全部存活绿色线程；
• 空闲等待的 worker 属于"世界之外"：它的根在变闲时已发布，收集按"驻车"计数、不去唤醒它；
• 单线程程序完全不受影响——标志位永不为真，轮询只是一次预测不取的加载，且调度器代码根本不会被链接进归档。

真正的暂停只发生在mark（标记）阶段，而且 mark 的排空由收集器加最多 4 个驻车 worker 分担（SPINEL_GC_PAR_MARK）。sweep（清扫）不停世界：标记完成后关闭分配纪元即恢复程序，各 worker 在跑用户代码前清扫自己的 chunk，大对象列表交给旁路的清扫线程池。官方实测：在 32 核上跑 Rails 形态的服务，去掉 STW 清扫后吞吐提升 20%、p99 延迟降低 20–50%，暂停压到 1 ms 以内。

还有一个针对多 worker 的巧妙补偿：收集预算随 worker 数缩放。八个 worker 在八倍堆大小时才收集，用几 MB 滞留垃圾换掉了多 worker 罚税——某分配密集型基准上，8 worker 从比 1 worker 慢 1.7 倍回到大致持平。

🔒 同步原语：真正的阻塞，不是忙等

Mutex/Queue/SizedQueue/ConditionVariable都是真正阻塞原语：调用者绿色线程被挂起、把 worker 让给别的线程，等待者挂在侵入式等待列表上。

• Mutex不可重入，#unlock直接交接给下一个等待者；
• Queue是生产者/消费者交接的核心：空队列上pop挂起、满SizedQueue上push(timeout:)挂起，且Queue本身线程安全，可替代"共享容器 + 锁"；
• ConditionVariable#wait按"放锁 → 挂起 → 唤醒后重新拿锁"路径工作，支持超时。

⚖️ 用户须知：数据竞争是可观察的

这是真并行模型的直接后果，也是与 CRuby 最大的行为差异：

场景	在 Spinel 中的表现
两线程无锁写同一Array/Hash	数据竞争可被观察，容器扩容重分配与元素写入竞争，结果可能是丢元素、堆损坏中止甚至 SIGSEGV
两线程写不同的实例变量	安全——ivar 集合在编译期固定，互不丢失
竞争读写一个 Integer/String 等"字宽" ivar	读到的必是某次写入的完整值，不会撕裂，但可能读到旧值
竞争读写Range/Time等多字 ivar	可能撕裂：first来自一次赋值、last来自另一次

一句话原则：跨线程的正确性是程序的责任，用Mutex、Queue或ConditionVariable显式同步。相关约束汇总见 docs/limitations.md。

🛠️ 关键环境变量速查

变量	作用
SPINEL_WORKERS	控制 OS worker 数（默认自动探测在线核心）；设为1回到单 worker 协作模式
SPINEL_PREEMPT_SIGNAL	抢占信号（默认SIGURG）
SPINEL_SCHED_STATS=1/2	退出时打印调度器统计；2额外每 5 秒输出等待直方图与线程在 worker 间的分布
SPINEL_GC_THRESHOLD_KB	每 worker 的收集预算，调大可减少 STW 次数、以内存换停顿（默认 256）
SPINEL_GC_MINOR=0	关闭分代对象标记，每次收集标记整个存活堆

线程相关的行为测试位于 test/threads/ 目录（如原子打印、Fiber 栈溢出、FFI 阻塞下的 GC 交互等），可配合阅读。

📌 小结

Spinel 的线程模型是一套三件套的精密配合：M:N 调度器把海量绿色线程摊到少数 OS worker 上并用工作窃取保持喂饱，监控线程用时间片抢占和调度感知 I/O 保证公平与及时，STW GC则用"安全点停车 + 并行标记 + 旁路清扫"在不引入每对象写屏障的前提下保证并行堆的正确性。结果就是官方给出的两个数字：CPU 密集型工作 8 worker 实测8.25 倍近线性扩展；分配密集型工作通过预算缩放基本追平单 worker。对于追求高并发、想摆脱 GVL 束缚的 Ruby 服务来说，这正是 Spinel 值得关注的核心竞争力。

【免费下载链接】spinelRuby AOT compiler项目地址: https://gitcode.com/gh_mirrors/spin/spinel