事件循环与任务队列
j8 不带异步运行时(没有 tokio)。事件循环是 j8 自己的:j8framework::EventLoop 建在 j8taskqueue 的队列上,
EventLoopSet 把成千上万个事件循环钉在少数几个 loop 线程上跑。
一个事件循环
EventLoop 是一个 JS 事件循环:自己的 isolate、引擎、一个上下文,以及一个 j8taskqueue 队列。队列就是事件循环,
里面有三种任务:
- 脚本:每次跑一个检查间隔的步数(缺省约一千条指令,V8 在函数入口与回跳处的中断检查),然后让回队列;
- 兑现:用宿主任务的结果兑现一个 promise,再排空微任务;
- 轮询:被唤醒的宿主 future 的 poll(里面不跑 JS;就绪的 future 把它的兑现排进队列)。
脚本与兑现串成一条链:每个等前一个做完,所以 JS 一次只跑一个任务、跑到完。轮询不等任何东西。于是字节码每前进一段, 队列就被检查一次:这期间(从任何线程)变成就绪的宿主任务先被 poll,它的 JS 紧接着当前脚本之后跑。
什么都跑不了时,线程停泊,直到有 waker 被唤醒。run_until_idle 在这个事件循环没有剩下的脚本与 future 时返回。
很多事件循环:EventLoopSet
j8::EventLoopSet::scope(&platform, NonZeroUsize::new(8).unwrap(), |set| {
// set 上有 8 个 loop 线程,闭包结束时停掉
let rt = j8::Runtime::on::<MyHost>(set, Executor::default())?;
…
});
- 钉住,不抢。 一个事件循环某一时刻只住在一个线程上、不共享,所以线程跑它的事件循环不用任何锁:8 个线程、1000 个 事件循环,每个线程 125 个。线程维护一个本地队列,里面是有活要干的事件循环,轮流给每个一个回合。
- 只用消息。 别的线程经唤醒(某个事件循环有新东西了,用标志去重)或消息(建事件循环、在它的上下文里干活、 迁入迁出)找到 loop 线程,并等它回答。发给已经搬走的事件循环的消息会被转发。
- 负载均衡。 新事件循环去负载最轻的线程。没活干的线程向最忙的线程要一半差额,对方先交出排队等着的事件循环(工作窃取)。
set.rebalance()按需拉平,set.split(thread)新起一个线程、分走某线程一半的事件循环。事件循环只在回合之间迁移, 它的 isolate、引擎、暂停的脚本和挂起的 future 一起走。 - 统一配额。 每个回合跑集合的切片步数(
set.set_slice)乘以事件循环的权重(EventLoop::set_weight),每set.set_check步检查一次队列;set.loads()、set.spent()、EventLoop::spent()显示活都花在了哪里。长脚本不会 卡住同线程的其他事件循环。
宿主怎么用它写异步绑定,见异步与 Promise。
j8taskqueue
crates/j8taskqueue:无锁的数据流任务队列(no_std + alloc,除 j8lockfree 外不依赖别的)。
| 名字 | 作用 |
|---|---|
ITask | 一个任务:recursable(执行时能不能塞新任务、能不能要求再跑)、depend(要等谁先做完)、exec(带字节码配额执行) |
ITaskPoll / TaskQueue | 队列:add 塞一个任务拿到 TaskId,run 启动 |
Queue | 不带线程的队列本体,宿主长期持有(每个事件循环一个):run 在调用线程上跑,run_on 铺到线程池上 |
Pool | 线程池(几个线程、跑完一批闭包才返回),宿主实现;j8framework 的 Pool 就是它 |
TaskId | 任务句柄;family 找家族的根(并查集),cancel 取消整个家族 |
Quota | 字节码配额:执行器每跑一条字节码 spend 一次 |
设计要点:
- 数据流、无屏障:一个任务做完,依赖它且已等齐的任务立刻进就绪队列,被还在取活循环里的线程拿走。a、b 都被 c 依赖 而互不依赖 ⇒ a、b 并行,两个都做完 c 马上跑,不等不相干的任务;
- 不空转:取不到活的线程直接离开,不自旋;之后才就绪的活由让它就绪的线程接着跑;
- 全程无锁:依赖计数、下游表(可封口的
PushList)、并查集父指针、就绪队列(分段 MPMCFifo)都是原子操作; - 图不成环:依赖只能写已经塞进来的任务,依赖表在塞进来时读一次 ⇒ 不会死锁;
- 配额按字节码条数:用完没做完返回
Flow::Yield,回就绪队列排队;每次run还有总预算,花完返回Stop::Budget; - 借用而非
'static:任务活在'a里、可借用调用方数据,只要求Send。