02
CHAPTER
6 节 · 按顺序完成
列表 / 字典操作
推理请求、批处理、token 列表、配置字典 — 你最常打交道的数据结构
01
2.1 列表的增删改查
一批推理请求就是一个 list；动态拼 batch 是推理服务的核心操作
→
02
2.2 列表推导式
推理预处理里 90% 的 list 操作都可以写成一行推导式
→
03
2.3 字典的增删改查
推理参数（model、temperature、max_tokens...）就是一个 dict
→
04
2.4 字典推导式
把一个 list 转成 {id: request} 的索引是推理 batching 的常见起手式
→
05
2.5 嵌套结构：推理请求的"俄罗斯套娃"
推理请求体几乎都是嵌套 dict + list：messages[].content、sampling_params、logprobs...
→
06
2.6 collections：Counter / defaultdict
统计 token 频率、按 model 分组请求——你不会想手写循环的
→