推理基础设施 · Python第 3 章 · 异常处理
03
CHAPTER
4 节 · 按顺序完成

异常处理

一个请求挂掉不能让整个服务 503 — 你必须会处理异常

01
3.1 try / except：把可能出错的代码包起来
一个用户的 prompt 把 GPU 干 OOM，你不想让其他用户的请求跟着 503
→
02
3.2 多个 except：按类型分别处理
推理失败原因不同，处理方式也应该不同：OOM 该重试、参数错误不该重试
→
03
3.3 else 与 finally
finally 里几乎总是关文件、关连接、释放资源
→
04
3.4 raise 与自定义异常
推理框架会抛一堆自定义异常（ModelNotFoundError、ContextLengthExceededError...）
→
← 第 2 章从第一节开始 →