AirLLM：大模型推理硬塞进小显存的那条路

lyogavin/airllm 主打在很小显存预算下跑超大参数量推理（仓库文案有「单卡约 4GB 量级尝试极大模型」一类表述，具体支持矩阵以 README 为准）[1]。对学生卡、办公本验模型的人，这类分层/分块加载思路比「再买一张卡」现实。

代价通常是速度和工程复杂度。别把 demo 显存数字理解成生产吞吐；先看支持的模型格式和量化选项。

你是用它验证能否跑通权重，还是已经拿去做长文本批处理？