8GB显存也能玩转128K超长上下文！开源本地大模型工具Strata 0.2. 10 发布

开源本地AI工具Strata发布0.2.10版，专为消费级显卡优化。本次更新聚焦降低显存门槛、提升推理速度和优化多显卡协同，使普通电脑运行千亿参数大模型更轻松。亮点是显存大幅瘦身，8GB显卡也能支持128K超长上下文，而以往8GB显存开启64K以上上下文常受限制。整体让本地大模型部署更低门槛、更高效。

来源：AIbase