教程 · AI 工具
本地跑 7B 模型就爆显存：先降量化再减上下文
根据显存选择量化等级和上下文长度，让本地模型稳定运行且生成速度可接受。
前置：有一块独立显卡，已安装本地模型运行工具，准备运行 7B 级别模型。
材料：本地运行工具、显卡驱动、量化模型文件、显存监控工具
材料：本地运行工具、显卡驱动、量化模型文件、显存监控工具
步骤
1. 先确认可用显存
用任务管理器或显卡工具看实际可用显存，注意扣除系统和浏览器占用；标称容量不等于能全部给模型用，先关掉占显存的程序。
2. 从 4bit 量化开始
7B 模型 4bit 量化通常占用 5 到 6GB 显存，具体以实测为准；直接加载未量化版本，多数消费级显卡会直接爆显存。
3. 把上下文长度降下来
上下文越长占用的显存越多，先把上下文设小一点跑通，再逐档加；一上来开最大上下文，是新手最常见的爆显存原因。
4. 必要时把部分层放到 CPU
显存仍然不够时，把部分层卸载到内存运行，速度会下降但能跑起来；卸载比例一点点调，找到速度和稳定性的平衡。
5. 测速并记录配置
用同一段提示词测生成速度，记录量化等级、上下文和卸载比例；换模型或更新驱动后可以快速复现同一组参数。
做完检查
- 加载和生成过程中没有爆显存
- 生成速度在实际可接受范围内
- 配置参数已记录，可重复使用
常见错误
- 直接加载未量化模型，显存瞬间打满
- 上下文开到最大，显存被缓存吃掉
- 忽略驱动和运行库版本，报错找不到原因
相关工具
同类教程
提示词写了五百字还是答偏：先给角色、读者和禁区
用角色、读者、任务、结构和禁区五个槽位重写提示词，让输出稳定落在预期范围内。
查看 →AI 说得头头是道却找不到原文：要求带位置引用再回查
让模型在回答里标出原文位置和不确定项，再逐条回查，避免把模型复述当成原文依据。
查看 →长文档塞不进上下文：先分段摘要再汇总，别硬塞
把超长文档按章节拆开分段摘要，再用统一模板汇总，保证关键信息不丢且可回溯。
查看 →更新时间：2026-10-29 · 平台规则/软件版本会变；操作前保留原件，以实际页面为准。
跨库学习路径
按共同关键词匹配，不是随机推荐；从任务到提示词/教程/项目继续走。