在本地跑 7B 级模型，现在已经是消费级显卡能承受的事。但要把它用在真实工作里，需要先想清楚几件事。

一、量化版本先跑起来：4 位量化的 8B 模型通常只需 6 到 8GB 显存，能在单张消费卡上流畅对话。先验证“能不能用”，再考虑“要不要更准”——精度和显存永远是权衡。

二、速度与上下文：显存够不代表速度快。上下文越长，生成越慢；把上下文控制在 4K 以内，交互体验通常最稳。

三、能力边界：小模型适合改写、摘要、分类、格式转换，不适合复杂推理与长文档分析。把它当“文本处理器”而不是“专家”，预期就对了。

四、隐私价值：本地部署最大的收益不是省钱，而是数据不出内网。涉及合同、客户资料、内部代码的场景，这一点往往比效果提升更重要。

五、维护成本：模型更新、显卡驱动、显存不足、服务进程崩溃，都需要人盯着。个人使用问题不大，团队使用要有基本的监控与重启机制。

一个实用的组合是：日常改写与摘要交给本地小模型，复杂任务再调云端大模型，敏感内容永不出内网。