模型说明
哪些模型可部署、适用什么许可,可先查模型说明。
阅读模型说明将模型放到自有设备运行,需要同时考虑资源与维护工作。下面从是否需要本地部署开始,逐步检查硬件条件和可选实施路径。
考虑自建通常出于内网保密、大规模稳定请求,以及离线或深度定制这三类原因。
合规保密、成本以及微调插件等特殊推理要求,是对应的考虑因素,自建不应成为默认选择。
如果只是个人使用、请求量较小,可优先考虑网页或 API。
评估起点是模型大小,下一步才是量化精度。
随后检查显存、内存能否满足要求。
一般而言,小规模量化模型可使用消费级 GPU,但随着规模增加,内存和显存要求会显著上升。
若单卡装不下,可评估多卡或调整量化精度,资源数值请按官方模型卡并结合实测确认。
| 检查项目 | 评估依据 | 不足时如何调整 |
|---|---|---|
| 显存容量 | 模型大小和请求并发共同影响 | 降低精度,减少上下文长度,或切到多卡 |
| 主机内存 | 超过权重大小,另留加载余量 | 选择更小模型或量化版本 |
| 存储容量 | 存储权重、依赖文件,一般为内存的几倍 | 移除历史版本,并考虑模型仓库托管 |
| 算力、传输带宽 | 决定首个字延迟及吞吐量 | 控制并发、使用队列,将推理服务与业务分离 |
工程路径:用权重及推理框架。从官方仓库获取权重,选定推理框架,再配置权重格式与量化,适合具备工程能力的团队。将其服务化后,可获得较强可控性,为后续微调或开发留出空间。
验证路径:使用桌面工具。利用社区本地模型工具,按名称下载并运行,适合个人尝试。它可较快启动对话服务,代价是参数调节和并发能力受到限制。
# 路径二的典型流程(命令名以所用工具的官方文档为准)
1. 安装本地运行工具
2. 拉取目标模型权重
3. 先用默认参数跑通一次对话
4. 再按需调整上下文长度、并发数与量化精度
5. 最后开放给内网调用工程路径适合微调、推理策略定制以及长期业务服务。个人尝试与效果验证则可用第二条桌面工具路径。
不要求离线时,可以先采用 接入 DeepSeek API 中的 API 方式,降低接入成本。业务跑通以后,再评估迁移是否值得。
先看模型大小及量化配置;较小或量化模型通常可以使用消费级显卡。模型越大越可能要多卡和更多显存,还应留足加载权重的内存,最终依官方模型卡与测试确认。
模型下载完成即可在不联网的情况下进行推理。但联网检索、获取新版本等需要连接网络,隔离内网要先备齐权重和依赖。