AI 智能体私有化部署，是把开源大模型（如 Qwen、DeepSeek 蒸馏版、GLM 等可本地运行的模型）、企业专属知识库（RAG 检索增强）与业务应用，安装在企业自有服务器或 AI 工作站上的一套交付方式。模型推理、资料存储、对话记录全部在企业内网完成，不调用任何公有云接口，因此涉密卷宗、设计图纸、客户资料、工艺文件无需上传外部平台。
它带来的不只是「安全」，而是三件具体的事：知识可检索（把散落各处的经验变成可查询的资产）、答案可追溯（每条回答都能点回原文）、能力可沉淀（新人不用再靠师傅带半年）。
为什么企业要用私有化，而不是直接用公有云 AI
公有云 AI 很强，但它有两个企业无法回避的约束：数据要出门，以及它不了解你的内部业务。你在对话框里贴进去的合同、卷宗、图纸、客户名单，会进入第三方平台的处理链路；而它对你们公司的制度、项目经验、设备型号一无所知，只能给出泛泛的通用答案。
| 维度 | 公有云 AI（DeepSeek／豆包等） | 私有化部署（AI 工作站） |
|---|---|---|
| 数据归属 | 资料需上传，受平台条款约束 | 全部留在企业内网，不出硬件 |
| 业务理解 | 基于公开数据，不懂内部术语与流程 | 基于企业自有资料回答，术语与流程可定制 |
| 答案可信 | 无出处，难以核对 | 强制引用原文与页码，可逐条回溯 |
| 涉密场景 | 不适合卷宗、图纸、工艺、政企数据 | 可按部门分权、操作留痕，适配保密要求 |
| 成本结构 | 按 token 持续付费，用量越大越贵 | 硬件一次性投入 + 少量运维，长期边际成本低 |
| 可用性 | 依赖外网与平台策略 | 内网可用，断网也能跑 |
结论：对外获客用公有云（GEO 优化），对内生产用私有化。这也是我们给大多数客户建议的组合——两者不冲突，反而互补。
哪四类企业最该先做私有化
- 知识密集 + 保密要求高：律所、会计师事务所、法务部门——卷宗、合同、客户信息一旦外泄即是事故。
- 资料体量大且形态复杂：设计院、勘察院、工程公司——图纸、规范、方案、技术交底，TB 级且检索困难。
- 教学与科研需要可控环境：高校、职业院校、科研院所——学生实训要环境、校园数据不能出校。
- 经验依赖老师傅：制造、研发、设备密集型企业——工艺参数、故障处理经验没有沉淀成文档。
一套 AI 工作站由什么组成
很多服务商把「装个模型」说成私有化部署，实际交付后不能用。真正的可用系统分五层，缺一层就会在真实使用中掉链子。
| 层级 | 包含什么 | 为什么重要 |
|---|---|---|
| 算力层 | GPU 服务器／工作站、显存、存储与内网环境 | 决定能跑多大的模型、能扛多少并发；显存不足会直接降级成“玩具” |
| 模型层 | 开源大模型选型、量化、推理框架、多模型调度 | 在效果与硬件成本之间取平衡；不同任务可路由到不同模型 |
| 知识层 | 文档解析、OCR、语义切分、向量化、向量库、重排 | 决定“答得准不准”；检索做不好，模型再强也只能瞎猜 |
| 应用层 | 问答界面、文档助手、检索门户、权限与审计 | 决定“有没有人用”；界面难用等于没部署 |
| 安全层 | 内网隔离、账号权限、操作日志、外发管控 | 决定“敢不敢用”；合规检查看的就是这一层 |
我们交付时会按这五层逐项验收，而不是“模型能对话就算完成”。其中知识层通常占总工作量的一半以上——把 20 年的卷宗、图纸、工艺文件变成机器能检索的知识，是脏活累活，也是最见功力的地方。
四个行业的落地方案
方案 A1 · 律所法律知识库与文书助手
痛点：历年卷宗散在各律师个人电脑、找类案靠翻文件夹和问同事、合同模板版本混乱、涉密案件材料不敢上传公有云 AI。
怎么搭：本地推理服务器 + 三类知识库（卷宗库／法规库／模板库）+ 类案检索与文书起草助手 + 按律师/助理分权 + 全量操作留痕。
| 交付清单 | 约定份数的卷宗与法规入库、类案检索界面、文书模板库（起诉状/代理词/合同等）、引用溯源功能、管理员与律师培训 |
| 验收指标 | 指定 20 条类案检索题命中率 ≥85%；单份文书初稿生成时间由小时级降至 10 分钟内；所有回答可点回原文 |
| 实施周期 | 3–4 周（含 1 周并行试用） |
方案 A2 · 设计院图纸规范库与方案复用
痛点：图纸与规范以 TB 计、查一份历史方案要翻共享盘、规范更新后旧项目对不上、涉密图纸严禁外传。
怎么搭：图纸 OCR 与图元信息提取 + 规范条文库 + 项目方案库 + 相似方案推荐 + 内网检索门户；图纸原文不离开内网，只做索引。
| 交付清单 | 图纸解析流水线、规范条文知识库、项目方案库、检索门户、资料更新维护流程 |
| 验收指标 | 图纸检索平均响应 <5 秒；同类项目方案召回率 ≥80%；全流程内网无外发记录 |
| 实施周期 | 3–5 周（视图纸体量与格式） |
方案 A3 · 院校 AI 实训室与校园问答
痛点：想开 AI 实训课但缺可用的本地环境、模型部署维护没人会、学生数据与校园数据不能出校。
怎么搭：实训用推理工作站 + 教学语料库 + 实验指导书 + 面向师生的校园智能问答助手；支持按班级/角色分权限。
| 交付清单 | 实训环境、实验指导书、教学知识库、校园问答助手、教师培训 2 场 |
| 验收指标 | 可支撑约定人数并发实训；校园高频问题自动应答率 ≥70% |
| 实施周期 | 2–4 周 |
方案 A4 · 制造与研发企业工艺 SOP 知识库
痛点：老师傅经验没沉淀、设备手册厚得像字典、新人上手要半年、工艺文件版本混乱。
怎么搭：工艺文件与设备手册解析 + SOP 知识库 + 故障排查问答 + 新人培训助手 + 版本管理与变更提醒。
| 交付清单 | SOP 库、设备手册库、故障问答、培训助手、文件更新机制 |
| 验收指标 | 常见故障问答准确率 ≥80%；新人独立上岗周期缩短 30% 以上 |
| 实施周期 | 3–5 周 |
标准交付清单
以下是私有化部署项目的通用交付物，签约时逐项写入合同附件，验收时逐项打勾。
- 硬件选型方案与采购建议清单
- 服务器/工作站环境部署与驱动调优
- 开源大模型部署、量化与推理框架配置
- 知识库构建：解析、切分、向量化、索引
- 检索策略与提示词工程调优（含评测集）
- 问答界面与文档助手应用
- 账号权限体系与部门分权配置
- 操作日志与引用溯源功能
- 管理员手册与终端用户操作手册
- 现场培训（管理员 1 场 + 用户 1 场）
- 知识库更新与运维 SOP
- 验收报告与指标对照表
实施周期：四周怎么排
第 1 周 · 诊断与资料盘点
确认使用人数、并发、文档体量与格式、保密等级；产出选型清单与交付计划。
第 2 周 · 环境部署与模型上线
硬件上架、系统与驱动安装、模型部署与量化、基础问答跑通。
第 3 周 · 知识库构建与调优
批量入库、检索策略调优、评测集测试、引用溯源校验，按错误类型逐条修。
第 4 周 · 试用、验收与培训
一个部门并行试用，收集真实问题；按指标验收，交付手册与培训。
硬件与模型选型参考
选型不看品牌看参数：显存决定模型上限，存储决定资料体量，并发决定卡数。下表是常见三档，实际以诊断结论为准。
| 档位 | 典型配置 | 适合规模 | 可承载模型 | 典型场景 |
|---|---|---|---|---|
| 轻量工作站 | 单卡 24GB 显存 / 64GB 内存 / 2TB SSD | 10–50 人，低并发 | 7B–14B 量化 | 律所、小型设计团队、部门试点 |
| 部门服务器 | 双卡 48GB 显存 / 128GB 内存 / 4TB 以上 | 50–200 人 | 32B 量化 / 多模型并行 | 设计院、制造企业、院校实训室 |
| 企业级服务器 | 多卡 96GB 以上显存 / 256GB 内存 / 冗余存储 | 200 人以上或高并发 | 70B 量化 / 多应用调度 | 集团多部门、政企、科研院所 |
模型层面，我们通常以国产开源权重为主（Qwen 系列、DeepSeek 蒸馏系列、GLM 系列等），原因是中文语料适配好、许可证清晰、社区生态成熟；对特定任务（如法律条文、工程规范）会叠加微调或专门的检索策略，而不是指望“一个大模型解决所有问题”。
三个常见误区，提前避开
- 把「能跑起来」当成「能用起来」。模型在演示时对答如流，真实资料一入库就答非所问——问题几乎都出在文档解析与检索，而不是模型。要求服务商提供企业真实问题的评测结果。
- 只买硬件，不算知识库工程量。一万份卷宗和一万份图纸的入库成本完全不同。报价里必须体现“入库多少份、什么格式、谁来清洗”。
- 没有权限与日志设计。知识库一旦全公司可见，等于把涉密资料公开。部署阶段就要定好谁能看哪一层，否则上线即返工。
常见问题
AI 智能体私有化部署和直接用 ChatGPT、豆包有什么区别？
公有云 AI 的回答基于公开数据，你的内部资料传上去会被平台处理，企业无法控制数据留存；私有化部署把模型和知识库装在企业自己的机器上，推理在内网完成，回答基于企业自有资料并可回溯原文。区别集中在三点：数据是否出域、是否懂企业内部业务、长期成本是否可控。
私有化部署需要什么样的服务器？
取决于使用人数与模型规模。10–50 人、以知识库问答为主，一台单卡 24GB 显存的 AI 工作站即可；50–200 人、需要 32B 级模型，通常用双卡 48GB 以上的部门级服务器；200 人以上或高并发多应用，需要多卡 96GB 以上显存的企业级服务器。数优会按并发量、文档量、模型档位给出选型清单，硬件由数优统一选型提供，并负责安装、部署与调试。
企业内部资料格式很杂，扫描件、图纸、PDF 都能入库吗？
可以。文档处理流程包含格式解析、OCR 识别、版面还原、表格与图元提取、语义切分与向量化。PDF、Word、Excel、PPT、扫描件、CAD 图纸导出的 PDF 都能处理；扫描件与图纸通过 OCR 与版式分析还原文字与层级结构后再入库，图片类资料可接入多模态模型做图文索引。
私有化部署后，AI 会不会胡说八道？
靠三件事控制：一是 RAG 检索增强，要求模型只基于检索到的资料作答；二是答案强制附带原文出处与页码，可点开核对；三是设置置信度阈值，检索不到足够依据时明确回答「资料中未找到」，而不是编造。落地时会用企业真实问题建评测集，逐轮调优检索与提示词策略。
部署一套 AI 工作站要多久、大概多少钱？
标准场景（知识库 + 智能问答 + 文档处理）一般 2–4 周上线，含硬件到货、环境部署、资料入库、场景调优与培训。费用由三部分组成：硬件（由数优按显存档位统一选型提供，一次性投入，随方案报价）、软件与实施（按知识库工程量与场景数计）、后续运维（可选年费）。轻量工作站方案起步门槛不高，具体金额需按文档量和使用人数评估后报价。
数据放在自己服务器上，还需要注意什么合规问题？
需要关注四点：一是资料权属与使用范围（哪些资料允许入库、哪些仅限特定部门）；二是权限分级（按部门/岗位控制可见知识库与问答记录）；三是日志留痕（谁问了什么、AI 引用了哪份文件）；四是模型与软件的许可证合规。数优在部署时会一并梳理这些规则并配置到系统中。