文章目录
文章目录
本文目录
本文目录

私有部署接自有大模型,要满足哪些协议条件

石墨办公 + AI

接企业自有大模型看接口形状,不看模型名字:基础模型兼容 OpenAI Responses 并支持流式、图片模型兼容 OpenAI Image、Embedding 兼容 OpenAI embedding、联网搜索仅支持火山云。附四类配置的验收判据表(怎么验、看到什么算通过、不通过怎么办)与上线前五步。

结论:能不能接企业自己买或自己部署的大模型,不取决于模型叫什么名字,而取决于它对外暴露的接口形状能不能对上四类协议。基础模型要兼容 OpenAI Responses 协议并支持流式输出,图片模型要兼容 OpenAI Image,Embedding 要兼容 OpenAI embedding,联网搜索目前只支持火山云。

四类配置各自独立启停,配哪几类由项目方案决定,功能取舍不在这里展开。本文只回答一件事:每一类要满足什么协议、上线前怎么验、看到什么算通过、验不过怎么处理。

一、四类配置四套协议:先看怎么验、怎么算过

一句话判断:接自有模型这件事,本质上是“接口对齐”而不是“选型”。所以下面这张表按验收动作排,不按功能排。

四类 AI 配置的验收判据(协议口径以私有部署产品的事实说明为准,2026-11-04 查阅)
配置类型怎么验看到什么算通过不通过怎么办
基础模型不接产品,用脚本按协议发一次流式请求,再故意断连一次收到带类型的增量文本与明确的完成事件;失败时返回错误事件在中间加协议转换层,或换支持 Responses 的服务
图片模型发起一次生成、一次编辑,看返回结构能否被解析生成与编辑两条都能取到图,字段与文档一致核对接口版本与字段名;仍不行就先不启用这项能力
Embedding同一段文本请求两次,再换一个模型或版本复跑同一知识库的向量维度始终一致;换模型后按新维度重建索引统一模型与维度,重建索引后再上线
联网搜索先用不配它的配置问一个只能靠公网回答的问题不配时这一路请求不存在;配了只在允许出网的场景生效先按接入方案确认出网路径,未确认前不启用
四类 AI 配置(基础模型、图片模型、Embedding、联网搜索)经协议对齐后进入编辑器内 AI 与知识库问答两条使用路径
原创示意图:四类配置各对一套协议,对齐后才会被编辑器和知识库问答用上。

已验证可用的基础模型是 GPT 与 DeepSeek,两者都支持 Responses 协议;其他兼容该协议的模型可以接入,但暂未逐一验证,所以“厂商说自己兼容”不能当结论,要按第二到第四节的步骤自己跑一遍。具体配置项与字段以部署版本的 AI 配置说明和项目方案为准。

二、Responses 加流式:要验的是三件事

一句话判断:流式不是“字一个个蹦出来”这么简单,产品要的是可解析的事件序列。三件事没验过,接上去就会在演示时卡住。

  • 事件是不是有类型的。Responses 的流式返回是一串带类型的事件,比如增量文本、完成、错误各有各的类型标识。产品按类型取值,你把整段文本一次性塞回来,或者只回一段裸文本,解析就对不上。
  • 结束和失败能不能分开。正常结束要有明确的完成事件,失败要有错误事件。两者混在一起,前端只能一直转圈,或者把半截内容当成答案写进文档。
  • 超时与重试怎么定。长回答的首字延迟、连接中断、服务重启都要有策略。重试要幂等——同一个问题重发两次,不能变成两次写回、两份记录。

这三条不需要业务数据就能测。

三、Embedding 与图片模型:坑在维度和返回结构

一句话判断:Embedding 的坑几乎都出在“换了模型没重建索引”,图片模型的坑出在“返回结构和产品预期不一致”。

  • 维度必须统一。同一个知识库的所有切片要用同一模型、同一维度。中途换模型或换版本,向量空间就变了,检索结果会对不上,必须重建索引再上线。
  • 记录模型与维度。把“哪个知识库用了哪个 Embedding 模型、多少维”写进部署记录,换人接手时才不会靠猜。
  • 图片模型按需配。只有需要生成或编辑图片时才配图片模型,接口要兼容 OpenAI Image;它和基础模型是两条独立的配置,不要指望基础模型顺带把图生成好。

四、把判据排成顺序:上线前五步

一句话判断:先把模型服务单独跑通,再接产品。顺序反过来,出问题时你分不清是模型、网络还是配置。

  1. 起一个协议自测台。用脚本或命令行直接向模型服务发请求,先不接产品,把地址、密钥、模型名固定下来。
  2. 跑一次完整流式。记录收到的事件类型序列,确认增量文本、完成事件都在,错误事件能被触发出来。
  3. 制造一次中断。中途掐断连接再重试,看服务端是否支持重连、重试是否会产生两份结果。
  4. 验 Embedding。同一段文本请求两次,比对维度与是否稳定;换模型后记录新维度,并约定重建索引的动作。
  5. 换一个兼容模型复跑。把第 2 到第 4 步在另一个模型上重做一遍,确认切换模型后功能表现一致。
四种常见的不兼容形态与处理方向
现象通常说明什么处理方向
只有对话式接口,没有 Responses 形状服务端协议对不上在中间加一层协议转换,或换支持该协议的服务
流式要等全部生成完才一次性返回服务端并未真正流式检查服务端流式开关与反向代理的缓冲设置
换了 Embedding 后检索结果变差向量维度或模型不统一同一知识库统一模型,换模型后重建索引
失败也返回成功状态错误没有按协议透传要求服务端返回明确错误,产品侧按错误处理

最后一条边界要写进方案:私有部署本身不构成“所有 AI 数据不出域或完全离线”的保证。模型服务装在企业环境里、检索与生成都在内网,是一回事;调外部模型服务或启用联网搜索,数据流向就是另一回事,要按接入方案逐项确认。

常见问题

什么样的模型能接?

看接口不看名字:基础模型兼容 OpenAI Responses 且支持流式,图片模型兼容 OpenAI Image,Embedding 兼容 OpenAI embedding。满足就能接,具体资源与配置以项目方案确认。已验证的是 GPT 与 DeepSeek,其他模型可接但要自己验一遍。

一定要兼容 Responses 协议吗?

基础模型这一层是的。如果手上只有更早的对话式接口,通常要在中间加一层协议转换,让产品看到的仍是 Responses 形状;能否这样落地、由谁维护这层转换,要写进项目方案。

向量模型怎么配?

要求兼容 OpenAI embedding。配置之外还有两条纪律:一个知识库只用一个模型一个维度;换模型必须重建索引。把这两条写进部署记录,比配置本身更影响后面能不能用。

联网搜索能不能不用?

能,不配置就没有这一路请求。它是给模型补充互联网信息用的,目前仅支持火山云,属于外部服务;只在企业内部资料里问答的场景,不配它更简单,数据流向也更好说清。

想按自己的模型和网络环境确认一遍,可以带上计划使用的模型、部署位置与数据要求预约演示;接入条件与配置口径见石墨办公产品事实页,环境与交付形态见石墨办公套件私有部署产品页和企业私有部署方案。