项目初始化 · M0 阶段
医院智能导诊机器人
多语言 · 多方言 · 全语音交互
持续侦听患者问询,自动判断语言与方言(普通话 / 四川话 / 粤语 / 上海话 / 郑州 / 长沙 / 天津 / 英 / 日 / 韩), 检索医院知识库后以同语言同方言精准回答,引导患者准确就诊; 后台支持可视化配置多种导诊流程。
引擎能力实时自检
以下探测由服务端代理直连引擎网关执行,浏览器不持有密钥。点击按钮重新探测。
注:向量检索(embeddings)冷启动较慢(实测约 11s),正式版将采用「知识库预嵌入 + 服务端缓存」消除该延迟;ASR 冷启动实测约 13s,热态手册口径 0.2-1.3s。
方言语音试听
直接调用方言合成引擎,验证「打开 Web 即可工作」。方言档偶发句首约 1 秒引导音,正式版播放端将自动裁剪首 1.5 秒(手册已知限制)。
选择方言后点击「合成并播放」
系统架构(开发蓝图)
单页 Web 应用 + 零依赖 Node 服务端;全部 AI 能力经统一网关,浏览器零密钥。
患者端 · 语音对话链路
🎧 持续侦听
WebAudio VAD 静音分句
WebAudio VAD 静音分句
→
🗣 ASR 转写
普通话/四川话高精度
普通话/四川话高精度
→
🌐 语言·方言判断
决策引擎 37ms 级
决策引擎 37ms 级
→
🎯 意图分流
分诊/导航/翻译/紧急
分诊/导航/翻译/紧急
→
📚 RAG 检索
1024 维向量·知识库
1024 维向量·知识库
→
🧠 LLM 生成
cloud-auto / flash 双档
cloud-auto / flash 双档
→
🔊 方言播报
6 方言+英日韩
6 方言+英日韩
外宾链路:ASR(翻译通道)→极速档译中→中文答复→质量档译回→跨语言 TTS 端到端实测 3-6s
🚨 紧急词(胸痛/大出血/自伤)→ 决策引擎 urgent 概率 → 直通急诊 + 呼叫人工
🛠 后台管理端
- 知识库管理:科室 / 医生 / 楼层 / 流程 / FAQ,在线 CRUD + 预嵌入
- 话术库:多语言多方言问答话术,语气模板管理
- 流程编辑器:可视化节点画布(见下节),多种导诊流程并行配置
- 引擎配置:档位选择 / 降级策略 / 超时重试
- 会话回放:咨询记录、语言分布、转人工率统计
⚙️ 服务端(Node · 零依赖)
- 静态托管 + API 代理(密钥只在服务端)
- 知识库向量索引:启动预嵌入 + 增量缓存(消除 11s 冷延迟)
- 流程执行器:解释运行流程 JSON,与对话管线集成
- JSON 文件持久化,数据本地留存
🔌 引擎网关(已实测)
- 智能对话 cloud-auto → glm-5.3-flash(SSE 流式 ✅)
- ASR asr-med-176(四川话回路 ✅)
- 方言 TTS 6 方言 + 英日韩(WAV 24kHz ✅)
- 极速翻译 mt-instant-110(1.9s ✅)
- 决策引擎 decide-176-4b(382ms ✅)
- 向量 embed-176(1024 维 ✅)
语言与方言适配矩阵
依据接入手册 §5 实测矩阵;「说」全部原生支持,「听」按通道分级。
| 患者语言 | 听(ASR) | 说(TTS) | 链路 |
|---|---|---|---|
| 普通话 | 高精度 | 自然 | ASR → cloud-auto → TTS |
| 四川话 | 高精度·医疗优化 | 原生方言合成 | 同上,dialect=四川话 |
| 粤语 / 上海话 / 郑州 / 长沙 / 天津 | 翻译通道中转 | 原生方言合成 | 识别经翻译引擎,回答直接方言播报 |
| 英语 / 日语 / 韩语 | 翻译引擎转写 | 跨语言合成 | ASR(翻译通道)→译中→答复→译回→TTS |
语气控制:亲切 / 正式 / 温柔(instruct_text)
双语字幕:中文患者 ↔ 外语家属同屏两语种
同传要点:逐句送翻,极速档做字幕、质量档做答复
可视化导诊流程配置
参考 GitHub 最先进的智能体工作流项目交互范式,自研零依赖节点画布,直接嵌入本平台后台。
★ 154k
Dify · Workflow Studio
生产级 Agent 工作流平台,节点画布 + 知识管线,社区最活跃;借鉴其「节点面板 + 画布连线 + 右侧属性栏 + 试运行」四件套。
★ 42k
Langflow
拖拽式 AI Agent 构建器;借鉴其「块级数据流」与逐节点调试视图。
★ 30k
Flowise
轻量可视化编排;借鉴其聊天面板与流程联调的并排布局。
自研
小医 Flow 编辑器
零依赖 SVG 画布,JSON Schema 存储,流程可导入导出、即时试运行,与语音链路同管线执行。
节点类型规划(拖入画布即可编排导诊流程)
▶ 开始
🧭 意图判断(决策引擎)
🔀 条件分支
🧠 LLM 回答
📚 知识库检索
📝 收集信息(槽位)
🔊 语音播报
🌐 翻译节点
🧑⚕️ 转人工服务台
🚨 紧急升级(急诊优先)
🔗 子流程
💾 保存会话摘要
预置演示流程
发热患儿预问诊流(儿科/发热门诊分诊)
胸痛紧急分诊流(直通急诊+人工)
初诊建卡挂号引导流
取报告/打印病历指引流
外宾多语言接待流(英/日/韩)
慢病复诊开药流
开发路线图
方案经你确认并提供公网域名后,按里程碑一口气推进。
- M0 · 项目初始化本页:能力实测 + 门户上线(179:8890,待映射公网域名)2026-10-21 ✅
- M1 · 语音对话核心持续侦听(VAD 分句)→ ASR → 语言/方言判断 → LLM 流式回答 → 方言 TTS 播报,打断与流水线并行M2 · 知识库与演示数据三甲规格演示数据(30+ 科室 / 楼层 / 医生排班 / 就诊流程 / 200+ 条多语言话术),RAG 检索 + 预嵌入缓存M3 · 可视化流程编辑器SVG 节点画布:拖拽/连线/属性面板/试运行,预置 6 条演示流程,流程执行器接入对话链路M4 · 后台管理 + 多语言完善知识库/话术/流程/引擎四模块管理,外语同传字幕,会话回放与统计M5 · 验收打磨E2E 全链路验证(6 方言 × 典型问询),边界与安全(不诊断/不荐药/危急直通急诊),公网域名联调