AI 视频语义检索系统：用一句话，在视频里找到想看的那一段

项目背景

课程录像、培训讲座、产品讲解这类视频，信息密度高、时长又长。想回看"讲 ReAct 的那一段"，要么记得大概时间点，要么只能从头拖进度条；按文件名或人工打标签检索，也只能找到"事先标注过"的内容。

客户指定以开源项目 SentrySearch 的视频向量检索能力为基础，希望把它做成一套完整的业务系统：上传视频、用"说人话"的方式提问，系统就能找到相关片段、导出出来，并写成一份文字报告。

我们做了什么

我们在 SentrySearch 之上新增了 HTTP + WebSocket 服务端、ReAct 智能体运行时和 5 个视频专用工具，新增定制逻辑超过一万行，把一个命令行检索工具变成了浏览器里就能用的对话式系统。智能体自主决定调用哪些工具、按什么顺序——先检索、再裁剪、再分析，工具调用出错时会自行换一种策略继续。

实际界面

以下截图来自交付录屏：上传一段教学解说视频，提问"找一下讲解 ReAct 的片段"。

技术方案

系统分为前端、服务端、检索引擎三层，由 ReAct 智能体串起整条链路：

• 前端——Vue 3 单页应用，包含视频库、对话、报告三个页面。
• 服务端——Bun / TypeScript：REST 接口处理文件，WebSocket 流式推送智能体的思考与工具调用，SSE 推送索引进度。
• 检索引擎——Python + ChromaDB 向量库，常驻进程保持数据库连接与模型预热，检索时免去重复加载的开销。
• 智能体工具——vector_search（语义检索）、trim_clip（片段裁剪）、analyze_video（画面分析）、generate_report（报告生成）、get_video_info（视频信息）。

交付与价值

• 把"拖进度条"变成"问一句"——不用记时间点、不用先打标签，直接用自然语言找到相关片段。
• 结果可沉淀——命中片段可裁剪导出，每轮对话自动生成报告并按会话归档。
• 一键启动交付——交付 start.bat 启动文件，放到项目目录双击即可启动整套系统，无需手动配置环境。
• 尤其适合讲解类内容——主题清晰、逻辑连贯的教学、课程、讲解类视频，语义检索效果最好。