开始使用
工程级 视频抓取转换MD文件导入知识库全流程skill

工程级 视频抓取转换MD文件导入知识库全流程skill

批量抓取下载视频 转换MD文件形式 存入知识库并建知识关联 自我检查 审核 修复 约束 推进 适合长线任务 准备条件 安装LLM wiki Obsidian 知识库 有一个多模态的模型或者本地模型 此skill 来源于Hermes agent反复测试 其他agent 也适用 也可以改造成你自己个性化流程 需要的脚本一并打包上传 需要其他配置智能体自动安装
#生产力
评分
需要更多评价
订单数
0
如何使用
下载

从视频课程到结构化知识库,全自动无人值守

6 门课程 · 102 个视频 · 2,229 条概念 · 100% 索引覆盖 · 0 孤儿笔记


✨ 它能做什么

输入

📹 视频课程 URL(小鹅通/B站/任意 m3u8)
📋 无其他输入——Agent 自行完成全部流程

输出

📝 逐字转录稿(≥95% 准确率)
🔍 画面术语分析(PPT/图表/公式)
📚 15-25 个结构化知识点/视频
🔗 [[wikilink]] 交叉引用网络
🗺️ Obsidian 知识图谱

效果:不是「转写」,是「读懂」

❌ 传统转录:                  ✅ Agent 知识库:
   视频 → 文字稿                    视频 → 文字稿 → 交叉验证 → 知识点卡片
   不可搜索                           obsidian 全文搜索
   无结构                             每个概念独立卡片 + [[wikilink]]
   看完就忘                           图谱可视化,一图胜千言

🚀 核心能力

能力 技术 效果
🎙️ 语音转文字 faster-whisper small ~5x 实时,50min 视频 → 13min 转录
👁️ 画面分析 qwen3-vl 视觉模型 提取 PPT 术语,修正听写错误
🧠 知识提炼 DeepSeek API 子 Agent 15-25 个知识点/视频,500-1500 字/条
✅ 质量验证 ffprobe 覆盖率比对 确保转录 ≥95% 视频时长
🔗 自动联网 [[wikilink]] 互链 + 索引 0 孤儿笔记,全部可被发现
🤖 无人值守 screen + cron 自驱 下载→转录→VL→验证→提炼全自动

📊 真实数据

课程覆盖

课程 视频数 概念数 密度
CNC 健身 28 500+ 18 条/视频
CNC 慢性病管理 21 200+ 10 条/视频
CNC 中医基础 7 200+ 29 条/视频
CNC 运动干预 14 200+ 14 条/视频
CNC 主题分享 26 400+ 15 条/视频
CNC 运动损伤 6 300+ 50 条/视频
合计 102 2,229 22 条/视频

前后对比

整理前                            整理后
概念数:  1,335  ───────────▶  2,229(+67%)
索引覆盖率:46%   ───────────▶  100%
孤儿笔记:1,129   ───────────▶  0
知识点密度:1 条/视频 ──────▶  15-25 条/视频

🏗️ 工作流

                    ┌──────────────┐
    小鹅通 API ───▶ │   ① 下载    │
                    └──────┬───────┘
                           │ .mp4
                    ┌──────▼───────┐
                    │  ② 转录      │─── faster-whisper
                    │  ③ VL 分析   │─── qwen3-vl
                    └──────┬───────┘
                           │ *_transcript.md + *_vl.md
                    ┌──────▼───────┐
                    │  ④ 验证      │─── ffprobe 覆盖率 ≥95%
                    └──────┬───────┘
                           │
                    ┌──────▼───────┐
                    │  ⑤ 提炼      │─── 子 Agent 15-25 知识点
                    └──────┬───────┘
                           │ concepts/*.md
                    ┌──────▼───────┐
                    │  ⑥ 门禁      │─── VL 帧数 + wikilink + 入链
                    └──────┬───────┘
                           │
                    ┌──────▼───────┐
                    │  Obsidian    │─── 知识图谱可视化
                    └──────────────┘

🔧 技术栈

层级 技术
语音识别 faster-whisper small(CPU int8,~5x 实时)
视觉分析 qwen3-vl 8.8B Q4(Ollama 本地推理)
知识提取 DeepSeek V4 Flash(远程子 Agent 并发)
进程管理 GNU Screen(防 SIGTERM 杀进程)
定时调度 Cron(*/20 * * * * 格式自主推进)
知识库 Obsidian + LLM Wiki(同一目录双端联动)
运行环境 Python 3.11(Hermes 自带 venv)

⚡ 快速开始

# 1. 加载流程 skill
skill_view(name="video-pipeline-standard")

# 2. 给自己一句课程链接
"把 https://appxxx.xiaoeknow.com/p/course/xxx 的视频抓取出来"

# 3. Agent 自主完成
#    → 提取 token → 下载视频 → 转录 → VL → 验证 → 提炼 → 入库
#    102 个视频,全自动,无需任何手动步骤

📋 注意事项

  • 🐍 Python 路径:必须用 ~/.hermes/hermes-agent/venv/bin/python3,不可省略
  • 🍪 小鹅通 Cookie:须 Session() + domain='.xiaoeknow.com',否则 API 返回空
  • ⏱️ Cron 格式:用 */10 * * * *,once in 5m 会跑一次就死
  • 📦 模型保护:禁止 ollama rm,停服务用 pkill ollama
  • 🔍 密度标准:专业课程 15-25 条/视频,短课 3-5 条
  • 📝 中文命名:新文件全中文,旧英文文件不追溯