工程级 视频抓取转换MD文件导入知识库全流程skill
批量抓取下载视频 转换MD文件形式 存入知识库并建知识关联 自我检查 审核 修复 约束 推进 适合长线任务 准备条件 安装LLM wiki Obsidian 知识库 有一个多模态的模型或者本地模型 此skill 来源于Hermes agent反复测试 其他agent 也适用 也可以改造成你自己个性化流程 需要的脚本一并打包上传 需要其他配置智能体自动安装
#Productiviteit
Beoordeling
Meer beoordelingen nodig
Verkocht
0
Gebruikswijze
Downloaden
从视频课程到结构化知识库，全自动无人值守
6 门课程 · 102 个视频 · 2,229 条概念 · 100% 索引覆盖 · 0 孤儿笔记
✨ 它能做什么
输入
📹 视频课程 URL（小鹅通/B站/任意 m3u8）
📋 无其他输入——Agent 自行完成全部流程
输出
📝 逐字转录稿（≥95% 准确率）
🔍 画面术语分析（PPT/图表/公式）
📚 15-25 个结构化知识点/视频
🔗 [[wikilink]] 交叉引用网络
🗺️ Obsidian 知识图谱
效果：不是「转写」，是「读懂」
❌ 传统转录： ✅ Agent 知识库：
视频 → 文字稿 视频 → 文字稿 → 交叉验证 → 知识点卡片
不可搜索 obsidian 全文搜索
无结构 每个概念独立卡片 + [[wikilink]]
看完就忘 图谱可视化，一图胜千言
🚀 核心能力
| 能力 | 技术 | 效果 |
|---|---|---|
| 🎙️ 语音转文字 | faster-whisper small | ~5x 实时，50min 视频 → 13min 转录 |
| 👁️ 画面分析 | qwen3-vl 视觉模型 | 提取 PPT 术语，修正听写错误 |
| 🧠 知识提炼 | DeepSeek API 子 Agent | 15-25 个知识点/视频，500-1500 字/条 |
| ✅ 质量验证 | ffprobe 覆盖率比对 | 确保转录 ≥95% 视频时长 |
| 🔗 自动联网 | [[wikilink]] 互链 + 索引 | 0 孤儿笔记，全部可被发现 |
| 🤖 无人值守 | screen + cron 自驱 | 下载→转录→VL→验证→提炼全自动 |
📊 真实数据
课程覆盖
| 课程 | 视频数 | 概念数 | 密度 |
|---|---|---|---|
| CNC 健身 | 28 | 500+ | 18 条/视频 |
| CNC 慢性病管理 | 21 | 200+ | 10 条/视频 |
| CNC 中医基础 | 7 | 200+ | 29 条/视频 |
| CNC 运动干预 | 14 | 200+ | 14 条/视频 |
| CNC 主题分享 | 26 | 400+ | 15 条/视频 |
| CNC 运动损伤 | 6 | 300+ | 50 条/视频 |
| 合计 | 102 | 2,229 | 22 条/视频 |
前后对比
整理前 整理后
概念数： 1,335 ───────────▶ 2,229（+67%）
索引覆盖率：46% ───────────▶ 100%
孤儿笔记：1,129 ───────────▶ 0
知识点密度：1 条/视频 ──────▶ 15-25 条/视频
🏗️ 工作流
┌──────────────┐
小鹅通 API ───▶ │ ① 下载 │
└──────┬───────┘
│ .mp4
┌──────▼───────┐
│ ② 转录 │─── faster-whisper
│ ③ VL 分析 │─── qwen3-vl
└──────┬───────┘
│ *_transcript.md + *_vl.md
┌──────▼───────┐
│ ④ 验证 │─── ffprobe 覆盖率 ≥95%
└──────┬───────┘
│
┌──────▼───────┐
│ ⑤ 提炼 │─── 子 Agent 15-25 知识点
└──────┬───────┘
│ concepts/*.md
┌──────▼───────┐
│ ⑥ 门禁 │─── VL 帧数 + wikilink + 入链
└──────┬───────┘
│
┌──────▼───────┐
│ Obsidian │─── 知识图谱可视化
└──────────────┘
🔧 技术栈
| 层级 | 技术 |
|---|---|
| 语音识别 | faster-whisper small（CPU int8，~5x 实时） |
| 视觉分析 | qwen3-vl 8.8B Q4（Ollama 本地推理） |
| 知识提取 | DeepSeek V4 Flash（远程子 Agent 并发） |
| 进程管理 | GNU Screen（防 SIGTERM 杀进程） |
| 定时调度 | Cron（*/20 * * * * 格式自主推进） |
| 知识库 | Obsidian + LLM Wiki（同一目录双端联动） |
| 运行环境 | Python 3.11（Hermes 自带 venv） |
⚡ 快速开始
# 1. 加载流程 skill
skill_view(name="video-pipeline-standard")
# 2. 给自己一句课程链接
"把 https://appxxx.xiaoeknow.com/p/course/xxx 的视频抓取出来"
# 3. Agent 自主完成
# → 提取 token → 下载视频 → 转录 → VL → 验证 → 提炼 → 入库
# 102 个视频，全自动，无需任何手动步骤
📋 注意事项
- 🐍 Python 路径：必须用
~/.hermes/hermes-agent/venv/bin/python3，不可省略 - 🍪 小鹅通 Cookie：须
Session()+domain='.xiaoeknow.com'，否则 API 返回空 - ⏱️ Cron 格式：用
*/10 * * * *，once in 5m会跑一次就死 - 📦 模型保护：禁止
ollama rm，停服务用pkill ollama - 🔍 密度标准：专业课程 15-25 条/视频，短课 3-5 条
- 📝 中文命名：新文件全中文，旧英文文件不追溯
