標籤：rag

把 PDF、Word、Excel、PPT、HTML、图片、音频等文件转成保留标题、列表与表格结构的 Markdown，供大模型读取与分析。微软官方维护，需要 Python 3.10 以上。

百度飞桨官方的 OCR 与文档解析工具：paddleocr 命令可识别图片文字，并把 PDF、扫描件解析成 Markdown 或 JSON，支持中文等 100 多种语言，模型可在本地运行。

自适应网页抓取框架：scrapling extract 一条命令即可把网页抓成 Markdown、纯文本或 HTML，支持 CSS 选择器与浏览器渲染动态页面，另有 MCP 服务（需装 ai 扩展）。需 Python 3.10+，首次使用需安装浏览器。

开源的 LLM 友好网页爬虫，把网页转成干净的 Markdown 供 RAG 与 agent 使用；自带 crwl 命令行，支持深度爬取与按问题抽取数据（抽取需配置大模型 Key）。可免费自托管。

OpenDataLab 出品的文档解析工具，把 PDF、图片与 Office 文档转成 Markdown 或 JSON，擅长表格、公式与复杂版面，支持 agent 按页续读与引用定位。默认本地解析，需要 Python 3.10 以上。

解析 PDF、DOCX、PPTX、XLSX、HTML、图片与音频等格式，还原版面、阅读顺序、表格与公式，导出 Markdown、HTML 或无损 JSON。IBM Research 发起，现由 LF AI & Data 基金会托管，可完全本地运行。

港大 HKUDS 开源的个性化辅导系统：导入教材建知识库后答疑、分步解题、出题测验，适合教师备课出题与学生自学；deeptutor 命令可输出 JSON 供 Claude Code 等调用。需要 Python 3.11+、Node.js 20+ 和大模型 API Key。

把 PDF、图片、PPTX、DOCX、XLSX、EPUB 等文档转换为 Markdown、JSON 或 HTML，能还原表格、公式与版面结构，可选接入大模型提升精度。需 Python 3.10+ 与 PyTorch；模型权重大规模商用需付费授权。

开发大模型应用的插件：用 LangGraph 构建带记忆与工具调用的代理，实现混合检索 RAG、向量索引调优、提示词优化与 LLM 评测，含 3 个子代理和 8 个技能。

腾讯开源知识库平台 WeKnora 的官方命令行：上传文档、管理知识库、混合检索并基于知识库回答问题，也能作为只读 MCP 服务运行，适合客服与行政团队维护内部知识库。需先自行部署 WeKnora 服务，用 Go 1.26+ 从源码编译。

把 cognee 记忆引擎作为 MCP 服务运行，通过 remember、recall、forget 三个工具把文档与对话写入知识图谱和向量库，供 agent 跨会话检索。需先用 Docker 或 uv 启动服务，默认需要 LLM API Key，也可连接 Cognee Cloud。

把对话与业务数据写入 Graphiti 时序知识图谱，让 agent 按实体、事实和时间检索长期记忆。Zep 开源维护，需先用 Docker 启动 FalkorDB 或 Neo4j 与服务，并配置 LLM API Key。

AI2 出品的 PDF 与扫描件转 Markdown 工具，基于视觉大模型，能处理公式、表格、手写和多栏排版，适合批量数字化论文和档案。本地运行需 12GB 显存以上的 NVIDIA 显卡；没有显卡可接入兼容 OpenAI 接口的远程推理服务（需 API Key，按量付费）。

把文档站、GitHub 仓库、PDF、视频等 18 类来源整理成 Claude 等平台可用的技能包，也能导出为 RAG 分块与向量库数据；可选装 MCP 服务器，并能调用本地 Claude Code 等 agent 做内容增强。需要 Python 3.10+。

覆盖 AI 研究全流程的近百个技能：选题与文献调研、微调与后训练、分布式训练、推理部署、评测、可解释性与论文写作，并由 autoresearch 编排技能串起整个研究流程。

Zilliz 出品：把代码库向量化存入 Milvus / Zilliz Cloud，让编码 agent 用语义检索找到相关代码，降低大型仓库的上下文开销。需配置嵌入模型（OpenAI、VoyageAI、Ollama 等）和向量数据库。

对论文 PDF、文本与 Office 文档做高精度检索增强问答，自动补全引用元数据并检查撤稿，答案附可追溯出处；提供 pqa 命令行与 Python 库。默认需要大模型 API Key，也可配置本地模型。

长篇网文创作插件：问答式搭好设定与总纲，按卷纲逐章写作、审查、润色，并把角色、伏笔、时间线沉淀为可检索记忆，帮助长篇连载前后一致。需 Python 3.10+，可选配 Embedding API Key 增强检索，不配则用关键词检索。

NVIDIA 官方认证技能目录，收录数百个技能，覆盖 CUDA-X 加速库、NeMo 训练、NIM 与 Dynamo 推理部署、RAG 蓝图、Jetson、Omniverse 与机器人仿真。安装命令只装 nvidia-skill-finder，由它按需推荐其余技能，经用户确认后再安装。

把 Qdrant 向量数据库用作 agent 的语义记忆层：存入信息并按语义检索，可连接远程实例或本地路径，默认用 FastEmbed 生成向量。Qdrant 官方维护。

LangChain 官方技能合集：涵盖 LangChain、LangGraph 与 Deep Agents 的框架选型、快速上手、中间件、持久化、人工审批、RAG 和评测任务设计，支持 Python 与 TypeScript，也可作为 Claude Code 插件安装。项目仍在早期开发。

Jina AI 官方远程 MCP：把网页与 PDF 转成 Markdown，支持网页、arXiv、SSRN、图片搜索，以及截图、重排与语义去重。读取类工具免 Key 可用（有限速），搜索与重排需 Jina API Key。

Docling 项目官方 MCP：把 PDF、Word、PPT 等文件转成结构化文档，识别版面与表格、对扫描件做 OCR，也能让 agent 逐段生成新文档并导出 Markdown。本地模式需 Python 与 uv，首次运行会下载版面识别模型；也可改连自建的 Docling Serve 服务。

Chroma 官方 MCP：让 agent 创建和管理集合、写入文档，并用向量检索、全文检索与元数据过滤取回内容。可连接内存或本地持久化库、自建实例和 Chroma Cloud。