工具集

把 PDF、Word、Excel、PPT、HTML、图片、音频等文件转成保留标题、列表与表格结构的 Markdown，供大模型读取与分析。微软官方维护，需要 Python 3.10 以上。

进程内分析型 SQL 数据库，命令行可直接用 SQL 查询 CSV、Parquet、JSON 文件，无需导入或启动服务，适合 agent 抽样与聚合大文件。官方维护。

百度飞桨官方的 OCR 与文档解析工具：paddleocr 命令可识别图片文字，并把 PDF、扫描件解析成 Markdown 或 JSON，支持中文等 100 多种语言，模型可在本地运行。

Astral 出品的 Python 包与项目管理器，用 Rust 编写、速度极快，可替代 pip、pipx、poetry、pyenv 等；支持锁文件与多版本 Python，uvx 可免安装直接运行 Python 工具。

自适应网页抓取框架：scrapling extract 一条命令即可把网页抓成 Markdown、纯文本或 HTML，支持 CSS 选择器与浏览器渲染动态页面，另有 MCP 服务（需装 ai 扩展）。需 Python 3.10+，首次使用需安装浏览器。

开源的 LLM 友好网页爬虫，把网页转成干净的 Markdown 供 RAG 与 agent 使用；自带 crwl 命令行，支持深度爬取与按问题抽取数据（抽取需配置大模型 Key）。可免费自托管。

OpenDataLab 出品的文档解析工具，把 PDF、图片与 Office 文档转成 Markdown 或 JSON，擅长表格、公式与复杂版面，支持 agent 按页续读与引用定位。默认本地解析，需要 Python 3.10 以上。

经典开源 OCR 引擎与命令行工具，识别图片中的文字并输出纯文本、hOCR、可搜索 PDF 或 TSV，支持 100 多种语言；中文等语言需安装对应的语言数据。

解析 PDF、DOCX、PPTX、XLSX、HTML、图片与音频等格式，还原版面、阅读顺序、表格与公式，导出 Markdown、HTML 或无损 JSON。IBM Research 发起，现由 LF AI & Data 基金会托管，可完全本地运行。

「面向云存储的 rsync」：在 S3、Google Drive、OneDrive、阿里云 OSS 等数十种云存储之间同步、复制文件，支持加密与挂载。使用前需用 rclone config 配置远端存储。

轻量的多协议命令行下载工具，可从多个来源分段并行下载，支持 HTTP(S)、FTP、SFTP、BitTorrent 与 Metalink，能断点续传、从文本文件批量读取链接，并提供 JSON-RPC 接口供脚本或 agent 远程管理下载任务。

以结构化数据为核心的跨平台 shell：管道里传的是表格而不是纯文本，可以直接打开并查询 JSON、CSV、TOML 等文件；默认构建自带 nu --mcp 模式，可作为 MCP 服务给 agent 调用。

把 PDF、图片、PPTX、DOCX、XLSX、EPUB 等文档转换为 Markdown、JSON 或 HTML，能还原表格、公式与版面结构，可选接入大模型提升精度。需 Python 3.10+ 与 PyTorch；模型权重大规模商用需付费授权。

用 Zig 从零编写、面向 AI agent 与自动化的无头浏览器，官方基准显示比无头 Chrome 更省内存、更快；fetch 命令可把网页直接转成 Markdown，也能作为 CDP 或 MCP 服务运行。默认开启遥测（可用环境变量关闭），Windows 需经 WSL。

轻量的命令行 JSON 处理器，用简洁的过滤表达式切片、筛选、映射与转换 JSON，零运行时依赖，是 agent 解析接口返回与日志的常用工具。

AI2 出品的 PDF 与扫描件转 Markdown 工具，基于视觉大模型，能处理公式、表格、手写和多栏排版，适合批量数字化论文和档案。本地运行需 12GB 显存以上的 NVIDIA 显卡；没有显卡可接入兼容 OpenAI 接口的远程推理服务（需 API Key，按量付费）。

阿里巴巴开源的离线数据同步工具，用 JSON 作业配置在 MySQL、Oracle、PostgreSQL、Hive、HDFS、MaxCompute 等异构数据源间批量同步，通过 python datax.py 执行。需 JDK 1.8+ 与 Python，下载官方工具包解压即用。

像 Git 管代码一样管理数据集和模型的版本：数据存放在 S3、GCS 等远端存储，版本信息记在 Git 仓库里。还提供可复现的流水线和本地实验追踪，改动后只重跑受影响的步骤。

把整个网页连同 CSS、图片、字体与脚本内嵌打包成单个 HTML 文件，离线也能原样打开，适合网页存档或交给 agent 离线分析。自身不执行 JavaScript，动态页面需先用无头浏览器预渲染。

数仓建模与 ELT 转换的命令行框架：用 SQL 编写模型，自动处理依赖、数据测试与文档生成。v2 用 Rust 重写为单一二进制，dbt Labs 官方维护，需配置数据仓库连接。

带智能补全与语法高亮的 PostgreSQL 命令行客户端，兼容 psql 的环境变量，支持用 -c 执行语句后退出，便于 agent 非交互地查询数据库。

带智能补全与语法高亮的 MySQL 终端客户端，兼容 MariaDB、TiDB 等；支持 --execute 与批处理模式，可按 CSV 或表格格式输出查询结果，便于 agent 直接执行 SQL。

把 SQLite 数据库发布成可以浏览、可以查询的网页和 JSON API，支持 SQL 查询、元数据和插件扩展，也能用 datasette publish 部署到 Cloud Run 等平台。适合数据探索和数据新闻，需要 Python 3.10 及以上版本。

用 Presidio Analyzer 扫描文件与目录中的个人敏感信息（姓名、邮箱、信用卡号等），可配置实体类型、置信度阈值与忽略规则。需要 Python 3.10+ 与 spaCy 语言模型。