工具集
全部 Skill、MCP、CLI 與 Plugin。可以依類型、職業、標籤篩選,也可以直接搜尋。
職業:数据工程 +2
共 40 項

MarkItDown
CLI把 PDF、Word、Excel、PPT、HTML、图片、音频等文件转成保留标题、列表与表格结构的 Markdown,供大模型读取与分析。微软官方维护,需要 Python 3.10 以上。
microsoft/markitdown191k
PDF
Skill读取与提取 PDF 文本和表格,合并、拆分、旋转页面,加水印、填写表单,并能对扫描件做 OCR。驱动 Claude 文档能力的 Anthropic 官方技能,源码可见但非开源。
anthropics/skills182k
uv
CLIAstral 出品的 Python 包与项目管理器,用 Rust 编写、速度极快,可替代 pip、pipx、poetry、pyenv 等;支持锁文件与多版本 Python,uvx 可免安装直接运行 Python 工具。
astral-sh/uv90.9k
Scrapling
MCP自适应 Python 爬虫框架 Scrapling 内置的 MCP 服务:支持普通 HTTP 请求、浏览器渲染与隐身抓取,可用 CSS 选择器只把目标内容交给 AI,节省 token 并过滤提示注入内容。
D4Vinci/Scrapling88.3k
Scrapling
CLI自适应网页抓取框架:scrapling extract 一条命令即可把网页抓成 Markdown、纯文本或 HTML,支持 CSS 选择器与浏览器渲染动态页面,另有 MCP 服务(需装 ai 扩展)。需 Python 3.10+,首次使用需安装浏览器。
D4Vinci/Scrapling88.3k
Crawl4AI
CLI开源的 LLM 友好网页爬虫,把网页转成干净的 Markdown 供 RAG 与 agent 使用;自带 crwl 命令行,支持深度爬取与按问题抽取数据(抽取需配置大模型 Key)。可免费自托管。
unclecode/crawl4ai85.7k
OpenBB Platform CLI
CLIOpenBB 开源投资研究平台的命令行版,在终端查询股票行情、财报、宏观经济等金融数据,可用 Routine 脚本批量自动取数。官方维护,部分数据源需自备 API Key。
OpenBB-finance/OpenBB74.4k
Docling
CLI解析 PDF、DOCX、PPTX、XLSX、HTML、图片与音频等格式,还原版面、阅读顺序、表格与公式,导出 Markdown、HTML 或无损 JSON。IBM Research 发起,现由 LF AI & Data 基金会托管,可完全本地运行。
docling-project/docling69k
Marker
CLI把 PDF、图片、PPTX、DOCX、XLSX、EPUB 等文档转换为 Markdown、JSON 或 HTML,能还原表格、公式与版面结构,可选接入大模型提升精度。需 Python 3.10+ 与 PyTorch;模型权重大规模商用需付费授权。
datalab-to/marker40.5k
Pyright LSP
Plugin为 Claude Code 接入 Pyright 语言服务器,给 Python 代码提供静态类型检查与代码智能。需先用 npm、pip 或 pipx 安装 pyright。Anthropic 官方插件。
anthropics/claude-plugins-official40.4k
OCRmyPDF
CLI给扫描版 PDF 加上可搜索、可复制的文字层,可自动纠偏、旋转并优化体积,默认输出 PDF/A。基于 Tesseract,支持 100 多种语言,完全本地运行。
ocrmypdf/OCRmyPDF35.1k
DVC
CLI像 Git 管代码一样管理数据集和模型的版本:数据存放在 S3、GCS 等远端存储,版本信息记在 Git 仓库里。还提供可复现的流水线和本地实验追踪,改动后只重跑受影响的步骤。
treeverse/dvc15.9k
mycli
CLI带智能补全与语法高亮的 MySQL 终端客户端,兼容 MariaDB、TiDB 等;支持 --execute 与批处理模式,可按 CSV 或表格格式输出查询结果,便于 agent 直接执行 SQL。
dbcli/mycli12k
Datasette
CLI把 SQLite 数据库发布成可以浏览、可以查询的网页和 JSON API,支持 SQL 查询、元数据和插件扩展,也能用 datasette publish 部署到 Cloud Run 等平台。适合数据探索和数据新闻,需要 Python 3.10 及以上版本。
simonw/datasette11.5k
Presidio CLI
CLI用 Presidio Analyzer 扫描文件与目录中的个人敏感信息(姓名、邮箱、信用卡号等),可配置实体类型、置信度阈值与忽略规则。需要 Python 3.10+ 与 spaCy 语言模型。
data-privacy-stack/presidio11.4k
a-stock-data
Skill让 agent 写代码获取 A 股及相关市场数据:行情 K 线、研报、资金流、龙虎榜、公告、宏观利率、期货与可转债等,整合 34 个公开数据源,除 iwencai 外无需密钥;需要安装 Python 依赖。
simonlin1212/a-stock-data10.9k
pdfplumber
CLI精确读取电子版 PDF 中每个字符、线条和表格框的位置:命令行可导出保留版面的文字或 CSV / JSON 明细,Python 接口还能抽取表格和表单字段,适合从发票、对账单、报表里取数。需 Python 环境,本地运行;不适合扫描件,需先 OCR。
jsvine/pdfplumber10.8k
SQLFluff
CLI支持二十多种 SQL 方言的 linter 与格式化工具,可自动修复大部分问题,兼容 Jinja 模板与 dbt 项目(dbt 需装插件),适合在数仓代码评审和 CI 中使用。
sqlfluff/sqlfluff10k
VisiData
CLI终端里的表格数据浏览与整理工具,能打开 CSV、JSON、Excel、SQLite 等数十种格式,做筛选、排序、透视和频次统计;--batch 模式可无界面回放操作或转换文件格式。
saulpw/visidata9.4k
jc
CLI把 dig、ps、ls、ifconfig 等上百种命令的输出及常见文件格式转换成 JSON,便于 agent 用 jq 或脚本可靠解析;也可作为 Python 库使用。
kellyjonbrazil/jc8.7k
RapidOCR
CLI把 PaddleOCR 模型转成 ONNX 的轻量 OCR,默认识别中英文,纯 CPU 即可运行;命令行 rapidocr 能识别截图、拍照件和扫描页图片中的文字,适合把纸质材料、票据图片转成文本。需 Python 环境,首次运行联网下载模型,之后可离线使用;PDF 需先转成图片。
RapidAI/RapidOCR8.2k
Trafilatura
CLIPython 编写的网页正文提取库与命令行:抓取网页,可跟随站点地图与 RSS 批量采集,去除页眉页脚等噪声,输出 TXT、Markdown、JSON、XML 等格式并附元数据,也能离线处理已下载的 HTML。
adbar/trafilatura7k
csvkit
CLI老牌 CSV 命令行工具集:in2csv 把 Excel、JSON 转成 CSV,csvcut、csvgrep、csvsort 筛选排序,csvstat 做统计,csvsql 直接对 CSV 跑 SQL。
wireservice/csvkit6.4k
Beancount
CLI用文本文件记录复式记账交易的记账语言与工具集:bean-check 校验账本、bean-format 统一格式,配合 Fava、beanquery 出报表与查询;账本是纯文本,便于 agent 生成和版本管理。
beancount/beancount6.1k