工具集
全部 Skill、MCP、CLI 與 Plugin。可以依類型、職業、標籤篩選,也可以直接搜尋。
職業:数据工程 +2
共 23 項

MarkItDown
CLI把 PDF、Word、Excel、PPT、HTML、图片、音频等文件转成保留标题、列表与表格结构的 Markdown,供大模型读取与分析。微软官方维护,需要 Python 3.10 以上。
microsoft/markitdown191k
uv
CLIAstral 出品的 Python 包与项目管理器,用 Rust 编写、速度极快,可替代 pip、pipx、poetry、pyenv 等;支持锁文件与多版本 Python,uvx 可免安装直接运行 Python 工具。
astral-sh/uv90.9k
Scrapling
MCP自适应 Python 爬虫框架 Scrapling 内置的 MCP 服务:支持普通 HTTP 请求、浏览器渲染与隐身抓取,可用 CSS 选择器只把目标内容交给 AI,节省 token 并过滤提示注入内容。
D4Vinci/Scrapling88.5k
Scrapling
CLI自适应网页抓取框架:scrapling extract 一条命令即可把网页抓成 Markdown、纯文本或 HTML,支持 CSS 选择器与浏览器渲染动态页面,另有 MCP 服务(需装 ai 扩展)。需 Python 3.10+,首次使用需安装浏览器。
D4Vinci/Scrapling88.5k
Crawl4AI
CLI开源的 LLM 友好网页爬虫,把网页转成干净的 Markdown 供 RAG 与 agent 使用;自带 crwl 命令行,支持深度爬取与按问题抽取数据(抽取需配置大模型 Key)。可免费自托管。
unclecode/crawl4ai85.7k
Docling
CLI解析 PDF、DOCX、PPTX、XLSX、HTML、图片与音频等格式,还原版面、阅读顺序、表格与公式,导出 Markdown、HTML 或无损 JSON。IBM Research 发起,现由 LF AI & Data 基金会托管,可完全本地运行。
docling-project/docling69.1k
Pyright LSP
Plugin为 Claude Code 接入 Pyright 语言服务器,给 Python 代码提供静态类型检查与代码智能。需先用 npm、pip 或 pipx 安装 pyright。Anthropic 官方插件。
anthropics/claude-plugins-official42.6k
Marker
CLI把 PDF、图片、PPTX、DOCX、XLSX、EPUB 等文档转换为 Markdown、JSON 或 HTML,能还原表格、公式与版面结构,可选接入大模型提升精度。需 Python 3.10+ 与 PyTorch;模型权重大规模商用需付费授权。
datalab-to/marker40.5k
DVC
CLI像 Git 管代码一样管理数据集和模型的版本:数据存放在 S3、GCS 等远端存储,版本信息记在 Git 仓库里。还提供可复现的流水线和本地实验追踪,改动后只重跑受影响的步骤。
treeverse/dvc15.9k
mycli
CLI带智能补全与语法高亮的 MySQL 终端客户端,兼容 MariaDB、TiDB 等;支持 --execute 与批处理模式,可按 CSV 或表格格式输出查询结果,便于 agent 直接执行 SQL。
dbcli/mycli12k
Datasette
CLI把 SQLite 数据库发布成可以浏览、可以查询的网页和 JSON API,支持 SQL 查询、元数据和插件扩展,也能用 datasette publish 部署到 Cloud Run 等平台。适合数据探索和数据新闻,需要 Python 3.10 及以上版本。
simonw/datasette11.5k
Presidio CLI
CLI用 Presidio Analyzer 扫描文件与目录中的个人敏感信息(姓名、邮箱、信用卡号等),可配置实体类型、置信度阈值与忽略规则。需要 Python 3.10+ 与 spaCy 语言模型。
data-privacy-stack/presidio11.4k
SQLFluff
CLI支持二十多种 SQL 方言的 linter 与格式化工具,可自动修复大部分问题,兼容 Jinja 模板与 dbt 项目(dbt 需装插件),适合在数仓代码评审和 CI 中使用。
sqlfluff/sqlfluff10k
VisiData
CLI终端里的表格数据浏览与整理工具,能打开 CSV、JSON、Excel、SQLite 等数十种格式,做筛选、排序、透视和频次统计;--batch 模式可无界面回放操作或转换文件格式。
saulpw/visidata9.4k
jc
CLI把 dig、ps、ls、ifconfig 等上百种命令的输出及常见文件格式转换成 JSON,便于 agent 用 jq 或脚本可靠解析;也可作为 Python 库使用。
kellyjonbrazil/jc8.7k
Trafilatura
CLIPython 编写的网页正文提取库与命令行:抓取网页,可跟随站点地图与 RSS 批量采集,去除页眉页脚等噪声,输出 TXT、Markdown、JSON、XML 等格式并附元数据,也能离线处理已下载的 HTML。
adbar/trafilatura7k
csvkit
CLI老牌 CSV 命令行工具集:in2csv 把 Excel、JSON 转成 CSV,csvcut、csvgrep、csvsort 筛选排序,csvstat 做统计,csvsql 直接对 CSV 跑 SQL。
wireservice/csvkit6.4k
AiPy
CLI知道创宇开源的 Python-use 智能体:用大白话描述任务,它自动写 Python 代码在本机运行,可整理 Excel、汇总考勤、筛选简历。需 Python 3.11+ 与 DeepSeek 等模型 API Key;代码直接在电脑上执行,重要文件先备份。
knownsec/aipyapp4k
SQLMesh
CLI用 SQL 或 Python 编写数据转换模型的框架。提供类似 Terraform 的 plan / apply 流程、虚拟数据环境、单元测试和表差异比对,能在 10 多种 SQL 方言之间转译。Linux 基金会项目,可以替代 dbt。
SQLMesh/sqlmesh3.3k
sqlite-utils
CLISimon Willison 出品的命令行工具与 Python 库:把 JSON、CSV 直接导入 SQLite 并自动建表,对文件跑内存 SQL 查询,还支持全文检索与表结构变换。
simonw/sqlite-utils2.2k
kicad-happy
SkillKiCad 电路设计评审技能集:解析原理图、PCB 和 Gerber,推算电源树、查找常见设计错误,并做 SPICE 仿真、EMC 预检和 BOM 整理;只需 Python 3.10+,仿真需装 ngspice 等,查 DigiKey 需其 API 凭证,EMC 预检不能替代正式认证。
aklofas/kicad-happy1.4k
MySQL MCP Server
MCP让 agent 受控地访问 MySQL:列出库表、查看表结构与样本数据、执行 SQL,支持多库模式、SSL 与 SSH 隧道。需自行配置数据库账号,建议使用最小权限用户。
designcomputer/mysql_mcp_server1.4k
Apache Doris MCP Server
MCPApache Doris 官方 MCP:以只读方式让 agent 探查库表元数据、执行与解释 SQL、诊断慢查询,并查看集群状态、导入任务与数据治理信息。需 Python 3.12+ 与 Doris 2.0 以上。
apache/doris-mcp-server351