工具集
全部 Skill、MCP、CLI 与 Plugin。可以按类型、职业、标签筛选,也可以直接搜索。
职业:数据工程 +2
共 28 项

MarkItDown
CLI把 PDF、Word、Excel、PPT、HTML、图片、音频等文件转成保留标题、列表与表格结构的 Markdown,供大模型读取与分析。微软官方维护,需要 Python 3.10 以上。
microsoft/markitdown194k
PPT Master
Skill从 PDF、Word、网页等资料生成原生可编辑的 PPTX,输出原生形状、数据图表与母版版式,也可套用自有模板填充内容、为成品添加动画与旁白;需要 Python 3.10+ 并安装依赖。
hugohe3/ppt-master74.9k
Scrapling
CLI自适应网页抓取框架:scrapling extract 一条命令即可把网页抓成 Markdown、纯文本或 HTML,支持 CSS 选择器与浏览器渲染动态页面,另有 MCP 服务(需装 ai 扩展)。需 Python 3.10+,首次使用需安装浏览器。
D4Vinci/Scrapling100k
Scrapling
MCP自适应 Python 爬虫框架 Scrapling 内置的 MCP 服务:支持普通 HTTP 请求、浏览器渲染与隐身抓取,可用 CSS 选择器只把目标内容交给 AI,节省 token 并过滤提示注入内容。
D4Vinci/Scrapling99.9k
uv
CLIAstral 出品的 Python 包与项目管理器,用 Rust 编写、速度极快,可替代 pip、pipx、poetry、pyenv 等;支持锁文件与多版本 Python,uvx 可免安装直接运行 Python 工具。
astral-sh/uv91.8k
Crawl4AI
CLI开源的 LLM 友好网页爬虫,把网页转成干净的 Markdown 供 RAG 与 agent 使用;自带 crwl 命令行,支持深度爬取与按问题抽取数据(抽取需配置大模型 Key)。可免费自托管。
unclecode/crawl4ai87.1k
Docling
CLI解析 PDF、DOCX、PPTX、XLSX、HTML、图片与音频等格式,还原版面、阅读顺序、表格与公式,导出 Markdown、HTML 或无损 JSON。IBM Research 发起,现由 LF AI & Data 基金会托管,可完全本地运行。
docling-project/docling70.3k
nanobot
CLI港大 HKUDS 出品的超轻量自托管个人 AI agent 框架(Python):自带网页界面与终端,可接 Telegram、Discord、Slack、微信、飞书、邮件等聊天渠道,内置长期记忆、定时任务、MCP 与多 agent 委派,能读 PDF、Word、Excel、PPT。接 OpenAI 兼容接口或本地模型,需要 Python 3.11 以上。
HKUDS/nanobot50k
CowAgent
CLI由 chatgpt-on-wechat 改名而来的开源个人 AI 助手与 Agent Harness:规划任务、调用工具与技能,三层记忆与知识库会自我进化,可组多 agent 团队;接微信、企业微信、公众号、飞书、钉钉、QQ、Telegram、Slack 等渠道,模型支持 Claude、GPT、DeepSeek、通义千问等。一行脚本安装,自带网页控制台(端口 9899),也有桌面客户端。
zhayujie/CowAgent47.8k
Pyright LSP
Plugin为 Claude Code 接入 Pyright 语言服务器,给 Python 代码提供静态类型检查与代码智能。需先用 npm、pip 或 pipx 安装 pyright。Anthropic 官方插件。
anthropics/claude-plugins-official46.6k
Marker
CLI把 PDF、图片、PPTX、DOCX、XLSX、EPUB 等文档转换为 Markdown、JSON 或 HTML,能还原表格、公式与版面结构,可选接入大模型提升精度。需 Python 3.10+ 与 PyTorch;模型权重大规模商用需付费授权。
datalab-to/marker40.8k
DVC
CLI像 Git 管代码一样管理数据集和模型的版本:数据存放在 S3、GCS 等远端存储,版本信息记在 Git 仓库里。还提供可复现的流水线和本地实验追踪,改动后只重跑受影响的步骤。
treeverse/dvc16k
mycli
CLI带智能补全与语法高亮的 MySQL 终端客户端,兼容 MariaDB、TiDB 等;支持 --execute 与批处理模式,可按 CSV 或表格格式输出查询结果,便于 agent 直接执行 SQL。
dbcli/mycli12k
Presidio CLI
CLI用 Presidio Analyzer 扫描文件与目录中的个人敏感信息(姓名、邮箱、信用卡号等),可配置实体类型、置信度阈值与忽略规则。需要 Python 3.10+ 与 spaCy 语言模型。
data-privacy-stack/presidio11.8k
Datasette
CLI把 SQLite 数据库发布成可以浏览、可以查询的网页和 JSON API,支持 SQL 查询、元数据和插件扩展,也能用 datasette publish 部署到 Cloud Run 等平台。适合数据探索和数据新闻,需要 Python 3.10 及以上版本。
simonw/datasette11.5k
SQLFluff
CLI支持二十多种 SQL 方言的 linter 与格式化工具,可自动修复大部分问题,兼容 Jinja 模板与 dbt 项目(dbt 需装插件),适合在数仓代码评审和 CI 中使用。
sqlfluff/sqlfluff10k
VisiData
CLI终端里的表格数据浏览与整理工具,能打开 CSV、JSON、Excel、SQLite 等数十种格式,做筛选、排序、透视和频次统计;--batch 模式可无界面回放操作或转换文件格式。
saulpw/visidata9.5k
jc
CLI把 dig、ps、ls、ifconfig 等上百种命令的输出及常见文件格式转换成 JSON,便于 agent 用 jq 或脚本可靠解析;也可作为 Python 库使用。
kellyjonbrazil/jc8.7k
Trafilatura
CLIPython 编写的网页正文提取库与命令行:抓取网页,可跟随站点地图与 RSS 批量采集,去除页眉页脚等噪声,输出 TXT、Markdown、JSON、XML 等格式并附元数据,也能离线处理已下载的 HTML。
adbar/trafilatura7.1k
csvkit
CLI老牌 CSV 命令行工具集:in2csv 把 Excel、JSON 转成 CSV,csvcut、csvgrep、csvsort 筛选排序,csvstat 做统计,csvsql 直接对 CSV 跑 SQL。
wireservice/csvkit6.4k
Beancount
CLI用文本文件记录复式记账交易的记账语言与工具集:bean-check 校验账本、bean-format 统一格式,配合 Fava、beanquery 出报表与查询;账本是纯文本,便于 agent 生成和版本管理。
beancount/beancount6.2k
Google Workspace MCP Server
MCP操作 Gmail、日历、Drive、Docs、Sheets、Slides、Tasks、Chat 等 Google Workspace 服务,支持多用户 OAuth 与只读模式;需自建 Google OAuth 客户端并以 HTTP 模式启动。
taylorwilsdon/google_workspace_mcp3.5k
Fli
MCP通过 Google Flights 查询航班与最低价出行日期,可按航线、日期、舱位、经停、航司与联盟筛选,适合差旅规划。开源 Python 实现,无需 API Key;基于逆向的谷歌接口,可能随谷歌改版受影响。
punitarani/fli3.5k
SQLMesh
CLI用 SQL 或 Python 编写数据转换模型的框架。提供类似 Terraform 的 plan / apply 流程、虚拟数据环境、单元测试和表差异比对,能在 10 多种 SQL 方言之间转译。Linux 基金会项目,可以替代 dbt。
SQLMesh/sqlmesh3.3k