工具集
全部 Skill、MCP、CLI 與 Plugin。可以依類型、職業、標籤篩選,也可以直接搜尋。
職業:数据工程 +1
共 39 項

MarkItDown
CLI把 PDF、Word、Excel、PPT、HTML、图片、音频等文件转成保留标题、列表与表格结构的 Markdown,供大模型读取与分析。微软官方维护,需要 Python 3.10 以上。
microsoft/markitdown194k
yt-dlp
CLI支持上千个站点的音视频下载命令行工具,可选择格式与清晰度、下载字幕与元数据,并配合 FFmpeg 合并与转码;youtube-dl 的活跃分支。
yt-dlp/yt-dlp205k
Scrapling
MCP自适应 Python 爬虫框架 Scrapling 内置的 MCP 服务:支持普通 HTTP 请求、浏览器渲染与隐身抓取,可用 CSS 选择器只把目标内容交给 AI,节省 token 并过滤提示注入内容。
D4Vinci/Scrapling99.9k
Scrapling
CLI自适应网页抓取框架:scrapling extract 一条命令即可把网页抓成 Markdown、纯文本或 HTML,支持 CSS 选择器与浏览器渲染动态页面,另有 MCP 服务(需装 ai 扩展)。需 Python 3.10+,首次使用需安装浏览器。
D4Vinci/Scrapling98.8k
uv
CLIAstral 出品的 Python 包与项目管理器,用 Rust 编写、速度极快,可替代 pip、pipx、poetry、pyenv 等;支持锁文件与多版本 Python,uvx 可免安装直接运行 Python 工具。
astral-sh/uv91.7k
Crawl4AI
CLI开源的 LLM 友好网页爬虫,把网页转成干净的 Markdown 供 RAG 与 agent 使用;自带 crwl 命令行,支持深度爬取与按问题抽取数据(抽取需配置大模型 Key)。可免费自托管。
unclecode/crawl4ai87k
Docling
CLI解析 PDF、DOCX、PPTX、XLSX、HTML、图片与音频等格式,还原版面、阅读顺序、表格与公式,导出 Markdown、HTML 或无损 JSON。IBM Research 发起,现由 LF AI & Data 基金会托管,可完全本地运行。
docling-project/docling70.3k
Pyright LSP
Plugin为 Claude Code 接入 Pyright 语言服务器,给 Python 代码提供静态类型检查与代码智能。需先用 npm、pip 或 pipx 安装 pyright。Anthropic 官方插件。
anthropics/claude-plugins-official46.4k
Marker
CLI把 PDF、图片、PPTX、DOCX、XLSX、EPUB 等文档转换为 Markdown、JSON 或 HTML,能还原表格、公式与版面结构,可选接入大模型提升精度。需 Python 3.10+ 与 PyTorch;模型权重大规模商用需付费授权。
datalab-to/marker40.8k
Rembg
CLI一条命令去除图片背景:支持单张、整个文件夹批处理和监听目录,可只输出蒙版、切换 U2Net、SAM 等模型,也能启动 HTTP 服务或配合 FFmpeg 处理视频帧。默认模型在本地推理。
danielgatis/rembg25.4k
gallery-dl
CLI从众多图片站与社交平台批量下载图集和作品的命令行工具,文件命名与配置灵活,可调用 yt-dlp 下载视频。主开发已迁至 Codeberg,GitHub 仓库仍同步更新。
mikf/gallery-dl20.4k
DVC
CLI像 Git 管代码一样管理数据集和模型的版本:数据存放在 S3、GCS 等远端存储,版本信息记在 Git 仓库里。还提供可复现的流水线和本地实验追踪,改动后只重跑受影响的步骤。
treeverse/dvc16k
mycli
CLI带智能补全与语法高亮的 MySQL 终端客户端,兼容 MariaDB、TiDB 等;支持 --execute 与批处理模式,可按 CSV 或表格格式输出查询结果,便于 agent 直接执行 SQL。
dbcli/mycli12k
Streamlink
CLI把 Twitch、YouTube、B 站、抖音、虎牙、斗鱼等平台的直播流交给本地播放器观看,或用 --output / --record 直接保存成视频文件,便于留存自家或合作方的直播回放、做二次剪辑。macOS 可用 Homebrew 安装,观看需另装 VLC 等播放器;请只录制有权使用的内容。
streamlink/streamlink11.9k
Presidio CLI
CLI用 Presidio Analyzer 扫描文件与目录中的个人敏感信息(姓名、邮箱、信用卡号等),可配置实体类型、置信度阈值与忽略规则。需要 Python 3.10+ 与 spaCy 语言模型。
data-privacy-stack/presidio11.8k
Datasette
CLI把 SQLite 数据库发布成可以浏览、可以查询的网页和 JSON API,支持 SQL 查询、元数据和插件扩展,也能用 datasette publish 部署到 Cloud Run 等平台。适合数据探索和数据新闻,需要 Python 3.10 及以上版本。
simonw/datasette11.5k
SQLFluff
CLI支持二十多种 SQL 方言的 linter 与格式化工具,可自动修复大部分问题,兼容 Jinja 模板与 dbt 项目(dbt 需装插件),适合在数仓代码评审和 CI 中使用。
sqlfluff/sqlfluff10k
VisiData
CLI终端里的表格数据浏览与整理工具,能打开 CSV、JSON、Excel、SQLite 等数十种格式,做筛选、排序、透视和频次统计;--batch 模式可无界面回放操作或转换文件格式。
saulpw/visidata9.5k
jc
CLI把 dig、ps、ls、ifconfig 等上百种命令的输出及常见文件格式转换成 JSON,便于 agent 用 jq 或脚本可靠解析;也可作为 Python 库使用。
kellyjonbrazil/jc8.7k
BackgroundRemover
CLI用 AI 一条命令去除图片和视频的背景:支持整个文件夹批处理、人像专用模型、边缘精修和换纯色底,视频可输出透明底 MOV 或叠加到新背景上,适合处理商品图、证件照和短视频素材。模型在本地运行,需先安装 PyTorch 与 ffmpeg,首次运行会自动下载模型。
nadermx/backgroundremover8.2k
Trafilatura
CLIPython 编写的网页正文提取库与命令行:抓取网页,可跟随站点地图与 RSS 批量采集,去除页眉页脚等噪声,输出 TXT、Markdown、JSON、XML 等格式并附元数据,也能离线处理已下载的 HTML。
adbar/trafilatura7.1k
csvkit
CLI老牌 CSV 命令行工具集:in2csv 把 Excel、JSON 转成 CSV,csvcut、csvgrep、csvsort 筛选排序,csvstat 做统计,csvsql 直接对 CSV 跑 SQL。
wireservice/csvkit6.4k
Excel MCP Server
MCP无需安装 Microsoft Excel 即可创建、读取和修改 xlsx 工作簿:支持公式、格式与条件格式、图表、透视表和表格,可本地 stdio 运行,也可作为远程 HTTP 服务。
haris-musa/excel-mcp-server4.3k
DaVinci Resolve MCP Server
MCP让 agent 通过 Resolve 自带的脚本 API 操控达芬奇:剪辑时间线、整理媒体池、调色、Fusion、渲染输出。需要 DaVinci Resolve Studio;免费版仅 21.0.x 及更早版本可经应用内脚本桥接使用。
samuelgursky/davinci-resolve-mcp4k