工具集

进程内分析型 SQL 数据库，命令行可直接用 SQL 查询 CSV、Parquet、JSON 文件，无需导入或启动服务，适合 agent 抽样与聚合大文件。官方维护。

自适应网页抓取框架：scrapling extract 一条命令即可把网页抓成 Markdown、纯文本或 HTML，支持 CSS 选择器与浏览器渲染动态页面，另有 MCP 服务（需装 ai 扩展）。需 Python 3.10+，首次使用需安装浏览器。

开源的 LLM 友好网页爬虫，把网页转成干净的 Markdown 供 RAG 与 agent 使用；自带 crwl 命令行，支持深度爬取与按问题抽取数据（抽取需配置大模型 Key）。可免费自托管。

OpenBB 开源投资研究平台的命令行版，在终端查询股票行情、财报、宏观经济等金融数据，可用 Routine 脚本批量自动取数。官方维护，部分数据源需自备 API Key。

以结构化数据为核心的跨平台 shell：管道里传的是表格而不是纯文本，可以直接打开并查询 JSON、CSV、TOML 等文件；默认构建自带 nu --mcp 模式，可作为 MCP 服务给 agent 调用。

把网站和 Electron 桌面应用变成确定性的命令行接口：内置 B 站、知乎、小红书、Reddit、HackerNews 等适配器，并让 agent 通过你已登录的 Chrome 操作任意网页。需安装配套浏览器扩展。

阿里巴巴开源的离线数据同步工具，用 JSON 作业配置在 MySQL、Oracle、PostgreSQL、Hive、HDFS、MaxCompute 等异构数据源间批量同步，通过 python datax.py 执行。需 JDK 1.8+ 与 Python，下载官方工具包解压即用。

数仓建模与 ELT 转换的命令行框架：用 SQL 编写模型，自动处理依赖、数据测试与文档生成。v2 用 Rust 重写为单一二进制，dbt Labs 官方维护，需配置数据仓库连接。

带智能补全与语法高亮的 PostgreSQL 命令行客户端，兼容 psql 的环境变量，支持用 -c 执行语句后退出，便于 agent 非交互地查询数据库。

Simon Willison 开发的大模型命令行与 Python 库：在终端调用 OpenAI、Claude、Gemini 及本地模型，对话自动记入 SQLite，支持嵌入、结构化抽取与工具调用，可用插件扩展。

带智能补全与语法高亮的 MySQL 终端客户端，兼容 MariaDB、TiDB 等；支持 --execute 与批处理模式，可按 CSV 或表格格式输出查询结果，便于 agent 直接执行 SQL。

把 SQLite 数据库发布成可以浏览、可以查询的网页和 JSON API，支持 SQL 查询、元数据和插件扩展，也能用 datasette publish 部署到 Cloud Run 等平台。适合数据探索和数据新闻，需要 Python 3.10 及以上版本。

精确读取电子版 PDF 中每个字符、线条和表格框的位置：命令行可导出保留版面的文字或 CSV / JSON 明细，Python 接口还能抽取表格和表单字段，适合从发票、对账单、报表里取数。需 Python 环境，本地运行；不适合扫描件，需先 OCR。

仿 psql 的通用 SQL 命令行，一个工具连接 PostgreSQL、MySQL、SQLite、SQL Server、Oracle 等数十种 SQL 与 NoSQL 数据库，并支持跨库复制数据。

像 awk、sed、cut、join、sort 一样处理 CSV、TSV、JSON 等结构化数据，按字段名操作，支持清洗、聚合统计、格式转换与美化输出。命令为 mlr，Go 编写零运行时依赖。

支持二十多种 SQL 方言的 linter 与格式化工具，可自动修复大部分问题，兼容 Jinja 模板与 dbt 项目（dbt 需装插件），适合在数仓代码评审和 CI 中使用。

终端里的表格数据浏览与整理工具，能打开 CSV、JSON、Excel、SQLite 等数十种格式，做筛选、排序、透视和频次统计；--batch 模式可无界面回放操作或转换文件格式。

用 SQL 实时查询云资源与 SaaS API：安装插件后，AWS、Azure、GCP、GitHub、Kubernetes 等服务被映射为数据表，直接 select 取数，无需 ETL。单一二进制，内置 Postgres。

在 Jupyter Notebook 与普通 Python 脚本或 Markdown 之间互相转换、双向同步的工具，让 agent 能像改普通文本一样修改科研和教学用的 notebook，版本对比也更清楚。需要本机 Python 环境，用 pip 安装。

Python 编写的网页正文提取库与命令行：抓取网页，可跟随站点地图与 RSS 批量采集，去除页眉页脚等噪声，输出 TXT、Markdown、JSON、XML 等格式并附元数据，也能离线处理已下载的 HTML。

老牌 CSV 命令行工具集：in2csv 把 Excel、JSON 转成 CSV，csvcut、csvgrep、csvsort 筛选排序，csvstat 做统计，csvsql 直接对 CSV 跑 SQL。

Posit 出品的开源科技出版系统，基于 Pandoc：在 Markdown 或 Jupyter 笔记本中嵌入 Python、R、Julia 代码，quarto render 生成 HTML、PDF、Word、幻灯片、网站与书籍。

在终端里绘制柱状图、直方图、折线图、散点图和箱线图，从标准输入读取 CSV/TSV，接在 shell 管道末尾就能快速查看数据分布。命令名为 uplot。

知道创宇开源的 Python-use 智能体：用大白话描述任务，它自动写 Python 代码在本机运行，可整理 Excel、汇总考勤、筛选简历。需 Python 3.11+ 与 DeepSeek 等模型 API Key；代码直接在电脑上执行，重要文件先备份。