DuckDB Quack：基于HTTP的DuckDB客户端-服务器协议，解决多写入者并发问题

DuckDB 团队发布了 Quack，一个基于 HTTP 的 DuckDB 客户端-服务器协议。这个项目的核心目标是解决 DuckDB 一直以来的一个痛点：多写入者并发访问问题。

DuckDB 的并发问题

DuckDB 是一个嵌入式分析型数据库，类似于 SQLite 但专注于 OLAP（在线分析处理）场景。它速度快、功能强大，但有一个限制：同一个数据库文件同一时间只能有一个写入者。

这意味着如果你有一个 Web 应用，多个用户同时向同一个 DuckDB 数据库写入数据，就会遇到锁冲突。在嵌入式场景下（单进程），这不是问题；但在多进程或客户端-服务器场景下，这个限制就成了瓶颈。

Quack 的解决方案

Quack 通过引入一个轻量级的 HTTP 服务器层来解决这个问题。它的架构非常简单：

• 服务器端：运行一个 Quack 服务器进程，它独占 DuckDB 数据库文件
• 客户端：通过 HTTP 请求与服务器通信，发送 SQL 查询并接收结果
• 协议：基于标准的 HTTP 协议，支持 RESTful 风格的接口

这种设计让多个客户端可以同时向同一个 DuckDB 实例发送查询，由服务器端负责序列化写入操作，避免了锁冲突。

为什么不直接用 PostgreSQL

你可能会问：为什么不直接用 PostgreSQL？答案在于 DuckDB 的独特优势：

• 列式存储：DuckDB 的列式存储引擎在分析查询上比 PostgreSQL 快很多
• 零配置：不需要安装和维护数据库服务器
• 嵌入式：可以嵌入到应用程序中，不需要单独的数据库进程
• Parquet 支持：原生支持读取 Parquet、CSV 等文件格式

Quack 保留了 DuckDB 的这些优势，同时解决了多写入者的限制。

使用场景

• 数据分析平台：多个分析师同时查询同一个数据集
• ETL 管道：多个数据源同时写入同一个 DuckDB 数据库
• Web 应用：后端服务需要并发访问分析数据库
• 数据共享：团队成员共享同一个 DuckDB 数据库文件

快速上手

Quack 的使用非常简单。服务器端启动一个 Quack 进程，客户端通过 HTTP 发送 SQL 查询。由于基于 HTTP 协议，任何支持 HTTP 的编程语言都可以作为客户端。

这使得 DuckDB 可以从一个纯粹的嵌入式数据库，扩展为一个轻量级的客户端-服务器数据库，同时保持其在分析查询上的性能优势。

简评

DuckDB Quack 的出现填补了 DuckDB 在并发场景下的空白。对于站长来说，如果你的数据分析需求不需要 PostgreSQL 那么重的方案，DuckDB + Quack 可能是一个更轻量、更快的选择。特别是对于需要处理 CSV、Parquet 等文件格式的数据分析场景，DuckDB 的优势非常明显。

来源：GitHub – duckdb-quack | DuckDB 官网