━━━━━ 正文从此处全选复制 ━━━━━
FutureX · Database
本期要点
· DuckDB 2.0.0 LTS 正式发布,近 2 万次提交,Quack 服务端模式转正
· PingCAP 确认内部系统遭未授权访问,黑客称窃取 10.6TB
· Databricks AI Runtime GA,托管 GPU 训练搬进湖仓
· Snowflake 迁移 agent AIM 推出独立桌面应用,进入公开预览
· Andy Pavlo:向量数据库的护城河只是一个索引
▎ 版本与产品发布
DuckDB 2.0.0 LTS「Cinnamon Teal」对外发布 · olap
10 月 21 日,DuckDB 2.0.0 正式推出。官方表示,这是迄今规模最大的一次功能发布,从 1.5 到现在共合入近 20,000 次提交。1.0 版本以稳定性和向后兼容为主题,2.0 版本则以新功能为主题。主要变化包括以下几项。5 月在 1.5.3 中先行试用的 Quack 协议经过打磨,性能和稳定性都有明显提升,任何 DuckDB 进程现在都可以对外提供数据库服务。新增的 CONNECT 语句只需一条命令,就能挂载远程数据库并切换过去,可连接的对象除了 Quack,还有 PostgreSQL 和 MySQL,并配有新的远程下推优化器(remote pushdown optimizer)。除此之外,2.0 还带来异步 I/O、一等公民的 VARIANT 类型、agent mode、触发器(triggers)和可扩展的 SQL 解析器。官方 8 月的预览文章提到,2.0 同时改用新的默认存储格式,并重新设计了 C API。这些是数量不多、经过考虑的破坏性变更,用户升级之前应当按迁移说明先做测试。
在支持周期上,2.0 属于 LTS 版本,至少支持到 2027 年 10 月。上一个 LTS 版本 1.4 的维护期到 2026 年 11 月下旬为止。为了让用户有时间迁移,1.5 的支持期延长至 2027 年 3 月,实际上也成为 LTS,因此现在有三条版本线在同时维护。CLI 和 Python 客户端已经上线,Go、R、Java 等客户端以及部分扩展要再过几天才会发布。在 dev 版阶段对 agent mode 做的测试中,总成本几乎没有下降,不过 agent 读回的 token 减少了 59%。2.0 的主要意义体现在形态上:以嵌入式起家的 DuckDB 正式具备了客户端/服务端模式,还能对 Postgres 和 MySQL 做联邦查询,开始进入原先由服务端 OLAP 引擎(如 ClickHouse)和轻量查询网关占据的领域。官方目前仍建议服务端只监听 localhost,需要对外开放时通过 TLS 反向代理暴露,多用户服务化的场景尚处于早期。[1]
其余版本更新如下:ClickHouse 发布 v26.9.24.8-stable、v26.8.33.10-lts、v26.7.36.9-stable 和 v26.3.58.5-lts 补丁 [2];Qdrant 发布 v1.20.0 [3];Materialize 发布 v26.47.0 [4];CockroachDB 发布 v26.2.9 [5]、v25.4.18 [6]和 v25.2.25 [7];Weaviate 发布 v1.40.2 [8]、v1.39.13 [9]和 v1.38.22 [10];YugabyteDB 发布 2026.1.3.0-b87 [11]和 2025.2.9.0-b7 [12];LanceDB 发布 v0.41.0-beta.12 [13]
▎ 数据库 × AI
Databricks AI Runtime 进入 GA:托管 GPU 训练落地湖仓 · ai-native
Databricks 宣布 AI Runtime(AIR)正式可用。AIR 是一套全托管的 GPU 基础设施,由 Databricks 负责提供 GPU、维护故障节点并优化负载,客户可以直接在存放企业数据的平台上训练模型。AIR 与 Lakeflow 做了原生集成,GPU 任务能与上下游管道同步编排,并内置优先级和抢占机制来减少 GPU 空转。它兼容 Ray 等主流框架,用户可以通过 CLI、Notebook 或 IDE 使用。官方表示,已经有数百家公司在使用,其中有 Robinhood、Merck、FactSet 和 PicPay,Databricks 自家的 KARL 与 AI Parse 也是在 AIR 上训练出来的。同一天,Databricks 还发布了与 NVIDIA 合作、利用企业数据定制开源模型的配套内容。这一做法的思路,是把训练算力也纳入治理边界,让 Unity Catalog 一侧的权限体系覆盖到训练数据,以回应 GPU 栈与湖仓分开部署所造成的治理缺口。[14]
Snowflake 迁移 agent AIM 推出独立应用 · agent
Snowflake 的迁移 agent AIM 起初只是 CoCo CLI 中的一个 skill,之后加入了 CoCo Desktop,从 10 月 20 日起又以独立桌面应用的形式提供,目前处于公开预览阶段。其底层引擎保持不变,包括确定性的代码转换、按依赖关系分批部署,以及把确定性校验和 AI 校验结合起来的「测试—修复」循环。新应用将迁移过程划分为六个阶段,以引导式流程推进,并标明哪些环节需要人工判断。官方把测试要回答的问题分成三类:数据行是否正确落地,存储过程的结果是否与源端一致,转换后的 ETL 逻辑是否等价。对数仓厂商而言,迁移工具决定了从 Teradata、Oracle 等存量系统争取客户的速度,因此这个产品方向的重要性大于它在技术上的新意。[15]
Andy Pavlo 论 agent 时代的数据库:向量库护城河浅,删库是老问题 · agent ⚠️ 单方口径
Andy Pavlo 是 CMU 教授,8 月起出任 ClickHouse 数据库研究副总裁,并领导 ClickHouse Labs。他在 The MAD Podcast 上谈到 agent 时代数据库的若干变化,InfoQ 将内容整理成文。他的主要观点如下。
他认为向量数据库「说到底只是一个索引」。一年之内,几乎所有数据库都补上了向量能力,向量功能因此从差异化卖点变成了入场门槛。今后它要么演变成 Postgres 那样的通用系统,要么像 Elasticsearch 一样作为独立的附加组件存在。对于 agent 删库,他的看法是这属于旧问题被重新暴露出来,解决办法是做好权限隔离,并利用分支建立沙箱,而不是依赖人逐条点击「批准」。
他还列举了几组数字。现成的 text-to-SQL 方案准确率约为 60%,而某大银行花数年时间、投入数百万美元建设语义层和上下文层之后,准确率达到 99.5%。已有超过 60% 的开源数据库出现了 agent 参与的 commit。LLM 调参大约 15 分钟就能达到「足够好」的程度,约相当于最优效果的 85%。以上都是他在访谈中的说法,并无公开数据可以印证。[16]
▎ 技术 · 架构 · 性能基准
Proscia 以 ClickHouse 加 S3 自建可观测平台 · olap
病理 AI 公司 Proscia 的 Concentriq 平台为前 20 大药企中的 16 家提供服务,因此必须满足 HIPAA、GDPR 和数据驻留等合规要求。AWS 存储博客介绍了该公司的可观测方案:借助 Altinity 的 Kubernetes Operator,在 EKS 上运行 ClickHouse,遥测数据以对象存储的价格保存在 S3 中,查询则由 ClickHouse 的分层存储负责,这样保留成本就不会随事件量线性增长。对于受监管行业,这是 ClickHouse 自管形态替代商业可观测平台的又一个案例。[17]
Tiger Data:网络中断时仍不丢数据的 IIoT 摄取设计 · streaming
TimescaleDB 官方博客讨论了上行链路中断时的工业物联网数据摄取,提出三条原则:为每条读数强制分配唯一身份,以便去重;在边缘端做持久化缓冲;对回放进行限速,防止恢复后的补传挤占实时写入。[18]
学界 · 研究前沿
· KatoANN(arXiv 2610.27508):该工作在 Intel AMX 矩阵单元上成批执行距离扫描,使多条查询共用同一份向量编码,让分区类 ANN 的瓶颈从内存带宽转移到计算,在扫描速度与有损扫描相当的情况下,召回率接近精确结果。[19]
· VS-Flash(arXiv 2610.26960):面向数据量超过 DRAM 容量的向量库,该方案把大批量查询卸载到具备计算能力的内存语义闪存,而对延迟敏感的小批量查询仍交给 CPU 处理,以此缓解 mmap 方案的尾延迟问题。[20]
· NousDB(arXiv 2610.28551):这是一个构建在 Apache DataFusion 之上的语义分析引擎,它扩展了关系代数并引入三个语义算子,同时用 token 直方图建立成本模型,在上下文窗口的约束下优化批大小。[21]
· SWatcher+(arXiv 2610.28270):该方法只监控误估代价较高的子查询,并在优化阶段直接修正学习型基数估计,因此无需等待完整重训,就能适应数据和负载的漂移。[22]
▎ 云厂商 · 生态 · 监管
PingCAP 确认遭入侵,黑客称窃取 TiDB Cloud 10.6TB 数据 · cloud ⚠️ 单方口径
黑客组织 FulcrumSec 声称,从 PingCAP 的 TiDB Cloud 中窃取了约 10.6TB 数据,其中包括约 18 万条客户组织记录和 11 万多个 API 密钥,并已公开约 200GB 的样本。PingCAP 在官网发布声明,确认内部系统遭到未授权访问,部分内部经营数据被复制,源代码也可能已被窃取。声明同时强调,这次事件不涉及产品漏洞,也不影响客户的数据库和业务数据。至于攻击者公布的数据规模、密钥泄露情况以及实际受影响的客户范围,PingCAP 尚未完全确认,第三方也没有独立核实。出现在名单上的交易所 Bitget 回应称,该公司只在 TiDB Cloud 上存放过部分公开成交日志,而且在两个多月前就已停用。云数据库厂商内部凭据和元数据的安全,正逐渐成为客户选型时需要考虑的一项。[23]
OCI Full Stack DR 原生支持 PostgreSQL · cloud
Oracle 云的全栈容灾编排服务 Full Stack DR 增加了对 OCI Database with PostgreSQL 的原生支持,同时加强了与网络有关的能力。这样一来,Postgres 就能纳入 OCI 的跨区域整体切换流程。[24]
文中 [N] 为来源编号,全部来源链接请点文末「阅读原文」查看。
FutureX · 记录未来如何发生
素材来源多方媒体/网络新闻