第 27 期：HexaDB助力智能网联平台完成核心系统升级破局

概述：数翊科技助力某头部智能网联平台客户完成核心系统数据库国产化改造和升级破局。通过 HexaDB 的原生 HTAP 和自适应压缩技术，数据存储和计算成本降低超过 50%。高速并行数据加载和分布式查询优化等特性，让系统性能提升超过 30%，极大改善业务体验。同时，凭借丰富的实施经验和功能强大的配套工具，数翊科技专家团队帮助客户制定完整周密的迁移方案，一次性完成核心数据库割接上线。

X 系统是某头部智能网联平台的核心系统，主要负责在车辆通信中收集、处理和分发计费数据。最初，客户部署了某开源分布式数据库用于支撑 X 系统，通过横向扩容可以基本满足业务发展的需要。然而，随着近几年新能源智能网联汽车接入数量的激增，X 系统从一个相对简单、后台化的工具，演变成了一个需要处理海量、多维度、近实时数据的复杂业务支撑平台，原有的数据库架构已经无法满足业务需求，客户面临的挑战集中体现在：

1）数据容量急速增加，存储和计算成本越来越高：相对于传统燃油车，新能源智能网联汽车需要 X 系统识别和处理的服务类型变得非常复杂，包括车辆远程控制、车辆状态监控、空中软件升级、智能导航、车辆诊断、电磁管理、娱乐消费等。在单个数据包容量急剧膨胀的同时，数据包的生成频率也飞速提升，造成系统数据量的爆炸性增长。由于缺乏良好的数据压缩机制，原有开源分布式数据库所消耗的硬件资源越来越多，带来巨大的成本压力。

2）存在性能瓶颈，难以支撑海量数据的实时写入和处理：原有开源分布式数据库的写入性能无法满足要求，常常导致上游数据积压，用户查询不到最新的数据，投诉压力增加；数据更新频繁，数据库实时处理能力不足导致业务处理时延过高，严重影响客户体验。

3）使用开源数据库的技术维护压力大：采用开源数据库，缺乏官方支持，高可用、容灾架构、系统性能优化和现网问题等缺少专业技术支持，随着系统负载接近瓶颈，只能依靠增加硬件资源缓解，运维风险日益增加。

4）安全问题：系统漏洞、数据保全等风险因为采用开源无法获得有效预案和及时修复，系统始终处于安全“裸奔”运行状态。

破局之道：以原生分布式 HTAP 数据库构筑面向未来的技术基座

为了应对 X 系统当前以及未来业务发展的需要，并在数据处理的成本、性能、实时性、运维保障等方面获得显著优化，同时兼顾应用系统迁移改造的复杂程度，经过多轮的技术交流、测试和验证，客户最终决定采用 HexaDB 替换原有开源分布式数据库构建新一代库仓一体平台。HexaDB 是数翊科技自主研发的一款原生分布式 HTAP 数据库，遵循 SQL 2011 标准，能够全面兼容原有开源分布式数据库的对象和类型，让业务系统几乎实现了“零改造”迁移。同时，HexaDB 在以下几个领域实现了关键性技术突破：

1）原生 HTAP：HexaDB 用一套引擎支撑 OLTP 和 OLAP 两种业务负载，实现数据平台一体化和业务数据归一化。并且，HexaDB 提供多种技术方案来满足不同类型的 HTAP 需求。针对本案例的实际情况，最终选用了节点内的 HTAP 方案，即分布式行存+全功能型列存副本，其优势如下：

-数据新鲜度高：支持强一致的实时行转列；

-扩展性好：列存和行存均支持分布式水平扩展，OLTP 和 OLAP 扩展性好；

-隔离性强：OLTP 在行存完成，OLTP 性能好；OLAP 在列存副本完成，隔离性好。

2）高速并行数据加载：数据并行导入(加载)的核心思想是充分利用所有节点的计算能力和 I/O 能力以达到最大的导入速度。HexaDB 的数据并行导入实现了对指定格式(支持 CSV/TEXT/ FIXED 格式)的外部数据高速、并行入库。CN 只负责任务的规划及下发，把数据导入的工作交给 DN ，释放了 CN 的资源，使其有能力处理外部请求。各个 DN 都参与数据导入的工作，充分利用各个节点的计算能力及网络带宽，显著提高数据导入的整体性能。

**3）分布式查询优化：**HexaDB 的查询优化是基于代价的优化(Cost-Based Optimization，简称 CBO)，在这种模式下，数据库根据表的元组数、字段宽度、NULL 记录比率、distinct 值、MCV 值、HB 值等表的特征值，以及一定的代价计算模型，计算出每一个执行步骤的不同执行方式的输出元组数和执行代价(cost)，进而选出整体执行代价最小的执行方式进行执行。

**4）自适应压缩：**不同的压缩算法适用于不同的数据类型；而对于相同类型的数据，其数据特征不同，采用不同的压缩算法达到的效果也不一样。HexaDB 支持 RLE、DELTA、BYTEPACK/BITPACK、LZ4、ZLIB、LOCAL DICTIONARY 等多种类型的压缩算法，并且通过自适应压缩策略，根据数据类型、数据特征和性能要求，动态选用最优压缩算法。

5）在线扩容：HexaDB 采用在线增量扩容技术，支持多表并行扩容，扩容速度高达 400G/小时/新增节点。HexaDB 在线扩容具有如下特点：

-支持 hashbucket 表扩容，释放原集群磁盘空间：采用一致性 hash 算法保证数据只从老节点路由至新节点，老节点无回流数据，因此老节点无需为数据搬迁预留磁盘空间。同时，老节点也没有因为扩容引起的写 IO 操作，不与在线业务争抢 IO，进一步减小扩容对在线业务的影响。

-扩容不中断业务：HexaDB 扩容过程中支持数据持续入库、查询业务不中断。

-非时序表一致性 Hash 技术和多表并行扩容等技术，助力扩容性能提升：采用一致性 Hash 技术使得重分布过程中需要迁移的数据量最小。重分布过程中支持多表并行及用户自主选择表的重分布顺序。支持扩容进度查询，实时监控扩容进度。

-时序表重分布不影响用户插入性能。

-随着节点数增加，集群性能线性增长。

平稳过渡：三段式迁移策略，实现业务无缝切换与数据零丢失

由于 X 系统支撑智能网联平台核心业务，客户对系统中断的容忍度非常低，需要实现大负载下的高效稳定的在线数据迁移，同时要确保数据完整一致，不错不漏。数翊科技专家团队拥有丰富的数据库迁移实施经验，协助客户制定了完整周密的迁移实施方案，并借助功能强大的配套工具顺利完成 HexaDB 割接上线。具体的迁移过程包含以下三个步骤：

1）数据迁移

数据迁移包含全量和增量迁移两个部分，全量迁移以某个数据位点为目标，该位点之后的数据采用增量同步。为避免因为全量迁移耗时过长导致待处理的增量数据堆积严重，采用全量增量适当融合方案，在执行全量同步的同时，进行 Insert 的操作增量。

整体数据同步过程如下图所示，分成四个环节，最终进入原有开源分布式数据库到 HexaDB 的实时数据同步状态。

1、全量导出：同时增量导出 Insert/Update/Delete 分别进行，其中只有增量 Insert 导入。

2、全量导入：增量 Insert/Update/Delete 分别导出终止，启动综合 DML 增量导出，仍只有增量 Insert 导入，直至全量导入和增量 Insert 导入都完成。

3、增量导入：保持综合 DML 增量导出，进行增量 Update/Delete 分别导入直至完成。

4、增量追平：保持综合 DML 增量导出，进行 DML 增量导入。

迁移架构对应数据同步步骤如下图所示：

2）数据同步观察

新旧数据库的数据追平后，进入数据同步观察期。一方面，确认数据同步稳定且完全一致；另一方面，针对生产环境 HexaDB 集群进行了三轮查询场景压测，识别潜在的性能瓶颈问题，通过调优数据库配置、索引优化等方式进一步提升系统性能。

3）业务割接

经过两个月左右的并线观察期，HexaDB 集群运行稳定且性能优异，具备上线条件。按照提前演练多次的割接方案，X 系统于 2025 年 2 月 28 日凌晨顺利完成 HexaDB 集群切换上线。

价值呈现：成本、性能与运维全面优化，成就新一代智能网联数据平台

目前，HexaDB 已经在客户现网环境稳定运行超过 200 天，经受住了业务高峰阶段的各项考验，得到客户团队的高度认可。HexaDB 在以下几个方面为客户创造了显著价值：

**1）数据存储和计算成本大幅降低：**由于采用了 HTAP 混合负载和自适应压缩技术，在数据量相同的情况下，数据存储空间比原来节省了 60%，大幅降低了海量车联网数据的存储和计算成本。

**2）系统性能显著提升：**在相同硬件配置情况下，系统性能提升超过 30%，个别复杂查询场景的性能提升达到 500%，极大改善了业务体验。

**3）企业级的运维保障服务：**数翊科技配备专业团队为客户提供企业级的运维保障服务，确保系统高可用与高性能，具体包括：

• 主动式监控预警：7x24 小时全链路监控，实时感知性能瓶颈与潜在风险，防患于未然。

• 专家级深度运维：提供深度巡检、性能调优、容灾演练等专业服务，持续优化系统状态。

• 标准化应急响应：建立规范的故障处理流程与 SLA 保障，确保线上问题能被快速定位与解决，保障业务连续性。

• 体系化版本管理：定期更新产品版本，及时修复已知安全漏洞，大幅提升系统安全性，确保客户持续获得新特性和性能改进，享受更稳定、更高效的官方支持。

结语

本次合作的成功，不仅验证了 HexaDB 处理海量、实时数据的强大能力，更开创了智能网联平台高效、经济的数据管理新范式。展望未来，数翊科技将继续与客户携手共进，以 HexaDB 数据库为创新基石，共同探索数据驱动业务的新场景与新价值。我们将持续深耕核心技术，引领国产分布式 HTAP 数据库的演进，并致力于将本次合作沉淀的成功经验与最佳实践，赋能给更多寻求数智化转型的企业，共同推动产业智能化升级，奔赴万物智联的广阔未来。