创派客科技雪球数据库Snowball助力北京移动构建运营商数据中心实时数仓

运营商O域数据中心承担着在网络运行维护过程中采集、处理各环节信息,从而为网络规划、设备运行、业务发展等多方面提供决策支持的任务,是运营商业务支撑的关键系统之一。随着运营商信令类数据量的迅速增长、数据源种类的变化和用户日益增长的通信需求,数据中心对数据库的实时性、可用性、安全性等能力提出了更高的要求。


1711616113153871.jpg

 

为进一步优化平台架构、提升O域数据处理能力与管理水平,北京移动2022年开始启动数据共享平台能力优化项目,项目引入创派客科技雪球数据库Snowball替换原有数据库,构建运营商数据中心实时数仓,为数据中心提供全面的数据库服务支撑。

 

国产创新,深入核心

雪球数据库Snowball是一款创派客科技自主研发的支持PB级数据量的、高并发的OLAP数据库管理系统,具备高可用、高性能、高容错等特性。优于传统数据库10倍以上的超快查询速度、每秒数百万行的超强写入性能与1000节点以上的超强扩展性,使得雪球数据库Snowball不仅满足超大规模数据量下对查询性能要求极其苛刻的应用场景,更是构建大规模、实时数据仓库的核心基石。

凭借创派客科技在运营商领域深耕10年的经验和对运营商业务技术的深厚积累,雪球数据库Snowball已成功服务全国超过半数省份运营商用户,在多个运营商核心系统持续平稳运行多年,因此成为本次北京移动的首选产品。

 

平滑替代,全面升级

在本次改造前,北京移动数据中心一直使用的是Hbase。作为成熟分布式存储系统之一,HBase虽然具备高可靠、高性能、可伸缩的优势,但在使用过程中也存在着查询时延大、查询模式单一、运维复杂等难题,很难满足北京移动数据多维及时分析要求。

要完成本次国产数据库产品的替换,不仅需要在功能、安全性、稳定性上达到原有Hbase水平,还要具备快速查询的能力,满足北京移动各级人员访问和相关重点应用数据计算需求;在性能和容量上,更要同时满足数据实时处理和海量存储的需求。

1711616151278172.png

 

历时数月,经过多轮测试,睿帆团队在不影响原系统架构和逻辑的前提下,依托与原库的极致兼容性,准确、高效、低风险地将原库数据无损移植到雪球数据库Snowball,并进一步完成多项能力的扩展与提升:

1. 不仅支撑了海量数据入库查询这类通用场景,还扩展了即席分析、实时数据合成、实时数据汇聚等多种业务能力,沉淀了实时数仓的构建能力提升了运营商数据中心项目中模型计算的及时性

2. 在保障现网业务稳定性的前提下,先后完成了大吞吐入库的性能提升优化、查询接口的兼容性适配、数据查询效率优化、数据合成算法的计算性能优化、告警数据入库及时性的优化等多项优化内容

3. 通过在雪球数据库Snowball中使用小批次关联计算,实现了VoLTE话单的多接口关联,将原有的关联合成时延从2小时提升至10分钟,并最终实现了15分钟粒度的核心网问题的异常定位能力。

 

平稳运行,赋能一线

截至今年,雪球数据库Snowball已在北京移动数据共享平台上线运行近两年,稳定、高效地支撑起O域数据中心各项任务,在效率提升、成本控制、客户感知等方面成效显著:

1. 提升一线工作效率:在完成VoLTE xdr从Hbase向雪球数据库Snowball的迁移后,基于VoLTE的多维查询提数效率显著提升,SQL查询时间缩短80%以上,从原本的几小时缩短到几分钟,有效提升业务人员工作效率;

2. 降低软硬件成本:雪球数据库Snowball的引入提升了运营商数据中心项目中模型计算的及时性,节省了服务器硬件的投入,并实现综合节省资源30%。

3. 提升客户感知:为客户满意度分析、业务感知指标分析提供数据与算力支持,间接协助提升客户感知。

 

近年来,雪球数据库Snowball持续服务运营商、轨交、政务等各行业数字化转型升级,凭借高性能可靠性、易用性等赢得北京移动、四川移动、陕西公安等众多客户认可。未来,创派客科技将继续加强研发投入和自主创新,加速推动雪球数据库Snowball迭代升级重点行业典型场景应用落地,高水平科技创新赋能千行百业高质量发展