业务场景

运营商每年每个省话费详单数据量将达到100-300TB,而全国每年会产生大概6PB的数据,如此巨大的数据量现今在国际上还没有任何数据库能够支撑。

帐详单中心主要负责账单、详单的存储并对外提供服务:针对批价后的账详单数据,通过加载、提取、解析、转换后存入帐详单中心,并生成帐详单报表,供前台查询。

目前省公司的帐详单系统底层主要采用Hadoop+HBase软件存储,该方案在高并发查询和扩展性方面的性能优秀,但是存在以下问题:

  • 针对运维人员的SQL即席查询功能支持较弱。
  • 针对详单回退等业务场景,批量导出、删除的支持较弱。
  • 针对运营维护人员的统计查询支持较弱。

解决方案

借助EsgynDB可水平扩展的特性,电信运营商可以取消原来每个省单独的话费详单查询服务平台,建立了数百节点的超大规模集群来统一进行全国的话费查询工作,从而解决了世界性难题,达到了国际最先进的水平。

在基于同等硬件平台的情况下,EsgynDB使用Hadoop+Hbase+Trafodion的架构以及技术产品来支持帐详单中心的数据加载、数据查询和数据统计等功能,并提供更优越的支持能力与处理速度。

EsgynDB的价值

  • EsgynDB批量加载工具基于原生HBase bulkload进行封装优化,性能有很大提升,原始数据装载到HBase的压缩比有很大提升。
  • EsgynDB场景对7个SQL查询性能上,对比Phoenix、EsgynDB场景有很大的提升,对帐详单中心测试规范中要求的最小时间有很好的支持。
  • EsgynDB支持标准SQL,支持原生HBase数据访问和EsgynDB格式建表,支持索引、视图等数据对象,支持数据的插入、修改、删除、导出,满足不同场景需求。
  • EsgynDB在HBase rowkey基础上,支持数据横向Hash分区和按照时间纵向分区。
  • 基于时间的查询能够极大提升性能。
  • 经数据装载、查询测试、并发测试、功能测试,EsgynDB场景在SQL即席查询功能有很好的支持;支持事务控制,批量导出、删除功能;对统计查询有很好的支持。

以下是在话单查询场景中与国际著名大数据产品Phoenix并发性能对比:

业务场景功能点时间范围PhoenixEsgynDB
300并发查询Q15.367秒0.436秒
300并发查询Q48.479秒5.650秒
500并发查询Q17.596秒0.957秒
500并发查询Q412.429秒9.420秒
1000并发查询Q113.440秒2.155秒
1000并发查询Q422.151秒18.761秒
2000并发查询Q125.469秒4.941秒
2000并发查询Q442.159秒38.492秒
业务场景功能点时间范围PhoenixEsgynDB
300并发查询Q15.367秒0.436秒
300并发查询Q48.479秒5.650秒
500并发查询Q17.596秒0.957秒
500并发查询Q412.429秒9.420秒
1000并发查询Q1 天13.440秒2.155秒
1000并发查询Q422.151秒18.761秒
2000并发查询Q125.469秒4.941秒
2000并发查询Q442.159秒38.492秒

Q1查询用户详单记录,Q4统计用户详单信息

已有客户

中国最大通信运营商:全球用户规模、网络规模超前的移动通信运营商,目前4G基站达到165万个,构建了全球最大的4G网络。