业务场景
运营商每年每个省话费详单数据量将达到100-300TB,而全国每年会产生大概6PB的数据,如此巨大的数据量现今在国际上还没有任何数据库能够支撑。
帐详单中心主要负责账单、详单的存储并对外提供服务:针对批价后的账详单数据,通过加载、提取、解析、转换后存入帐详单中心,并生成帐详单报表,供前台查询。
目前省公司的帐详单系统底层主要采用Hadoop+HBase软件存储,该方案在高并发查询和扩展性方面的性能优秀,但是存在以下问题:
- 针对运维人员的SQL即席查询功能支持较弱。
- 针对详单回退等业务场景,批量导出、删除的支持较弱。
- 针对运营维护人员的统计查询支持较弱。
解决方案
借助EsgynDB可水平扩展的特性,电信运营商可以取消原来每个省单独的话费详单查询服务平台,建立了数百节点的超大规模集群来统一进行全国的话费查询工作,从而解决了世界性难题,达到了国际最先进的水平。
在基于同等硬件平台的情况下,EsgynDB使用Hadoop+Hbase+Trafodion的架构以及技术产品来支持帐详单中心的数据加载、数据查询和数据统计等功能,并提供更优越的支持能力与处理速度。
EsgynDB的价值
- EsgynDB批量加载工具基于原生HBase bulkload进行封装优化,性能有很大提升,原始数据装载到HBase的压缩比有很大提升。
- EsgynDB场景对7个SQL查询性能上,对比Phoenix、EsgynDB场景有很大的提升,对帐详单中心测试规范中要求的最小时间有很好的支持。
- EsgynDB支持标准SQL,支持原生HBase数据访问和EsgynDB格式建表,支持索引、视图等数据对象,支持数据的插入、修改、删除、导出,满足不同场景需求。
- EsgynDB在HBase rowkey基础上,支持数据横向Hash分区和按照时间纵向分区。
- 基于时间的查询能够极大提升性能。
- 经数据装载、查询测试、并发测试、功能测试,EsgynDB场景在SQL即席查询功能有很好的支持;支持事务控制,批量导出、删除功能;对统计查询有很好的支持。
以下是在话单查询场景中与国际著名大数据产品Phoenix并发性能对比:
业务场景 | 功能点 | 时间范围 | Phoenix | EsgynDB |
---|---|---|---|---|
300并发查询 | Q1 | 天 | 5.367秒 | 0.436秒 |
300并发查询 | Q4 | 月 | 8.479秒 | 5.650秒 |
500并发查询 | Q1 | 天 | 7.596秒 | 0.957秒 |
500并发查询 | Q4 | 月 | 12.429秒 | 9.420秒 |
1000并发查询 | Q1 | 天 | 13.440秒 | 2.155秒 |
1000并发查询 | Q4 | 月 | 22.151秒 | 18.761秒 |
2000并发查询 | Q1 | 天 | 25.469秒 | 4.941秒 |
2000并发查询 | Q4 | 月 | 42.159秒 | 38.492秒 |
业务场景 | 功能点 | 时间范围 | Phoenix | EsgynDB |
---|---|---|---|---|
300并发查询 | Q1 | 天 | 5.367秒 | 0.436秒 |
300并发查询 | Q4 | 月 | 8.479秒 | 5.650秒 |
500并发查询 | Q1 | 天 | 7.596秒 | 0.957秒 |
500并发查询 | Q4 | 月 | 12.429秒 | 9.420秒 |
1000并发查询 | Q1 | 天 | 13.440秒 | 2.155秒 |
1000并发查询 | Q4 | 月 | 22.151秒 | 18.761秒 |
2000并发查询 | Q1 | 天 | 25.469秒 | 4.941秒 |
2000并发查询 | Q4 | 月 | 42.159秒 | 38.492秒 |
Q1查询用户详单记录,Q4统计用户详单信息
已有客户
中国最大通信运营商:全球用户规模、网络规模超前的移动通信运营商,目前4G基站达到165万个,构建了全球最大的4G网络。