【IT168 案例】国家某部门要构建一个海量的数据流处理系统对业务数据进行存储和挖掘。
用户的每一条数据都包括结构化的特征描述部分和非结构的数据内容部分。操作流程一般是先对结构化部分进行处理，定位到某个数据集合后，再处理非结构化部分。
结构化数据特点是数据实时、有序地进入系统，这些数据不进行修改，但可能删除重复的文件。系统有超过200个数据源进行实时加载数据，每天平均加载超过40亿条数据，峰值期间可达平时的10-30倍。
系统要求高可靠，数据不允许丢失。
系统要求具有较低的延迟和高聚合带宽。它要能支持高并发情况下，快速响应各查询，同时满足对数据分析应用对聚合带宽的高要求。
方案架构
全套方案采用曙光DRAC构建存储系统，系统拓扑如下：
系统由16个加载节点，8个查询节点构成，存储超过200T容量数据，随着业务数据量的增加，系统通过简单扩展硬件的方式保证符合业务对容量和性能的要求。
方案价值
该用户采用基于DRAC存储系统架构，满足系统对于并发用户数和性能的要求，系统连续运行多年，保证用户业务的连续。
- ? 高可靠性：系统全年7*24小时无间断服务。
- ? 高可用性：即使在每月10%硬件故障率的情况下，系统仍能稳定工作，并保证数据完整性和可用性。
- ? 灵活扩展：通过增加存储设备，容量可以平滑的扩展，性能可以同比提高。当性能(并发访问、IO带宽)不足时，简单通过扩展硬件即可同比地扩展系统的总体性能。
- ? 高性能：业务系统基于DRAC搭建的文本检索功能比原Oracle方案最高快3个数量级
- ? 低成本：在大规模部署时，该系统有总体价格优势。
- ? 易开发：系统对外呈现单一入口，提供类JDBC访问接口，便于业务的开发及移植。
- ? 易管理：提供图形化管理界面，方便用户对系统进行管理和监控。
