NaviData4530与2600系列大数据一体机

随着移动互联网技术的不断发展,信息化建设已经进入大数据处理环境下的智慧应用时代。大量结构化、半结构化数据的爆炸式增长,大数据平台在设计部署、数据存储、决策分析以及事务交易方面都面临极大挑战。在传统搭建过程中,用户不但需要考虑大数据软件对业务的适配,还需要考虑相应承载的硬件规格及兼容等问题 ,另外不同厂家之间的服务、维保以及协调的问题会极大影响数据库业务正常运行,这意味着整个数据中心面临的巨大隐患。

因此,在部署智慧应用和数据挖掘分析时,迫切需要一种包含分布式数据库、服务器、网络、存储等一体化交付方案,极大的简化业务上线过程、管理、以及后期运维服务工作。一创基于对用户需求的理解,推出了整体交付的NaviData大数据一体机(简称NaviData),解决用户在大数据部署中所面临的挑战,带来IT部署方式的转变,为用户提供高性能、高扩展性、高性价比的分布式数据库一体化方案。

NaviData是一款通过软硬件一体化集成实现计算、存储、网络和软件融合的紧密集成的大数据平台,提供从GB到PB级数据存储、并发访问、数据查询和分析处理等不同应用场景大数据处理的能力,为客户构建数据采集、数据存储、数据处理、数据应用开发等整个生命周期管理体系

先进架构

NaviData 提供融合架构的大数据处理平台,满足离线计算、流式计算、分布式数据库以及BI可视化等。NaviData对半结构化、非结构化数据提供低成本存储,并提供低时延、高并发的查询和分析功能;对结构化数据采用分布式数据库,支持列式存储、分布式计算、智能索引等功能,实现高性能结构化数据分析处理。集成MapReduce、Spark、Storm、Tez等多种计算引擎,利用YARN资源管理组件统一管理调度,可在同一份数据集上运行多种计算引擎,能满足高吞吐、大数据量和低时延实时处理等多方面的数据计算要求。

完美加速能力

NaviData 通过集成加速卡和GPU,平台软件深度融合加速卡和GPU,保证了大数据平台极速能力。在某些特定场景,通过GPU代替CPU计算性能得到极大提升,比如深度学习计算、图计算以及基于GPU的分布式数据库,相比传统,性能可以提升6-100倍。

高密的IO通道和PCI-E槽位

NaviData 4530在4U的机箱里,内置3个计算节点,共享电源模块和散热系统,采用4+1个风扇与3个电源的冗余设计。单个计算节点可配置15块数据磁盘,硬盘数量越多,它响应 I/O 请求的效率就越高。此外,每个节点预留5个PCI-E通道,可通过安装加速卡和PCI-E SSD,提升处理速度。

NaviData 2600在2U的机箱里,内置2--4个计算节点,共享电源模块和散热系统,采用4+1个风扇与2个电源的冗余设计。集成分布式数据库,提高CPU多线程并发处理,使得数据处理性能得到极大提高,相对其他部署方式至少提升2-10倍。此外,每个节点预留4个PCI-E通道,可通过安装加速卡和PCI-E SSD,提升处理速度。

预安装,开箱即用

NaviData提供一体化软硬件平台,大数据平台中的关键组件Zookeeper、HDFS、HBase等组件已经预配置、预优化、预测试,免去了通常需要规划、设计、部署等复杂流程,做到开箱即用,通过内置数据集成工具,进行数据采集、抽取,从而实现业务能够快速上线。

专用的高速加载工具,实现数据快速导入

加载环境通过万兆网络互连,并做分布式部署,结合一创专用的数据加载工具,达到每小时2T的数据加载能力。

DataCenter“瘦身”

NaviData主机采用超高密度配置,在 42U机架中最大可提供3.6 PB 的总原始容量(单盘按照8T计算),相较2U普通机架安装式服务器 在42U 机架层面将客户的存储容量提高 67%、密度增加 33%,同时占用空间减少40%,能耗降低47%,布线减少41%。大数据一体机提供了最佳经济型、高密性和简易性。

软硬件全方位一体运维

NaviData 是高度集成的一体化大数据平台,开箱即用,简化部署;提供软硬件统一web监控运维平台,对大数据集群及主机运行状态做监控和管理,实时监控主机的各项硬件资源指标(CPU、内存、硬盘、网络、IO),实现了整个集群系统从监控、管理到维护全面的生命周期管理手段,做到运维简单化。

集成开发者环境

集成应用开发创新平台(ADE),ADE分为三大模块,应用构建工厂、数据科学工厂、应用部署管理,应用构建工厂帮助开发者快速构建开发工程,智能推荐组件架构,提供框架代码,提供调优、开发文档等知识库;数据科学工厂提供数据挖掘模型构建、模型交叉验证,实现全流程引导,提供特征分析、图挖掘、深度学习等算法库;应用部署管理提供程序Jar导出、部署,提供Job任务调度、监控,提供应用漏洞扫描和发布管理等。

集成可视化的数据集成服务

通过可视化的方式进行数据采集,数据质量管理,元数据管理,所有的操作通过界面拖拽的方式进行,对源数据流入、转换、加载、入库等操作实现全流程透明管理。

扩展能力

采用了横向扩展(scale-out)的架构,可随着节点的增加而使得CPU、内存、存储、网络等均在一种平衡模式上增加,确保扩展没有瓶颈。大数据一体机单个集群可达1000节点,支持集群在线扩展,通过扩展可实现数据存储、加载和查询性能的线性增长,最大限度地提高资源利用率。