技术转让、技术开发、技术咨询

未申请专利

大数据时代已经来临，如何以更低的成本实现海量数据的存取和处理已成为大数据应用的重大挑战。为了普及大数据的推广和应用，解决大数据时代基础设施的海量存储、持续扩展、运维部署、数据个性化处理等问题，大数据一体机应运而生。大数据一体机是集成了计算设备、存储设备、网络传输、操作系统、大数据处理平台以及数据分析处理软件于一体的大数据处理设备。大数据一体机简化了IT基础架构，提高了硬件资源利用率，减少了投资采购成本、部署成本、设备能耗和运维成本。目前，国内外主流服务器和数据库厂商相继推出了一系列大数据一体机，其中，国外的包括Teradata、Oracle Exadata、IBM Netezza和EMC GreenPlum等，国内主要有华为FusionCube一体机、浪潮云海大数据一体机和曙光XData大数据一体机等。但是这些大数据一体机都是基于国外X86处理器的，时刻面临某些国家“卡脖子”的威胁，也不能保障数据安全。因此，为了满足大数据底层硬件设施及上层应用软件自主可控的需要，我国亟需研制基于国产处理器的大数据一体机及其应用。
基因支持着生命的基本构造和性能，所有生物的生老病死都与基因有关。基因数据研究现在已成为探索生命运行机制和疾病机理等研究领域的突破口，在生物医药学和相关生物技术产业，如制药、农、林、牧、渔、环保等都发挥着越来越重要的作用，对推动精准医疗和助力解决医疗问题，提供了新的突破口。例如，在COVID-19新型冠状肺炎疫情爆发的第一时间，技术人员即完成了该病毒的基因测序，为研发测试试剂和疫苗发挥着至关重要的作用。基因数据因其重要的社会价值和科研价值受到国际社会的广泛重视。但是基因数据体量也很大，据预计，到2025年，世界上基因数据的增长率将达到1ZB/年。因此将基因数据高比例压缩并降低存储成本成为当前的一个研究重点。

团队陈国良院士、季一木教授、尧海昌博士等自主开发了基于国产处理器的大数据一体机并将其应用于生物基因压缩领域。该大数据一体机体系结构从下至上可抽象为三层:硬件层、软件层和应用层。硬件层以国产CPU和国产智能处理器的异构协同计算架构作为支撑。国产CPU的高密度组装处理平台使用CC-NUMA多核多路形式的节点，通过高速网络连接成集群形式，构建并行集群环境，同时利用国产智能处理器扩充并加速AI算法和应用。软件层基于Hadoop大数据处理平台、Spark Streaming流式计算框架、Kafka及其并行化思想，对数据进行压缩、存储、分析、处理，既支持大数据批量分析与训练，又支持流式数据实时处理。通过容器虚拟化技术，实现大规模小任务的并行化运行或大任务的集群化运行。安全管理模块保障设备安全、容器安全以及数据安全。应用层采用插件式的软件设计方案，对外提供一致的数据操作接口，方便不同行业用户开发定制化的数据处理分析软件，快速实现个性化数据分析与处理。结合以上大数据相关技术基于国产处理器设备定制化了一台面向生物基因压缩的大数据一体机设备，实现对基因数据压缩率到达1000:1以上。团队成员已成功实现一体机的组装调试，为了后期应用定制化扩展打下了夯实的基础。

应用领域和市场前景：
基于国产处理器的基因数据的存储与分析是大数据一体机应用的重要领域之一，但是大数据一体机的应用领域并不限于此，由于大数据一体机轻便、易部署的特性，基于国产处理器的大数据一体机同样可广泛应用于军事、医疗、教育、安全、社会管理等众多领域，为相关领域提供可编程的定制化服务。与现有的大数据一体机相比，基于国产芯片的大数据一体机完全实现了软硬件自主化，避免了硬件后门的风险。该设备系统荣获2018年度江苏省科学技术三等奖和2017年中国电子学会科学技术三等奖。