马上注册，结交更多数据大咖，获取更多知识干货，轻松玩转大数据
您需要 登录 才可以下载或查看，没有帐号？立即注册
x
科学数据中心建设与服务体系 文|中国科学院计算机网络信息中心，数据简化DataSimp©20190611Tue 数据资源作为重要的战略资源是驱动各领域创新发展的重要因素。随着信息化进程的发展，分布式多源异构数据的管理和应用问题凸显，如何有效地实现分布式数据的管理、整合、服务成为推动科研与应用的共性需求和必要手段。 中国科学院计算机网络信息中心大数据技术与应用发展部(以下简称大数据部)自“十•五”开始承担中科院“科学数据库及其应用系统”建设工作以来，立足实际需求，面向应用实效，扎实推进标准与系统研制和推广应用工作。从“十•五”面向分布式异构数据资源的规范化统一服务，到“十一•五”数据资源及其应用环境(含国家科学数据共享工程项目“基础科学数据共享网”)建设和服务体系形成，再到“十二•五”响应“海-云”环境和“十三•五”适应大数据环境下科研模式变革的体系完善，大数据部与时俱进推动科学数据中心体系相关标准(55项)、技术、工具(13个)的研制和应用，是我国数据资源管理研究与实践的先锋，为数据资源的开放与共享提供了强劲的源动力。 当前随着国家《科学数据管理办法》和首批国家科学数据中心的发布，结合国家建设科学数据中心的战略需求，大数据部提出面向科学数据数据中心体系的全生命周期体系化数据资源管理与服务解决方案。
标准规范体系
科学数据标准体系基本实现了从数据资源建设到应用及效果评估全生命周期关键内容的规范化，在科学数据资源建设和应用服务中发挥了积极的助推作用。科学数据标准体系可分为指导规范、数据采集与整理、元数据与元模型、系统与接口、数据管理、数据服务等类型，主要内容详见表1。自“十一•五”项目结束以来，在线发布的标准建设成果已被访问下载超过17万次之多，配套工具软件已经在项目内全面推广使用，部分成果(如VDB、MSIS等)还广泛应用到项目之外。 经过十余年的努力，大数据部的标准工作已经逐步形成了“有需求，多合作，要实用，慎提升”的特点，工作中与院内外合作机构建立了良好的关系，并谨慎的将有应用前景的标准提升为国家标准、国际标准，先后作为第一责任单位完成了《生态科学数据元数据(GB/T20533-2006)》、《信息技术数据溯源描述模型(GB/T34945-2017)》、《信息技术科学数据引用(GB/T35294-2017)》和CODATA国际标准《天然气水合物描述语言(GasHydrate Markup Language)》、以第二责任单位完成了《检测资源信息共享体系建设指南(GB/Z27414-2012)》和《土壤科学数据元数据(GB/T32739-2016)》。详见表2。
表1 科学数据标准体系及主要内容 标准类型 | | | | | 本规范定义了主题数据库的总体架构，规定了主题数据库在内容组织、技术实现方面需要完成的工作，并提出了主题数据库在运行维护和服务方面的要求。 | | 本规范定义了专题数据库的总体架构，规定了专题数据库在内容组织、技术实现方面需要完成的工作，并提出了专题数据库在运行维护和服务方面的要求。 | | 本规范定义了参考型数据库的总体架构，规定了参考型数据库在内容组织、质量控制和技术实现方面需要完成的工作，并提出了参考型数据库在运行维护和服务方面的要求。 | | 本规范规定了专业数据库在资源建设、内容组织、质量控制和技术实现方面需要完成的工作，并提出了专业数据库在运行维护和服务方面的要求。 | | | 本规范提出科学数据资源采集加工过程的规范化要求，包括对组织管理、文档要求、数据约定和数据采集加工流程要求等。 | | 本规范明确了地学领域数据资源加工对象、数据资源加工的内涵、数据资源加工模型、加工流程、加工技术方法和数据资源加工质量评价，并列举若干数据资源加工的算法模型和部分应用实例。 | | 本规范明确了中国湿地数据库数据采集和更新的主要过程。 | | 本规范明确了海岸带环境遥感数据库各子库的数据采集整理过程。 | | 本规范明确了化学主题数据库的数据来源以及数据采集和更新过程。 | | 本规范明确了人地系统主题数据库的数据采集加工以及采集加工过程中的质量控制。 | 冰雪冻土环境本底与可持续发展专题数据库数据资源采集整理工作指南 | 本规范明确了冰雪冻土环境本底与可持续发展专题数据库的数据资源集成与管理要求。 | | 本规范明确了地球化学数据库建设(属性数据库和空间数据库两个主要部分)以及相关的数据处理工作。 | | 本规范明确了中国陆地生态系统数据资源采集的方法和整理方法。 | | 本规范明确了资源环境遥感主题数据库的数据来源和数据采集整理的一般方法。 | | 本规范明确了对经典书籍和传统文献资料的数字化方法、物种与生境专项调查所采用的方法和工作流程，以及采集数据的标准格式及其说明，并规定了数据的交流和共享标准。 | | 本规范明确了空间科学主题数据库各子课题的数据整合管理。 | | 本规范明确了中国动物主题数据库收集、整理及入库的方法及规范。 | | | 本规范规定了元数据研制和应用的流程模型，特别是元数据的格式、语义、语法、注册、一致性测试和评估完善等，以及基于不同元数据方案的数据之间的互相访问、内容交换和整合集成。 | | 本规范规定了元数据应用所需要的最小元数据元素，以及为满足各学科领域的特殊需求，对元数据进行扩展和制定元数据应用方案的规则和方法。 | | 本规范定义了完整描述一个具体对象时所需要的数据项集合、各数据项语义定义和著录规则等。它提供了有关地球系统科学数据的标识、内容、分发、数据质量、数据表现、参照、数据模式、图示表达、扩展、限制和维护等信息。 | | 本规范定义了一个描述农田土壤肥力数据管理的概念模型，规定了构成该模型的一组必选的、条件必选的和可选的数据元子集、数据实体和数据元素，提供了对该模型的形式化描述。 | | | 本规范规定了元数据访问服务接口采用的协议、连接方式、调用参数以及数据的返回格式。 | | 本规范定义了进行数据资源服务的专用术语、访问流程、安全策略、交互方式、请求参数及接口规范。 | | 本规范规定了数据跨域互操作接口采用的协议、连接方式、调用参数以及数据的返回格式。 | | 本规范规定了跨域用户认证接口采用的协议、连接方式、调用参数以及数据的返回格式。 | | 本规范规定了各应用用户统一认证接口采用的协议、连接方式、调用参数以及数据的返回格式。 | | | 本规范规定了资源唯一标识符的编码格式、编码规则、编码分配、管理、维护与使用。 | | 本规范定义了科学数据的分类方法，说明如何将科学数据分类组织为科学数据的目录，并规定了如何将科学数据映射至科学数据目录中。 | | 本增值管理办法规定了数据加工的人员对象、加工机制、权利与义务、加工合作、增值服务、奖惩等。 | | 本规范主要从关系数据库的命名、关系和结构以及建设过程等几个方面明确了数据库设计应遵循的规范。 | | 本规范明确了《数据库需求说明书》、《数据库元数据需求规格书》、《数据库设计说明书》、《数据库软件概要设计说明书》、《数据库软件详细设计说明书》、《数据库软件开发卷宗》、《数据库运行维护记录》共7份主要数据库开发文档模板。 | | 本规范阐述了数据质量管理的框架，包括数据产生阶段的数据质量管理与控制、数据整编阶段的数据质量描述、数据共享阶段的数据质量评价。 | | 本规范明确了数据(资源)质量评测的一般方法与数据质量指标体系的建立方法。 | | 本规范明确了共享服务评价模型、评价指标体系、评估结果的反馈、评估实施的原则和操作办法等。 | | 本管理办法主要规范了数据托管与存储、数据资源中心、数据托管存储用户、费用、责任免除等。 | | 本共享办法主要规范了管理与共享机制、科学数据分级、科学数据发布与共享、科学数据集中、科学数据集成管理与分发、用户分级、数据使用与产权保护等。 | | 本规范规定了协同运行服务内容，规定了各项服务，包括CIFS服务、FTP服务、NFS服务、存储故障处、网络故障处理等的服务范围、服务内容和管理流程的规范化政策约定。 | | 本规范规定了协同运行运维中心机房的服务内容，规定了服务目录及其各项服务，包括机房参观申请、门禁授权服务、外部人员出入管理等的服务范围、服务内容和管理流程的规范化政策约定。 | | | 本规范明确了主题数据库、参考型数据库、专题数据库、专业数据库的服务网站建设过程中的各项工作内容，包括网站栏目设计、功能规划、技术实现、管理和安全等。 | | 本规范明确了数据服务的模式、内容和方式，主要包括基于数据服务网站的数据发现、导航和定阅推送，通过专业人员实现虚拟咨询和专家数据服务，以及授权的在线分发和离线分发。 | | 本规范从数据中心机房、网络接入系统运行、局域网系统运行、服务器及存储系统运行、网络系统安全、数据库、应用系统、公共支持等方面规范化了管理与维护，确保整个海量存储设施所有应用和设备的运行正常稳定、安全可靠。 | | 本标准描述了基于本体概念对数据集元数据查询进行扩展的方法，包括词语—概念相关度词典的构建、概念间相关度计算、查询—概念相关度计算和基于语义概念的元数据查询相关度计算方法。 | | 本规范定义了一套基于指标的本体评价体系，内容包括本体结构层次、本体组织功能层次、本体共享管理层次和本体应用服务层次，它们共同涵盖了影响本体构建和应用的各方面内容，并根据侧重点的不同，每项指标被赋予了不同的权重系数。 |
表2 参与完成的国家标准列表 工具与技术体系
面向科学数据中心体系化、系统化建设及管理的需求，大数据部研发重点包括分布式数据资源自主管理与服务，数据资源集成整合管理与服务，数据资源与服务监控、统计分析及评估管理，数据资源统一发布、共享、服务及应用等。同时面向不同类型数据提供数据资源管理，并提供统一的管理和外延服务。 目前大数据部已经服务和正在研发的工具集如下表： 表3 科学数据管理与服务工具体系建设列表 序号 | | | | | | 对分布式数据服务网站的运行、访问、下载情况进行监控和统计分析。 | | | | 实现分布式数据库服务资源分类在线汇交注册与审核发布。 | | | | | | | | 通过对科学数据库相关的服务进行定量与定性指标的采集，有效地实现各数据库系统服务效果的监控与评估。 | | | | | | | | | | | 分布式数据汇聚、管理发布与服务体系工具集-VDB4.0(汇云版) | 多源分布式数据在线传输同步管理；数据资源集中管理与定制化融合发布：共享数据资源多模式在线发现、获取、访问与共享服务。 | | | 分布式数据汇聚、管理发布与服务体系工具集-VDB4.0(自治版) | 多源数据在线管理及定制化融合发布；共享发布数据资源多模式发现、获取、访问与共享服务。 | | | 分布式数据汇聚、管理发布与服务体系工具集-VDB4.0(通云版) | 多源分布式数据封装同步管理；数据资源统一发布与监控：共享数据资源多模式在线发现、获取、访问与共享服务。 | | | 大数据软件栈快速弹性部署和管理工具-PackOne | 一键安装部署大数据软件栈，支持常用大数据软件栈(hadoop、Spark、NiFi、Piflow、Kylin、Flink、MangoDB、Redis、Neo4J等)的快速弹性部署、集中监控和配置。 | | | | 系统采用Hadoop/Spark分布式存储与并行计算技术，实现组件式的大通量、高并发的大数据流水线自动化处理，实现100+的数据处理组件，为用户提供所见即所得的流水线配置界面，从而实现大数据组件式、自动化采集、清洗、计算、存储及监控的全流程服务，已支撑微生物数据中心、领域知识图谱管理与服务等多项重大项目应用，荣获“GVP-码云最有价值开源项目”奖。 | https://gitee.com/opensci/piflow | | | 基于容器技术，应用底层的数据和算法资源，通过在线编程分析(iJupyter)组件或工作流应用(iWorkflow)组件进行数据分析服务；可以独立定制安装或者试用公共服务。 | http://www.gscloud.cn/analysis/index |
优势总结如下： 1、体系化的解决方案。采用体系化的设计理念，提供自顶向下的总体设计，协同策略、系统、规则、设施等各方面，保障数据资源高效、安全、可靠、敏捷的管理与服务。 2、完备的服务平台和软件体系。提供包括集成化数据服务、数据资源的监控与管理、数据资源的整合、分布式数据资源的自主管理在内的数据资源管理、整合与服务平台及完备的软件体系，并可为个性化需求提供定制和支持。 3、统一的管理和外延服务。基于标准化的数据资源管理机制，提供一整套有效的管理办法，并提供包括数据库建设、系统运维、服务咨询在内的多项外延服务。 4、丰富的建设经验。30年来，为中科院各科研单位的数据资源建设与服务有效助力，在地理、生态、环境等领域深入探索，为60多家科研单位提供服务。重点负责了国家生态系统研究网络体系建设、国防资源服务体系建设，为相关领域科研信息化建设，提供了体系架构、系统设计、开发、服务一体化的建设方案。 联系方式: 刘老师 liufeng@cnic.cn Copyright 2019-2020 中国科学院计算机网络信息中心 ——————— 参考文献(280字)
| 
/1 
发表于 2019-6-13 22:19:56
QQ好友和群
QQ空间
腾讯微博
腾讯朋友
收藏
转播
分享
淘帖
赞
踩
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜