海洋环境监测数据综合及处理技术-中科检测

数据综合及处理技术

海洋环境监测数据综合及处理技术是以海洋环境监测网为基础,对各平台不同技术获取的数据进行采集和综合,通过专业化数据处理形成数据产品和服务,该技术主要包括海洋环境监测组网技术和海洋数据处理技术。

1.组网技术

海洋环境监测数据以GPRS、CDMA、卫星、海底光纤网为主体通信方式组成海洋环境监测网,通过公用或专用Internet网实现了监测网络和信息网络的连接。

在海洋环境监测网络中,以海底光纤或水声通信方式组网的海底监测技术是核心技术之一。世界各个海洋大国投入巨大予以发展海底监测网,比如日本提出ARENA计划,建造了由光缆连接跨越板块边界的海洋环境观测网络,应用于地震学和地球动力学研究、海洋环流研究、可燃冰监测、水热通量研究、生物与渔业研究、海洋哺乳动物研究、深海微生物研究等。美国启动NEPTUNE(“海王星”)计划环绕“胡安.德富卡”板块,铺设 3000 km 光缆,进行海洋环境实时观测。美国和加拿大分别建设MARS观测站和VENUS 观测站构成了加拿大的海底观测网(ocean netuorkscanada,ONC)。欧洲根据全球环境监测与保护计划开展4D观测网建设,英、德、法等国建设的ESONET(欧洲海底观测网),对地球物理学、化学、生物化学、海洋学和渔业等提供长期战略性环境监测。

我国于1999年开始在国家海洋局属系统内建立并基本形成分别覆盖国家、海区、省、市、县5个层次、结构合理、条块结合、分级管理的覆盖我国全海域的海洋环境监测网络,目前已经实现了海洋监测网和海洋气象监测网。在组网技术探索方面,同济大学与中国科学院2009年在洋山国际深水港东南建成同济大学东海海底观测网,实现了海洋环境信息的实时连续监测;2012年依托陵水基地建设了我国首个南海海底观测网试验系统,实现了对南海海底的监控和水中目标的监视;2013年浙江大学在岛北部海域建成浙江大学摘箬山岛海底观测网,主要定位于海洋地震监测。目前,国家海洋局海洋立体监测系统主要用于海洋环境监测、海上安全防务等方面。但我国在海底网技术方面存在较大差距,特别是在海底接驳盒、海底装置电能供给及海底工程布设等技术方面存在较大差距。未来该技术将在数据传输、快速组网和网络布设等方面进行技术提升。

2.数据分析技术

数据质量控制技术

海洋环境监测数据是采用多种平台技术手段、多类型传感技术,在海洋的不同地理位置、不间对海洋环境进行监测所获取的。必须以有效且共同遵循的体系标准,对海洋环境监测数据的名词术语、分类、数据格式等进行标准管理,以实现对数据的质量控制。为实现数据的综合应用,应在数据的可用性、溯源性以及数据的时空耦合和地理关联等方面进行统一规范,以保证数据的一致性和正确性。目前,美国、加拿大、英国等国家在国际组织框架下对海洋环境监测数据进行了质量控制。而我国有了国家海洋局、中国气象局等部门牵头的行业标准,有了各自的数据质量控制标准,但由于历史原因,部门之间存在条块分割及行业壁垒,目前各行业数据彼此封闭,在海洋环境监测数据质量控制技术方面差距较大。

数据存储管理技术

海洋环境监测数据具有时效性和历史性,对数据的存储管理是数据应用的基础。都非常注重海洋数据的存储管理,如美国国家航空航天局的地球观测中心建立了地球观测系统数据和信息系统,存储和管理全部数据,采用的是分布式开放的系统架构;欧洲航天局也建立了基于任务的分布式存储的海洋数据中心。在存储管理技术方面,国外的海洋大数据存储采用了逻辑上集中,物理上分散的分布式服务器集群存储架构技术,我国还在采用地域上的集中式服务器存储技术,随着数据量的增长,难以实现在线存储资源的动态扩展和灵活配置,离线数据获取耗时,无法在线直接访问任意数据,这就急需我们开展顶层设计统一规划的存储管理技术研究。

数据同化技术

数据同化技术是对各种不同类别和时间段的监测数据不断地融于数值模式的技术,以短期分析预报结果作为模式预报的初值,并以此将观测与模式的结果不断融合成为一个Zui优值,以减小误差提高数值预报精度。数据同化技术已被广泛应用于构建海洋预报系统,还可利用该技术有效地将各种类型的海洋观测资料融入海洋模式中,生成时空分布更加完善的分析数据,广泛用来制作海洋再分析数据,以便充分利用通过现有观测技术所能得到的全部信息,揭示海洋的各种真实状态。目前,海洋监测数据同化技术根据所采用的理论原理,可分为两类:基于统计估计理论的同化技术,如Zui优插值、卡尔曼滤波、扩展卡尔曼滤波、集合卡尔曼滤波等;基于优控制方法(即变分法)的同化技术,如三维变分、四维变分等。

数据挖掘分析技术

数据挖掘分析技术是随着海洋环境监测数据急剧增大成为海量数据而引入的在大量的海洋环境监测数据中发现信息、挖掘规律的新技术。目前已有MapReduce、 Storm、StreamBase、Pregel等先进的并行计算框架,且在已得到广泛应用。海洋大数据在信息挖掘过程中也从传统的经验模态正交法发展到了具有时空解耦特性的四维谐波提取法。由于海洋大数据的时空耦合及地理关联特性,导致传统的数据挖掘算法无法有效地进行时空解耦与地理分解,使得挖掘算法成为海洋大数据科学全链条运转环节中亟待突破的核心技术,也使得该项技术成为未来海洋数据处理领域的新热点。

数据表达可视化技术

利用科学可视化技术展示海洋数据以及更地利用可视化分析技术挖掘时空数据规律,是建立从感知到认知的关键技术桥梁。海洋矢量场可视化算法主要有图表法、几何法、纹理法、拓扑法等。标量场可视化算法在大规模体绘制、实时光照、多变量提特征提取、二维时空可视化等方面都取得了重要成果。随着海洋数据体量的继续增大,对可视化表达方式、处理效能等方面都提出了非常高的要求,需要一方面尽可能真实地反映数据的特性,另一方面充分提供系统的承载能力和处理能力,提高数据的更新和绘制能力。纵观国内外海洋大数据的分析技术研究,我国在数据表达可视化方面与发达国家相比不存在差距。