李叶繁
摘 要:城市地质数据具有多样性、不确定性和复杂性,为实现多源、异构、海量数据的有效管理与高效访问,本文全面分析了城市地质数据的构成及特点,结合国内城市地质调查数据现状和应用需求,参考《城市地质调查数据内容与数据库结构》等相关规范,开展了城市地质数据建库内容与结构设计,建立了“纵向层次、横向专业”的数据库结构,并针对性地探讨了数据建库过程中的质量控制措施,确保城市地质数据建库质量,为探讨本轮城市地质调查数据资源建设提供了建议指导。
关键词:城市地质数据库 结构设计 质量控制
Abstract: Urban geological data has features of diversity, uncertainty and complexity. In order to realize the effective management and efficient access of multi-source, heterogeneous and massive data, the composition and characteristics of urban geological data are comprehensively analyzed in this paper.Combined with the current situation and application requirements of domestic urban geological survey data, and referring to relevant specifications such as se Structure of Urban Geological Survey>, the content and structure design of urban geological data database construction are carried out, the database structure of "vertical level and horizontal specialty" is established.And the quality control measures in the process of data database construction are discussed to ensure the quality of urban geological data database construction, which provides suggestions and guidance for the construction of data resources of this round of urban geological survey.
Key Words: Urban geology; Database; Structural design; Qualitycontrol
地质数据是国民经济建设和社会可持续发展非常重要的信息资源[ ],城市地质数据库是建立城市地质信息共享服务技术标准的关键内容之一。基于城市地质数据库的地质数据中心建设,可以实现地质数据的规范采集处理、合理存储、科学管理和有效使用。当前,地质部门管理的地质数据按照数据类型划分有空间数据、非空间结构化数据、非结构化的描述数据,本文介绍了城市地质数据构成及特点、数据库内容与结构设计以及数据建库质量控制相关要点。
1城市地质数据构成及特点
1.1 城市地质数据构成
我国自1999年开展国土资源大调查以来,积累了大量数据,主要包括不同比例尺的地质空间数据库、地球物理和地球化学专题数据库、矿产数据库和潜力评价数据库,建成了10大类48个国家地质数据库,成为国家空间数据的重要组成部分[ ]。本轮多要素城市地质调查(2017-2025)开展了工程建设与地下空间开发利用条件、地质资源种类、水土环境指标、地质灾害类型等调查评价,应用了丰富的包括钻探、地表观测、电法、地震、地质雷达、测井、遥感、原位测试、综合成果应用等技术手段与方式,更是进一步获得了大量城市基础地理、基础地质、水工环地质、地球物理、遥感、地球化学、地质灾害、地质资源等多类型数据。
為此,依据城市地质调查的采集手段、数据来源和成果阶段,城市地质调查的数据内容可分为野外调查、工程施工与试验、地质环境监测、地质成果4个大类,用来描述基础地质、工程建设与地下空间开发条件、地质资源、土地与地下水环境、地质灾害等方面的专业信息[ ]。野外调查、工程施工与试验数据是对包括岩石、地层、构造、地貌等地质现象,通过野外综合调查、施工勘探、样品试验等手段直接获取的数据。地质环境监测数据是对地下水、地质灾害等自然地质环境或者工程建设影响的地质环境及其变化,进行定期观察测量、采样测试、记录计算等产生的数据。分析评价成果数据是对地质调查和地质环境监测数据进行加工处理、综合研究和分析评价所产生的地质专题成果数据。此外,城市地质数据还应包括与地形地貌、地质构造、地层岩性、水文地质条件、不良地质作用、可利用土体资源、地热资源、地下水资源、水土环境质量等相关三维模型数据。
1.2 城市地质数据特点
城市地质数据具有多样性、不确定性和复杂性[ ],往往来自不同时期、不同单位(部门)、不同项目,其存储介质可能是纸质的或磁盘(磁带、光盘等)形式的,其表现形式可能是文字(文字报告)、数据库文件(Access、SQL Server、Oracle等)或图形图像等。同时,城市地质数据还具有大数据特性,呈现多元(源)、异构、多态、时空关联、大容量高相关、价值低密度、复杂与不确定性等特点[ ]。
2 数据建库内容与结构设计
由于城市地质数据来源广、类型多、数据量大、关系复杂,要实现多源、异构、海量数据的有效管理与高效访问,数据建库首先要对数据及相互关系进行整理,根据数据特点进行分类,并实现数据的分层管理;其次根据数据类别、数据层次等要素,分别设计数据存储的逻辑结构、物理结构、访问控制方式、备份策略等[ ]。
2.1 城市地质数据库内容
依据城市地质数据构成分析,城市地质数据库建设内容包括基础数据库、专题数据库、成果数据库[ ]。
2.1.1 基础数据库
基础数据是指搜集或采集到的非常宝贵的第一手资料的数字化形式,是数据库建设的基础,其他层次的数据都是基于原始数据而建立的,除非数据输入错误,原则上不能对这类数据进行修改。这一层次的数据包括以下类型。
(1)地质馆藏地质资料,包括报告、图片及原始档案。
(2)钻孔原始资料(各类钻孔(井)卡片中的野外现场描述、深井档案、各种测试数据)。
(3)水文地质与地质环境监测原始资料。
(4)地球物理勘探数据。
(5)地球化学调查中获取的土壤、地下水、地表水采样等原始采样数据。
(6)在地质、矿产调查过程中收集到的其他原始数据。
在建立基础数据库过程中,原始数据应按照原有的数据格式和数据结构进行管理,不做任何变动和转换。只是在辅助数据库中加上对原始数据库的字典描述,以实现对原始数据层的数据识别和管理。
2.1.2 专题数据库
专题数据是指能够进行GIS查询统计、分析应用、三维建模等所使用的数据,是基于基础数据经标准化处理或重新解释后得到,对这部分数据允许利用系统提供的工具进行增、删、查、改等操作。本项目中的专题数据指通过野外调查、工程施工与试验等地质调查活动获取的数据进行标准化处理后得到的数据,以及对地下水、地质灾害等自然地质环境或者工程建设影响的地质环境及其变化进行定期观察测量、采样测试、记录计算等产生的数据。
2.1.3 成果数据库
成果数据库包括分析评价成果数据库和三维地质模型数据库。分析评价成果数据库由用户基于基础数据、监测数据经综合分析应用得到,允许进行编辑修改。具体包括成果图件、基于评价模型生成的评价结果数据集和各类成果报告。
三维地质模型数据是利用三维地质建模工具基于基础数据、专题数据、监测数据构建的包含与地形地貌、地质构造、地层岩性、水文地质条件、不良地质作用、可利用土体资源、地热资源、地下水资源、水土环境质量等相关信息的模型数据。
2.2 数据库逻辑层次结构
整个数据中心采取纵向分层,横向按专业的原则进行数据库的逻辑组织。
(1)纵向上分为3个层次:基础数据层、专题数据层和成果数据层。
(2)横向上,每一个数据层次按照专业进行划分。
(3)在3个数据层次之外,建立辅助数据库,协调各个层次数据库之间的关系。
其中,基础数据层与原始数据库的结构保持一致,不改变原有的数据结构和数据组织方式;专题数据层划分为基础地理、基础地质、地球物理、地球化学、矿产勘查、潜力评价等几大专题,是从原始数据层解释而来的数据库,并重新进行了数据组织,存储在大型关系数据库中;成果数据库主要管理收集的成果图件、三维模型、报表报告等,存储在大型关系数据库中;此外,为了管理各个层次的数据库,建立各个层次数据库之间的关联关系,数据中心建立一套辅助数据库,包括元数据、数据字典、系统日志、系统配置等信息,存储于大型关系数据库中(见图1)。
3数据建库质量控制与措施
城市地质数据建库的质量控制应贯穿从设计到验收的全过程,应在数据生产、建库过程中严格执行“二级检查一级验收”制度[ ]。
3.1 数据建库过程控制
即采用过程方法对每一个过程的质量进行监管与分析和评价,以实现最大限度的质量控制管理及持续改进。
(1)在建库策划阶段(P),依据项目目标,进行建库资源、技术准备,包括组建技术团队,收集相关法律法规、技术标准等文件资料,收集整理项目区钻孔、地质图、剖面图、地形地貌等图件和遥感数据以及各类文档数据资料,配备计算机及专业图形软件等;同时,认真组织编写,项目实施方案、开展数据库设计并进行评审及改进。
(2)在建库实施阶段(D),依据数据生产及质量控制流程实现数据库的建设及质量控制,主要通过对数据库建设过程中的模型建立、图形及表类数据转换入库等过程进行监管。通过识别各个过程的重要节点以及依存关系并进行检查和控制,强调作业自检、互检及随检的工作方法,以实现质量目标。
(3)项目检查与分析(C)贯穿于各过程重要节点,通过检查、评审等进行质量的分析与评价,实现质量的控制和提升。
(4)通过各个环节的检查及监控,进行有效改进,提高整个项目的效率和质量,达到甚至超越质量目标(A)。
3.2 数据建库质量检查
地质数据库建设过程中,需要对图形数字化、属性数据录入、坐标定位等三大步骤进行质量控制。质量检查包括自检、互检和抽检3个层次。自检由作业者在完成作业后自行检查,所有数据必须进行100%自检。对自检错误数、错误比例、错误内容分别予以记录,对错误处自行修改。互检指由另一作业者对他人完成的矢量化成果进行检查,互检比例为100%。互检者应在数据质量检查表中写明错误内容、錯误数、错误比例等,并告知作业者让其对应修改。完成自检、互检程序后,应交由第三者进行抽检,抽检比例不得低于30%。
3.2.1入库过程准确性检查
数据入库的过程中为避免人为因素造成的错误,应编制相应的数据入库工具,采用全自动或半自动的方式将数据导入数据库,保证入库过程的准确性。数据入库后,采用自动或半自动的方式用软件再对数据库内数据进行全面的检查,确保入库数据的一致性。
3.2.2入库数据正确性检查
表格数据由原始数据得来,由人工录入、数据转存等方式得到,为避免人为因素导致的数据不准确,采用多种检查手段,如自检、小组互检、抽样检查、程序检查。程序检查还可以对相关信息进行比较检查,保证了资料的准确可靠;检查并保证图元要素、属性数据和原始数据或成果数据资料一一对应;保证属性及表格数据的编码唯一且正确。数据正确性检查的内容包括图面质量检查、空间数据质量检查、附表数据质量检查、资料文档检查、元数据检查等。
3.2.3数据入库后的应用性检查
数据导入数据库后,运用信息系统调用各专业的数据,抽取不少于20%的数据进行专业计算、应用,检查数据在系统中的展示应用情况,保证数据准确可靠。
3.2.4数据检查工具
通过总结数据库中存在问题或可能存在问题的类型和种类,采用专业数据检查工具,包括钻孔位置检验、钻孔分层检验、钻孔编码检验、地质环境监测数据检验等[ ]。
4结语
城市地质数据建库是地质信息化建设的关键内容,其结构设计的规范性和先进性决定了地质数据价值是否能够得到有效发挥。本文通过分析城市地质数据构成及特点,开展了城市地质数据建库内容与结构设计,并针对性地探讨了数据建库过程中的质量控制措施。
参考文献
[1] 潘宝玉,杨润书.浅论地质大数据的管理与利用[J].地矿测绘, 2017,33(1):1-3,14.
[2] 中国地质调查局.地质调查信息化“十三五”规划[EB/OL]. https://www.cgs.gov.cn/xwl/ddyw/201711/t20171109_443600.html.
[3] 中华人民共和國自然资源部.DZ/T 0352-2020.城市地质调查数据内容与数据库结构[S]. 北京:自然资源部地质出版社,2020.
[4] 陆敬华. 地质数据特点与分类[J]. 黑龙江科技信息, 2013(13):32.
[5] 谭永杰,文敏,朱月琴,等.地质数据的大数据特性研究[J].中国矿业,2017,26(9):67-71,84.
[6] 李玉. 城市地质数据集成与共享技术研究[D].成都:成都理工大学,2020.
[7] 陈泽鹏,黄睦谨, 江齐英,等.城市地质大数据中心关键技术研究与设计[J].科学与信息化,2021(19):34-35.
[8] 何学洲,向运川,王杨刚,等.全球地质矿产数据库质量控制体系建立与应用 [J].中国地质,2015,42(2):737-744.
[9] Liang D., Hua W., Liu X., et al.Uncertainty assessment of a 3D geological model by integrating data errors, spatial variations and cognition bias[J].Earth Science Informatics 20201,14:161–178.