1. 标题
一种通用的适应传统GIS平台的矢量大数据并行框架
A universal parallel scheduling approach to polyline and polygon vector data buffer analysis on conventional GIS platforms
2. 成果信息
· Guo, M, Han, C, Guan, Q, Huang, Y, Xie, Z. A universal parallel scheduling approach to polyline and polygon vector data buffer analysis on conventional GIS platforms. Transactions in GIS. 2020; 24: 1630– 1654.
· https://onlinelibrary.wiley.com/doi/10.1111/tgis.12670
· https://doi.org/10.1111/tgis.12670
· 资助项目:国家自然科学基金 (41971356 and 41701446).
3. 成果的团队成员
郭明强,博士,154.com皇冠,副教授,主要从事高性能空间计算和互联网地理信息系统关键技术研究。
韩成德,硕士,154.com皇冠,主要从事高性能空间计算和SAR图像去噪研究。
关庆锋,博士,154.com皇冠,教授,主要从事高性能地理空间计算研究。
黄颖,博士,武汉中地数码科技有限公司,高级工程师,主要从事云计算、地理信息系统关键技术研究。
谢忠,博士,154.com皇冠,教授,主要从事地理信息系统关键技术研究。
4. 成果介绍
· 矢量数据空间分析是非常耗时的计算密集型的任务,在所有的传统的GIS平台上进行并行加速是一项非常有挑战性的工作。为了解决该问题,本研究提出了一种通用的在传统的GIS平台上的空间分析并行调度方法。该方法的目的是在于通过利用并行计算的框架来大幅提升矢量数据并行计算效率,同时不重新开发那些传统的GIS平台(例如,ArcGIS、QGIS、MapGIS等。)的算法或者转换他们的数据格式。我们使用计算强度网格来在空间中表达该图层的计算强度分布。根据计算强度网格自适应划分相应的任务区域,来达到任务区域间的负载均衡,从而获得最佳的并行加速比。为了展示提出的方法的有效性和性能,我们分别在ArcGIS、QGIS、MapGIS三个GIS平台上进行一系列实验。在QGIS、ArcGIS、MapGIS的平台上使用我们的方法都得到了近似线性的加速比,并得到了较好的负载均衡性能表现。
图1 适应传统GIS平台的并行调度框架
图2 分别使用2- 8个线程在QGIS, AcrGIS和MapGIS平台上的加速比