java gis项目_HIVE扩展GIS函数

男娘i 2023-01-01 10:49 174阅读 0赞

按项目日益增长的gis数据量要求,需要在大数据集群中部署HIVE的扩展函数。

Apache Hive是一个建立在Hadoop架构之上的数据仓库。它能够提供数据的精炼，查询和分析。(引用自维基百科hive描述)

HIVE允许用户使用UDF(user defined function)对数据进行处理。我们用到的是spatial-framework-for-hadoop。下载完源码，修改最外层的pom.xml,修改hadoop、hive、java版本为生产环境中版本,重新编译项出spatial-sdk-json-2.1.0.jar和spatial-sdk-hive-2.1.0.jar。

hadoop-2.72.7.3

hive-1.21.2.1

1.81.82.7.31.2.1

下载最新的esri-geometry-java中的esri-geometry-api-2.2.1.jar，上传三个jar到linux系统(jar权限设置成最高),在hive的shell控制台输入添加jar和创建函数语句。

add jar /usr/hdp/2.6.4.0-91/hive/auxlib/esri-geometry-api-2.2.1.jar;add jar /usr/hdp/2.6.4.0-91/hive/auxlib/spatial-sdk-json-2.1.0.jar;add jar /usr/hdp/2.6.4.0-91/hive/auxlib/spatial-sdk-hive-2.1.0.jar;CREATE TEMPORARY FUNCTION STPoint as 'com.esri.hadoop.hive.ST_Point';

![6ce7806e6a3783b735973a51ebc5b768.png][]

自定义函数使用可以参考官方文档UDF文档,创建自定义函数可以参考spatial-framework-for-hadoop项目的hive下function-ddl.sql，但创建永久函数需要去掉temporary。

[6ce7806e6a3783b735973a51ebc5b768.png]: /images/20221120/4232fdc4c8954d299aec6780f2d1c050.png

发表评论取消回复

表情：

评论列表（有 0 条评论，174人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hive中扩展GIS函数

应用场景目前，Hive表中存在需要把经纬度转化为距离，和一些其他相关的计算函数，但是在hive中并没有集成这些函数。当然我们可以自定义UDF函数，但是现在提供一个更加简

Dear 丶/ 2023年07月23日 12:58/ 0 赞/ 19 阅读

相关 [GIS热点] 数据源方面-视频GIS、泛在GIS

文章目录视频GIS 泛在GIS 视频GIS 【视频GIS】是指处理、分析、表达和管理视频/地理视频流数据为特征的GIS 【视频】是一

布满荆棘的人生/ 2023年06月19日 01:57/ 0 赞/ 46 阅读

相关 [GIS热点] GIS未来-从五个维度看待GIS、场景学、全息GIS

文章目录 GIS未来从五个维度看待GIS 场景学全息GIS GIS未来从五个维度看待GIS <table

朱雀/ 2023年06月19日 01:57/ 0 赞/ 297 阅读

相关 [GIS热点] GIS概论

文章目录地理信息地理学的四大研究方向 GIS应用在社会服务中的应用地

柔情只为你懂/ 2023年06月19日 01:56/ 0 赞/ 43 阅读

相关 [GIS热点] 网络篇-WebGIS、物联网、网格GIS、雾GIS、云计算

文章目录网络篇 WebGIS 物联网网格GIS（GridGIS）雾GIS 云计算网络

青旅半醒/ 2023年06月13日 06:13/ 0 赞/ 31 阅读

相关 [GIS笔记] 闾国年：地理全息与全息GIS（未来的GIS）

> 前言：在此之前博主对全息GIS的概念停留于基于全息全景的三维GIS展示平台，而闾国年教授把这个概念拓宽了很多：一个能够接纳、融合并展示全信息的GIS平台。此文是博主对闾国年

﹏ヽ暗。殇╰゛Y/ 2023年06月13日 06:13/ 0 赞/ 33 阅读

相关 java gis项目_记录:GIS常用开发工具

一、GIS软件 ArcGIS Erdas Envi QGIS：开源国产：超图、中地MapGIS 二、二次开发编程语言页面前端：html、css、Jav

短命女/ 2023年01月01日 10:49/ 0 赞/ 229 阅读

相关 java gis项目_HIVE扩展GIS函数

按项目日益增长的gis数据量要求,需要在大数据集群中部署HIVE的扩展函数。 Apache Hive是一个建立在Hadoop架构之上的数据仓库。它能够提供数据

男娘i/ 2023年01月01日 10:49/ 0 赞/ 175 阅读

相关关于个人对GIS市场、GIS应用、GIS行业的一点看法

前两天，中山大学的大二学弟提出咨询我一些关于GIS的相关问题，大概内容包括： ![Center][] 本人从2007年毕业到现在也有十年的从业时间，针对他提出的问题，

港控/mmm°/ 2022年07月16日 06:55/ 0 赞/ 333 阅读

相关 GIS空间索引

微信搜索：“二十同学” 公众号，欢迎关注一条不一样的成长之路在GIS系统中，空间索引技术就是通过更加有效的组织方式，抽取与空间定位相关的信息组成对原空间数据的索引，以较

朴灿烈づ我的快乐病毒、/ 2021年09月21日 04:14/ 0 赞/ 1517 阅读