最具影响力的数字化技术在线社区

168大数据

 找回密码
 立即注册

QQ登录

只需一步,快速开始

1 2 3 4 5
开启左侧

你问我答:什么是完整的ArcGIS实时大数据解决方案?

[复制链接]
发表于 2019-10-12 20:36:51 | 显示全部楼层 |阅读模式

马上注册,结交更多数据大咖,获取更多知识干货,轻松玩转大数据

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
本帖最后由 168主编 于 2019-10-16 19:11 编辑

在用户大会体验区跟用户交流实时GIS时,碰到了一些让人容易混淆的,或者有意思的问题,今天我们不妨从问题入手,一起来聊一聊完整的ArcGIS实时大数据解决方案。
问答
Q1
“什么是实时数据?它跟传统的GIS数据有什么区别?”
随着物联网应用的深入,大规模传感器的使用,实时数据变得更加丰富和重要。现如今不管是天上飞的,地上跑的,还是水中游的,它们的当前位置和状态都能通过各种传感器实时获取,近一点的,如大家佩戴在手上的智能手环,其中就有传感器元件,还有大家的智能手机,也是一种典型的传感器,它时刻在记录和返回你的位置信息;再比如当下非常流行的共享单车,开锁关锁过程中,锁里面的传感器就是在与服务器通信,实时产生位置和其它信息;就连那些位置固定不变的重要资产,如气象监测设备,车流量监测设备,环保监测站点等,也在时刻产生和记录中实时状态信息。
因此,实时数据具有持续产生、实时动态更新等多种特点,它需要持续的更新数据库记录、前端应用中也需要实时展示最新状态,而这种更新频率通常是秒级或者是分钟级的,而传统的、静态的GIS数据,可能每半年/一年,或者更长的周期,才会集中大规模的更新一次数据。
采集和获取这些实时位置和实时状态信息,有助于我们了解和掌握资产、人员、设备等重要资产的实时运行状态,对健康管理、设备维护、人员/设备监控、应急预案、智慧决策等,都有非常重要的作用。因此,实时GIS系统也在业务中扮演着非常重要的角色,而实时GIS因此也需要一套与传统GIS技术完全不同的技术来支撑。
Q2
“我现在手头就有一些传感器,比如危险气体监测传感器,ArcGIS怎么接这些数据呢?”
传感器产生的数据,通常通过自带的4G网卡,或者Wifi、蓝牙等技术,通过常用的通信协议,如http、tcp、udp、websocket等,按照某些格式,如JSON、XML、十六进制流等,传送到服务器端,这种情况下用户通常会从服务器中抓取实时数据推送给其它终端使用。ArcGIS可以直接对接传感器传回的实时数据,也可以对接用户的服务器推送的实时数据流,如何对接,取决于用户的意愿。
ArcGIS的实时数据接入服务器GeoEvent Server内置了18种输入连接器,支持上述所有主流传输协议,包括kafka、ActiveMQ等消息服务器,拿来即用,无需开发,让用户轻松应用手头种类繁多、协议不同的传感器的实时数据。
比如今年用户大会主题演示上展示的实时大数据接入,就是通过Kafka消息服务器这种输入连接器来实现的。
Q3
“ArcGIS能对数据进行实时分析吗?能做哪些实时分析,比如实时轨迹追踪?”
ArcGIS可以对接入的流数据进行实时处理和分析,GeoEvent Server内置了近50种过滤和处理工具用于对流数据进行处理,包括过滤、空间位置拓扑运算、阈值监控、地理围栏、字段计算,字段丰富,字段衰减,缓冲分析,投影转换等处理器等。例如:GeoEvent Server可以接收天气和大气污染指数,当空气污染和风阀值达到一定程度,可以基于预设的警戒线进行报警,或者它能监控车辆是否进入到某一个危险区的范围内(GeoEvent Server提供了12种状态的地理围栏),并实现报警提醒。
在今年的用户大会主题演示上,就通过静态资产监控和固定目标监控这两个场景为大家展示了阈值提醒和地理围栏这两种实时分析功能。
这里的实时数据处理和分析,更多的偏向于对接入的流数据进行过滤、字段运算、简单的空间关系运算、投影转换等,传统的GIS所做的那些强GIS分析,如邻近分析、轨迹构建和追踪等,通常需要结合历史数据才能分析。
Q4
“ArcGIS把数据接入进来之后,会怎么输出?如何与我的业务系统进行对接?”
实时数据接入之后,可以输出为ArcGIS的要素服务、流服务、实时动态聚合的要素服务等,也可以文本、短信、邮件等方式提醒输出,还可以是Web Socket、CSV等本地文件,或者是HDFS等分布式存储系统。这些丰富的输出类型,同样封装成了GeoEvent Server的输出连接器(内置17种),无需开发,根据需要择其一个或多个来使用。
Q5
“你说的完整的ArcGIS实时GIS方案是什么,何为完整?”
完整是相对于用户的需求而言,对于手头有大量传感器的用户而言,他会有很多需求:我如何接入这些数据?如何存储?如何快速可视化展示?如何实时分析,或者从一堆历史数据中挖掘对我有用的信息?……等等,ArcGIS的完整方案,指的是ArcGIS平台能够提供各种能力,全方位的满足用户的需求,总结起来讲,ArcGIS的实时GIS解决方案可以实现实时数据的接入、处理分析、高效存储、输出、可视化应用创建,以及历史数据的挖掘分析。
Q6
“我们已经有了一个实时业务系统在运行,相比而言,ArcGIS的实时GIS方案有什么优势吗?”
ArcGIS实时GIS解决方案有很多优势:
1、提供完整的物联网对接方案,感知层、数据层、平台层、服务层和应用层全方位支撑,具体见下图:
2、实时数据流的接入、分析处理、存储和输出一气呵成,提供一个全流程的服务,且内置多种输入、输出协议,可以应对一个单位多种类型不同协议的传感器接入问题,极大减轻工作量;
3、提供拿来即用的框架(如Operations Dashboard等)和工具(GeoAnalytics Server大数据分析工具等),实现数据可视化和应用创建,以及历史数据挖掘分析;
4、多节点分布式的产品架构,支持不同规模和量级的应用,可按需弹性部署,如在用户大会主题演示上,通过多个节点实现了2万级数据的秒级接入;
5、依托强大的ArcGIS平台,可充分使用ArcGIS平台的能力和资源,如实时数据二三维地图展示、GIS空间分析等;
6、方案的核心产品GeoEvent Server具备良好的扩展性,可以进行输入、处理和输出全方位的扩展开发,采用松耦合的设计,简单易行,快速上手。
Q7
“你说你们支持实时大数据,那我有500万量车在路上跑,你能接吗?”
数据总量和每秒同时接入的数据量是两个不同的概念,虽然您有500万量车,但并不意味着这500万量都会在同一秒传回数据,也许只有其中的50万量在同一秒传回,ArcGIS的实时数据接入性能关注的是这每一秒同时传回的数据量,也就是每秒的并发量50万,而数据总量影响的是系统存储价格和应用规模等。
Q8
“你说你们支持实时大数据秒级接入,那你每秒最多能接多少?”
ArcGIS的实时解决方案支持通过多个节点来同时接入数据,GeoEvent Server可以多节点同时接入,ArcGIS Data Store可以多节点分布式存储,因此,每秒接入的数据量并没有限制,这取决于您的硬件配置,以下参数可以供您参考:
Q9
“你们展示的实时动态聚合的可视化效果跟GeoAnalytics Server的聚合分析有什么区别?”
实时大数据的动态聚合是服务器在后台实时计算的,它随着时间和比例尺的变化而动态变化,而这种变化通常是秒级的,如前端3秒刷新一次,后台服务器就好3秒计算一次;每平移或缩放一次,也会实时计算一次,这种计算非常频繁,并且秒级响应得到结果。GeoAnalytics Server的聚合分析则是针对静态的数据进行一次性计算,通过根据数据量和计算节点不同,计算一次的时间从十几秒到几十分钟不等。


Q10
“我想在前端实现ArcGIS那种实时动态聚合的效果,应该怎么做?”

选择GeoEvent Server的时空大数据存储输出连接器,自动会得到这样一个提供实时动态聚合效果的地图服务。如果想不通过GeoEvent Server实现,则需要完全从底层开发。

Q11
“我看您介绍的那个Operations Dashboard和Web AppBuilder for ArcGIS中的仪表盘主题挺好,直接配置就可以创建实时GIS应用,它是免费的吗?我怎么才能使用到它?”

对,这两款应用非常适合于实时GIS场景,并且可以让用户零代码快速配置一个实时监控应用。详细的过程请看以下视频:

对于ArcGIS平台的用户而言,他们是免费的,使用named user就可以登录使用。目前Operations Dashboard的web版是beta版,尚未正式发布,它有一个桌面版,可在esri的主页上下载到。Web AppBuilder for ArcGIS在ArcGIS Online或者最新的开发版中可以使用到该主题。

Q12
“我的实时数据累计起来就是一大笔财富,ArcGIS能对这些数据进行挖掘分析吗?”

完全可以,ArcGIS平台可以对接入的实时数据进行存储,存储的历史数据可以直接对接GeoAnalytics Server大数据分析工具进行历史数据的挖掘分析。

Q13
“你们的实时数据会存吗?存在哪里?我需要准备一套自己数据库吗?”

根据您选择的输出方式,可以存可以不存,如流服务是不存储的,只进行前端可视化展示,而时空大数据存储输出会将实时数据流存储到ArcGIS Data Store中,您无需单独提供一套数据库。

Q14
“如果我想用你们的方案,我需要购买什么产品?光一个GeoEvent Server就可以了吗?”

想体验完整的ArcGIS实时解决方案,您不仅需要核心产品GeoEvent Server,还需要一套ArcGIS Enterprise。ArcGIS Enterprise为我们提供一个数据存储组件ArcGIS Data Store,以及平台资源管理门户Portal for ArcGIS,还有一套GIS Server,用来发布要素服务和地图服务,GeoEvent Server负责数据的接入。

文章转载自公众号 ArcGIS极客说
楼主热帖
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

关于我们|小黑屋|Archiver|168大数据 ( 京ICP备14035423号|申请友情链接

GMT+8, 2024-3-29 07:12

Powered by BI168大数据社区

© 2012-2014 168大数据

快速回复 返回顶部 返回列表