Flink简介
本帖最后由 168主编 于 2018-12-28 11:29 编辑其结构图如下：
//upload-images.jianshu.io/upload_images/1174516-14e0cb4f1a4e462a.png
Flink架构Flink的分布式执行主要分成两个重要进程：master和worker。当一个Flink程序执行时，其有多个进程参与该执行过程，如：
[*]Job Manager
[*]Task Manager
[*]Job Client
下面的流程图显示了Flink程序的执行过程：
//upload-images.jianshu.io/upload_images/1174516-a9136dacdc02fab9.png
Flink应用程序需要首先提交到Job Client，Job Client把该Job提交到Job Manager，Job Manager为该Job分配资源及执行器，其会先分配需要的资源，当资源分配完成后，该任务会提交给每个Task Manager，其中一个接收该任务，该Task Manager初始化一个线程来执行。当该执行器就绪后，这个Task Manager向Job Manager持续上报该Job的变更状态。该Job有多种状态，如：启动，进行中，结束。当这个Job运行结束时，其结果会被发送回提交的client。
Job Manager
Job Manager即为上面master-client中的Master进程，其管理并调整程序的执行。其主要职责包含：调度任务，失败重试等。
可以有多个mster并行运行并共享其职责，通过这种方式来实现高可用，其中一个为leader节点，当leader节点挂了时，其备用节点自动升级为leader。
Job Manager包含以下重要组件：
[*]Actor System
[*]Scheduler
[*]Check pointing
Flink中使用Akka actor来在Job Manager和Task Manager之间进行通信。
Task Manager
Task Manager是worker节点。每个Task Manager上面可用的task slots决定了任务的并行执行，这块和Storm基本类似。
一个Task Manager会把其内存平分到每个slot中，如一个Task Manager有四个slot，其会为每个分配25%的内存。每个slot中又会有多个线程。每个slot中的线程运行在同一JVM中，同一JVM中的任务共享TCP连接和心跳消息。
//upload-images.jianshu.io/upload_images/1174516-2e5303afc042e5e8.png
Job Client
用于接收用户提交的程序，并创建数据流，把该数据流提交给Job Manager。当程序执行完成后，job client把执行结果返回给用户
其转换数据流类似下面流程：
//upload-images.jianshu.io/upload_images/1174516-de36dfa52fcac200.png
数据流直接从source通过map操作是不需要进行shuffle数据的，如果使用GroupBy操作，则Flink需要重根据其key进行重新分布以确保能得到正确的结果，如下：
//upload-images.jianshu.io/upload_images/1174516-4fc99646263a7cc4.png
作者：三无程序员
來源：https://www.jianshu.com/p/db5a03a829a0
页:
[1]