文章目录
RPC请求发送后接收方的处理逻辑
在RpcEndpoint中创建的RemoteRpcInvocation消息,最终会通过Akka系统传递到被调用方。例如TaskExecutor向ResourceManager发送
SlotReport
请求的时候,会在TaskExecutor中将ResourceManagerGateway的方法名称和参数
打包成RemoteRpcInvocation对象
。然后经过网络发送到ResourceManager中的AkkaRpcActor,处理请求。
接下来深入了解AkkaRpcActor的设计与实现,了解在AkkaRpcActor中如何接收RemoteRpcInvocation消息并执行后续的操作。
1. 创建Receiver
如代码所示,首先在AkkaRpcActor中创建Receive对象,用于处理Akka系统接收的其他Actor发送过来的消息。
Receiver相关能力
在AkkaRpcActor中主要创建了RemoteHandshakeMessage、ControlMessages等消息对应的处理器,
- 其中RemoteHandshakeMessage主要用于进行正式RPC通信之前的网络连接检测,保障RPC通信正常。
- ControlMessages用于控制Akka系统,例如启动和停止Akka Actor等控制消息。这里我们重点关注第三种类型的消息,即在集群运行时中RPC组件通信使用的Message类型,此时会调用
handleMessage()
方法对这类消息进行处理。
publicReceivecreateReceive(){returnReceiveBuilder.create().match(RemoteHandshakeMessage.class,this::handleHandshakeMessage).match(ControlMessages.class,this::handleControlMessage).matchAny(this::handleMessage).build();}
2. 进行消息处理
在AkkaRpcActor.handleMessage()方法中,最终会调用handleRpcMessage()方法继续对RPC消息进行处理。
如下代码:
//根据RPC消息类型,进行不同方式处理protectedvoidhandleRpcMessage(Object message){if(message instanceofRunAsync){//将代码块提交到本地线程池中执行handleRunAsync((RunAsync) message);}elseif(message instanceofCallAsync){handleCallAsync((CallAsync) message);}elseif(message instanceofRpcInvocation){handleRpcInvocation((RpcInvocation) message);}else{// 省略部分代码sendErrorIfSender(newAkkaUnknownMessageException("Received unknown message "+ message +" of type "+ message.getClass().getSimpleName()+'.'));}}
接着看AkkaRpcActor.handleRpcInvocation()方法逻辑:
- 判断当前RpcEndpoint是否实现了指定rpcMethod。
例如JobMaster调用ResourceManagerGateway.requestSlot()方法,会在lookupRpcMethod()方法中判断当前ResourceManager实现的Endpoint是否提供了该方法的实现。
- 当rpcMethod不为空时,rpcMethod.invoke(rpcEndpoint, rpcInvocation.getArgs())
- 调用sendAsyncResponse()、sendSyncResponse()方法通过Akka系统将RpcMethod返回值返回给调用方。
privatevoidhandleRpcInvocation(RpcInvocation rpcInvocation){Method rpcMethod =null;try{String methodName = rpcInvocation.getMethodName();Class<?>[] parameterTypes = rpcInvocation.getParameterTypes();
rpcMethod =lookupRpcMethod(methodName, parameterTypes);}catch(ClassNotFoundException e){// 省略部分代码}if(rpcMethod !=null){try{
rpcMethod.setAccessible(true);if(rpcMethod.getReturnType().equals(Void.TYPE)){// 没有返回值的情况
rpcMethod.invoke(rpcEndpoint, rpcInvocation.getArgs());}else{// 有返回值的情况finalObject result;try{
result = rpcMethod.invoke(rpcEndpoint, rpcInvocation.getArgs());}catch(InvocationTargetException e){getSender().tell(newStatus.Failure(e.getTargetException()),getSelf());return;}finalString methodName = rpcMethod.getName();if(result instanceofCompletableFuture){finalCompletableFuture<?> responseFuture =(CompletableFuture<?>) result;sendAsyncResponse(responseFuture, methodName);}else{sendSyncResponse(result, methodName);}}}catch(Throwable e){
log.error("Error while executing remote procedure call {}.",
rpcMethod, e);// 通知错误信息getSender().tell(newStatus.Failure(e),getSelf());}}}
接下来从更加宏观的角度了解各组件之间如何基于已经实现的RPC框架进行通信,进一步加深对Flink中RPC框架的了解。
参考:《Flink设计与实现:核心原理与源码解析》–张利兵
版权归原作者 roman_日积跬步-终至千里 所有, 如有侵权,请联系我们删除。