0


Flink开发语言使用Java还是scala合适?

最近碰到一个很有意思的问题,Flink到底用什么语言开发?Scala还是Java?国内部分程序员对scala开发flink好像存在着偏见或者是迷茫,一般是因为你能找到的flink项目大多是java写的。

想要弄明白这个问题,首先要知道这个问题为什么会发生,作者在网上查看了相关的词条,并且根据开发经验,大致总结了一下对这个事情的个人看法。

首先这个问题牵扯了一部分spark,2009年的时候spark作为第一个弥补MR无法基于内存计算缺陷的第二代大数据计算框架,诞生于伯克利大学,从诞生之初开始spark的内核开发语言以及使用者的开发手段就全是scala。而第二年开始,也是2010年到2014年,在这四年中欧洲的一些大学联合起来,开发出了flink。

flink它的内核用的是JAVA语言编写,而且一个更要命的事情是flink于2014年四月份才捐献给了Apache基金会,并且由原先flink的部分开发者离开大学并寻找着它的商业化道路。说白了,就是在2014年的时候才开始走商业化,开始像成熟的商业模式摸索。

可问题就是先它一步的spark,已经早在2010年对外开源发布得到了很多的代码贡献,更是在2012年的时候就发布了0.6的第一个正式版,我们都知道一个道理,一步快步步快,所以spark在第一个正式版本发出以后,进入了更快的发展,2013年的时候成为了Apache基金会下的项目,并在同年研发出了机器学习、流处理,以及spark sql的前身shark,再到2014年的时候,正式发布了1.0版本,不只有了图计算,而且还开发出了spark sql,更是成为了Apache顶级项目。

与之相比,当时的flink就显得太弱小了,所以大数据计算市场,就分成了两股,一股是主流的scala开发spark,另外一股市场占比较小的Java开发flink,两边的开发人员都不愿意丰富自己的开发语言。但是慢慢的flink劣势就出来了,首先是对于scala的开发者,其开发的程序运行本身就使用了Java的运行库,而且Scala的环境不可或缺的就是Java虚拟机,对于开发者来说Scala的开发需要依托于Java-JDK,可以说scala的开发者在技术储备上对Java就不陌生,再加上scala天生就能调用JAVA实现混编,再一个当时Spark能力本身就比flink要丰富的太多太多。所以当时的flink官方为了推广自己就想了一个妙招,对外宣称并坚持至今,希望更多的开发者在不舍弃自己熟练的开发语言情况下,依然可以使用flink,而且还为此付出了实践,在原先的JAVA底层代码上封装了一层scala,且随着发展现在不止可以用scala,还可以用python开发。你可以理解为原先的flink代码作为底层在外面包了一层scala-service的服务,就好像现在国内的安卓系统手机厂商一样。

事情的大致情况就是这样子,但据这样来看,两边的开发其实都是互不影响的,而且更利于flink的推广,但为什么事态变成了现如今的国内市场上很多Flink的项目都是用JAVA开发,并且对scala开发的推广如此之难,是因为flink再提供了scala的API后,Java和scala之间发生了混乱。

如果你用scala开发你常常就会发现调用一个类,会有存在两个同名类被加载到,一个是包名有明确的scala的资源,另外一个无法明确的分清是哪的资源。而如果你用JAVA开发会发现Flink的包已经是用JAVA开发了,但莫名其妙还需要考虑scala的版本。最后就是前面说的scala的开发者熟悉Java,但是Java开发者一般不去接触scala,并且java自己来说无法和scala混编,即使可以调用scala的代码,不过存在着会将scala类识别成java类的问题,很容易混淆。

这就导致JAVA和scala两面都不讨好,两面都认为是对方的问题,Scala的开发者由于语言本身的优势,所以开发起来还不算太困难,但java开发者就很难受了,简直就是属于用自身的短处碰到了别人的长处,比如可以看下面这个论坛里面说的问题

https://lists.apache.org/thread.html/rd7bf0dabe2d75adb9f97a1879638711d04cfce0774d31b033acae0b8%40%3Cdev.flink.apache.org%3E

这个论坛里大致说的问题就是某个flink的java使用者,他所开发的项目里,因为flink-streaming-java依赖了flink-runtime_2.11,发现是个有scala版本后缀的包,一样的困惑,为啥纯java写的flink runtime要携带scala的版本号,并且产生了混淆,接着排查问题的时候,发现flink-runtime依赖了akka-actor/stream/protobuf_2.11,这是flink依赖的三方库,虽然是纯java的,但是同样携带了scala版本。最后发现akka-stream这个第三方库 50+的代码都是用scala写的,而且还是2.11版本就没有更新,导致他的项目也没有办法更新,但好在目前没有对项目产生不好的因素,且还因为有scala依赖而存在一些优势,然后以此为核心引发的一系列由于JAVA开发需要考虑scala依赖的问题,总体上表达了希望该JAVA开发人员剔除scala的相关依赖。

所以我们回到最开始的问题,首先是flink-Java开发上的混淆,后是java是flink的主人翁,导致养成了一种市场习惯,再加上Spark本身满足了绝大多数市场的需求,最致命的还是程序员没有太多个人时间去充实自己,想扩展scala方式开发的程序员很少有时间去学习,导致flink的scala推广很难。

再来总结一下flink到底用什么语言开发,首先你要知道,在国内市场上使用flink的场景本身就很少,少到你基本不会用到,一个spark就够了,如果你的时间很充裕,那你就两种开发方式均掌握,毕竟如果真的遇到了,那一个项目的开发手段也不是由你自己可以决定的,说的玄一点,就是看命,如果你在找工作期间遇到了这个问题,那么你完全可以结合自身考虑这份工作你是否要去胜任?而当然无论什么时候,如果遇到了在使用哪种语言编写上存在严重偏见的人,你完全可以不理他,因为技术是无罪的,有问题的只是人心而已。

最后跟大家说一点最实际的,flink它主要是一个专注于流计算的计算引擎,但是国内为什么使用它的相当少呢?就算有流处理,一般也是用spark的,这个原因大家搭建一遍flink跑一个测试的word count任务就明白了,在我主页大数据原生测试集群搭建文档五中有搭建方法,你搭建完之后,你就会发现其他的计算框架跑任务的资源把控讲究的是逻辑单元container容器,一个节点上根据不同资源分配方式可以有多个容器,但是flink不一样,它将集群中的每一个跑任务的节点注册为task节点,每个test节点在配置文件里就写好了有几个并行度,每个并行度占这台节点的多少资源,从物理上直接限制死了资源,而且如果你不开启窗口的话,是真正的用钱用服务器去砸效率,所以很少有资本家用的起,不过也有经济的用法,就是跑在yarn上,但是这样的话除了特别需要flink的非窗口计算模式,就和spark没差别了,对于资本家来言,既然没差别那我为什么非要用flink?这就把问题又上升了一个台阶,从推广scala开发flink变成了推广flink本身了。不过随着flink的发展,在未来一定会占有一定的市场份额的,时间问题罢了。

标签: scala java 开发语言

本文转载自: https://blog.csdn.net/dudadudadd/article/details/127336156
版权归原作者 尘世壹俗人 所有, 如有侵权,请联系我们删除。

“Flink开发语言使用Java还是scala合适?”的评论:

还没有评论