国内最专业的IT技术学习网

UI设计

当前位置:主页 > UI设计 >

Spark on Kubernetes 的现状与挑战

发布时间:2019/08/02标签:   作业    点击量:

原标题:Spark on Kubernetes 的现状与挑战
云原生时期,Kubernetes 的主要性日趋凸显,这篇文章以 Spark 为例来看一下大数据生态 on Kubernetes 生态的近况与挑衅。1. Standalone 形式Spark 运转在 Kubernetes 集群上的第一种可行方法是将 Spark 以 Standalone 形式运转,然而很快社区就提出应用 Kubernetes 原生 Scheduler 的运转形式,也就是 Native 的形式。对于 Standalone 形式这里就没有持续探讨的须要了。2. Kubernetes Native 形式Native 形式简而言之就是将 Driver 和 Executor Pod 化,用户将之前向 YARN 提交 Spark 功课的方法提交给 Kubernetes 的 apiserver,提交下令以下:$bin/spark-submit\--masterk8s://https://:\--deploy-modecluster\--namespark-pi\--classorg.apache.spark.examples.SparkPi\--confspark.executor.instances=5\--confspark.kubernetes.container.image=\local:///path/to/examples.jar此中 master 就是 kubernetes 的 apiserver 地点。提交以后全部功课的运转方法以下,先将 Driver 经过 Pod 启动起来,而后 Driver 会启动 Executor 的 Pod。这些方法许多人应当都懂得了,就不赘述了,具体信息能够参考:https://spark.apache.org/docs/latest/running-on-kubernetes.html 。Spark on Kubernetes 的现状与挑战3. Spark Operator除了这类间接想 Kubernetes Scheduler 提交功课的方法,还能够经过 Spark Operator 的方法来提交。Operator 在 Kubernetes 中是一个十分主要的里程碑。在 Kubernetes 刚面世的时间,对于有状况的利用怎样安排在 Kubernetes 上始终都是民间不肯意念叨的话题,直到 StatefulSet 呈现。StatefulSet 为有状况利用的安排完成了一种形象,简略来讲就是保障收集拓扑和存储拓扑。然而状况利用千差万别,并不是全部利用都能形象成 StatefulSet,强行适配横竖减轻了开辟者的心智累赘。而后 Operator 呈现了。咱们晓得 Kubernetes 给开辟者供给了十分凋谢的一种生态,你能够自界说 CRD,Controller 乃至 Scheduler。而 Operator 就是 CRD + Controller 的组合情势。开辟者能够界说本人的 CRD,比方我界说一种 CRD 叫 EtcdCluster 以下:apiVersion:"etcd.database.coreos.com/v1beta2"kind:"EtcdCluster"metadata:name:"example-etcd-cluster"spec:size:3version:"3.1.10"repository:"quay.io/coreos/etcd"提交到 Kubernetes 以后 Etcd 的 Operator 就针对这个 yaml 中的各个字段停止处置,最初安排进去一个节点范围为 3 个节点的 etcd 集群。你能够在 github 的这个 repo:https://github.com/operator-framework/awesome-operators 中检查现在完成了 Operator 安排的散布式利用。Google 云平台,也就是 GCP 在 github 下面开源了 Spark 的 Operator,repo 地点:。Operator 安排起来也长短常的便利,应用 Helm Chart 方法安排以下,你能够简略以为就是安排一个 Kubernetes 的 API Object (Deployment)。$helmrepoaddincubatorhttp://storage.googleapis.com/kubernetes-charts-incubator$helminstallincubator/sparkoperator--namespacespark-operator

版权信息Copyright ? IT技术教程 版权所有??? ICP备案编号:鲁ICP备09013610号