k8s部署spark history历史服务

野性酷女 2023-10-04 14:47 111阅读 0赞

apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: spark-history-server
      namespace: dmgeo-lib
    spec:
      selector:
        matchLabels:
          run: spark-history-server
      replicas: 1
      template:
        metadata:
          labels:
            run: spark-history-server
        spec:
          containers:
            - image: 192.168.145.28:1603/lego/spark/spark:3.0.0 
              name: spark-history-server
              args: ["/opt/spark/bin/spark-class", "org.apache.spark.deploy.history.HistoryServer"]
              ports:
                - containerPort: 18080
                  name: http
              env:
              - name: SPARK_HISTORY_OPTS
                value: "-Dspark.history.fs.logDirectory=hdfs://192.168.145.28:9000/sparkhistory"
    
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: spark-hs-svc
      namespace: dmgeo-lib
    spec:
      ports:
      - port: 18080
        protocol: TCP
        targetPort: 18080
        nodePort: 10080
      selector:
        run: spark-history-server
      type: NodePort
    status:
      loadBalancer: {
        }

运行结果：

spark-history-server-558fb7579-7lc5q              1/1     Running   0          19h

发表评论取消回复

表情：

评论列表（有 0 条评论，111人围观）

还没有评论，来说两句吧...

相关阅读

相关 k8s部署spark history历史服务

apiVersion: apps/v1 kind: Deployment metadata: name: spark-history-ser

野性酷女/ 2023年10月04日 14:47/ 0 赞/ 112 阅读

相关 Spark on K8S及history服务部署

[Spark on K8S环境部署细节][Spark on K8S] [https://www.cnblogs.com/lanrish/p/12267623.html]

冷不防/ 2023年10月04日 14:40/ 0 赞/ 62 阅读

相关【收藏】Spark on k8s Operator 部署安装

[Spark on k8s Operator 部署安装][Spark on k8s Operator] [Spark on k8s Operator]: https://b

た入场券/ 2023年10月03日 11:16/ 0 赞/ 86 阅读

相关 Spark On K8S（Standalone模式部署）

Spark on K8S 的几种模式 Standalone：在 K8S 启动一个长期运行的集群，所有 Job 都通过 spark-submit 向这个集群提交

缺乏、安全感/ 2023年10月03日 11:15/ 0 赞/ 68 阅读

相关 k8s部署restful服务

它的目录格式如下，一切操作都是在当前目录上操作的，在linux环境下操作 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_tex

拼搏现实的明天。/ 2023年09月26日 20:03/ 0 赞/ 104 阅读

相关 K8S部署服务YAML配置

{ "kind": "Deployment", "apiVersion": "extensions/v1beta1", "metad

雨点打透心脏的1/2处/ 2023年06月28日 11:20/ 0 赞/ 58 阅读

相关 k8s部署mysql服务(RC部署)

编写mysql-rc.yaml文件 apiVersion: v1 kind: ReplicationController metadata:

秒速五厘米/ 2023年02月13日 14:48/ 0 赞/ 81 阅读

相关 k8s部署redis服务

kubernetes部署redis5.0.6单机版自定义配置文件、密码、日志路径等创建redis配置configmaps： apiVersion: v1

系统管理员/ 2023年02月13日 14:47/ 0 赞/ 80 阅读

相关 k8s部署mysql服务

搭建一个api和一个mysql服务能够接收用户传的数据并且存在mysql里面数据需要持久化这里使用nfs服务,需提前安装并设置共享目录,参考:[min

缺乏、安全感/ 2023年01月18日 04:07/ 0 赞/ 245 阅读

相关 k8s部署服务流程

流程 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmN

àì夳堔傛蜴生んèń/ 2022年11月10日 03:43/ 0 赞/ 348 阅读