Spark应用日志级别设置

野性酷女 2021-12-24 06:23 429阅读 0赞

1.  **方法一**
    
    针对所有应用  
    在 spark 工程的 resources 目录下，新建 log4j.properties 文件  
    内容如下：
    
        log4j.rootLogger=${root.logger}
        # 此处修改 INFO为对应的日志级别即可  (ERROR WARN INFO DEBUG)
        root.logger=INFO,console    
        log4j.appender.console=org.apache.log4j.ConsoleAppender
        log4j.appender.console.target=System.err
        log4j.appender.console.layout=org.apache.log4j.PatternLayout
        log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n
        shell.log.level=WARN
        log4j.logger.org.spark-project.jetty=WARN
        log4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=ERROR
        log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
        log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO
        log4j.logger.org.apache.parquet=ERROR
        log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=FATAL
        log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=ERROR
        log4j.logger.org.apache.spark.repl.Main=${shell.log.level}
        log4j.logger.org.apache.spark.api.python.PythonGatewayServer=${shell.log.level}
    
    其实文件内容可以拷贝 Spark 的 conf 目录下的 log4j.properties 即可。
    
        [root@cdh01 conf]# pwd
        /opt/cloudera/parcels/CDH/lib/spark/conf
        [root@cdh02 conf]# ll
        总用量 36
        -rw-r--r-- 1 root root 13585 6月  11 22:51 classpath.txt
        -rw-r--r-- 1 root root    20 6月  11 22:51 __cloudera_generation__
        -rw-r--r-- 1 root root    69 6月  11 22:51 __cloudera_metadata__
        -rw-r--r-- 1 root root   888 6月  11 22:51 log4j.properties
        -rw-r--r-- 1 root root     0 6月  11 22:51 navigator.lineage.client.properties
        -rw-r--r-- 1 root root  1697 6月  11 22:51 spark-defaults.conf
        -rw-r--r-- 1 root root  2126 6月  11 22:51 spark-env.sh
        drwxr-xr-x 2 root root   233 6月  11 22:51 yarn-conf
2.  **方法二**
    
    只针对 SparkContext 应用，对 Sparkstreaming 等应用无效
    
        val sc: SparkContext = new SparkContext(conf)
        #  ERROR WARN INFO DEBUG
        sc.setLogLevel("WARN")