Spark-常见问题

- 日理万妓 2022-02-16 10:13 348阅读 0赞

# Spark-常见问题 #

1.  value $ is not a member of StringContext

val spark = SparkSession.builder().getOrCreate()    
    // 加上下面这句就好了
    import spark.implicits._

1.  java.lang.ClassNotFoundException: Class com.hadoop.compression.lzo.LzoCodec not found  
    因为在`core-site.xml`中加入了lzo相关配置，spark和hadoop联合用的时候可能报此错误。解决方法是在项目中加入依赖，比如我这里用的idea开发，就在`Project Structure`\->`Modules`中选择右侧的Dependecies，然后点`+`增加一个`hadoop-lzo-versionxxx.jar`。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70]  
    更多可以参考[Enable lzo in Spark and IntelliJ IDEA][]
2.  Spark-shell执行时找不到LzoCodec  
    使用如下命令提交
    
        bin/spark-shell --master yarn --deploy-mode client
    
    发现报错:ClassNotFoundException: Class com.hadoop.compression.lzo.LzoCodec not found。原因是在lib中找不到LZO包。
    
    先在`conf/spark-env.sh`中加入以下内容：
    
        HADOOP_CONF_DIR=/home/cdh/hadoop/etc/hadoop
        // 重点是这行
        SPARK_CONF_DIR=/home/cdh/spark-2.2.3-bin-hadoop2.6/conf
        SPARK_LOG_DIR=/var/log/cdh/spark
        SPARK_PID_DIR=/var/log/cdh/pid
        SPARK_DAEMON_MEMORY=512m
    
    然后再在`conf/spark-defaults.conf`中加入以下内容：
    
        spark.jars /home/cdh/hadoop-2.6.0-cdh5.8.2/share/hadoop/common/hadoop-lzo-0.4.21-SNAPSHOT.jar
    
    重新运行spark-shell yarn-client，已经没问题了

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70]: /images/20220216/e2c8d5defde54a068dbeff86d0d8a9bd.png
[Enable lzo in Spark and IntelliJ IDEA]: http://blog.yaorenjie.com/2016/07/08/Enable-lzo-in-Spark-and-IntelliJ-IDEA/