pySpark 读取csv文件

偏执的太偏执、 2022-11-28 00:21 172阅读 0赞

这个读取蛮水的。but从官网来的。

from pyspark.sql import SparkSession
    spark = SparkSession.builder \
        .enableHiveSupport().getOrCreate()
    df = spark.read.csv("/tmp/resources/zipcodes.csv")
    df.printSchema()
    ##可以得到
    root
     |-- _c0: string (nullable = true)
     |-- _c1: string (nullable = true)
     |-- _c2: string (nullable = true)

是的，读取就一句话：spark.read.csv("/tmp/resources/zipcodes.csv")，但是读取出来的效果你可能不太满意，因为没有数据的名字c0,c1,c2是个什么鬼，**所以可以加上一些条件的来读取**：

df3 = spark.read.options(header='True', inferSchema='True', delimiter=',') \
      .csv("/tmp/resources/zipcodes.csv")
    ##可以得到，比如说：
    |-"学生姓名" String
    |-"学生成绩" Int

解释一下，header=true才会读取你的表头，也就是“”学生姓名“**，这个最常用**

delimiter是指你的csv文件使用的什么间隔符，如果这个你看不懂，说明你用的是默认的，那可以使用delimiter=','，或者完全不提delimiter。如果你封装csv的时候就设定了你的分隔符，这里改成你的。

inferSchema 根据你的数据预测你的数据类型，加了的话读取的次数是2次。**这么说吧，比如学生的成绩，你不加的话，读出来的类型是string，加了就是int。**

**ref：**[https://sparkbyexamples.com/pyspark/pyspark-read-csv-file-into-dataframe/\#read-csv-dataframe][https_sparkbyexamples.com_pyspark_pyspark-read-csv-file-into-dataframe_read-csv-dataframe]

[https_sparkbyexamples.com_pyspark_pyspark-read-csv-file-into-dataframe_read-csv-dataframe]: https://sparkbyexamples.com/pyspark/pyspark-read-csv-file-into-dataframe/#read-csv-dataframe

发表评论取消回复

表情：

评论列表（有 0 条评论，172人围观）

还没有评论，来说两句吧...

相关阅读

相关 java读取csv文件(java读取csv文件)

java读取csv写入数据库使用opencsv读到、、、、、使用jdbc存储数据库 ~~~~~~~~~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~

拼搏现实的明天。/ 2023年09月26日 15:14/ 0 赞/ 98 阅读

相关 Pyspark 读取本地csv文件，插入parquet格式的hive表中

在CDSW上模型运行出结果，为csv文件。由于报表的需求，要将csv文件插入到parquet格式中的表中。在其中遇到了很多坑，在此记下来，希望能帮助到遇到同样问题的人。

た入场券/ 2023年06月15日 09:53/ 0 赞/ 9 阅读

相关 python读取CSV文件，csv.reader()

csv.reader()返回一个reader对象，利用该对象遍历csv文件中的行。从csv文件中读取的每一行都作为字符串列表返回。示例：读取文件，计算平均身高。

傷城~/ 2023年06月02日 07:47/ 0 赞/ 50 阅读

相关 pySpark 读取csv文件

这个读取蛮水的。but从官网来的。 from pyspark.sql import SparkSession spark = SparkSession.

偏执的太偏执、/ 2022年11月28日 00:21/ 0 赞/ 173 阅读

相关【python中级】 csv读取csv文件

【python中级】 csv读取csv文件背景代码运行背景 csv文件是文本文件，可以通过记事本等文本编辑器打开；当使用WPS打开

- 日理万妓/ 2022年09月04日 09:49/ 0 赞/ 293 阅读

相关 Java 读取csv文件

public static void read(String path) { File file = new File(path);

本是古典何须时尚/ 2022年07月11日 08:12/ 0 赞/ 277 阅读

相关 Java 读取CSV文件

Java读取CSV文件，使用readLine()按行读取注意：需要解决字符编码问题代码如下： public class ReadCSV {

àì夳堔傛蜴生んèń/ 2022年06月03日 10:39/ 0 赞/ 397 阅读

相关 java读取csv文件

import java.io.BufferedReader; import java.io.File; import java.io.FileInput

刺骨的言语ヽ痛彻心扉/ 2022年05月18日 10:16/ 0 赞/ 242 阅读

相关 python读取csv文件

python官网的介绍： https://docs.python.org/zh-cn/3/library/csv.html 转载于:https://www.cnblogs.

ゞ浴缸里的玫瑰/ 2021年11月01日 11:42/ 0 赞/ 553 阅读

相关 csv文件的读取

读取 CSV 文件 python 的 CSV 库主要是面向本地文件，但进行网络数据采集的时候，很多文件都是在线的。有以下方法可以解决这个问题。手动把 CSV 文件

谁借莪１个温暖的怀抱￠/ 2021年09月13日 22:40/ 0 赞/ 573 阅读