Python数据处理：对csv文件读写常见问题解析-向日葵屋

Python数据处理：对csv文件读写常见问题解析

原创梦里梦外; 2025-03-03 22:03 26阅读 0赞

在Python中，处理CSV文件是一个常见的任务。以下是关于读写CSV文件的几个常见问题及其解析：

如何打开一个CSV文件？

with open('file.csv', 'r') as csv_file:
    reader = csv.reader(csv_file)
    # 读取数据

如何将数据写入CSV文件？

data_to_write = [
    ('Name', 'Age'), ('John', '30'), ('Jane', '28')
]
with open('file.csv', 'w', newline='') as csv_file:
    writer = csv.writer(csv_file)
    # 写入数据
    for row in data_to_write:
        writer.writerow(row)
# 也可以使用pandas库进行写操作
import pandas as pd
df = pd.DataFrame(data_to_write[0]])
df.to_csv('file.csv', index=False, mode='w')

如何处理CSV文件中的缺失值？
- Python标准库：可以使用csv模块的DictReader或DictWriter来处理。如果数据存在缺失（None），这些键在写入时将被忽略。
```python
with open(‘file.csv’, ‘r’) as csv_file:
reader = csv.DictReader(csv_file)
for row in reader:
```
    # 处理缺失值，例如填充默认值
    if 'missing_value' not in row:
        row['missing_value'] = 'default_value'
    # 写入新的CSV文件
    write_to_new_csv(row)
```
使用pandas处理
df = pd.read_csv(‘file.csv’)
df.fillna(value=’default_value’, inplace=True) # 填充缺失值
df.to_csv(‘new_file.csv’, index=False)) # 写入新的CSV文件
```
如何对CSV文件进行分块读取？
- Python标准库：可以使用csv模块的reader来逐行读取，从而实现分块。
```python
chunk_size = 1000 # 每个块的大小
with open(‘file.csv’, ‘r’) as csv_file:
```
reader = csv.reader(csv_file)
for i, row in enumerate(reader):
    if i >= chunk_size * (row[0] - 1) :  # 计算行号，根据文件头部进行调整
        # 处理分块后的数据
        do_something_with_row(row)
```
如果使用pandas，可以利用其read_csv函数的参数来实现分块读取。
df = pd.read_csv(‘file.csv’, chunksize=chunk_size))
for chunk in df:
```
# 对每个分块进行处理
process_chunk(chunk)
```
```