pythonでファイルサイズの大きいCSVを分割して保存する方法

pythonで機械学習などをやっているとファイルサイズが大きくなりすぎて分割したくなったり、スクレイピングしたデータ情報を分割して保存したい。そんな時用のコードを作成しました

pythonのライブラリのpandasを利用するのでインストールしてください

pip3 install pandas or pip install pandas

import pandas as pd
import os
df = pd.read_csv('test.csv')

#分割したファイルを保存する先のフォルダ作成　　
new_dir_path = "result"
os.makedirs(new_dir_path,exist_ok=True)

#1ファイルあたりの行数
limit_line = 10
  
dfs = [df.loc[i:i+limit_line-1, :] for i in range(0, len(df), limit_line)]
for i, df_i in enumerate(dfs):
    fname = f"result/{i}.csv"
    df_i.to_csv(fname)

分割したファイルは新しいフォルダを作成して保存するので、必要に応じてフォルダ名を決めてください

1ファイルあたりの行数を指定してください

あとは実行すればcsvファイルは分割して保存されます

ファイル名は0番から連番で保存されますので、必要に応じて変更してください