加载速度更快：python中的pickle或hdf5

我只考虑两种存储格式：HDF5（PyTables）和Feather

这是我对DF进行读写比较的结果（形状：4000000 x6，内存大小183.1 MB，未压缩CSV的大小-492 MB）。

以下存储格式比较：（ ，

CSV

CSV.gzip

Pickle``HDF5

       read_s  write_s  size_ratio_to_CSVstorageCSV    17.900    69.00   1.000CSV.gzip          18.900   186.00   0.047Pickle  0.173     1.77   0.374HDF_fixed          0.196     2.03   0.435HDF_tab 0.230     2.60   0.437HDF_tab_zlib_c5    0.845     5.44   0.035HDF_tab_zlib_c9    0.860     5.95   0.035HDF_tab_bzip2_c5   2.500    36.50   0.011HDF_tab_bzip2_c9   2.500    36.50   0.011

但这对您来说可能有所不同，因为我的所有数据都是

datetime