目录
- 1. pandas查看数据占用大小
- 2. 对数据进行压缩
- 3. 参考资料
💃今天看案例的时候看见了一个关于pandas数据的内存压缩功能，特地来记录一下。
🎒先说明一下情况，pandas处理几百兆的dataframe是没有问题的，但是我们在处理几个G甚至更大的数据时，就会特别占用内存，对内存小的用户特别不好，所以对数据进行压缩是很有必要的。
1. pandas查看数据占用大小
给大家看一下这么查看自己的内存大小（user_log是dataframe的名字）
#方法1 就是使用查看dataframe信息的命令
user_log.info()
#方法2 使用memory_usage()或者getsizeof(user_log)
import time
import sys
print('all_data占据内存约: {:.2f} GB'.format(user_log.memory_usage().sum()/ (1024**3)))
print('all_data占据内存约: {:.2f} GB'.format(sys.getsizeof(user_log)/(1024**3)))
我这里有个dataframe文件叫做user_log，原始大小为1.91G，然后pandas读取出来，内存使用了2.9G。
看一下原始数据大小：1.91G
pandas读取后的内存消耗：2.9G
2. 对数据进行压缩
- 数值类型的列进行降级处理（‘int16', ‘int32', ‘int64', ‘float16', ‘float32', ‘float64'）
- 字符串类型的列转化为类别类型（category）
- 字符串类型的列的类别数超过总行数的一半时，建议使用object类型
我们这里主要采用对数值型类型的数据进行降级，说一下降级是什么意思意思呢，可以比喻为一个一个抽屉，你有一个大抽屉，但是你只装了钥匙，这就会有很多空间浪费掉，如果我们将钥匙放到一个小抽屉里，就可以节省很多空间，就像字符的类型int32 比int8占用空间大很多，但是我们的数据使用int8类型就够了，这就导致数据占用了很多空间，我们要做的就是进行数据类型转换，节省内存空间。
压缩数值的这段代码是从天池大赛的某个项目中看见的，查阅资料后发现，大家压缩内存都是基本固定的函数形式
def reduce_mem_usage(df):
starttime = time.time()
numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']
start_mem = df.memory_usage().sum() / 1024**2
for col in df.columns:
col_type = df[col].dtypes
if col_type in numerics:
c_min = df[col].min()
c_max = df[col].max()
if pd.isnull(c_min) or pd.isnull(c_max):
continue
if str(col_type)[:3] == 'int':
if c_min > np.iinfo(np.int8).min and c_max np.iinfo(np.int8).max:
df[col] = df[col].astype(np.int8)
elif c_min > np.iinfo(np.int16).min and c_max np.iinfo(np.int16).max:
df[col] = df[col].astype(np.int16)
elif c_min > np.iinfo(np.int32).min and c_max np.iinfo(np.int32).max:
df[col] = df[col].astype(np.int32)
elif c_min > np.iinfo(np.int64).min and c_max np.iinfo(np.int64).max:
df[col] = df[col].astype(np.int64)
else:
if c_min > np.finfo(np.float16).min and c_max np.finfo(np.float16).max:
df[col] = df[col].astype(np.float16)
elif c_min > np.finfo(np.float32).min and c_max np.finfo(np.float32).max:
df[col] = df[col].astype(np.float32)
else:
df[col] = df[col].astype(np.float64)
end_mem = df.memory_usage().sum() / 1024**2
print('-- Mem. usage decreased to {:5.2f} Mb ({:.1f}% reduction),time spend:{:2.2f} min'.format(end_mem,
100*(start_mem-end_mem)/start_mem,
(time.time()-starttime)/60))
return df
用压缩的方式将数据导入user_log2中
#首先读取到csv中如何传入函数生称新的csv
user_log2=reduce_mem_usage(pd.read_csv(r'/Users/liucong/MainFiles/ML/tianchi/tianmiao/user_log_format1.csv'))
读取成功：内训大小为890.48m 减少了69.6%，效果显著
查看压缩后的数据集信息：类型发生了变化，数量变小了
3. 参考资料
《天池大赛》
《kaggle大赛》
链接: pandas处理datafarme节约内存.
到此这篇关于python数据分析之DataFrame内存优化的文章就介绍到这了,更多相关python DataFrame内存优化内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
您可能感兴趣的文章:- python切片中内存的注意事项总结
- 用python监控服务器的cpu,磁盘空间,内存,超过邮件报警
- 总结python 三种常见的内存泄漏场景
- Python numpy大矩阵运算内存不足如何解决
- Python内存泄漏和内存溢出的解决方案
- Python中的内存管理之python list内存使用详解
