python中基于xarray处理netcdf文件时，使用dask加速处理速度
在处理高分辨率气象文件netcdf格式文件时，常规的处理速度太慢！！数据量过大，造成卡死，真是上头！！！先不要想着新装内存，虽然我差点京东下单！
话不多说
首先需要先安装好dask包！！！
1、以日数据气温数据netcdf文件为例。
图中是两个打开方式，其中air是气温变量。
data_dask是使用dask,chunks则是以经纬度10度为间隔划分块。进而分块处理。
data_nodask常规打开方法。
2、以按年平均举例，查看两者速度！
可以看到，文件按照chunks字典被划分为1550个chunks。求年均耗时68.8ms!
若要加载dask存储为正常的xarray时，使用load或values方法读取。
不使用dask的情况：
这是一个例子，我认为可以做到抛砖引玉的作用！！！最近处理数据，常常遭遇卡死，先做一记录！后面有新发展继续更新！希望大家提提意见建议！
标签：
python
本文转载自: https://blog.csdn.net/Blue_wjh/article/details/120745822
版权归原作者 难饮其酒 所有， 如有侵权，请联系我们删除。
版权归原作者 难饮其酒 所有， 如有侵权，请联系我们删除。