0


使用MindSpore20.0的API快速实现深度学习模型之数据变换

文章目录

在这里插入图片描述

前言

大家好,我是沐风晓月,本文是对昇思MindSpore社区的产品进行测试,测试的步骤,记录产品的使用体验和学习。

如果文章有什么需要改进的地方还请大佬不吝赐教👏👏。

🏠个人主页:我是沐风晓月
🧑个人简介:大家好,我是沐风晓月,双一流院校计算机专业😉😉
💕 座右铭: 先努力成长自己,再帮助更多的人 ,一起加油进步🍺🍺🍺
💕欢迎大家:这里是CSDN,我总结知识的地方,喜欢的话请三连,有问题请私信😘

如何加入社区? 参加下图:
在这里插入图片描述

一. 实验环境

参考下图进行设置:

在这里插入图片描述

操作系统: ubuntu18.04
编程语言: python3.7版本
安装方式: pip安装

二. 安装ubuntu虚拟机

这里使用的是ubuntu18.4的系统

2. 1.下载ubuntu镜像

在这里插入图片描述

  • 下载iso镜像在这里插入图片描述

2.2 配置虚拟机

  • 打开新建虚拟机,创建虚拟机向导点击下一步在这里插入图片描述
  • 选择稍微安装操作系统在这里插入图片描述
  • 选择linux操作系统,ubuntu64在这里插入图片描述
  • 命名虚拟机 此处一定要注意,虚拟机的名字见名知意

在这里插入图片描述

  • 指定磁盘容量

在这里插入图片描述

  • 设置虚拟机的自定义配置,点击完成

在这里插入图片描述

  • 完成后效果图如下,然后点击开启

在这里插入图片描述

2.3 安装操作系统

为了让大多数人能看懂,我们选择中文版本安装

  • 点击开始安装系统:

在这里插入图片描述

  • 键盘布局默认即可

在这里插入图片描述

  • 更新软件,这里我们选正常安装

在这里插入图片描述

  • 这里我们是一块新盘,所以选择整个磁盘安装系统,并点击继续

在这里插入图片描述
在这里插入图片描述

  • 选择时区 默认就是上海,这里点击继续即可

在这里插入图片描述

-设置用户名和密码

在这里插入图片描述

  • 开始安装系统,等待直到完成

在这里插入图片描述

完成后的照片,点起重启

在这里插入图片描述

重启后,系统安装成功!
在这里插入图片描述

三. 安装MindSpore20.0-alpha

3.1 下载需要的安装程序脚本

root@mufengxiaoyue:~# wget https://gitee.com/mindspore/mindspore/raw/r2.0.0-alpha/scripts/install/ubuntu-cpu-pip.sh

3.2 安装MindSpore 2.0.0-alpha和Python 3.7

这里直接使用自动化安装

MINDSPORE_VERSION=2.0.0a0 bash ./ubuntu-cpu-pip.sh

这一步主要做了以下的事情:

  • 更改软件源配置为华为云源。
  • 安装MindSpore所需的依赖,如GCC。
  • 通过APT安装Python3和pip3,并设为默认。
  • 通过pip安装MindSpore CPU版本。

在自动化安装的过程中遇到的问题,应该是提供 网址

(在这里遇到一个问题,应该是提供的网址出现了问题,截图如下:
在这里插入图片描述
于是转入手动安装

3.3 开始手动安装

经过测试下,虽然自动化脚本没有一次性安装成功,但自动化脚本已经把python安装好了,python版本如下:

root@mufengxiaoyue:~# python -V
Python 3.7.16
root@mufengxiaoyue:~# python --version
Python 3.7.16

3.4. 安装gcc

直接使用apt-get命令安装即可

#sudo apt-get install gcc-7 -y

3. 5.安装MindSpore

这一步开始安装mindSpore 20.0的版本,直接安装即可,尽量使用普通用户安装,使用root安装会有警告提示,但也不影响使用。

root@mufengxiaoyue:~# export MS_VERSION=2.0.0a0#pip install https://ms-release.obs.cn-north-4.myhuaweicloud.com/${MS_VERSION}/MindSpore/unified/x86_64/mindspore-${MS_VERSION/-/}-cp37-cp37m-linux_x86_64.whl \--trusted-host ms-release.obs.cn-north-4.myhuaweicloud.com -i https://pypi.tuna.tsinghua.edu.cn/simple

最后执行结果如下:
在这里插入图片描述

3.6. 验证是否成功:

root@mufengxiaoyue:~# python -c "import mindspore;mindspore.run_check()"
MindSpore version:2.0.0a0
The result of multiplication calculation is correct, MindSpore has been installed successfully!

至此MindSpore已经安装成功。

四. 实现数据变换 Transforms

通常情况下,直接加载的原始数据并不能直接送入神经网络进行训练,此时我们需要对其进行数据预处理。

MindSpore提供不同种类的数据变换(Transforms),配合数据处理Pipeline来实现数据预处理。所有的Transforms均可通过map方法传入,实现对指定数据列的处理。

4.1 compse模块

mindspore.dataset.transforms模块支持一系列通用Transforms。这里我们以Compose为例,介绍其使用方式。

Compose接收一个数据增强操作序列,然后将其组合成单个数据增强操作。我们仍基于Mnist数据集呈现Transforms的应用效果

代码如下:

import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset
url ="https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/""notebook/datasets/MNIST_Data.zip"
path = download(url,"./", kind="zip", replace=True)

train_dataset = MnistDataset('MNIST_Data/train')
image, label =next(train_dataset.create_tuple_iterator())print(image.shape)~

代码运行结果:

在这里插入图片描述

代码如下:

1import numpy as np
     2from PIL import Image
     3from download import download
     4from mindspore.dataset import transforms, vision, text
     5from mindspore.dataset import GeneratorDataset, MnistDataset
     6    url ="https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/""notebook/datasets/MNIST_Data.zip"7    path = download(url,"./", kind="zip", replace=True)89    train_dataset = MnistDataset('MNIST_Data/train')10    image, label =next(train_dataset.create_tuple_iterator())11print(image.shape)1213    composed = transforms.Compose(14[15            vision.Rescale(1.0/255.0,0),16            vision.Normalize(mean=(0.1307,), std=(0.3081,)),17            vision.HWC2CHW()18]19)2021222324    train_dataset = train_dataset.map(composed,'image')25    image, label =next(train_dataset.create_tuple_iterator())26print(image.shape)

执行结果:

在这里插入图片描述

4.2 mindspore.dataset.vision模块

mindspore.dataset.vision模块提供一系列针对图像数据的Transforms。在Mnist数据处理过程中,使用了Rescale、Normalize和HWC2CHW变换

4.2.1 Rescale

Rescale变换用于调整图像像素值的大小,包括两个参数:

  • rescale:缩放因子。
  • shift:平移因子。

图像的每个像素将根据这两个参数进行调整,输出的像素值为outputi=inputi∗rescale+shift。

这里我们先使用numpy随机生成一个像素值在[0, 255]的图像,将其像素值进行缩放。

代码案例:

root@mufengxiaoyue:~# cat test1.py import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset

random_np = np.random.randint(0,255,(48,48), np.uint8)
random_image = Image.fromarray(random_np)print(random_np)

执行结果:

root@mufengxiaoyue:~# python test1.py [[249139103...186210138][20381151...1823451][1905825...242141247]...[250193141...3535104][16418323...12525258][50106213...18972139]]

为了更直观地呈现Transform前后的数据对比,我们使用Transforms的Eager模式进行演示。首先实例化Transform对象,然后调用对象进行数据处理。

root@mufengxiaoyue:~# cat -n test1.py 1import numpy as np
     2from PIL import Image
     3from download import download
     4from mindspore.dataset import transforms, vision, text
     5from mindspore.dataset import GeneratorDataset, MnistDataset
     678    random_np = np.random.randint(0,255,(48,48), np.uint8)9    random_image = Image.fromarray(random_np)10print(random_np)111213    rescale = vision.Rescale(1.0/255.0,0)14    rescaled_image = rescale(random_image)15print(rescaled_image)

执行结果:

root@mufengxiaoyue:~# python test1.py [[19285117...1451019][21710687...83129209][12912253...8315158]...[3595231...7893188][81143206...17004][241157166...612895]][[0.752941250.333333340.45882356...0.56862750.396078470.03529412][0.850980460.41568630.34117648...0.32549020.50588240.8196079][0.50588240.047058830.9921569...0.32549020.058823530.61960787]...[0.137254910.372549030.9058824...0.305882360.36470590.7372549][0.317647070.560784340.8078432...0.66666670.0.01568628][0.94509810.61568630.6509804...0.23921570.109803930.37254903]]

可以看到使用Rescale后的每个像素值都进行了缩放。

4.2.2 Normalize

Normalize变换用于对输入图像的归一化,包括三个参数:

  • mean:图像每个通道的均值。
  • std:图像每个通道的标准差。
  • is_hwc:输入图像格式为(height, width, channel)还是(channel, height, width)。 图像的每个通道将根据mean和std进行调整:

在这里插入图片描述

代码案例:

root@mufengxiaoyue:~# cat test1.py import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset

random_np = np.random.randint(0,255,(48,48), np.uint8)
random_image = Image.fromarray(random_np)#print(random_np)##
rescale = vision.Rescale(1.0/255.0,0)
rescaled_image = rescale(random_image)#print(rescaled_image)

normalize = vision.Normalize(mean=(0.1307,), std=(0.3081,))
normalized_image = normalize(rescaled_image)print(normalized_image)

执行结果:

在这里插入图片描述

4.23 HWC2CWH

HWC2CWH变换用于转换图像格式。在不同的硬件设备中可能会对(height, width, channel)或(channel, height, width)两种不同格式有针对性优化。MindSpore设置HWC为默认图像格式,在有CWH格式需求时,可使用该变换进行处理。

这里我们先将前文中normalized_image处理为HWC格式,然后进行转换。可以看到转换前后的shape发生了变化。

演示代码:

root@mufengxiaoyue:~# cat test1.py import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset

random_np = np.random.randint(0,255,(48,48), np.uint8)
random_image = Image.fromarray(random_np)#print(random_np)##
rescale = vision.Rescale(1.0/255.0,0)
rescaled_image = rescale(random_image)#print(rescaled_image)

normalize = vision.Normalize(mean=(0.1307,), std=(0.3081,))
normalized_image = normalize(rescaled_image)#print(normalized_image)

hwc_image = np.expand_dims(normalized_image,-1)
hwc2cwh = vision.HWC2CHW()
chw_image = hwc2cwh(hwc_image)print(hwc_image.shape, chw_image.shape)

root@mufengxiaoyue:~#

执行结果:

root@mufengxiaoyue:~# python test1.py (48,48,1)(1,48,48)

4.3 Text Transforms

mindspore.dataset.text模块提供一系列针对文本数据的Transforms。与图像数据不同,文本数据需要有分词(Tokenize)、构建词表、Token转Index等操作。这里简单介绍其使用方法。

4.3.1 BasicTokenizer

首先我们定义三段文本,作为待处理的数据,并使用GeneratorDataset进行加载。

texts =['Welcome to Beijing','北京欢迎您!','我喜欢China!',]

test_dataset = GeneratorDataset(texts,'text')

分词(Tokenize)操作是文本数据的基础处理方法,MindSpore提供多种不同的Tokenizer。这里我们选择基础的BasicTokenizer举例。配合map,将三段文本进行分词,可以看到处理后的数据成功分词。

test_dataset = test_dataset.map(text.BasicTokenizer())print(next(test_dataset.create_tuple_iterator()))

执行结果

在这里插入图片描述

4.3.2 Lookup

Lookup为词表映射变换,用来将Token转换为Index。在使用Lookup前,需要构造词表,一般可以加载已有的词表,或使用Vocab生成词表。这里我们选择使用Vocab.from_dataset方法从数据集中生成词表。

代码案例:

import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset

texts =['Welcome to Beijing','北京欢迎您!','我喜欢China!',]

test_dataset = GeneratorDataset(texts,'text')

test_dataset = test_dataset.map(text.BasicTokenizer())#print(next(test_dataset.create_tuple_iterator()))

vocab = text.Vocab.from_dataset(test_dataset)print(vocab.vocab())

执行结果:

root@mufengxiaoyue:~# python test1.py {'我':10,'北':7,'京':6,'喜':8,'!':1,'!':12,'迎':11,'Welcome':4,'您':9,'欢':0,'China':3,'Beijing':2,'to':5}

生成词表后,可以配合map方法进行词表映射变换,将Token转为Index。

vocab = text.Vocab.from_dataset(test_dataset)

test_dataset = test_dataset.map(text.Lookup(vocab))print(next(test_dataset.create_tuple_iterator()))

执行结果:

root@mufengxiaoyue:~# python test1.py [Tensor(shape=[3], dtype=Int32, value=[4,5,2])]

4.4 Lambda Transforms

Lambda函数是一种不需要名字、由一个单独表达式组成的匿名函数,表达式会在调用时被求值。Lambda Transforms可以加载任意定义的Lambda函数,提供足够的灵活度。在这里,我们首先使用一个简单的Lambda函数,对输入数据乘2:

代码如下:

import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset

test_dataset = GeneratorDataset([1,2,3],'data', shuffle=False)
test_dataset = test_dataset.map(lambda x: x *2)print(list(test_dataset.create_tuple_iterator()))

执行结果:

root@mufengxiaoyue:~# python test1.py [[Tensor(shape=[], dtype=Int64, value=2)],[Tensor(shape=[], dtype=Int64, value=4)],[Tensor(shape=[], dtype=Int64, value=6)]]

可以看到map传入Lambda函数后,迭代获得数据进行了乘2操作。

我们也可以定义较复杂的函数,配合Lambda函数实现复杂数据处理:

import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset

test_dataset = GeneratorDataset([1,2,3],'data', shuffle=False)deffunc(x):return x * x +2

test_dataset = test_dataset.map(lambda x: func(x))print(list(test_dataset.create_tuple_iterator()))

执行结果:

root@mufengxiaoyue:~# python test1.py [[Tensor(shape=[], dtype=Int64, value=3)],[Tensor(shape=[], dtype=Int64, value=6)],[Tensor(shape=[], dtype=Int64, value=11)]]

总结

通过这次体验,对MindSpore 20.0 有了新的认识,因为是断断续续做的,大约耗时2个小时。

  • 💕 好啦,这就是今天要分享给大家的全部内容了,我们下期再见!
  • 💕 博客主页:mufeng.blog.csdn.net
  • 💕 本文由沐风晓月原创,首发于CSDN博客
  • 💕 每一个你想要学习的念头,都是未来的你像现在的你求救,不辜负未来,全力奔赴

本文转载自: https://blog.csdn.net/wisdom_futrue/article/details/129101491
版权归原作者 我是沐风晓月 所有, 如有侵权,请联系我们删除。

“使用MindSpore20.0的API快速实现深度学习模型之数据变换”的评论:

还没有评论