0


在Windows上安装和部署Google Gemma 2开源大模型 AI 工具

Gemma 2 开源

根据Google官方博客2024年6月26日消息,Google 正式面向全球研究人员和开发者发布了开源的 Gemma 2 大模型,分别为 9B 和 27 B参数的版本。其中27B参数版本的性能几乎媲美两倍参数的其他大模型,可以显著的降低运行环境的要求并降低硬件成本。同时,9B 参数版本的性能也处于同类型产品中的领先地位。

新特点

Gemma 2 经过Google的优化,已经可以支持在各种常用硬件(笔记本,云端桌面,PC台式机等等)上运行,且速度比以往更快。下面是官方发布的参数对比图:

在这里插入图片描述

安装 Ollama

如果你的本地电脑上还没有Ollama,那么很推荐你免费安装一个,Ollama是目前最方便的本地AI部署工具。访问官网下载页面:

https://ollama.com/download

根据你的操作系统版本进行安装包下载:

在这里插入图片描述
完成下载后,双击运行安装脚本如下:

在这里插入图片描述
然后点击 Install 开始安装:

请添加图片描述
进入安装界面后,根据系统性能,安装时间长短不一:

请添加图片描述
耐心等待安装完毕后,退出安装界面。

运行 Ollama

打开本机电脑的CMD(Linux/Mac系统使用命令行)工具:
在这里插入图片描述
并在窗口中运行下列代码,默认将会安装 Gemma 2模型,这里我们安装更小的9B参数版本:

ollama run gemma2

9B 参数版本的文件大小为 5.4GB,27B版本会更大,如果你希望安装 27B 版本,请运行:

ollama run gemma2:27b

请添加图片描述

开始AI对话

模型的安装速度和你的本地网络有关系,耐心等待模型安装完成后,将会自动进入 AI 模型的对话界面。我经历了10分钟等待,可算下载完毕,成功进入 AI 对话窗口,如下图:

在这里插入图片描述

现在你可以根据需求同你的本地 AI 机器人对话。为了测试一下本机性能和模型的性能,我进行了如下尝试:

AI 撰写电子邮件

如下所示,我让 Gemma 2 帮我撰写一封简短的邮件,它一共花费了 10秒左右完成:

>>> 你好,请帮我写一封邮件给David,告诉他明天关注我的CSDN博客,务必不能忘记。
Subject: 提醒:明天我的CSDN博客更新啦!

嗨David,

明天我将在我的CSDN博客上发布一篇新的文章,希望你能关注一下!

别忘了,明天要来看哦!

祝好,

[你的名字]

>>> Send a message (/? for help)

这是工作期间,我的本机电脑的负载状态:

在这里插入图片描述

AI 编写代码

如下所示,我让 Gemma 2 帮我编写一段 Python 代码,旨在完成计算一个矩阵的余弦相似性:

>>> 请编写使用Python计算 [[1,3,4,5],[2,2,2,2],[3,1,5,5],[0,2,0,3]] 的余弦相似性的代码
import numpy as np

ratings = np.array([[1,3,4,5],[2,2,2,2],[3,1,5,5],[0,2,0,3]])defcosine_similarity(vector1, vector2):"""计算两个向量的余弦相似度。"""
  dot_product = np.dot(vector1, vector2)
  norm1 = np.linalg.norm(vector1)
  norm2 = np.linalg.norm(vector2)return dot_product /(norm1 * norm2)# 计算所有用户对所有电影的余弦相似度
similarity_matrix = np.zeros((ratings.shape[0], ratings.shape[0]))for i inrange(ratings.shape[0]):for j inrange(ratings.shape[0]):
    similarity_matrix[i, j]= cosine_similarity(ratings[i], ratings[j])# 打印余弦相似度矩阵print(similarity_matrix)# 获取第四位用户对第三部电影的评分
user_index =3# 第四位用户
movie_index =2# 第三部电影# 使用计算出的相似度矩阵获取评分
similarity = similarity_matrix[user_index, movie_index]print(f"第四位用户对第三部电影的相似度为:{similarity}")

生成代码的同时还生成了一段解释如下:

**解释:**

1. **导入 NumPy 库:** 用于进行数值计算和矩阵操作。
2. **定义 `cosine_similarity` 函数:** 计算两个向量的余弦相似度。
3. **创建 `ratings` 矩阵:** 存储用户对电影的评分。
4. **计算所有用户对所有电影的相似度:** 使用嵌套循环遍历所有用户对,并使用 `cosine_similarity` 函数计算相似度。存储结
果在 `similarity_matrix` 矩阵中。
5. **打印相似度矩阵:** 显示所有用户对之间的相似度。
6. **获取第四位用户对第三部电影的相似度:** 使用 `user_index` 和 `movie_index` 获取对应矩阵元素。
7. **打印结果:** 显示第四位用户对第三部电影的相似度。

由于我的电脑配置低,这一次对话花费的时间比较长,总共花费差不多6分钟左右,运行过程中电脑负载情况如下:

在这里插入图片描述

如果你的本地电脑拥有更大的内存,和更强悍的CPU,那么表现将会更好。

标签: ai AI编程 AI写作

本文转载自: https://blog.csdn.net/oLawrencedon/article/details/140088632
版权归原作者 全糖冲击 所有, 如有侵权,请联系我们删除。

“在Windows上安装和部署Google Gemma 2开源大模型 AI 工具”的评论:

还没有评论