0
0

使用Ollama+OpenWebUI本地部署阿里通义千问Qwen2 AI大模型

**🏡作者主页：点击！ **

🤖AI大模型部署与应用专栏：点击！

🤖Ollama部署LLM专栏：点击！

⏰️创作时间：2024年6月17日22点50分

🀄️文章质量：96分

💥Ollama介绍

Ollama是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。它提供了一套简单的工具和命令，使任何人都可以轻松地启动和使用各种流行的LLM，例如GPT-3、Megatron-Turing NLG和WuDao 2.0。

➡️主要特点

简化部署: Ollama 使用 Docker 容器技术来简化大型语言模型的部署和管理。用户只需简单的命令即可启动和停止模型，而无需担心底层的复杂性。

丰富的模型库: Ollama 提供了丰富的预训练模型库，涵盖了各种自然语言处理任务，如文本生成、翻译、问答等。用户可以轻松地选择和使用所需的模型。

跨平台支持: Ollama 支持多种操作系统，包括 Windows、macOS 和 Linux，使其能够满足不同用户的需求。

灵活的自定义: Ollama 提供了灵活的自定义选项，允许用户根据自己的需求调整模型的行为。

➡️主要优点

离线使用: Ollama 可以让用户在离线环境下使用LLM，这对于隐私敏感或网络连接不稳定的情况非常有用。

降低成本: Ollama 可以帮助用户降低使用LLM的成本，因为它避免了云服务的高昂费用。

提高安全性: Ollama 可以提高LLM使用的安全性，因为它允许用户完全控制自己据和模型。

应用场景

研究和教育: Ollama 可以用于自然语言处理、机器翻译、人工智能等领域的教学和研究。

开发和测试: Ollama 可以用于开发和测试新的自然语言处理应用程序。

个人使用: Ollama 可以用于个人创作、娱乐等目的

💯趣站💯

前些天发现了一个巨牛的🤖人工智能学习网站，通俗易懂，风趣幽默，忍不住粉香一下给大家,人工智能, 机器算法等...... 点击跳转！https://www.captainbed.cn/sis/

🫠qwen-2模型

Qwen-2（Qwen-2，量子阱增强神经网络版本2）是阿里巴巴集团开发的先进人工智能语言模型。基于 Qwen-1 的成功和经验教训，Qwen-2 引入了多项关键增强功能和功能，旨在提高其性能、多功能性和跨各个领域的适用性。

主要特点
  1. 改进的架构: Qwen-2 使用更先进的神经网络架构，优化了注意力机制和并行处理能力，提高了对长程依赖的处理能力。
  2. 更大的训练数据集: 训练数据集涵盖更广泛的语言、主题和格式，使得模型在处理多样化内容时表现更加出色。
  3. 多模态能力: 支持处理和整合来自文本、图像等多种数据类型的信息，适用于需要综合理解多种输入的任务。
  4. 增强的自然语言理解 (NLU): 在情感分析、实体识别和问答等自然语言理解任务上表现更好，生成更接近人类的文本。
  5. 更强的上下文感知能力: 改善了对长篇对话或文档的连贯性管理，适用于客户服务、虚拟助手和详细内容生成等应用。
  6. 计算效率优化: 经过优化的计算效率使推理速度更快，资源消耗更少，适合在云服务器和边缘设备中部署。
  7. 道德 AI 和偏见缓解: 包含偏见检测和缓解机制，确保生成的内容公平无偏，减少有害或偏见内容的产生。
  8. 用户个性化: 支持高级个性化功能，根据用户偏好、历史互动和特定需求定制响应，提升交互体验。

🤖部署教程

1.下载Ollama

官网地址：点击跳转！

下一步默认下载即可过程十分简单就不演示了

2.下载qwen-2的大模型

点击官网的右上角Models

选择qwen-2模型

选择对应的模型根你的电脑|服务器性能来选择，这里我选择7b的模型来测试

各版本简介和差异

  1. 0.5b (352MB)- 简介: 这个版本是Qwen模型中最小的版本。适用于资源受限的环境，如移动设备或需要快速部署的小型应用。- 优点: 内存占用低、加载速度快、适合轻量级应用。- 局限: 由于模型参数较少，其理解和生成能力相对较弱，适合处理简单的任务。
  2. 1.5b (935MB)- 简介: 这个版本比0.5b版本更大，适合中小型应用，能够在资源有限的环境中提供更好的性能。- 优点: 平衡了模型性能和资源消耗，适合稍复杂的任务。- 局限: 在处理复杂任务或需要更高准确性的应用中，表现可能不如更大版本。
  3. 7b (4.4GB)- 简介: 这是一个中等大小的版本，适合大多数应用场景，具有较强的理解和生成能力。- 优点: 能够处理较复杂的任务，性能显著优于小型版本。- 局限: 相较更大版本，虽然性能不错，但在最复杂的任务上可能仍有一定局限。
  4. 72b (41GB)- 简介: 这是Qwen模型中的最大版本，适用于需要最高性能的应用场景。- 优点: 拥有最强的理解和生成能力，适合处理高度复杂的任务，如高精度自然语言理解、大规模文本生成等。- 局限: 内存和计算资源需求极高，不适合资源受限的环境。
  5. Latest (4.4GB)- 简介: 这是一个标记为“最新”的版本，与7b版本大小相同。可能包含最新的优化和改进。- 优点: 包含最新技术和优化，可能在性能和效率上有所提升。- 局限: 具体改进和差异需要查看官方发布说明。

表现最出色版本的优点

72b

  1. 最高的理解和生成能力: 拥有最多的参数，能够捕捉更复杂的语言模式和细微差别，提供最精准的响应和内容生成。
  2. 适用于高精度应用: 适合要求极高准确性的应用场景，如专业写作、复杂数据分析、医学和法律等领域。
  3. 增强的上下文处理: 在长文本或复杂对话中保持更好的连贯性和上下文理解能力。
  4. 更广泛的应用场景: 由于其强大的能力，适用于从高端客户服务到专业内容创作等广泛应用。

以上只作为参考建议，具体根据官网查

🎁第一种下载方式CMD

命令行（打开cmd）输入官网复制的命令

ollama run qwen2:7b

在命令行输入 以下命令 等待时长即可下载完成

🎁第二种方式下载

基于OpenWebUI下载

首先需要安装Docker容器（自行了解安装，去官网下载步骤也是十分的简单）

复制这条命令(** Ollama 在您的计算机上使用以下命令**)

不同的条件下，有不同的命令，详细见开源地址所述

官网地址：点击跳转！

我在个人的PC上演示

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

等待完成即可

安装完成之后访问本地的3000端口

也可以点击自己的Docker，点击访问即可

先点击左下角的设置改为中文简体（方便观看）

点击模型这边下载qwen-27B复制官网的运行地址也就是命令输入的命令

此刻只需等待完成即可

下载完成之后主页上边会显示（你所下载的大模型）

我们选择此模型对他进行问答

提问：谈谈你对于AI大爆发的看法

回答

我认为AI的爆发式发展是一个值得深思的现象。在过去的几年中，我们见证了人工智能技术的飞速进步和广泛应用。以下是我对AI大爆发的一些看法：

  1. 技术突破：过去十年，深度学习、自然语言处理（NLP）、机器视觉等领域的突破性进展为AI提供了强大的计算能力和模型能力。这些技术的进步使得AI能够更准确地理解和生成人类语言，识别图像和视频，并自主学习和决策。
  2. 大数据的支撑：数据是AI发展的基石。随着互联网的普及和数字设备的广泛使用，海量的数据成为训练AI模型的关键资源。通过分析这些数据，AI可以从经验中学习，提升性能和预测能力。
  3. 应用场景的多样化：AI已渗透到各个领域，包括医疗健康、金融服务、教育、制造业、能源管理等。在每个行业，AI都有潜力提供更高效的服务、更高的生产率和更好的决策支持。
  4. 伦理与责任：随着AI的影响扩大，关于数据隐私、算法偏见、自动化工作对就业市场的影响以及人工智能的道德问题的讨论也日益激烈。确保AI系统公平、透明、可解释，并为公众利益服务，是未来发展中必须解决的关键挑战之一。
  5. 持续的技术创新和教育：为了跟上AI发展的步伐，需要不断投资于技术创新，同时加强相关领域的教育和培训，培养具备跨学科知识的复合型人才，以应对AI带来的新职业需求和技术变革。
  6. 国际合作与监管：面对全球化的趋势，国际间合作对于共享最佳实践、协调监管框架以及确保AI技术的发展符合全球伦理标准至关重要。建立有效的国际规范和指导原则是实现可持续发展的关键。

总的来说，AI的爆发式发展为人类社会带来了巨大的机遇，同时也带来了一系列挑战和问题。通过持续的技术创新、负责任的应用推广、国际合作以及深入的伦理探讨，我们可以最大限度地发挥AI的潜力，同时确保其对社会的影响是积极且可控的。

可以看出回答的十分的详细和全面，并且在末尾也是有相应的总结。

🎁代码编写能力

问题：

帮我用java写一个冒泡排序

回答：

当然可以！下面是一个使用Java实现的冒泡排序的例子：

public class BubbleSort {
    public static void main(String[] args) {
        int[] array = {64, 34, 25, 12, 22, 11, 90};
        bubbleSort(array);
        System.out.println("Sorted Array:");
        printArray(array);
    }

    // 冒泡排序算法
    public static void bubbleSort(int[] array) {
        int n = array.length;
        for (int i = 0; i < n - 1; i++) {
            boolean swapped = false;
            for (int j = 0; j < n - 1 - i; j++) { // 第i轮比较的次数
                if (array[j] > array[j + 1]) {
                    // 交换元素
                    int temp = array[j];
                    array[j] = array[j + 1];
                    array[j + 1] = temp;
                    swapped = true;
                }
            }
            if (!swapped) { // 如果在这一轮中没有发生任何交换，说明数组已经是有序的了。
                break;
            }
        }
    }

    // 打印数组
    public static void printArray(int[] array) {
        for (int i : array) {
            System.out.print(i + " ");
        }
        System.out.println();
    }
}

这段代码首先定义了一个名为

BubbleSort

的类，其中包含一个静态方法

main()

来运行程序。在

main()

方法中，我们定义了一个整数数组

array

并初始化了一些数字。

然后调用

bubbleSort()

函数对数组进行排序，该函数内部使用了两个嵌套循环：外层循环用于控制遍历的轮数（每一轮都会将最大的元素移到正确的位置），内层循环则比较相邻元素并根据需要交换它们。如果在一次完整的遍历中没有发生任何交换，则说明数组已经排好序了，并提前结束排序过程。

最后，调用

printArray()

函数来打印已排序的数组内容。

但是在回答的过程中你的CPU和内存是直线上升的，因为是调用的本地资源来

🎁注意事项

根据电脑性能，来下载对应的大模型

如果是服务器的话，可根据开源地址所说明下载

"成功的路上没有捷径，只有不断的努力与坚持。如果你和我一样，坚信努力会带来回报，请关注我，点个赞，一起迎接更加美好的明天！你的支持是我继续前行的动力！"

"每一次创作都是一次学习的过程，文章中若有不足之处，还请大家多多包容。你的关注和点赞是对我最大的支持，也欢迎大家提出宝贵的意见和建议，让我不断进步。"

神秘泣男子

标签： 人工智能 AI写作 AI编程
本文转载自: https://blog.csdn.net/jxjdhdnd/article/details/139755600
版权归原作者 神秘泣男子 所有， 如有侵权，请联系我们删除。
登录后发布评论

“使用Ollama+OpenWebUI本地部署阿里通义千问Qwen2 AI大模型”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

zookeeper实现RMI服务，高可用，HA

Idea 中kafka 生产者无法正常生产消息，SpringBoot编写简单的kafka实例

【NOIP提高组】潜伏者

**探索未来架构：深度学习的自动化设计神器 —— DARTS**

【Qwen2技术报告分析】解读模型架构 pre/post数据构建和模型评估

Apache Doris 3.0 里程碑版本｜存算分离架构升级、湖仓一体再进化

嵌入式基于裸机系统的任务调度架构分享

文章导航