本地LLM正在往可用的方向进化，之前我们推荐了:
私有化本地GPT：万字使用指南（附下载）
提到了LM studio 搭配 MixCopilot 的方式，在个人电脑上使用本地LLM。本地LLM模型其中有一个方案就是cpp，使用c++的一个轻量级的推理引擎，更适合本地化、个人电脑使用。
LLM的本地模型在对设备的要求和效果上，明显不如Stable diffusion，基于SD的ComfyUI，在小显存个人电脑上可以运行，并且效果和云上的版本基本没有太大的差别。
属于每个人的本地生成式AI，图像方向的模型是走在前面的，而本地LLM正在追赶这个进度。
谷歌开源了gemma.cpp。受垂直集成模型的实现启发（例如 ggml, llama.c, 和 llama.rs），gemma.cpp是一个轻量级、独立的C++推理引擎，用于Google的Gemma基础模型。
gemma.cpp提供了Gemma 2B和7B模型的简约实现。核心实现只有约2K行代码。
本地LLM大部分用的是llama.cpp的解决方案，比如LM studio底层就是基于llama.cpp，所以实现跨平台的桌面LLM应用是非常方便，并且体积也不大（相对于torch动辄几个GB的体积而言）。
cpp适用哪些场景呢？谷歌也提到了，建议cpp用于实验和研究，嵌入其他项目非常方便。比如，我们可以把gemma.cpp嵌入到游戏引擎，实现AI驱动的游戏。
gemma.cpp也提到了项目是为谁准备的：
针对实验和研究用例。它旨在嵌入到其他项目中时具有最小的依赖关系，并且可以轻松修改，核心实现只有约2K行代码（以及约4K行代码的支持工具）。我们使用Google Highway Library利用可移植的SIMD进行CPU推理。
对于面向生产的边缘部署，我们推荐使用JAX、Keras、PyTorch和Transformers等Python框架的标准部署路径（这里包括所有模型变体）。
图像生成正在往更为可控的方向发展
如何在扩散模型中实现概念的精准控制？
这个技术叫Concept Sliders 概念滑块，是一个Lora模型。用于在扩散模型中实现精准控制的Lora模型。
艺术家需要花费大量时间来制作提示和调整参数，以便通过文本生成图像模型生成所需要的图像。他们需要对生成图像中的属性 （眼睛大小或者光照强度）强度有更为细致和精确的控制方式。
为了实现精确的控制而不改变提示，作者提出了概念滑块，训练概念滑块Lora来表示所需要的属性强度。在生成时，这些lora可以用于控制图像中的概念的强度，从而实现微调。
遇见AIer
另外，我们最近更新了新一期的播客：
遇见AIer #E2：AI在展览设计与数字艺术中的应用
本期节目，我们邀请了资深数字艺术玩家Annie，深入探讨了AI如何在展陈行业成为技术美术的得力助手。
Annie分享了AI在提升创作效率、丰富作品表现力以及降低沟通成本方面的显著效果。她通过自己的项目经验，分享了AI如何在短短几小时内完成过去需要团队一周才能完成的工作，以及如何通过AI工具实现个人在艺术创作上的独立性。
安妮还强调了AI作为学习工具的重要性，以及它如何帮助缩小国内外数字艺术的差距。她提出了对当前艺术教育中AI应用的担忧，并讨论了如何利用AI工具帮助艺术生实现职业上的弯道超车。此外，她还推荐了几款实用的AI工具，并分享了对Sora视频生成工具的期待。
欢迎收听，入群
我们除了关注技术的发展趋势，创作者的工作流程和经验分享，我们也在使用LLM等技术对最新的前沿论文进行整理分析：
在信息科技日新月异的今天，计算机领域的论文阅读成为了我们不断学习和进步的关键。
以生成式AI领域的论文为例，通过阅读这些论文，我们可以深入了解各种可控（lora、controlnet等）、实时（lcm）等前沿技术的发展，掌握其原理和应用。这些论文不仅为我们提供了丰富的知识，更训练了我们的逻辑思维和问题解决能力。
在信息爆炸的时代，我们更需要学会筛选出有价值的论文。此时，整理好的论文总结和精选就显得尤为重要。它们可以帮助我们快速定位到论文的核心内容，提高阅读效率。同时，这些总结和精选往往还会附带专业解读和评价，帮助我们更好地理解和应用论文中的知识。
就像我们上学的时候，学长学姐的课程笔记。复用前辈的经验，效率是最高的。
几倍、十几倍地省时间
我们即将推出 论文 相关的内容，
如果你感兴趣，
可以填写表格，
关注最新消息。
社区模式下的GenAI解决方案，总有一款适合你#Mixlab
入群备注：入群
另外，我们在3月2号，会进行一个线上的圆桌讨论，话题自然是最近非常火爆的Vision pro和OpenAI sora，直播预告：
版权归原作者 shadowcz007 所有， 如有侵权，请联系我们删除。