谷歌大模型Gemma在家用电脑下的安装和测试

2024年2月21日,谷歌正推出新的开源大语言模型,并将其命名为Gemma;这个模型有两个版本,分别是 20亿参数和70亿参数(Gemma 2B和Gemma 7B);Gemma采用了与创建Gemini模型相同的研究和技术;

2024年2月21日,谷歌正推出新的开源大语言模型,并将其命名为Gemma;这个模型有两个版本,分别是 20亿参数和70亿参数(Gemma 2B和Gemma 7B);Gemma采用了与创建Gemini模型相同的研究和技术;

模型经常见,但是这个模型确实有厉害之处,普通的模型都需要很高的门槛,但Gemma 模型可在你的笔记本电脑运行,另外智商还没的说,Gemma 7B 模型的能力,已经秒杀同级的 Llma-2 7B,而且还完全超越 Llama-2 13B(简直不可思议吧);

谷歌大模型Gemma在家用电脑下的安装和测试

今天带大家看看,怎么在普通mac笔记本上运行 Gemma 2B和Gemma 7B,同时看下其推理效果:

我的机器环境如下:型号名称: MacBook Pro 处理器名称: 双核Intel Core i5 处理器速度: 2.7 GHz ,处理器数目: 1 核总数: 2 内存: 8 GB 系统版本是:12.7.3 这个是10多年前的老机器了,配置足够低;

第一步:安装 ollama (Ollama是一个先进的AI工具,它允许用户在自己的电脑上;目前支持macOS和Linux,Windows即将推出,轻松设置和运行大型语言模型(LLMs)。

下载地址:
https://ollama.com/download

谷歌大模型Gemma在家用电脑下的安装和测试

下载速度非常慢,我的策略是通过一台外网机器,执行:wget
https://ollama.com/download/Ollama-darwin.zip 下载过来 (如果实在不会下载,可以加我粉丝,给我要安装包),下载完成后,解压,双击 Ollama.app 即可;mac下会提示是否要变成命令行工具可用状态,记得选择可以;

第二步:安装 Gemma 2B

打开mac的命令行工具,敲入 sudo ollama run gemma:2b 命令

谷歌大模型Gemma在家用电脑下的安装和测试

回车,等待下载即可 (2B模型大概1.4个G,7B模型大概 4.8个G,下载速度都还可以接受)

如果你的电脑拥有足够的内存,可以使用以下命令安装非量化的版本,即使用精度更高的版本,以体验更好效果:命令是: sudo ollama run gemma:2b-instruct-fp16 或者 sudo ollama run gemma:7b-instruct-fp16

第三步:等待执行完,就进入模型对话页面了,效果如下:

谷歌大模型Gemma在家用电脑下的安装和测试

可以进行对话了,刚开始默认是英文,也可以用中文表达

谷歌大模型Gemma在家用电脑下的安装和测试

第四步:可以验证其智商了

谷歌大模型Gemma在家用电脑下的安装和测试

计算过程下,整体cpu 占用率大概 50% 左右,进行断网测试(关掉网络连接),效果一样;

谷歌大模型Gemma在家用电脑下的安装和测试

以上就是 Gemma 2B 的安装和测试,后续将继续推出大模型的安装和使用方法

本文来自投稿,不代表xMeta财经:AI数字财经资讯-AI人工智能、股市、NFT(数字藏品)、Web3、元宇宙创新创业服务平台!立场,如若转载,请注明出处:http://nft.aiju.com/news/96243.html,如涉及作品内容、版权及其它问题,请联系本站!

『声明:根据央行等部门发布的《关于进一步防范和处置虚拟货币交易炒作风险的通知》,本文内容仅用于信息分享,不对任何经营与投资行为进行推广与背书,请读者严格遵守所在地区法律法规,不参与任何非法金融行为』
(3)
三丰的头像三丰
上一篇 2024年2月26日 13:57
下一篇 2024年2月27日 10:05

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注