2024年2月21日,谷歌正推出新的开源大语言模型,并将其命名为Gemma;这个模型有两个版本,分别是 20亿参数和70亿参数(Gemma 2B和Gemma 7B);Gemma采用了与创建Gemini模型相同的研究和技术;
模型经常见,但是这个模型确实有厉害之处,普通的模型都需要很高的门槛,但Gemma 模型可在你的笔记本电脑运行,另外智商还没的说,Gemma 7B 模型的能力,已经秒杀同级的 Llma-2 7B,而且还完全超越 Llama-2 13B(简直不可思议吧);
今天带大家看看,怎么在普通mac笔记本上运行 Gemma 2B和Gemma 7B,同时看下其推理效果:
我的机器环境如下:型号名称: MacBook Pro 处理器名称: 双核Intel Core i5 处理器速度: 2.7 GHz ,处理器数目: 1 核总数: 2 内存: 8 GB 系统版本是:12.7.3 这个是10多年前的老机器了,配置足够低;
第一步:安装 ollama (Ollama是一个先进的AI工具,它允许用户在自己的电脑上;目前支持macOS和Linux,Windows即将推出,轻松设置和运行大型语言模型(LLMs)。
下载地址:
https://ollama.com/download
下载速度非常慢,我的策略是通过一台外网机器,执行:wget
https://ollama.com/download/Ollama-darwin.zip 下载过来 (如果实在不会下载,可以加我粉丝,给我要安装包),下载完成后,解压,双击 Ollama.app 即可;mac下会提示是否要变成命令行工具可用状态,记得选择可以;
第二步:安装 Gemma 2B
打开mac的命令行工具,敲入 sudo ollama run gemma:2b 命令
回车,等待下载即可 (2B模型大概1.4个G,7B模型大概 4.8个G,下载速度都还可以接受)
如果你的电脑拥有足够的内存,可以使用以下命令安装非量化的版本,即使用精度更高的版本,以体验更好效果:命令是: sudo ollama run gemma:2b-instruct-fp16 或者 sudo ollama run gemma:7b-instruct-fp16
第三步:等待执行完,就进入模型对话页面了,效果如下:
可以进行对话了,刚开始默认是英文,也可以用中文表达
第四步:可以验证其智商了
计算过程下,整体cpu 占用率大概 50% 左右,进行断网测试(关掉网络连接),效果一样;
以上就是 Gemma 2B 的安装和测试,后续将继续推出大模型的安装和使用方法
本文来自投稿,不代表xMeta财经:AI数字财经资讯-AI人工智能、股市、NFT(数字藏品)、Web3、元宇宙创新创业服务平台!立场,如若转载,请注明出处:http://nft.aiju.com/news/96243.html,如涉及作品内容、版权及其它问题,请联系本站!
『声明:根据央行等部门发布的《关于进一步防范和处置虚拟货币交易炒作风险的通知》,本文内容仅用于信息分享,不对任何经营与投资行为进行推广与背书,请读者严格遵守所在地区法律法规,不参与任何非法金融行为』