快速部署本地LLM
Gdeestan2024/06/22软件综合 IP:中国
中文摘要
常见系统ollama部署
关键词
部署
ollamaLLM

准备

  1. 性能可堪一用的电脑或手机

  2. 流畅稳定的国际互联网连接

开始:Ollama

电脑:win:

  1. 下载安装XXXXXXXXXXXXXXXXXX/download/windows

  2. 打开输入ollama run (model name)(官网自行查找 例如 ollama run phi3 再启动命令相同)

  3. 下载 等待 使用 (卸载)

Linux:

  1. 下载安装curl -fsSL XXXXXXXXXXXXXXXXXX/XXXXXXXXXX | sh

  2. 同上……

手机

  1. 下载安装termux XXXXXXXXXXXXXXXXXXX/repo/com.termux_1020.apk

  2. 习惯性更新(不必要)输入apt update和pkg update

  3. 下载Linux安装工具  pkg install proot-distro

  4. 下载一个Linux 不一定是deiban  proot-distro install debian

  5. 打开 proot-distro login debian

  6. 同上  (curl -fsSL XXXXXXXXXXXXXXXXXX/XXXXXXXXXX | sh )……

另:

安装检验 ollama -v

下载出错 再输入以重新


后话:参考互联网,手机上建议用近些年的,部署phi3或qwen小模型。用ollama部署LLM很方便,可以作为初学/尝新/快速测试,进阶可学习ModelScope,huggingface

来自:计算机科学 / 软件综合
2
2
已屏蔽 原因:{{ notice.reason }}已屏蔽
{{notice.noticeContent}}
~~空空如也
Gdeestan 作者
5个月6天前 IP:中国
933290

我的win10安装ollama后,不知道遇上了什么问题,关闭后再次打开ollama并点击view logs并不能像刚安装的时候一样打开ollama的命令行,反而跳转到文件管理器打开~/Local/Ollama目录,然后无法使用。查了一些资料还是无法解决,我就换了VirtualBox+Ubuntu再部署

引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论
豆腐干
1个月18天前 IP:浙江
938196

确实需要性能可堪一用的电脑,我的小笔记本根本跑不了

引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论

想参与大家的讨论?现在就 登录 或者 注册

所属专业
上级专业
同级专业
Gdeestan
机友
文章
22
回复
353
学术分
0
2023/04/09注册,2时40分前活动

玄学爱好者

主体类型:个人
所属领域:无
认证方式:手机号
IP归属地:广西
文件下载
加载中...
{{errorInfo}}
{{downloadWarning}}
你在 {{downloadTime}} 下载过当前文件。
文件名称:{{resource.defaultFile.name}}
下载次数:{{resource.hits}}
上传用户:{{uploader.username}}
所需积分:{{costScores}},{{holdScores}}下载当前附件免费{{description}}
积分不足,去充值
文件已丢失

当前账号的附件下载数量限制如下:
时段 个数
{{f.startingTime}}点 - {{f.endTime}}点 {{f.fileCount}}
视频暂不能访问,请登录试试
仅供内部学术交流或培训使用,请先保存到本地。本内容不代表科创观点,未经原作者同意,请勿转载。
音频暂不能访问,请登录试试
支持的图片格式:jpg, jpeg, png
插入公式
评论控制
加载中...
文号:{{pid}}
投诉或举报
加载中...
{{tip}}
请选择违规类型:
{{reason.type}}

空空如也

加载中...
详情
详情
推送到专栏从专栏移除
设为匿名取消匿名
查看作者
回复
只看作者
加入收藏取消收藏
收藏
取消收藏
折叠回复
置顶取消置顶
评学术分
鼓励
设为精选取消精选
管理提醒
编辑
通过审核
评论控制
退修或删除
历史版本
违规记录
投诉或举报
加入黑名单移除黑名单
查看IP
{{format('YYYY/MM/DD HH:mm:ss', toc)}}