快速部署本地LLM
Gdeestan2024/06/22软件综合 IP:中国
中文摘要
常见系统ollama部署
关键词
部署
ollamaLLM

准备

  1. 性能可堪一用的电脑或手机

  2. 流畅稳定的国际互联网连接

开始:Ollama

电脑:win:

  1. 下载安装XXXXXXXXXXXXXXXXXX/download/windows

  2. 打开输入ollama run (model name)(官网自行查找 例如 ollama run phi3 再启动命令相同)

  3. 下载 等待 使用 (卸载)

Linux:

  1. 下载安装curl -fsSL XXXXXXXXXXXXXXXXXX/XXXXXXXXXX | sh

  2. 同上……

手机

  1. 下载安装termux XXXXXXXXXXXXXXXXXXX/repo/com.termux_1020.apk

  2. 习惯性更新(不必要)输入apt update和pkg update

  3. 下载Linux安装工具  pkg install proot-distro

  4. 下载一个Linux 不一定是deiban  proot-distro install debian

  5. 打开 proot-distro login debian

  6. 同上  (curl -fsSL XXXXXXXXXXXXXXXXXX/XXXXXXXXXX | sh )……

另:

安装检验 ollama -v

下载出错 再输入以重新


后话:参考互联网,手机上建议用近些年的,部署phi3或qwen小模型。用ollama部署LLM很方便,可以作为初学/尝新/快速测试,进阶可学习ModelScope,huggingface

来自:计算机科学 / 软件综合
2
2
已屏蔽 原因:{{ notice.reason }}已屏蔽
{{notice.noticeContent}}
~~空空如也
Gdeestan 作者
7个月9天前 IP:中国
933290

我的win10安装ollama后,不知道遇上了什么问题,关闭后再次打开ollama并点击view logs并不能像刚安装的时候一样打开ollama的命令行,反而跳转到文件管理器打开~/Local/Ollama目录,然后无法使用。查了一些资料还是无法解决,我就换了VirtualBox+Ubuntu再部署

引用
评论
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论

想参与大家的讨论?现在就 登录 或者 注册

所属专业
上级专业
同级专业
Gdeestan
机友
文章
22
回复
374
学术分
0
2023/04/09注册,7时27分前活动

玄学爱好者

主体类型:个人
所属领域:无
认证方式:手机号
IP归属地:广西
插入公式
评论控制
加载中...
文号:{{pid}}
投诉或举报
加载中...
{{tip}}
请选择违规类型:
{{reason.type}}

空空如也

加载中...
详情
详情
推送到专栏从专栏移除
设为匿名取消匿名
查看作者
回复
只看作者
加入收藏取消收藏
收藏
取消收藏
折叠回复
置顶取消置顶
评学术分
鼓励
设为精选取消精选
管理提醒
编辑
通过审核
评论控制
退修或删除
历史版本
违规记录
投诉或举报
加入黑名单移除黑名单
查看IP
{{format('YYYY/MM/DD HH:mm:ss', toc)}}
笔记
{{note.content}}
{{n.user.username}}
{{fromNow(n.toc)}} {{n.status === noteStatus.disabled ? "已屏蔽" : ""}} {{n.status === noteStatus.unknown ? "正在审核" : ""}} {{n.status === noteStatus.deleted ? '已删除' : ''}}
  • 编辑
  • 删除
  • {{n.status === 'disabled' ? "解除屏蔽" : "屏蔽" }}
我也是有底线的