白嫖Google Colab算力跑YOLOv5的经验和教程
全桥整流2023/10/02原创 秋名山最速传说 IP:新加坡
中文摘要
白嫖谷歌云端硬盘跑YOLOv5

最近看了些使用YOLOv5的深度学习教程,加上我自己的一番摸索,总结了点经验,分享于诸君:

1、CPU也能跑YOLOv5,我本来一直以为要有适配的GPU才能跑的。

2、如果只是为了生成的模型,完全可以白嫖谷歌云盘的算力,不用折腾自己的电脑,感觉还更方便(无需在电脑安装一堆东西),当然,谷歌网盘是有算力限制的,但YOLOv5也有断点继续训练,倒也无所谓了。

3、标注软件labellmg有exe文件(建议直接用编译好的就行了),不用自己再编译,这一步我花了挺多时间,我的电脑安装pyqt5失败了很多次,最后也不知道怎么莫名其妙搞好了(忘记具体过程了)。

4、检验生成的模型查看效果要注意目标文件夹,我有好几次出问题是目标文件夹选择错误了。

5、新手建议全程绝对路径,减少报错可能性(免得配置环境变量了)。


下面简单说说怎么使用谷歌云盘白嫖算力:

新建一个colaboratory,并将笔记本设置成GPU模式

QQ截图20231002144500.png

image.png

连接谷歌硬盘,把你本地下载好的YOLOv5上传到云盘,也可以在线下载到云盘里面。如果你是使用本地下载好再上传,推荐先搞成压缩包再上传,上传上去之后再解压。如果解压后再上传,一些文件可能会上传失败,速度还慢。(这里想在两段代码中间新开一段来码字的,但貌似不行,就挤在一起了)

!nvidia-smi #看一下有没有成功用到GPU
import torch   #安装必要的环境 但其实是自带的
torch.__version__
!pip3 install torchvision #安装你自己需要的包
import os #连接硬盘
from google.colab import drive
drive.mount('/content/drive')
path = "/content/drive/My Drive"
os.chdir(path)
os.listdir(path)
pip install -U pyyaml #安装一下,不安装有可能会出错
pip install ultralytics==8.0.100 #同上

这个是解压命令,注意更改你自己的路径

!unzip /content/drive/My\ Drive/yolo5.zip

进入YOLOv5的目录里面,更改训练集、验证集等的路径,批量替换就好了,你电脑生成的训练集,验证集的路径的txt文件里面的路径需要更改,有些拗口。简单来说就是电脑生成的可能是这样的

image.png

要更换成谷歌云盘里面的路径,这样才能识别到

image.png

这个是开始训练,建议绝对路径,对于我的数据集感觉这个参数刚刚好--batch-size 32 --img 640 --epoch 200,batch-size调大一点也没问题,毕竟是T4,16G显存。但是如果传入batch-size 32,实际上batch-size变成24了,如果传入64,batch-size只有12了。如果传入8,batch-size变成90了。这点有点奇怪,搞不懂为什么。

#开始训练
!python train.py --data /content/drive/MyDrive/yolov5/data/myvoc.yaml --cfg /content/drive/MyDrive/yolov5/models/yolov5s.yaml --batch-size 32 --img 640 --epoch 200

然后训练好的结果下载下来就好了。谷歌硬盘会检测你是不是挂机,如果是挂机可能会切断你的训练,在空白处右击进入检查,选择控制台,在下面输入

function ClickConnect(){
  colab.config
  console.log("Connnect Clicked - Start"); 
  document.querySelector("#top-toolbar > colab-connect-button").shadowRoot.querySelector("#connect").click();
  console.log("Connnect Clicked - End");
};
setInterval(ClickConnect, 60000)

回车执行,就可以愉快的挂机白嫖算力了(不要退出控制台)

参考的文章(主要是谷歌硬盘跑YOLOv5的文章):

YOLOv5模型环境搭建及使用google colab训练

在谷歌云盘训练YOLOV5模型

将本地YOLOv5项目部署到Colab训练

备注:还有一些预训练什么的更改矩阵参数那些和本地训练差不多了,都能在谷歌云盘操作。

前10楼回复均有kcb(0.5-1)

[修改于 11个月7天前 - 2023/12/23 20:26:49]

来自:计算机科学 / 软件综合动手实践:实验报导
1
3
已屏蔽 原因:{{ notice.reason }}已屏蔽
{{notice.noticeContent}}
~~空空如也
blki
1年1个月前 修改于 1年1个月前 IP:河南
925794

严厉支持

那么google colab需要魔法吗 sticker

在jeston上能用的话,就更好力

+0.5
科创币
全桥整流
2023-10-03
😋😋
引用
评论(1)
加载评论中,请稍候...
200字以内,仅用于支线交流,主线讨论请采用回复功能。
折叠评论

想参与大家的讨论?现在就 登录 或者 注册

所属专业
上级专业
同级专业
全桥整流
进士 学者 机友 笔友
文章
26
回复
280
学术分
1
2020/01/26注册,2时18分前活动

秋名山最速传说!

主体类型:个人
所属领域:无
认证方式:身份证号
IP归属地:广东
文件下载
加载中...
{{errorInfo}}
{{downloadWarning}}
你在 {{downloadTime}} 下载过当前文件。
文件名称:{{resource.defaultFile.name}}
下载次数:{{resource.hits}}
上传用户:{{uploader.username}}
所需积分:{{costScores}},{{holdScores}}下载当前附件免费{{description}}
积分不足,去充值
文件已丢失

当前账号的附件下载数量限制如下:
时段 个数
{{f.startingTime}}点 - {{f.endTime}}点 {{f.fileCount}}
视频暂不能访问,请登录试试
仅供内部学术交流或培训使用,请先保存到本地。本内容不代表科创观点,未经原作者同意,请勿转载。
音频暂不能访问,请登录试试
支持的图片格式:jpg, jpeg, png
插入公式
评论控制
加载中...
文号:{{pid}}
投诉或举报
加载中...
{{tip}}
请选择违规类型:
{{reason.type}}

空空如也

加载中...
详情
详情
推送到专栏从专栏移除
设为匿名取消匿名
查看作者
回复
只看作者
加入收藏取消收藏
收藏
取消收藏
折叠回复
置顶取消置顶
评学术分
鼓励
设为精选取消精选
管理提醒
编辑
通过审核
评论控制
退修或删除
历史版本
违规记录
投诉或举报
加入黑名单移除黑名单
查看IP
{{format('YYYY/MM/DD HH:mm:ss', toc)}}