使用GPU云平台进行Fine Tune实验札记
输入“/”快速插入内容
使用GPU云平台进行Fine Tune实验札记
使用GPU云平台进行Fine Tune实验札记
用户4886用户48862023年12月17日创建
158
232
0
0
实验步骤指南
•
12.20 Fine Tune答疑课之后，课件里的实验指导的内容被更新了，细节描述的非常细致，基本上已经不会有明显的坑了。
•
步骤1～5：跟随指导即可，包括：注册autodl市场，个人认证， 兑换兑换码，选择GPU(RTX 4090 20G+), 社区镜像选择agiclass fine-tune-lab-v3的docker，拿到ssh登陆方法;
•
从第6步开始，我结合自己经验，补充说明一下实验步骤需要的技巧：
a.
可以先用无卡模式启动SSH Server，因为在最开始需要下载ChatGLM3-6B等大文件(执行init_env.sh)，这个阶段租到GPU是没有意义且费钱的，无卡模式每小时价格便宜很多;
b.
联入SSH server后，第一步先使用tmux
代码块
ssh -L 6006:localhost:6006 -p xxxx root@connect.westb.seetacloud.com
# enter your pwd
# 连入后，先敲tmux
tmux
▪
tmux在SSH server端启动了一个session，能保证即使是本地terminal和SSH server连接断了，你的SSH server中的session中的工作还仍然在执行；
▪
本实验可能需要用到的常用tmux命令包括
代码块
ctrl + b，d # detach tmux session
ctrl + b, & # kill the current window
tmux ls # 查看活跃的session
tmux a -t <session_NO.>. # attach到相应的tmux session
c.
开启网络加速source /etc/network_turbo, 这个文件只是设置系统环境的代理；
d.
执行init_env.sh, 执行初始化工作，由于下载chatglm-3时间较长，可以单步执行；我也写了一个脚本，对clone加上了重试，可以尝试以下脚本；
代码块
#!/usr/bin/env bash
RED="\e[1;31m"
GREEN="\e[1;32m"
COLOR_END="\e[0m"
function clone_repo() {
REPO_URL=$1;
# 获取git url最后的directory的name
REPO_BNAME=`basename $REPO_URL`
REPO_NAME=${REPO_BNAME%.*}
for ((;;)); do
echo "Cloning $REPO_URL ..."
git clone $@
if [[ $? == 0 ]]; then
break
else
printf "${RED}Failed cloning the repo $REPO_URL, retrying...${COLOR_END}\n"
if [[ -d "$REPO_NAME" ]]; then
echo "Removing the $REPO_NAME directory"
rm -rf ./$REPO_NAME
fi
fi
done
printf "${GREEN}Clone $REPO_URL successfully, done${COLOR_END}\n"
}
# 运行webui-demo或在测试集evaluate时所需训好的checkpoint移动到数据盘
mv /root/checkpoints /root/autodl-tmp
# 将镜像中已带的预训练llama2-7b的权重移动到数据盘
mv /root/Llama-2-7b-hf /root/autodl-tmp
# 设定git lfs
cd /root/autodl-tmp
git lfs install
# 下载chatglm3-6b; modelscope上有很多大的bin model文件;
cd /root/autodl-tmp
clone_repo https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
# 下载fine-tuning-lab v3; 注意，checkout到branch v3
cd /root/autodl-tmp
clone_repo https://github.com/agiclass/fine-tuning-lab.git -b v3
printf "${GREEN}ALL Done${COLOR_END}\n"