抖店飞书用户8068
Llama2—文字版微调教程（针对autodl平台）
输入“/”快速插入内容
Llama2—文字版微调教程（针对autodl平台）
Llama2—文字版微调教程（针对autodl平台）
飞书用户80682024年9月4日修改
参考：
先对数据盘进行扩容
•
如果当前机器无法扩容，那就需要找一个【同区】【有扩容空间的】机器，然后进行【克隆实例】
•
克隆完成后，把克隆机器无卡开机，然后对原机器进行【跨实例拷贝数据】，拷贝到克隆机器上
•
然后扩容克隆机器
•
后续都在克隆机器上进行操作即可
别省钱了，有卡开机
一、下载和预处理微调训练数据
1、我们使用BelleGroup提供的50w条中文数据，先下载到数据盘（cd autodl-tmp）：
代码块
wget https://huggingface.co/datasets/BelleGroup/train_0.5M_CN/resolve/main/Belle_open_source_0.5M.json
原始数据的预览如下{"instruction":"xxxx", "input":"", "output":"xxxx"}：
2、新建一个文件：split_json.py，然后把下面的代码粘贴进去
代码块
import random,json
def write_txt(file_path,datas):
with open(file_path,"w",encoding="utf8") as f:
for d in datas:
f.write(json.dumps(d,ensure_ascii=False)+"\n")
f.close()
with open("/root/autodl-tmp/Belle_open_source_0.5M.json","r",encoding="utf8") as f:
lines=f.readlines()
#拼接数据
changed_data=[]
for l in lines:
l=json.loads(l)
changed_data.append({"text":"### Human: "+l["instruction"]+" ### Assistant: "+l["output"]})
#从拼好后的数据中，随机选出1000条，作为训练数据
#为了省钱 和 演示使用，我们只用1000条，生产环境至少要使用全部50w条
r_changed_data=random.sample(changed_data, 1000)
#写到json中
write_txt("/root/autodl-tmp/Belle_open_source_0.5M_changed_test.json",r_changed_data)
3、新建一个终端，执行下面的代码，把可以随机拆出1000条拼接好的数据给我们测试使用：
代码块
python split_json.py
拼接好的数据格式如下图{"text":"### Human: xxxx ### Assistant: xxx"}：