大模型開發(fā)出來后, 一般要經(jīng)過以下幾個階段的訓(xùn)練:
預(yù)訓(xùn)練(Pre-Trained)
單純提供文本: {"text":"..."}
訓(xùn)練模型由第一個文字開始, 預(yù)測后面的文字, 直到結(jié)束.
這種模型只會做完成文本的任務(wù)
監(jiān)督微調(diào)(Supervised Fine Turning)
為了使模型能完成根據(jù)指令完成回答, 而不是隨機(jī)生成回答
提供的文本: {"instruction":"...", "output":"..."}
高效參數(shù)微調(diào)(Parameter Efficient Fine Turning)
只調(diào)整部分參數(shù), 具體實(shí)現(xiàn)方法有LoRA
參考: