paulwong

          My Links

          Blog Stats

          常用鏈接

          留言簿(66)

          隨筆分類(1387)

          隨筆檔案(1145)

          文章分類(7)

          文章檔案(10)

          相冊

          收藏夾(2)

          AI

          Develop

          E-BOOK

          Other

          養(yǎng)生

          微服務(wù)

          搜索

          最新評論

          閱讀排行榜

          評論排行榜

          大模型訓(xùn)練的幾個階段

          大模型開發(fā)出來后, 一般要經(jīng)過以下幾個階段的訓(xùn)練:

          預(yù)訓(xùn)練(Pre-Trained)

          單純提供文本: {"text":"..."}
          訓(xùn)練模型由第一個文字開始, 預(yù)測后面的文字, 直到結(jié)束.
          這種模型只會做完成文本的任務(wù)

          監(jiān)督微調(diào)(Supervised Fine Turning)

          為了使模型能完成根據(jù)指令完成回答, 而不是隨機生成回答
          提供的文本: {"instruction":"...", "output":"..."}

          高效參數(shù)微調(diào)(Parameter Efficient Fine Turning)

          只調(diào)整部分參數(shù), 具體實現(xiàn)方法有LoRA

          參考:
          https://github.com/huggingface/smol-course/blob/main/1_instruction_tuning/notebooks/sft_finetuning_example.ipynb



          posted on 2025-03-18 13:14 paulwong 閱讀(73) 評論(0)  編輯  收藏 所屬分類: AI-LLMAI-FINE-TUNNING

          主站蜘蛛池模板: 新绛县| 乐昌市| 西安市| 无锡市| 赫章县| 伊宁县| 九江市| 抚远县| 项城市| 丘北县| 高平市| 淮滨县| 桃园县| 出国| 绥化市| 巴彦淖尔市| 桂东县| 桂平市| 开江县| 隆回县| 湖北省| 乐平市| 进贤县| 综艺| 高要市| 宜春市| 北京市| 北海市| 宝山区| 集安市| 潼南县| 盐源县| 肇源县| 常德市| 正镶白旗| 永昌县| 包头市| 衡南县| 华阴市| 尖扎县| 陵川县|