paulwong

          My Links

          Blog Stats

          常用鏈接

          留言簿(66)

          隨筆分類(1387)

          隨筆檔案(1145)

          文章分類(7)

          文章檔案(10)

          相冊

          收藏夾(2)

          AI

          Develop

          E-BOOK

          Other

          養生

          微服務

          搜索

          最新評論

          閱讀排行榜

          評論排行榜

          2025年3月16日 #

          創建數據集的資源


          AI 數據集生成和模型微調框架 Distilabel 入門指南:基本概念、安裝與快速開始
          https://zhuanlan.zhihu.com/p/25766406373

          使用Llama3和distilabel構建微調數據
          https://huggingface.co/blog/dvilasuero/synthetic-data-with-llama3-distilabel

          posted @ 2025-05-18 08:01 paulwong 閱讀(12) | 評論 (0)編輯 收藏

          強化學習資源

          蘑菇書EasyRL
          李宏毅老師的《深度強化學習》是強化學習領域經典的中文視頻之一。李老師幽默風趣的上課風格讓晦澀難懂的強化學習理論變得輕松易懂,他會通過很多有趣的例子來講解強化學習理論。比如老師經常會用玩 Atari 游戲的例子來講解強化學習算法。此外,為了教程的完整性,我們整理了周博磊老師的《強化學習綱要》、李科澆老師的《世界冠軍帶你從零實踐強化學習》以及多個強化學習的經典資料作為補充。對于想入門強化學習又想看中文講解的人來說絕對是非常推薦的。

          本教程也稱為“蘑菇書”,寓意是希望此書能夠為讀者注入活力,讓讀者“吃”下這本蘑菇之后,能夠饒有興致地探索強化學習,像馬里奧那樣愈加強大,繼而在人工智能領域覓得意外的收獲。
          https://github.com/datawhalechina/easy-rl?tab=readme-ov-file


          posted @ 2025-04-30 14:15 paulwong 閱讀(24) | 評論 (0)編輯 收藏

          足球數據資源

          足球基礎數據
          https://www.nami.com/details/4nw10i0tela68lq#interface

          足球統計數據
          https://www.nami.com/details/7xwk3iqtv3s9rk6#interface

          足球統計數據
          https://www.nami.com/details/7xwk3iqtv3s9rk6#interface

          足球高階數據
          https://www.nami.com/details/g5wvvikteeixwzd#interface

          指數數據
          https://www.nami.com/details/o6w9kipt4yi78k3#interface

          足球資料庫數據
          https://www.nami.com/details/7j8gxi0to7inrql#interface

          Marz火星數據(體育)
          https://www.kancloud.cn/marz/marz-sport/3098904



          posted @ 2025-04-24 14:56 paulwong 閱讀(65) | 評論 (0)編輯 收藏

          ai預測足球資源

          基于機器學習的2022世界杯預測實戰
          https://www.showmeai.tech/article-detail/400

          AI 競彩賽事 預測工具
          https://www.mysports.ai/cn

          posted @ 2025-04-19 01:07 paulwong 閱讀(26) | 評論 (0)編輯 收藏

          微調訓練的數據集

          使用trl庫做微調時, 對數據集的要求是:

          如果是多輪對話場景:
          jsonl 文件,且需符合以下要求:
          1.每行是一個獨立的 JSON 對象;
          2 每個對象須包含一個鍵名為 messages 的數組,數組不能為空;
          3.messages 中每個元素必須包含 role 和 content 兩個字段:
          4.role 只能是 system,user 或 assisiant;
          5.如果有 system 角色消息, 需在數組首位;
          6.第一條非 system 消息必須是 user 角色;
          7.user 和 assisiant 角色的消息應當交替、成對出現,不少于1對;

          如果是指令微調場景:
          jsonl 文件,且需符合以下要求:
          1.每行是一個獨立的 JSON 對象;
          2 每個對象須包含且只能包含一個鍵名為 text 的鍵值對,值不能為空;

          posted @ 2025-03-21 21:52 paulwong 閱讀(71) | 評論 (0)編輯 收藏

          大模型訓練的幾個階段

          大模型開發出來后, 一般要經過以下幾個階段的訓練:

          預訓練(Pre-Trained)

          單純提供文本: {"text":"..."}
          訓練模型由第一個文字開始, 預測后面的文字, 直到結束.
          這種模型只會做完成文本的任務

          監督微調(Supervised Fine Turning)

          為了使模型能完成根據指令完成回答, 而不是隨機生成回答
          提供的文本: {"instruction":"...", "output":"..."}

          高效參數微調(Parameter Efficient Fine Turning)

          只調整部分參數, 具體實現方法有LoRA

          參考:
          https://github.com/huggingface/smol-course/blob/main/1_instruction_tuning/notebooks/sft_finetuning_example.ipynb



          posted @ 2025-03-18 13:14 paulwong 閱讀(71) | 評論 (0)編輯 收藏

          python資源

          python
          https://www.w3schools.com/python/

          https://www.runoob.com/python/python-basic-syntax.html


          posted @ 2025-03-16 20:54 paulwong 閱讀(39) | 評論 (0)編輯 收藏

          主站蜘蛛池模板: 甘肃省| 文化| 井研县| 克拉玛依市| 上栗县| 肃北| 崇义县| 赫章县| 乾安县| 黔西县| 高陵县| 香港| 酒泉市| 育儿| 门头沟区| 嵊州市| 黄梅县| 惠东县| 阳西县| 宜阳县| 九江县| 东辽县| 山阴县| 图片| 同仁县| 芜湖县| 紫云| 砚山县| 恩平市| 井冈山市| 论坛| 普格县| 霍州市| 大方县| 太保市| 庆元县| 永川市| 永靖县| 木里| 富蕴县| 大名县|