回答用戶的問題, 如“醉駕能否賠償”時, 首先去條款庫中匹配是否對得上的條款, 如有直接返回.
上面如果不中, 則走llm回答.
提取關鍵字, 用一關鍵字列表, 逐個對照, 如有則返回關鍵字, 沒有則返回默認的車險關鍵字
拿著此關鍵字去知識圖譜搜索出一堆條款
構造大模型輸入的提示詞, 即角色+條款列表+問題+請回答, 輸入到大模型, 讓大模型回答
檢查回答是否合規, 如是否有免責字樣或沒有條款列表, 如不規合則直接返回, “請聯系銷售代表”字樣
如合規, 則提取回答后面的字樣作為答案返回
@import url(/css/cuteeditor.css);
sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
sudo vi /etc/apt/sources.list.d/debian.sources
添加如下內容:
Types: deb
URIs: https://mirrors.tuna.tsinghua.edu.cn/debian/
Suites: bookworm bookworm-updates bookworm-backports
Components: main contrib non-free non-free-firmware
Signed-By: /usr/share/keyrings/debian-archive-keyring.gpg
Types: deb
URIs: https://mirrors.tuna.tsinghua.edu.cn/debian-security/
Suites: bookworm-security
Components: main contrib non-free non-free-firmware
Signed-By: /usr/share/keyrings/debian-archive-keyring.gpg
更新所有包
安裝python
sudo apt-get install python3
sudo apt-get install python3-pip
命令支持短寫
sudo apt install python-is-python3
安裝miniconda
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py310_25.3.1-1-Linux-x86_64.sh
bash Miniconda3-py310_25.3.1-1-Linux-x86_64.sh
conda config --set show_channel_urls yes
cat > ~/.condarc <<EOF
channels:
- defaults
show_channel_urls: true
default_channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
EOF
清除緩存
conda clean -i
conda --version
conda info # 查看渠道是否顯示為清華源
sudo useradd -m paul # 創建用戶并自動建立家目錄
sudo passwd paul # 設置用戶密碼（需輸入兩次確認）
sudo usermod -aG wheel paul # CentOS/RHEL
[root@dev69 ~]$ groupadd docker
[root@dev69 ~]$ usermod -aG docker $USER
[root@dev69 ~]$ reboot
[paul@dev69 ~]$ docker run hello-world
AI 數據集生成和模型微調框架 Distilabel 入門指南：基本概念、安裝與快速開始
蘑菇書EasyRL
李宏毅老師的《深度強化學習》是強化學習領域經典的中文視頻之一。李老師幽默風趣的上課風格讓晦澀難懂的強化學習理論變得輕松易懂，他會通過很多有趣的例子來講解強化學習理論。比如老師經常會用玩 Atari 游戲的例子來講解強化學習算法。此外，為了教程的完整性，我們整理了周博磊老師的《強化學習綱要》、李科澆老師的《世界冠軍帶你從零實踐強化學習》以及多個強化學習的經典資料作為補充。對于想入門強化學習又想看中文講解的人來說絕對是非常推薦的。
本教程也稱為“蘑菇書”，寓意是希望此書能夠為讀者注入活力，讓讀者“吃”下這本蘑菇之后，能夠饒有興致地探索強化學習，像馬里奧那樣愈加強大，繼而在人工智能領域覓得意外的收獲。
使用trl庫做微調時, 對數據集的要求是:
如果是多輪對話場景:
jsonl 文件，且需符合以下要求:
1.每行是一個獨立的 JSON 對象;
2 每個對象須包含一個鍵名為 messages 的數組，數組不能為空;
3.messages 中每個元素必須包含 role 和 content 兩個字段:
4.role 只能是 system,user 或 assisiant;
5.如果有 system 角色消息, 需在數組首位;
6.第一條非 system 消息必須是 user 角色;
7.user 和 assisiant 角色的消息應當交替、成對出現，不少于1對;
如果是指令微調場景:
jsonl 文件，且需符合以下要求:
1.每行是一個獨立的 JSON 對象;
2 每個對象須包含且只能包含一個鍵名為 text 的鍵值對，值不能為空;