摘要: 本文由字節(jié)跳動(dòng)張華挺分享，原題“你不知道的前端音視頻知識”，下文有修訂和重新排版。1、前言本文回顧了Web端音視頻的發(fā)展歷程，同時(shí)還介紹了視頻的編碼、幀率、比特率等概念，提到了Canvas作為視頻播放的替代方案，以及FFmpeg在音視頻處理中的重要作用等知識。 技術(shù)交流：- 移動(dòng)端IM開發(fā)入門文章：《新手入門一篇就夠：從零開發(fā)移動(dòng)端IM》- 開源IM框架源碼：ht... 閱讀全文
摘要: Code highlighting produced by Actipro CodeHighlighter (freeware)
http://www.CodeHighlighter.com/
-->sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
sudo vi /etc... 閱讀全文
摘要: 本文由騰訊技術(shù)團(tuán)隊(duì)羅國佳分享，原題“微信讀書后臺架構(gòu)演進(jìn)之路”，下文有修訂和重新排版。1、前言今年是微信讀書上線10周年，后臺技術(shù)架構(gòu)也伴隨著微信讀書的成長經(jīng)歷了多次迭代與升級。每一次的組件升級與架構(gòu)突破，在一個(gè)運(yùn)行了10年的系統(tǒng)上落地都不是一件容易的事情，需要破釜沉舟的決心與膽大心細(xì)的業(yè)務(wù)聯(lián)動(dòng)。微信讀書經(jīng)過了多年的發(fā)展，贏得了良好的用戶口碑，后臺系統(tǒng)的服務(wù)質(zhì)量直接影響著用... 閱讀全文
摘要: 本文由騰訊技術(shù)團(tuán)隊(duì)羅國佳分享，原題“微信讀書后臺架構(gòu)演進(jìn)之路”，下文有修訂和重新排版。1、前言今年是微信讀書上線10周年，后臺技術(shù)架構(gòu)也伴隨著微信讀書的成長經(jīng)歷了多次迭代與升級。每一次的組件升級與架構(gòu)突破，在一個(gè)運(yùn)行了10年的系統(tǒng)上落地都不是一件容易的事情，需要破釜沉舟的決心與膽大心細(xì)的業(yè)務(wù)聯(lián)動(dòng)。微信讀書經(jīng)過了多年的發(fā)展，贏得了良好的用戶口碑，后臺系統(tǒng)的服務(wù)質(zhì)量直接影響著用... 閱讀全文
摘要: 本文由騰訊技術(shù)團(tuán)隊(duì)羅國佳分享，原題“微信讀書后臺架構(gòu)演進(jìn)之路”，下文有修訂和重新排版。1、前言今年是微信讀書上線10周年，后臺技術(shù)架構(gòu)也伴隨著微信讀書的成長經(jīng)歷了多次迭代與升級。每一次的組件升級與架構(gòu)突破，在一個(gè)運(yùn)行了10年的系統(tǒng)上落地都不是一件容易的事情，需要破釜沉舟的決心與膽大心細(xì)的業(yè)務(wù)聯(lián)動(dòng)。微信讀書經(jīng)過了多年的發(fā)展，贏得了良好的用戶口碑，后臺系統(tǒng)的服務(wù)質(zhì)量直接影響著用... 閱讀全文
摘要: 1、基本介紹RainbowChat-Web是一套基于MobileIMSDK-Web的網(wǎng)頁端IM系統(tǒng)。不同于市面上某些開源練手或淘寶售賣的demo級代碼，RainbowChat-Web的產(chǎn)品級代碼演化自真正運(yùn)營過的商業(yè)產(chǎn)品，其所依賴的通信層核心SDK已在數(shù)年內(nèi)經(jīng)過大量客戶及其輻射的最終用戶的使用和驗(yàn)證。RainbowChat-Web同時(shí)也是移動(dòng)端IM應(yīng)用RainbowChat的姊妹產(chǎn)品。 ... 閱讀全文
摘要: 本文由攜程前端開發(fā)專家Chris Xia分享，關(guān)注新技術(shù)革新和研發(fā)效率提升。1、引言本文介紹了攜程機(jī)票前端基于Server-Sent Events（SSE）實(shí)現(xiàn)服務(wù)端推送的企業(yè)級全鏈路通用技術(shù)解決方案。文章深入探討了 SSE 技術(shù)在應(yīng)用過程中包括方案對比、技術(shù)選型、鏈路層優(yōu)化以及實(shí)際效果等多維度的技術(shù)細(xì)節(jié)，為類似使用場景提供普適性參考和借鑒。該方案設(shè)計(jì)目標(biāo)是實(shí)現(xiàn)通用性，適用于各種網(wǎng)絡(luò)架構(gòu)和業(yè)務(wù)場景... 閱讀全文
摘要: 本文來自嗶哩嗶哩通用技術(shù)團(tuán)隊(duì)分享，下文進(jìn)行了排版優(yōu)化和修訂。1、引言隨著 AI 技術(shù)快速發(fā)展，業(yè)務(wù)對 AI 能力的渴求日益增長。當(dāng) AI 服務(wù)面對處理大規(guī)模請求和高并發(fā)流量時(shí)，AI 網(wǎng)關(guān)從中扮演著至關(guān)重要的角色。AI 服務(wù)通常涉及大量的計(jì)算任務(wù)和設(shè)備資源占用，此時(shí)需要一個(gè) AI 網(wǎng)關(guān)負(fù)責(zé)協(xié)調(diào)這些請求來確保系統(tǒng)的穩(wěn)定性與高效性。因此，與傳統(tǒng)微服務(wù)架構(gòu)類似，我們將相關(guān) API 管理的功能（如流量控制、... 閱讀全文
摘要: 本文來自QCon全球軟件開發(fā)大會(huì)王勁鵬的技術(shù)分享，下文進(jìn)行了排版優(yōu)化和修訂。1、引言性能和體驗(yàn)在 iOS / Android 雙端場景下已經(jīng)是一個(gè)較為成熟的話題，但隨著鴻蒙 OS 的發(fā)展，端側(cè)開發(fā)者需要更多的關(guān)注多端場景的差異性。本次分享的主題是小紅書在鴻蒙平臺上的工程實(shí)踐，主要聚焦于性能優(yōu)化和探索。（* PPT講稿原文下載：《小紅書鴻蒙OS下的性能優(yōu)化探索與實(shí)踐(PPT)[附件下載]》）先介紹一... 閱讀全文
摘要: 全平臺開源即時(shí)通訊IM聊天框架MobileIMSDK的服務(wù)端開發(fā)指南，支持鴻蒙NEXT 閱讀全文
摘要: 一、基本介紹MobileIMSDK是一套全平臺原創(chuàng)開源IM通信層框架：超輕量級、高度提煉，lib包50KB以內(nèi)；精心封裝，一套API同時(shí)支持UDP、TCP、WebSocket三種協(xié)議（可能是全網(wǎng)唯一開源的）；客戶端支持iOS、Android、標(biāo)準(zhǔn)Java、H5、微信小程序、Uniap、鴻蒙Next(Demo完整源碼)；服務(wù)端基于Netty，性能卓越、易于擴(kuò)展 new；可與姊妹工程&nbs... 閱讀全文
摘要: 足球基礎(chǔ)數(shù)據(jù)
https://www.nami.com/details/4nw10i0tela68lq#interface
足球統(tǒng)計(jì)數(shù)據(jù)
https://www.nami.com/details/7xwk3iqtv3s9rk6#interface
足球統(tǒng)計(jì)數(shù)據(jù)
https://www.nami.com/details/7xwk3iqtv3s9rk6#interfa... 閱讀全文
摘要: 本文由轉(zhuǎn)轉(zhuǎn)技術(shù)團(tuán)隊(duì)趙衛(wèi)兵分享，原題“鴻蒙新篇章：轉(zhuǎn)轉(zhuǎn) APP 的 HarmonyOS Next 開發(fā)之旅”，下文進(jìn)行了排版優(yōu)化和內(nèi)容修訂。1、引言2023 年在華為開發(fā)者大會(huì)（HDC.Together）上，除了面向消費(fèi)者的 HarmonyOS 4 之外，華為還推出了面向開發(fā)者的 HarmonyOS Next 開發(fā)者預(yù)覽。而在去年的 6 月份華為開發(fā)者大會(huì)上，對外開啟了 Ha... 閱讀全文
摘要: 本文由企業(yè)微信客戶端團(tuán)隊(duì)黃瑋分享，原題“在流沙上筑城：企微鴻蒙開發(fā)演進(jìn)”，下文進(jìn)行了排版優(yōu)化和內(nèi)容修訂。1、引言當(dāng)企業(yè)微信團(tuán)隊(duì)在2024年啟動(dòng)鴻蒙Next版開發(fā)時(shí)，我們面對的是雙重難題：1）在WXG小團(tuán)隊(duì)模式下，如何快速將數(shù)百萬行級企業(yè)應(yīng)用移植到全新操作系統(tǒng)？2）在鴻蒙API 還是Preview的初期，如何保持業(yè)務(wù)代碼的穩(wěn)定，在API快速更新的浪潮中巋然不動(dòng)？DataLis... 閱讀全文
摘要: 本文由美團(tuán)技術(shù)團(tuán)隊(duì)張晨分享，原題“鴻蒙應(yīng)用簽名實(shí)操及機(jī)制探究”，下文進(jìn)行了排版優(yōu)化和內(nèi)容修訂。1、引言華為鴻蒙單框架操作系統(tǒng)HarmonyOS NEXT已于2024年10月23日正式發(fā)布Release版。HarmonyOS NEXT僅支持鴻蒙原生應(yīng)用，不再兼容安卓。本文對鴻蒙NEXT公開資料進(jìn)行了深入分析和解讀，梳理了鴻蒙單框架應(yīng)用的簽名機(jī)制，拆解每一步的實(shí)操過程和背后的實(shí)... 閱讀全文
摘要: 本文由阿里云望宸分享，原題“大模型推理主戰(zhàn)場：什么才是通信協(xié)議標(biāo)配？”，下文進(jìn)行了排版優(yōu)化和內(nèi)容修訂。1、引言DeepSeek 加速了模型平權(quán)，隨之而來的是大模型推理需求的激增，大模型性能提升的主戰(zhàn)場從訓(xùn)練轉(zhuǎn)移到了推理。推理并發(fā)的提升，將催生計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、中間件、數(shù)據(jù)庫等領(lǐng)域新的工程化需求。本文將分享 SSE 和 WebSocket 這兩個(gè)AI大模型應(yīng)用的標(biāo)配網(wǎng)絡(luò)通信協(xié)... 閱讀全文
使用trl庫做微調(diào)時(shí), 對數(shù)據(jù)集的要求是:
如果是多輪對話場景:
jsonl 文件，且需符合以下要求:
1.每行是一個(gè)獨(dú)立的 JSON 對象;
2 每個(gè)對象須包含一個(gè)鍵名為 messages 的數(shù)組，數(shù)組不能為空;
3.messages 中每個(gè)元素必須包含 role 和 content 兩個(gè)字段:
4.role 只能是 system,user 或 assisiant;
5.如果有 system 角色消息, 需在數(shù)組首位;
6.第一條非 system 消息必須是 user 角色;
7.user 和 assisiant 角色的消息應(yīng)當(dāng)交替、成對出現(xiàn)，不少于1對;
如果是指令微調(diào)場景:
jsonl 文件，且需符合以下要求:
1.每行是一個(gè)獨(dú)立的 JSON 對象;
2 每個(gè)對象須包含且只能包含一個(gè)鍵名為 text 的鍵值對，值不能為空;
摘要: 本文由夏冰軟件cc分享，下文進(jìn)行了排版和內(nèi)容優(yōu)化。1、引言本文接上篇《什么是IM系統(tǒng)的消息時(shí)序一致性？》，本篇將通俗易懂地講解IM系統(tǒng)中的端到端加密原理，為了降低閱讀門檻，相關(guān)的技術(shù)概念會(huì)提及但不深入展開。IM即時(shí)通訊系統(tǒng)的技術(shù)本質(zhì)是“即時(shí)消息技術(shù)”，是互聯(lián)網(wǎng)實(shí)時(shí)互動(dòng)場景的底層架構(gòu)，包括聊天、直播、在線客服等業(yè)務(wù)領(lǐng)域在內(nèi)，所有需要實(shí)時(shí)互動(dòng)、高實(shí)時(shí)性的場景，都需要用到IM技術(shù)... 閱讀全文
大模型開發(fā)出來后, 一般要經(jīng)過以下幾個(gè)階段的訓(xùn)練:
預(yù)訓(xùn)練(Pre-Trained)
單純提供文本: {"text":"..."}
訓(xùn)練模型由第一個(gè)文字開始, 預(yù)測后面的文字, 直到結(jié)束.
這種模型只會(huì)做完成文本的任務(wù)
監(jiān)督微調(diào)(Supervised Fine Turning)
為了使模型能完成根據(jù)指令完成回答, 而不是隨機(jī)生成回答
提供的文本: {"instruction":"...", "output":"..."}
高效參數(shù)微調(diào)(Parameter Efficient Fine Turning)
只調(diào)整部分參數(shù), 具體實(shí)現(xiàn)方法有LoRA
參考:
摘要: 本文由vivo互聯(lián)網(wǎng)服務(wù)器團(tuán)隊(duì)Cai Linfeng分享，來自公眾號“ vivo互聯(lián)網(wǎng)技術(shù)”，原題“百萬級群聊的設(shè)計(jì)實(shí)踐”，下文進(jìn)行了排版優(yōu)化和內(nèi)容修訂。1、引言現(xiàn)在IM群聊產(chǎn)品多種多樣，有國民級的微信、QQ，企業(yè)級的釘釘、飛書，還有許多公司內(nèi)部的IM工具，這些都是以客戶端為主要載體。而且群聊人數(shù)通常都是有限制，微信正常群人數(shù)上限是500，QQ200... 閱讀全文
摘要: 大模型微調(diào)后的評估指標(biāo)是衡量模型性能的關(guān)鍵，通常根據(jù)任務(wù)類型和具體需求選擇不同的評估指標(biāo)。以下是一些常見的評估指標(biāo)及其適用場景：
1. 分類任務(wù)
準(zhǔn)確率（Accuracy）：預(yù)測正確的樣本占總樣本的比例。
適用場景：類別分布均衡的任務(wù)。
精確率（Precision）：預(yù)測為正類的樣本中，實(shí)際為... 閱讀全文
摘要: 本文由B端技術(shù)中心資深開發(fā)工程師馬家憶分享，原題“B站在實(shí)時(shí)音視頻技術(shù)領(lǐng)域的探索與實(shí)踐”，下文進(jìn)行了排版和內(nèi)容優(yōu)化。1、引言直播行業(yè)從傳統(tǒng)的娛樂直播發(fā)展到教育直播、電商直播等形式，產(chǎn)生了很多新的玩法。傳統(tǒng)的直播是一位主播展示才藝，觀眾通過彈幕、送禮物等方式進(jìn)行互動(dòng)。隨著網(wǎng)絡(luò)質(zhì)量不斷地提高，用戶也對直播平臺產(chǎn)生的新的要求，實(shí)時(shí)互動(dòng)直播的場景就出現(xiàn)了，觀眾可以同時(shí)觀看多位主播之... 閱讀全文
摘要: 本文引用自公眾號“計(jì)算科學(xué)與信息化”，原題“運(yùn)維必知的20個(gè)網(wǎng)絡(luò)安全知識點(diǎn)!”，下文進(jìn)行了排版和內(nèi)容優(yōu)化。1、引言即時(shí)通訊IM應(yīng)用開發(fā)的初學(xué)者很容易迷失在網(wǎng)絡(luò)編程的復(fù)雜性以及通信安全的各種概念里，本文不涉及深度理論知識，盡量通過一句話或幾句話讓你快速了解20個(gè)相關(guān)的網(wǎng)絡(luò)編程和通信安全知識點(diǎn)，希望能助你愉快地開始即時(shí)通訊應(yīng)用開發(fā)。技術(shù)交流：- 移動(dòng)端I... 閱讀全文
摘要: 1、前言本文深入分析了即時(shí)通信(IM)系統(tǒng)中所面臨的各種安全問題，綜合利用對稱加密算法（DES算法）、公開密鑰算法（RSA算法）和Hash算法(MD5)的優(yōu)點(diǎn)，探討組合加密算法在即時(shí)通信中的應(yīng)用。技術(shù)交流：- 移動(dòng)端IM開發(fā)入門文章：《新手入門一篇就夠：從零開發(fā)移動(dòng)端IM》- 開源IM框架源碼：https://github.com/JackJiang2011/MobileIMSDK（備用地址點(diǎn)此... 閱讀全文
摘要: 本文由美團(tuán)安全研究員喬丹分享，作者碩士畢業(yè)于復(fù)旦大學(xué)，目前在美團(tuán)致力于云原生安全建設(shè)。原題“淺談?dòng)簿幋a密碼及其掃描工具”，下文進(jìn)行了排版和內(nèi)容優(yōu)化。1、引言密碼是對服務(wù)、系統(tǒng)和數(shù)據(jù)的訪問權(quán)限進(jìn)行授權(quán)的數(shù)字身份憑證，常見的密碼有API密鑰、非對稱私鑰、訪問Token等。硬編碼密碼（Hardcoded Secret），或稱嵌入式密碼（Embedded Secret），是指將密碼... 閱讀全文
摘要: 本文由轉(zhuǎn)轉(zhuǎn) 梁會(huì)彬、杜云杰分享，原題“轉(zhuǎn)轉(zhuǎn)IM的實(shí)踐與思考”，下文進(jìn)行了排版和內(nèi)容優(yōu)化。1、引言接上篇《整體架構(gòu)設(shè)計(jì)》，筆者將以轉(zhuǎn)轉(zhuǎn)IM架構(gòu)為起點(diǎn)，介紹IM相關(guān)組件以及組件間的關(guān)系；以IM登陸和發(fā)消息的數(shù)據(jù)流轉(zhuǎn)為跑道，介紹IM靜態(tài)數(shù)據(jù)結(jié)構(gòu)、登陸和發(fā)消息時(shí)的動(dòng)態(tài)數(shù)據(jù)變化；以IM常見問題為風(fēng)景，介紹保證IM實(shí)時(shí)性、可靠性、一致性的一般方案；以高可用、高并發(fā)為終點(diǎn)，介紹保證IM系... 閱讀全文
摘要: 本文引用了“薔薇Nina”的“Nginx 相關(guān)介紹(Nginx是什么?能干嘛?)”一文部分內(nèi)容，下文有修訂和改動(dòng)。1、引言Nginx（及其衍生產(chǎn)品）是目前被大量使用的服務(wù)端反向代理和負(fù)載均衡方案，從某種意義上來講，Nginx幾乎是低成本、高負(fù)載Web服務(wù)端代名詞。如此深入人心的Nginx，很多人也想當(dāng)然的認(rèn)為，在IM或消息推送等場景下是否也能使用Ng... 閱讀全文
摘要: 1、前言一個(gè)孤獨(dú)的小人，面對巨大的地球站在那里，這就是微信的啟動(dòng)畫面，許多人對此非常熟悉。而知道畫面里是非洲，就不是那么容易了。這是因?yàn)閳D片里的地球?yàn)樵茍F(tuán)籠罩，只露出一部分地貌特征，需要對世界地圖比較熟悉的有心人才能發(fā)現(xiàn)這一點(diǎn)。 技術(shù)交流：- 移動(dòng)端IM開發(fā)入門文章：《新手入門一篇就夠：從零開發(fā)移動(dòng)端IM》- 開源IM框架源碼：https://github.com/JackJ... 閱讀全文