摘要: 本文由字節跳動張華挺分享，原題“你不知道的前端音視頻知識”，下文有修訂和重新排版。1、前言本文回顧了Web端音視頻的發展歷程，同時還介紹了視頻的編碼、幀率、比特率等概念，提到了Canvas作為視頻播放的替代方案，以及FFmpeg在音視頻處理中的重要作用等知識。 技術交流：- 移動端IM開發入門文章：《新手入門一篇就夠：從零開發移動端IM》- 開源IM框架源碼：ht... 閱讀全文
摘要: Code highlighting produced by Actipro CodeHighlighter (freeware)
http://www.CodeHighlighter.com/
-->sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
sudo vi /etc... 閱讀全文
摘要: 本文由騰訊技術團隊羅國佳分享，原題“微信讀書后臺架構演進之路”，下文有修訂和重新排版。1、前言今年是微信讀書上線10周年，后臺技術架構也伴隨著微信讀書的成長經歷了多次迭代與升級。每一次的組件升級與架構突破，在一個運行了10年的系統上落地都不是一件容易的事情，需要破釜沉舟的決心與膽大心細的業務聯動。微信讀書經過了多年的發展，贏得了良好的用戶口碑，后臺系統的服務質量直接影響著用... 閱讀全文
摘要: 本文由騰訊技術團隊羅國佳分享，原題“微信讀書后臺架構演進之路”，下文有修訂和重新排版。1、前言今年是微信讀書上線10周年，后臺技術架構也伴隨著微信讀書的成長經歷了多次迭代與升級。每一次的組件升級與架構突破，在一個運行了10年的系統上落地都不是一件容易的事情，需要破釜沉舟的決心與膽大心細的業務聯動。微信讀書經過了多年的發展，贏得了良好的用戶口碑，后臺系統的服務質量直接影響著用... 閱讀全文
摘要: 本文由騰訊技術團隊羅國佳分享，原題“微信讀書后臺架構演進之路”，下文有修訂和重新排版。1、前言今年是微信讀書上線10周年，后臺技術架構也伴隨著微信讀書的成長經歷了多次迭代與升級。每一次的組件升級與架構突破，在一個運行了10年的系統上落地都不是一件容易的事情，需要破釜沉舟的決心與膽大心細的業務聯動。微信讀書經過了多年的發展，贏得了良好的用戶口碑，后臺系統的服務質量直接影響著用... 閱讀全文
摘要: 1、基本介紹RainbowChat-Web是一套基于MobileIMSDK-Web的網頁端IM系統。不同于市面上某些開源練手或淘寶售賣的demo級代碼，RainbowChat-Web的產品級代碼演化自真正運營過的商業產品，其所依賴的通信層核心SDK已在數年內經過大量客戶及其輻射的最終用戶的使用和驗證。RainbowChat-Web同時也是移動端IM應用RainbowChat的姊妹產品。 ... 閱讀全文
摘要: 本文由攜程前端開發專家Chris Xia分享，關注新技術革新和研發效率提升。1、引言本文介紹了攜程機票前端基于Server-Sent Events（SSE）實現服務端推送的企業級全鏈路通用技術解決方案。文章深入探討了 SSE 技術在應用過程中包括方案對比、技術選型、鏈路層優化以及實際效果等多維度的技術細節，為類似使用場景提供普適性參考和借鑒。該方案設計目標是實現通用性，適用于各種網絡架構和業務場景... 閱讀全文
摘要: 本文來自嗶哩嗶哩通用技術團隊分享，下文進行了排版優化和修訂。1、引言隨著 AI 技術快速發展，業務對 AI 能力的渴求日益增長。當 AI 服務面對處理大規模請求和高并發流量時，AI 網關從中扮演著至關重要的角色。AI 服務通常涉及大量的計算任務和設備資源占用，此時需要一個 AI 網關負責協調這些請求來確保系統的穩定性與高效性。因此，與傳統微服務架構類似，我們將相關 API 管理的功能（如流量控制、... 閱讀全文
摘要: 本文來自QCon全球軟件開發大會王勁鵬的技術分享，下文進行了排版優化和修訂。1、引言性能和體驗在 iOS / Android 雙端場景下已經是一個較為成熟的話題，但隨著鴻蒙 OS 的發展，端側開發者需要更多的關注多端場景的差異性。本次分享的主題是小紅書在鴻蒙平臺上的工程實踐，主要聚焦于性能優化和探索。（* PPT講稿原文下載：《小紅書鴻蒙OS下的性能優化探索與實踐(PPT)[附件下載]》）先介紹一... 閱讀全文
摘要: 全平臺開源即時通訊IM聊天框架MobileIMSDK的服務端開發指南，支持鴻蒙NEXT 閱讀全文
摘要: 一、基本介紹MobileIMSDK是一套全平臺原創開源IM通信層框架：超輕量級、高度提煉，lib包50KB以內；精心封裝，一套API同時支持UDP、TCP、WebSocket三種協議（可能是全網唯一開源的）；客戶端支持iOS、Android、標準Java、H5、微信小程序、Uniap、鴻蒙Next(Demo完整源碼)；服務端基于Netty，性能卓越、易于擴展 new；可與姊妹工程&nbs... 閱讀全文
摘要: 足球基礎數據
https://www.nami.com/details/4nw10i0tela68lq#interface
足球統計數據
https://www.nami.com/details/7xwk3iqtv3s9rk6#interface
足球統計數據
https://www.nami.com/details/7xwk3iqtv3s9rk6#interfa... 閱讀全文
摘要: 本文由轉轉技術團隊趙衛兵分享，原題“鴻蒙新篇章：轉轉 APP 的 HarmonyOS Next 開發之旅”，下文進行了排版優化和內容修訂。1、引言2023 年在華為開發者大會（HDC.Together）上，除了面向消費者的 HarmonyOS 4 之外，華為還推出了面向開發者的 HarmonyOS Next 開發者預覽。而在去年的 6 月份華為開發者大會上，對外開啟了 Ha... 閱讀全文
摘要: 本文由企業微信客戶端團隊黃瑋分享，原題“在流沙上筑城：企微鴻蒙開發演進”，下文進行了排版優化和內容修訂。1、引言當企業微信團隊在2024年啟動鴻蒙Next版開發時，我們面對的是雙重難題：1）在WXG小團隊模式下，如何快速將數百萬行級企業應用移植到全新操作系統？2）在鴻蒙API 還是Preview的初期，如何保持業務代碼的穩定，在API快速更新的浪潮中巋然不動？DataLis... 閱讀全文
摘要: 本文由美團技術團隊張晨分享，原題“鴻蒙應用簽名實操及機制探究”，下文進行了排版優化和內容修訂。1、引言華為鴻蒙單框架操作系統HarmonyOS NEXT已于2024年10月23日正式發布Release版。HarmonyOS NEXT僅支持鴻蒙原生應用，不再兼容安卓。本文對鴻蒙NEXT公開資料進行了深入分析和解讀，梳理了鴻蒙單框架應用的簽名機制，拆解每一步的實操過程和背后的實... 閱讀全文
摘要: 本文由阿里云望宸分享，原題“大模型推理主戰場：什么才是通信協議標配？”，下文進行了排版優化和內容修訂。1、引言DeepSeek 加速了模型平權，隨之而來的是大模型推理需求的激增，大模型性能提升的主戰場從訓練轉移到了推理。推理并發的提升，將催生計算、存儲、網絡、中間件、數據庫等領域新的工程化需求。本文將分享 SSE 和 WebSocket 這兩個AI大模型應用的標配網絡通信協... 閱讀全文
使用trl庫做微調時, 對數據集的要求是:
如果是多輪對話場景:
jsonl 文件，且需符合以下要求:
1.每行是一個獨立的 JSON 對象;
2 每個對象須包含一個鍵名為 messages 的數組，數組不能為空;
3.messages 中每個元素必須包含 role 和 content 兩個字段:
4.role 只能是 system,user 或 assisiant;
5.如果有 system 角色消息, 需在數組首位;
6.第一條非 system 消息必須是 user 角色;
7.user 和 assisiant 角色的消息應當交替、成對出現，不少于1對;
如果是指令微調場景:
jsonl 文件，且需符合以下要求:
1.每行是一個獨立的 JSON 對象;
2 每個對象須包含且只能包含一個鍵名為 text 的鍵值對，值不能為空;
摘要: 本文由夏冰軟件cc分享，下文進行了排版和內容優化。1、引言本文接上篇《什么是IM系統的消息時序一致性？》，本篇將通俗易懂地講解IM系統中的端到端加密原理，為了降低閱讀門檻，相關的技術概念會提及但不深入展開。IM即時通訊系統的技術本質是“即時消息技術”，是互聯網實時互動場景的底層架構，包括聊天、直播、在線客服等業務領域在內，所有需要實時互動、高實時性的場景，都需要用到IM技術... 閱讀全文
大模型開發出來后, 一般要經過以下幾個階段的訓練:
預訓練(Pre-Trained)
單純提供文本: {"text":"..."}
訓練模型由第一個文字開始, 預測后面的文字, 直到結束.
這種模型只會做完成文本的任務
監督微調(Supervised Fine Turning)
為了使模型能完成根據指令完成回答, 而不是隨機生成回答
提供的文本: {"instruction":"...", "output":"..."}
高效參數微調(Parameter Efficient Fine Turning)
只調整部分參數, 具體實現方法有LoRA
參考:
摘要: 本文由vivo互聯網服務器團隊Cai Linfeng分享，來自公眾號“ vivo互聯網技術”，原題“百萬級群聊的設計實踐”，下文進行了排版優化和內容修訂。1、引言現在IM群聊產品多種多樣，有國民級的微信、QQ，企業級的釘釘、飛書，還有許多公司內部的IM工具，這些都是以客戶端為主要載體。而且群聊人數通常都是有限制，微信正常群人數上限是500，QQ200... 閱讀全文
摘要: 大模型微調后的評估指標是衡量模型性能的關鍵，通常根據任務類型和具體需求選擇不同的評估指標。以下是一些常見的評估指標及其適用場景：
1. 分類任務
準確率（Accuracy）：預測正確的樣本占總樣本的比例。
適用場景：類別分布均衡的任務。
精確率（Precision）：預測為正類的樣本中，實際為... 閱讀全文
摘要: 本文由B端技術中心資深開發工程師馬家憶分享，原題“B站在實時音視頻技術領域的探索與實踐”，下文進行了排版和內容優化。1、引言直播行業從傳統的娛樂直播發展到教育直播、電商直播等形式，產生了很多新的玩法。傳統的直播是一位主播展示才藝，觀眾通過彈幕、送禮物等方式進行互動。隨著網絡質量不斷地提高，用戶也對直播平臺產生的新的要求，實時互動直播的場景就出現了，觀眾可以同時觀看多位主播之... 閱讀全文
摘要: 本文引用自公眾號“計算科學與信息化”，原題“運維必知的20個網絡安全知識點!”，下文進行了排版和內容優化。1、引言即時通訊IM應用開發的初學者很容易迷失在網絡編程的復雜性以及通信安全的各種概念里，本文不涉及深度理論知識，盡量通過一句話或幾句話讓你快速了解20個相關的網絡編程和通信安全知識點，希望能助你愉快地開始即時通訊應用開發。技術交流：- 移動端I... 閱讀全文
摘要: 1、前言本文深入分析了即時通信(IM)系統中所面臨的各種安全問題，綜合利用對稱加密算法（DES算法）、公開密鑰算法（RSA算法）和Hash算法(MD5)的優點，探討組合加密算法在即時通信中的應用。技術交流：- 移動端IM開發入門文章：《新手入門一篇就夠：從零開發移動端IM》- 開源IM框架源碼：https://github.com/JackJiang2011/MobileIMSDK（備用地址點此... 閱讀全文
摘要: 本文由美團安全研究員喬丹分享，作者碩士畢業于復旦大學，目前在美團致力于云原生安全建設。原題“淺談硬編碼密碼及其掃描工具”，下文進行了排版和內容優化。1、引言密碼是對服務、系統和數據的訪問權限進行授權的數字身份憑證，常見的密碼有API密鑰、非對稱私鑰、訪問Token等。硬編碼密碼（Hardcoded Secret），或稱嵌入式密碼（Embedded Secret），是指將密碼... 閱讀全文
摘要: 本文由轉轉 梁會彬、杜云杰分享，原題“轉轉IM的實踐與思考”，下文進行了排版和內容優化。1、引言接上篇《整體架構設計》，筆者將以轉轉IM架構為起點，介紹IM相關組件以及組件間的關系；以IM登陸和發消息的數據流轉為跑道，介紹IM靜態數據結構、登陸和發消息時的動態數據變化；以IM常見問題為風景，介紹保證IM實時性、可靠性、一致性的一般方案；以高可用、高并發為終點，介紹保證IM系... 閱讀全文
摘要: 本文引用了“薔薇Nina”的“Nginx 相關介紹(Nginx是什么?能干嘛?)”一文部分內容，下文有修訂和改動。1、引言Nginx（及其衍生產品）是目前被大量使用的服務端反向代理和負載均衡方案，從某種意義上來講，Nginx幾乎是低成本、高負載Web服務端代名詞。如此深入人心的Nginx，很多人也想當然的認為，在IM或消息推送等場景下是否也能使用Ng... 閱讀全文
摘要: 1、前言一個孤獨的小人，面對巨大的地球站在那里，這就是微信的啟動畫面，許多人對此非常熟悉。而知道畫面里是非洲，就不是那么容易了。這是因為圖片里的地球為云團籠罩，只露出一部分地貌特征，需要對世界地圖比較熟悉的有心人才能發現這一點。 技術交流：- 移動端IM開發入門文章：《新手入門一篇就夠：從零開發移動端IM》- 開源IM框架源碼：https://github.com/JackJ... 閱讀全文