paulwong

          vllm資源

          vllm是一個可以加載大模型, 推理, 量化模型, 以http api的方式暴露服務的框架.

          https://docs.vllm.ai/en/latest/getting_started/examples/basic_with_model_default_sampling.html


          posted on 2025-01-17 13:01 paulwong 閱讀(73) 評論(0)  編輯  收藏 所屬分類: AI-LLM

          主站蜘蛛池模板: 阿巴嘎旗| 漾濞| 敦煌市| 田阳县| 嘉鱼县| 三河市| 两当县| 交口县| 兴山县| 屯昌县| 福鼎市| 西华县| 罗甸县| 台东县| 张家口市| 开封县| 郓城县| 新野县| 綦江县| 郑州市| 武义县| 呼玛县| 印江| 黔江区| 龙川县| 太仓市| 黄浦区| 大安市| 青龙| 正阳县| 白河县| 天台县| 类乌齐县| 华容县| 甘德县| 满城县| 凤阳县| 山东省| 芮城县| 吉林省| 闽侯县|