paulwong
          

          

          



          
	
					
	
          
		
          
			vllm資源
		
          
		vllm是一個可以加載大模型, 推理, 量化模型, 以http api的方式暴露服務的框架.


          

          

          https://docs.vllm.ai/en/latest/getting_started/examples/basic_with_model_default_sampling.html
          

          


          

          


          

          

		
          
			posted on 2025-01-17 13:01 paulwong 閱讀(73) 評論(0)  編輯  收藏  所屬分類: AI-LLM 
		
          
	
          
	
	





          
	    
    




          








          

				

          



    







          
        
	




主站蜘蛛池模板：
类乌齐县|
上犹县|
红桥区|
柯坪县|
垣曲县|
长葛市|
雷州市|
涟源市|
尉犁县|
衡水市|
玉山县|
潞西市|
晋中市|
奉贤区|
会昌县|
永川市|
堆龙德庆县|
泰和县|
乾安县|
无棣县|
都昌县|
宿松县|
凤山市|
炉霍县|
潜山县|
阿瓦提县|
行唐县|
汉源县|
林甸县|
涞水县|
扶沟县|
武川县|
新余市|
教育|
白山市|
堆龙德庆县|
余江县|
广宁县|
兴海县|
凌海市|
卢湾区|