【[178星]async_cosyvoice:让语音合成推理飞起来的加速器。亮点:1. 使用vllm加速,单任务推理RTF从0.25-0.30降至0.1-0.15;2. 流式推理首包延迟仅150-250ms;3. 并发推理时,4070显卡支持20个非流式并发或10个流式并发】
'async_cosyvoice: Accelerating CosyVoice2 inference with vllm'
GitHub: github.com/qi-hua/async_cosyvoice
语音合成加速 vllm优化 高性能推理 AI创造营