【[224星]kubernetes-sigs/gateway-api-inference-extension：为Kubernetes上的大语言模型推理提供高效、安全的网关扩展。亮点：1. 尾延迟降低，吞吐量提升，优化Kubernetes托管模型服务器的推理性能；2. 提供Kubernetes原生声明式API，支持模型版本控制与流量分割；3. 支持多模型服务提供商集成，提升资源利用率】
'Gateway API Inference Extension: This extension upgrades an ext-proc-capable proxy or gateway to become an inference gateway, supporting inference platform teams self-hosting large language models on Kubernetes.'
GitHub: github.com/kubernetes-sigs/gateway-api-inference-extension
Kubernetes 大语言模型 推理优化 AI创造营
