- Published on
在上一篇多进程部署的基础上，通过引入 SharedMemory 零拷贝、AnyIO 流式管道以及精细的 Asyncio 锁机制，成功将 50 路并发下的 RTF 从 0.61 压至 0.23，实现吞吐量翻倍。
研究归档
研究笔记
全部笔记
- llm (3)
- python (2)
- funasr (2)
- 系统工程与部署能力 (2)
- 多进程 (2)
- fastapi (2)
- 实验项目 (2)
- sharedmemory (1)
- asyncio (1)
- 性能优化 (1)
- 并发编程 (1)
- 字幕翻译 (1)
- 多语言 (1)
- prompt-工程 (1)
- 质量评估 (1)
- ai-工程 (1)
- subtitle-translation (1)
- multilingual (1)
- prompt-engineering (1)
- quality-evaluation (1)
- ai-engineering (1)
- cpu优化 (1)
- 性能调优 (1)
- 深度学习部署 (1)
- ai-agents (1)
- multi-model (1)
- open-source (1)
- multiprocessing (1)
- 模型部署 (1)
- asr (1)
- 推荐系统 (1)
- 召回层 (1)
- 粗排序 (1)
- 精排序 (1)
- ctr模型 (1)
- 产品导向与场景思维 (1)
- nlp (1)
- ranking (1)