AI 4×RTX 3090サーバーがvLLM負荷で電源断?XServer VPSで同時1・2・4・8を実測
4×RTX 3090サーバーがvLLM負荷で電源断する悩みを検討。XServer VPSへ同時1・2・4・8で64件送り、p95、エラー、RAM、OOM、公開API生存を実測しました。
AI
AI
AI
AI
AI
AI
AI
AI
AI
AI
AI
AI