小团队自己部署开源模型，硬件到底要怎么估？

我们不报具体型号和价格，因为这部分变动太快，写下来三个月就过时。只说估算思路。

先看三件事：模型参数量对应的显存占用、你要的并发量、能接受的延迟。显存是大头，量化能压下来一部分，但会掉效果；并发决定你要几张卡；延迟决定你能不能用在对客实时场景里。

很多团队一开始低估的不是硬件，而是运维——模型升级、灰度回滚、效果回归测试，这些没人做就会出事。

你们踩过最大的一个坑是什么？说说当时的场景。