十亿人同时使用ChatGPT，难点不只是让模型回答，还要迅速取回聊天记录、账户状态等数据。OpenAI披露，其统一存储平台Habitat每秒处理超过7000万次请求，覆盖近40个地区，承载超过500 PB数据，为ChatGPT、API、Codex等服务提供数据访问。
Habitat的关键变化，是重新采用多租户——让多个产品共享底层存储，同时用隔离和限流防止某个高负载业务拖慢其他业务。它以Azure Cosmos DB（微软的全球分布式文档数据库）为主要底层存储，并把常用数据缓存在请求附近；缓存未命中时，才可能跨地区读取数据库。OpenAI称，配合关键数据就近复制及用Rust重写服务，读取中位延迟从约120毫秒降至约10毫秒，即速度约为原来的12倍。上述规模与性能数字均来自OpenAI披露，材料未提供独立测评结果。