字母"B"通常代表“Billion”,即“十亿”。这是模型训练中所使用到参数的数量。
例如,GPT-3模型有175B个参数,这里的“175B”就是表示该模型有1750亿个参数。参数越多,代表模型训练的越复杂,模型的能力也就越强。
通常1B,意味着需要1G以上的内存,7B需要8G以上的内存才能成功运行大模型。