Краткое содержание

Я часто нахожу исследования, оценивающие количество необходимых GPU для развертывания модели глубокого обучения. В этой статье, например, оценивается, что ChatGPT потребовало бы около 1024 GPU для обучения в течение месяца. Почему они говорят только о количестве GPU? Почему они не упоминают CPU или TPU (которые, вероятно, использовались, поскольку это модель глубокого обучения)?