Краткое содержание

StarCoder2 15B Instruct отлично справляется с задачами программирования, преимущественно на Python. Это первая самообученная открытая большая языковая модель (LLM), разработанная командой BigCode. Данная модель была дообучена без каких-либо аннотаций от человека или дистиллированных данных от проприетарных больших языковых моделей. Базовая модель применяет метод **группированного внимания к запросу** («Grouped Query Attention») и обучалась с использованием цели заполнения середины последовательности («Fill-in-the-Middle objective») на основе свыше четырёх триллионов токенов.