Краткое содержание

Виновник: https://iquestlab.github.io//https://huggingface.co/IQuestLab BLUF: Я оцениваю с почти полной уверенностью, что модели IQuest-Coder представляют собой гибрид конфигурации внимания LLaMA-3.1-70B с размерностями и токенизатором Qwen2.5-32B. Утверждения об обучении «с нуля» вводят в заблуждение и являются ложными. Хотя сами модели не были предобучены IFakeLab, механизм цикла, по-видимому, представляет собой франкенштейновскую комбинацию из четырех статей. Дольше; Вот пункты, в которых эта лаборатория/релиз модели лжет. Претензии: * Утверждения об обучении «с нуля» являются ложными. * Раздел 2.4 Они утверждают, что механизм Loop является новаторским. Различные модели, которые они выпустили сегодня, — это все разные чекпоинты во время их «миллионного часа GPU» обучения. Претензия 1: (1) Модель Stage1 была случайно закоммичена, а затем удалена с исходным заголовком, который признает вывод. Ссылка на коммит: https://huggingface.co/IQuestLab/IQuest-Coder-V1-40B-Instruct/commit/53203acdff5fd17b462fcf69c89f8cf110bb743a (2) intermediate_size = 27,648 Наиболее уличающим доказательством является i