Я воспроизвожу определенную архитектуру сети, которая очень скупо описывается. Одна часть этой архитектуры представлена на изображении, где выход 1x1024 или 1024x1 от трансформера должен быть объединен с выходом MLP для получения вектора 1x55 или 55x1, порядок измерений не имеет значения. Таким обра...
Лента материалов из области искусственного интеллекта (AI)
Материалов: 75502
В данной статье мы рассмотрим топ-10 инструментов искусственного интеллекта (ИИ), которые способствуют инновациям и повышению эффективности в различных отраслях. Эти инструменты предназначены для автоматизации повторяющихся задач, улучшения рабочих процессов и повышения производительности. Инструмен...
Из книги «Глубокое обучение» (Курвилл, Гудфеллоу, Бенжио): активация ReLU часто «умирает», поскольку один из недостатков выпрямленных линейных единиц заключается в том, что они не могут обучаться с помощью градиентных методов на примерах, для которых их активация равна нулю. Аналогично, регуляризаци...
Я работаю над примером Transformer, который демонстрируется на сайте TensorFlow: https://www.tensorflow.org/text/tutorials/transformer В этом примере модель машинного перевода обучается для перевода с португальского на английский. Трансформер кодируется с нуля и не используются другие популярные биб...
Я работаю над примером Transformer, который демонстрируется на сайте TensorFlow: https://www.tensorflow.org/text/tutorials/transformer В этом примере модель машинного перевода обучается для перевода с португальского на английский. Трансформер кодируется с нуля, и не используются другие популярные би...
Когда люди говорят об архитектуре ResNet, они имеют в виду нейронную сеть с пропусками связей. Но какую основу для сети они обычно подразумевают? Прямые сверточные сети или CNN? Применяются ли ResNets к RNN, или это бессмысленно, поскольку они концептуально схожи (https://arxiv.org/abs/1604.03640v1)...
Я новичок в области AI и машинного обучения. Для тонкой настройки GPT-3, я понимаю, что нам нужен набор тренировочных примеров, каждый из которых состоит из одного входного значения ("prompt") и его соответствующего выходного значения ("completion"). Я подготовил набор данных с "prompt" и "completio...
У меня есть набор данных для обнаружения объектов в формате YOLO с метками. Каждый образ может содержать экземпляры разных классов и несколько экземпляров одного и того же класса. Как разделить набор данных на тренировочный, валидационный и тестовый наборы так, чтобы каждый из них содержал примерно ...
Я ознакомился с методами prompt tuning (настройка подсказок) и prefix tuning (настройка префиксов), которые являются эффективными механизмами адаптации замороженных языковых моделей для выполнения специализированных задач. В чём разница между этими двумя подходами и как именно они работают? **Настр...
ФОНОВЫЙ ОПИСАНИЕ: Для применения мультимодального машинного обучения (ML) различные данные обычно поступают из одного и того же образца (например, рентген грудной клетки (модальность 1) и биомаркеры рака (модальность 2) относятся к одному и тому же пациенту (пример)). Проблема заключается в том, что...