Краткое содержание

Я слышал, что временная сверточная нейронная сеть лучше подходит для очень длинных последовательностей, чем LSTM, и я как раз занимаюсь этим и искал потенциальные улучшения архитектуры (в настоящее время я использую LSTM с многоголовым вниманием). В любом случае, я слышал, что они используют дилатацию — я пробовал некоторые свертки с дилатацией (я использую PyTorch, в котором нет временной сверточной сети как готового слоя). Однако есть одна вещь: Я не понимаю, как дилатация поможет понять контекст многих (больше, чем у LSTM) итераций. Я не понимаю, что такое дилатация? (Похоже, это делает учитываемые значения разреженными? — но почему это имеет значение) Где здесь скрытый слой — как это реализовать? Я понимаю, что есть набор слоев conv1d с дилатацией, равной степени двойки, начиная с 1. Я также понимаю часть с паддингом. Мне хотелось бы получить простое объяснение этой архитектуры и потенциально очень простую реализацию того, куда поместить каждый слой и где находится скрытое состояние, если оно есть.