Краткое содержание

Рациональные числа могли бы смягчить некоторые проблемы с градиентами, избегая потери точности при достижении весами и пропущенными значениями (сигналом) чрезвычайно низких и высоких значений. Я не знаю какого-либо оборудования, оптимизированного для рациональных чисел. GPU оптимизированы для векторных/матричных операций с плавающей точкой. Поэтому несколько недостатков заключаются в том, что это вероятно удвоит объем памяти и вычислительные ресурсы, необходимые для ANN. Но ладно, оборудование постоянно улучшается, и если бы была ценность в создании рационального сопроцессора для ИИ, кто-то бы его построил. Я подозреваю, что преимуществом было бы более высокая точность и возможно смягчение некоторых аспектов проблем с градиентом. Каковы другие плюсы и минусы ANN, использующей рациональные числа? Существуют ли какие-либо научные статьи, изучающие использование рациональных чисел в ANN?