Краткое содержание

arXiv:2509.08383v2 Тип объявления: замена-перекрёстная публикация Аннотация: Большие языковые модели (LLM) обеспечивают работу современных приложений искусственного интеллекта, однако обработка конфиденциальных данных на недоверенных серверах вызывает проблемы с защитой конфиденциальности. Гомоморфное шифрование (HE) позволяет выполнять вычисления над зашифрованными данными для безопасного вывода результатов. Однако нейросетевая генерация текста требует методов декодирования, таких как argmax и выборка, которые являются неполи-номиальными и поэтому вычислительно дорогостоящими при использовании в зашифрованной среде, создавая серьёзную проблему производительности. Мы представляем алгоритм cutmax — дружественный к гомоморфному шифрованию метод argmax, который сокращает количество операций с зашифрованным текстом по сравнению с предыдущими методами, что делает возможным практическое использование жадного декодирования под шифрованием. Кроме того, мы предлагаем первый совместимый с HE метод ядра (top-p), использующий cutmax для эффективного стохастического декодирования с доказуемыми гарантиями приватности. Оба метода полиномиальны, обеспечивая эффективную обработку выводов в условиях сохранения конфиденциальности. Более того, их дифференцируемость способствует оптимизации последовательностей на основе градиентов.