Краткое содержание

arXiv:2511.11624v1 Тип анонса: cross Аннотация: Большие языковые модели (LLM) и их варианты, работающие в облаке, оказали значительное влияние на реальные приложения. Развертывание меньших моделей (т.е. малых языковых моделей, SLM) на периферийных устройствах дает дополнительные преимущества, такие как снижение задержек и независимость от сетевого подключения. Однако ограниченные вычислительные ресурсы и энергобюджет периферийных устройств создают трудности для эффективного развертывания. В данном исследовании оценивается энергоэффективность пяти репрезентативных SLM — Llama 3.2, Phi-3 Mini, TinyLlama и Gemma 2 на Raspberry Pi 5, Jetson Nano и Jetson Orin Nano (в конфигурациях CPU и GPU). Результаты показывают, что Jetson Orin Nano с использованием GPU-ускорения достигает наивысшего соотношения энергии к производительности, значительно превосходя системы на базе CPU. Llama 3.2 обеспечивает наилучший баланс точности и энергоэффективности, в то время как TinyLlama хорошо подходит для сред с низким энергопотреблением ценой снижения точности. В отличие от них, Phi-3 Mini потреб