Исследование производительности генеративного ИИ на встраиваемых ARM-платформах под управлением ОС …

http://0x1.tv/20260604K Исследование производительности генеративного ИИ на встраиваемых ARM-платформах под управлением ОС «Аврора» (Михаил Гуненков, OSDAY-2026) * Михаил Гуненков ------------- Практическая оценка того, насколько локальный запуск LLM возможен на мобильных ARM-устройствах под управлением ОС «Аврора». Проверяются разные языки, сценарии, модели, схемы квантования и два устройства — TrustPhone T1 и Kvadra T. Для воспроизводимости используется связка Bencher и Inferencer: один инструмент управляет матрицей экспериментов и собирает данные, второй запускает модели через llama.cpp и измеряет производительность. Сравниваются скорость генерации токенов, потребление памяти, время до первого токена, задержки между токенами, влияние квантования и масштабирование по числу потоков. Вывод: локальный инференс применим, если потребление RAM не превышает примерно 1 ГБ. Лучшие кандидаты — Qwen2.5 и Vikhr-Qwen2.5 с квантованием Q4_K_M или IQ4_XS, дающие около 8–19 токенов в секунду. Для оценки пользовательского опыта в русскоязычных сценариях одной TPS недостаточно: важна также скорость чтения WPS.