Qwen3 на Huawei Atlas 300i Duo: первый запуск LLM на китайском ускорителе
Гайд - https://clck.ru/3Qf3AF В этом ролике запускем Qwen3 на китайском ИИ ускорителе Huawei Atlas 300i Duo 96GB и показываем процесс инференса через MindIE (аналог VLLM или Llamacpp) в Docker-контейнере. По гайду можно запустить почти любую LLM на ускорителях Huawei Ascend и Huawei Atlas: от компактных моделей до больших трансформеров. Главное чтобы модель была в формате safetensors, как они обычно публикуются на HuggingFace! В целом опыт можно повторить на ускорителях Huawei Atlas 300i 32GB LPDDR4X, atlas 300i pro 24gb, а также на линейках чипов Ascend 310 / 910 / 910B / 910C. Показываем настройку окружения, запуск контейнера Docker с MindIE, загрузку модели Qwen3 и подключение инференса через API к OpenWebUI - делаем полноценный локальный LLM сервер на китайском NPU. Телега - https://t.me/serverflowofficial Блог ServerFlow - https://serverflow.ru/blog/ 00:00 Вступление 01:12 Atlas и Proxmox 01:50 Драйвера NPU и CANN 04:58 Qwen3 HuggingFace 05:42 Контейнер с MindIE 07:40 Редактирование config MindIE 08:30 Редактирование config Qwen3 09:04 Запуск MindIE Deamon 10:00 API OpenWebUI 10:45 Инференс Qwen3 на Atlas 300i Duo 11:51 Замер скорости инференса TPS 1 запрос 13:00 Замер скорости инференса TPS 50 запросов 14:30 Выводы о ускорителе Huawei
Гайд - https://clck.ru/3Qf3AF В этом ролике запускем Qwen3 на китайском ИИ ускорителе Huawei Atlas 300i Duo 96GB и показываем процесс инференса через MindIE (аналог VLLM или Llamacpp) в Docker-контейнере. По гайду можно запустить почти любую LLM на ускорителях Huawei Ascend и Huawei Atlas: от компактных моделей до больших трансформеров. Главное чтобы модель была в формате safetensors, как они обычно публикуются на HuggingFace! В целом опыт можно повторить на ускорителях Huawei Atlas 300i 32GB LPDDR4X, atlas 300i pro 24gb, а также на линейках чипов Ascend 310 / 910 / 910B / 910C. Показываем настройку окружения, запуск контейнера Docker с MindIE, загрузку модели Qwen3 и подключение инференса через API к OpenWebUI - делаем полноценный локальный LLM сервер на китайском NPU. Телега - https://t.me/serverflowofficial Блог ServerFlow - https://serverflow.ru/blog/ 00:00 Вступление 01:12 Atlas и Proxmox 01:50 Драйвера NPU и CANN 04:58 Qwen3 HuggingFace 05:42 Контейнер с MindIE 07:40 Редактирование config MindIE 08:30 Редактирование config Qwen3 09:04 Запуск MindIE Deamon 10:00 API OpenWebUI 10:45 Инференс Qwen3 на Atlas 300i Duo 11:51 Замер скорости инференса TPS 1 запрос 13:00 Замер скорости инференса TPS 50 запросов 14:30 Выводы о ускорителе Huawei