Self-hosted LLM для бизнеса: как LexARE построила AI-платформу на рынке Казахстана | IT-беш в Алматы

Дмитрий Ерёмин, CEO и co-Founder LexARE, рассказывает о создании специализированной LLM-платформы для субъектов МСБ в Казахстане. В докладе разбираются архитектура системы из восьми AI-агентов, выбор self-hosted инфраструктуры на базе GPU NVIDIA A5000 вместо внешних API и результаты нагрузочного тестирования. Отдельно представлена юнит-экономика проекта: при объеме 6,7 млрд токенов в месяц self-hosted обходится в разы дешевле облачных API, стоимость которых составила бы до $45 000 в месяц. Servercore — международный провайдер IT-инфраструктуры. 📍Ташкент (Узбекистан) 📍Алматы (Казахстан) 📍Найроби (Кения) Официальный сайт Servercore — https://servercore.com/ru/ Документация Servercore — https://docs.servercore.com/ru/ Подписывайтесь на Servercore в социальных сетях: Telegram: https://t.me/ServercoreCA Linkedin: https://www.linkedin.com/company/ServercoreCA Facebook: https://www.facebook.com/Servercore Twitter: https://x.com/ServercoreCA Instagram: https://www.instagram.com/ServercoreCA/ Остались вопросы? Напишите нам на hello@servercore.com. Мы ответим в течение 1 рабочего дня.