Объясняем трансформеры так, чтобы оффер отозвали сразу

Любая информация запоминается лучше, если использовать обсценную лексику и показывать механизм attention на примере считалки Оксимирона. Выкладываем на канал яркий пример такого подхода, не советую так обьяснять мешок слов на собеседовании. 0:00:00 Почему пословный перевод ломается 0:01:40 Мешок слов (Bag of Words) и потеря порядка 0:03:04 Векторные представления и семантическая близость 0:06:36 Эмбеддинги: как ориентироваться в 512 измерениях 0:09:42 Полисемия: контекст решает смысл слова 0:13:38 RNN и проблема «забывания» длинных фраз 0:15:13 Затухание градиента на длинном контексте 0:17:18 Введение в Attention: интуиция без зазубривания матриц 0:19:10 Мнемоническая формула attention на примере девиаций 0:24:07 Как работают Query, Key и Value на практике 0:27:47 Генерация следующего токена и распределение вероятностей 0:31:58 Параметр Temperature: как он меняет уверенность модели 0:34:22 Виды внимания: Self-Attention, Masked и Cross-Attention 0:40:15 Оптимизация инференса: KV-кэш и скользящее окно 0:41:54 Позиционное кодирование: почему RoPE — это поворот, а не индекс 0:49:36 Архитектура MoE (Mixture of Experts) и маршрутизация токенов 0:51:59 Векторный поиск против стоимости эмбеддингов 0:59:25 Актуализация базы знаний (RAG): пайплайн ночного обновления 1:01:23 Чанкинг документов и мультимодальность