Attention Is All You Need ("Внимание — это все, что вам нужно")
Идеи из научной статьи "Внимание — это все, что вам нужно" ("Attention Is All You Need"), авторы которой — сотрудники Google Brain и Google Research. Основное внимание в статье уделяется представлению новой сетевой архитектуры, получившей название Transformer, которая предназначена для задач преобразования последовательностей, таких как машинный перевод. Transformer полностью основан на механизмах внимания (self-attention), полностью исключая рекуррентные и сверточные сети, которые ранее доминировали в этой области. 00:00 — Вступление 01:03 — Проблема последовательности 02:13 — Радикально новая идея 03:30 — Внутри трансформера 04:53 — Новый уровень качества 06:00 — Начало революции Сайт: https://systems-analysis.ru Wiki: https://systems-analysis.ru/wiki X (Twitter): https://x.com/system_ru Telegram: https://t.me/systems_analysis_ru https://www.youtube.com/playlist?list=PLHRH6-SxKFs92WY2OGVlTpgHRsHyqxevr Attention Is All You Need Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin https://arxiv.org/abs/1706.03762 #AttentionIsAllYouNeed #Трансформеры #ИскусственныйИнтеллект #Нейросети #МашинноеОбучение #МеханизмВнимания #SelfAttention #ГлубокоеОбучение #NLP #ОбработкаЕстественногоЯзыка #GoogleAI #АрхитектураИИ #РеволюцияИИ #БольшиеЯзыковыеМодели #LLM
Идеи из научной статьи "Внимание — это все, что вам нужно" ("Attention Is All You Need"), авторы которой — сотрудники Google Brain и Google Research. Основное внимание в статье уделяется представлению новой сетевой архитектуры, получившей название Transformer, которая предназначена для задач преобразования последовательностей, таких как машинный перевод. Transformer полностью основан на механизмах внимания (self-attention), полностью исключая рекуррентные и сверточные сети, которые ранее доминировали в этой области. 00:00 — Вступление 01:03 — Проблема последовательности 02:13 — Радикально новая идея 03:30 — Внутри трансформера 04:53 — Новый уровень качества 06:00 — Начало революции Сайт: https://systems-analysis.ru Wiki: https://systems-analysis.ru/wiki X (Twitter): https://x.com/system_ru Telegram: https://t.me/systems_analysis_ru https://www.youtube.com/playlist?list=PLHRH6-SxKFs92WY2OGVlTpgHRsHyqxevr Attention Is All You Need Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin https://arxiv.org/abs/1706.03762 #AttentionIsAllYouNeed #Трансформеры #ИскусственныйИнтеллект #Нейросети #МашинноеОбучение #МеханизмВнимания #SelfAttention #ГлубокоеОбучение #NLP #ОбработкаЕстественногоЯзыка #GoogleAI #АрхитектураИИ #РеволюцияИИ #БольшиеЯзыковыеМодели #LLM