Эра трансформеров, отличие человека от LLM и будущее AI — Михаил Бурцев | Мыслить как ученый #55
Как архитектура трансформера изменила искусственный интеллект и стала основой современных LLM? Разговор с Михаилом Бурцевым — исследователем AI, кандидатом физико-математических наук и Arnold & Landau AI Fellow в London Institute for Mathematical Sciences. Обсуждаем устройство трансформеров и механизм внимания. Как появилась архитектура, на которой построены ChatGPT, Claude и Gemini? Почему предсказание следующего слова оказалось настолько мощной идеей и как оно изменило развитие AI? Говорим о природе интеллекта, различиях между человеком и LLM, а также о том, почему способность предсказывать следующее слово приводит к поведению, которое выглядит разумным. Разбираем, как трансформеры помогают анализировать ДНК и как такие системы могут использоваться для персонализированной медицины. Говорим о будущем ИИ: почему эпоха масштабирования может подходить к концу, какие ограничения есть у современных моделей и каким может стать следующий этап развития искусственного интеллекта. ▶︎Naukka Talents – платформа для поиска талантов и найма STEM-специалистов в deep-tech и biotech проекты. Подать заявку кандидата: https://postnauka.org/link/tal1125_podcast1 00:00 О чем этот выпуск? 03:40 Как появились современные большие языковые модели 15:16 Тройственный союз: нейросети, символы и эволюция 18:08 Naukka Talents ищет талантливых STEM-специалистов 20:03 Предыстория Attention Is All You Need 25:52 Проблема памяти до появления трансформеров 29:45 Что такое self-attention 37:30 Почему диалог сложнее машинного перевода 43:57 Как появились BERT и GPT 56:18 Создали ли мы искусственный интеллект? 01:07:44 Могут ли LLM навредить человечеству? 01:16:22 Почему AI делает контент вместо научных прорывов 01:22:22 Главная проблема трансформеров — длинный контекст 01:31:28 Как работает Recurrent Memory Transformer 01:37:50 Зачем LLM контекст на 50 миллионов токенов 01:42:53 Как превратить ДНК в язык для ИИ 01:49:48 Зачем изучать ДНК? 01:55:16 Зачем ИИ читать геном целиком? 02:03:33 Может ли ИИ прочитать весь геном человека? 02:08:41 ИИ против устойчивых бактерий 02:12:51 Без науки нет будущего 02:17:21 Заключение ▶︎Следите за ПостНаукой на других площадках: https://postnauka.org/link/linktr_yt ▶︎Курсы от создателей ПостНауки: https://postnauka.org/link/academy_yt ▶︎Поддержать ПостНауку: https://postnauka.org/link/donate_yt ▶︎По вопросам партнерства — коммуникационное агентство ПостНаука.Specials: https://postnauka.org/link/letsdance_yt #трансформер #LLM #искусственныйинтеллект
Как архитектура трансформера изменила искусственный интеллект и стала основой современных LLM? Разговор с Михаилом Бурцевым — исследователем AI, кандидатом физико-математических наук и Arnold & Landau AI Fellow в London Institute for Mathematical Sciences. Обсуждаем устройство трансформеров и механизм внимания. Как появилась архитектура, на которой построены ChatGPT, Claude и Gemini? Почему предсказание следующего слова оказалось настолько мощной идеей и как оно изменило развитие AI? Говорим о природе интеллекта, различиях между человеком и LLM, а также о том, почему способность предсказывать следующее слово приводит к поведению, которое выглядит разумным. Разбираем, как трансформеры помогают анализировать ДНК и как такие системы могут использоваться для персонализированной медицины. Говорим о будущем ИИ: почему эпоха масштабирования может подходить к концу, какие ограничения есть у современных моделей и каким может стать следующий этап развития искусственного интеллекта. ▶︎Naukka Talents – платформа для поиска талантов и найма STEM-специалистов в deep-tech и biotech проекты. Подать заявку кандидата: https://postnauka.org/link/tal1125_podcast1 00:00 О чем этот выпуск? 03:40 Как появились современные большие языковые модели 15:16 Тройственный союз: нейросети, символы и эволюция 18:08 Naukka Talents ищет талантливых STEM-специалистов 20:03 Предыстория Attention Is All You Need 25:52 Проблема памяти до появления трансформеров 29:45 Что такое self-attention 37:30 Почему диалог сложнее машинного перевода 43:57 Как появились BERT и GPT 56:18 Создали ли мы искусственный интеллект? 01:07:44 Могут ли LLM навредить человечеству? 01:16:22 Почему AI делает контент вместо научных прорывов 01:22:22 Главная проблема трансформеров — длинный контекст 01:31:28 Как работает Recurrent Memory Transformer 01:37:50 Зачем LLM контекст на 50 миллионов токенов 01:42:53 Как превратить ДНК в язык для ИИ 01:49:48 Зачем изучать ДНК? 01:55:16 Зачем ИИ читать геном целиком? 02:03:33 Может ли ИИ прочитать весь геном человека? 02:08:41 ИИ против устойчивых бактерий 02:12:51 Без науки нет будущего 02:17:21 Заключение ▶︎Следите за ПостНаукой на других площадках: https://postnauka.org/link/linktr_yt ▶︎Курсы от создателей ПостНауки: https://postnauka.org/link/academy_yt ▶︎Поддержать ПостНауку: https://postnauka.org/link/donate_yt ▶︎По вопросам партнерства — коммуникационное агентство ПостНаука.Specials: https://postnauka.org/link/letsdance_yt #трансформер #LLM #искусственныйинтеллект