Почему ChatGPT забывает то, что ты написал раньше?
Почему ChatGPT иногда начинает забывать то, о чём вы говорили раньше? В этом видео разберёмся, как на самом деле работает память языковой модели, почему длинный разговор постепенно становится сложнее для ИИ и чем контекстное окно отличается от обычной памяти компьютера. Поговорим о том, что такое токены, как модель использует историю переписки, почему большой контекст не означает идеальную память и как важная информация может потеряться среди тысяч других сообщений. Вы узнаете, зачем системам ИИ нужны сжатие, суммаризация и отдельные механизмы долговременной памяти. Разберём, почему простое увеличение контекстного окна не решает проблему полностью, как длинные диалоги увеличивают нагрузку на GPU и память, зачем используется KV cache и почему хранить информацию намного проще, чем правильно доставать её именно тогда, когда она нужна. И главное — почему настоящая проблема будущих AI-ассистентов заключается не в том, чтобы помнить абсолютно всё, а в том, чтобы понимать, что именно нельзя забыть.
Название:
Почему ChatGPT забывает то, что ты написал раньше?
Категория:
Разное