Google стала на шаг ближе к ИИ, который думает как человек — представлена архитектура Titans
Способность ИИ нового образца сохранять обширный контекст поможет ему произвести революцию в исследованиях, например, отслеживая научную литературу; или обнаруживать аномалии в огромных наборах данных, в медицине или финансах, потому что система «помнит», что является нормой, и выделяет то, что относится к «сюрпризам». Новая архитектура отчасти повторяет человеческие когнитивные процессы — помимо краткосрочной и долговременной памяти, это способность «забывать» менее важную информацию и более точно расставлять приоритеты. Так и человек легче запоминает события, которые нарушают его ожидания — данная особенность поможет создавать более тонкие и зависимые от контекста системы ИИ. Современные системы на архитектуре Transformer способны обрабатывать запросы с контекстом до 2 млн токенов, тогда как Titans остаются эффективными и выше этого предела, сохраняя высокую точность при огромных объёмах входных данных. Механизм «метрики сюрпризов» позволяет системе определить, какую информацию следует записать в долговременную память — приоритет отдаётся элементам, которые нарушают ожидания. Это не только отражает когнитивные механизмы человека, но и является новым решением для управления ограниченными ресурсами памяти в области ИИ. Ранние тесты систем на архитектуре Titans показали многообещающие результаты в ряде задач, например, в задачах, связанных с извлечением указанной информации из огромных текстов: при увеличении длины контекста существующие модели демонстрируют резкое падение точности, тогда как новая архитектура сохраняет показатели. Следует, однако, отметить, что технология Titans пока находится на ранней стадии, и при её развёртывании в практических приложениях не исключается возникновение сложностей. Рано судить о системных требованиях для вычислительных алгоритмов, эффективности обучения и возможных угрозах — всё это будет проясняться по мере развития технологии. А способность ИИ сохранять и оценивать информацию может поднять вопросы о конфиденциальности, механизмах обработки данных и о непредсказуемом поведении систем ИИ. #firstlineinvestor
Способность ИИ нового образца сохранять обширный контекст поможет ему произвести революцию в исследованиях, например, отслеживая научную литературу; или обнаруживать аномалии в огромных наборах данных, в медицине или финансах, потому что система «помнит», что является нормой, и выделяет то, что относится к «сюрпризам». Новая архитектура отчасти повторяет человеческие когнитивные процессы — помимо краткосрочной и долговременной памяти, это способность «забывать» менее важную информацию и более точно расставлять приоритеты. Так и человек легче запоминает события, которые нарушают его ожидания — данная особенность поможет создавать более тонкие и зависимые от контекста системы ИИ. Современные системы на архитектуре Transformer способны обрабатывать запросы с контекстом до 2 млн токенов, тогда как Titans остаются эффективными и выше этого предела, сохраняя высокую точность при огромных объёмах входных данных. Механизм «метрики сюрпризов» позволяет системе определить, какую информацию следует записать в долговременную память — приоритет отдаётся элементам, которые нарушают ожидания. Это не только отражает когнитивные механизмы человека, но и является новым решением для управления ограниченными ресурсами памяти в области ИИ. Ранние тесты систем на архитектуре Titans показали многообещающие результаты в ряде задач, например, в задачах, связанных с извлечением указанной информации из огромных текстов: при увеличении длины контекста существующие модели демонстрируют резкое падение точности, тогда как новая архитектура сохраняет показатели. Следует, однако, отметить, что технология Titans пока находится на ранней стадии, и при её развёртывании в практических приложениях не исключается возникновение сложностей. Рано судить о системных требованиях для вычислительных алгоритмов, эффективности обучения и возможных угрозах — всё это будет проясняться по мере развития технологии. А способность ИИ сохранять и оценивать информацию может поднять вопросы о конфиденциальности, механизмах обработки данных и о непредсказуемом поведении систем ИИ. #firstlineinvestor