Автокопирайтер. Бот сам пишет тексты и рекламные посты. Проект https://t.me/BirzaBotov_bot
ТЕКСТОЗАВР - Генератор текстов https://t.me/TextozavrBot Как работает Текстозавр Внутри Текстозавра — разработанная командой Яндекса языковая модель YaLM (Yet another Language Model), вдохновленная GPT-3 от компании Open AI и другими языковыми моделями на архитектуре Transformer. У такой модели ровно одна задача — генерировать каждое последующее слово в предложении. Чтобы текст получился связным и грамматически правильным, во время обучения модель оценивает каждое предсказанное слово: например, решает может ли после «Мама мыла...» идти слово «бегать» или слово «раму». Запоминать все правила языка и подбирать подходящие слова Текстозавру помогают заложенные внутри языковой модели YaLM параметры, которые меняются в зависимости от того, правильно или неправильно предсказывается слово. Сравнить их можно с маленькими рычажками, каждый из которых нужно повернуть в разные стороны, чтобы запустить механизм. В семействе языковых моделей YaLM таких рычажков — от 1 до 13 миллиардов, а в Текстозавре используется модель с 3 миллиардами. Чтобы написанные Текстозавром тексты были не только грамматически правильными, но и лексически разнообразными, мы использовали терабайты данных. YaLM обучена на части индексируемых Яндексом страниц рунета, включая не только Википедию, новостные статьи и книги, но и открытые записи пользователей социальных сетей и форумов. Чтобы не перегружать модель, из выборки вычистили повторяющиеся, незаконченные и неестественные тексты. Но главная особенность YaLM — умение учиться новому всего на нескольких примерах: чтобы языковая модель написала осмысленные отзывы на фильмы, тосты для застолья или теории заговора, ей хватит от пяти до нескольких десятков примеров того, как такие тексты надо писать. Именно это вы можете наблюдать при выборе стилизации: например, чтобы научить Текстозавр генерировать простые рекламные слоганы для любых объектов, мы «скормили» ему несколько известных примеров, среди которых, конечно, — знаменитое «Найдется всё». Про стилизацию на нескольких примерах Чтобы текст получался связным и грамматически правильным, модель учится предсказывать вероятность разных вариантов продолжения фразы. Например, какое слово скорее всего последует за «Мама мыла...» — «бегать» или «раму»? В гостях хорошо, а дома лучше. Готовь сани летом, а телегу зимой. Пьяному море по колено, а лужа по уши. Дают — бери, а бьют — беги. Обещать — дело господское, исполнять — холопское. Мягко стелет, да жестко спать. Работа не волк — ??? Очевидно, что этот текст состоит из пословиц, поэтому самый логичный способ продолжить его — это дописать начатую пословицу: Работа не волк — в лес не убежит. Нейросеть, как и мы, способна понять такую логику. Мы можем воспользоваться её пониманием и «заставить» её сгенерировать окончание какой-нибудь другой пословицы. Даже такой, начало которой мы придумали сами: Обещать — дело господское, исполнять — холопское. Мягко стелет, да жестко спать. Как обучишь нейросеть, так она и работать будет. На этом принципе и работают разные варианты стилизации текста в Текстозавре. Когда вы выбираете какой-то стиль, перед текстом, который вы вводите, невидимо для вас добавляется небольшое количество текстов-образцов (это могут быть анекдоты, конспирологические утверждения, тосты и так далее), которые подсказывают Текстозавтру, как лучше завершить введённый текст. Генератор может выдавать очень странные тексты. Пожалуйста, будьте разумны, распространяя их. Подумайте, не будет ли текст обидным для кого-то и не станет ли его публикация нарушением закона. У Текстозавра нет своего мнения или знания. Он умеет только подражать — писать тексты так, чтобы они были максимально похожи на реальные тексты из интернета.
ТЕКСТОЗАВР - Генератор текстов https://t.me/TextozavrBot Как работает Текстозавр Внутри Текстозавра — разработанная командой Яндекса языковая модель YaLM (Yet another Language Model), вдохновленная GPT-3 от компании Open AI и другими языковыми моделями на архитектуре Transformer. У такой модели ровно одна задача — генерировать каждое последующее слово в предложении. Чтобы текст получился связным и грамматически правильным, во время обучения модель оценивает каждое предсказанное слово: например, решает может ли после «Мама мыла...» идти слово «бегать» или слово «раму». Запоминать все правила языка и подбирать подходящие слова Текстозавру помогают заложенные внутри языковой модели YaLM параметры, которые меняются в зависимости от того, правильно или неправильно предсказывается слово. Сравнить их можно с маленькими рычажками, каждый из которых нужно повернуть в разные стороны, чтобы запустить механизм. В семействе языковых моделей YaLM таких рычажков — от 1 до 13 миллиардов, а в Текстозавре используется модель с 3 миллиардами. Чтобы написанные Текстозавром тексты были не только грамматически правильными, но и лексически разнообразными, мы использовали терабайты данных. YaLM обучена на части индексируемых Яндексом страниц рунета, включая не только Википедию, новостные статьи и книги, но и открытые записи пользователей социальных сетей и форумов. Чтобы не перегружать модель, из выборки вычистили повторяющиеся, незаконченные и неестественные тексты. Но главная особенность YaLM — умение учиться новому всего на нескольких примерах: чтобы языковая модель написала осмысленные отзывы на фильмы, тосты для застолья или теории заговора, ей хватит от пяти до нескольких десятков примеров того, как такие тексты надо писать. Именно это вы можете наблюдать при выборе стилизации: например, чтобы научить Текстозавр генерировать простые рекламные слоганы для любых объектов, мы «скормили» ему несколько известных примеров, среди которых, конечно, — знаменитое «Найдется всё». Про стилизацию на нескольких примерах Чтобы текст получался связным и грамматически правильным, модель учится предсказывать вероятность разных вариантов продолжения фразы. Например, какое слово скорее всего последует за «Мама мыла...» — «бегать» или «раму»? В гостях хорошо, а дома лучше. Готовь сани летом, а телегу зимой. Пьяному море по колено, а лужа по уши. Дают — бери, а бьют — беги. Обещать — дело господское, исполнять — холопское. Мягко стелет, да жестко спать. Работа не волк — ??? Очевидно, что этот текст состоит из пословиц, поэтому самый логичный способ продолжить его — это дописать начатую пословицу: Работа не волк — в лес не убежит. Нейросеть, как и мы, способна понять такую логику. Мы можем воспользоваться её пониманием и «заставить» её сгенерировать окончание какой-нибудь другой пословицы. Даже такой, начало которой мы придумали сами: Обещать — дело господское, исполнять — холопское. Мягко стелет, да жестко спать. Как обучишь нейросеть, так она и работать будет. На этом принципе и работают разные варианты стилизации текста в Текстозавре. Когда вы выбираете какой-то стиль, перед текстом, который вы вводите, невидимо для вас добавляется небольшое количество текстов-образцов (это могут быть анекдоты, конспирологические утверждения, тосты и так далее), которые подсказывают Текстозавтру, как лучше завершить введённый текст. Генератор может выдавать очень странные тексты. Пожалуйста, будьте разумны, распространяя их. Подумайте, не будет ли текст обидным для кого-то и не станет ли его публикация нарушением закона. У Текстозавра нет своего мнения или знания. Он умеет только подражать — писать тексты так, чтобы они были максимально похожи на реальные тексты из интернета.