Я робот

На прошлых выходных решил пощупать искуственный интеллект. Просто для общего развития. На работе у нас прямо таки заставляют хоть куда нибудь встроить ИИ. Прямо безумие какое то, вот и захотелось посмотреть с технической стороны, как оно работает, что оно стоит, хотелось сравнить gpt-3.5 c gpt-4 и тд. Голос с текстами как раз подходящая площадка для таких экспериментов.

Написал бота, который "читает" текст и оставляет комментарий к посту.

gpt-3.5

Сначала включил gpt-3.5, самый дешевый вариант, стоит сотые доли бакса за 1000 токенов. Контекст у gpt-3.5 относительно маленький, 4000 токенов примерно. Как я понял, в русском языке 1 токен ~ одна буква (в английском могут быть целые слова). 4000 токенов это и сам текст, и инструкции ИИ и запрос, что он должен сделать, и выхлоп. Потому приходилось обрезать текст перед скармливанием его gpt-3.5.

ChatGPT можно скармливать несколько сообщений, пока влазит в контекст, с разными ролями. Я делал следущим образом.

Сначала инструкция

• "system", "you are young community participant, be informal"
  Потом запрос
• "user", "Please write a short positive comment for following text using 20 tokens or less in russian!"
  И потом шел текст поста, отрендеренный и очищенный от markdown.

Запрос слал на английском, так как GPT лучше его понимает, да и плюс экономия в токенах. Просил его так же быть покороче, иначе он растекался мыслью по древу на несколько предложений.

GPT-3.5 сразу спалился, видно по первым комментариям. Уж очень они тупые, просто берет слова из текста и повторяет их на свой лад.

Пару предложений были вроде в как норм, но в основном так себе. Часто только пару первых абзацев "читал" и под них писал комментарий. Часто писал на два предложения, хотя в запросе я его просил только об одном. Тупой, что с него возьмешь.

Люди сразу распознали в нем chatgpt. Уже второй комментарий был

Некоторые роботоненавистники начали добовлять бота в игнор. Я их тоже добавил в игнор, что бы не спамил нежелательными коментариями.

@bambuk под каждым комментарием бота начал с ним бороться словестно :) (победить бота невозможно словами если что, он тупой и работает от электричества)

Кстати пришлось еще добавить несколько аккаунтов ботов, которые так же спамят постами.

gpt-4

Потом я просто переключил модель на gpt-4. Стоит дороже в 30 раз чем gpt-3.5, но комментарии генерирует получше. Контекст увеличен до 8000 токенов, но все еще не так много.

Вот примеры комментариев

Бот уже не просто брал слова из текста и перефразировал их, а он уже писал явно "отсебятину". Я проверял несколько текстов, и не находил слов, использованных ботом. Да и предложения были сами по себе уже куда лучше. Люди чаще стали реагировать.

@tihiy-chelovek даже пытался познакомится с ботом.

Позже я переключил на последнюю версию модели, на gpt-4-turbo. У нее контекст еще больше, 16к. Плюс стоит дешевле gpt-4. Качество текстов вроде бы не поменялось.

Что бы повысить толерантность в обществе по отношению к роботам, начал раздавать по 50 голосков авторам, где бот оставлял комментарий. Даже был вопрос, почему не заходит и не комментирует :)

Я что бы не нарываться, добавил сразу проверку текста, положительной тональности текст или нет. У google есть свой сервис, он может проверять восприятие (sentiment) текста, положительный, нейтральный или негативный сентимент у текста. Бот отвечал только на тексты с положительнм сентиментом. Иногда у гугля что то там ломалось и он не мог проверить сентимент у поста, такие посты тоже игнорировались. Видимо что то боту не нравилось.

А потом бот стал повторяться, так как собственно и посты на голосе чаще всего конкурсные, однотипные. Да и бот не запоминает, что он писал к предыдущим постам. Короче пошли потом одни однообразные комментарии и стало уже не так интересно. Потому я решил отключить бота.

Вот расходы за несколько дней, если кому интересно.

Больше всего сожрал gpt-4. Я не считал, примерно комментариев 10 наверное оставил в тот день. Вышло около одного доллара, gpt-4-turbo в три раза дешевле, это видно и по расходам. Я его 10 баксами зарядил, еще осталось. Думаю еще попробовать один вариант бота. Что бы он постил сводку по постам раз в неделю с кратким пересказом содержимого. Типа дайджеста. Только вот надо придумать, как отбирать интересные посты. Жалко, что так и не нашлось никого, кто это мог бы делать. Как я предлагал в своем предыдущем посте. Вот я и подумал сделать бота.

Исходники бота сдесь. https://github.com/bitwheeze/boltolog (надеюсь я там не спалил ключи :) )