Так, в рамках эксперимента было задействовано три сценария: в первом задачу выполняли только люди без помощи ИИ, во втором для генерации идей участникам разрешили использовать чат-интерфейс с нейросетью GPT-4o, а в третьем работу полностью поручили искусственному интеллекту. При этом использовались уже существующие шаблоны популярных мемов, а люди и нейросеть придумывали к ним только текст, который мог затрагивать одну из трех тем: работу, еду или спорт.
Получившиеся творения вынесли на суд общественности с помощью платформы Prolific. И по результатам опроса мемы с подписями, целиком сгенерированными ИИ, в среднем набрали больше баллов по всем трем аспектам.

Вынужден объявить, что мемная версии теста Тьюринга пройдена,

прокомментировал результаты профессор Уортонской школы бизнеса Итан Моллик

Тем не менее, не все так однозначно. Хотя у нейросети получились усредненно более удачные мемы, но когда ученые рассмотрели отдельные примеры, выяснилось, что самые смешные из них — полностью «человеческие». Кроме того, первые места за креативность и потенциальную вирусность получили мемы, подписи к которым создали люди в тандеме с ИИ.
Также ученые установили, что хотя участники, которым помогала нейросеть, выдвигали больше идей и тратили на это меньше усилий, последующая оценка их подписей показала: в среднем они не лучше тех, где люди сочиняли их самостоятельно. Иначе говоря, повышение продуктивности за счет использования ИИ вело не к лучшим результатам, а лишь к увеличению их количества, пояснили авторы.
По мнению ученых, успех ИИ связан с обучением на огромных массивах данных, что позволило нейросети подбирать подписи, импонирующие более широкой аудитории. Мемы с подписями, созданными людьми, в большей степени отражали личный опыт, и временами такие варианты оказывались самыми удачными и яркими. Однако в общей массе они проигрывали версиям, сгенерированным нейросетью. Так что кожаные мешки еще на что-то способны, бип-боп!