Содержание
Нейросети стали новым технологическим трендом, который уже используется в качестве инструмента отдельными специалистами. А в ближайшем будущем можно будет заметить, как нейросети повлияли на сферу разработки игр, приложений и виртуальных платформ.
Мы поговорили с геймдизайнером Максимом Останиным о перспективах применения нейросетей в геймдеве. Он предложил нам различные варианты использования нейросетей, о которых мы расскажем в материале.
Также мы подготовили серию статей для дизайнеров, разработчиков и креаторов. В них мы разобрали варианты использования нейросетей в создании цифрового контента и собрали подборки с инструментами:
- Нейросети — новый инструмент разработчиков виртуальных платформ;
- Как с помощью нейросетей генерировать контент для игр и метавселенных;
- Быстрое создание персонажей с помощью нейросетей;
- Как нейросети помогают писать код: инструменты для программистов и разработчиков.
Видео-версия для тех, кто предпочитает смотреть
Перспективы использования нейросетей
В 2023 году появилось более тысячи различных нейросетей и сотни вариантов их применения. В сети даже стало популярным мнение, что они скоро заменят специалистов. Но сама нейросеть без человека продукт создать не может. Ей нужно давать команды, оценивать ее результаты и направлять. Для профессионального использования нейросети при создании платформы мало уметь ей управлять, необходимо самому быть специалистом.
Поэтому нейросети не заменят разработчиков, а станут качественным инструментом в их руках. Например, они упростят, автоматизируют и ускорят отдельные рабочие процессы. Точно так же сейчас дизайнеры предпочитают использовать в качестве инструментов программы Adobe с простым и удобным набором инструментов.
Если научиться пользоваться нейросетью, то можно получать результаты, которые уже можно брать в работу с минимальной редактурой или даже без нее. Поэтому в портфолио разработчика может добавиться еще один навык — умение работать с нейросетью.
Способы применения нейросетей
Сейчас популярны нейросети для создания текста и изображений. Но это не единственные возможные способы их применения. Максим выделил 7 вариантов использования нейросетей, которые можно использовать в разработке проектов уже сейчас или в ближайшее время.
1) Нейросети для написания кода. Они уже умеют анализировать программный код и предлагать свои варианты его изменения на основе запроса от разработчика. Также они могут дописывать строки кода на основе имеющихся данных.
Пока что результаты работы нейросети с кодом вызывают множество споров среди пользователей. Нейросети еще не научились писать оптимальные варианты кода и часто предлагают устаревшие варианты вместо удобных. По словам Максима, код от нейросети получается хуже, чем код от Junior-разработчика.
Но есть нейросети, которые можно интегрировать в работу отдельных игровых движков. Это удобнее, поскольку программе легче анализировать код. Также у разработчика появляется возможность сразу оценить архитектуру кода, без необходимости ручного переноса со сторонних сайтов и дальнейшей загрузки в движок. Например, OpenAI GPT-3 работает с движком Unity.
2) Нейросети для разработки дизайна. Обычные пользователи уже используют нейросети для переноса их любимых персонажей в различные миры при помощи Midjourney. С помощью запросов они меняют сеттинг, жанры, эпохи и стили.
А в руках дизайнера этот инструмент сможет создавать продуманные образы для игр и приложений. Например, нейросеть может легко генерировать персонажей, окружение и интерфейс платформы.
А если вы тоже хотите перенести свой проект в виртуальную реальность, обращайтесь к нам в metaverse-агентство Maff. Специалисты агентства помогут создать локацию под вашу компанию в метавселенной, организовать мероприятие или создать PR-инфоповод.
3) Нейросети для создания 3D-объектов. 3D-моделлеры тоже могут упростить себе работу с помощью нейросетей. Например, они могут создавать 3D-модели из обычных изображений или текстовых запросов. С изображениями работает Assets Scout, а с текстом Luma AI Imagine 3D.
Пока что генерировать рабочие модели может небольшое количество нейросетей. И занимает это довольно много времени — на создание одной 3D-модели уходит от получаса до нескольких часов. Но это все еще быстрее, чем работа с нуля.
Отдельные нейросети все же могут относительно быстро генерировать модели. Но при этом их качество выходит пока что слишком низкое для использования их в рабочих проектах.
4) Анимация движений персонажа. Больше не нужно вручную настраивать все движения или тратить деньги на захват движения при помощи motion capture. Уже существует нейросети, которые считывают движения человека с видео или в реальном времени и переносят анимацию из видео на вашу 3D модель.
Результат работы таких нейросетей сильно зависит от качества видео. Да и получившуюся анимацию все равно нужно будет дорабатывать вручную. Но даже в таком виде нейросети уже экономят время и деньги разработчиков.
5) Нейросети для синтеза аудио. Для создания аудиосопровождения в играх и метавселенных студии нанимают композитора, звукорежиссера или саунд-дизайнера. И никакая нейросеть пока что не сможет полноценно заменить их работу.
Но отдельные звуки природы, шуршания одежды, шагов персонажей или несложную музыку все же можно создавать и с помощью нейросети. Программы могут даже озвучивать голоса с заданными характеристиками персонажей. Хоть и делают это пока намного хуже, чем профессиональные актеры Зато такой вариант создания аудиосопровождения подойдет небольшим командам разработчиков и стартапам.
6) Нейросети для создания текста. В разработке проектов и игр создатели работают с текстами для интерфейса, описания предметов и локаций. Особенное внимание уделяется сценариям и диалогам персонажей. И все это уже могут генерировать нейросети.
Программы могут анализировать контекст, перенимать стиль автора и писать свои сценарии и книги. Например, по сценариям нейросети ChatGPT даже уже сняли несколько короткометражных фильмов и видео для ютюба. Но нейросеть можно применять и для более масштабных проектов.
Примеры применения нейросети на виртуальных платформах
Сейчас уже можно найти примеры внедрения нейросетей в разработку игр. Их создатели делятся этапами своей работы и впечатлениями от использования алгоритмов.
Например, разработчик игры Anticthon добавил в свой код сразу несколько нейросетей. Благодаря им пользователь может общаться с персонажами без использования текстового чата, только микрофон и голосовой ввод.
Разработчик интегрировал нейросеть Open AI GPT-3 в персонажей игры. И благодаря ему они могут воспринимает речь игрока и анализировать ее, чтобы вести диалоги прямо во время игрового процесса. А чтобы персонаж могу отвечать синтез голоса настроен с помощью Google TTS. И для каждого конкретного персонажа он также подобран вручную разработчиком.
Другой разработчик использовал нейросеть Midjourney при работе над образом персонажа и локацией. Он показал этапы работы с алгоритмом вместе с подбором образов и переносом 2D-изображения в 3D-модель. По его ощущениям благодаря нейросети он смог сэкономить время при работе над образами: 2 дня работы над персонажем и 3 дня над локацией.
А компания Microsoft в тестовом режиме внедрила нейросеть OpenAI Codex на основе алгоритма GPT-3 в метавселенную Minecraft. Так разработчики протестировали возможность строительства объектов в виртуальном мире по текстовым запросам. Нейросеть смогла сгенерировать модели дома, животных и персонажей прямо в игре в режиме реального времени.
Заключение
Благодаря нейросетям у разработчиков появились новые возможности оптимизации своих процессов. И вместе с развитием технологий вариантов их использования станет еще больше.
Сейчас уже можно выделить несколько способов использования нейросетей при разработке:
- написание и улучшение программного кода;
- разработка дизайна персонажа и локаций;
- создание 3D-объектов из текстовых запросов и изображений;
- анимация движений персонажа на основе видео;
- синтез аудиоэффектов для наполнения мира и озвучивания персонажей.
- создание текста для сценария и диалогов персонажей.
Редактор:
Дмитрий Егоров
Обложка и иллюстрации:
Юлия Чистякова