Pix2pix рисовать онлайн людей

Как известно, прогресс не стоит на месте. Наука движется вперед семимильными шагами. Если судить по изменениям, произошедшим в мире технологий за последние 50 лет, можно уверенно заявить, что в этом плане явно наблюдается экспотенциальный рост. Возможно даже, что технологическая сингулярность, наступление которой вновь активно обсуждали в 2012 году авторитетные ученые на посвященном этой теме Саммите, вскоре не будет казаться просто гипотезой. К слову, уже сейчас мы наблюдаем тенденции развития интеллектуальных компьютерных систем, выраженных в постепенном усложнении нейронных сетей, являющихся основой ИИ (искусственного интеллекта), в расширении спектра задач, выполняемых ими. Но, перейдем к конкретному примеру.

Не так давно американские программисты порадовали пользователей очередным успешным проектом в области ИИ — обработчиком изображений под названием Pix2pix, позволяющим переделывать создаваемые вами наброски рисунков в реалистичные изображения, то-есть рисовать онлайн людей. Систему нейросетей поместили на специальный сервер и обрамили ненавязчивым и удобным интерфейсом. Потому каждый пользователь может воспользоваться их возможностями в режиме онлайн. Подробнее о функционировании Pix2pix и об использовании данного сервиса.

Pix2pix рисовать онлайн людей
Как видите, мой несуразный рисунок Pix2pix смогла сделать максимально реалистичным.

Содержание статьи:

  • 1 Как работает Pix2pix
  • 2 Как рисовать людей с Pix2pix
  • 3 Заключение

Как работает Pix2pix

В основе работы приложения обработки фото лица людей лежит так называемая система GAN (генеративно-состязательных сетей), использующая функцию потерь (loss function), призванную оценивать потери при расхождении параметров истинного изображения и предсказанного ИИ строения пикселей. В процессе обучения машина старается с каждой попыткой отгадывания транслируемого изображения минимизировать loss function. Такой алгоритм позволяет с каждым разом точнее и точнее отгадывать содержание объекта, предоставленного пользователем. Если говорить более простым языком, то функционирование генеративно-состязательных сетей можно примерно сравнить с принятием законопроекта в РФ, где закон после правовой его регулировки передается на чтение в Госдуму. Далее, в случае одобрения парламентским большинством, поступает в Совет Федерации, где еще раз рассматривается и затем подписывается либо отклоняется президентом. То же и здесь:

Генератору фоторедактора Pix2pix на вход поступает изображение (input image) — оно является основным фактором, руководствуясь которым, генератор должен отдать максимально точную интерпретацию объекта на выход;

Тут в дело вступает дискриминатор, на рассмотрение которому передаются input image и изображение, построенное генератором. Дискриминатор, используя функцию потерь, о которой было упомянуто выше, определяет значение отклонения между полученной от пользователя картинкой и интерпретированным генератором изображением. Если говорить проще — дискриминатор выносит решение о том, можно ли назвать сгенерированный объект подлинным или нет. В процессе этого происходит одновременное обучение генератора навыку минимизации функции потерь.

Таким образом, слаженная работа представленных выше нейронных сетей помогает Pix2pix самообучаться и постепенно генерировать наиболее близкие к истине изображения относительно транслируемых пользователями.

Pix2pix рисовать онлайн людей
На данном рисунке изображена схема работы генеративно-состязательных сетей (GAN)

Как рисовать людей с Pix2pix

Для использования данного сервиса нужно:

  1. Перейти на официальный сайт Pix2pix по ссылке — https://affinelayer.com/pixsrv/;
  2. На странице вы можете наблюдать четыре режима постройки изображений, каждый из них оснащен следующими инструментами:
    • Tool — здесь расположена вкладка «line», отвечающая за прорисовку контуров объекта и «eraser», то есть ластик;
    • Под формой редактирования изображения находится клавиша отмены последнего действия «Undo», кнопка очистки изображения «Clear»,  а также интересная вкладка «Random», позволяющая сгенерировать случайную картинку;

    Pix2pix рисовать онлайн людей
    Панель инструментов Pix2pix для всех режимов рисования практически идентичная. В этих двух окнах расположены самые необходимые действия с изображениями.
  3. Теперь, чтобы дать программе задачу сделать нарисованную вами картинку реалистичной, жмем на «Process», после чего мы можем увидеть готовый результат.

    Pix2pix рисовать онлайн людей
    Кнопка «Process» предназначена для преобразования нашего наброска в реалистичное изображение. Кликните на нее, чтобы воспользоваться данной функцией.
  4. Чтобы сохранить конечное изображение на ПК, нажимаем на кнопку «Save».

    Pix2pix рисовать онлайн людей
    Здесь расположена кнопка «Save», нажав на которую, мы сможем сохранить получившийся рисунок на свой ПК

Любопытная находка: форма для рисования в онлайн Pix2pix реализована с помощью элемента «canvas» HTML5. А открытый исходный код данных нейросетей говорит о том, что мы вполне можем вставить какое-либо изображение в данную форму с помощью метода drawImage() и посмотреть, что выдаст нам ИИ на выходе. Более подробное описание того, как правильно вставлять картинку в Canvas, вы сможете найти в справочниках по HTML5.

Заключение

Не хотелось бы невеселой концовки данной статьи, но вынужден сообщить об одной неприятной новости касательно Pix2pix. 3 июля 2017 года разработчики сообщили о том, что вынуждены прекратить функционирование режима рисования людей. Причиной послужила огромная его популярность, вследствие чего на сервис Pix2pix заходило более 2 миллионов уникальных посетителей в месяц. В итоге, сервер оказался загружен настолько, что ему просто не хватило ресурсов для того, чтобы справиться с таким наплывом пользователей. Подробнее об этом вы можете прочесть на официальной странице режима рисования людей онлайн в Pix2pix — https://dekennisvannu.nl/site/artikel/Fotogenerator-The-End/9232.