Как работает ИИ-реставрация фотографий?

Команда Photold · · 5 мин чтения

Ползунок делит поцарапанный сепийный семейный портрет и его восстановленную версию

ИИ-реставрация фото работает на предсказании. Модель обучают на очень большом числе изображений, пока она не усвоит, как обычно выглядят фотографии. Получив повреждённое фото, она создаёт вероятную восстановленную версию. Она ничего не ищет в базах и ничего не знает о вашей семье.

Эта одна идея объясняет и хорошие результаты, и плохие. Царапина на гладкой стене – лёгкая догадка, и она будет вполне удачной. Царапина через глаз – тоже догадка, и здесь она может изменить то, на кого похож человек.

Чему модель учится при обучении

Представьте человека, который годами рассматривал фотографии. Он не запомнил каждую, но уловил закономерности: как свет падает на щёку, как складывается воротник, как выглядит кирпич, чем плёночное зерно отличается от царапины. Модель делает нечто похожее, только в числах, а не в словах.

Обучение происходит ещё до того, как вы воспользуетесь инструментом. Когда вы загружаете фото, модель применяет то, чему уже научилась. В Photold мы не используем ваши фото для обучения моделей ИИ.

Что происходит, когда вы даёте ей повреждённое фото

Подробности у разных инструментов различаются, но общая схема почти одинакова.

  1. Изображение отправляется в модель. В Photold оно проходит через наши серверы к нашим поставщикам ИИ, Google (Gemini API) и eachlabs, которые могут запускать модели других поставщиков.
  2. Задача описывается. Инструмент сообщает, что нужно сделать, например убрать повреждения или добавить цвет, и что оставить нетронутым.
  3. Модель считывает то, что есть: формы, тона, лица, а также то, что похоже на повреждение, а не на часть сцены.
  4. Она создаёт изображение. Там, где фото даёт чёткую информацию, она ей следует. Там, где не даёт, она достраивает то, что обычно бывает в этом месте.
  5. Вы получаете новый файл. Это новая картинка на основе вашей загрузки, поэтому детали могут меняться даже вдали от повреждения. Вот почему так важна проверка в конце.

Восстановить или реконструировать

Представьте письмо с пятном от кофе. Если пятно закрывает часть фразы «сегодня утром мы благополучно добрались», слово можно вписать уверенно, потому что остальное однозначно его определяет. Это близко к восстановлению. Если пятно закрывает название города, вы всё равно можете написать подходящее название. Оно будет выглядеть правильно, но будет выдуманным. Это реконструкция.

ИИ-инструменты делают и то и другое, а по результату не видно, где что.

На вашем фотоЧто делает инструментНасколько доверять
Выцветшие тени и светаВосстанавливает: деталь есть в скане, просто бледнаяДовольно сильно
Пыль и мелкие царапины на ровном участкеПочти восстанавливает: окружение однозначно определяет результатДовольно сильно
Разрыв через стену или небоРеконструирует, и от этого мало что зависитОбычно нормально
Трещина через глаз или ротРеконструирует, и от этого зависит многоеСверьтесь с тем, кто знал человека
Очень размытое лицоРеконструирует почти каждую чертуПохожесть, а не документ
Цвет на чёрно-белом фотоРеконструирует: цвета в файле никогда не былоПравдоподобно, но не зафиксировано

Пропустите скан через Photold и внимательно посмотрите, что сохранено, а что достроено.Попробовать Photold

Старое фото пары: одна половина в трещинах и сепии, другая восстановлена и в цвете
Трещины на фоне – лёгкая догадка. Дольше всего вглядывайтесь в лицо. Иллюстрация из приложения Photold.

Почему результаты различаются и почему лица и текст даются тяжело

Результаты зависят от исходного фото. Чистый резкий скан оставляет меньше места для догадок. Поэтому если результат разочаровал, сначала попробуйте скан получше, как объясняет наше руководство по реставрации старых фото.

Лица даются тяжело потому, что вы в них эксперт. Небольшой сдвиг века, который вы никогда не заметили бы на дереве, может сделать человека чужим. Модель знает лица вообще, а не это лицо. Признаки мы разбираем в статье меняет ли ИИ-реставрация лица?

Текст даётся тяжело потому, что буквы должны быть точными. Модель лучше знает, как выглядит письмо вообще, чем что говорила именно эта вывеска, поэтому может создать формы, похожие на слова, но ничего не значащие. Относитесь с подозрением к значкам, вывескам магазинов и мелким надписям в результате и читайте их по своему скану.

Восстановление, раскрашивание и улучшение – разные задачи

Они звучат как одно и то же, но каждая отвечает на свой вопрос и несёт свой риск. Поэтому полезно выполнять их отдельными шагами и проверять каждый.

ЗадачаНа какой вопрос отвечаетРискВ Photold
ВосстановлениеЧто было под этим повреждением?Выдумывание деталей на повреждённых участках«Реставрация фото», «Удаление царапин»
РаскрашиваниеКакого цвета это, скорее всего, было?Правдоподобный, но неверный цвет«Раскрашивание»
УлучшениеКак бы это выглядело, будь оно резче?Добавление деталей, которых никогда не было«Улучшение до HD»

Почему важно, что инструмент велит модели сохранить

Предоставленная сама себе, модель тянется к тому, как обычно выглядят фотографии: более гладкая кожа, более ровные зубы, более аккуратное кадрирование. Расплывчатая просьба сделать фото лучше оставляет ей простор для всего этого. Инструмент для реставрации должен ставить границы и говорить, что должно остаться: палитру, кадрирование, лица. Сравнивая инструменты, читайте, что каждый обещает не трогать, так же внимательно, как и то, что он обещает исправить.

Вот к чему стремится Photold. «Реставрация фото» сохраняет палитру: чёрно-белое остаётся чёрно-белым, а сепия – сепией, и по замыслу не обрезает снимок, не перестраивает сцену и не меняет лица, выражения и тон кожи. «Улучшение до HD» не должно менять облик человека и оттенок кожи. «Раскрашивание» не осветляет кожу. Эти цели уменьшают число изменений, но не исключают их, потому что тонкие детали, скрытые повреждением, реконструируются, а не восстанавливаются. Лучший судья результата – тот, кто знал изображённого человека.

О том, что происходит с самими файлами, – в статье безопасно ли загружать семейные фото.

Частые вопросы

Возвращает ли ИИ-реставрация настоящие детали фото?

Только там, где сохранился их след, например в выцветших тенях. Детали, полностью скрытые повреждением, реконструируются, то есть это вероятная версия, а не то, что там было.

Знает ли ИИ, как выглядел мой родственник?

Нет. У него есть ваше фото и общие закономерности, усвоенные на других изображениях. Поэтому сравнивайте результат с другими фото человека или спрашивайте того, кто его знал.

Почему один и тот же инструмент хорошо работает на одном фото и плохо на другом?

Результат зависит от того, сколько информации в исходнике. Крупный чистый портрет оставляет мало места для догадок, а крошечное или повреждённое лицо – много.

Используют ли моё фото для обучения ИИ?

Зависит от сервиса, так что прочитайте его политику конфиденциальности. Photold не использует ваши фото для обучения моделей ИИ.

Может ли ИИ восстановить текст на старой вывеске или документе?

Ненадёжно. Если буквы скрыты, модель может создать формы, которые лишь выглядят как письмо, поэтому важный текст читайте по самому скану.

Есть старое фото, которому это нужно?

Посмотрите, что Photold может с ним сделать: восстановить, раскрасить, улучшить и оживить, на телефоне или в браузере.

Узнать о Photold

Читайте также