Что такое вычислительная фотография и как к ней пришли IT-корпорации

Однажды вы пригласите фотографа запечатлеть семейное торжество, а он придет… без фотоаппарата. И начнет снимать на смартфон. «Халтура!» – возмутитесь вы. Но если согласитесь продолжить съемку, то к своему удивлению получите вполне «профессиональные» фотографии, в которых ничто не выдаст «низкое» происхождение. В чем подвох? Свой ответ на этот вопрос дала серия анонсов флагманских смартфонов, которую с начала февраля провели Samsung, Xiaomi и другие бренды. Как повелось в последние годы, в первую очередь они щеголяли их камерами, превратившимися из приятного бонуса в центральную функцию мобильников. Однако ни число матриц и объективов, ни другие горячо обсуждаемые характеристики не дают представления, за счет чего удалось добиться прорыва в мобильном камеростроении. Sony представила смартфон Xperia L4 с тройной камерой Главным ноу-хау стали методы обработки кадра с участием искусственного интеллекта (ИИ). Называемые в совокупности вычислительной фотографией, они усложняются с каждым поколением моделей и до неузнаваемости преображают зафиксированный камерой световой поток. Таков очередной этап эволюции фототехники, всегда стремившейся к компактности и быстродействию. От волшебства, творимого с помощью опасных химикатов в темной комнате, это привело фотографию к простейшим «однокнопочным» устройствам с почти неограниченным ресурсом. Пока знатоки спорят о смелых решениях вычислительной фотографии, публика голосует рублем, предпочитая смартфоны «полноценным» камерам. Не стоит ждать полного исчезновения «зеркалок»: часть пользователей не примет новую технологию так же, как в свое время мастера пленочной эпохи в штыки встретили «цифру». И все же в долгосрочной перспективе мобилография ставит под угрозу существование именитых японских фотоконцернов. В последние годы они, хотя и обозначили стремление бороться за аудиторию, сильно уступают производителям смартфонов по темпам развития. И в результате уходят от прямой конкуренции, перебрасывая усилия с исчезающего рынка любительских аппаратов на продукцию элитного уровня. В сети показали примеры фотографий на камеру Xiaomi Mi 10 Это лишь начало тех процессов в мире мультимедиа, которые запускает тотальная смартфонизация. Как ожидают эксперты, вскоре вычислительная фотография перейдет от компенсации недостатков мобильного «железа» к созданию некой улучшенной копии действительности, где уже нельзя будет отделить фотографию от компьютерной графики, а настоящую реальность от дополненной. Вслед за тем разработка пленоптических, вживляемых и других типов камер приведет к появлению новых аудиовизуальных техник и жанров искусства. Как это происходит, можно проследить на примере дрон-фотографии. Впору будет заново формулировать смысл фототехнологий: зачем мы пытаемся «удержать мгновения», коллекционируем картинки – доказательства жизни? Впрочем, привычка задаваться подобными вопросами к тому времени может полностью атрофироваться. «Профиль» запускает серию материалов о том, как сегодня устроены фототехнологии и почему их дальнейшая эволюция обещает переворот на рынке электроники и в нашем восприятии мира. Революционные 2010-е Эксперименты с цифровой фотографией начались в 1970-х, а на массовый рынок технология вышла в конце 1990-х, почти одновременно породив два типа устройств: «зеркалки» и камерофоны. Первый фотоаппарат современного типа (Canon EOS D2000, 1998 год) всего на пару лет опередил мобильники с «глазком» в задней крышке (Kyocera VP-210 и Sharp J-SH04, 2000-й). С тех пор наличие камеры стало маркетинговой приманкой телефонов всех форм и марок, но долгое время о конкуренции с фотоаппаратами речи не шло: возможности «старших братьев» были несравнимо выше, а плюсы мобилографии исчерпывались концепцией «камеры, которая всегда с тобой». Появилось фото загадочного смартфона с фронтальной камерой на 44 Мп Кстати, в середине 1990-х разработчики полагали, что камера в мобильнике понадобится только для видеозвонков – на прототипах она располагалась спереди, примыкая к экрану, и лишь затем была убрана на тыловую панель. Но пользователи камерофонов вдруг принялись снимать все подряд, и в 2000-х фронтальные камеры пришлось вернуть уже с другой целью – ради селфи. Постепенно идея целиком скрестить телефон с фотоаппаратом, «упаковав» достоинства последнего в карманный девайс, все сильнее захватывала умы разработчиков. На рынке появились мобильники с зум-объективами: от Nokia N93 2006 года с трехкратным зумом до моделей Samsung начала 2010-х с десятикратным, внешне напоминавших компакт-камеры («мыльницы»). А в 2012 году Nokia 808 PureView сравнялась c «мыльницами» по площади сенсора – 1/1,2 дюйма. Но прорывными эти модели не стали – габариты смартфонов росли быстрее, чем качество снимков. В итоге производителям пришлось смириться с тем, что по физическим параметрам за фотокамерами не угнаться, и пойти совсем в ином направлении. Тут можно вспомнить мультфильм «Крылья, ноги и хвосты»: зачем страусу равняться на грифа, пытаясь набрать высоту? У него слабые крылья, зато быстрые ноги – значит, можно добежать до пункта назначения, пока гриф летит. Фотография: от античности до наших дней V–IV вв. до н.э. Китайские и древнегреческие философы впервые упоминают камеру-обскуру – метод проецирования светового рисунка через отверстие в стене темной комнаты XIII–XV вв. Камера-обскура находит применение в астрономических наблюдениях, а затем в живописи Ренессанса XVIII в. Начало экспериментов со светочувствительными материалами. В 1725 году химик Иоганн Шульце обнаружил «отпечаток» фотонов (частиц света) в растворе хлористого серебра 1799 год Томас Веджвуд получает изображение силуэтов на бумаге, пропитанной светочувствительным раствором, но не может его сохранить: силуэты исчезают под дальнейшим воздействием света 1826 год Нисефор Ньюпс, используя открытый им метод гелиографии и камеру-обскуру, создает «Вид из окна в Ле-Гра» – старейшее из дошедших до нас фотохимических изображений 1839 год Год официального изобретения фотографии. Луи Дагер представляет аппарат для получения позитивного отпечатка на медной пластине с серебряной эмульсией – дагеротип 1839 год Сразу же появляется альтернативный метод – калотипия Фокса Тальбота. В отличие от дагеротипа, он позволяет получить негатив, а уже с него печатать позитивы. Решена проблема тиражирования фотоснимков 1840 год Йозеф Пецваль создает первый светосильный объектив (f/3,7). Для получения кадра больше не нужна многоминутная выдержка, что открывает дорогу для портретной съемки. Начало эпохи фотоателье 1861 год Первая цветная фотография в истории – «Тартановая лента» Томаса Саттона 1871 год Ричард Мэддокс представляет технологию желатиносеребряного фотопроцесса, объединившего преимущества дагеротипии и калотипии. Аналоговая фотография основана на нем по сей день 1880-е годы Джордж Истмен меняет металлические пластины на гибкий фотоматериал – рулонную целлулоидную пленку. Основана компания Eastmen Kodak, заточенная на максимальное упрощение фототехнологий 1900 год Eastman Kodak выпускает камеру Brownie по рекордно низкой цене – $1. Начало эпохи массовой фотографии 1897–1902 годы Компания Carl-Zeiss-Stiftung патентует «Планар» и «Тессар» – самые популярные оптические схемы объективов по сей день 1910–1920 годы Из кино в фотографию приходит пленка 35 мм. Это позволяет уменьшить камеры до карманных и наладить серийный выпуск дальномеров 1910–1930 годы Доминирование немецкой фотоиндустрии. Успехи компаний Voightlander, Contax, Ernst Leitz (Leica) 1936 год В продажу поступают первые цветные фотопленки – Agfacolor Neu и Kodachrome 1948 год Первый фотоаппарат, проявляющий снимки сразу после экспонирования, – Polaroid Land 95. Начало эпохи моментальной фотографии 1940–1950 годы Формирование японской фотоиндустрии. Рыночные успехи компаний Nippon Kodaku (Nikon), Canon, Minolta, Asahi Optical (Pentax), Fujifilm 1979 год Первый фотоаппарат с автоматическим фокусом – Canon AF-35M 1970-е годы Начало экспериментов с электронной фотографией – сохранением изображения на кремниевую микросхему, покрытую светочувствительными фотодиодами. Снимки разрешением 100х100 пикселей записывались на магнитную ленту 1982 год Kodak выпускает в продажу фильм-сканер – устройство для оцифровки пленочных негативов. Появляется возможность компьютерного редактирования снимков 1986–1992 годы Появление термина «мегапиксель», программы Adobe Photoshop и файлового формата JPEG 1998 год Первый цифровой фотоаппарат современного типа – Canon EOS D2000. До этого матрица крепилась к фотокамере в составе «цифрового задника» 2000 год Первый мобильный телефон со встроенной камерой – Kyocera VP-210 Начало 2000-х Стоимость цифровых «зеркалок» падает ниже $1 тыс. Массовая миграция любительской фотографии с пленки на «цифру» 2008 год Появление режима видеосъемки в «зеркалках». Panasonic выводит на рынок беззеркальные фотокамеры 2010-е годы Появление смартфонов с несколькими фотомодулями и «интеллектуальной» обработкой изображения. Начало заката фотоаппаратов как отдельного устройства 2000–2010 годы Начало экспериментов с фотографией светового поля. Выпуск первых пленоптических камер компанией Lytro С середины 2010-х рост матриц в камерофонах остановился: последние несколько поколений iPhone и Samsung Galaxy обходились 1/2,55 дюймовым сенсором (лишь в анонсированной на днях модели Galaxy S20 он увеличен до 1/1,3 дюйма). Это повторяет развитие цифровых камер, которые тоже не стали копировать пленочные размеры кадра, и в результате аналоговые 35 мм превратились из «малого формата» в цифровой «полный кадр». Средний и большой форматы ушли на периферию рынка, зато появились «кропнутые» сенсоры: 35-миллиметровый кадр, уменьшенный в полтора-два раза. Миниатюризацию матриц цифровая фотография компенсировала принципиально новым качеством – высоким попиксельным разрешением снимка. А вот трюк, на который пошли производители смартфонов: в помощь к одной камере добавить еще несколько, благо места на задней панели предостаточно. В 2014 году HTC One стал первым смартфоном с двумя тыловыми фотомодулями, к 2018-му стандартом рынка стала связка из трех камер, а в 2019-м вышла первая пятикамерная модель – Nokia 9 PureView, наследница и антипод той самой 808 PureView с единственной суперматрицей. Но даже если усеять заднюю крышку камерами, это мало что дало бы, не используй мобильники свое главное преимущество – наличие под крышкой мощного «центра управления полетами», то есть собранной сенсорами информацией. Это позволило заменить оптический конструктив «зеркалок» сложными цифровыми преобразованиями. На передовой прогресса Быстрый доступ к достижениям IT-индустрии за считанные годы превратил смартфон из сугубо «походного» девайса в мини-компьютер. Если 1990-2000-е стали временем реализации «закона Мура» (формуле, гласящей, что производительность кремниевой микроэлектроники удваивается каждые 24 месяца) для домашних устройств, то в 2010-е пришло время портативных. Сегодня, судя по тестам, мобильные чипы Apple Bionic и Qualcomm Snapdragon сопоставимы с «начинкой» настольных ПК (их даже начали внедрять в ноутбуки, переворачивая иерархию гаджетов: теперь на передовой прогресса смартфон, а десктоп – его увеличенная версия). Не отстают показатели оперативной памяти (до 12 Гб) и внутреннего накопителя (до 1 Тб), постоянно шлифуются операционные системы (сегодня кажется недоразумением, что к суперматрице Nokia 808 PureView прилагалась простейшая ОС Symbian). Все это сделало возможным развитие нейросетевых программ, которые отличаются от обычных способностью самостоятельно регулировать настройки, запоминая реакцию пользователя. Первоначально искусственный интеллект в смартфоне (например, в виде голосового ассистента) был проекцией облачного сервиса: в самом девайсе не хватало мощности для ИИ-вычислений и емкости для хранения обучающей выборки, поэтому он постоянно обращался к интернет-ресурсам. Однако с выходом на рынок нейроморфных чипов (NPU – neural processor unit), первым из которых был Huawei Kirin 970, мобильники получили собственный «мозг», работающий без подключения к Сети. С каждым днем «умные» гаджеты все точнее ориентируются во вкусах своего хозяина, и кто знает, как мутирует их функционал через десяток лет, когда они будут знать всю нашу подноготную… Сам термин «вычислительная фотография» (computational photography) появился еще в конце 2000-х в исследованиях профессора Стэнфордского университета Марка Левоя. Он определил ее как набор компьютерных изобразительных приемов, расширяющих возможности фототехники. Главный тезис Левоя: съемка – лишь начало создания кадра, программная «доводка» – обязательный второй этап. Первыми пробами пера стали фильтры Instagram (2010 год), режим Auto Enhance в iOS 5.0 (2011-й)… И понеслось: гонка камерофонов запомнится как одна из примет 2010-х, в исторической перспективе не уступая ажиотажу вокруг дагеротипии в середине XIX века или появлению малоформатной пленки в начале двадцатого. Что любопытно, никто не смог победить: судя по авторитетному рейтингу DxOMark, показатели лидеров рынка – Samsung, Huawei и Apple – примерно равны. В 2020 году фотовозможности смартфона определяются не брендом, а ценовой категорией; во флагманских аппаратах инновации внедряются всеми одновременно. Это позволяет рассматривать вычислительную фотографию не как историю корпоративной борьбы, а шире – как достижение человечества. Продолжение следует.