Как лучшие предложения, хвост не застрял
компьютерная фотография представляет собой набор методов обработки изображений, которые расширяют необработанные возможности камеры. Его цель состоит в том, чтобы позволить регистрировать более креативные фотографии с превосходным техническим качеством или в более сложных условиях, что было бы невозможно только с датчиком и объективом мобильного телефона.
Сгенерированное компьютером изображение камеры мобильного телефона (Изображение: Creation/Dall-E)
Когда появилась компьютерная фотография?
Первая концепция вычислительной фотографии появилась в 1936 году в статье исследователя Аруна Гершуна, в которой описывалось «светящееся поле» — функция, определяющая количество света, проходящего во всех направлениях через все точки пространства.
В 1996 году Марк Левой и Пэт Ханрахан реализовали светящееся поле в компьютерной графике и предложили «метод создания новых видов из произвольных положений камеры, просто комбинируя и передискретизируя доступные изображения».
Однако вычислительная фотография стала популярной только в 2010-х годах с развитием процессоров обработки изображений в смартфонах, которые стали выполнять задачи искусственного интеллекта, нейронных сетей и машинного обучения для улучшения качества фотографий при низком энергопотреблении.
Google Pixel, запущенный в 2016 году, предоставил возможности вычислительной фотографии для мобильных телефонов (Изображение: Жан Прадо/)
Google популяризировал концепцию вычислительной фотографии в 2016 году со своими телефонами Pixel, которые делали хорошие снимки с камерой с апертурой f/2.0 и 12-мегапиксельным сенсором, в то время как конкуренты делали ставку на камеры с более высокими характеристиками. Успех программного обеспечения для камеры в основном связан с Марком Левоем, который оставался в Google до 2020 года.
Другие методы вычислительной фотографии были разработаны производителями смартфонов, такими как Xiaomi, Huawei и Samsung. Apple в 2019 году запустила Deep Fusion, которая обрабатывает девять изображений для создания более четкой фотографии, а в 2022 году улучшила свою технологию с помощью Photonic Engine.
Каковы ограничения мобильной фотографии?
Сотовые телефоны имеют худшее фотографическое оборудование, чем специализированные камеры, из-за физических ограничений. В то время как беззеркальные или цифровые зеркальные камеры могут быть оснащены большими датчиками изображения, смартфон должен иметь более компактный компонент, что ограничивает его способность улавливать свет.
Сенсор меньшего размера требует более высокой чувствительности ISO для захвата того же количества света, что может вызвать шум изображения. Кроме того, поскольку пиксели сенсора сотового телефона меньше, динамический диапазон фотографий, как правило, ниже, что может привести к получению изображений с размытыми или недоэкспонированными областями.
Стандартные размеры сенсора камеры; сотовые телефоны обычно имеют размеры от 1 до 1/3 дюйма, в то время как зеркальные камеры могут быть полнокадровыми (Изображение: Vitor Pádua / )
Оптический набор сотовых телефонов также ограничен. Как правило, объективы имеют фиксированную диафрагму, что препятствует управлению глубиной резкости и, следовательно, не позволяет добиться естественного размытия фона, так называемого эффекта боке. Кроме того, обычно фиксированное фокусное расстояние не позволяет объективу иметь переменный оптический зум.
Может ли мобильный телефон заменить профессиональную камеру?
Сотовый телефон не может полностью заменить профессиональную камеру из-за аппаратных ограничений. Несмотря на большую вычислительную мощность, смартфон не может захватывать такое же количество деталей, как датчик DSLR, и не может снимать в любых условиях, как камера со сменными объективами.
Наше сравнение смартфонов, зеркальных и беззеркальных камер подробно показывает преимущества и недостатки каждого типа оборудования.
Примеры методов вычислительной фотографии
HDR и умный HDR
HDR расширяет динамический диапазон, то есть разницу между самыми яркими и самыми темными областями изображения. Этот метод компьютерной фотографии пытается устранить ограничение размера сенсора мобильного телефона.
При съемке фотографии в формате HDR сотовый телефон последовательно делает несколько фотографий, каждая с разным уровнем экспозиции, а процессор обработки изображений объединяет информацию в один файл. Smart HDR был выпущен Apple в 2018 году и позволяет снимать до 9 изображений менее чем за 1 секунду.
Фотография, использованная Apple для демонстрации Smart HDR 4 на iPhone 13 Pro (Изображение: раскрытие информации / Apple)
Этот метод позволяет мобильному телефону выбирать лучшие части каждой фотографии, такие как самые темные области переэкспонированного изображения и самые яркие области недоэкспонированного изображения. В результате получается фотография с большей детализацией как в самых светлых, так и в самых темных областях, что улучшает цвета и контрастность.
ночной режим
Ночной режим, также называемый Night Mode или Night Vision в зависимости от производителя, улучшает качество фотографии в условиях низкой освещенности. Это компенсирует ограниченную светосилу сенсоров мобильных телефонов.
Функция работает по-разному. Он может делать несколько снимков подряд и объединять их позже, чтобы уменьшить шум, или дольше держать затвор открытым, чтобы пропустить больше света. После этого процессор изображения увеличивает яркость, уменьшая шум на фотографии.
Deep Fusion и фотонный двигатель
Deep Fusion — это технология Apple, которая делает девять фотографий подряд и использует нейронный процессор iPhone для создания фотографии с лучшим динамическим диапазоном, большей детализацией и меньшим количеством шума. Чип использует методы глубокого обучения для определения сцены и применения лучших настроек.
Фотография, использованная Apple для демонстрации Deep Fusion на iPhone 12 (Изображение: раскрытие информации / Apple)
Photonic Engine — это эволюция Deep Fusion, которая обрабатывает изображения с помощью искусственного интеллекта, прежде чем они будут сжаты. Это позволяет Neural Engine работать с большим объемом данных и дополнительно улучшать экспозицию, контрастность, текстуру и другие характеристики фотографии.
Биннинг пикселей
Биннинг пикселей объединяет несколько соседних пикселей с датчика изображения в один пиксель, часто называемый «суперпикселем». Цель состоит в том, чтобы обойти малый размер пикселя сенсоров мобильных телефонов, которые могут генерировать больше шума и улавливать меньше света.
Например, метод тетрабинирования (2×2) объединяет 4 пикселя в один. Таким образом, 48-мегапиксельный сенсор с этой технологией формирует 12-мегапиксельную фотографию, которая имеет более высокий уровень детализации и занимает меньше места в памяти устройства. Другие устройства часто встречаются на датчиках с более высоким разрешением, таких как 108 и 200 МП.
Тетра-биннинг и девятый-биннинг (изображение: Vitor Pádua/)
портретный режим
Портретный режим позволяет создать фотографию с размытым фоном. Эффект подобен боке, которое происходит в объективах с большой диафрагмой, когда основной объект фотографии остается полностью в фокусе, а фон кажется размытым. Боке не получается естественным образом на мобильных телефонах из-за большой глубины резкости.
В портретном режиме телефон может сделать два снимка: один для основного объекта, один для фона. Затем процессор изображений сшивает два изображения вместе, цифровым образом размывая одно с фоном. Датчики глубины и ToF могут определять трехмерную глубину фотографии, обеспечивая более точное вырезание фона.
Макрофотография с малой глубиной резкости (Изображение: Emerson Alecrim/)
Астрофотографический
Режим астрофотографии позволяет делать снимки ночного неба с большей детализацией и резкостью. Он работает за счет уменьшения скорости затвора, чтобы на датчик попадало больше света, и цифровой компенсации нежелательных эффектов, таких как дрожание камеры или движение звезд, которые могли бы вызвать инверсионные следы на фотографии.
В Google Pixel 6 Pro 2021 года встроены функции астрофотографии в ночной режим под названием Night Sight. При установке на штатив или другую поверхность сотовый телефон делает снимок звезд после того, как датчик остается открытым в течение 4 минут. Samsung Galaxy S22 также был выпущен с аналогичной функцией в 2022 году.
пространственное масштабирование
Космический зум, космический зум, 100-кратный зум и другие подобные технологии используют гибридный зум для достижения больших фокусных расстояний на камере мобильного телефона. Цель состоит в том, чтобы сфотографировать очень удаленные объекты даже с помощью небольшого объектива, который помещается в компактное устройство.
Он сочетает в себе оптический зум телеобъектива или объектива перископа с цифровым зумом. Если есть 10-кратный оптический зум плюс 10-кратный цифровой зум, можно сфотографировать Луну с меньшим количеством артефактов и шума, чем при чистом 100-кратном цифровом зуме. Процессор обработки изображений также уменьшает проблемы, связанные с цифровым зумом.
Различные подходы к машинному обучению в фотографии
Производители сотовых телефонов могут использовать различные подходы к вычислительной фотографии для создания более визуально интересных фотографий.
Apple, например, стремится использовать машинное обучение для повышения реалистичности фотографий, улучшая резкость изображения с помощью Deep Fusion и Photonic Engine. Цель состоит в том, чтобы выделить существующие детали, которые камера iPhone не может точно зафиксировать.
Другие бренды, такие как Samsung и Huawei, даже использовали вычислительную фотографию для создания новых фотографий. Например, Galaxy S23 Ultra добавляет текстуры луны с высоким разрешением, когда пользователь пытается сделать снимок спутника. Официально компания отрицает дублирование изображений.
Марк ЛевойПиксельGoogleAppleSamsungСотовый телефонHuaweiDSLRXiaomiHDRiPhoneSamsung Galaxy S22