Как лучшие предложения, хвост не застрял
Процессор сигналов изображения (ISP) объединяет аппаратное и программное обеспечение для преобразования данных, поступающих от сенсора цифровой камеры, в изображение. Интернет-провайдер вычисляет цвет и яркость каждого пикселя, повышает резкость и стремится обеспечить высочайшее качество изображения на мобильных телефонах, беззеркальных и зеркальных камерах, дронах и других устройствах.
Что провайдер делает с камерой? (Изображение: Витор Падуа / )
ISP может быть отдельным чипом, быть интегрированным в датчик изображения или интегрированным в SoC сотового телефона, как это делают Qualcomm и Apple. Сотовые телефоны с более чем одной камерой обычно имеют более одного интернет-провайдера. Процессоры обработки изображений могут работать вместе для настройки глубины резкости, захвата более насыщенных цветов и оптического увеличения.
Как работает процессор сигналов изображения?
Процессор сигналов изображения получает цвет каждого пикселя и сравнивает эти значения с информацией от соседних пикселей. Затем алгоритм вычисляет правильный цвет каждого пикселя посредством хроматической интерполяции (демозаики).
ISP также анализирует фотографию в целом, чтобы определить правильную яркость и контрастность, — объясняет Урс Тилльманнс, австрийский эксперт по фотографии.
Процессор сигнала изображения в камере (изображение: Vitor Pádua / )
После того, как свет проходит через объектив камеры, датчики изображения используют цветной фильтр, так что каждый пиксель получает только один оттенок. В случае датчиков CMOS наиболее распространенным является фильтр Байера, пропускающий только цвета RGB (красный, зеленый и синий).
Датчик преобразует свет каждого цвета в электрические сигналы, которые отправляются на процессор ISP. Камера также может иметь DSP (процессор цифровых сигналов), который помогает во время фото- и видеосъемки, уменьшая шум изображения и улучшая глубину цвета.
Каковы назначения процессора ISP?
ISP восстанавливает цвет, яркость и контраст сцены, используя данные, предоставленные датчиком изображения. Он также выполняет шумоподавление, коррекцию объектива, фокусировку и многое другое.
Автономность интернет-провайдера зависит от производителя камеры или смартфона. Например, Apple автоматически расставляет приоритеты в настройках, а телефоны Android предлагают пользователю больше свободы в режиме Pro.
Управление цветом
Процессор сигналов изображения определяет окружающее освещение, чтобы определить, как цвета будут воспроизводиться на фотографии. Есть четыре основных компонента:
- Автоматический баланс белого (AWB): регулирует оттенок цветов на основе белого, установленного по умолчанию;
- автоматическая экспозиция (AE): регулирует яркость и контрастность, управляя диафрагмой, выдержкой и ISO;
- Гамма-коррекция: регулирует интенсивность света в самых светлых и самых темных частях изображения;
- Тональное отображение: генерирует HDR-изображения, расширяя динамический диапазон фотографии.
Демонстрация HDR на фотографии с разным освещением (Изображение: Vitor Pádua/Paulo Higa/)
подавление шума
Процессор изображения удаляет шум, исходящий от сенсора. Интернет-провайдер корректирует пиксели, цвет и яркость которых сильно отличаются от других окружающих пикселей. Хроматический шум связан с цветом; световой шум обволакивает блики.
Количество шума обычно больше при более высоких значениях ISO, более длительном времени экспозиции и более высоких температурах окружающей среды. Работа ISP может быть затруднена в областях с очень мелкими деталями: если процессор обрабатывает их как шум, изображение теряет четкость и текстуру.
заточка
ISP использует алгоритмы для сглаживания краев и контуров объектов, делая изображение более четким и детализированным. Процессор выполняет интерполяцию для расчета значений цвета и яркости каждого пикселя и сглаживает изображение, чтобы компенсировать любые цветовые отклонения в отдельных пикселях.
Некоторые камеры также выполняют объединение пикселей, обрабатывая соседние пиксели как один для повышения резкости. Интернет-провайдер может влиять на качество фотографии в зависимости от его способности распознавать края объектов и удалять нежелательные артефакты.
автофокус
ISP выполняет автоматическую фокусировку (AF) изображения либо по контрасту, либо по фазе. В режиме Contrast AF он вычисляет фокус, получая максимальный цветовой контраст методом проб и ошибок. В фазовом автофокусе он измеряет расстояние до объекта, используя данные датчика глубины, и точно настраивает фокус.
ISP также может включать функцию EIS (электронная стабилизация изображения), которая использует гироскоп для уменьшения вибраций в видеороликах.
коррекция линз
Процессор ISP исправляет проблемы, которые могут возникнуть из-за небольшого объектива или компактного датчика изображения, такие как:
- Хроматическая аберрация: искажение цвета, очерчивающее края объектов;
- геометрические искажения: отличие геометрии реального объекта от кривизны объектива, фокусного расстояния или угла съемки;
- виньетирование: затемнение краев фотографии;
- затенение: постепенное уменьшение яркости, идущее от центра к краям.
Эти искажения можно исправить с помощью искусственного интеллекта и машинного обучения, как отмечают исследования, опубликованные IEEE и Springer.
Какие основные производители процессоров являются интернет-провайдерами?
Согласно Precision Reports, это ведущие производители интернет-провайдеров:
- Qualcomm
- Samsung
- Рука
- Фуджицу
- STMicroelectronics
- ОмниВижн Технологии
- Ренесас Электроникс
- THine Electronics
- Полупроводники NXP
Это основные интернет-провайдеры беззеркальных и зеркальных камер:
- Канон Диджик
- Никон Экспед
- Олимп TruePic
- Двигатель Panasonic Venus
- Пентакс Прайм
- Сигма Истинно
- Сони Бионз
Процессоры изображений используются в сотовых телефонах (сектор, в котором интернет-провайдеры приобретают все большее значение с развитием вычислительной фотографии), в автомобильной промышленности, в камерах безопасности. По данным консалтинговой компании Yole Intelligence, к 2024 году рынок интернет-провайдеров должен вырасти на 4,3 миллиарда долларов США.
DSLRQualcomminglêsСистема-на-чипе (SoC)AppleAndroidHDR