О гистограмме RAW

[SPU]

Ковыряясь в недрах RAW обнаружил следующую вещь:

Если внимательно посмотреть на гистограмму, то можно заметить, что зеленый канал ушел в пересвет раньше, чем закончилась его разрядная сетка (на значении 3840). Это же значение предлагается как потолок для всех каналов на D90. Но...

Тут хорошо видно, что в каких-то условиях зеленый спокойно может уходить за этот потолок, не говоря уж о других каналах.



Собственно, в связи с этим вопрос: каким образом можно контролировать гистограмму RAW, если в кадре без пересвета нет возможности узнать реальную границу каналов?

[Paddington]

Раз уж вы спрашиваете про гистограмму RAW, тогда, скорее всего, вам знакомы такие понятия, как ETTR и UniWB? Насколько я понимаю, использование этих приемов как раз поможет в решении вашего вопроса.

[SPU]

Раз уж вы спрашиваете про гистограмму RAW, тогда, скорее всего, вам знакомы такие понятия, как ETTR и UniWB? Насколько я понимаю, использование этих приемов как раз поможет в решении вашего вопроса.

Ни чем не поможет. На графиках голые данные их камеры.

[Роман Генералов]

моему фотоаппарату экспокоррекция в минус помогает.

[SPU]

моему фотоаппарату экспокоррекция в минус помогает.

Мне нужно определить критерий пересвета по данным RAW, а не камеру крутить.

[Paddington]

Ни чем не поможет. На графиках голые данные их камеры.

То есть вы хотите определить, что потеряно, уже после съемки, из данных RAW? Сомневаюсь, что это вообще возможно.

[Zed]

Ковыряясь в недрах RAW обнаружил следующую вещь:

Если внимательно посмотреть на гистограмму, то можно заметить, что зеленый канал ушел в пересвет раньше, чем закончилась его разрядная сетка (на значении 3840). Это же значение предлагается как потолок для всех каналов на D90. Но...



Тут хорошо видно, что в каких-то условиях зеленый спокойно может уходить за этот потолок, не говоря уж о других каналах.

Собственно, в связи с этим вопрос: каким образом можно контролировать гистограмму RAW, если в кадре без пересвета нет возможности узнать реальную границу каналов?

Может, еще не все забыл о RAW-анализаторах .



Разрядная сетка определяется битностью канала (если исключить всякие манипуляции с цифровым сигналом, которыми, в частности, балуется Сони). Видимо, у D90 12-ти битный цвет. Так что имеем количество возможных значений 2^12=4096.



На 1-й гистограмме по каждому каналу указаны максимальные наблюденные значения. Именно то, что максимум у зеленого канала ниже 4095, означает, что канал не переэкспонирован. А вот у красного и синего наблюдается небольшой клиппинг в светах. У всех каналов и клиппинг в тенях (много пикселей с нулевыми значениями).



Во втором файле ни один канал не пересвечен (34 пикселя в красном канале со значением 4095 не в счет). Зато имеет место клиппинг в тенях.



Так что обозначенной Вами проблемы (противоречия) в этих данных нет.



UPD. Вообще, здесь надо хорошо разобраться (а мне вспомнить), что обозначает каждый элемент диаграммы. Наверняка, в мануале есть.

[SPU]

Так что обозначенной Вами проблемы (противоречия) в этих данных нет.

UPD. Вообще, здесь надо хорошо разобраться (а мне вспомнить), что обозначает каждый элемент диаграммы. Наверняка, в мануале есть.

Есть, на первом графике предельное значение 3840 в зеленом зашкаливает, а дальше ничего нету. Я специально взял кадр с пересветом по белому.

В мануале к чему? Никон свои вирши сильно охраняет.

[Zed]

Есть, на первом графике предельное значение 3840 в зеленом зашкаливает, а дальше ничего нету. Я специально взял кадр с пересветом по белому.

В мануале к чему? Никон свои вирши сильно охраняет.

Зашкаливать ничего никуда не может. Сенсор может выдать в каждом канале значения от 0 до 4095. Пересвет/недосвет - это когда много пикселей со значениями 4095 и 0 соответственно. В первом примере нет предельно насыщенных пикселей в зеленом канале, т.е. пикселей с предельным (=4095) значением. Там даже остался небольшой запас в светах.



Мануал к просмотрщику RAW-файлов.

[SPU]

Зашкаливать ничего никуда не может. Сенсор может выдать в каждом канале значения от 0 до 4095. Пересвет/недосвет - это когда много пикселей со значениями 4095 и 0 соответственно. Мануал к просмотрщику RAW-файлов.

В том то и дело, что на первом кадре количество пикселей зашкаливает на 3840, а не на 4095. Да и 4095 и 0 - это не пересвет и недосвет, а полная катастрофа.

[k561l]

...Я специально взял кадр с пересветом по белому.

...

и

...В первом примере нет предельно насыщенных пикселей в зеленом канале, т.е. пикселей с предельным (=4095) значением. Там даже остался небольшой запас в светах.

...

разве тут нет противоречия?

[Zed]

В том то и дело, что на первом кадре количество пикселей зашкаливает на 3840, а не на 4095. Да и 4095 и 0 - это не пересвет и недосвет, а полная катастрофа.

RAW-digger позволяет посмотреть сколько пикселей имеют каждое значение от 0 до 4095 (выводится в виде таблицы типа "значение - количество пикселей с этим значением", и так от 0 до 4095). И каждый сам может для решить, чрезмерно много или нет каких либо значений - пикселей с тем или иным значением (хотя это лучше смотреть на фото ). Так что Ваше "зашкаливает" субъективно. Кстати, ни в одном примере никакой катастрофы нет, на мой взгляд. Вот освещение совсем разное. Это да. (Ну, не совсем разное .)

[Zed]

разве тут нет противоречия?

Нет. Так как нет пересвета в RAW (это ключевой момент) в зеленом канале. Допускаю, что пересвет был в jpg. Но jpg не имеет никакого отношения к гистограмме RAW.

[SPU]

Так что Ваше "зашкаливает" субъективно.

Там примерно 10% изображения заливка значением 3840.

И еще RawDigger платный, хотя его автор почти ничего не сделал. Все, что есть в этой программе, кроме интерфейса, чистый OpenSource.

Нет. Так как нет пересвета в RAW (это ключевой момент) в зеленом канале. Допускаю, что пересвет был в jpg. Но jpg не имеет никакого отношения к гистограмме RAW.

Пересвет есть, но значение его нестандартное.

[Zed]

Пересвет есть, но значение его нестандартное.

Могу только еще раз подчеркнуть, что надо точно знать, как строится гистограмма. Использованы ли там точки белого и черного или выведены данные с сенсора как есть. Если использованы, до диапазоны возможных значений будут уже, и клиппинг может достигаться при иных значениях.



Но так как на первой диаграмме прямо указано, что в зеленом канале пересвета нет (стоят нулевые значения), скорее всего точки белого и черного не использованы. На это указывает и шкала оси абсцисс, которая в точности покрывает указанный мною диапазон.

[SPU]

Могу только еще раз подчеркнуть, что надо точно знать, как строится гистограмма. Использованы ли там точки белого и черного или выведены данные с сенсора как есть. Если использованы, до диапазоны возможных значений будут уже, и клиппинг может достигаться при иных значениях.

Не использованы. Данные выводятся как есть. Тем более, что точка черного у никона всегда 0.

[Zed]

Не использованы. Данные выводятся как есть. Тем более, что точка черного у никона всегда 0.

И я об этом же, см. дополнения в моем предыдущем посте.



Кстати, классический пример (небольшого) клиппинга в RAW содержится на 1-й гистограмме в синем канале. Там последнему значению (4095) соответствует столбик, который значительно превосходит по высоте соседние слева.



И еще одно кстати. На примере конвертеров каждый может считать недосветом/пересветом не единственное (минимальное/ максимальное) значение, а некоторый диапазон значений.

[SPU]

Но так как на первой диаграмме прямо указано, что в зеленом канале пересвета нет (стоят нулевые значения), скорее всего точки белого и черного не использованы. На это указывает и шкала оси абсцисс, которая в точности покрывает указанный мною диапазон.

Пересвет 0, т.к. предельное значение не попало в край разрядной сетки. Потому и вопрос, как правильно определять пересвет, если предел может быть меньше 4095.

[Zed]

Пересвет 0, т.к. предельное значение не попало в край разрядной сетки. Потому и вопрос, как правильно определять пересвет, если предел может быть меньше 4095.

С этим я никак не соглашусь. А ответ на вопрос уже содержался выше на примере клиппинга в синем канале.

В зеленом же канале нет аномального выброса (пика) справа (в светах). Там вполне такое себе пристойное распределение освещенности пикселей во всем диапазоне фактических значений.

[SPU]

С этим я никак не соглашусь. А ответ на вопрос уже содержался выше на примере клиппинга в синем канале.

В зеленом же канале нет аномального выброса (пика) справа (в светах). Там вполне такое себе пристойное распределение освещенности пикселей во всем диапазоне фактических значений.

Он просто такой большой, что Вы его не замечаете. В G2 он на всю высоту графика, а в G1 почти на всю.

[Zed]

Он просто такой большой, что Вы его не замечаете. В G2 он на всю высоту графика, а в G1 почти на всю.

Точно . Тогда вопрос правильнее было бы (понятнее для меня) сформулировать так: "Почему в зеленом канале нет пикселей с большими, чем на той диаграмме, значениями".



Здесь ответ сразу в голову не приходит. Видно и вправду утро вечера мудренее .

[SPU]

Точно . Тогда вопрос правильнее было бы (понятнее для меня) сформулировать так: "Почему в зеленом канале нет пикселей с большими, чем на той диаграмме, значениями".

Могу только сказать, что подобную фигню я пока наблюдал только на D90.

[Zed]

Могу только сказать, что подобную фигню я пока наблюдал только на D90.

Поспорю еще.

Посмотрите, сколько значений в синем канале, а столбик гистограммы очень низкий.

В зеленом канале максимальных значений гораздо меньше, а Вы считаете, что там столбик по высоте почти на всю ось ординат. Нет там столбика вообще. Он практически не виден. Ногами сформированный график. Это граница цветного фона, скорее.

[SPU]

Поспорю еще.

Посмотрите, сколько значений в синем канале, а столбик гистограммы очень низкий.

В зеленом канале максимальных значений гораздо меньше, а Вы считаете, что там столбик по высоте почти на всю ось ординат. Нет там столбика вообще. Он практически не виден. Ногами сформированный график. Это граница цветного фона, скорее.

Цветной фон показывает наличие пикселей данной яркости, а основной цвет - количество, никаких границ там нет. Масштаб всех графиков одинаковый.

[Zed]

Цветной фон показывает наличие пикселей данной яркости, а основной цвет - количество, никаких границ там нет. Масштаб всех графиков одинаковый.

Ну Вы согласны, что крайне правый столбик зеленых каналов не может быть выше синего крайне правого столбика? Если придерживаться общепринятых правил построения гистограмм. И где тогда аналогичные столбики на второй гистограмме? А там максимальных значений в зеленых каналах чуть меньше.

[SPU]

Ну Вы согласны, что крайне правый столбик зеленых каналов не может быть выше синего крайне правого столбика? Если придерживаться общепринятых правил построения гистограмм. И где тогда аналогичные столбики на второй гистограмме? А там максимальных значений в зеленых каналах чуть меньше.

Вот этого я не понимаю. По белому зеленый всегда начинает первым вылетать, поэтому и количество вылетевших значений гораздо больше.

[Zed]

Вот этого я не понимаю. По белому зеленый всегда начинает первым вылетать, поэтому и количество вылетевших значений гораздо больше.

А освещение какое было? Температура?

[SPU]

А освещение какое было? Температура?

Естественное дневное. В понедельник могу посмотреть, какое именно. В любом случае красный канал на стоп отстает от зеленого по коэффициентам ББ.

[Zed]

Если это реальные снимки с разным сюжетом, то нет смысла. Я почему-то подумал, что это тестовые снимки с одним сюжетом и контролируемым освещением. Лучше просто выложить NEF первого снимка.

[k561l]

Естественное дневное. В понедельник могу посмотреть, какое именно. В любом случае красный канал на стоп отстает от зеленого по коэффициентам ББ.

[oft]Мне кажется, наглядности обсуждению и взаимопониманию добавило бы наличие самих обсуждаемых снимков.[/oft]

[Zed]

Скачал с IR тестовый снимок от D90. Там есть блики на стеклянных предметах. Так вот, действительно в зеленом канале максимальные значения на уровне тех, что в обсуждаемом примере, а в красном и синем каналах они достигают максимально возможного уровня 4095. Специфика сенсора/обработки сигнала с него?

[SPU]

Скачал с IR тестовый снимок от D90. Там есть блики на стеклянных предметах. Так вот, действительно в зеленом канале максимальные значения на уровне тех, что в обсуждаемом примере, а в красном и синем каналах они достигают максимально возможного уровня 4095. Специфика сенсора/обработки сигнала с него?

Меня беспокоит не столько то, что в зеленом такой странный потолок, сколько то, что этот потолок не всегда потолок, как видно из второго скриншота.

Возможно это как-то связано с lossy компрессией, но в этом случае речь шла о прореживании светов и теней, а не о полном отсечении. Попробую какую-то статистику собрать. Может быть есть какое-то ограничение на количество оттенков или еще что-то, с чем никон решил бороться таким странным образом.

[SPU]

После исследования некоторого количества фотографии зависимость все еще не обнаружена. Граница отсечки напрямую не зависит ни от ISO, ни от использованного количества оттенков в канале. Более того, отсечка может быть разной для каждого из зеленых каналов, а так же иногда была замечена в синем.

Такое ощущение, что это подгонка под какие-то дальнейшие вычисления, например, чтобы коэффициенты ББ выбирались из ограниченного списка, а не были произвольные. Но практический смысл такого подхода все равно не ясен. Как и не ясно, что с этим делать на практике. Программе же не объяснишь, что на одном кадре пересвет надо так считать, а на другом - иначе.

[SPU]

Путем изучения исходников выяснил, что D90 далеко не единственная камера с такими фокусами: D200, D3200, D5000, D5100, D600 (D610 почему-то не входит в список). И еще у D5300 черный не 0.

[SPU]

Наглядная агитация

Чем отличается D90 от D300. См. на параметр "Всего оттенков".

При чем для D90 это почти потолок, а для D300 далеко нет.

[Zed]

Поставьте RAWdigger на месяц. Посмотрите полный набор значений. Нынче "количество значений" мало о чем говорит. Данные для D90 растянуты по всему диапазону (там сплошные дырки). У камер Сони, например, А99, вообще максимум 2048 значений на канал при заявленных 14-ти битах и ничего. Ломать голову, почему Никон так обрабатывает (оцифровывает) сигнал, смысла особого нет. Не вижу особого повода и для того, чтобы горевать из-за того, что в зеленом канале он кодирует сигнал с насыщенных ячеек значением, немного меньшим, чем максимально предельное (в данном случае, 4095). Это малая доля стопа. Как из-за этого можно влететь в пересвет? Камера не способна так точно выставлять экспозицию.



Более глубокие изыскания представляют, разве что, "спортивный" интерес, весьма далекий от фотографии, как мне представляется.

[SPU]

Поставьте RAWdigger на месяц. Посмотрите полный набор значений. Нынче "количество значений" мало о чем говорит. Данные для D90 растянуты по всему диапазону (там сплошные дырки). У камер Сони, например, А99, вообще максимум 2048 значений на канал при заявленных 14-ти битах и ничего. Ломать голову, почему Никон так обрабатывает (оцифровывает) сигнал, смысла особого нет. Не вижу особого повода и для того, чтобы горевать из-за того, что в зеленом канале он кодирует сигнал с насыщенных ячеек значением, немного меньшим, чем максимально предельное (в данном случае, 4095). Это малая доля стопа. Как из-за этого можно влететь в пересвет? Камера не способна так точно выставлять экспозицию.



Более глубокие изыскания представляют, разве что, "спортивный" интерес, весьма далекий от фотографии, как мне представляется.

RawDigger как раз то, от чего я хочу избавиться. Это далеко не образец инструмента, который должен быть, да еще и платный.

Количество значений в канале напрямую влияет на возможность тонкой обработки фотографии.

А потолок каналов помимо размеров зоны пересвета напрямую влияет на корректность восстановления цвета из RAW.

[searcher]

Не об этом случайно ?

Моя ссылка

[SPU]

Не об этом случайно ?

Моя ссылка

Может и об этом, но:

1. Зачем это оставлено в RAW?

2. Почему порог насыщения плавающий?



Ну и самое главное, как с этим бороться. Исходная причина в общем не имеет особого значения. В конце концов у меня на руках есть всего лишь данные гистограммы и привязываться к модели камеры очень бы не хотелось.

[Zed]

2. Почему порог насыщения плавающий?

Ну и самое главное, как с этим бороться.

Обычными методами.

Плавает он в очень узком диапазоне в непосредственной близости к абсолютному максимуму.

Еще раз напомню, что камера выставляет экспозицию с точностью до 1/3 стопа. Причем на это налагается ошибка отработки заданной экспозиции конкретной камерой в конкретных условиях. А порог насыщения плавает гораздо ближе к пределу.



В процессе съемки оценить истинное положение и форму гистограммы можно только с помощью uniWB. Однако камерная гистограмма не совпадает (т.к. она строится по jpg) с гистограммой, построенной по RAW. Т.е и здесь присутствует ошибка (оценки гистограммы).



Все это имеет смысл в "спортивных соревнованиях" на точность попадания гистограммы (ее правым краем) в абсолютный предел. У кого ближе правый край без клиппинга к пределу, тот и победил. Но это уже другой вид деятельности или досуга.

[SPU]

Все это имеет смысл в "спортивных соревнованиях" на точность попадания гистограммы (ее правым краем) в абсолютный предел. У кого ближе правый край без клиппинга к пределу, тот и победил. Но это уже другой вид деятельности или досуга.

У меня цель избавиться от RawDigger, а не точность камеры проверять.

[Zed]

У меня цель избавиться от RawDigger, а не точность камеры проверять.

Это цель мне еще менее понятна. Удалите его с компьютера, и всех дел. Это же не вирус.

Какие его возможности Вас не устраивают? Ведь изначально речь шла не о нем, а о заниженном пороге насыщения у D90 и как в связи с этим бороться с пересветами.

[SPU]

Это цель мне еще менее понятна. Удалите его с компьютера, и всех дел. Это же не вирус.

Какие его возможности Вас не устраивают? Ведь изначально речь шла не о нем, а о заниженном пороге насыщения у D90 и как в связи с этим бороться с пересветами.

И что предлагаете взамен?

Речь шла о пороге, и как в связи с этим оценивать пересвет, т.к. порог плавающий и в самих данных он может отсутствовать, если нет крупной зоны пересвета.

[Zaits]

Может и об этом, но:

1. Зачем это оставлено в RAW?

2. Почему порог насыщения плавающий?

...

- Скорее всего, это какое-то нормирование каналов, связанное с особенностями родного софта.

Родной софт должен об этом знать. И граница насыщения канала ему должна быть известна. В противном случае, работу VNX и иже их объяснить трудно.

- Вполне вероятно, что используется встроенная схема калибровки, а коэффициенты для нормирования вычисляются после калибровки.



В случае Д90 используется коэффициент меньше 1, но мне попадалось и обсуждение провалов в целочисленной шкале значений, что связывали с коэффициентом более единицы.



Т.о., для определения пересветов приходится использовать родной софт.