сжатие РАВ

[ARSY]

Друзья мои ученые, растолкуйте с астрономической точки зрения технологию сжатия РАВ файла в Д200 (В д70 я такой функции не нашел).



1. Если сжатие не влияет на качество, то видимо влияет на скорость записи? (если можно на цифрах - из какого объема какой получается, и какова скорость записи во время съемки с жатием и без)

2. Если влияет на качество то каким образом? аналог алгоритма ЖПГ?

3. Существуют ли настройки силы сжатия?

[Andrey]

Друзья мои ученые, растолкуйте с астрономической точки зрения технологию сжатия РАВ файла в Д200 (В д70 я такой функции не нашел).



1. Если сжатие не влияет на качество, то видимо влияет на скорость записи? (если можно на цифрах - из какого объема какой получается, и какова скорость записи во время съемки с жатием и без)

2. Если влияет на качество то каким образом? аналог алгоритма ЖПГ?

3. Существуют ли настройки силы сжатия?

В D70 сжатие есть всегда. Коэффициент сжатия примерно 1.5. Эта цифра получается очень легко: число сенсоров 3000х2000, в RAW формате каждый пиксел это 12 бит или 1.5 байта. Следовательно, не сжатый NEF должен весить 9 мег, в реале имеет около 6 мег (зависит от сюжета, если сфотографировать черный квадрат, будет меньше 3 мег NEF).



Алгоритм сжатия в D70 (говорят, что и в D200 аналогичный алгоритм, но сам я не проверял) очень простой. Весь диапазон возможных значений от 0 до 2 в 12 степени - 1, разбивается на группы. Причем группы для малых значений (тени) состоят из одного значения, а группы для больших значений (света) включают несколько значений. И если сенсор выдает на выходе значение N, то в NEF файл пишется не N, а граница группы. Получаем, что в тенях нет сжатия, а для "светов" оно есть. Вместо 12 бит получаем 9.5 бит.



Плохо это или хорошо, сложно сказать. Но такой алгоритм сжатия имеет право на жизнь, так как из-за технических особенностей сенсорной матрицы мы имеем около 4 "шумовых" бита и выкинуть из них 2.5 вполне корректно. С другой стороны, за 5 минут (это не преувеличение) пишется "честный" (lossless)алгоритм сжатия, с лучшим коэффициентом сжатия и сохранением всех 12 бит. Почему Никон пошел по другому пути я не знаю.



Степень сжатия в камере регулировать в нельзя

[ARSY]

В D70 сжатие есть всегда. Коэффициент сжатия примерно 1.5. Эта цифра получается очень легко: число сенсоров 3000х2000, в RAW формате каждый пиксел это 12 бит или 1.5 байта. Следовательно, не сжатый NEF должен весить 9 мег, в реале имеет около 6 мег (зависит от сюжета, если сфотографировать черный квадрат, будет меньше 3 мег NEF).



Алгоритм сжатия в D70 (говорят, что и в D200 аналогичный алгоритм, но сам я не проверял) очень простой. Весь диапазон возможных значений от 0 до 2 в 12 степени - 1, разбивается на группы. Причем группы для малых значений (тени) состоят из одного значения, а группы для больших значений (света) включают несколько значений. И если сенсор выдает на выходе значение N, то в NEF файл пишется не N, а граница группы. Получаем, что в тенях нет сжатия, а для "светов" оно есть. Вместо 12 бит получаем 9.5 бит.



Плохо это или хорошо, сложно сказать. Но такой алгоритм сжатия имеет право на жизнь, так как из-за технических особенностей сенсорной матрицы мы имеем около 4 "шумовых" бита и выкинуть из них 2.5 вполне корректно. С другой стороны, за 5 минут (это не преувеличение) пишется "честный" (lossless)алгоритм сжатия, с лучшим коэффициентом сжатия и сохранением всех 12 бит. Почему Никон пошел по другому пути я не знаю.



Степень сжатия в камере регулировать в нельзя

заумно то как.........

но я как раз слышал, что в д200 есть возможность включения\отключения сжатия. Вопрос мой касался только д200

[alexvb]

но я как раз слышал, что в д200 есть возможность включения\отключения сжатия. Вопрос мой касался только д200

Ага, на д200 выключается, тогда файлы все становятся одинакового размера - около 16 мег. Я не согласен с предыдущим постом, там алгоритм более сложный, нежели простое нелинейное табличное кодирование - nef файлы в д200 разного размера от 8 до 11 мег, что говорит о зависимости сжатия от сжимаемых данных.

[Andrey]

Ага, на д200 выключается, тогда файлы все становятся одинакового размера - около 16 мег. Я не согласен с предыдущим постом, там алгоритм более сложный, нежели простое нелинейное табличное кодирование - nef файлы в д200 разного размера от 8 до 11 мег, что говорит о зависимости сжатия от сжимаемых данных.

Можете соглашаться, можете не соглашаться, но это так, за исключением небольших нюансов. Чтоб в этом убедиться можно скачать из Интернета программку dcraw.c и посмотреть, что происходит с данными для каждой камеры.



Разный объем файла получается из-за того, что после описанного метода данные сжимаются арифметическим кодированием. А степень сжатия арифметического кодирования зависит от энтропии данных (если не ругаться, а просто рукой махнуть, то от самих данных). Чем больше повторяющихся значений, тем лучше сожмется файл.

[kondak]

Ага, на д200 выключается, тогда файлы все становятся одинакового размера - около 16 мег. Я не согласен с предыдущим постом, там алгоритм более сложный, нежели простое нелинейное табличное кодирование - nef файлы в д200 разного размера от 8 до 11 мег, что говорит о зависимости сжатия от сжимаемых данных.

Возобновим обсуждение:

Посмотрел сег размер РАВов из камеры на компе. Размер от 6,5 до 8,9 мег.

Где от 8-11 мег? И если они сжимаются, то как это сказывается на качестве?

Я предполагал что сжатие необходимо для экономии места на флешке, зачем их сжимать на ж диске?

[Mike_s]

Возобновим обсуждение:

Посмотрел сег размер РАВов из камеры на компе. Размер от 6,5 до 8,9 мег.

Где от 8-11 мег? И если они сжимаются, то как это сказывается на качестве?

Я предполагал что сжатие необходимо для экономии места на флешке, зачем их сжимать на ж диске?

так на диске их никто и не сжимает

они в камере "сжимаются", а из нее тупо на диск переписываются.

не знаю, как в Ды200, а в Ды100 легко выбрать - сжатые или нет

в соотвествующем меню есть RAW (NEF) и Comp. RAW (NEF). Вот первый - несжатый (9М на файл), второй - сжатый.



при этом если сжатие происходит по алгоритму, описанному ниже, то чась информации при таком сжатии теряется (огрубляется). Та, что совсем в тенях (точнее в шумах - потому по такому пути, видимо, и пошли).

[Nikolaych]

Ниужели ни кто не задавался этим вопросом. Не в теории, а на практике.

Снимал на д200, сначала в рав без зжатия. Потом был вариант нехватки места на флешке, и поставил зжатие. Придя домой при просмотре разнеци не заметил. Теперь снимаю только с зжатием. Может это проявится при печати больших форматов? Вот допустим у канона, тагого пораметра помойму вообще нет.

[Владимир Помогаев]

Теперь снимаю только с зжатием. Может это проявится при печати больших форматов?

Это проявляется на "экстремальных" сюжетах, в высоких светах. На "типовых" сюжетах вы разницу можете просто не заметить.

Такая же закономерность есть и на моей Фуджи: при съёмке "типовых" сюжетов, разницы между "нормальными" raw-файлами (12.5 метра) и "расширенными" raw-файлами (25 метров) особо не видно, и я даже хотел полностью перейти на "нормальный" режим. Но, как только решил проверить разницу на сюжетах с "вылетающими" светами, то разница стала очевидной...

[Nikolaych]

Это проявляется на "экстремальных" сюжетах, в высоких светах. На "типовых" сюжетах вы разницу можете просто не заметить.

Такая же закономерность есть и на моей Фуджи: при съёмке "типовых" сюжетов, разницы между "нормальными" raw-файлами (12.5 метра) и "расширенными" raw-файлами (25 метров) особо не видно, и я даже хотел полностью перейти на "нормальный" режим. Но, как только решил проверить разницу на сюжетах с "вылетающими" светами, то разница стала очевидной...

Огромное спасибо за внятный ответ. Буду учитывать при съёмке.

[ARSY]

Это проявляется на "экстремальных" сюжетах, в высоких светах. На "типовых" сюжетах вы разницу можете просто не заметить.

Такая же закономерность есть и на моей Фуджи: при съёмке "типовых" сюжетов, разницы между "нормальными" raw-файлами (12.5 метра) и "расширенными" raw-файлами (25 метров) особо не видно, и я даже хотел полностью перейти на "нормальный" режим. Но, как только решил проверить разницу на сюжетах с "вылетающими" светами, то разница стала очевидной...

нельзяли разместить где-то образец "вылетающих светов" в "в высоких светах"? Это съемка в "высоком ключе" имеется ввиду?

кстати, Вы уверены, что "нормальный РАВ" Фуджи - это то же, что сжатый РАВ д200,

а "расширенный РАВ Фуджи - это НЕ сжатый РАВ д200?



Судя по терминологии напоминает не степень сжатия а наоборот, какое-то дополнение (расширение). Не связано ли это расширение с включением дополнительных ячеек в матрице и увеличением ДД?????

[Nikolaych]

Усаживаемся поудобней, пивко в холодильнике ещо было. Что вы там говорили про дополнительные ячейки и увеличение дд. Но ведь производитель пишет что это всёже сжатие, Цитирую: Сжатие изображения в формате NEF примерно на 40-50% с небольшой потерей качества. Увеличивается время записи.

Если-бы по вашему просто отключались ячейки, то при чем тут увеличение времяни записи? Данные наоборот залетали-бы быстрей, т.к. их меньше.

Или производитель нас обманывает? А сам, дейсвительно вырубает пол матреци. Но тогда-бы дд не уменьшалось а увеличивалось, а уменьшалось бы колличество мегопикселей. Поправте меня если я ошибаюсь.

[Владимир Помогаев]

нельзяли разместить где-то образец "вылетающих светов" в "в высоких светах"? Это съемка в "высоком ключе" имеется ввиду?

Постараюсь - файлы на работе.

Нет, не про высокий ключ идёт речь.

кстати, Вы уверены, что "нормальный РАВ" Фуджи - это то же, что сжатый РАВ д200,

а "расширенный РАВ Фуджи - это НЕ сжатый РАВ д200?

Конечно же нет. Просто я привёл этот пример в качестве того, что на "типовых" сюжетах тоже разницы не замечал...

[photo-photo]

Еще одно интересное сомнение меня мучает - что и несжатый NEF на самом деле пожат, т.к. размер файла маловат для такого количества точек в котором по 12 бит на каждую. Даже 8-битный тиф больше.



Подозрения усиливает странное периодическое чередование пикселов через один на резких границах, я такого больше нигде не видел.



Или там какая-то хитрость с другим цветовым пространством?

[alexvb]

Еще одно интересное сомнение меня мучает - что и несжатый NEF на самом деле пожат, т.к. размер файла маловат для такого количества точек в котором по 12 бит на каждую.

10 мегапиксел помножить на 1.5 байта (12 бит) будет 15 Мб, размер несжатого NEFа от D200.

Подозрения усиливает странное периодическое чередование пикселов через один на резких границах, я такого больше нигде не видел.

Это знаменитый "короткий бандинг", компрессия тут нипричем, виновато многоканальное считывание с обоих сторон матрицы, оно в CCD матрице пока только у д200.

[photo-photo]

10 мегапиксел помножить на 1.5 байта (12 бит) будет 15 Мб,

Ну, нифига себе, это чтож на точку по 4 бит всего что ли - это же лажа полная была бы с изображением? В файле, который записывается на карту памяти не 10 мп а 30 - на каждый цвет должно быть по 10, должно быть 45 мб. Или я чего-то не понимаю?

[alexvb]

Ну, нифига себе, это чтож на точку по 4 бит всего что ли - это же лажа полная была бы с изображением? В файле, который записывается на карту памяти не 10 мп а 30 - на каждый цвет должно быть по 10, должно быть 45 мб. Или я чего-то не понимаю?

На точку 12 бит, а точек у вас 10млн, не 30, как вы почему то решили, а всего 10. В tif-е rgb данные для каждой точки, а в Nef-е данные только того цвета, какого цвета фильтр находится над данным пикселем.

[photo-photo]

не 30, как вы почему то решили, а всего 10. В tif-е rgb данные для каждой точки, а в Nef-е данные только того цвета, какого цвета фильтр находится над данным пикселем.

Я решил потому как раз, что в файле 8-битного тифа, получаемого из NEFа как раз и есть 30 млн. пикселей, если рассматривать каждый канал как 10 мп. Т.е. по сравнению с тифом, в NEFе информации в 4 раза меньше - т.е. если следовать вашей логике, то там на каждый канал по 2,5 мп. а остальные 7,5 мп. получаются интерполяцией, а это мне кажется весьма сомнительным (как на самом деле я не знаю, но неужели настолько нас обманывают?).

В tif-е rgb данные для каждой точки, а в Nef-е данные только того цвета, какого цвета фильтр находится над данным пикселем.

Т.е. в NEFе настоящих мегапикселов 2,5 - правильно я понял? Или, другими словами 10, но из этих 10-ти каждый пиксел может быть либо красным, либо зеленым, либо синим. В то время, как в

TIFе каждый пиксел содержит информацию о трех цветах. Вот, опять получается обман - D200 - значит, выходит, 2,5 мегапиксельный аппарат, я опять сомневаюсь в этом.

[Владимир Помогаев]

нельзяли разместить где-то образец "вылетающих светов" в "в высоких светах"?

Вот, пожалуйста...

[Andrey]

Я решил потому как раз, что в файле 8-битного тифа, получаемого из NEFа как раз и есть 30 млн. пикселей, если рассматривать каждый канал как 10 мп. Т.е. по сравнению с тифом, в NEFе информации в 4 раза меньше - т.е. если следовать вашей логике, то там на каждый канал по 2,5 мп. а остальные 7,5 мп. получаются интерполяцией, а это мне кажется весьма сомнительным (как на самом деле я не знаю, но неужели настолько нас обманывают?).

Т.е. в NEFе настоящих мегапикселов 2,5 - правильно я понял? Или, другими словами 10, но из этих 10-ти каждый пиксел может быть либо красным, либо зеленым, либо синим. В то время, как в

TIFе каждый пиксел содержит информацию о трех цветах. Вот, опять получается обман - D200 - значит, выходит, 2,5 мегапиксельный аппарат, я опять сомневаюсь в этом.

Про байеровские матрицы, что-нибудь слышали?

Почитайте информацию в интернете. Хотя бы на dpreview

[alexvb]

остальные 7,5 мп. получаются интерполяцией, а это мне кажется весьма сомнительным

Почему?

D200 - значит, выходит, 2,5 мегапиксельный аппарат

Что в этом удивительного? Ведь, если считать как вы, то 6мп камера "всего" 1.5 мегапиксельная.

[Mike_s]

Т.е. в NEFе настоящих мегапикселов 2,5 - правильно я понял?

нет, настоящих там 10.

Или, другими словами 10, но из этих 10-ти каждый пиксел может быть либо красным, либо зеленым, либо синим.

вот именно.

в итоге вы имеете 10 Мп яркостной информации

ну а "полноцветной" - поменьше, да... Но она в общем-то и не сильно нужна, полноцветная-то.



в конце концов у нас в глазу - порядка 5-6 миллионов колбочек (воспринимающих цвет) и порядка 100-150 млн. палочек (воспринимающих только яркость). И ничего - живем.

В то время, как в

TIFе каждый пиксел содержит информацию о трех цветах. Вот, опять получается обман - D200 - значит, выходит, 2,5 мегапиксельный аппарат, я опять сомневаюсь в этом.

просто другой способ кодирования.

а если в TIFF закодировать картинку в пространстве LAB, то каждый бит будет содержать информацию о яркости, разности красного и зеленого и разности синего и желтого. А если в CMYK - то каждая точка станет 4-х цветной (а файл вырастет в размерах, поскольку на каждую точку надо будет больше байт - 32 вместо 24 при 8-ми битном кодировании, 48 вместо 36 при 16-ти битном). А в картинке ничего не изменится (кроме того, что не всякая комбинация RGB корректно пересчитывается в CMYK, потому некоторые цвета "съедут").



Нет, понятно,ч то если каждую точку честно считывать в трех цветах (как, например, было сделано в матрицах Foveon, которые ставились в цифрозеркалки Сигма), то картинка станет поинтереснее, чем если два цвета интерполировать по соседним. Прежед всего точность воспроизведения переходов цвета выше и количество воспроизводимых оттенков больше. Но при этом платите за 9 Мп на матрице, а разрешения имеет на 3. В то время как на байере - платите за 10 Мп и "черно-белого" разрешения имеет на 10. А что переходы цвета более грубые и цвета "погрязнее"... ну сойдет и так.



Кстати, этим же картинка с байеровской цифрозеркалки отличается от картинки приличного пленочного сканера, даже при том же разрешении - у цифрозеркалки перехода цвета и оттеники погрубее. Это как раз хорошо видно.

[photo-photo]

в итоге вы имеете 10 Мп яркостной информации

ну а "полноцветной" - поменьше, да... Но она в общем-то и не сильно нужна, полноцветная-то.

Большое спасибо за подробный ответ, дело прояснилось, теперь всё стало понятно.