Опять про Compressed Raw на D200

[Lolik]

[left]Прочитал все, что смог найти про разницу сжатого/несжатого RAW, и уже почти дал себя уговорить, что при сжатии потери есть, как небезизвестный товарищ Кен Роквел разродился очередным опусом "Nikon D200 User's guide", где в разделе о настройках аппарата написал буквально следущее:





RAW Compression



NEF (RAW) OFF (default): NEFs are saved as huge uncompressed 16MB files.



Comp. NEF (RAW) ON: Lossless LZW compression reduces the data to only 9MB for storage. I always use this setting if I shoot NEF. The file expands when opened back to the full size without loss.



Nikon is quiet about the algorithms used and their manual writers are clueless, so the hacker world freaks out about Nikon's wording sometimes saying the compressed file is "virtually" identical to the uncompressed one.



The data compression is lossless. Nikon may or may not be doing some curve shaping and fitting before the file is saved, and this shaping is happening before the file is saved as NEF regardless of compression. Hackers who reverse engineer the code saw that an LUT is used to shape the highlights and reduce 12 bit linear data to 10 bit semi-log.



Thus the only thing you lose with the compressed option is file size.



Nikon removed the uncompressed option from the D70 because improvements in compressor speed eliminated the need for the wasteful uncompressed option. The world thought Nikon was cheating them by removing the uncompressed option, so Nikon added it back in in the D200. You don't want to use it, although the sort of people who shoot raw worry about these things.



Собственно ссылка: http://www.kenrockwell.com/nikon/d200/user...us-shooting.htm (чуть ниже середины страницы).

Или я не понимаю англо-американсие выражения, или потерь при сжатии нет. Это утверждает Кен, несмотря на заявление производителя.



Ваше мнение?[/left]

[Andrey]

[left]Прочитал все, что смог найти про разницу сжатого/несжатого RAW, и уже почти дал себя уговорить, что при сжатии потери есть, как небезизвестный товарищ Кен Роквел разродился очередным опусом "Nikon D200 User's guide", где в разделе о настройках аппарата написал буквально следущее:

RAW Compression



NEF (RAW) OFF (default): NEFs are saved as huge uncompressed 16MB files.



Comp. NEF (RAW) ON: Lossless LZW compression reduces the data to only 9MB for storage. I always use this setting if I shoot NEF. The file expands when opened back to the full size without loss.



Nikon is quiet about the algorithms used and their manual writers are clueless, so the hacker world freaks out about Nikon's wording sometimes saying the compressed file is "virtually" identical to the uncompressed one.



The data compression is lossless. Nikon may or may not be doing some curve shaping and fitting before the file is saved, and this shaping is happening before the file is saved as NEF regardless of compression. Hackers who reverse engineer the code saw that an LUT is used to shape the highlights and reduce 12 bit linear data to 10 bit semi-log.



Thus the only thing you lose with the compressed option is file size.



Nikon removed the uncompressed option from the D70 because improvements in compressor speed eliminated the need for the wasteful uncompressed option. The world thought Nikon was cheating them by removing the uncompressed option, so Nikon added it back in in the D200. You don't want to use it, although the sort of people who shoot raw worry about these things.



Собственно ссылка: http://www.kenrockwell.com/nikon/d200/user...us-shooting.htm (чуть ниже середины страницы).

Или я не понимаю англо-американсие выражения, или потерь при сжатии нет. Это утверждает Кен, несмотря на заявление производителя.



Ваше мнение?[/left]

Кен очень "специфический" товарищ, и его слова надо пропускать через "фильтр"

Начиная с того, что он делает выводы об объективах, которые ни разу в руках не держал (и не скрывает этого ...). Или его заявление, что он будет подавать в суд на любого, кто сделает фотографию с того же места, что и он Т.е. место, где ступала нога Его, автоматически получает копирайт на неприкосновенность...



Аналогичная ситуация с его познаниями алгоритмов сжатия. Алгоритм используемый в камерах Никон - математически lossy (т.е. с потерями), а с физической точки зрения - lossless (т.е. без потерь). Это объясняется тем, что при сжатии "обрезаются" шумовые биты, которые в цифровой фотографии не несут никакой полезной информации (не путать с пленкой, где "шум" зерна всегда содержит полезную информацию).

[maybach]

Я склонен думать, что при обработке на компе хорошим конвертором и печати вплоть до А4, разницы при потере двух бит глаза наши (человеческие) не заметят. Хотя есть может уникумы... А при установке на D200 более мощного процессора и более емкого буфера у производителя появилась возможность на вроде как "небольшой" маркетинговый ход - ХОТЕЛИ? НАТЕ ВАМ НЕСЖАТЫЙ RAW!!!

[ARSY]

Прочитал все, что смог найти про разницу сжатого/несжатого RAW, и уже почти дал себя уговорить, что при сжатии потери есть.....

что именно вас убедило в потерях сжатия кроме инструкции?



Лично я как не мучил файлы в ФШ - разницы не увидел. И на мой запрос по этому поводу Никон тоже молчит

[alexvb]

А при установке на D200 более мощного процессора и более емкого буфера у производителя появилась возможность на вроде как "небольшой" маркетинговый ход - ХОТЕЛИ? НАТЕ ВАМ НЕСЖАТЫЙ RAW!!!

Причем тут д200 ??? Несжатый неф был и в д100 с процессором хуже, чем в д70.

[Sandro]

Я склонен думать, что при обработке на компе хорошим конвертором и печати вплоть до А4, разницы при потере двух бит глаза наши ...

Hugajda уже выкладывал файлы, доказывающие, что жатый РАВ от д200 теряет порядка 12 дБ динамического диапазона, что проявляется в светах (особенно при небольшом пересвете) на низком ИСО. И видно там разницу НЕВООРУЖЕННЫМ ВЗГЛЯДОМ.

[Ханрад]

Hugajda уже выкладывал файлы, доказывающие, что жатый РАВ от д200 теряет порядка 12 дБ динамического диапазона, что проявляется в светах (особенно при небольшом пересвете) на низком ИСО. И видно там разницу НЕВООРУЖЕННЫМ ВЗГЛЯДОМ.

Скачал неф от D200 (http://www.zagol.com/d200/zoom/images/nef/family032.rar), запустил dcraw.c (2006/09/03 VERSION "8.35") под отладчиком. После непосредственно распаковки (та, которая "lossless"), значения восстанавливаются ровно по такой же таблице (0->0, 682 -> 4095), что и для нефов от D50 (таблица записана в самом файле). Таблица линейная в тенях, дальше утверждается что квадратичная (для примера: 215->215, 300->376, 400->966, 500->1829, 600->2965). Неудивительно, что в светах разница с непакованным заметнее

[ARSY]

Скачал неф от D200 (http://www.zagol.com/d200/zoom/images/nef/family032.rar), запустил dcraw.c (2006/09/03 VERSION "8.35") под отладчиком. После непосредственно распаковки (та, которая "lossless"), значения восстанавливаются ровно по такой же таблице (0->0, 682 -> 4095), что и для нефов от D50 (таблица записана в самом файле). Таблица линейная в тенях, дальше утверждается что квадратичная (для примера: 215->215, 300->376, 400->966, 500->1829, 600->2965). Неудивительно, что в светах разница с непакованным заметнее

для тех кто не знает, что такое "линейная и квадратичная таблица" можно перевод?

[Евгений]

для тех кто не знает, что такое "линейная и квадратичная таблица" можно перевод?

А нужно это фотографу?

Печать фотографий на бумаге снимает практически все подобные вопросы для фотографа, на отпечатке разницу не обнаружить даже с мелкоскопом.



А физикой пускай физики занимаются.

[Ханрад]

Лучше один раз увидеть: http://www.majid.info/mylos/weblog/2004/05/curve.pdf - чудесные формулы и графики (эту ссылку только что сам заметил ). Сама статья (по-английски) http://www.majid.info/mylos/weblog/2004/05/02-1.html. Написано про D70, но разницы с упакованным форматом для D200 (равно как и для D50) нет.



Насколько серьезны потери при упаковке, сказать сложно. По сравнению с непакованным форматом потери в светах очень сильны. Однако, гораздо интереснее было бы сравнить разницу после конвертации из линейного цветового пространства (исходный RAW) в рабочее (скажем, Adobe RGB). Куда ушла лишняя информация, по сравнению с jpeg, на света или полутона и в каких соотношениях? Отсюда уже можно было бы делать выводы, насколько сжатый формат подходит для редактирования и какого именно.

[Ханрад]

Нашел еще одну интересную ссылку: http://www.adobe.com/products/photoshop/pd...inear_gamma.pdf. Это небольшая выдержка из известной книги, но интересна тем, что там приведено соответствие (в картинках ) между исходным (линейным) и финальным (привычным глазу и т.п.) распределением. Наверно, картинка это не слишком точно, зато просто



Финальный диапазон разбит на 5 равных частей: 256/5 ~ 51.2 значения на каждый стоп в 8-битном представлении. (Насколько я понял, больше 5 стопов в цифре не держат, т.е. даже в том случае, когда камера может зафиксировать больше, лишние в результате все равно отбрасывают.) Для несжатого RAW имеем на каждый диапазон (с самого светлого): 2048, 1024, 512, 256, 128 значений на стоп, плюс еще 64 в самых-самых тенях - для вытягивания и прочей обработки (и еще 64 пропали неизвестно куда, в статье о них ни слова). Для сжатого RAW 683 значения распределяются: 162, 113, 80, 78, 122 на стоп, плюс остальные 64 на обработку (и 64 пропавших) ровно те же самые.



Вроде бы, даже в сжатом RAW в светах все не так плохо. Хотя в целом запас для обработки небольшой. А при пересветах результат явно зависит еще и от конкретного RAW-конвертера (и неизвестно, что влияет сильнее, конвертер или сжатие).

[Andrey]

Не понимаю я этой темы.

Сейчас флешки дешевле снега зимой, харды стоят и того меньше.

Зачем создавать себе дополнительные проблемы?



А как люди раньше фотографировали?



К примеру, две флешки по 8 гиг - это около 1000(!) "не сжатых" NEF-файлов (D200). Что в переводе на 24 кадра 35-мм пленки - 40(!) пленок. Или, если 12 кадров СФ формата, то 80(!) пленок. Не знаю, как кто, но лично я, никогда столько пленок не брал в любую поездку.



Не уж то, за одну поездку, фотосессию, тур. поход можно получить более 1000 шедевров? Даже при учете дублей ...

[Ханрад]

Не понимаю я этой темы.

Сейчас флешки дешевле снега зимой, харды стоят и того меньше.

Зачем создавать себе дополнительные проблемы?



А как люди раньше фотографировали?



К примеру, две флешки по 8 гиг - это около 1000(!) "не сжатых" NEF-файлов (D200). Что в переводе на 24 кадра 35-мм пленки - 40(!) пленок. Или, если 12 кадров СФ формата, то 80(!) пленок. Не знаю, как кто, но лично я, никогда столько пленок не брал в любую поездку.



Не уж то, за одну поездку, фотосессию, тур. поход можно получить более 1000 шедевров? Даже при учете дублей ...

+ цена перехода на D200 (сжатый/несжатый неф) с D50/D70/D70s/D80 (только сжатый неф).

[Ханрад]

Написал небольшую утилиту, заменяет значения в несжатом никоновском raw на ближайщие аналоги из сжатого (по такой же таблице). Фишка в том, что исходные кадры абсолютно идентичны, отличается только степень сжатия. Проверил на первом скачанном нефе от D200. Абсолютно никакой разницы не заметил. (Хотя пожатый файл в зипе где-то на мегабайт меньше). Выложил с исходниками и инструкцией: http://slil.ru/23106245. Интересует что-нибудь с мелкими бликами (точечный пересвет) на воде. Не полезут ли после сжатия разноцветные точки (зависит также от raw-конвертера).

[alexvb]

+ цена перехода на D200 (сжатый/несжатый неф) с D50/D70/D70s/D80 (только сжатый неф).

Так эта тема, вроде, про то, чем пользоватся сжатым или несжатым нефом на д200. Понятно, что на D50/D70/D70s/D80 этого выбора нет и думать не о чем...

[alexvb]

Написал небольшую утилиту, заменяет значения в несжатом никоновском raw...

Наверное, это очень любопытно в теоретическом смысле, но ведь с практической точки зрения важно отличие сжатых и несжатых файлов, которые выдает камера. По результатам этой утилиты можно судить о том, насколько хорош алгоритм, а по результатам работы камеры - делать практические выводы. Хотя вы можете возразить, что это одно и тоже, но это не совсем так...

[ARSY]

Не понимаю я этой темы.

Сейчас флешки дешевле снега зимой, харды стоят и того меньше.

К примеру, две флешки по 8 гиг - это около 1000(!) "не сжатых" NEF-файлов (D200).......

у вас там в ЮСА свадьба - 2-5.00 енотов стоит, а у нас - 200. Так что непонимание Ваше объяснимо

[Mike_s]

Причем тут д200 ??? Несжатый неф был и в д100 с процессором хуже, чем в д70.

при этом как раз со сжатым NEF на D100 работать очень неприятно - тормозит между кадрами как сволочь

а несжатый - пишет мухой. если, конечно, не в серии

ресурс процессора критичен как раз при сжатии - тогда ему лишнего думать надо