Давайте поговорим о DWF и DAM

[PENikoxist Ed]

давно хотелось написать свои мысли и и обсудить с опытными товарищами вопросы организации digital workflow и data management-а. попробую изложить что у меня пока в голове сформировалась.



в общем наездился я в последние годы по разным местам, наснимал кучу фотографий, последние два года путешествовал уже не просто как турист с камерой - а уже с конкретными фотографическими целями и в последние 5-6 поездок снимал уже довольно много. в итоге накопилась масса фотографий, как совершенно ужасных снимков в жипеге, так и много тысяч равов, среди которых есть что выбрать даже для печати, всего общим количеством под 70 тысяч и объемом под 1,5 ТБ. решил что надо наконец серьезно за все взяться, разобрать, каталогизировать, систематизировать, конвертировать и обработать и т.д., и в целом построить внятную систему процессинга и управления цифровыми фотофайлами. короче говоря то что называют digital workflow и data management. пару недель уже плотно этим занимаюсь и хочу поделится к чему я постепенно пришел, может кто нибудь что нибудь дельное подскажет из старших (в смысле более опытных в фото) товарищей, а может быть даже кому то и будет полезно. в общем буду рад интересным мыслям, комментариям и дополнениям к последующему тексту и картинкам.



итак попробую вкратце описать систему которая у меня в голове пока сформировалась и которую сейчас начинаю реализовывать.



Начну с используемых инструментов:

софт: LR4, NX2, CO7, PS Cs6, плагины Nik efex Pro. Может быть еще другие плагины в перспективе для печати (imageprint?), вывода на flickr, для слайдов, photomatix, может быть что то еще.

хард: 2 PC (один мощный для обработки дома, второй рабочий для просмотра, каждый с двумя калиброванными мониторами), MBP для поездок, внешние SSD и HDD, Wacom Intuos 5.

сервисы: dropbox, gdrive, flickr

выход: печать 13х19 дюйов на epson 3880, flickr, ipad4, слайд шоу в LR4, резервные жипеги.



основная книга на которую я ориентировался в своих размышлениях и разработках - блестящая работа Uwe Steinmueller-а - The Digital Photography Workflow Handbook. ну и книги Келби по LR, несколько книг по NX2 и т.д.

[PENikoxist Ed]

Начну с каталогизации и хранении файлов. у меня существуют каталоги лайтрума двух уровней. первый уровень - базовые каталоги. в них хранятся все более менее стоящие raw в первоначальном виде. данные каталоги не предназначены для корректировок - только для хранения чистых raw. обычно они собраны по поездкам за год. в настоящее время есть 4 базовых каталога, в каждом из которых по 15-20 тыс фотографий - Travels 2005-10, America 2011, Europe 2012 и People, Studio and Stuff (PPS). В ближайшее время будут созданы еще два базовых каталога - Russia 2013 и Wild Life, Underwater & Macro (WLUM). В перспективе на каждый новый год путешествий нужно будет создавать новый базовый каталог.



Соответственно первый шаг воркфлоу - импорт новых raw в данный каталог. когда импорт заканчивается - каталог закрывается и больше новых поступлений туда не происходит. хранятся данные каталоги следующим образом: сами каталоги хранятся на dropbox - то есть на всех 3-х компьютерах и в сети и синхронизируются автоматически после каждого изменения. соответственно на главном компьютере дропбокс установлен на отдельный внутренний диск ssd, а на другом - на внешнем ссд с целью максимально быстрой работы каталогов. в каждом по 256 гб что соответствует объему самомго дропбокса (270 гб) и хватает на фото и некоторые другие нужды.



при этом сами равы хранятся отдельно в трех местах: на специальном HDD на основном компьютере, на внешнем диске на другом компьютере, который может браться с собой в поездки вместе с третьим компьютером, а также на еще одном жестком диске который хранится у знакомых в третьем месте. если вдруг диски дома и на работе одновременно вылетят или что еще - одна копия в резерве всегда будет. каждый такой диск на 2 гб. пока на чистые оригинальные равы этого хватает. в перспективе можно будет добавить еще по 2 тб на каждый комп, но я думаю я не буду делать более 1 тб в год, снимаю я в основном только в поездках - это 5-6 недель в году.



равы с разных дисков тоже синхронизируются между собой. так как каталог у них один - а папка с файлами разная - то делается это следующим образом. любые измненеия в каталогах синхронизируются моментально на дропбоксе - тут проблем нет. если я буду обрабатывать какое нибудь роу - то правка будет применима к роу и на одном диске, и на втором. но править в этих каталогах я не планирую, это больше относится к рейтингам, ключевым словам, меткам, метадатам и т.д. это все синхронизируется автоматически через каталог на дропбоксе. при включении каталога на другом компьютере после предыдущего просто нужно найти соответствующую главную папку на данном компьютере и указать ее. папки и структуры все идентичны, так что все это легко. если я удаляю файлы из каталога и с одного диска то потом надо их удалить и из другого диска. делаю я это так: синхронизирую папку - нахожу файлы которых нет в каталоге (удалены из него ранее но сохранились на диске номер 2), потом импортирую- а потом удаляю с диска все что только что импортировал. таким образом синхронизирую равы на разных компьютерах. на данных дисках и в каталоге равы хранятся в следующей структуре: папки по местам путешествий или темам - а в них роу по дням. это базовая структура, для будущей обработки будет еще две других структуры файлов.

[PENikoxist Ed]

кроме некоторого количества базовых каталогов существует главный каталог в котором хранятся все достойные обработки фотографии. но о нем позже. данный каталог не только сам хранится на дропбоксе, но и все фотографии из него тоже. таким образом они максимально защищены и максимально синхронизированы между всеми компьютерами.



теперь следующий шаг: рейтинг. проставляю рейтинг в каждом каталоге по дням - день за днем. после того как день проверен и рейтинги проставлены - в названии папки с датой после даты ставится знак Х, то есть фиксирую что день обработан. рейтинг такой: 1 - на удаление, 2-3 - просто фото которые жалко удалить и которые когда нибудь можно будет кому то показать, 4 - на показ в интернете, фликре, айпаде, слайдшоу и т.д. 5 - на печать. соответственно 1* должно быть 20-40 % от всех фотографий за любой день, 4* - от 10 до 20 %. 5* - примерно 5 % или от 0 о 10%. соответственно сразу прикидываю исходя из того сколько снимков в папке сколько каких звезд примерно должно получится. если вдруг какая то категория выходит за границы - ищу те которые можно перенести в другую категорию. если скажем 4* получилось 50 из 200 (25 %) - то 10 фотографий надо перевести в 3*. если на удаление слишком мало - надо удалить что то еще. всего 4 и 5 звезд стараюсь чтобы было не более 20 % в сумме - именно эти фотографии подлежат дальнейше обработке и переносу в главный каталог. поэтому лучше чтобы их было поменьше. после того как день обработан происходит удаление 1* и экспорт оригиналов 4* и 5* в специальные экспортно-импортные папки. только после удаления и экспорта ставится знак что папка обработана.



следующий шаг - экспорт 4* и 5* фотографий и их импорт в главный каталог, где хранятся все оригиналы роу 4* и 5*, все тиффы и жипеги полученные в результате конвертации, и где хранятся все данные по корректировке и все мастер файлы. как уже сказал в отличие от базовых каталогов главный каталог (который назвывается KEYCAT) хранится не отдельно от своих файлов - а вместе с ними. то есть все оригиналы роу 4*-5*, все тиффы, жипеги и мастер файлы тоже хранятся на дропбоксе и синхронизируются между всеми компьютерами и облаками моментально. к слову о дропбоксе. у него ключевая роль в воркфлоу и ДМ. как там все устроено: там хранистя папка ALLMYPHOTO, в ней 4 папки - BASECATS, MYKEYPH, NOMYPH и PHSTUFF и сам каталог KEYCAT. в первой папке соответственно - базовые каталоги. во втором все папки главного каталога (папка с оригинальными равами 4*-5*, разные выходные и мастер файлы), в третей - каталог и чужие фотографии, снятые не мной (про фотографы, скаченные с инета, красивые девушки разной степени одетости, фото разных знакомых полученные от них, разные мероприятия в которых участвовал и многое разное другое). в последнем вообще много чего - от книг по фото до свеже скаченных фото еще не попавших в каталог не моих фотографий.



как происходит экспорт-импорт 4*-5*: сначала идет экспорт оригиналов в 6 папок в зависимости от звезды и формата файла. никоновские роу 5* идут в папкку NEF5. те которые 4* - NEF4. роу кэнона и пентакса 5* идут в папку CP5. соответственно есть еще папка CP4 для 4*. и еще 2 папки - JP4 и JP5 для жипегов. все папки находятся в папке ORIGINALS. так получилось что сначала я несколько лет снимал все в жипег, потом год в неф, потом еще год в cr2 и pef, потом снова в неф. в итоге пришлось все это разделять на уровне подготовки к конвертации ибо от этого зависит что с файлами делать дальше. каждая папка дальше обрабатывается своим образом. импорт осуществляется из этих папок путем простой синхронизации. папка ORIGINALS со всеми 6 подпапками является частью каталога KEYCAT. таким образом все оригиналы фото 4*-5* попадают в главный каталог. дальше идет их конвертация и обработка.

[PENikoxist Ed]

шаг 5. конвертация и обработка. для каждой из 6 категории предусмотрен свой порядок конвертации и обработки с использованием разных инструментов. соответственно файлы NEF5 имеют самую длительную и сложную обработку, жипеги 4* - наименьшую. есть главный конвертер для каждой категрии:



NEF5 - Capture NX2 (+Nik + PS)

CP5 - Capture One 7 (+Nik + PS)

JP5 - PS CS6 (+Nik, LR4)

NEF4 - Capture One 7

CP4 - LR4

JP4 - LR4



5* обрабатываются индивидуально, по одной штуке, тщательно и серьезно, по полной программе. после чего итог сохраняется в тифф в специальную папку Tiff1 и импортируется назад в LR в главный каталог, где создается его виртуальная копия (на случай если потом нужно будет вернуть этот файл). сам же Tiff1 дальше проходит второй этап локальной коррекции и шарпенинга (а также создания HDR, B&W, панорам и т.д. если нужно) с помощью плагинов Nik и финального тюнинга в CS6. после тюнинга в LR+Nik/PS получается итоговый мастер файл (Tiff2) который сохраняется с специальных папках и отправляется на печать (возможно с помощью плагина ImagePrint - хотя еще не решил т.к. он страшно дорогой), а также с него делаются 2 жипега (на 1000 и 1800 пикселей) для публикации в сети и других нужд (и тоже скидываются в специльные папки). в целом процесс по любым файлам 5* будет примерно одинаков, отличается только используемый конвертер - для никоновских файлов это родной конвертер NX2, для кэноновских и пентаксовских это CO7. для жипегов - наверное сразу PS, или LR4+Nik если достаточно. хотя может быть и СО7 для них тоже можно использовать, можно над этим подумать.



возможно что наиболее интересные нефовские кадры 5* для печати буду обрабатывать 2 раза - в NX2 и CO7. просто для интереса чтобы сравнивать что получилось и выбирать потом лучшее. вообще как я понимаю ситуацию - пока NX2 это лучшее для NEF с точки зрения возможностей и качества, хотя и более трудоемкое и сложное. но если смотреть стратегически то перспектив у проги мало - она не развивается, вероятно никогда не будет выпущна в виде NX3, и имеет крайне туманные перспективы. я с этим уже попал когда переключился с LR3 на Appertura 3, перенес все свои каталоги туда, год в них все хранил, пока не решил что это неперспективно и надо держаться за LR и потом мучительно переносил все назад в LR4. потеряв много данных и обработок. теперь решил все же освоить детально NX2 понимая что пока это лучший вариант для самых лучших фотографий - но в перспективе вероятно придется сидеть на чем то другом - и думаю это будет CO7 - по которой видно что производитель к ней относится очень серьезно и будет развивать и дальше. да и сделана она пока очень здорово. поэтому стратегически я ориентируюсь на CO7, но в ближайшие год-два буду обрабатывать лучшие кадры 12-13 годов в NX2. но возможно некоторые из них сразу паралельно в двух программах. так сказать на перспективу. чтобы потом обработанный оригинальный роу можно было дорабатывать в той же программе. тем более мне нраится что CO7 движется к направлении all-in-one приложения с хорошей каталогизацией и управлением файлами, поэтому кроме каталогов в ЛР у меня еще будет паралельный каталог с CO7, где будут все результаты обработок оригинальных роу в CO7 (и их всегда можнобудет поднять), плюс может в перспективе докуплю их прогу Media Pro и перенесу свой ключевой каталог туда, там будет полная синхронизация с CO7, если эта прога будет развиваться или если они сделают интегрированное приложение наподобие LR. кроме того держу в голове мечту что если будет что то получаться в перспективе года через 3-4 прикупить какую нибудь мамию с каким нибудь Leaf - и тогда опыт работы с CO7 и его каталогах будет очень очень кстати. в общем может быть в перспективе CO7 станет у меня ключевой программой. тогда можно будет уйти от многих тиффов и хранить просто обработанные роу. так что если в перспективе NX2 не будет давать заметно лучший результат на одних и тех же фото - то может быть в перспективе полностью перейду на обработку всех 5* на CO7 (8,9, ...). но пока решил все таки так.



4* обрабатываются проще - пакетно и с меньшими заморочками, так как они не для печати а для экранов то там точечной доводки особо не нужно. если на те что 5* можно потратить час-два на штуку - то тут желательно все делать в 10 раз быстрее. NX2 для пакетной обработки подходит слабо, а ЛР с нефами как мне кажется служит не очень - решил НЕФ4 делать в СО. при этом результат быстрой обработки cr2 и Pef В LR мне в целом нравилось, цвета получались более менее приемлемые быстро и без лишнего ковыряния. 4* в тиффы не экспортируются. те ктороые обрабатываются в ЛР как кэноновские файлы могут вообще не конвертироваться в другой формат. жипеги тем более понятно конвертировать не надо (хотя может быть из жипегов 5* делать все же тиффы - есть ли смысл?). никоновские 4* после СО сохраняются в полноформатный жипег.

[PENikoxist Ed]

после создания мастер файлов (5* - в тиффе, 4* - фулл сайз жипег) следует их организация. для их каталогизации в ключевом каталоги есть специальная папка Masters. там другая структура чем в базовых каталогах и в оригинальных роу 4-5*. эта структура является ключевой для организации фото и определяет структуры во всех других хранилищах готовых фото - во фликр, в жипег папках, в коллекциях лайтрума, и т.д. в этой структуре существует 12 ключевых коллекций-папок (их всегда будет 12), в них находятся 60+ на данный момент базовых коллекций, а в базовых коллекциях - сеты фотографий. ключевые коллекции созданы по регионам мира (America, Europe, Asia & Australia и т.д.), раздельно по городам и природе (America - Сities, Russia & CIS - Nature и т.д.), плюс три специальных ключевых коллекции: People, Studio & Stuff (PSS), Wild Life, Underwater & Macro (WLUM) и Special Travel для разных спец коллекций. общая схема организации мастер фотографий - а также всех других готовых - можно представить следующим образом.





следующий шаг - output. соответственно мастер тиффы идут на печать на epson 3880, бумаге hahnemuhle (в основном я предпочитаю разные полуглянцевые холсты типа hahnemuhle rag satin или pearl и т.д.). естественно оригинальными чернилами, 360 ppi, пока с помощью модуля печати LR, но в перспективе думаю прикупить специализированный RIP плагин типа ImagePrint (хотя этот плагинчик дороже лицензионного фотошопа и пока немного жалко). кроме печати делается вывод всех фотографий 4-5* во фликр (тоже с помощью специального плагина). и на всякий случай делаются 2 варианта жипегов - в формате 1000 и 1800 пикселей. просто чтобы были. JP18 и JP10. первые жипеги хранятся в каталоге, вторые - отдельно в PHSTAFF.





последнее - бэкап. в целом папка ALLMYPH на которой хранятся все каталоги, а также все ключевые фотографии синхронизируется через dropbox между тремя компьютерами и плюс хранится в сети - то есть существует в 4 вариантах. но на всякий случай я ее копирую раз в неделю на gdrive - и тем самым создаю еще три копии и дополнительный вариант в сети. а также время от времени бэкаплю эту папку на внешний диск. что касается всех оригинальных равов - то они хранятся в двух местах у меня (внешний и внутренний диск) + в третьем независимом месте. думаю этого достаточно. в перспективе можно будет хранить дополнительный диск в банковской ячейке. но если удаться все обработать - проставить рейтинги - и экспортировать в ключевой каталог и на дропбокс - то сами оригинальные роу будут не особо то и нужны. но пока до этого еще минимум год работы - чтобы разгрести 7 лет съемок - то пока равы важны и храню я их аккуратно. пока хватает 2 гб на равы и 250 гб на папку ALLMYPH на дропбоксе. в перспективе вероятно по мере обработке и росте количества тиффов вероятно на дропбоксе нужно будет 500 гб (думаю этого достаточно для 500-1000 фотографий 5* в тифф - больше в течении несколких лет у меня вряд ли будет) + 3000-5000 равов и жипегов 4*. надеюсь в перспективе 2-3 лет и SSD и облачные пространства будет дешеветь - и можно будет иметь хранилища до 1000 гб и больше.



пока как то так. может быть еще что то допишу если вспомню. а как все систематизируете вы? пишете ли где то точный порядок или делаете интуитивно как придется? я вот пытаюсь все систематизировать, зафикисровать на схемах и письменно и потом по данному порядку следовать. в целом это адекватная схема или можно что то поменять?

[PENikoxist Ed]

вот кстати схема

[kuza]

Так это только идея или работа началась?

[PENikoxist Ed]

ну началась потихоньку. точнее она шла по разным направлениям - но постепенно я начал ее упорядочивать - и в итоге появилось такое вот русло. постепенно начинаю работать по этой схеме, в последнюю неделю.

[VAGUS]

Автор, при таком подходе как-то даже стыдно читать... Я-то думал, я хоть сколько-нибудь систематизирую свои фотопотуги, ан нет! До порядка мне далеко.

Схема у меня такая.

1 Я капчурю РАВы Никон трансфером в дефолтную папку в "Моих рисунках". Затем открываю её в С1 (Вью НХ давно не пользуюсь, как и СНХ2, неудобно). Просматриваю, удаляю брак и неинтересные фото.

2 Затем на диске, где лежат снимки, в папке "ФОТО" создаю папку "ИМЯ" (ну, например, Крым_поход_2012"). В ней будут три папки "РАВ_ИМЯ", "ДЕМ_ИМЯ" и "ПРИНТ_ИМЯ". В первую из низ копирую РАВы. Они остаются под именем, присвоенным камерой, т.е., например, "номер".

3 Затем обрабатываю в С1 до получения нормальной картинки, ставлю "Процесс ресип" в режим кодирования в джипег 60-70% качества и, выделив все фото, запускаю батч с сохранением джипегов в папке "ДЕМ_ИМЯ". Это так, показать друзьям, посмотреть самому на досуге. Файлы называю "номер_дем"

4 Затем "по-человечески", через 16-битный ТИФФ и ФШ обрабатываю то, что хочу потом печатать, когда надо подтирать, исправлять геометрию, работать с цветом и т.п., кладу его потом в виде джипегов-12 соответствующего размера в сантиметрах в папку "ПРИНТ_ИМЯ". Оттуда потом печатаю. Файлы называются "номер_20Х30" или типа того.

5 После напечатания всех желаемых кадров удаляю лишнее из папки "РАВ_ИМЯ", оставляя только самые удачные кадры, которые, возможно захочется переделать и пр.

6 Копирую папку "ИМЯ" в соответствующий раздел на внешний винт.

Всё.

[ark]

Дело конечно Ваше, но не советую использовать в качестве каталогизатора Лайтрум.

Если Вы вне лайтрума переместите файл из одной папки в другую, он его потеряет.

А если этот файл включен в нескорлько виртуальных каталогов - вам придется удалять этот файл из виртуальных каталогов вручную и включать его туда заново.

Если у вас 2-3 тысячи фото - это еще терпимо. А если 20-30 - проще застрелится.