Nas для хранения

[uart]

Все зависит от объема данных, не у всех многотерабайтные фотоархивы. Для меня вполне подходит держать медиатеку на компьютере, синхронизация с iCloud/Adobe и ежечасный версионный бэкап тайм машиной. Итого три копии, на компьютере, на NAS, в облаке.

В качестве NAS у меня уже много лет QNAP TS-119, однодисковый и без кулеров, зато тихий. Вот правда пара зеленных WD в нем подохла, сейчас красный стоит на 2Тб (а больше пока и не надо). Нужно будет больше, поставлю больше, ну потрачу пару часов своего времени на настройку, а тайм машина новые архивы создаст.

Ещё есть тайм капсула, она чисто для бэкапов, но родной диск в ней похоже подыхает, я отключил. Когда работал, тайм машина попеременно писала на него и на qnap, еще одна копия была. Как надумаю для qnap больше брать, перетащу старый диск в тайм капсулу.



Всегда хотелось дома RAID-5, я же айтишник, игрушка прикольная. Но для меня неоправданно дорого.

[multiformat amateur]

про резервное копирование и версионность, как задачу:

Я с давних пор использую Acronis True Image (еще с версии 2009) и для себя лично пришел к выводу, что нет ничего лучше копий на соседний жесткий диск, специально для этого купленный и установленный. Правда тут есть одна пикантная особенность - свободного простаранства для бэкапов (даже с использованием инкрементальных методов) должно быть много.

Рекомендую софт, умеющий в дедупликацию резервных копий.

Не знаю, умеет ли такое Acronis True Image, но вот, софт Synology - давно умеет. Поэтому ежедневное резервное копирование обычного компьютера занимает минимум времени, прозрачно, не грузит систему, и можно хранить "резервные копии" за много дней, при этом не занимая много места (пишутся только новые и измененные файлы).



Сейчас глянул, сколько времени занимает создание средствами Synology Active Backup резервной копии с домашних компьютеров:

Компьютер дочери - 7 минут. Ноуты - 6-7 минут. Удаленные компьютеры (бэкап через интернет, находятся в других городах) - от 7 до 35 минут. Это все компы, которые используются ежедневно. Средний коэффициент дедупликации для одиночного изолированного объекта: порядка 1,5Х. Для нескольких компьютеров "в пуле" - 4Х. Другими словами, единое хранилище занимает вчетверо меньше места, чем сумма объемов резервных копий с защищаемых компьютеров. И вот это - фича именно сетевого хранилища. Никакой подключаемый жесткий диск такого не умеет. Всё что я написал по срокам выполнения бэкапов и по объемам хранения попросту невозможно для одиноких подключаемых жестких дисков. В этом смысле правильно подобранный NAS, - в сравнении с одиноким жестким диском - это небо и земля для задачи бэкапов. Особенно бэкапов с версионностью хранения и прочими вкусными и полезными для простого человека "плюшками".

[multiformat amateur]

Коллега, извините, не заметил придыхания в фразе "Базовая рекомендация фотографу или дизайнеру".

Это непосредственно исходит из контекста места обсуждения

Видимо, Вы вкладываете туда какой-то особый смысл. И доходы.

Естественно, мы пишем на форуме людей, которые могут себе позволить достаточно недешевую, - по меркам остальных обывателей, - фотоаппаратуру.

Ваша "базовая" рекомендация встанет "фотографу или дизайнеру" от полтосика и выше. Или я неправ?

Скажем так: она стоит как один приличный объектив.





Темы "медиацентр для школьника", или же "как из оставшихся запчастей собрать свою файлопомойку" - они же обычно обсуждаются на других ресурсах.

Какой смысл дублировать подобные идеи на этом форуме? Для обывателя тоже рецепт прост: Однодисковый NAS. Ну и что тут вообще обсуждать, положа руку на сердце?

Тут вот все эти 20+ страниц - они про что? Купить ли однодисковый NAS вместо USB-диска подключенного к роутеру? Вы полагаете это нужно мусолить долго и тщательно?

ну так весь этот функционал - он отнюдь не видоспецифичен для посещающих именно этот форум

[Rimlyanin]

M-Disk, магнитооптику, стримеры кто-нибудь использует?

Нет.

Для первых время прошло, там объемы не те. Для стриммеров надо объемы в сотню HDD, чтобы "размазать" стоимость двух (это минимум для резервирования) стримеров на объем.

[Rimlyanin]

Похоже, тут разговор крутится вокруг рейдов, ребилдинга и прочего, что может быть полезным, а может быть и незначимым для простого крестьянина фотографа, желающего надежно хранить свои бесценные фотографии.

Но, мне кажется, суть тут не в RAID'ах.





Как бы есть некоторое понимание,

что надежность хранения данных возникает

когда выполняются два условия:



1. Обеспечивается версионность в резервных копиях.

2. Одна из копий пользовательских данных находится вне исходного помещения.



Простой пример - с вирусом шифровальщиком (угроза не сказать чтобы редкая, на моей памяти три раза уже схватывали такое), да и простой сбой файла который потом в сбойном виде уезжает во все резервные копии - тоже неприятно. С этим лично я сталкиваюсь регулярно, вытаскивая своему отцу из резевных копий ранние версии его файлов. Иногда приходится вытаскивать предыдущие версии файлов для жены, которая там что-то делает в своем компьютере... И вот тут мы приходим к одному важному моменту, когда люди пытаются реализовать надежное хранение данных с помощью подключаемых жестких дисков. Модель хранения типа "первая копия данных - на моем рабочем компьютере, вторая копия данных - на переносимом подключаемом HDD, а третья копия данных - на втором компьютере дома, и всё это синхронизируется" - не удовлетворяет обоим условиям надежного хранения. Версионности как правило нет. Катастрофоустойчивости (когда оба компьютера будут залиты прорвавшейся трубой отопления верхних соседей) -тоже нет.



В чем тут преимущество нормального приличного NAS?

Скорее даже не в том, что можно заполучить "единым массивом" пространство в 10-12-15 терабайт. Хотя и это чрезвычайно удобно и довольно приятно.

А существенное преимущество NAS для фотографа (и не-айтишника) заключается в простоте организации системы бэкапов с обеспечением версионности. Это первый момент.

И, при наличии комплекта "NAS + подключаемые HDD", или даже "NAS+NAS" вполне легко обеспечить и катастрофоустойчивость. Причем во втором случае - автоматически настроенную, то есть не требующую ежедневных или еженедельных отвлечений пользователя на эти сугубо технические процедуры. И в этом смысле - NAS дает качественное улучшение ситуации с надежным хранением данных, нежели любые одиночные жесткие диски, с ручной их ротацией, с отвлечением внимания пользователя на процедуы резервного копирования. Там где ручная работа (с подключаемыми к компьютеру дисками) - там и вероятность человеческих ошибок, и просто забывчивости и т.п.



Что можно предложить в бюджетном варианте простому человеку?

Пусть даже на первых порах не заморачиваться никакими RAID-ами, если не нужны непрерывность доступа, постоянная доступность и большие объемы. А решить сперва для себя задачу надежного хранения:



(А). Приобретаем именно NAS, уже умеющий в версионность бэкапов для домашних компьютеров. Тот же Synology точно это умеет, и скорее всего QNAP тоже. Настроить создание бэкапов с обеспечением версионности версий пользовательских файлов со всех домашних компьютеров. Это первая часть марлезонского балета. Ликвидируем проблемы "вышел из строя компьютер", "вирус зашифровал всё", "компьютер украли", "сам по невнимательности стер нужные файлы", и т.п.



Пусть даже это будет однодисковый NAS, если не хватает денег на двух-четырехдисковый. Хотя, по моей практике настоятельная рекомендация взять как минимум двудисковый NAS и пусть даже с одним жестким диском. В дальнейшем возможно расширение емкости хранилища вдвое, потому что вкус к хорошему приходит во время еды. Ну так вот, на этом этапе никакими RAID не увлекаемся, просто впиндюриваем в 2х-дисковый NAS только один диск, максимального объема, который можем себе позволить, и настраиваем резервное копирование с рабочего компьютера. Бинго! Мы сделали это! Решили первое условие надежного хранения данных. Попутно также можно "поднять" свой персональный "облачный диск", личный ftp-сервер и другие сервисы, которые для пользователя становятся бесплатными и удобными в случае NAS.



(Б) Обеспечиваем катастрофоустойчивость для данных. Т

Тут есть три варианта, от самых дешевых до самых автоматизированных



2А.

Самый простой дешевый вариант, но геморный в обслуживании: Подключаемые жесткие диски.

Вот тут нам и пригодится внешний жесткий диск, подключаемый уже к NAS (а лучше - пара жестких дисков). Закупаются два внешних максимально емких жестких диска. С NAS (уже с NAS делается резервные копии на эти жесткие диски, уже без версионности), и оба диска увозятся в другое помещение: к родителям, к детям, на дачу. Периодически один из дисков привозится к NAS, делается очередное дополнение к резервной копии, и увозится обратно. Итого, мы имеем три копии данных, одна из которых - всегда вне помещения. Гуд. Но, есть немного ручной возни. Но дешево.





2Б.

Закупка второго NAS и настройка полной синхронизации двух устройств друг с другом. Встроенные средства для этого обычно включены в софт, идущий к приличным NAS. Как ни экзотично это выглядит, зачастую это может оказаться удобным решением. Семейно-комплексным. Например в квартире родителей - NAS (двухдисковый), в квартире детей - NAS (двухдисковый), и у Вас - NAS (двухдисковый). С первого идет синхронизация данных на второй, со-второго на третий, а с третьего - на первый. Итого, все обеспечены как минимум одной резервной копией вне исходного для этих данных помещения.



2В.

В составе софта synology (думаю и у других приличных производителей) давно есть уже утилиты резервного копирования самого NAS в публичные облака такие как Амазон Глетчер, Дропбокс, в Гуглдиск, и т.п. Таким образом, фотограф с компьютера - копирует в NAS (c обеспечением версионности), с NAS - в облако. Супернадежно. Хотя и дороговато по затратам на покупку места в облаках, когда емкость хранимого превышает терабайт, иногда выгодно купить второй NAS и поставить его в офисе, в другой квартире, или на даче, то есть вернуться в схеме 2Б.



Сухой остаток:



Люди акцентируются на RAID... почему-то считая что именно это ключевая фича NAS-ов.

На самом деле ключевые фичи NAS-ов - в функциональном софте, который к ним прилагается. В софте, который умеет делать резервные копии с сохранением версий файлов. Который умеет сделать легко и просто "виртуальное частное облако". Который обеспечивает автоматизацию резервирования самого NAS на другой NAS или в публичное облако, или на жесткие диски. Полную автоматизацию. Причем, всё это относительно легко настраивается человеком, далеким от IT. И далее не требует фрикций от человека. Настроил - оно само работает. Каждый день "сливает" изменения пользовательских файлов на NAS, каждый день "сливает" далее в пространство хранения вне помещения... Вот в этом, представляется, основной цимес NAS-ов в деле сохранения нужной фотографу информации с максимальной надежностью, и без излишней постоянной возни руками, с переподключением разных жестких дисков и т.п..

Продолжаем.

теперича немного про RAID в NAS.



Когда объем хранения резервных копий со всех домашних компьютеров (включая версии файлов) начинает превышать 5-7 терабайт, там и возникает необходимость думать о многодисковых системах NAS. Но, тема эта уже эволюционная. Вкус к функционалу NAS приходит во время пользования им. Постепенно оказывается удобным в нем хранить и медиатеку, и даже сделать ftp-сервер, торрента и т.п, и там начинается эволюция: "однодисковый NAS" - "двудисковый" - "четырехдисковый в RAID1" (на этом обычно домашние NAS у обычных людей останавливаются в развитии). Но у фотографов - не всё так просто. Фотографу, если тот активно снимает, и накопил уже 10-15 терабайт равов, хочется единое пространство хранения, большой емкостью и вааще! Вот тут тоже получается всё просто, на мой взгляд:



Для 2-х дисковых систем есть ровно два варианта:

Либо хочется надежности, тогда второй диск - в RAID1.

Либо хочется дополнительного пространства, тогда второй диск не-в RAID, а просто ставится как второй раздел или расширение сушествующего без дублирования.



Для 4-х дисковых систем - RAID5 (synology SHR1) безальтернативно.

RAID10 не имеет смысла, ибо используемого места меньше, а скорость по передаче по сети не будет выше.

RAID0 не имеет смысла по причинам низконадежности

RAID6 не имеет смысла по причинам того, что кому нужен RAID6 не нуждаются в мелких советах.



Для 6-8-дисковых - RAID6 (synology SHR2) безальтернативно.

По причинам, которые уже тут озвучивали: при ребилдинге массива RAID5 с наличием именно высокоемких дисков вероятность ошибки массива становится достаточно высокой. Тема эта достаточно хорошо "обсосана" на специализированных ресурсах. И фундаментальное основание этого простое: когда диски были маленькие и малоемкие, ребилд происходил относительно быстро, нагрузка на диски не была зашкаливающей, и расширение или замена одного диска в массиве из дисков небольшой емкости не была критичной по вероятности ошибок (пресловутые 10 в минус 14-й степени) и не была критичной по общей нагрузке по перегреву и проч. А на современных дисках количество инфы такое, что всё становится довольно рискованным. И вероятность, что массив посыпется - уже значимая, от неё просто так не отмахнуться. Ну то есть отмахнуться можно, но на свой страх и риск. Если мне склероз не изменяет, то всё эти разговоры и расчеты вероятностей ошибок пошли когда, емкости используемых в массивах дисков превысили значения 4ТБ.



Основная проблема в отношении эксплуатации 6-8 дисковых NAS видится не в том, что стоит "какой же тип RAID мне выбрать?". А в решении проблемы, куда бэкапить такой объем информации. Если честно, я тут не вижу иного решения, кроме как прикупить второй 8-дисковый NAS, и настроить синхронизацию между ними. Остальные решения - слишком дорогие или требующие значительной ручной возни и внимания. Но, до 6-8-дискового NAS нужно еще дожить (я вот, дожил, поэтому у меня там RAID6 + hot spare). А остальные - кто задумывается над первым своим NAS - могут просто и с легким сердцем отложить эти мучения с выбором типов RAID до тех времен, когда для них это станет актуальным. Или не станет актуальным.

Итого,



Базовая рекомендация фотографу или дизайнеру,

задумывающемуся о NAS, но не желающему тратить сразу много бабла на это дело:



Взять 4-х дисковый NAS (они не так дороги, как 6-ти ли 8-ми дисковые).

И ОДИН жесткий диск в него, максимального объема.



Этого будет уже достаточно для функционального старта.

И позволит потом втрое расшириться, если тема понравится. Если говорить о сегодняшнем дне, то достаточно начать с одного диска в 8 ТБ в NAS. Плюс, одного USB-подключаемого внешнего диска на те же 8 ТБ (я брал сигейтовские) чтобы делать резервирование (автономную копию) уже с NAS. Если я правильно умею в математику, это полностью закрывает функционал хранения для примерно 100 тыс. равов. И, легко расширяется втрое по полезной емкости. Что вполне норм для обычного практикующего фотолюбителя.



Почему не двухдисковый?

Практика показывает, что через пару-тройку лет он всё равно меняется на 4-хдисковый

Утащил

[Rimlyanin]

Но коль версионность бэкапов затронута, то позвольте вставить свои пять копеек. Лично мне никогда не хватало производительности гигабита не только домашней, но и корпоративной сетки для создания версионных бэкапов. Я с давних пор использую Acronis True Image (еще с версии 2009) и для себя лично пришел к выводу, что нет ничего лучше копий на соседний жесткий диск, специально для этого купленный и установленный. Правда тут есть одна пикантная особенность

Ну если не хватает гигабита, то надо ставить 10G. Или выше. Или соединять другими методами.

Или да, ставить "локальный винт", делать на него полное и затем уже инкрементное или дифференциальное резервное копирование, а инфу уже с него вытаскивать по сетке в другие места.

Всегда хотелось дома RAID-5, я же айтишник, игрушка прикольная. Но для меня неоправданно дорого.

ОТ не хватало ещё домой работу нести.

НЕ, иногда возникает мысль сделать "домашнюю лабораторию", но уже много лет лень и здравый смысл побеждают.

редний коэффициент дедупликации для одиночного изолированного объекта: порядка 1,5Х. Для нескольких компьютеров "в пуле" - 4Х.

На этих компах работают с одними и теми же файлами, раз такой коэффициент?

В этом смысле правильно подобранный NAS, - в сравнении с одиноким жестким диском - это небо и земля для задачи бэкапов.

Или правильно собранный и настроенный.

Потому что по сути практически любой NAS этот тот же линь, иногда фря, с надстройкой над ним для "редактирования конфигов мышкой".



Когда мне перестало хватать возможностей готовых NAS, я сначала пользовал FreeNAS/NAS4FREE? потом уже не помню что слулилось раньше что позже, перешел на линь и избавился от оболочек. Даже от Webmin. Теперь хучу что оболочка моего NAS это полуночный командир)

[Виктор.]

Ваша "базовая" рекомендация встанет "фотографу или дизайнеру" от полтосика и выше. Или я неправ?

Прав, прав, очень даже прав. Рискнул бы даже предложить, что если речь идет о NAS и о том, что на нем не только бэкапы, то и надо опираться на эту сумму, как на начальную.



А multiformat amateur я плюсов навтыкал и был бы очень рад, если бы он толково пояснил, что дальше.

Продолжаем. теперича немного ...

Благодарю за внятные сформулированные пояснения. Извиняюсь за объем последующих вопросов, продолжение повествования будет?

Примерно в таком ключе:





1) Выбираем стратегию:

1. Всю инфу храним на NAS, архивы делаем на отдельный диск на комп и еще на отдельный диск, подтыкаемый к NAS периодически.

2. Или же наоборот всю инфу храним на компе, архивы делаем на NAS, плюс подтыкаем еще к NAS периодически диск для копии архива.

3. Еще какие то варианты?

Мне был бы предпочтительнее первый. Так как если NAS начнет глючить, то я это увижу в следствии его постоянного использования для работы с рабочей информацией, хранящейся на нем. А уж с целость





2) Берем 4х дисковый Synology (у меня двухдисковый DS216+II с дисками на 1 тб + 10 Тб, сейчас бы взял четырех, но и двухдисковый уже 2 года простаивает, так как не умею его готовить). Например такой https://www.kns.ru/product/setevoe-hranilische-synology-ds918-plus/?utm_source=market.yandex.ru&utm_medium=cpc&utm_term=552569&utm_campaign=yamarket&_openstat=bWFya2V0LnlhbmRleC5ydTvQodC10YLQtdCy0L7QtSDRhdGA0LDQvdC40LvQuNGJ0LUgU3lub2xvZ3kgRFM5MTgrO3JhQ0JlcjNxM0lNbGlmelBqeFNnU3c7&ymclid=15897365087059699343500006

3. Ставим в него диск. Например такой https://market.yandex.ru/product--zhestkii-disk-western-digital-wd-gold-12-tb-wd121kryz/1914797630?show-uid=15897370427943071343016000&nid=55316&track=product_card_also-viewed



3) Ставим на NAS и на комп следующий софт отсюда https://www.synology.com/ru-ru/support/download/DS216+II#packages .

1. ОС https://www.synology.com/ru-ru/support/download/DS918+#firmware , при установке выбираем раздел SHR, файловую систему BTRFS. Или же какой то другой? При установке последующих дисков какие разделы создавать, чтобы они были в виде отдельных дисков? У меня получился JBOD на 10тб (правильно или нет?), на который и хотелось бы архивировать информацию или же сделать его наоборот рабочим, а архивировать информацию на комп.

2. После установки ОС, производим следующие настройки ОС.

3. Устанавливаем отсюда https://www.synology.com/ru-ru/support/download/DS918+#packages пакеты на NAS. Перечисление, с уточнением для чего они.

4. Устанавливаем отсюда https://www.synology.com/ru-ru/support/download/DS918+#utilities утилиты на ПК. Перечисление, с уточнением для чего они.



А дальше обсуждение проблем с установкой и эксплуатацией.



Еще раз извиняюсь за наглось с вопросами, но хотелось бы с этим NAS сдвинуться с места и чтоб место хранения архивов и место хранения рабочих файлов потом не менять.

У Вас как все реализовано и какие пакеты установлены?

[Виктор.]

про резервное копирование и версионность, как задачу:

Сейчас глянул, сколько времени занимает создание средствами Synology Active Backup резервной копии с домашних компьютеров:

Компьютер дочери - 7 минут.

Ноуты - 6-7 минут.

Удаленные компьютеры (бэкап через интернет, находятся в других городах) - от 7 до 35 минут.

Выделенные IP адреса на удаленных компах для этого бэкапа надо или нет?

Архивация автоматом запускается в момент доступности компа или по конкретному расписанию?

Каким устройством инициируется начало архивации, NAS или домашним компом?

[Meridian]

Ну если не хватает гигабита, то надо ставить 10G. Или выше. Или соединять другими методами.

Или да, ставить "локальный винт", делать на него полное и затем уже инкрементное или дифференциальное резервное копирование, а инфу уже с него вытаскивать по сетке в другие места.

Вот спасибо за совет! А я, дурак, не догадался! Как же так - ведь это очевидно - не хватает 1G - ставь 10G



Рискну предположить, коллега, что Вы жируете с 10G на деньги своего работодателя. А я вот на свои



И предвижу Ваш следующий совет: "Надо больше зарабатывать!" Заранее благодарю

[Meridian]

про резервное копирование и версионность, как задачу:

Рекомендую софт, умеющий в дедупликацию резервных копий.

Не знаю, умеет ли такое Acronis True Image, но вот, софт Synology - давно умеет. Поэтому ежедневное резервное копирование обычного компьютера занимает минимум времени, прозрачно, не грузит систему, и можно хранить "резервные копии" за много дней, при этом не занимая много места (пишутся только новые и измененные файлы).



Сейчас глянул, сколько времени занимает создание средствами Synology Active Backup резервной копии с домашних компьютеров:

Компьютер дочери - 7 минут. Ноуты - 6-7 минут. Удаленные компьютеры (бэкап через интернет, находятся в других городах) - от 7 до 35 минут. Это все компы, которые используются ежедневно. Средний коэффициент дедупликации для одиночного изолированного объекта: порядка 1,5Х. Для нескольких компьютеров "в пуле" - 4Х. Другими словами, единое хранилище занимает вчетверо меньше места, чем сумма объемов резервных копий с защищаемых компьютеров. И вот это - фича именно сетевого хранилища. Никакой подключаемый жесткий диск такого не умеет. Всё что я написал по срокам выполнения бэкапов и по объемам хранения попросту невозможно для одиноких подключаемых жестких дисков. В этом смысле правильно подобранный NAS, - в сравнении с одиноким жестким диском - это небо и земля для задачи бэкапов. Особенно бэкапов с версионностью хранения и прочими вкусными и полезными для простого человека "плюшками".

Дедупликация - это хорошо. Но Acronis в True Image это не пущает, только в дорогие корпоративные версии



А минутки, которые Вы приводите - непоказательны. Непонятно, что там архивируется. Можете что-то более конкретное, для первичной копии?



Вот смотрите, что у меня.



Дома, диск с бэкапами - в компе.

На работе, диск с бэкапами - через гигабитку:

Как видно, террабайт фоток можно загнать в первичный архив за 2 часа, что меня очень устраивает. А вот на работе через локалку скорость в 6 раз хуже и ночи едва хватает на все (там отрабатывают еще другие задания архивации).