Организация хранения данных

[Genn]

Есть несколько вопросов про хранение данных дома.



1. Физическая организация. (Концепция)



Пока использую внешний жесткий диск (в режиме RAID 1) в качестве библиотеки, куда нерегулярно сбрасываю информацию с жестких дисков компов. Кадры в исходном и обработанном виде, всякая иная информация, скачанная из паутины, или записанная самими (например - оцифровки пластинок). В промежутках между сессиями устройство стоит отключенным. Сейчас там место заканчивается. Надо подумать на тему новых подходов.



Сейчас стала популярной абревиатура NAS. Но выглядит это - как некий постоянно включенный файл-сервер, на котором к тому-же крутятся какие-то приложения типа iTunes, чтобы можно было с любого компа в любой комнате послушать музыку. Ну и bittorent.



В данном варианте мне нравится то, что можно (наверное) запрограммировать регулярный бэкап отдельных каталогов на жестком диске. Но не нравится, что диски постоянно крутяся и вероятность сбоя растет.



Наверное было бы интересно иметь Raid 1 в качестве постоянно-крутящегося с доступом по домашней сети. Один из ноутов имеет довольно маленький винт в силу своего почтенного возраста. Было бы интересно оставить на нем рабочие файлы, а реальную библиотеку создать на внешнем NAS. Плюс к нему одна корзинка для временно монтируемого винта, куда будет сбрасываться копия этого диска и убираться в ящик/сейф.



Может быть есть какие-то иные интересные варианты для дома? Есть реальные описания идей организации структуры для хранения данных?





2. Физическая организация - железо и ПО



Как это лучше всего организовать на уровне железа? Есть варианты про какие-то thecus, d-link, и т.д. Есть там что-то именно с возможностью организации файл сервера с временно монтируемыми дисками? Какие лейблы лучше?

Какие диски брать для такого массива?

Заодно кстати и вопрос по ПО. Что лучше всего использовать в качестве бэкапной программы?



Можно купить комплектуху и собрать комп чисто в качестве файл-сервера, но стоит ли оно того? Опять же надо разбираться с новой ОС.





3. Логическая модель данных.



Как построить логическую модель данных?

Сейчас у меня исходные равы отсортированы по датам съемки. Папки называю - YYMMDD-место. Отдельные кадры YYMMDD-NNN.



Музыка - по композиторам, или исполнителям, если это сборники или современная музыка.



Результаты обработки как правило свалены навалом куда-то, что не есть хорошо. Как правило - они не сохраняются на внешний винт, что тоже не есть хорошо. Да и другие какие-то проекты и темы, которые тоже не всегда правильно организованы.



Как это лучше организовать?

[multiformat amateur]

Я немного зайду с другой стороны, ибо, на мой взгляд, вопрос хранения ваших актуальных даных прямо связан с обеспечением их архивации. Иначе, если система хранения не обеспечивает оптимально архивации, то все становится неустойчивым. Вне зависимости храните ли вы данные на насе, или еще где. Поэтому, для начала имеет смысл оценить вопрос в помплексе. Комплекс имеет два аспекта: как хранить, распределение данных. Как все это архивировать на случай сбоев - технических и логических, вкючая проблемы человеческих ошибок. Полезная информация делится на несколько видов:



(1) система и набор программ - бэкап формируется образами дисков, програмой Акронис, по произвольному графику в случае надобности.

(2) часто изменяемые данные: папка мои документы, рабочий стол, избранное, и т.п. а также текущая работа. Если это работа со сканами и равами, то желательно чтобы все это было на физически быстром диске.

(3) редко изменяемые данные: библиотеки фильмов и аудио, какие-то законченные проекты сложенные в архив, например база данных семейного фото, и т.п. Это можно хранить на емких медленных дисках, типа WD GreenPower.

(4) Актуальная рабочая информация на внешних дисках, флешках, и т.п.



Каждая из категорий данных имеет свой оптимальный подход к хранению и к резервированию.



В моем случае:



Компьютер1:

физический диск 1А: раздел 1 (система) раздел 2 (2-я резервная система) раздел 3 (редкоиспользуемые данные, архивы и т.п.)

физический диск 1Б: частоизменяемые пользовательские данные, собственно работа.

физический диск 1В: библиотеки фильмов, книг, аудио, архивы завершенных проектов. WD GreenPower максимальной емкости.

физический диск 1Г: внутренний бэкап с диска "Б" с ведением историй изменения файлов, бэкапы флешек и внешних дисков с рабочими данными.



Компьютер2:

физический диск 2А: система, пользовательские данные

физический диск 2Б: внутренний бэкап с диска "2А" с ведением историй изменения файлов, бэкапы флешек и внешних дисков с рабочими данными у жены.





Компьютер 3:

К сожалению, подавляющее большинство NAS имеет идиотски маленькую скорость приемо-передачи, даже если оснащены гигабитным портом. То есть, в спецификации – интерфейс гигабит, а на практике скорость – единицы мегабай в сек. это маркетинговый буллшит. Такова природа дешевых изделий. У них единственный выигрыш - в занимаемой площади. Остальное - сплошные недостатки: скорости нет, управляемость малая, функциональность практически не расширяется. Я полностью отказался от NAS, в пользу обычного slim-компьютера, системный блок которого висит над бачком в туалете, выполняет роль домашнего мультимедиа-сервера, торренты, и т.п. Подсоединен по гигабиту, управляется через radmin, на него можно поставить любые нужные программы, и любые сервисы, в отличие от NAS.





Плюс к этому несколько внеших жестких дисков для бэкапов, с интерфейсами USB, Fireware и eSATA общей емкостью примерно 5TB.

Все компьютеры объединены ethernet, СКС категории 6, кросс в туалете, там же установлен маршрутизатор и UPS для обеспечения питания маршрутизатора и компьютера 3. Поскольку скупой платит а иногда и трижды, то я сразу отказался от недорогих dlink и прочей бытовухи, а ориентирусь на 3com и zyxel. Но все это уже частности. Основное - необходимо понять какие категории информации у Вас сейчас имеются в системе (по важности, по изменяемости), какие объемы каждой категории. Как Вы собираетесь обеспечивать ее сохранность - то есть защиту от сбоев по электропитанию, по протечкам воды от верхнего соседа, от своих собственых ошибок, когда случайно удалите файл в raid-массиве...

[Andrey]

Возможно, я пофигист, а может быть, реалист не закладывающийся на то, что монета подброшенная в воздух может зависнуть ...



Исходя из этого, организация данных на моих домашних компах очень простая:



Основной комп имеет три раздела (на двух жестких дисках): первый (малого объема 160 Mb) - системный на отдельном диске (вероятность сбоя в системе больше, чем на данных), второй диск (большого объема 1 Tb) разбит на два раздела - все, что связано с фотографией и все, что не связано с фотографией. Второй диск полностью расшарен для локальной сети, и все, что делаю на других компах, на самом деле делается на первом (основном). Если надо ускорить процесс, тогда с основного компа данные перекачиваются на локальный, а после завершения работы - обратно. Т.е. проблема синхронизации и объединения данных между компами не стоит.



BackUp: примерно раз в месяц вся ценная (т.е. та информация, которую нельзя купить) копируется на два внешних карманных харда (WD 500 Gb). Один из них хранится дома, второй на работе. Для процесса копирования написан небольшой .bat файл, который все делает автоматом. Т.е. пошел спать нажал кнопочку, утром диск готов. Т.к. не считаю нужным хранить копии фильмов, музыки и т.п., т.е. всего того, потеря которого не критична (спать не перестану, если любимая музыка потеряется) и, что можно легко купить снова (купить фильмы и музыку не проблема). Поэтому двух внешних дисков на 500 Gb вполне хватает (на данный момент, все мои фотографии, данные, копии документов и т.п. занимают примерно 300 Gb). Перестанет их хватать - куплю диски большего объема.



Сейчас тоже озаботился приобретением, чего-то а-ля NASa, но, согласен с предыдущим постом, цены на них не соответствуют функциональности. Обычный USB enclosure стоит 10 баксов, Ethernet adapter стоит примерно столько же, так почему все это в сумме стоит около 150$? Скорее всего куплю, что-то а-ля <noindex>вот этого</noindex>. Т.е. за 240$ получаем 2 Tb с Ethernet интерфейсом. Жду, когда на них будет распродажа и цена опустится меньше 200$. Соответственно, на этот диск переедут все фильмы, музыка и т.п. Около каждого телевизора будет установлен небольшой медиа-плеер и, собственно все.



По сетевому оборудованию. Не вижу смысла платить за хай-енд ... у меня 4-5 лет работал роутер Belkin за 10 баксов, когда он сломался купил Linksys Cisco за 50$, и только потому, что на тот момент в магазине не было ничего дешевле. Разницу в работе роутера за 10 и 50 баксов не вижу абсолютно (более того, у Linksys за меньше, чем год уже трижды слетал MAC адрес, сейчас то знаю, как это исправить за 5 секунд, а первый раз потратил 2 часа, чтоб понять почему перестал работать Интернет). Также по дому проброшена проводная гигабитная сетка (для подключения телевизоров, аудио систем и т.п.), которая замыкается на switch, опять же стоимостью 10 баксов Ну полетит он, ну не будет у меня пару дней (пока не заеду в магазин) возможности смотреть фильмы с сервера, я от этого не умру. Зачем платить за профессиональный switch 100-200 баксов? Ну полетят у меня одновременно и роутер и свитч (вероятность в районе 0), и край как надо будет в этот момент передать данные с одного компа на другой - перекачаю через внешний хард, делов то ...

[multiformat amateur]

Andrey, проблема дешевых роутеров и свичей - в перегревах и зависаниях после этого. В частности, этим славились бытовые dlink. Я когда выбирал роутер, переговорил с сервис-инженером моего провайдера на предмет их статистики зависаний у клиентов, после чего выбрал наиболее надежное. Заниматься поиском причин зависов, поиском замен, нет никакого желания. У родителей провайдер поставил дешевый роутер, уже дважды меняли. Каждая замена - неделя ожидания. Оно кому нужно? В принципе да, если downtime некритично, то конечно, можно определяться только по цене. Еще, касаемо роутера, сильно зависит по какой технологии входит интернет в дом. Не все роутеры корректно поддерживают то, что наворотила Корбина или Билайн в части авторизаций. Мораль - лучше по этому вопросу спрашивать провайдера. Коммутатор да, может быть совсем дешевым. Но если он позволяет обслуживать большие пакеты, то это повышает производительность на мультимедиа-потоке, иногда это полезно. Выбор, естествено, индивидуален, в зависимости от потребностей. Если просто расшарить папки для редкой пересылки, то конечно, ничего особого такого не нужно...



Бэкап раз в месяц - это сильно... Что будете делать, если 30-го собрались делать бэкап, а 29-го умрет ваш диск с вашей текущей работой и всеми равами, снятыми за месяц?

[Andrey]

Andrey, проблема дешевых роутеров и свичей - в перегревах и зависаниях после этого.

Возможно, но как-то с таким не сталкивался даже на самых дешевых роутерах и свичах.

Еще, касаемо роутера, сильно зависит по какой технологии входит интернет в дом.

У меня входящий кабель - RG6 и на входе стоит кабельный модем, который является собственностью провайдера и в случае его поломки - это головная боль провайдера. Далее стоит уже мой роутер, обеспечивающий беспроводную сетку по дома, а от него сигнал уходит на switch, к которому подключены все остальные Ethernet розетки по всему дома.



Т.е. "летит" switch - остается работоспособной беспроводная сетка. Летит роутер, надо только переткнуть один проводок и будет работать проводная сетка, минуя роутер.



Летят одновременно и роутер и свитч, сигнал с кабельного модема пойдет на основной компьютер, который конфигурится бриджом и все работает опять. Т.е. тройная защита от сбоя техники, и, как мне кажется, при такой конфигурации достаточно дешевых компонент, чтоб поддерживать всю сетку в рабочем состоянии.

Бэкап раз в месяц - это сильно... Что будете делать, если 30-го собрались делать бэкап, а 29-го умрет ваш диск с вашей текущей работой и всеми равами, снятыми за месяц?

Так я ж писал, что я реалист Возьмем вероятность вылета диска (согласитесь, что это не 1/2, либо сломается, либо нет ) умножим ее на вероятность того, что умрет диск именно 29-го, а не первого числа, на вероятность, что за это время снята очень ценная сессия, на вероятность того, что ее нельзя востановить либо на диске, либо на флешке, на вероятность, что данные еще не скинуты заказчику и т.п. и т.д., получим примерно вероятность зависания в воздухе подброшенной монеты



Все это относится к моему персональному случаю, когда на домашних компах не делаю много серьезной работы, если речь идет об офисе или, когда дома делается много коммерческой работы, то само-собой, компоненты покупал бы подороже и понадежнее, ради дополнительных гарантий и собственного спокойствия.

[multiformat amateur]

Andrey, У меня за последние 5 лет выходил один раз из строя жесткий диск (был в RAID, заменен по гарантии). А вообще таких случаев за всю жизнь был отнюдь не один. Еще много раз раз я восстанавливал родным потерянные данные. Потерянные из-за сбоя программы, например не читается база писем почтовой программы. Из-за невнимательности. Последние два случая, когда пришлось обращаться к бэкапу, были за последние 2 месяца. И еще, у меня лежит прямо сейчас умерший мобильный жесткий диск знакомой девочки. Таким образом, я постоянно сталкиваюсь с ситуациями, когда бэкап весьма полезен. Буквально на прошлой неделе доставали одну директорию с бэкапа двухнедельной давности, слава Богу у меня он ведется не только последним срезом, но и можно заглянуть вглубь времени...



Я рад, что у Вас таких проблем нету.

Что касается "коммерческой работы" или некоммерческой работы, то потерять последнюю фотосъемку ради которой я прошел 270 км по льду и месяц жизни... не менее, а может и более неприятно. Ведь сегодня диски стоят недорого. И на мой взгляд, гораздо проще обезопасить свои нервы, наладив процесс. Это на самом деле недорого сейчас. Просто этим не занимаются, пока не клюнет петух в одно волшебное место. Когда я зимой ходил в горы, то брал лавинное снаряжение, несмотря на то, что вероятность попасть под лавину много меньше, чем вероятность умирания жесткого диска (3% в год в среднем по индустрии). Если у Вас в хозяйстве 5 жестких дисков, то за 3 года их юзания вероятность проблемы с каким-либо 0,03*5*3=0,45 не так ли?

[Genn]

multiformat amateur: Это все здорово, но как правило в каждом компе жесткий диск один. Можно ли в нем по живому отрезать раздел и сформировать отдельный логический диск - не знаю, может быть и можно - после удаления всех данных и дефрагментации + сжатия системы. Не понятно - есть ли разница в вероятности сбоя "большого" системного диска на 50G или двух логических - скажем на 10 и 40 Gb.



Как вы дальше организовываете бэкап своего туалетного компа? И спасибо за указание по поводу вентиляции коммутатора. На него возрастет нагрузка. Может сразу поставить дополнительный коммутатор? Тем более что тот же 108 Зиксел стоит 670 рублей.

[Genn]

Andrey, спасибо за идею двух винтов, один из которых относить на работу и убирать там в шкаф. Лучше конечно в ячейку - но она теперь далеко. Надо подбирать новую, подближе к новому адресу.



А по поводу покупки музыки. Далеко не все можно купить. Многие вещи не переиздаются, или при переиздании мастерятся заново. Мне нравится слушать винил. Причем не только в оригинале, но еще и в цифровых копиях, переписанных у разных знакомых.

[multiformat amateur]

как правило в каждом компе жесткий диск один. Можно ли в нем по живому отрезать раздел и сформировать отдельный логический диск - не знаю,

Изменить размеры раздела на жестком диске - это абсолютно штатная процедура в Висте, доступная пользователю. Но делать это чтобы поместить туда файлы бэкапа не нужно. Бэкап должен быть на физическом другом жестком диске. Таким образом, Вы страхуетесь как от логических ошибок, так и от выхода из строя основного рабочего HDD. Варианта для компьютера с одиноким жестким диском (например для ноута) два: (1). Бэкапирование на внешний HDD, (2) Бэкапирование в локальную сеть. То есть, проблема решается. Вам только имеет смысл разделить в компьютере данные, которые изменяются часто и редактируются... от данных, которые изменяются редко и никогда не редактируются (музыка, фотографии). Хотя бы на уровне структуры каталогов в пределах одного раздела. То есть, структура каталогов первого уровня должна быть полностью стабильной. И уже на первом уровне вести разделение на "стабильные данные" и на "переменные, редактируемые, данные". Это здорово потом облегчит жизнь по обслуживанию.

Не понятно - есть ли разница в вероятности сбоя "большого" системного диска на 50G или двух логических - скажем на 10 и 40 Gb.

У вас в части сбоев есть несколько видов угроз:



1. Физический выход из строя механики жесткого диска. Погибают оба раздела.

2. Логический сбой файловой системы или MBR. Погибают либо оба раздела, либо один

3. Вирусная атака.

4. Сбой программы и порча ею пользовательских данных (почта, к примеру)

5. Ошибки пользователя, например удалили случайно папку, нажав шифт-делит.

6. ...



В этом смысле один у Вас раздел или два

- уже без разницы, на мой взгляд.

Как вы дальше организовываете бэкап своего туалетного компа?

Туалетный комп (как и все остальные компы) имеет каталоги со стабильными данными (мультимедиа архив, торренты, и т.п). И папку с переменными данными, например общую папку документов. Архивирование переменных данных организовано на мой диск "1Г" (см. описание выше) установленного внутри моего компьютера, по сетке. Впоследствии на подключаемые внешние диски идет синхронизация диска 1Г, плюс синхронизация стабильных данных непосредственно с туалетного компа. Схема:

1. Папки со стабильными данными --> синхронизация --> внешний диск.

2. Папки с переменными редактируемыми данными -- > ежедневное инкрементальное сворачивание в zip-архивы на диск "1Г", с глубиной хранения n-дней --> далее синхронизация этих архивов на внешний диск.



я может, сложно пишу, но на самом деле все просто.

Может сразу поставить дополнительный коммутатор? Тем более что тот же 108 Зиксел стоит 670 рублей.

Zyxel 108 - 100 мбитный.

В принципе, как бюджетное решение вполне нормально. Но если не хочется возиться с прокладкой кабелей и портить плинтуса, сверлить дырки между комнатами, то сейчас вышло на рынок беспроводное оборудование с хорошими скоростями - стандарт 802.11n (до 300 мбит в сек). То есть надобность в кабелях постепенно отпадает. Исключение - если у Вас очень толстые бетонные стены либо нужен реально гигабит. Примерная скорость потока по 100 мбит-сетке: поорядка 9-10 мегабайт в сек. По гигабиту порядка 35-50 мегабайт в сек.

[multiformat amateur]

Genn,

Какой у Вас в совокупности (во всех рабочих компьютерах) объем ваших стабильных данных - фильмы, музыка, фотоархивы? и какой у Вас в совокупности, во всех рабочих компьютерах, объем переменных данных - папка "мои документы", почтовые базы, "рабочий стол" "избранное" и папки с фотоработой?





Прежде чем растекаться по древу теоретических возможностей, может проше конкретизировать задачу?

Организация хранения и обслуживания массива данных объемом до 1000 ГБ, и свыше 2000 GB - это немного разные задачи, и будут решаться оптимально разными способами....