Сервисы для хранения своих фото-архивов (опрос)

[Ph-A]

Смотрю, как в нашей компании, (одной из лидеров страны на IT рынке) при штате профи админов "упал" почтовый сервер.

Весь.

Мое личное оценочное суждение. Вы монстр, монополист и так далее, но не лидер IT рынка.



А падения, возможно админы не доглядели, а скорее всего некие эффектные менеджеры не выполнили просьбы IT отдела. Такое бывает чаще.

На Yahoo открыл ящик в 2000 году.

С тех пор были взлеты и падения моего интереса к этому порталу, но главное он был и был стабилен и не падал не разу.

С 2007 открыл на flickr аккаунт для хранения и размещения фото.

За эти 5 лет не разу не было что бы я не мог туда зайти и закачать фото.

Для мня это важно.

Спорить не буду. Но Yahoo уже не тот, что был раньше, в том числе и по финансам.

Но он не хуже и не лучше других лидеров. Если сервис нравится, то почему бы и нет.

Что бы создать необходимые режимы в квартире по питанию, температуре и т. д. Нужно за тратить большие ресурсы.

Для бытового использования это не надо.

а вот рабочие файлы - то с чем работате - очень удобно там хранить

Мне для этого хватает бесплатного Яндекс диска. И объем нормальный и дублирование есть.

поставить второй резервный канал интернет (у меня, к примеру Иота LTE).

У меня тоже два канала, но доступ из вне, доступен по одному каналу. Поскольку все что должно поддерживается в интернете, лежит вне дома.

А автоматическое переключение сделали? А если сервер упал, возможно его перегрузить удаленно?



Все таки, даже если основные данные хранятся дома, то что надо предоставить открытый доступ, лучше хранить в интернете. Или два доменных имени или поддомен вытащить в интернет.

Flickr довольно часто глючит. Не далее, чем вчера, в течение двух часов не могла загрузить новую картинку.

И накануне - тоже. Из-за этого не смогла опубликовать новую запись в ЖЖ.

Как я понимаю, все ваши иллюстрации в том же жж, будут не доступны?

на самом деле судьба фликр пока туманна. яху имеет кучу проблем и думает продать свой последний дорогой ресурс

Yahoo вроде бы и сама была была не против продается. А Flickr они сейчас наоборот модернизируют и улучшают. Возможно для того, что бы увеличить его рыночную стоимость.

[Ph-A]

И больше на самом деле я про русский человек, чем многие те которые живут в России

По каким критериям будем мерится?

мой технический партнер, очень грамотный парень, выбрал МастерХост. Один из самых серьезных провайдеров сервисом в России

Смотря в какие годы. Если 2008, то как раз было время, когда от них массово побежал народ. Можно было не угадать. Если позже, то ой...

Долго искал, когда я от них сбежал, не нашел. В 2007 году, точно уже был не там.

А вот знаете в Канаде и с электричеством все хорошо и с давлением газа. Там с другими вещами тоже есть вопросы. Но с точки зрения хранения данных, я бы выбрал Канаду на сегодняшний момент

Канадские датацентры хвалить многие. Личного опыта нет, слишком далеко. Хотя были и персональные предложения - попробовать.

Тут все меняется. Меняется очень быстро. И люди есть, и таланты и не у всех з/п под 100 тр.

Меняется. Но в какую сторону. У меня в России, только один VDS и то временный. Перенастраиваю основные, а сайты временно храню здесь. Когда закончу перенастройку, его грохну.

Но жизнь то продолжается, и нередко под лозунгом русского "Авось!" Так и с датацентром. Сейчас есть указания с самого верху, всем административным структурам уходить под облака.

Угу. Знал один внятный российский хостинг. Но после того как они увлеклись облаками пришлось все оттуда уносить.

Время есть, буду думать, соседи сверху вроде бы люди приличные

Я работал в IT отделе одной известной московской фотолаборатории. Стояла похожая задача, сохранять файлы клиентов, как можно дольше и сделать интернет прием файлов.

Смотрели разные варианты, в том числе считали аренду серверов в датацентрах и естественно Амазон.

Но кончилось, что просто купили и поставили у себя массив дисков.



На НГ у соседей сверху лопнуло отопление. Спасло две вещи. Кипяток потек на полметра от стойки, иначе бы ее накрыло сразу. И в лаборатории ночью были люди.

[Julysha]

Как я понимаю, все ваши иллюстрации в том же жж, будут не доступны?

ЖЖ сам лежит уже который день



Нет, flickr достаточно стабильно работает, если нужно только посмотреть, что выложено в архиве (хотя иногда всё-таки глючит - долго нельзя соединиться с сервером), у него другая болячка - с тех пор, как ввели новый интерфейс по загрузке файлов, часто не удается загрузить. Казалось бы, уже все шаги пройдены, картинка пошла загружатся, но... виснет надолго... пока не отрубишь сайт. Причем картинка для ЖЖ, маленькая (500 кб). Такое впечатление, что либо профилактику на сервере делают, либо перегрузка (им бы мощности расширить, ибо пользователей становится очень много, и объемы их архивов растут).

[Ph-A]

ЖЖ сам лежит уже который день

Посмотрел. Открывается долго, но открывается

Нет, flickr достаточно стабильно работает

Я знаю. 100% надежности не где не будет.

[Julysha]

и потом она в Голандии, где все надежно. Поэтому она может себе позволить делать некоторое хранилище на терробайты, сейчас для нее это дешевле и потом, она же и сама может его обслуживать.

Вы правы, пока мне удобнее и дешевле иметь хранилище дома. По старой советской привычке я люблю доверять только себе и надеяться только на себя. Если могу держать ситуацию под своим контролем, не завися ни от кого, то это уже хорошо.

Очень может быть, что со временем, по мере упрощения, удешевления и повышения надежности интернетных хранилищ данных я перейду на них, а пока это время не пришло, по крайней мере, для моих нужд.



[oft]

ЗЫ Здесь во всей стране нет центрального отопления - к каждому дому/квартире подходят только кабели с электричеством и интернетом, газовая труба и труба с чистой (питьевой) холодной водой, все идут через индивидуальный счетчик, так что платишь только за потребленное. Далее каждый распоряжается своим теплом по своему разумению: в доме/квартире стоят (висят в специальной кладовке) газовые котлы, которые работают двояким образом - греют воду для кухни и душа и (через термостат) поддерживают программно задаваемую температуру в помещении, обычно по часам - ночью прохладнее, а в то время, когда семья в сборе, по выходным - теплее. Преимущество такой системы огромно: нет противных труб вдоль стен, тепло не расходуется по дороге, меньше вероятность протечек, комфортная температура и влажность в доме круглый год.[/oft]

[multiformat amateur]

На НГ у соседей сверху лопнуло отопление. Спасло две вещи. Кипяток потек на полметра от стойки, иначе бы ее накрыло сразу. В лаборатории ночью были люди.

текст ниже - для лиц принимающих решения в IT.

Фотографам можно не читать (улыбка)



Насколько понимаю, в корпоративной среде такая ситуация решается за дополнительные затраты. Штатный способ - установка второго массива дисков в другом помещении и автоматическая репликация данных. Нештатный способ - крыша над стойкой. Серьезно. Я столкнулся с такой проблемой однажды, на фирме потекла система кондиционирования... После чего просто сделали крышку над стойкой с оборудованием. Всё. Для "домашнего облака" я выше предлагал решение: два синхронизируемых домашних NAS. Один у себя дома. Другой у родителей или в офисе. Далее два варианта переключения. Либо изменение (А-записи) в DNS своего домена, либо просто перенастройка DynDNS, в случае опоры на тот же синолоджи или подобные НАСы. Вопрос репликации данных между домашними хранилищами только надо продумать, а точнее посмотреть наличие штатного решения у конкретного производителя NAS. Это - для случая действительно редкой катастрофы (пожар, залили, и т.п.). Кстати, с таким же успехом можно залить стойку в ЦОД. Мне кажется, что существует некоторое количество иллюзий в отношении железобетонной устойчивости ЦОДов. Да, они статистически понадежнее чем собственное помешение. Но много ли ЦОДов в мире соответствует стандарту tier4? На этот счет мне вспоминается где-то прочитанная реплика совладельца одного из ЦОДов, который отметил, что DDOS-атака - универсальная отмазка, которую они применяют, когда уборщица опрокинет ведро воды на пол или заденет кабеля, входящие в стойку... И уж тем более что всякие там виртуальные серверы и проч... зачастую по-умолчанию не резервированы никак, кроме RAID, то есть это отдается на откуп пользователю. Другими словами, если нужна катастрофоустойчивость, то пользователю самому нужно поднимать два сервера, делать синхронизацию между ними.... ЦОД этим не занимается, по крайней мере на низкобюджетных тарифных планах.



Более того, "кластеризация" данных в т.н. в облаках, особенно дешевых или на бюджетных тарифах - это зачастую некоторая иллюзия. Насколько понимаю, народ пишет, что тот же Амазон указывает в своих рекомендациях что для надежности доступа к данным пользователи сами должны создавать два места в разных географических зонах Амазона и настраивать репликацю данных (и платить за межзональный трафик). Другими словами, тут клиент должен четко понимать, что он покупает. И, что "облачность" может ничем не отличаться от ситуации простого стоечного сервера... просто вынесенного в неизвестное пространство и только. Как метко заметили в одной из профильных дискуссии: раньше рисовали цилиндрики, сейчас рисуют облачка, а по сути ничего не меняется. Мораль тут простая - как только я слышу что-то типа "вынести в облака..." "облачное хранение..." то стараюсь понять, формируется ли там избыточность хранения и репликация в реальном времени? Или же это просто красивая обертка удаленного доступа к неизвестному где серверу. Типа, раньше это называлось RDP, скажем, а теперь продажники это называют модным словом "доступ в облако".

[Ph-A]

Вы правы, пока мне удобнее и дешевле иметь хранилище дома

[member="Julysha"], полностью согласен. Но не каждый фотограф, сможет - захочет построить такую вещь. Хотя бы из-за стоимости который надо вложит первоначально.

установка второго массива дисков

Нас бы разогнали бы сразу. Хотя в течение году, ушли все.

Нештатный способ - крыша над стойкой.

Крыши у нас текут чаще, чем лопаются трубы отопления. А потом помещение под крышой это другая фирма. Да и с помещениями всегда проблема. Мои знакомые были в шоке, когда заходили ко мне. До стойки от меня было полтора - два метра.

где-то прочитанная реплика

На этом форуме. Только про совладельца, не сильно верится.

что DDOS-атака - универсальная отмазка, которую они применяют, когда уборщица опрокинет ведро воды на пол или заденет кабеля, входящие в стойку..

Другие симптомы.

что всякие там виртуальные серверы и проч... зачастую по-умолчанию не резервированы никак, кроме RAID

Иногда и этого нет.

Мне кажется, что существует некоторое количество иллюзий в отношении железобетонной устойчивости ЦОДов

Устойчивости нет не где. Что использую я.

Очень ругаемый на многих ресурсах hetzner. Дешевые сервера обычное железо, то есть лотерея. VDS стоят на хорошем железе. В целом дата центр достаточно надежен.

В России пока живу в Химках.



То что актуально по доступности, располагается в пафостном "Bahnhof - Pionen" в Стокгольме и BlueSquare в Мейденхеде. Несколько лет использования, вначале как клиент, а потом как ресселер показала, что BlueSquare достаточно надежен.



По России был замечательный дата центр у Корбины. Но после покупки его Билайном, загубили лучшую инфраструктуру в России.

Другими словами, если нужна катастрофоустойчивость, то пользователю самому нужно поднимать два сервера, делать синхронизацию между ними....

Года два назад, находил одну компанию в Великобритании, которая на виртуальном хостинге, делала такое. Сайт одновременно находился в двух их дата центрах.

народ пишет, что тот же Амазон указывает в своих рекомендациях что для надежности доступа к данным пользователи сами должны создавать два места в разных географических зонах Амазон

Не знал ...

[Julysha]

[member="Julysha"], полностью согласен. Но не каждый фотограф, сможет - захочет построить такую вещь. Хотя бы из-за стоимости который надо вложит первоначально.

Это не очень дорого, я свою систему собирала постепенно по мере накопления фотографий. Со временем цена на внешние диски постоянно падает. Самый первый диск, который я купила, был всего на 500 Гб, и тогда это казалось круто. Сейчас использую его на почтовом компьютере для бекапа почты.



За последние два диска по 3 Тб (в сумме - 6 Тб) я заплатила 310 евро (или около того). Если считать, что приличный защитный фильтр 77 мм стоит 100 евро, то цена совершенно нормальная.

Я стараюсь покупать только такие диски, которые работают либо с USB-3, либо с e-SATA, тогда они вписываются в мою систему и манеру хранения архивов.



Пришлось разориться дополнительно на три двухметровые кабеля e-SATA (по 20 евро за штуку), чтобы два из них были постоянно подключены к предыдущему архиву (пара текущих соединена с компьютером постоянно через USB-3), а один свободный - для подключения к старым дискам, но ими приходится пользоваться очень редко. Обычно требуется забираться в архивы не далее, чем двухлетней давности.



Время от времени я переписываю старые архивы, чтобы они "не заржавели и не запылились" Была идея купить пару больших дисков и на них скинуть весь очень старый архив (задублировав), но поразмышляв, пришла к мысли, что не стоит этого делать. Опять же из соображения хранения яиц в разных корзинах. Оптимальным объемом диска является не его фактическая вместимость в терабайтах, а в количестве файлов, которые поместятся. С очень большими архивами трудно работать.



Единственное, что я сделала после последней перезаписи архивов - это вынесла на отдельную пару дисков путешествия в дальние страны (обычно это очень большие альбомы, и их сравнительно мало по сравнению с текучкой), и один диск - поездки в Питер (пригодился старый маленький диск).



А в остальном архивы строятся по хронологическому принципу: каждая папка в них является отдельной фотосессией (с датой и названием), внутри этой папки - подразделы по камерам, которыми я в тот день фотографировала, когда не ленюсь, вкладываю в папку маленький текстовый файлик с описанием). На дисках и на блоках питания к ним приклеены номера одинакового цвета (чтобы не запутаться в проводах) и даты фотосессий - От и ДО. Чтобы найти какой-то забытый кадр, я использую Яндекс-фотки или фликр: по тегам или альбомам нахожу кадры, сделанные приблизительно в то время или в том месте, с теми же объектами. Смотрю в них эксиф и в нем дату и камеру, по дате нахожу папку на архивном диске, а там уже все просто



И еще очень простая, но крайне удобная вещь: некоторые папки в архивах имеют иконки. Например, всякие национальные парки, ботанические сады и большие вылазки на природу - зеленое дерево, люди/репортаж - два человечка, и т.д., по смыслу. Искать гораздо проще и быстрее.

[Julysha]

Вот так выглядит каталог завершенного архива (этот пока висит на компе, но уже есть его бекап на внешнем диске, просто я еще не все картинки отсюда отконвертировала, так что он все еще в работе):

[Ph-A]

За последние два диска по 3 Тб (в сумме - 6 Тб) я заплатила 310 евро (или около того).

Так. С Новым годом самого себе. Все таки первый день за полгода, как я выспался.



У вас только внешние диски без отдельного компьютера, процессора и так далее ... ?

Вот так выглядит каталог завершенного архива (этот пока висит еще на компе, но уже есть его бекап на внешнем диске

А бекап вы храните в единственном экземпляре?

Открыл аккаунт на Amazon S3 Service.

Залил туда архив (папку криптанул)

А бекап у вас в одном экземпляре?