Программа для автоматического копирования файлов в облако. Резервное копирование в «Облачное хранилище. Что мы имеем

Давно уже ребята задают вопросы, как организовать резервное копирование в облако, при этом не тратя много сил, времени и лучше всего бесплатно. Поводом для написания статьи послужил очередной диалог на эту тему. По итогами долгой переписки с коллегами, объяснения теории и перебора вариантов практической реализации, я решил написать об этом. Все просто как пять пальцев, но часто спрашивают КАК.

Резервное копирование в облако - тема уже давно не новая. Каждый выбирает своего облачного провайдера, свои инструменты для копирования и пр. Вендоров много, здесь мы рассмотрим именно Google Cloud Platform. Мы все реализуем самыми простыми скриптами, без покупки софта, покупки дисковых хранилищ и прочего.

Что мы имеем

В тонкости инфраструктуры вдаваться не станем, каждому свое. В итоге имеется сервер резервного копирования, на который сливаются копии файлового хранилища и данных с машин, пакуются в архивы и падают на два дисковых массива. В итоге принято решение о выносе одной копии за периметр.

Два вида копирования

Да, нам нужно было применить две схемы резервирования различных данных:

Репликация существующего набора копий на сервере
Хранение копий длительное время только в облаке

Начнем с клауда.

Подготовка облака

Создаем триал на 300 долларов в Google Cloud Platform (300 долларов дается на год, хватит надолго).

После подключения триала, нам будет доступна консоль. В меню переходим в раздел Storage .

Нам будет предложено создать проект, создаем, называем как нам заблагорассудится. После создания проекта, в разделе Storage создадим Сегмент , это и будет наше хранилище для копий. Называем как удобно, для статьи я назвал backwin для репликации и отдельно создал backupwin для копирования и хранения по дням. Класс хранилища мы укажем самый дешевый, применяемый для резервных копий Coldline . Стоимость гигабайта в нем составляет $0,007 в месяц.

Подготовка машины

С сервером все просто. Идем в раздел документации Google Cloud, открываем раздел Cloud SDK и действуем по инструкциям. В моем случае была машина с Windows Server, потому скачиваем, ставим. Достаточно стандартных параметров при установке, потому далее-далее-готово .

Открываем командную строку, пишем gcloud init нам будет предложено авторизоваться в окне браузера. Вводим логин-пароль от Google Cloud. Далее будет предложено выбрать в окне командной строки проект, выбираем созданный ранее. При вопросе включить ли API - Да, Хотим ли управлять Compute Engine - нет.

Репликация хранилища

В двух словах, зачем она нам была нужна. Есть машина на которой имеется набор резервных копий в определенном каталоге (c:\bak\ ). Это зашифрованные архивы и их нужно хранить где-то снаружи. Без проблем. Открываем командную строку, пишем:

Gsutil -m rsync -r -d -e -C file://c:\bak gs://bakwin

c:\bak - каталог с копиями для репликации в облако
bakwin - "Сегмент " в облачном хранилище Google Cloud Storage, который мы создали ранее

Тут стоит оговориться, что мы экспериментировали с машиной Windows, но точно так-же это работает и на Linux, только путь к каталогу поправить нужно.

Команда выполнена, все улетело в облако. Сохраняем как скрипт, включаем в планировщик. Все! Реально пять минут. Еще немного тюнинга и скрипт будет заточен под конкретную задачу и обработку ошибок.

Резервное копирование каталога

В этом случае нам потребовалось хранить данные за каждый день в отдельном каталоге в Google Cloud Storage. Тоже оказалось все просто, берем бутерброд и наливаем кофе.

Для любителей PowerShell, я делал именно на нем т.к. машина на Windows Server. Модули у нас установились в системе вместе с Cloud SDK. Потому для начала, кроме Import-Module GoogleCloud нам ничего не потребуется.

Показываем где у нас каталог для копирования и в какой сегмент его помещать:

$folder = "C:\Bak" $bucket = "gs:\backupwin"
Тут можно дописать создание каталога по текущей дате копирования:

$date = Get-date -format dd.MM.yyyy $bucket = $bucket + "\" + $date mkdir $bucket
Собственно сам скрипт для копирования:

Cd $folder $files = Get-ChildItem -Recurse -Attributes !Directory $data = @() foreach ($file in $files) { $objectPath = $file | Resolve-Path -Relative $data += @{file = $file; objectPath = $objectPath} # } cd $bucket foreach($element in $data) { Write-Host $element.objectPath New-Item -ItemType File -Path $element.objectPath }
Проверяем, работает. Составляем в скрипт, ставим в планировщик. Вот и вся любовь.

По стоимости хранения 10 Тб данных (в облачном хранилище) оплата будет от 70 долларов в месяц. В целом все работает. Тюнинг скриптов под конкретные условия не применялся.

Вообще резервное копирование в Google Cloud Storage можно использовать и вместе с таким ПО как Cloudberry, Veritas и др. и использовать облачное хранилище как дополнительное пространство для копий. В случае с железом, большинство вендоров уже на уровне хранилищ поддерживают их резервирование в Google Cloud.

Вывод: дешево, быстро, надежно, а перевод из пробной версии в коммерческую происходит без каких-либо перенастроек и банковских карт.

Со временем на вашем компьютере или ноутбуке накапливается достаточно большое количество файлов – 1000, 2000, а то и 500 000 . Их важность может быть очень высока, особенно если это семейные фотографии, видео, рабочие документы.

Чтобы надежно сберечь ценные файлы от вирусов и повреждений в результате сбоя файловой системы, каждому пользователю ПК необходимо хотя бы 1 раз в 2-3 недели делать дубль своих данных – создавать резервные копии . Наличие "свежего" бэкапа поможет восстановить из него информацию в случае потери.

Где хранить резервные копии: на внешнем HDD или довериться облаку?

Когда еще не было "облаков", резервные копии обычно хранили:

на локальном ПК
внешнем (съемном) USB-носителе, флешке или DVD
на сервере в локальной сети
на удаленном FTP-сервере

Продвинутые пользователи и системные администраторы также копировали файлы на удаленные сервера по протоколам FTP / SSH / WebDAV и т.п. Теперь появилась дополнительная возможность – хранить папки в интернете, на сервере от компании Яндекс.

Что такое Яндекс Диск?

Я ндекс диск - это облачный сервис, позволяющий хранить файлы на сервере, под вашей учетной записью. По-умолчанию, вам предоставляется 10 ГБ дискового пространства бесплатно и навсегда с возможностью дальнейшего увеличения. Благодаря доступности и удобству этот сервис быстро набрал популярность и по состоянию на октябрь 2018 года им пользуются уже более 16 млн. пользователей.

Преимущества хранения в облаке

Хранение файлов вне офиса (вне дома) позволяет уберечь данные от пожара и вирусов
Высокая надежность, так как папки дополнительно резервируются Yandex"ом, а передача осуществляется по защищенному протоколу
Доступность данных из любой точки планеты
Высокое доверие, поскольку компания Яндекс уже много лет работает на рынке ИТ– это лидер в области ИТ и интернет-сервисов в России и странах СНГ.

Недостатки

Ресурс ограничен 10 ГБ, увеличение размера платное
Очень секретную (конфиденциальную) информацию, представляющую коммерческую тайну, все же не рекомендуется хранить в "облаках"

Хранить резервные копии в интернете или нет – решать вам. Если вы – обычный пользователь, у которого не слишком секретные данные и их объемы порядка 3 - 6 ГБ (не превышает 10 ГБ), то резервное копирование на Яндекс.Диск – отличное бесплатное решение для обеспечения сохранности файлов документов, бэкапа фото-видео ! Как правило, для хранения нескольких копий наиболее важных файлов указанного объема вполне достаточно.

Exiland Backup - простой инструмент бэкапа в облако

На этом краткий обзор возможности заканчиваю. Если возникнут какие-либо вопросы, буду рад помочь. Пишите мне через форму обратной связи .

Михаил, разработчик Exiland Backup

"Системные администраторы делятся на 2 категории: кто делает резервное копирование и кто БУДЕТ его делать!"

Считается, что бэкап-правило «3-2-1» впервые описал Peter Krogh в своей книге «Управление цифровыми активами для фотографов». Итак, правило «3-2-1» гласит, что для обеспечения надежного хранения данных, необходимо иметь как минимум:

ТРИ резервные копии,
которые должны быть сохранены в ДВУХ различных физических форматах хранения,
причем ОДНА из копий, должна быть передана на внеофисное хранение

Если пункты 1 и 2 обычно ясны для понимания, но вот с п.3 бывают споры. Мы исходим из того, что пожар на Барнаульском радио-заводе всех научил и с пунктом 3 мы не спорим. Все три составляющих правила базируются на принципе обеспечения отказоустойчивости через избыточность хранения данных.

Для любого системного администратора остро стоит проблема с резервным копированием корпоративных данных. Мало понять ЧТО копировать и КУДА копировать, надо еще понять ЧЕМ это все делать. Вариантов как организовать резервное копирование в офисе много: куча бесплатных программ, условно-бесплатных и коммерческих продуктов. Конечно платные продукты очень хороши, обычно они решают такие задачи, которые их бесплатные "братья" не могут "себе позволить": копировать базы данных, Active Directory, виртуальные сервера и рабочие машины, почтовые сервера и другое. Стоят обычно такие системы адекватных денег, но не все директора разделают это утверждение. А для большинства компаний вопрос резервного копирования сводится к простой задачке резервирования пользовательских данных: различных файлов, документов, фотографий и т.п.

При выборе программы для резервного копирования файловых данных, хочется правило "3-2-1" соблюсти.

И для этих целей целей нужно найти простое решение. Желательно еще не дорогое, а лучше бесплатное.

Duplicati является свободным с открытым исходным кодом программным обеспечением. Duplicati лицензирован под LGPL и доступен для Windows, OSX и Linux

Особенности программы:

Программа полностью БЕСПЛАТНА! Даже для коммерческого использования.
Использует AES-256 шифрование. Данные шифруются на клиенте и уже шифрованные данные передаются в облако.
Есть дедупликация. Программа хранит только уникальные данные, файлы которые повторяются она не дублирует. Тем самым существенно экономится место на диске.
Есть уже стандартная функция - инкрементное копирование. Duplicati делает полную резервную копию первоначально, а потом сохраняет только измененные данные, которые меньше по размеру. Это позволяет экономить дисковое место и передавать меньшие данные при небольших пропускных каналах связи.
Есть автоматический планировщик заданий с уведомлением.
Можно задавать гибкие пользовательские правила фильтрации при выборе папок и файлов для резервного копирования
Есть интуитивно понятный вебинтерфейс и полноценная командная строка для управления программой.
Duplicati может сделать резервные копии открытых или заблокированных файлов с использованием службы Volume Snapshot (VSS) под Windows, или менеджер логических томов (LVM) под Linux. Это позволяет Duplicati делать резервную копию файла Microsoft Outlook PST в то время как он работает.
Поддерживает копирование в облака Amazon S3, OneDrive, Google Drive, Rackspace Cloud Files, HubiC, Backblaze (B2), Amazon Cloud Drive (AmzCD), Swift / OpenStack, WebDAV, SSH (SFTP), FTP и многое другое!

Программа действительно проста для настройки и освоения, поэтому нет смысла приводить кучу скриншотов как ее настраивать, а предлагаю лучше взять и скачать дистрибутив 2-й версии программы с официального сайта автора:

Cloud Backup (BaaS) – это облачный сервис резервного копирования данных на базе одного из лидирующих на рынке решений - Veeam Backup & Replication с технологией Cloud Connect. Сервис позволяет выполнять резервное копирование любых физических или виртуальных серверов и сохранять резервные копии в облаке LanCloud. Бэкапы будут размещены за пределами вашего офиса в надёжном ЦОД, сертифицированном по TIER-III Facility & Operation. Встроенная функция шифрования резервных копий на стороне клиента, позволяет быть на 100% уверенным в конфиденциальности передаваемой в облако информации.

Cloud Backup позволяет восстанавливать, как отдельные файлы, так и полностью физические или виртуальные серверы, включая состояние операционной системы. Кроме того, сервис поддерживает резервное копирование и гранулярное восстановление таких приложений, как Active Directory, Exchange, SharePoint, SQL Server и Oracle. В частности, можно восстанавливать отдельных пользователей AD, почтовые ящики и отдельные письма Exchange, отдельные элементы SharePoint, журналы транзакций баз данных на определённый момент времени. Восстановление можно делать, как в исходное размещение, так и в альтернативное размещение.

Основные преимущества Cloud Backup от LanCloud :

Резервное копирование физических серверов под управлением Windows или Linux с возможностью полного восстановления на другое железо или в виртуальную среду
Резервное копирование любых виртуальных серверов Hyper-V или VMware с возможностью полного восстановления состояния виртуальной машины или отдельных файлов
Гранулярное восстановление приложений: Active Directory, Exchange, SharePoint, SQL Server и Oracle с возможностью восстановления отдельных объектов и баз данных
Возможность шифрования данных на стороне клиента до передачи в облако
Хранение резервных копий за пределами офиса в надёжном ЦОД TIER-III Facility & Operation.
Возможность восстановление резервных копий в облако LanCloud в случае полного отказа локальной инфраструктуры
Одна из самых выгодных цен на рынке за объём данных - 1 руб./мес. за 1 ГБ
Первый месяц использования сервиса - бесплатно.

Тарифы

Функции и возможности	Cloud Backup Workstation	Cloud Backup VM Standard	Cloud Backup VM Enterprise	Cloud Backup VM Enterprise Plus	Cloud Backup Server
Цена за 1 виртуальный или физический сервер в месяц без НДС	440 ₽	440 ₽	800 ₽	1200 ₽	1200 ₽
VM (Hyper-V или VMware ) целиком или отдельных файлов
Резервное копирование и восстановление состояния физического сервера целиком или отдельных файлов с возможностью восстановления в исходное размещение или на другое железо
Резервное копирование и восстановление Active Directory		Восстановление одиночных учетных записей пользователей и компьютеров	Восстановление нескольких объектов одновременно, контейнеров, объектов групповых политик, интегрированных с Active Directory DNS-записей
Резервное копирование и восстановление E xchange Serve r		Восстановление отдельных объектов (письма, почтовые ящики, заметки, контакты) в.pst	Восстановление объектов в исходное размещение
Резервное копирование и восстановление SharePoint Server		Восстановление отдельных объектов в файл	Восстановление сайтов, коллекций и объектов в исходное местоположение
Резервное копирование и восстановление SQL Server		Восстановление базы данных SQL целиком	Восстановление журнала транзакций, баз данных и объектов SQL (таблиц, хранимых процедур, представлений) на исходный или другой SQL Server
Резервное копирование и восстановление Oracle
Дедупликация и сжатие данных
Возможность исключения отдельных файлов и папок из резервного копирования
WAN-акселерация (ускорение передачи данных в облако до 50 раз)
Резервное копирование из аппаратных снимков СХД
Портал самостоятельного восстановления файлов для пользователей

Все люди делятся на две категории: те, кто еще не делает бэкапы, и те, кто уже делает бэкапы.

Говорить о важности резервного копирования данных и о рисках, связанных с отсутствием такового, считаю излишним. Думаю, в этом вопросе все будут солидарны – резервные копии нужны!

Резервная копия данных - это безусловно хорошо. Однако, многие считают, что эти данные должны храниться в личном «сундуке/кладовке», а не у соседа. При этом обычно подобная позиция обосновывается тем, что только при хранении в хранилище, которым обладаешь на праве собственности, можно не беспокоиться о безопасности.

Чем обоснована подобная позиция? Возможно она связана с непониманием действительно важных рисков.

Где находится физическое оборудование?
Что может означать хранение резервных копий "в личном сундуке"? Если при подобном подходе СХД расположена в офисе копании, достаточно ли мер предпринято для обеспечения безопасности данных? Если используется услуга co-location в дата-центре, то за физическую безопасность оборудования и соблюдение благоприятных условиях для работы техники отвечает ЦОД. Оборудование облачного провайдера Cloud4Y расположено в , это обеспечивает высокую безопасность и отказоустойчивость работы инфраструктуры. При подобном подходе, уровень безопасности значительно выше, чем при размещении СХД для резервного копирования в офисе компании, которая мало вероятно использует все лучшие практики IT-индустрии. Хранение в облаке Cloud4Y в этом плане сопоставимо с услугой co-location в ЦОДе Tier III, но может быть выгоднее в экономическом и организационном плане.

Резервное копирование в облако не стоит воспринимать как "хранение бэкапа у соседа"

Скорее всего, вы решили создавать резервную копию своей информационной системы или других данных по причине их ценности. Да, информация в наше время - это специфические "деньги". Доверить хранение бэкапов облачному провайдеру или хранить их у себя - это отчасти выбор эквивалентный выбору между хранением денег в банке или дома. Серьезный облачный провайдер, как и крупный банк, имеет , значительные вложения в бизнес и создание бренда. Ответственность облачного провайдера закреплена юридически. Но основной стимул для него - это сохранение своей репутации надежного поставщика IT-услуг. Хранение бэкапа у себя - это "хранение в сундуке", а хранение у хорошего облачного провайдера - это "хранение в сейфе банка", а не "у соседа".

Резервное копирование и закон

В мнении по этому вопросу, к нам присоединились и правительство со своей карающей дланью, и регулирующие органы в области защиты информации. Все мы помним требования законодательства, озвученны в 17-м, 21-м и 31-м Приказах ФСТЭК. Так же регуляторами кредитно-финансовой сферы сформированы требования к резервированию и резервному копированию.

А с 1 января 2018 года к ним добавится (вступит в действие) и Федеральный закон от 26.07.2017 № 187-ФЗ «О безопасности критической информационной инфраструктуры Российской Федерации», который нам так же говорит, что одной из четырех «Основных задач системы безопасности значимого объекта критической информационной инфраструктуры является:» «восстановление функционирования значимого объекта критической информационной инфраструктуры, обеспечиваемого в том числе за счет создания и хранения резервных копий необходимой для этого информации».

Таким образом, данными требованиями охвачены фактически юрлица во всех сферах. А что у нас большего всего любят регуляторы?

Правильный ответ из нашей практики – использование в своей деятельности средств, прошедших в установленном порядке оценку соответствия (читай - сертифицированных). Что в такой ситуации может быть лучше, чем применение комбинации из передового мирового опыта в области резервного копирования и сертифицированного продукта? Мы нашли это сочетание в Veeam Backup & Replication. Для понимания – немного об этом продукте.

Veeam Backup & Replication обеспечивает эффективное резервное копирование, репликацию и восстановление виртуализованных приложений и данных. Решение выполняет быстрое и надежное резервное копирование виртуальных машин VMware и Hyper-V без использования агентов внутри виртуальных машин. Veeam Backup & Replication помогает существенно ускорить процесс создания резервных копий и снизить издержки на хранение данных.

Сертифицированная версия Veeam Backup & Replication предназначен для защиты информации:

в государственных информационных системах до 1 класса защищенности включительно;
в автоматизированных системах управления производственными и технологическими процессами до 1 класса защищенности включительно;
в информационных системах персональных данных (для которых к актуальным отнесены угрозы 1-го, 2-го или 3-го типа) до 1 класса защищенности включительно, при выполнении указаний по эксплуатации.

Рассмотрим требования к информационным системам, для которых требуются применение средств, прошедших в установленном порядке оценку соответствия.

Государственные информационные системы (ГИС)

Требования о защите информации, содержащейся в ГИС, определяются Приказом ФСТЭК России от 11.02.2013г. №17 «Об утверждении Требований о защите информации, не составляющей государственную тайну, содержащейся в государственных информационных системах».

“Для обеспечения защиты информации, содержащейся в информационной системе, применяются средства защиты информации, прошедшие оценку соответствия в форме обязательной сертификации на соответствие требованиям по безопасности информации в соответствии со статьей 5 Федерального закона от 27 декабря 2002 г. N 184-ФЗ «О техническом регулировании»” - статья 11 документа.

Информационные системы персональных данных (ИСПДн)

Требования о защите персональных данных, содержащихся в ИСПДн, определяются Приказом ФСТЭК России от 18.02.2013 № 21 «Об утверждении состава и содержания организационных и технических мер по обеспечению безопасности персональных данных при их обработке в информационных системах персональных данных».

Для государственных операторов персональных данных оценка соответствия всегда проводится в форме обязательной сертификации с последующей аттестацией.

“Для обеспечения безопасности персональных данных при их обработке в государственных информационных системах в дополнение к Требованиям, утвержденным приказом ФСТЭК России от 11 февраля 2013 г. N 17, необходимо руководствоваться требованиями (в том числе в части определения уровня защищенности персональных данных), установленными постановлением Правительства Российской Федерации от 1 ноября 2012 г. N 1119. При этом в соответствии с пунктом 27 Требований, утвержденных приказом ФСТЭК России от 11 февраля 2013 г. N 17, должно быть обеспечено соответствующее соотношение класса защищенности государственной информационной системы с уровнем защищенности персональных данных. В случае, если определенный в установленном порядке уровень защищенности персональных данных выше, чем установленный класс защищенности государственной информационной системы, то осуществляется повышение класса защищенности до значения, обеспечивающего выполнение пункта 27 Требований, утвержденных приказом ФСТЭК России от 11 февраля 2013 г. N 17.”

Для коммерческих операторов персональных данных оценка соответствия может быть выполнена как в форме сертификации, так и в иной форме по выбору оператора, но следует заметить, что в ряде случаев, выбор сертифицированного продукта позволяет снизить затраты на оценку информационной системы, так как сертификат на продукт автоматически удостоверяет, что оценка соответствия уже проведена производителем.

Требования на использование средств защиты информации, прошедших оценку соответствия в зависимости от уровня защищенности ИСПДн:

АСУ ТП на критически важных объектах

Требования о защите информации, содержащейся в ИС АСУ ТП, определяются Приказом ФСТЭК России от 14.03.2014 № 31 «Об утверждении требований к обеспечению защиты информации в автоматизированных системах управления производственными и технологическими процессами на критически важных объектах, потенциально опасных объектах, а также объектах, представляющих повышенную опасность для жизни и здоровья людей и для окружающей природной среды».

“В автоматизированной системе управления применяются средства защиты информации, прошедшие оценку соответствия в соответствии с законодательством Российской Федерации о техническом регулировании” (ст. 11). Использование сертифицированных средств защиты позволяет снизить затраты на выполнение этого пункта, так как сертификат удостоверяет, что продукт уже прошел проверку соответствия. Применение продуктов, не имеющих сертификата, также возможно, но требует дополнительных затрат от покупателя на проведение аттестации или иных мероприятий по оценке соответствия, предусмотренных законодательством о техническом регулировании.
Оценка возможного ущерба: см. Постановление Правительства Российской Федерации от 21 мая 2007 г. N 304 «О классификации чрезвычайных ситуаций природного и техногенного характера»

Класс защищенности АСУ ТП и необходимость применения средств резервного копирования, прошедших оценку соответствия, определяется в соответствии с таблицей:

Состав мер защиты информации автоматизированных систем управления и их базовые наборы для соответствующего класса защищенности (в отношении обеспечения резервного копирования информации), где требуется применение средств, прошедших оценку соответствия:

Что может облако Cloud4Y?

Рассмотрим на примере нашего BACKUP AS A SERVICE. Решение предоставляет возможность облачного резервного копирования, обеспечивающего надежность хранения любого объема данных.

Вариантов организации такого сервиса как минимум три и ко всем перечисленным вариантам предоставляется бесплатный VPN с шифрованием через Интернет:

1. Услуга Backup as a Service на базе Veeam Backup позволяет получить необходимое дисковое пространство для хранения и восстановления резервных копий из хранилища. Дополнительно к этому мы можем оказывать гарантированное восстановление по заданному времени в режимах:

1. SLA «Базовый» 10-19/5
2. SLA «Приоритетный» 9-21/7
3. SLA «Критичный» 24/7
4. SLA «VIP» 24/7

2. При использовании Veeam Endpoint Protection бэкап делается в наш Veeam, а оплата происходит согласно табличке за предоставленное дисковое пространство.

3. Используя услугу IaaS, арендуется сервер (VM) для шары (Linux или Windows – зависит от предпочтений), арендатор самостоятельно поднимает и настраивает VM и делает там шару для складирования бэкапов, затем самостоятельно соединяет сервер (VM) в облаке с сервером бэкапа. Все ресурсы можно добавлять или изменять через VMware vCloud Director в режиме реального времени.

Для того, чтобы проконсультироваться и получить расчет стоимости услуги для вашего бизнеса обратитесь к любому менеджеру по телефону +7 495 268 04 12 или любым другим удобным .