Тома
Общее описание
Архив электронной почты может располагаться в одном или нескольких томах.
Том — это логическое представление определённого объёма данных, которое обеспечивает удобный способ работы с ними.
Он состоит из двух основных компонентов:
Хранилища, в котором содержатся сами данные в сжатом и зашифрованном формате;
Индекса, представляющего собой структуру, которая помогает быстро находить нужные данные.
Чтобы управлять томами и настраивать их, перейдите в раздел Настройка -> Тома
в консоли сервиса.
Установить пароль для шифрования почты
Перейдите в раздел
Настройка -> Тома
в консоли сервисаВведите пароль для шифрования почты в первое поле, а затем повторно введите тот же пароль во втором поле.
После проверки правильности ввода данных нажмите
Сохранить
При создании тома вы можете указать любое место на файловой системе, где будут располагаться хранилище
и индекс
. В случае если настроен формат хранения EXTERNAL
необходимо указать UID клиент хранилища объектов
Для каждого тома на диске необходимо задать свой уникальный путь к хранилищу и индексу.
Пути к хранилищу и индексу не должны совпадать с путями к хранилищам и индексам других томов.
Если вы указали несуществующий путь к индексу или хранилищу, он будет созданы автоматически.
Создание нового тома
Перейдите в раздел
Настройка -> Тома
в консоли сервисаНажмите
Новый том
, после этого появится том со статусомNEW
с возможностью редактирования путей к индексу и хранилищу.Введите путь до хранилища и индекса, или нажмите, стрелка вниз чтобы открыть диалоговое окно выбора папки.
После проверки правильности ввода данных нажмите
Сохранить
Автоматическое переключение
В дополнение к определению томов вручную, можно настроить АРХИВА на создание и переход на новые тома по истечении определенного периода времени (ежемесячно, ежеквартально, ежегодно). Эта функция позволяет упорядочить информацию в хронологическом порядке.
При переключении тома автоматически выбирается новый путь к индексу и хранилищу тома. Путь к индексу и хранилищу для вновь созданного тома будет основан на путях к хранилищу и индексу последнего активного или созданного тома.
Существует два способа выбора путей:
По дате. Дата в формате YYYY добавляется в конце строки пути хранилища и индекса (например,
/opt/vol/store/vol202406
и/opt/vol/index/vol202406
) (any_strYYYYMM). К пути хранилища и индексу следующего тома будет добавлена новая дата. Если путь уже существует, будет добавляться буквенное значение в конце пути, чтобы сохранить шаблон даты (напримерstore/vol202406a, store/vol202406b ...
) и так далее. Поиск даты осуществляется с использованием следующего регулярного выражения(.*\\D)([0-9]{6,6})([a-z]{0,1}).*$
По номеру. К строке пути хранилища и индекса добавляется числовое значение (например,
/opt/vol/store/vol1
). К пути хранилища и индекса следующего тома будет добавлено увеличенное значение (например.../store/vol2
и т.д.) соответствие регулярному выражению(.*\\D)(\\d{1,3})$
.
Доступны следующие варианты переноса:
По размеру - переход на следующий том при достижении максимального выделенного объема тома.
Ежемесячно - переход на ежемесячной основе
Ежеквартально - переход на ежеквартальной основе
Ежегодно - переход на ежегодной основе
Для успешного переключения тома необходимо выполнение все следующих условий:
Должен быть хотя бы один активный или закрытый том.
Предполагаемые пути нового тома должны быть доступны для записи и иметь достаточно места на диске.
В предполагаемом пути не должно быть существующего хранилища или индекса
При создании нового тома во время переключения родительская папка вычисляется относительно путей хранилища и индекса активного или закрытого тома. Таким образом, при запуске создайте том с необходимыми базовыми путями к индексу и хранилищу. При следующем переключении на новый том АРХИВА создаст том в базовой папке тома с которого переключится.
Если вы создали несколько томов и использовали весь объём одного из них, система автоматически переключится на следующий доступный том. Если же у вас включена опция Автоматическое создание и переключение на новый том
, система также создаст новый том. Таким образом, обеспечивается безостановочная работа сервиса.
Вновь созданный том имеет статус NEW. После сохранения конфигурации том меняет статус на UNUSED.
В момент начала архивирования система автоматически выберет том с состоянием UNUSED с наивысшим приоритетом и изменит его статус на ACTIVE. Данные будут добавляться в этот том, пока не закончится место на жёстком диске, либо пока вы его не закроете.
Поиск почты производится во всех томах имеющих статус ACTIVE
и CLOSED
.
Если появляется сообщение об ошибке, связанной с повреждением индекса в томе, вы можете заново создать индекс, нажав кнопку Переиндексировать
.
Хранилище
Все сообщения электронной почты хранятся в зашифрованном виде на основе алгоритма шифрования AES-256
(форматы: V3
, EXTERNAL
).
Формат хранения
Формат хранения данных нужен для того, чтобы обеспечить структурированное и организованное сохранение информации в томе.
Изменить формат хранения
Настройте клиента хранилища объектов
Перейдите в раздел
в консоли сервисаВыберите Новый формат тома из доступных форматов
Нажмите Сохранить
V3, EXTERNAL
Данные хранятся в отдельных файлах (blob-контейнерах). Имя файла представляет собой хэш сообщения. Путь хранения от имени файла
12/34/1234567890abcdefghijk
.
Blob-контейнер это AES256 зашифрованный файл в сжатом виде, включающий системные заголовки.
Структура папок представляет собой сбалансированное дерево (162 на первом уровне, 162 на втором уровне) с общим количеством 65536 папок в структуре. Количество используемых inode равно 65536 (для структуры) + количество blob-контейнеров.
Для
EXTERNAL
формата используется бакет вместо файловой системы.
- Устаревшие форматы
V1, V2
V1
- Данные (.mrc) и вложения (.att) хранятся в отдельных файлах. Имя файла представляет собой хэш сообщения. Путь хранения от имени файла123/456/1234567890abcdefghijk.mrc
. Зашифрованы TripleDES. Доступен только для чтения.
V2
- Данные хранятся в отдельных файлах (zip-контейнерах) с расширением .zz, с максимальным количеством контейнеров 4096. Зашифрованы AES128. Доступен только для чтения.
Использование внешних хранилищ объектов
АРХИВА позволяет выполнять архивацию данных в хранилища объектов, таких как Yandex S3, VK S3, Backblaze B2, Amazon S3/Glacier, EMC Atmos, OpenStack Swift, Azure Blob Storage, Azure Archival Storage, Rackspace Cloud Files, Minio и по протоколу S3.
Мастер установки АРХИВА по умолчанию создаёт локальный том формата V3. АРХИВА может работать как с локальными, так и с удалёнными томами одновременно.
Возможно наличие множества удаленных томов на разных сервисах облачного хранилища объектов, расположение данных регулируется UID клиент хранилища объектов который вы настроили в томе.
Изменить формат хранения
Настройте клиента хранилища объектов
Перейдите в раздел
в консоли сервисаВыберите Новый формат тома
Нажмите Сохранить
Перейдите в раздел
в консоли сервисаСоздайте новый том, выберите нужный UID клиента хранилища объектов. При вводе пути к хранилищу нажмите стрелку вниз, чтобы выбрать подключение к хранилищу объектов. В поле пути индекса введите или выберите локальный путь на диске. Индексные данные не подходят для хранения в объектном хранилище, поэтому место для индекса должно по-прежнему ссылаться на локальный путь.
Нажмите Сохранить
Индекс
Индекс представляет собой структуру данных, которая позволяет быстро и эффективно находить нужную информацию. В контексте электронной почты индекс может использоваться для быстрого поиска сообщений по различным критериям, таким как тема, отправитель, получатель и другим полям доступным для поиска.
Статус тома
Статус | Описание |
---|---|
NEW | Том был только что создан и не был сохранён. |
UNUSED | Том был сохранен, но не содержит никакой информации. |
ACTIVE | В настоящее время этот том используется для архивирования. |
CLOSED | По этому тому доступен поиск, однако никакая дополнительная информация не может быть записана в него. |
UNMOUNTED | Том недоступен для поиска. Возможно примонтировать для поиска в томе. |
EJECTED | Том не может получить доступ к файлу volumeinfo (файл не существует, либо возникли проблемы с правами доступа). |
BACKUP | Том используется для резервного копирования. Поиск по нему невозможен. |
UNREADABLE | Этот том нечитаем, возможно он был зашифрован с использованием другого ключа шифрования. |
После закрытия тома (статус CLOSED
), на него невозможно записать данные и он не может быть повторно открыт с помощью графического интерфейса.
В случае недоступности активного тома (статус ACTIVE
), АРХИВА попытается активировать следующий том со статусом UNUSED
. Если этого сделать не удастся, то сервер остановит архивирование и будет помещать новые данные в очередь до её заполнения.
Файл volumeinfo
Данный файл содержит системную информацию о томе. Он не предусматривает ручное редактирование.
В зависимости от формата тома, файл располагается:
в папке с индексом, если формат тома — EXTERNAL;
в папке с хранилищем — во всех остальных случаях.
Действия с томом

В зависимости от статуса тома, с ним возможно произвести различные действия:
Закрыть статус тома изменяется на
CLOSED
архивирование в данный том будет невозможно.Импорт данных позволяет импортировать данные из различных источников в данный том.
Экспорт данных позволяет экспортировать данные тома в формате RFC822 на раздел файловой системы.
Резервная копия создает резервную копию тома в разделе настроеннм в бекапе.
Построить аналитику запускает процесс создания индексов тома используемых сервисом аналитики.
Переиндексировать удаляет текущие индексы тома и запускает процесс индексации данных тома
Обновить индекс запускает процесс обновления индексов тома. Индексы не удаляются, информация доступна для поиска.
Отмнонтировать позволяет отмонтировать том с помощью графического интерфейса. Статус тома изменяется на
UNMOUNTED
. Не доступен для поиска.Удалить удаляет том из графического интерфейса. Том остается на файловой системе. Не доступен для поиска.
Объединить тома
Выберите несколько томов, которые вы хотите объединить включая том в который будет слияние.
Нажмите кнопку
Слить
.Выберите том в который будет происходить слияние.
Нажмите кнопку
Слить
.