АРХИВА 10 Help

Тома

Общее описание

Архив электронной почты может располагаться в одном или нескольких томах.

Том — это логическое представление определённого объёма данных, которое обеспечивает удобный способ работы с ними.

Он состоит из двух основных компонентов:

  • Хранилища, в котором содержатся сами данные в сжатом и зашифрованном формате;

  • Индекса, представляющего собой структуру, которая помогает быстро находить нужные данные.

Чтобы управлять томами и настраивать их, перейдите в раздел Настройка -> Тома в консоли сервиса.

Установить пароль для шифрования почты

  1. Перейдите в раздел Настройка -> Тома в консоли сервиса

  2. Введите пароль для шифрования почты в первое поле, а затем повторно введите тот же пароль во втором поле.

  3. После проверки правильности ввода данных нажмите Сохранить

При создании тома вы можете указать любое место на файловой системе, где будут располагаться хранилище и индекс. В случае если настроен формат хранения EXTERNAL необходимо указать UID клиент хранилища объектов

  • Для каждого тома на диске необходимо задать свой уникальный путь к хранилищу и индексу.

  • Пути к хранилищу и индексу не должны совпадать с путями к хранилищам и индексам других томов.

  • Если вы указали несуществующий путь к индексу или хранилищу, он будет созданы автоматически.

Создание нового тома

  1. Перейдите в раздел Настройка -> Тома в консоли сервиса

  2. Нажмите Новый том, после этого появится том со статусом NEW с возможностью редактирования путей к индексу и хранилищу.

  3. Введите путь до хранилища и индекса, или нажмите, стрелка вниз чтобы открыть диалоговое окно выбора папки.

  4. После проверки правильности ввода данных нажмите Сохранить

Автоматическое переключение

В дополнение к определению томов вручную, можно настроить АРХИВА на создание и переход на новые тома по истечении определенного периода времени (ежемесячно, ежеквартально, ежегодно). Эта функция позволяет упорядочить информацию в хронологическом порядке.

При переключении тома автоматически выбирается новый путь к индексу и хранилищу тома. Путь к индексу и хранилищу для вновь созданного тома будет основан на путях к хранилищу и индексу последнего активного или созданного тома.

Существует два способа выбора путей:

  • По дате. Дата в формате YYYY добавляется в конце строки пути хранилища и индекса (например, /opt/vol/store/vol202406 и /opt/vol/index/vol202406) (any_strYYYYMM). К пути хранилища и индексу следующего тома будет добавлена новая дата. Если путь уже существует, будет добавляться буквенное значение в конце пути, чтобы сохранить шаблон даты (например store/vol202406a, store/vol202406b ...) и так далее. Поиск даты осуществляется с использованием следующего регулярного выражения (.*\\D)([0-9]{6,6})([a-z]{0,1}).*$

  • По номеру. К строке пути хранилища и индекса добавляется числовое значение (например, /opt/vol/store/vol1). К пути хранилища и индекса следующего тома будет добавлено увеличенное значение (например .../store/vol2 и т.д.) соответствие регулярному выражению (.*\\D)(\\d{1,3})$.

Доступны следующие варианты переноса:

  • По размеру - переход на следующий том при достижении максимального выделенного объема тома.

  • Ежемесячно - переход на ежемесячной основе

  • Ежеквартально - переход на ежеквартальной основе

  • Ежегодно - переход на ежегодной основе

Для успешного переключения тома необходимо выполнение все следующих условий:

  • Должен быть хотя бы один активный или закрытый том.

  • Предполагаемые пути нового тома должны быть доступны для записи и иметь достаточно места на диске.

  • В предполагаемом пути не должно быть существующего хранилища или индекса

При создании нового тома во время переключения родительская папка вычисляется относительно путей хранилища и индекса активного или закрытого тома. Таким образом, при запуске создайте том с необходимыми базовыми путями к индексу и хранилищу. При следующем переключении на новый том АРХИВА создаст том в базовой папке тома с которого переключится.

Если вы создали несколько томов и использовали весь объём одного из них, система автоматически переключится на следующий доступный том. Если же у вас включена опция Автоматическое создание и переключение на новый том, система также создаст новый том. Таким образом, обеспечивается безостановочная работа сервиса.

Вновь созданный том имеет статус NEW. После сохранения конфигурации том меняет статус на UNUSED.

В момент начала архивирования система автоматически выберет том с состоянием UNUSED с наивысшим приоритетом и изменит его статус на ACTIVE. Данные будут добавляться в этот том, пока не закончится место на жёстком диске, либо пока вы его не закроете.

Поиск почты производится во всех томах имеющих статус ACTIVE и CLOSED.

Если появляется сообщение об ошибке, связанной с повреждением индекса в томе, вы можете заново создать индекс, нажав кнопку Переиндексировать.

Хранилище

Все сообщения электронной почты хранятся в зашифрованном виде на основе алгоритма шифрования AES-256 (форматы: V3, EXTERNAL).

Формат хранения

Формат хранения данных нужен для того, чтобы обеспечить структурированное и организованное сохранение информации в томе.

Изменить формат хранения

  1. Настройте клиента хранилища объектов

  2. Перейдите в раздел Настройка | Основной | Архив в консоли сервиса

  3. Выберите Новый формат тома из доступных форматов

  4. Нажмите Сохранить

V3, EXTERNAL
  • Данные хранятся в отдельных файлах (blob-контейнерах). Имя файла представляет собой хэш сообщения. Путь хранения от имени файла 12/34/1234567890abcdefghijk.

  • Blob-контейнер это AES256 зашифрованный файл в сжатом виде, включающий системные заголовки.

  • Структура папок представляет собой сбалансированное дерево (162 на первом уровне, 162 на втором уровне) с общим количеством 65536 папок в структуре. Количество используемых inode равно 65536 (для структуры) + количество blob-контейнеров.

  • Для EXTERNAL формата используется бакет вместо файловой системы.

Устаревшие форматы V1, V2
  • V1 - Данные (.mrc) и вложения (.att) хранятся в отдельных файлах. Имя файла представляет собой хэш сообщения. Путь хранения от имени файла 123/456/1234567890abcdefghijk.mrc. Зашифрованы TripleDES. Доступен только для чтения.

  • V2 - Данные хранятся в отдельных файлах (zip-контейнерах) с расширением .zz, с максимальным количеством контейнеров 4096. Зашифрованы AES128. Доступен только для чтения.

Использование внешних хранилищ объектов

АРХИВА позволяет выполнять архивацию данных в хранилища объектов, таких как Yandex S3, VK S3, Backblaze B2, Amazon S3/Glacier, EMC Atmos, OpenStack Swift, Azure Blob Storage, Azure Archival Storage, Rackspace Cloud Files, Minio и по протоколу S3.

Мастер установки АРХИВА по умолчанию создаёт локальный том формата V3. АРХИВА может работать как с локальными, так и с удалёнными томами одновременно.

Возможно наличие множества удаленных томов на разных сервисах облачного хранилища объектов, расположение данных регулируется UID клиент хранилища объектов который вы настроили в томе.

Изменить формат хранения

  1. Настройте клиента хранилища объектов

  2. Перейдите в раздел Настройка | Основной | Архив в консоли сервиса

  3. Выберите Новый формат тома EXTERNAL

  4. Нажмите Сохранить

  5. Перейдите в раздел Настройка | Тома в консоли сервиса

  6. Создайте новый том, выберите нужный UID клиента хранилища объектов. При вводе пути к хранилищу нажмите стрелку вниз, чтобы выбрать подключение к хранилищу объектов. В поле пути индекса введите или выберите локальный путь на диске. Индексные данные не подходят для хранения в объектном хранилище, поэтому место для индекса должно по-прежнему ссылаться на локальный путь.

  7. Нажмите Сохранить

Индекс

Индекс представляет собой структуру данных, которая позволяет быстро и эффективно находить нужную информацию. В контексте электронной почты индекс может использоваться для быстрого поиска сообщений по различным критериям, таким как тема, отправитель, получатель и другим полям доступным для поиска.

Статус тома

Статус

Описание

NEW

Том был только что создан и не был сохранён.

UNUSED

Том был сохранен, но не содержит никакой информации.

ACTIVE

В настоящее время этот том используется для архивирования.

CLOSED

По этому тому доступен поиск, однако никакая дополнительная информация не может быть записана в него.

UNMOUNTED

Том недоступен для поиска. Возможно примонтировать для поиска в томе.

EJECTED

Том не может получить доступ к файлу volumeinfo (файл не существует, либо возникли проблемы с правами доступа).

BACKUP

Том используется для резервного копирования. Поиск по нему невозможен.

UNREADABLE

Этот том нечитаем, возможно он был зашифрован с использованием другого ключа шифрования.

После закрытия тома (статус CLOSED), на него невозможно записать данные и он не может быть повторно открыт с помощью графического интерфейса.

В случае недоступности активного тома (статус ACTIVE), АРХИВА попытается активировать следующий том со статусом UNUSED. Если этого сделать не удастся, то сервер остановит архивирование и будет помещать новые данные в очередь до её заполнения.

Файл volumeinfo

Данный файл содержит системную информацию о томе. Он не предусматривает ручное редактирование.

В зависимости от формата тома, файл располагается:

  • в папке с индексом, если формат тома — EXTERNAL;

  • в папке с хранилищем — во всех остальных случаях.

# Archiva Volume Information # note: this file is crucial - do not delete it! format:V3 id:effee159-7ab4-4ffe-bee1-597ab40ffe82 status:ACTIVE appid:ROOT created:20240216183659 sig:r5Mx6tcRv5/xR83ajBnSazjjPTLG091vAUClLqqeSJUG38rFoThX8g==

Действия с томом

volume_action.png

В зависимости от статуса тома, с ним возможно произвести различные действия:

  • Закрыть статус тома изменяется на CLOSED архивирование в данный том будет невозможно.

  • Импорт данных позволяет импортировать данные из различных источников в данный том.

  • Экспорт данных позволяет экспортировать данные тома в формате RFC822 на раздел файловой системы.

  • Резервная копия создает резервную копию тома в разделе настроеннм в бекапе.

  • Построить аналитику запускает процесс создания индексов тома используемых сервисом аналитики.

  • Переиндексировать удаляет текущие индексы тома и запускает процесс индексации данных тома

  • Обновить индекс запускает процесс обновления индексов тома. Индексы не удаляются, информация доступна для поиска.

  • Отмнонтировать позволяет отмонтировать том с помощью графического интерфейса. Статус тома изменяется на UNMOUNTED. Не доступен для поиска.

  • Удалить удаляет том из графического интерфейса. Том остается на файловой системе. Не доступен для поиска.

Объединить тома

  1. Выберите несколько томов, которые вы хотите объединить включая том в который будет слияние.

  2. Нажмите кнопку Слить.

  3. Выберите том в который будет происходить слияние.

  4. Нажмите кнопку Слить.

15 October 2024