Полнотекстовый поиск и индексация
Поиск АРХИВА рассчитан на миллиарды сообщений: морфологический анализ, синонимы, фильтры и ранжирование. Текст извлекается и из вложений — поиск покрывает не только тела писем.
Основные возможности
Индексация текста
АРХИВА использует обратный индекс. Процесс индексации включает:
Токенизацию — разбиение текста на отдельные слова.
Нормализацию — приведение слов к стандартному виду.
Стемминг и лемматизацию — приведение слов к корневой форме.
Фильтрацию стоп-слов — исключение общеупотребительных слов.
Извлечение текста из вложений — поиск идёт не только по телу сообщения, но и по содержимому прикреплённых файлов (PDF, DOCX, ZIP, EML и др.).
Типы поиска
Прямой поиск — точное совпадение запроса с индексированными терминами. Пример: subject:"Отчет по продажам" — письма с точно такой же темой.
Фразовый поиск — точные последовательности слов в заданном порядке. Пример: "финансовый отчет за 2023" — документы именно с этой фразой.
Поиск с учетом расстояния (Proximity Search) — слова рядом друг с другом. Пример: "проект сроки"~5 — «проект» и «сроки» не далее пяти слов друг от друга.
Поиск с учетом опечаток (Fuzzy Search) — алгоритм Левенштейна компенсирует ошибки ввода. Пример: contakt~ найдёт слово «contact».
Синонимический поиск — находит слова-заменители. Пример: запрос car может вернуть результаты со словом «automobile».
Поиск с весами (Boosting) — повышает приоритет отдельных терминов. Пример: отчет^2 продажи — «отчет» получит двойной вес при ранжировании.
Поиск по полям — ограничивает область поиска конкретными атрибутами. Пример: from:johndoe@example.com — письма только от указанного отправителя.
Логические операторы:
AND — все указанные слова (
отчет AND продажи);OR — любое из слов (
отчет OR анализ);NOT — исключение слова (
отчет NOT черновик).
Макросы
Макросы упрощают типовые запросы и применяются в запросах, правилах хранения и фильтрах прав доступа:
Макрос | Описание | Пример |
|---|---|---|
| Адрес электронной почты текущего пользователя |
|
| Домены почты текущего пользователя |
|
| Любой номер кредитной карты MasterCard |
|
| Любой номер кредитной карты Visa |
|
| Любой номер кредитной карты American Express |
|
| Любой номер социального страхования США |
|
| Письма с нераспознанными вложениями |
|
| Письма с зашифрованными вложениями |
|
| Все внешние домены |
|
| Все внутренние домены |
|
| Письма, где отправитель совпадает с получателем |
|
Полное описание макросов — в теме Макросы поисковых запросов.
Фильтрация по диапазонам
По дате:
sentdate:[20230101 TO 20231231]— письма за 2023 год.По числовым значениям:
size:[1000 TO 5000]— письма размером от 1000 до 5000 байт.
Синтаксис диапазонов и типов скобок — в языке поисковых запросов.
Архитектура поиска
АРХИВА спроектирован как единый процесс: поисковый движок работает внутри сервера архива, поэтому поиск не зависит от внешних сервисов и не может отказать из-за их недоступности. Для высокой доступности развёртывание строится по схеме двух серверов с двойным архивированием.
Дополнительные режимы поиска
Строгость запроса — управление количеством обязательных слов строки запроса: Строгость поиска.
Поиск похожих сообщений — сообщения, близкие по содержанию к выбранным или к загруженному файлу, даже при различных формулировках: Поиск похожих сообщений.
Социальный граф переписки — анализ коммуникаций по выборке сообщений: Социальный граф переписки.