Elasticsearch: поиск, аналитика и архитектура

Elasticsearch — распределённый, масштабируемый движок для полнотекстового поиска и аналитики данных в реальном времени.

В каких сценариях Elasticsearch является правильным выбором (full-text search, аналитика), а в каких — нет?

Что такое индекс (index) в Elasticsearch и как он соотносится с базой данных или таблицей?

Что такое документ (document) и как он хранится внутри индекса?

Что такое shard и replica, и какую роль они играют в масштабировании и отказоустойчивости?

Что такое mapping в Elasticsearch и как он определяет структуру и типы данных?

Как происходит распределение данных по shard’ам и как это влияет на производительность?

Чем отличаются типы данных text, keyword, numeric и date и когда использовать каждый из них?

В чем разница между text и keyword и как это влияет на поиск и агрегации?

Что такое dynamic mapping и какие риски он несёт?

Как управлять schema evolution (изменением mapping) и какие ограничения существуют?

Что такое analyzer, tokenizer и filter, и как они влияют на поиск?

Как происходит процесс индексации документа, включая анализ текста и построение inverted index?

Как настроить кастомный analyzer под конкретный язык или задачу?

Как работает нормализация текста (lowercase, stemming, stop words)?

Как работает full-text поиск в Elasticsearch, включая inverted index и scoring?

Что такое relevance score и как он рассчитывается (TF-IDF / BM25)?

В чем разница между match, term и bool запросами?

Как работают filter и query контексты в Elasticsearch и в чем их различия?

Как комбинировать запросы с помощью bool: must, should, must_not?

Что такое aggregation в Elasticsearch и как он используется для аналитики?

Какие типы агрегаций существуют (terms, range, histogram) и их применение?

Как работают nested и pipeline агрегации в Elasticsearch?

Какие ограничения и проблемы производительности возникают при агрегациях?

Какие факторы влияют на производительность Elasticsearch (shards, mapping, запросы)?

Почему обновление документа — это фактически его перезапись?

Почему слишком большое количество shard’ов может быть проблемой?

Как размер shard влияет на производительность?

Как работают операции update и delete в Elasticsearch, и в чём смысл переиндексации документа?

Какая модель консистентности используется в Elasticsearch (near real-time)?

Что означает refresh interval и как он влияет на видимость данных?

Какие проблемы могут возникать из-за eventual consistency?

Какие запросы считаются дорогими (например, wildcard, regex)?

Что происходит при падении ноды и как восстанавливается кластер?

Как работают primary и replica shard’ы?

Какие роли нод существуют (master, data, ingest)?

Как масштабируется Elasticsearch горизонтально, включая добавление нод?

Как в кластере координируются узлы и как выбирается мастер (лидер)?

Какие операции можно выполнять в pipeline (например, парсинг, enrichment)?

Что такое ingest pipeline и как он используется для обработки данных перед индексацией?

Как реализовать поиск по тексту (например, поиск товаров или статей)?

Краткое руководство по настройке логирования с использованием стека ELK (Beats → Logstash → Elasticsearch → Kibana).

Для автодополнения в Elasticsearch чаще используют completion suggester, search_as_you_type или индексирование с edge_ngram/ngram.

Как реализовать фильтрацию и сортировку результатов поиска?

Почему нельзя использовать Elasticsearch для транзакционных операций?

Какие проблемы возникают при неправильном mapping?

Какие основные анти-паттерны в Elasticsearch (например, использование как primary DB)?

Какие метрики важны (latency, query time, indexing rate, heap usage)?

Когда Elasticsearch — плохой выбор (OLTP, строгая консистентность)?

Краткая шпаргалка по последовательной диагностике slow queries и общих проблем кластера БД (нагрузка, репликация, I/O, блокировки).

Когда Elasticsearch — правильный выбор (search, analytics, logs)?

Краткий обзор основных механизмов безопасности: аутентификация, авторизация и TLS.

Какие ограничения есть у масштабирования (например, fixed shard count)?