Работаю в команде Observability в МТС. Являюсь экспертом сервиса логирования с 5 летним опытом. За это время количество обрабатываемых данных успело вырасти в сотни раз по объемам, пользователям и нагрузке. Архитектура сервиса разрослась от одного единственного кластера Elasticsearch к геораспределенной системе из множества кластеров OpenSearch. Не все наши изначальные архитектурные решения выдержали проверку временем, и с их последствиями мы боремся до сих пор. А часть компонентов пришлось дорабатывать или заменять собственными решениями.
Выступала на Highload++ 2024 c докладом о Логировании https://highload.ru/moscow/2024/abstracts/13517
Помогу с настройкой Opensearch и Elasticsearch, в том числе: количества шардов (праймари/реплика), маппиннга полей для индексов