Tengri Data Platform: что должна уметь современная аналитическая платформа
Tengri Data Platform активно развивается и проходит проверку в реальных коммерческих и не-коммерческих пилотах. Базовая концепция сессионных вычислителей, совмещающих SQL и Python, показала себя востребаванной и эффективной. Однако реальные сценарии обозначили важность следующих возможностей: 1. Способность системы получать данные из шин данных в реальном времени, миллионы и миллиарды событий, час за часом, день за днем. 2. Способность системы обрабатывать не только SELECT запросы по стандартам PostgreSQL, но и исполнять запросы INSERT, UPDATE и DELETE на миллиардах строк. 3. Управление партиционированием таблиц и анализ планов запросов (explain). 3. Интеграция системы с системами мониторинга по стандартам OpenTelemetry. 4. Реализация сквозной ролевой модели, интегрируемой с AD. 5. Интеграция с системами контроля версий (Git API) для поддержания индустривальных стандартных разработки. На докладе мы расскажем, почему это все важно, и как мы это поддержали.