Быстрый ETL для PostgreSQL
ETL – одна из первых задач, которую надо решить любому пользователю PostgreSQL. Существует ошибочное мнение, что low-code инструменты, реализующие ETL-процедуры, снижают требования к пользователю, но жертвуют производительностью и/или гибкостью. В выступлении будет продемонстрировано, что можно быстро и легко проектировать ETL-процедуры, не теряя в производительности. Рассказано, за счет чего обеспечивается высокая скорость, как используются особенности PostgreSQL и как связка PostgreSQL и low-code платформы позволяет закрыть одну из самых частых болей пользователей.
Видео
Видео доступно участникам мероприятия, выполнившим вход в личный кабинет
Другие доклады
-
45 мин
Дмитрий Васильев Postgres Professional DBAЧто под капотом у облачного PostgreSQL в Ozon?
В докладе расскажу об инфраструктуре PostgreSQL в Ozon: * какой тюнинг виртуальных машин (KVM) мы делаем * какую систему контроля версий мы создали * какие драйвера мы делаем и как это связано с отказоустойчивостью и балансировкой * как мы проводим обновление параметров виртуальных машин без остановки
-
22 мин
Иван Чувашов ООО Calltouch DBAПовреждение данных PostgreSQL на жестком диске. Что делать и как исправить?
Любая СУБД хранит свои данные на жестком диске, следовательно, может произойти ситуация, когда данные на диске повредились. Это может быть сбой контроллера, логическое или физическое повреждение данных, есть и масса других причин. Хорошо, когда в таких ситуациях повреждается файл индекса, команда пересоздания индекса позволяет восстановить консистентность в СУБД. Гораздо хуже дело обстоит, когда поврежден файл таблицы или системного раздела, восстановить поврежденные данные тогда невозможно. Приходиться прибегать к разным ухищрениям. Это может быть восстановление из бекапа, копирование данных из поврежденной таблицы или другие способы. В докладе рассмотрим несколько случаев повреждения данных на диске и опишем варианты восстановления данных из поврежденных таблиц.
-
45 мин
Дмитрий Вагин Avito Lead EngineerAvito: где живут ваши объявления
Мы ранее рассказывали про внутренне устройство Авито, где и как хранятся ваши объявления, как эти объявления попадают в поиск. За последние 3-4 года очень много изменилось в Авито, мы избавились от использования логической репликации, использования standby для читающей нагрузки, практически отказались от хранимых процедур, избавились от самописного failover решения, мигрировали все объявления в шардированную базу данных, практически "распилили" монолит и перешли на разработку в микросервисах. Расскажу о причинах такого развития, проблемах с которыми столкнулись, и текущем положении дел.
-
22 мин
Андрей Бородин Яндекс Разработчик
Александр Каленик Kontur Software EngineerКак мы ускорили GiST. Новости PostGIS 3.2
В докладе я расскажу о новом методе для быстрого создания GiST индекса в PostgreSQL 14, какие проблемы были выявлены при добавление поддержки нового метода в PostGIS и как они будут решены в будущем. Так же в докладе будет обзор нововведений PostGIS 3.2.