Эволюция использования PostgreSQL в справочном API 2GIS

• Первое появление постгреса в команде
• Борьба с репликацией
• Партицирование и миграции
• Кросс-датацентровое использование
• v8, json, jsonb, jsquery
• Апгрейд версии postgresql

На данный момент на продакшене бекенда справочного API 2GIS мы имеем с десяток различных баз в postgresql, около 120 шардов, миллионы записей в таблицах. При этом практически все данные хранятся в структурах jsonb

Я расскажу об эволюции продукта с точки зрения взаимодействия с СУБД.

Менеджер распределённых транзакций для кластера PostgreSQL

В корпоративных информационных системах от СУБД требуется поддержка кластеров, для обеспечения требуемого уровня масштабирования и надёжности. К сожалению, многочисленные попытки реализовать кластеры для Постгреса, такие как Postgres-XL/XC, так и не были доведены до коммерческого уровня и не были приняты сообществом. Другие существующие решения, например, pg_shard, plproxy не поддерживают глобальных ACID транзакций. Наша команда разработала менеджер распределённых транзакций (DTM) как расширение Постгреса, позволяющее достичь глобальной целостности для нескольких экземпляров Постгреса, объединённых в один кластер. DTM - это конструктор, позволяющий реализовать различные решения на его основе. В качестве демонстрации возможностей DTM мы интегрировали его в pg_shard и postgres_fdw. Мы надеемся, что наш подход с расширяемым менеджером транзакций будет включён в версию 9.6 Постгреса и позволит разрабатывать различные кластерные решения на его основе.

Linux VMM для разрабочиков СУБД

В докладе будет рассказано о том, как Linux работает с виртуальной памятью. Будут освещены следующие вопросы:

• устройство таблицы страниц в x86-64, переключение контекста, page fault;
• устройство системы управления виртуальной памятью (VMM) в Linux;
• методы вытеснение странц в Linux, page cache и анонимные страницы;
• huge и gigantic pages, transparent huge pages;
• как работает mmap(2) и что дают madvise(2), msync(2) и пр.;
• почему большие СУБД не используют mmap(2), а реализуют свой пул страниц;
• и, конечно, как потюнить VMM в Linux с помощью sysctl.

Мега-масштабирование PostgreSQL: Советы от работающих с 10^6 баз данных

Heroku Postgres is a cloud database service and the largest provider of PostgreSQL as a service anywhere. We operate more than 1,000,000 PostgreSQL databases with a team of about 10 people. We may be the most efficient DBAs in history, with approximately 100,000 databases per person on our team! This talk will introduce the opportunity and challenges of building and operating a cloud database service, as well as discussing the strategies we use to build, operate, and scale this product and team for the last six years now. We will include details about

• a brief introduction to the service to provide context
• strategies to design and build such a data service
• operational war stories like how to recover from losing thousands of servers at once,
• common challenges users have with Postgres
• and a basic overview of the technical architecture

This is a complementary talk to Will Leinweber's talk, which will go into much more depth on the architecture of the software we have written.