Реализация Foreign Data Wrapper позволяет обращаться к удалённым серверам с подзапросами в рамках текущего запроса. Данный механизм вкупе с секционированием (в том числе, при помощи расширения pg_pathman) позволяет организовать распределённое хранилище больших таблиц преимущественно для тяжёлых аналитических запросов.
В данном докладе в рамках мастер-класса продемонстрируется такой способ горизонтального масштабирования базы данных, а также проведётся сравнение с существующими решениями шардинга в PostgreSQL.
1. Трафик команд вместо трафика данных
2. Шардинг
3. Масштабируемость
4. Интерактивность
5. Упрощение и ускорение разработки
Секционирование в PostgreSQL - давно ожидаемый функционал. И хотя в Postgres возможно реализовать секционирование через наследование, такой подход имеет ряд недостатков, таких как необходимость вручную создавать секции и поддерживать триггеры, значительные накладные расходы на планирование и отсутствие оптимизаций времени выполнения. В докладе мы расскажем про расширение pg_pathman, над которым мы работаем.
pg_pathman поддерживает HASH и RANGE секционирование и выполняет оптимизации на этапах планирования и исполнения, поддерживает быструю вставку за счет отказа от триггеров в пользу Custom Node, содержит функции для управления секциями (add, split, merge и др.), шардинг на основе FDW, неблокирующую миграцию данных и другие возможности.
Мы также расскажем об интеграции pg_pathman в PostgresPro Enterprise Edition и поддержку Oracle-подобного синтаксиса для секционирования. В завершение мы расскажем о новых возможностях секционирования в PostgreSQL 10, что реализовано и пути дальнейшего развития.
Доклад дает обзор различных кластерных решений, имеющихся в PostgreSQL, и фокусируется на разработках компании Postgres Professional - Multimaster, построенном на базе логической репликации и собственном менеджере распределенных транзакций, и классическом отказоустойчивом кластере Gorynych, построенном на базе потоковой репликации и Corosync/Pacemaker.
Планируется живая демонстрация.
Реализовав 17 лет назад в Постгресе поддержку массивов с индексным поиском и агрегатами, и затем hstore - тип для хранения данных "ключ-значение" мы открыли дверь в новый мир, мир слабоструктурированных данных. В наше время, говоря о таких данных в PostgreSQL, в основном имеют в виду функциональность, связанную с JSON/JSONB. Важно, что в этой области Postgres часто кладет на лопатки специализированные NoSQL -базы, сохраняя при этом удобство, надежность и всю функциональность классической РСУБД PostgreSQL. Недавно был опубликован новый стандарт SQL, который определяет конструкции для работы с JSON. Мы уже реализовали базовую поддержку этого стандарта, и она попадет в версию Postgres Pro 10, и в расширенном виде попадет в PostgreSQL 11.
В докладе пойдет речь об отказоустойчивости самой РСУБД и серверных решений на ее основе, а также о способах минимизировать downtime вашего сервера при возможных неприятностях. Поговорим о бекапах, избыточности данных, логическом и физическом копировании, инкрементном многоуровневом резервировании, а также различных подходах к репликации. Рассмотрим различные виды standby-конфигураций и какие из вышеперечисленных механизмов позволяют обеспечивать высокую доступность данных.
A beginner-level talk on MySQL fundamentals for developers, sys admins and other technical staff covering the most common issues related to MySQL security.
Key words will be threats, phishing, social engineering, bad file permissions, attack surface, isolating the DB system, MySQL security feautures.
31 января 2017 года у GitLab случилась авария связанная с эксплуатацией СУБД PostgreSQL. Результатом аварии стало частичное удаление данных и остановка проекта на время восстановления. К счастью команда повела себя очень открыто и предоставила исчерпывающие материалы по этой аварии. В предоставленной информации рассказано что произошло, какие предпринимались меры для восстановления и какие меры будут предприняты для предотвращения подобных аварий. Основной целью этого доклада является детальный разбор постмортема - который был представлен GitLab'ом, выделение ключевых моментов, попытка проанализировать их и предложить меры как следовало бы действовать. Также я рассмотрю меры которые команда GitLab планирует сделать для предотвращения таких инцидентов в будущем. Доклад будет полезен администраторам баз данным и системным администраторам которые потенциально могут столкнуться с аварийными ситуациями в PostgreSQL.
OpenStreetMap — огромная база данных по объектам всего мира. В ней можно найти как страны и города, так и ближайшие фонарные столбы и скамейки. А затем сделать приложение или использовать данные для аналитики. Но «можно» не значит «просто»: чтобы вытащить что-то из OpenStreetMap, нужно знать матчасть, нужно знать про сервисы, нужно уметь географические запросы. Из этого доклада вы узнаете, как делать запросы в Nominatim и Overpass API, как скачивать данные OSM и что с этими файлами делать, и при чём тут PostGIS. Наконец, мы разберёмся в стастраничном списке видов объектов: нужно ли его учить наизусть, или есть более простой способ найти обозначение для искомого типа?
From the operating system to the application layer, potential vulnerabilities exist at every turn. It is not enough to close one or two security holes or data leaks and hope for the best.
In this talk, Percona's Information Security Architect David Busby will cover MySQL security best practices including:
Security above the MySQL layer
How to identify and limit an attack surface
The critical importance of password complexity
Rigid grants and selective grants
Deploying SELinux Security-related changes in MySQL 5.6 and above
The importance of CVEs
This detailed technical presentation provides insight into best security practices for either setting up a new MySQL environment or upgrading the security of an existing one.