Презентация «Масштабируемая система голосования на базе PostgreSQL PgQ Сергей Нековаль Грамант»

Смотреть слайды в полном размере
Презентация «Масштабируемая система голосования на базе PostgreSQL PgQ Сергей Нековаль Грамант»

Вы можете ознакомиться с презентацией онлайн, просмотреть текст и слайды к ней, а также, в случае, если она вам подходит - скачать файл для редактирования или печати. Документ содержит 31 слайд и доступен в формате ppt. Размер файла: 0.98 MB

Просмотреть и скачать

Pic.1
Масштабируемая система голосования на базе PostgreSQL PgQ Сергей Нековаль «Грамант»
Масштабируемая система голосования на базе PostgreSQL PgQ Сергей Нековаль «Грамант»
Pic.2
План доклада Обзор PgQ Как мы используем PgQ Pros & Cons
План доклада Обзор PgQ Как мы используем PgQ Pros & Cons
Pic.3
Вступление
Вступление
Pic.4
Что нужно?
Что нужно?
Pic.5
События
События
Pic.6
Где тут голосование?
Где тут голосование?
Pic.7
«Масштабируемая система голосования на базе PostgreSQL PgQ Сергей Нековаль Грамант», слайд 7
Pic.8
В наличии на 2008 год: Суммирование голосов с помощью файлов Рейтинги обсчитываются раз в день БД пе
В наличии на 2008 год: Суммирование голосов с помощью файлов Рейтинги обсчитываются раз в день БД перегружена, статистика запаздывает
Pic.9
«Китайский» вариант
«Китайский» вариант
Pic.10
Что делать?
Что делать?
Pic.11
«Масштабируемая система голосования на базе PostgreSQL PgQ Сергей Нековаль Грамант», слайд 11
Pic.12
Skytools Разработка компании Skype Open Source Репликация: Londiste Очереди: PGQ
Skytools Разработка компании Skype Open Source Репликация: Londiste Очереди: PGQ
Pic.13
PgQ to the rescue Предоставляет API для работы с очередью Хранит данные в “event tables” Можно перед
PgQ to the rescue Предоставляет API для работы с очередью Хранит данные в “event tables” Можно передавать любые данные в событии Ориентирован на обработку множества событий (batch)
Pic.14
Компоненты PgQ
Компоненты PgQ
Pic.15
Ticker Ротация таблиц Формирование batches Контроль доставки batches Обработка retry-событий
Ticker Ротация таблиц Формирование batches Контроль доставки batches Обработка retry-событий
Pic.16
Consumer API для SQL, Python, PHP, Java Обрабатывает не события, а пачки
Consumer API для SQL, Python, PHP, Java Обрабатывает не события, а пачки
Pic.17
В чем польза PgQ Транзакционность (ничего не пропадает) Асинхронность (регулируется нагрузка) Consum
В чем польза PgQ Транзакционность (ничего не пропадает) Асинхронность (регулируется нагрузка) Consumer логически отделен от БД Простота мониторинга (все в БД)
Pic.18
Голосование с помощью PGQ
Голосование с помощью PGQ
Pic.19
Новый вариант
Новый вариант
Pic.20
Сохраняем структуру БД Сохраняем структуру БД Front-End (PHP) становится producer-ом На каждый чих в
Сохраняем структуру БД Сохраняем структуру БД Front-End (PHP) становится producer-ом На каждый чих в очередь заносится событие Memcache: статистика + рейтинги
Pic.21
«Масштабируемая система голосования на базе PostgreSQL PgQ Сергей Нековаль Грамант», слайд 21
Pic.22
Тюнинг очередей ticker_max_lag (время) ticket_max_count (число)
Тюнинг очередей ticker_max_lag (время) ticket_max_count (число)
Pic.23
Система как трубопровод
Система как трубопровод
Pic.24
«Масштабируемая система голосования на базе PostgreSQL PgQ Сергей Нековаль Грамант», слайд 24
Pic.25
Disk I/O
Disk I/O
Pic.26
Производительность Vacuum fsync = off Asynchronous commit
Производительность Vacuum fsync = off Asynchronous commit
Pic.27
Асинхронность Где подвох? Результат часто нужен немедленно
Асинхронность Где подвох? Результат часто нужен немедленно
Pic.28
Куда расти? Отделение исторических таблиц Несколько БД с очередями Skytools 3 cooperative consumers
Куда расти? Отделение исторических таблиц Несколько БД с очередями Skytools 3 cooperative consumers Предварительное суммирование
Pic.29
Pitfalls Нельзя узнать длину очереди! Нельзя очистить очередь! Текстовый формат событий Документация
Pitfalls Нельзя узнать длину очереди! Нельзя очистить очередь! Текстовый формат событий Документация аскетична
Pic.30
Вопросы? snekoval@gramant. ru
Вопросы? snekoval@gramant. ru
Pic.31
Бонусный слайд Consumer: lag, last_seen
Бонусный слайд Consumer: lag, last_seen


Скачать презентацию

Если вам понравился сайт и размещенные на нем материалы, пожалуйста, не забывайте поделиться этой страничкой в социальных сетях и с друзьями! Спасибо!