Все русскоязычные стримы в Postgres раз в 10 минут: 2 млн строк вместо 30 млн и баг, в котором я три недели обвинял VK

Каждые 10 минут в русскоязычном эфире Twitch и VK Видео Live в среднем 7 200 каналов. Записывать их как есть - больше миллиона строк в сутки. Я храню агрегаты, и за четыре недели получилось 2 млн строк. Расскажу, как это работает и где я три недели искал проблему не там. Я Максим, разработчик, по вечерам пишу LanolStream - инструменты для стримеров, которые мы создаём вместе со стримершей lanolkid. Стримеры часто спрашивают «во сколько лучше стримить» и «много ли у меня зрителей для моей игры». Чтобы отвеча

Каждые 10 минут в русскоязычном эфире Twitch и VK Видео Live в среднем 7 200 каналов. Записывать их как есть - больше миллиона строк в сутки. Я храню агрегаты, и за четыре недели получилось 2 млн строк. Расскажу, как это работает и где я три недели искал проблему не там.

Я Максим, разработчик, по вечерам пишу LanolStream - инструменты для стримеров, которые мы создаём вместе со стримершей lanolkid. Стримеры часто спрашивают «во сколько лучше стримить» и «много ли у меня зрителей для моей игры». Чтобы отвечать цифрами, а не ощущениями, нужен весь рынок, а не только наши каналы.

Читать далее