Масштабирование мониторинга производства ядра @ Meta - Влад Поэнару (Meta)

Масштабирование мониторинга ядра в производственной среде @ Meta - Влад Поенару (Meta) Мониторинг ядра на миллионах серверов в производственной среде представляет собой значительную проблему с точки зрения масштабируемости и разнообразия среды, как в плане программного, так и аппаратного обеспечения. Система мониторинга должна позволять обнаруживать, отлаживать и исправлять большое количество проблем, а также позволять инженерам сосредоточиться на наиболее важных из них с точки зрения распространения и серьезности. Это осложняется попыткой запустить самое новое ядро из всех гипермасштабируемых серверов, что обычно означает, что мы обнаруживаем проблемы раньше многих других. Meta использует общедоступные инструменты (netcons, kdump, drgn и т. д.), а также другие, разработанные внутри компании инструменты, которые способны удовлетворить эти требования. На сессии будут рассмотрены: как собираются и агрегируются события и данные ядра, используемые инструменты и источники данных, и, наконец, как и где данные используются в процессе выпуска. Мы также обсудим проблемы поддержания мониторинга в масштабе Meta, включая вопросы накладных расходов на производительность, управление объемом данных и баланс между детализацией и практичностью. Этот доклад будет полезен всем, кто интересуется мониторингом ядра операционной системы в производственных условиях или масштабируемой работой Linux.