Cuma gecesi heyecanı
Hafta sonuna yaklaşmışım; sakin bir gece bekliyorum. Önce Firefox'un Nagios eklentisi bağırdı, ardından da e-posta geldi:
ERROR: FATAL: could not open relation 1663/41824/1259: Read-only file system
Günde birkaç yüz milyon transaction yapan bir PostgreSQL müşterimizin 50 diskten oluşan array'i elimizin altından gidiverdi birden. Command Prompt'da geliştirdiğimiz PITRTools'u kullanarak yapılandırdığım(ız) bir Warm Standby (ws) sunucusu vardı. Ona failover yapmak gerekiyordu. Ancak orada da başka bir dert vardı. Sunucu uzun süredir ws durumda çalıştığı için herhangi bir bakım uygulanmamıştı. Ana sunucudaki bloat aynı şekilde ikincisi de de vardı
Acilen failover yapmak gerekliydi. Yeni sunucu 100 diskli, .daha fazla işlemcili bir makina idi. Failover çok çok kısa sürede bitti. Ancak bu sefer de bakımsızlıktan dertler başladı. İkinci sunucuda aynı bloat derdinin olması da ayrı bir "consistency" durumu tabii
Uzun süren bir vacuum işleminden sonra eskisinden de hızlı bir PostgreSQL sunucumuz oldu. Cumartesi gecesine kadar sürdü ama değdi.
Comments
Display comments as Linear | Threaded