Skip to content

Cuma gecesi heyecanı

Posted by on

Hafta sonuna yaklaşmışım; sakin bir gece bekliyorum. Önce Firefox'un Nagios eklentisi bağırdı, ardından da e-posta geldi:


ERROR: FATAL:  could not open relation 1663/41824/1259: Read-only file system


Günde birkaç yüz milyon transaction yapan bir PostgreSQL müşterimizin 50 diskten oluşan array'i elimizin altından gidiverdi birden. Command Prompt'da geliştirdiğimiz PITRTools'u kullanarak yapılandırdığım(ız) bir Warm Standby (ws) sunucusu vardı. Ona failover yapmak gerekiyordu. Ancak orada da başka bir dert vardı. Sunucu uzun süredir ws durumda çalıştığı için herhangi bir bakım uygulanmamıştı. Ana sunucudaki bloat aynı şekilde ikincisi de de vardı :-)


Acilen failover yapmak gerekliydi. Yeni sunucu 100 diskli, .daha fazla işlemcili bir makina idi. Failover çok çok kısa sürede bitti. Ancak bu sefer de bakımsızlıktan dertler başladı. İkinci sunucuda aynı bloat derdinin olması da ayrı bir "consistency" durumu tabii :-P


 Uzun süren bir vacuum işleminden sonra eskisinden de hızlı bir PostgreSQL sunucumuz oldu. Cumartesi gecesine kadar sürdü ama değdi. :-)

Trackbacks

MadBlog on : Bir Cuma günü heyecanı daha

Show preview
2 hafta önce Cuma günü yine kara bir gün olarak bitmişti. Bu Cuma da öyle oldu. Keyifle 11:30 sularında uyandım. 12:00'da (Eastern 05:00 tabii, yoksa öğlen bu iş yapılmaz ) bir Slony-I replikasyon kümesine bir tablo ekleyecektim. Normalde 3-4 dak

Comments

Display comments as Linear | Threaded

No comments

Add Comment

Enclosing asterisks marks text as bold (*word*), underscore are made via _word_.
Standard emoticons like :-) and ;-) are converted to images.
E-Mail addresses will not be displayed and will only be used for E-Mail notifications.

To prevent automated Bots from commentspamming, please enter the string you see in the image below in the appropriate input box. Your comment will only be submitted if the strings match. Please ensure that your browser supports and accepts cookies, or your comment cannot be verified correctly.
CAPTCHA


To prevent automated Bots from commentspamming, please enter the string you see in the image below in the appropriate input box. Your comment will only be submitted if the strings match. Please ensure that your browser supports and accepts cookies, or your comment cannot be verified correctly.
CAPTCHA

Form options