Facebook ve ilgili diğer servisleri Instagram, WhatsApp yaşadığı uzun kesintinin teknik sebeplerini Facebook Altyapı Başkan Yardımcısı Santosh Janardhan açıklamaları ve kendi teknik bilgilerimle harmanlayarak tarihe bir not düşmek istedim.
Öncelikle problemin etkili olma sebebinin Facebook isim sunucularının yanıt veremez hale gelmesi olduğunu tekrar belirtmek isterim. İsim sunucuları devre dışı olduğu için arıza anında eskiden olduğu gibi en azından servislerin bir kısmına erişmek mümkün olamadı.
Facebook, dünyada farklı coğrafi bölgelere dağıtılmış veri merkezleri üzerinden servis sunuyor. Bazıları binlerce sunucudan oluşan dev tesisler, kimileri basit depolama amaçlı. Kendi aralarındaki iletişimi internet ağı üzerinden veya direkt kablolarla birbirlerine iletiyorlar.
Bir #instagram fotoğrafına baktığınızda veya Facebook’dan bilgi talep ettiğinizde en yakındaki sisteme sorgu gidiyor, talep edilen mevcutsa size ulaştırılıyor yok ise bağlandığınız küçük sistem büyük olana bağlanıp veriyi alıp iletiyor. (Cache)
Ayrıca veri merkezinin sağlık durumlarını kontrol eden farklı sistemler mevcut. Eğer sistem bir performans kaybı veya iletişim arızası tespit ederse o veri merkezine giden trafiğin akışını engellemek için DNS kayıtlarını güncelleyip, problemli noktanın ağ erişimini kesiyor.
Kesintiye sebep ise insan eliyle sisteme yollanan hatalı bir komut. Bu hata ana sistemle diğer veri merkezlerinin iletişimini kesiyor. Sağlık kontrolü yapan sistemler hata algılayarak DNS kayıtlarını ve IP anonslarını siliyor ve Facebook servisleri internetten tamamen kayboluyor.
İnsan hatası olan hatalı komut için kontrol mekanizması unutulduğu ve sağlık kontrol sisteminin bu ihtimali göz önünde bulundurulmadan tasarlanması yüzünden sistem çöküyor. Tüm ağ erişimini kaybeden Facebook çalışanları sisteme bağlanamadığı için de kapı dışında kalıyorlar.
Normal şartlarda veri merkezleri içinde fiziksel insan müdehalesine karşı önlemler mevcut. Hatayı düzeltmek için cihazlara erişmesi gereken personel yüksek güvenlik nedeniyle veri merkezine giremiyor. Aynı zamanda tüm iç sistemler çöktüğü için prosedürler işletilemiyor.
Hatalı komut düzeltildikten sonra da milyonlarca kullanıcının tekrar online olmasının veri merkezindeki sunucuların yüksek elektrik kullanmasına sebep olacağı ve telafisi zor arızalara sebep olmaması için sistem yavaş yavaş ayağa kaldırılıyor.
Dikkat: “Bundan sonraki kısım, hislerimle kurguladığım komplo teorimdir!” Sunuculara fiziksel insan müdehalesinin imkansız olarak tasarlandığı ve erişimlerin takip edildiği dev bir sistemde fiziksel erişim ancak bu senaryoyla gerçekleşebilirdi.
Yaratılan krizle tüm güvenlik prosedürleri kapatılmış, iç sistemler çalışmadığı için belki fiziksel giriş/çıkışlar online kayıt altına alınamamış olabilir. Sistemden gerçekten veri almak veya silmek için mükemmel bir ortam değil mi? Gerçekler? Zaman gösterecek…
