Veri Tekilleştirme Notlarım (MSDP)

Veri Tekilleştirme (MSDP)

Tecrübeye istinaden aktaracağım bilgiler ( Bankalar, Telco, Holding seviyesinde büyük ölçekli verileri barındıran kuruluşlarda geçerliliği vardır)

Tekilleştirme ünitesinde sakladığın verinin tipi, büyüklüğü, hangi sıklıkla alınacağı ve saklama süresi veri tekilleştirmenin çarpanlarıdır.

Tekilleştirmede eski veriyi tuttukça tekilleştirmede oranın yükselir ama restore kabiliyetin azalır. Çünkü değişen birim parçacıklar artıyor.

Restore işleminde rehydrate işlemi yapılır. Rehydrate işlemi yaparken Memory, CPU disk I/O tüketir.

Veri tekilleştirme güzel; ama aylarca saklamak veri tekilleştirme sağlıklı sonuç vermez.

Mümkün olduğunca en iyi performansı alabilmek için tekilleştirme ünitesinde saklayacağın verinin miktarını ve boyutunu planlayacağın donanıma göre ayarlaman gerekir.

Donanım, tekilleştirmede en büyük faktördür.

Hazır bir Appliance almıyorsanız, kendi Appliance’ sınızı oluşturacaksanız disk tarafını bu vermiş olduğumuz örnekteki veri tipine, hangi sıklıkla alacağınıza ve ne kadar saklayacağınızı öngörerek disk kapasitesi planlaması yapılması gerekmektedir.

• Veriyi hızlı bir şekilde restore edebilmemiz için network Bandwidth’ imiz güçlü olması gereklidir.
• İşlemcimizde rehydrate yapabilmesi için güçlü olması gereklidir. Mümkünse güncel Multi-Core işlemciler tercih edilmelidir.
• Her bir disk 90 I/O çıkardığı düşünür olursak, ortalama 700 TB Media Server için en az 164 diskten oluşan kuvvetli bir veri depolama ünitesi ihtiyacı söz konusu olmaktadır. Bu veri depolama ünitesi NL-SAS disklerden oluşacağı için fiyatı ALL-Flash disklerine göre 1/10 fiyatlarına alınabilmektedir. (All-Flash diskler pahalı olduğu için NL SAS diskleri tercih edilmelidir)

Örneğin; NetBackup standardında bir disk ünitesinde minimum saniyede 250 MB okuma ve yazma yapabilecek her hangi bir disk ünitesi yeterlidir. Fakat edilen tecrübeye istinaden bu durum gerçekte böyle olmamakla birlikte veri hangi sıklıkta hangi veri tipine ve ne kadar saklayacağınızı iyi hesaplamanız gerekmektedir. Kullanacağınız işlemci, disk, ram ve network kartı inanılmaz önemlidir.

NetBackup Media Server’ı Windows ortamına kurulacaksa deduplication disklerinizi 64k block size, Linux ortamına kurulacaksa 4k block size kullanılmalıdır. Disk yapılandırmasında özel olarak vereceğiniz diskler tek Pool (Havuz)’ dan oluşmaktadır. Disk yapısı 164 disk örneğine göre tek bir pool storage tarafında yapılırsa, sunucu tarafında diski bölümlendirmeye gerek yoktur.

Veri tekilleştirmesi yapan bir Media Server’ da NetBackup’ tan bağımsız Deduplication çalıştığı sunucu gelişi güzel reboot edilmez.

Deduplication çalıştığı sunucu reboot edilmeden önce;

• Aktif backup olup olmadığı kontrol edilir.
• Yeni backup başlamaması için policy deactive edilir.
• Netbackup’ ta şu aşağıdaki komutlarla media server busy (meşgul) olup olmadığı kontrol edilir. Çıktısında meşgul olduğu görülürse hiçbir işlem yapılmaz beklenir. Bu komut bize Media Server’ ın arka tarafta tekilleştirme yaptığını göstermektedir. Bu işlemin sağlıklı bir şekilde tamamlanması beklenir.

/usr/openv/pdde/pdcr/bin/crcontrol –processqueueinfo

Busy çıktısı evet (YES) gözüküyorsa kuyruk hala etkindir.

• Meşgul olmayan NetBackup Media Server’ ımızın QUEUE dolu olup olmadığını kontrol etmemiz için aşağıdaki komut kullanırız.

/usr/openv/pdde/pdcr/bin/crcontrol –processqueue

QUEUE dolu ise kendimiz tekilleştirme işlemini başlatarak memory deki ve geçici disk alanında işlenmemiş veriyi, veri tekilleştirme Pool’ una yazılmasını sağlarız. İşlem bittikten sonra yeniden bir önceki komutla Media Server’ın meşgul olup olmadığı kontrol edilir. Her hangi bir işlem yok ise bpdown –v –f parametreleriyle tüm servislerin kapanmasını bekleriz.

Media Server queue ve easy olmadığı emin olduğumuzda reboot edilebilir. Media Server açıldığında tüm servisler kendiliğinden açılır. Tüm servislerin açık olup olmadığını kontrol için bpps komutuyla kontrol edilir.

# /usr/openv/netbackup/bin/bpps -x

Servislerin çalıştığı Media Server’ ın ayağa kalktığı anlamına taşımaz!! Bunun için arka tarafta Media Server her açılışında tekilleştirme için kullanacağı bir takım POST (Power-ON Self Test) process işlemleri yapmaktadır (Fingerprint database işlemleri).

Media Server Deduplication Pool’un yazmaya açık olup olmadığı aşağıdaki komutlarla kontrol ederiz.

# /usr/openv/netbackup/bin/admincmd/nbdevquery -listdv -stype PureDisk -dp MediaServer-diskpool-0 –U

Çıktıdaki gibi admin durumu UP görünüyorsa Media Server Pool’ umuz çalışıyor anlamına taşımaktadır. Yeniden başlatılan bir Media server’da ve/veya düzgün yedek alınan bir Media Server’ da tekilleştirme işlemlerinin düzgün yapılıp yapılmadığının kontrolünü “storaged.log” ve “spoold.log” dosyalarında tail komutuyla periyodik kontrol edilir.

# tail -f /msdp/vol0/data/log/spoold/spoold.log

# tail -f /msdp/vol0/data/log/spoold/storaged.log

• Tekilleştirilen veri miktarı çoğaldıkça tekilleştirme oranı iyi olur; ama performansı düşmeye başlar.
• Sakladığın objeleri expire edilmezse yada temizlenmezse tekilleştirmenin faydası olmaz.
• Tekilleştirilen verinin ne sıklıkla alacağın ve saklayacağın altına alacağım donanımla doğru orantılıdır.

 Vakit ayırıp okuduğunuz için teşekkür ederim. Başka yazımda görüşmek dileğiyle…