Bildirimler
Hepsini Temizle

[Çözüldü] Veeam Backup Yedek Alırken Hız Sürekli Yavaşlıyor  

  RSS
Olgay Çingur
(@olgaycingur)
Üye

Merhaba,

Veeam Backup 9.5 Update 4 sürümünü kullanıyoruz. VMware Vcenter 6.7 (Hostlar 6.5) üzerindeki sanal makinelerin yedeğini alırken kopyalama hızı periyodik olarak düşüyor. Yedekleri 50TB QNAP üzerine alıyoruz. Yedek ilk başladığında 150Mb/s civarı ile kopylamaya başlıyor fakat sonra 20Mb/s lere kadar düşüyor. Sunucular oldukça yüklü, full backup almam günler sürüyor. Hız neden yavaşlıyor olabilir. Hızlandırmak için neler yapabilirim?

image

Teşekkürler,

Alıntı
Gönderildi : 16/12/2019 09:02
Cahit YOLACAN
(@cahityolacan)
Kıdemli Üye Forum Yöneticisi

Merhaba, Logları incelediniz mi ? Hata görünmese de nerede hangi sürede ne yaptığını görerek. Sonuca daha doğru ve hızlı erişebilirsin. Yedekleme yönetenim nedir daha fazla detay verebilirimisin. ? Mesela şifreleme kullanıyormusun yada şıkıştırma ?. Yedekleme ayarları içinde hedef kayıt yere LOCAL - WAN vb seçenekler var hangisi seçili ? 

Kolay gelsin.

Cahit YOLAÇAN
vExpert - vExpert NSX - CCNA- MCSE - CEH
https://www.vmwaretv.com

****************************************************************
Probleminiz Çözüldüğünde Sonucu Burada Paylaşırsanız.
Sizde Aynı Problemi Yaşayanlar İçin Yardım Etmiş Olursunuz.
Eğer sorununuz çözüldü ise lütfen "çözüldü" olarak işaretlerseniz diğer üyeler için çok büyük kolaylık sağlayacaktır.
*****************************************************************

CevapAlıntı
Gönderildi : 16/12/2019 09:52
Olgay Çingur
(@olgaycingur)
Üye

@cahityolacan

Merhaba Cahit Bey, ilginiz için teşekkür ederim;

Yedekleme yöntemim;

image

Sıkıştırma vb. ayarlarım;

image

Logları inceledim, herhangi bir hata göremedim ancak çok detaylı da bakmadım açıkçası.

CevapAlıntı
Gönderildi : 16/12/2019 10:04
Cahit YOLACAN
(@cahityolacan)
Kıdemli Üye Forum Yöneticisi

Merhaba resimlerden evet optimize olarak seçenekler seçili. Logları hatalar için değilde; süreçlerin ne durumda ve ne zaman başladığını kontrol etmek için örneğin deduplcation ( sıkıştırma ) işlemin demi yavaşlamaya başlıyor bunu görebilmen için kontrol edersen belki veeam sıkıştırma yerine, Qnap üzerindeki dedup yaparsın hızlı yedekleme gerçekleşir. 

Böyle düşünerek bir detaylı log incelemesi yapmanı tavsiye ederim.

Cahit YOLAÇAN
vExpert - vExpert NSX - CCNA- MCSE - CEH
https://www.vmwaretv.com

****************************************************************
Probleminiz Çözüldüğünde Sonucu Burada Paylaşırsanız.
Sizde Aynı Problemi Yaşayanlar İçin Yardım Etmiş Olursunuz.
Eğer sorununuz çözüldü ise lütfen "çözüldü" olarak işaretlerseniz diğer üyeler için çok büyük kolaylık sağlayacaktır.
*****************************************************************

CevapAlıntı
Gönderildi : 16/12/2019 10:13
Olgay Çingur
(@olgaycingur)
Üye

@cahityolacan

Detaylıca inceleyeceğim, teşekkür ederim.

CevapAlıntı
Gönderildi : 16/12/2019 10:16
ibrahim yildiz
(@ibrahimyildiz)
Tecrübeli Üye

Bu konuda yapılandırma ve donanım kaynakları ile ilgili ayrıntılı analiz yapmanız lazım. Önce veeam dokumantasyonundan sistemin mantığını öğrenin derim helpcenter üzerinde senaryoları anlatıyor. Bir nas kaynağa prosesi hızlandırma ile ilgili epey uğraştım kısa bir cevabı yok açıkçası.
https://helpcenter.veeam.com/docs/backup/hyperv/detecting_bottlenecks.html?ver=95u4

****************************************************************
Probleminiz Çözüldüğünde Sonucu Burada Paylaşırsanız.
Sizde Aynı Problemi Yaşayanlar İçin Yardım Etmiş Olursunuz.
Eğer sorununuz çözüldü ise lütfen "çözüldü" olarak işaretlerseniz diğer üyeler için çok büyük kolaylık sağlayacaktır.
*****************************************************************

CevapAlıntı
Gönderildi : 16/12/2019 11:24
Olgay Çingur
(@olgaycingur)
Üye

@ibrahimyildiz

Merhaba İbrahim Bey,

Benim sorunum performansın periyodik olarak düşme eğiliminde olması. Aslında gayet hızlı bir şekilde başlıyor ancak backup alındıkça performans düşüyor. Cahit Bey'in bahsettiği şekilde sanırım hem backup alıp hem de sıkıştırma işlemi yaparken QNAP'taki diskler yanıt vermede geciktiği için performans düşüyor diye düşünüyorum. Logları inceledim, ilk diskin yedeği tamamlandıktan sonra deduplication işlemi başlamış ve performans peyderpey düşmeye başlamış. Şimdi backup job unu durdurup tüm sıkıştırma ayarlarını aşağıdaki gibi yapıp tekrar kontrol edeceğim. Alan sorunum yok, yeter ki hızlıca yedekler alınsın. Verdiğiniz linki de inceliyorum hemen, teşekkür ederim.

 

image
CevapAlıntı
Gönderildi : 16/12/2019 11:29
Hüseyin Aydın
(@huseyinaydinn)
Üye

Merhaba,

 

Öncelikli olarak vmware tarafında network driverları kontrol etmenizi isterim.  Mevcut yapınıza uygun network driver'larını güncelleyin lütfen. 

Eğer yüklü boyutta datalarınız varsa  SFP+  ethernet kartlarını tercih etmelisiniz.

Ve en önemli noktalardan biri switch'nizin throughput değeri, bu direk aldığınız data nın yüküne göre performansı etkileyecek faktörlerdir.  Ayrıca en az 1 Adet Sanal VM kurup Veeam üzerinde ikinci  proxy olarak yapılandırın.

 

20Mbp/s düşmesi normal değil.  Mutlaka bir yerlerde takıldığı bir durum var.  Ben genelde yukarıda belirtmiş olduğum detayların kontrollerini yaparak  baya bir firmada sorunları çözdüm.

Teşekkürler.

CevapAlıntı
Gönderildi : 16/12/2019 22:52
Olgay Çingur
(@olgaycingur)
Üye

@huseyinaydinn

Merhaba Hüseyin Bey,

Storage SFP+ ile bağlı hostlara, ancak QNAP Gbit ethernet üzerinden bağlı. Network driverlarını ve throughput değerlerini kontrol edeceğim. 1 adet daha sanal VM kurup proxy olarak Veeam'e ekledim ama pek işe yaramadı. Yine 20Mb/s lere düştü değerler. Özellikle Exchange sunucumda bu sorun oluyor, Acronis ile yedek alıyorum, 80-90 Mb/S ile yedekliyorum ama Veeam'de neden bu kadar düşüyor bir türlü çözemedim.

Teşekkürler.

CevapAlıntı
Gönderildi : 17/12/2019 08:40
Hüseyin Aydın
(@huseyinaydinn)
Üye

Selamlar,

Öncelikle Storage' nin vmware tarafına SFP+ ile bağlı olması  tek başına yeterli olmaz.

VMware ve yedek alınan cihaz'nda SFP+ bağlantısı yapılırsa aradaki farkı anlayabilir siniz.

Ben bu şekilde  ortalam 13-15 dakika içinde 700 GB makinenin Full yedeğini alabiliyorum.

Bu arada Vmware compability üzerinden sizin sunucuzda takılı olan ethernet kartın vmware versiyonuna göre hangi sürücüyü yükleyerek güncellemeniz gerektiğini öğrenin. ( Best practise )

Switch'in troupght değeri mutlaka yedek aldığınız data boyutunu kaldıracak bir switch olmalı yoksa yine düzgiün bir performans alamazsınız.

Bunun testinide şu şekilde yapabilirsiniz. QNAP  cihazınızı switch ten çıkarın direk sunucu  üstünde boş bir port'a cross bağlantı yapın. Vmware üzerindede sanal bir tane port group oluşturup  veeam sunucusu ile QNAP ı sunucu üzerinden konusturun.

Birde böyle deneyin isterseniz. Backup alınan databoyutu ne kadar  bilmiyorum çok ta net bir şey söylemem mümkün değil.

Ama switch gigabit bile olsa yukarıda belirttiğim  maddeler ile en kötü 75 Mb/s in altına düşmemeniz gerekir.

 

Ayrıca size tavsiyem deduplication yapmayan bir depolama ünitesi kullanıyorsanız Veeam'in  yapılandırmış olduğu standart ayarlar ile oynamayın.

Exchange backup 'ı alırken  Application-Aware processing i kullanıyorsanız ve yüklü boyuttaysa bağlantınızı 10G yükseltmenizi tavsiye ederim.

QNAP networku ile vmware networkünüz  farklı vlan daysa eğer  aynı vlanlara  taşıyın lütfen. Farklı networkler arası geçicek trafik direk firewall'ın bağlantı şekli ilede alakalıdır. Aynı network bloğunda olursa eğer iş direk switch üzerinden firewall'a gitmeden çözülür.

Bunuda göz önünde bulundurmanızı tavsiye ederim.

Bu ileti 7 ay önce 2 defa Hüseyin Aydın tarafından düzenlendi
CevapAlıntı
Gönderildi : 17/12/2019 09:54
Ferit ERKADAM beğendi
Olgay Çingur
(@olgaycingur)
Üye

@huseyinaydinn

Hüseyin Bey merhaba,

Değerli fikir ve yorumlarınız için çok teşekkür ediyorum. Hepsini dikkate alıp deneyeceğim. Tekrar çok teşekkürler.

Kolay gelsin.

CevapAlıntı
Gönderildi : 17/12/2019 13:41
Hüseyin Aydın
(@huseyinaydinn)
Üye
Gönderen: @olgaycingur

@huseyinaydinn

Hüseyin Bey merhaba,

Değerli fikir ve yorumlarınız için çok teşekkür ediyorum. Hepsini dikkate alıp deneyeceğim. Tekrar çok teşekkürler.

Kolay gelsin.

Rica ederim.

CevapAlıntı
Gönderildi : 18/12/2019 01:25
Göksel Arslan
(@gokselarslan)
Üye

olgay bey selamlar,

 

bu durum qnap donanımları kaynaklı olabilir. kullandığınız ürünlerin  raid kartı, disk sağlığı gibi durumları incelermisiniz. bunun yanı sıra yanlış hatırlamıyorsan  2. network girişlerini kullanarak load balance ta yapılabiliyor.

 

benzer sorun yaşadım çözüm olarak yeni qnap aldım 🙂  ayrıca belirtmek isterim.

 

 

 

 

 

CevapAlıntı
Gönderildi : 18/12/2019 16:03
Olgay Çingur
(@olgaycingur)
Üye

@gokselarslan

Sevgili Göksel Bey,

Elimde 2 adet QNAP mevcut, TS-831x ve TS-669 pro. Bunların yanına üçüncüyü aldırmam mümkün olmadığı gibi öncelikle sorunun neden kaynaklandığını çözmeliyim. Port trunking zaten yapıyorum;

image

Her iki ethernete de 1Gbit bağlantı mevcut. Raid kartını bilemiyorum, ürünlerin firmware sürümleri bir tanesinde güncel, diğerinde değil. Diğerini de güncelleyip tekrar kontrol edeceğim ama en büyük sıkıntım hep söylediğim gibi; ilk başta kopyalama hızı gayet iyiyken (110Mb/sn civarları) sonra sonra 15-20Mb/sn lere kadar düşmesi. Üzerindeki diskler de çok eski değil.

Bir de şöyle birşey var, aynı sunucuyu aynı Qnap'a Acronis ile yedeğini alıyorum. Hız stabil 90/100Mb civarlarında seyrediyor.

Şimdi iscsi diski Veeam sunucusuna bağlayarak bir yedek başlattım, önceden SMB share olarak bağlıydı. Birşey farkedecek mi bilmiyorum.

Qnap networkü ve vmware networkü aynı vlanda, hatta hostlar backbone switch üzerinde bağlıydı, qnapı da backbone switch e aldım. 

Bakalım sonuç alabilecek miyim..

Teşekkürler Göksel Bey.

CevapAlıntı
Gönderildi : 18/12/2019 18:35
Turan COŞKUN
(@turancoskun)
Tecrübeli Üye Forum Yöneticisi

Merhaba,

Burada belirttiğiniz ilk yapılandırmada, veeam host ile qnap arasında olan hop sayısını kontrol ettiniz mi ?

Src veya dst tarafında io sorununuz yok ise hop'lardan bir tanesinde darboğazınız olabilir.

Nas eth. int. tarafında port turnk iptal ederek test ettiniz mi ?

Src,dst ve network seviyesinde bir monitoring çözümünüz yok ise, mutlaka birini devreye alın.

Transfer sürecinde tüm adımları monitor ederek ilerlemelisiniz.

 

****************************************************************
Probleminiz Çözüldüğünde Sonucu Burada Paylaşırsanız.
Sizde Aynı Problemi Yaşayanlar İçin Yardım Etmiş Olursunuz.
Eğer sorununuz çözüldü ise lütfen "çözüldü" olarak işaretlerseniz diğer üyeler için çok büyük kolaylık sağlayacaktır.
*****************************************************************

CevapAlıntı
Gönderildi : 19/12/2019 01:25
ibrahim yildiz
(@ibrahimyildiz)
Tecrübeli Üye

Bunlar software raid kullanan write performansları 802.3ad de kullansanız sınırlı box üniteler. Veeam kullanırken target tarafta performansı geliştirmek için raid vs yapılandırmaları çok önemli hale geliyor ünite performansını geliştirmek için 10 GB nic'lere geçmek gerekli yada SAN gibi hw raid kaabiliyeti, performansı yüksek ünitelere tabi bunlar bütçe konuları. Ben bir noktada hw ve veeam config üzerinde limitlere ulaştım sayılır bunu geliştirme safhasındayım halen.
Performansı diğer uygulamalar ile mukayese etmeyin kesinlikle acronis dediğiniz için diyorum bende bir müşteride daha önce backupexec kullanıyordum job sürelerinden sizin ki gibi benzer bir performans farkındalığım yoktu doğal olarak yıllar içinde vm size'ları da artıyor. Veeam kaynak erişimi, transferde oldukça farklı yöntemler kullanıyor VM backup performansı oldukça yüksek ancak üretici best practise fazlaca uygunluk istiyor.

Backup Job Action ayrıntılarında source>proxy>network>target olarak yüzdeler halinde bir processing performans özeti verir. Veeam manuellerinde buna göre inceleme, geliştirmeye odaklanmasını tavsiye ediyor. Ayrıca veeam'in monitor uygulamalarını kullanmıyorsanız raporlarda ki transferred, duration sürelerinden sanalların bir performans çizelgesi çıkartarak hareket edebilirsiniz. Exchange demiştiniz daha önce her bir sanalın ayrı olarak kaynaktan okunma durumu değişkenlik gösterebilir ve önemlidir.
Rakamlarla hızlı başlayıp sonradan 15-20 mb/s düştüğünü söylüyorsunuz ancak ilk paylaştığınız görsele göre ilk aşamanın sonrasında çok uzun süre performansın düşük seyrettiği görülüyor. Yani sizde genelden özelleştirerek ayrıntılı bir analiz yapılması lazım. O yüzden verdiğim link üzerinden veeam'in tercihleri, çalışma yöntemleri hakkında best pratise'lerini önce öğrenerek hareket etmenizi tavsiye ettim.
Hüseyin aydın bey zaten tecrübesiyle size orada ki birçok konuyu tavsiye etmiş oldu. Yapınızı en iyi siz biliyorsunuz malum tamamını buraya aktarmanız zor.
Örneğin benim analiz, düzenleme sonrası bir noktada benzer NAS hedef donanıma değerlerim processing rate: 230-280 mb/s Throughput 480-550 mb/s yükseldi 3 tb civarı backup alınıyor daha önce dengesiz ve bunun yarı değerlerindeydi. Full backup job sürelerinden halen yeterli görmüyorum ancak NAS cihazına benchmark'lar ile odaklanarak Veeam'in tercihlerine göre limite yaklaştığımı gördüm şimdi bu Target tarafı geliştirmeye odaklıyım.
Sizde iscsi disk olarak bağlayarak nas ünitelerinizin doluluk oranlarıyla paralel bench tool'lar ile IO, sequential write vs performanslarını analiz edebilirsiniz.
Ayrıca ayrı test job'ları oluşturarak sanalların tekil backup performanslarını raporlayabilirsiniz.
Turan beyin dediği gibi her bir hop noktası önemli bunların io, throughput 'ları önemli. 
Hardware konularından uzun saatler sonunda performansın düşme eğilimi normaldir ancak dediğim gibi sizin paylaşımımınıza göre job ilk erişimin çok altında değerlerle uzun süre seyrediyor ve ani değişimler görünmüyor.
Yapınızın diagramlarını oluşturarak bir taraftan da veeam'in tavsiyelerini (forumundaki bazı uzmanların tavsiyeleri bile önemli) öğrenerek aşama aşama ayrıntılı analizlerle bu sorununuzu aşabilirsiniz diye düşünüyorum.
 

****************************************************************
Probleminiz Çözüldüğünde Sonucu Burada Paylaşırsanız.
Sizde Aynı Problemi Yaşayanlar İçin Yardım Etmiş Olursunuz.
Eğer sorununuz çözüldü ise lütfen "çözüldü" olarak işaretlerseniz diğer üyeler için çok büyük kolaylık sağlayacaktır.
*****************************************************************

CevapAlıntı
Gönderildi : 19/12/2019 02:06
Olgay Çingur
(@olgaycingur)
Üye

@turancoskun ve @ibrahimyildiz

Vaktinizi ayırıp çok değerli bilgilerinizi üşenmeden uzun uzun paylaştığınız için çok çok teşekkür ediyorum. Tavsiyelerinizi ve önerilerinizi dikkate alacağım. Gelişme olduğunda mutlaka buradan bilgi veririm. Tekrar teşekkürler.

 

 

CevapAlıntı
Gönderildi : 19/12/2019 09:40
Olgay Çingur
(@olgaycingur)
Üye

Merhaba,

Birkaç iyileştirme ve değişiklik ile performansı biraz daha iyi bir hale getirdim.Normalde 80-90 saatte full yedeğini alabildiğim Exchange sunucumu haftasonu 25 saatte yedekleyebildim. Kopyalama hızı ve performansı hiç düşmedi. Sabit 100MB/Sn civarlarında seyretti;

image

Öncelikle QNAP'larımda tüm firmware güncellemelerini yaptım. Birkaç eksik vardı. Sonrasında bazı yabancı forumlarda okuduğum kadarıyla QNAP, Veeam'e ISCSI olarak eklendiğinde performansın biraz daha iyi olacağı yönünde yorumlar vardı. @gokselarslan Göksel Bey de bu şekilde alıyormuş yedeklerini. Ben de bu şekilde yaparak denedim ve çok daha iyi bir sonuç aldım. En azından stabil bir şekilde yedeği alabiliyorum şu anda. Yardımcı olmaya çalışan herkese tekrar teşekkür ederim.

CevapAlıntı
Gönderildi : 23/12/2019 10:30
Cahit YOLACAN
(@cahityolacan)
Kıdemli Üye Forum Yöneticisi

@olgaycingur

Geri bildirim için teşekkürler. Güzel bir info oldu.

Cahit YOLAÇAN
vExpert - vExpert NSX - CCNA- MCSE - CEH
https://www.vmwaretv.com

****************************************************************
Probleminiz Çözüldüğünde Sonucu Burada Paylaşırsanız.
Sizde Aynı Problemi Yaşayanlar İçin Yardım Etmiş Olursunuz.
Eğer sorununuz çözüldü ise lütfen "çözüldü" olarak işaretlerseniz diğer üyeler için çok büyük kolaylık sağlayacaktır.
*****************************************************************

CevapAlıntı
Gönderildi : 23/12/2019 16:12
Olgay Çingur beğendi
Paylaş: