Dijital Dijital dönüşüm ve veri ve veri

Çevremizde teknolojiye entegre olmayan ya da dijitalleşmenin fark yaratmadığı bir iş kolu neredeyse kalmadı. Çok yakın geçmişe kadar bir kurumun toplam değerini belirleyen en önemli unsurlar, sahip olunan insan kaynağı (humancapital), tecrübe, birikim, patentler ya da iş süreçlerinin girdisi olan tesisler olarak nitelendirilirken, günümüz dünyasında bir şirketin en değerli varlığı “sahip olduğu veri ve bu veriyi rekabete karşı avantaj yaratabilecek şekilde işleyebilme kabiliyeti” olarak değerlendiriliyor.(Data Capital)Uzmanlar bu dönüşüme ayak uyduramayan firmaların çok yakın zaman içerisinde rekabet sahnesinden silineceğini ve bu dönüşüme en hızlı şekilde ayak uydurabilenlerin ise mutlak rekabet üstünlüğünü ele geçirerek fark yaratacakları konusunda hem fikirler.

Aslında durum biz son kullanıcılar için de pek farklı değil.Oyun oynamaktan gazete okumaya, televizyon izlemekten alışverişe kadar pek çok alışkanlığımız köklü olarak değişiyor. Artık internet üzerinden alıyor, satıyor, sosyalleşiyor, seviyor, kavga ediyor hatta ayrılıyoruz.İş başvurularımızı internet üzerinde yapıp, maaşlarımızı internet bankacılığıüzerindenkontrol ediyoruz. Faturalarımız ve kira ödemelerimiz için bankaya gittiğimiz günler ise çok ama çok gerilerde kaldı...

Farkettiğiniz üzere bir parçası olduğumuz ve kaçınılmaz olan buköklü dönüşümün merkezinde hep veri var. Değişimimiz tamamen veriye hızlı şekilde erişebilmek, onu işleyebilmek ve en etkin şekilde kullanabilmek ile doğru orantılı. Bu konuda yapılmış ve çok çarpıcı sonuçları olan bir çalışma mevcut: “İstatistiklere göre insanlık , tüm medeniyet tarihi boyunca üretilmiş verinin 2 katından fazlasını son 2 yıl içerisinde üretmiş!Kimileri bütün bu yaşananları korkutucu olarak nitelendirse de bu değişim aslında kaçınılamaz ve heyecan verici. Örnek vermek gerekirse, sizleryazının bu kısmınagelene kadar geçen süre zarfında; popüler sosyal medya mecrası Instagram’da yaklaşık 277 bin paylaşım yapıldı, Youtube üzerinden 4,5 milyon farklı video izlendi ve muhtemelen 188 milyondan fazla e-posta gönderildi!

Tüm bahsettiklerimize ek olarak, yeni yeni hayatımıza giren otonom sürüş kabiliyetine sahip araçlar, ev otomasyon sistemleri, akıllı şehirler, giyilebilir teknolojiler ve Nesnelerin İnterneti (IOT) iş yükleri ve daha fazlası eklendiğindeveriyi korumak ve depolamak daha önce hiç olmadığı kadar karmaşık bir hal alıyor.Gartner’in son yayınladığı araştırmalardan birinin bulgularına göre; 2019 yılı itibarıylayaklaşık14,2 milyarnesne birbiriyle etkileşim içerisindeve bu sayı 2021 yılında 25 milyarı aşacak!

Veri bu derece hızlı ve kontrolsüz şekilde büyürken, saklanması, korunması ve ihtiyaç anında en hızlı şekilde analiz edilebilmesi teknik açıdan çok iyi planlanması gereken bir husus ve geçmiş pratiklerin çok da işe yaramadığı bir ihtiyaç olarak hayatımıza giriyor.

Sözün özü; Tarihin hiçbir döneminde olmadığı kadar fazla veri üretiyoruz ve tüketiyoruz!

 

Peki bu veriler nerede tutuluyor?

Cevap aslında çok basit, veri depolama sistemlerinde. Bu bölümde veri depolama teknolojilerinden, gözlemlenen değişimlerden vetrendlerden bahsedeceğiz.

Veri depolama sistemleri / Geleneksel veri depolama sistemleri (SAN)

Flash

Son yıllarda, verinin bu baş döndürücü dinamikliğine ve yaşam döngüsüne ayak uydurabilmek adına depolama teknolojilerinde bazı önemli değişimlermeydana geliyor, özellikle SAN temelli veri depolama sistemlerinde artık Flash temelli sistemler neredeyse sektör standardı haline gelmişdurumda. Çok özel ihtiyaçlar ve bazı iş yükleri hariç (arşiv ve dip arşiv ihtiyaçları, CCTV iş yüklerivb.) dönen disklerin (SAS, SATA, NL-SAS, FCvb.) SAN temelli depolama sistemlerinde gitgide daha az kullanıldığını ve hibrit depolama sistemlerinin yerini hızla Flash temelli sistemlere bıraktığını(AFA)rahatlıkla söyleyebiliriz.

Aslında bu değişim,çözüm gerektiren önemli bir sorunu da beraberinde getiriyor.Her ne kadar son yıllarda Flash temelli sistemlerde, teknolojinin gelişimi ile birlikte bir maliyet düşüşü gözlemleniyor olsada,hala bu sistemler dönen disk içerenbir önceki nesil sistemlere göre maliyet açısından bir miktar dahayukarıda.  Üretici firmalar, hem bu maliyet dezavantajınıkullanıcılarına daha azyansıtabilmek hem de verinin daha efektif depolanmasına olanak sağlayabilmenin önünü açabilmek adına birtakım servislere ve teknolojilere ciddi yatırımlar yapmaya devam ediyorlar. Özellikle depolama sistemleri üzerinde verinin çok daha az yer tutmasına yardımcı olan veri tekilleştirme ve veri sıkıştırmateknolojilerioldukça revaçta. Bu özelliklere sahip Flash temelli sistemler,hem daha verimli şekilde depolama yapabilmekte hem de toplam kullanılan fiziksel alan ve enerji tüketimi konularında kurumlara ciddi tasarruf imkanları sağlıyor. Toplam sahip olma maliyetinde yaratılan bu ciddi avantaj, kurumların yüksek maliyetler ile karşılaşmadan son teknolojiyikullanabilmesinin de önünü açıyor. 

Storage Class Memory (SCM)

Günümüzde depolama sistemlerindeki bu hızlı dönüşüm devam ederken, bazı çok özel uygulamalar ya da servisler ise Flash sistemlerden bile daha düşük erişim sürelerine ve performanslara ihtiyaç duyuyor. Üretici firmalar buradaki özel ihtiyacı adresleyebilmek adına hafıza hızında yeni nesil depolama birimlerini geliştirme çalışmalarını sürdürmekte ve bu çözümleri en hızlı şekilde markete sunabilme konusunda adeta birbirleri ile yarışıyor. Üreticiler arasında bu sert rekabet devam ederken, Dell Technologies,SCM destekli ürünlerini herkesten önce pazara sunarak, pazara öncü olarak rekabet üstünlüğünü ele geçirmişdurumda.

Storage Class Memory (SCM) olarak bilinen bu yenidepolama çözümü, kullanıcılara neredeyse bilgisayar hafıza birimi (RAM) hızında erişim ve çok düşük erişim sürelerivaat ediyor. Özellikle yüksek frekansa sahipama düşük erişim süreleri gerektiren finansal servislerde, yapay zeka, ML ve AI gibi iş yüklerinde fark yaratması beklenen SCM, doğal olarak diğer medya tiplerinden daha maliyetli bir teknoloji.Üretici firmalar başlangıçta karşılaşılması olası yüksek maliyet riskini azaltmak hedefiyle,veri depolama sistemlerindeki SCM dönüşümünün kademeli olarak gerçekleşeceği ve uzunca bir dönem SCM ve Flash veri depolama birimleri arasında otomatik veri katmanlama (tiering) teknolojilerinin birlikte kullanılacağı çözümler üzerinde çalışıyor. Tiering yani verinin ihtiyaç duyduğu anda en doğrukatmana otomatik olarak taşınması her ne kadar konsept olarak çok eski bir teknoloji olsa da aslında arka planda yürütülen operasyon müthiş bir analitik hesaplama ve yapay zekâ algoritması ile yönetilmekte. Uzmanların yorumlarına göre daha önce hibrit disklerde bu teknolojiye yatırım yapmış, tecrübe biriktirmiş üreticiler (Flash ve dönen diskler arasındatiering yapmış olan firmalar), markete görece daha geç girmiş yeni üreticilere göre tecrübe ve birikimleri ile fark yaratacaklar. Zira özellikle son yıllarda sektöre yeni adım atmış ve sadece Flash temelli disk sistemleri üretimi konusunda uzmanlık sahibi pek çok üreticinin, tiering konusunda yeterli tecrübesi ne yazık ki mevcut değil ve bu konudaki birikimin oluşabilmesi de doğal olarak zaman alacaktır.

 

Yapılandırılmamış Veri (Unstructured Data) Dünyası

Yapılandırılmamış veri dünyasında ise durum daha da karmaşık bir hal almış durumda. Zira görsel içerikler, kamera kayıtları, dokümanlar, PACS,sensör verisi gibi çeşitli kaynaklardan gelen bu dağınık verinin büyüme oranı ve hızı diğer tüm veri tiplerine göre çok daha fazla. Bu nedenle TB’ların büyük kapasiteler olarak göründüğü yakın geçmişimizdeki uygulamalar, yöntemler ve teknolojiler yerini bu konuda özelleşmiş daha yetenekli çözümlere bırakmak durumunda.

Günümüzde ortalama bir kurumda bile artık Petabyte seviyelerine ulaşan yapılandırılmamış veriyi en güvenli şekilde yaşatabilmek, yedekleyebilmek ve yeri geldiğinde kesintisiz ve en hızlı şekilde bir sonraki nesil yeni bir sisteme aktarabilmek her kurumun ilk yatırım anından başlayarak doğru şekilde planlaması ve adreslemesi gereken önemli riskler olarak karşımıza çıkıyor. Bu ihtiyacı adresleyen veri depolama sistemlerinde mutlaka olması gereken özellikleri sıralamak gerekirse, aşağıdaki 4 başlık mutlaka kendilerine ilk sıralarda yer bulacaktır:

 

*Verinin en doğru ve en üst seviye koruma yöntemiyle saklanması (RAID yerine alternatif koruma yöntemi: ErasureCoding)

*Verinin bulunduğu depolama sisteminin hem çok yüksek erişilebilirlik yeteneklerine sahip olması hem deyüksek ölçeklenebilir bir mimariye sahip olması (Scale-out Mimari)

*Sistemin, basit, güvenlive en etkin şekilde yönetilebilir olması ve gelişmiş veri servislerine sahip olması (Worm, Retention, Multi Tenancy, Multi Protocol, HDFS)

*Yüksek entegrasyon yetenekleri

Erasure Coding

Konu, kapasite olarak hızla artan veri olunca, bu veriyi üzerinde tutan sistemlerden en üst seviyede veri tutarlılığı beklentisinin olması aslında oldukça normal. Geleneksel disk sistemleri için tasarlanmış vesadece 1 ya da 2 disk kaybını tolere edebilen koruma yaklaşımı yani RAID mimarisine yazık ki bu ölçekte veri barındıran sistemlerin ihtiyaç duyduğu seviyede veri koruma esnekliğine sahip değildir.Buyeni nesil sistemlerdedaha çok tercih edilen yöntem, sadece disk kaybını tolere edebilen klasik RAID yaklaşımı yerinebirkaç disk kaybını hatta bir ya da bir kaç disk çekmecesini (shelf/node)aynı anda tamamen kaybettiğiniz durumda bile veri kaybını engelleyen bir çözüm olan – ErasureCoding (ya da RAIN) yaklaşımıdır.

Erasurecoding’i çok kısaca tanımlamak gerekirse, bütünün bazı parçaları eksik olması durumunda bile orijinal verinin tekrar yeniden oluşturulmasına olanak veren bir matematiksel model, algoritmalarbütünü diyebiliriz.Erasurecoding ile çalışan bir sistem üzerinde disk ya da disk çekmecesi kaybetmeniz durumunda, sistem kalan bileşenlerden topladığı bilgiler ile eksik parçaları tekrar oluşturarakolası bir veri kaybının önüne geçer.

Yapılandırılmamış verinin tutulduğumodern disk sistemlerinde veriyi korumak için büyük çoğunlukla erasurecoding yöntemi kullanılır.

Yatayda ölçeklenebilme yeteneği (Scale-Out Mimari)

Üzerinde petabaytlarda veri tutan (tutma potansiyeli olan) bu özel sistemlerin olmazsa olmaz özelliklerinde biri ise yatayda ölçeklenebilme yeteneğidir. Scale-out yani yatayda ölçeklenebilme, sistem üzerine eklenen her kapasite ile birlikte performansı direkt etkisi olan diğer kaynakların da (cache, cpu, bellek vb.)arttırma esasına dayanan bir mimaridir. İyi tasarlanmış ve eksiksiz bir scaleoutyapıda, sistem mevcut tüm sistem kaynaklarını tek bir havuz gibi yönetebilir ve kullanabilir.

Bu durumu basit bir analoji ile anlatmaya çalışalım, depolama aygıtını arkasına dorseler bağlı bir tır gibi düşünün. TIR’ın motorunun ve şoförünün bulunduğu ana kısım aslında disk depolama sisteminizin tüm operasyonunu yöneten, performansını belirleyen kontrol birimiyani kontrolcüdür. Arkaya takılan dorseler ve içerilerinde bulunan yükler ise depolama sisteminin yönetmek zorunda olduğu kapasiteyi ve üzerinde barındırmak zorunda olduğu verileritemsil eder. Tırınız ne kadar güçlü bir motora sahip olursa olsun mutlaka bir kapasitesi ve performans limitinesahiptir. Motorunda bir değişlikyapmadığınız ve arkaya sürekli dorse/yük eklenmesi durumunda yani tırakapasitesinin üzerinde yükleme yapıldığında,  muhtemelenartık yükünü çekemez duruma gelecektir. Bu örnek dikeyde büyüyen sistemlerin (genelde giriş ve orta seviye depolama sistemleri) yani Scale-up sistemlerin çalışma yöntemine çok benzer.

Eğer koşulları biraz değiştirme imkânımız olsaydı vetırımızın arkasına takılan her ek dorse beraberinde kendi ek motoru ile gelmiş olsaydı ve biz de bunları tırın ana motoruna destek olacak şekilde hep beraber bir uyum içerisinde çalıştırabilmenin yolunu bulsaydık, eklenen dorse sayısının performansa etkisi oldukça minimal olacak ve tırımız ilk senaryodakinden kat be kat daha fazla yük çekebilir durumda olacaktı.Bu ikinci bahsettiğimiz yöntem ise scale-out yani yatayda büyüyen sistemlerin çalışma mantığına oldukça yakındır.

Yapılandırılmamış veri barındıran sistemlerinscale-out yani yatayda büyüyebilir mimaride olması hem mevcut hem de ileride karşılaşmamız olası iş yüklerine şimdiden hazır olabilmekadına önemlidir.

 

Güvenli, basit ve etkin yönetilebilme ve gelişmiş veri servisleri

Yapılandırılmamış veri barındıran sistemlerin veri güvenliği ve veri güvenilirliği ile ilgili teknolojilere sahip olması, kolay yönetilebilmesi ve zengin veri servisleri sunabilmesi kurumlar açısından önemli kriterlerdir. Moden bir disk sistemi üzerinde Şifreleme, Politika temelli saklama (retention ve worm), Çoklu yönetim yetenekleri (multitenancy) gibi özellikler mutlaka bulunmalıdır.

Şifreleme (Encryption)

Verinin olduğu her yerde hem güvenlik ve güvenilirlik daimaön plandadır, özellikle yapılandırılmamış veri depolaması konusunda özelleşmiş sistemlerden veri ile ilgili bu beklentileri eksiksiz karşılaması beklenir. Pek çok iş birimi depolama sistemleri üzerinde tutulan verinin şifreli halde (encrypted) tutulmasını talep eder. Sistemlere fiziksel müdahale yapılıp, disklerin sökülüp başka bir ortamda çalıştırılmak istenmesi durumunda bile verinin asla okunamayacağını garanti edebilen teknolojiler günümüzde mevcuttur.

Saklama süresi boyunca silinmezlik ve değişmezlik garantisi (Retention ve WORM)

Çağrı merkezleri gibi, ses kayıtlarının belirli bir dönem boyunca saklanmasının ve değişmezlik garantisinin elzem olduğu işkollarında, veriyi tutan sistemlerden, belirli bir dönem boyunca verinin değişmezliğinin garanti edilmesi beklenebilir. Hatta bazı durumlarda bu verinin sistem yöneticisi tarafından bile silinemez/değiştirilemez olması gibi zorunluluklar ya da kanuni yükümlülükler olabilir. bu bahsettiğimiz özelliğe Retention denir. Verinin bir kere yazılıp, çoklu defa okunması (WORM – Write Once, Read Many) gibi bir ihtiyacın olduğu iş yüklerinde politika temelli bu saklama politikaları yoğun olarak kullanılır.Yapılandırılmamış veri tutan modern bir veri depolama sisteminde mutlaka Retention ve WORM özellikleri olması beklenir.

Çoklu kullanım ve izolasyon (Multi Tenancy)

Çok büyük kapasitelere çıkabilen bu özel sistemlerin birçok kuruma/departmana aynı anda ve tam bir izolasyon ile hizmet verebilmesi önemli bir yetenektir. Özellikle fiziksel ayrıştırmanın mümkün olmadığı bazı durumlarda, disk sistemi talep halinde ve yetkiler dahilinde çoklu kullanıma olanak sağlayarak (güvenli ve izole şekilde) kuruma hem maliyet hem de yönetimsel anlamda avantaj yaratabilir. Bu çoklu kullanım özelliğine Multi tenancy denir.

Yapılandırılmamış veri tutan modern bir veri depolama sisteminde Multi Tenancymutlaka olması gereken ve yaygın kullanılan bir özellik olmakla beraber, pek çok üreticin çözümlerinde henüz tam ve fonksiyonel olarak çalışan Multi-Tenancy yeteneği yer almamaktadır.

Çoklu protokol desteği (Multi Protocol)

Verinin disk sistemi üzerine pek çok farklı protokol ile yazılması ve okunabilmesi belki de günümüzde en sık rastlanan iş gereksinimidir. Özellikle kurumlarda Veri Gölü olarak pozisyonlanan ve adeta tüm kurumsal hafızayı barındırmak gibi bir misyonu olan depolama sistemlerinde, pek çok farklı kaynaktan veri toplanmakta ve bu veriler farklı protokoller kullanılarak sisteme aktarılmaktadır. Örnek vermek gerekirse doküman yönetim sistemi CIFS üzerinden veri yazarken, güvenlik yazılımlarıkayıtlarını NFS ile aynı sisteme atabilir ya da uç şubelerden merkeze FTP üzerinden düzenli dosya kopyalaması yapılabilir. Etkin ve yetenekli bir depolama sistemi üzerindeki veriye birden fazla protokol ile aynı anda erişime olanak sağlamalıdır.(Sadece verinin oluşturulduğu protokol ile değil, aynı veri setine farklı protokollerle de erişim imkânı)

 

Veri gölünün özellikleri nasıl olmalıdır?

Son söz olarak yazımıza konu olan ve istatistiklere göre kurum içerisindeki toplam verinin muhtemelen %80’ninden fazlasını tutacak olan veri gölünüzde aşağıdaki özellikler mutlaka bulunmalıdır.

  • Büyümeye uygun (Scaleout) mimaride olması
  • Çoklu kullanımı (Multi Tenancy) desteklemesi
  • Çoklu protokol yeteneklerine sahip olması
  • Erasurecoding gibi yetenekli bir veri koruma mimarisi ile gelmesi
  • Kesintisiz ve hızlı şekilde yazılım/kapasite güncellemesine olanak sağlaması
  • Çok geniş bir uyumluluk ve entegrasyon yeteneğinin olması (geniş uygulama ve ISV desteği)
  • Kolay yönetilebilmesi

Günümüz dünyasında iş birimleri veriyi en hızlı şekilde ve mümkünse yerinde analiz edebilmeyi ve bu analiz sonuçlarından rekabet avantajı yaratabilecekleri çıkarımlara en hızlı şekilde çevirebilmeyi hedeflemektedir. Bu nedenle üzerinde bulunan veride hızlı şekilde analiz yapılmasına imkân sağlayan yani standart olarak HDFS desteği barındırarak analitik ve büyük veri entegrasyonuna çözümler, kurumları rekabette bir adım öne geçirecektir.