Veri Ambarına(Data Warehouse) Veri Yükleme Yolları

Veri ambarlarına veri yükleme yöntemlerine geçmeden önce veri ambarlarının neden kullanıldığına bakalım Veri ambarları farklı kaynaklar kullanılarak raporların hazırlanması ve böylece verinin daha verimli kullanılması amacı için geliştirilmiş olan sistemlerdir.Veri ambarına veriler geçmeden önce ETL süreçlerinden geçer.Aşağıdaki şekilde görüldüğü gibi veri kaynağından alınan verinin ilgili işlemlerden sonra hedef kaynağına ulaşması işlemlerinin yapıldığı alandır.

Peki neden veri ambarı kullanırız?  Veri ambarlarında farklı kaynaklar kullanılır ve bu toplanan veriler üzerinde analiz yapılarak bir sonuca ulaşabiliriz.Bir mağaza müdürü  o şirkette en çok satış yapan satış temsilcilerini öğrenmek istiyor olabilir.Ve zamansal bir analiz yapmak da mümkündür.Örneğin 2015 ve 2016 yıllarına ait  verileri beraber sorgulayabiliriz.
Gelelim veri ambarına veri yükleme işlemlerine,o zaman Lookup Transformation işlemi ile başlayalım.
Bu ifade ile verilerimiz üzerinde işlemler yaparak verilerimizi daha zengin hale getirebiliriz.Şimdi visual studio ile integration services projesi oluşturalım.
Bu örnekte AdventureWorksdw2012 veritabanını kullanacağım.Control Flow dan Data Flow Task ekleyelim ve Data Flow bölümüne gelelim.Yapmak isteğim işlem ürünlerin kategori ve alt kategorilerinin beraber listelenmesidir.Data flow bölümünden Ole Db Source ekleyelim ve Sql Command alanını seçip, aşağıdaki sorgu cümlesini yazalım.

Şimdi Lookup ifadesini ekleyelim.

Ve dimproductcategori tablosunu seçelim,ardından Columns bölümden ıd leri bağlayalım.

Şimdi  ise 2 adet Derived Column ekleyelim.

Yukarıdaki görüntüyü elde ettikten sonra çalıştıralım projeyi.

Sonuç olarak 4 satırlık  bir sonuç elde ederiz.
Şimdi Slowly Changing Dimension ifadesine bakalım.Veri ambarlarında yeni eklenen kayıtların yada  sadece güncellenen kayıtların ele alınması performansın artmasına neden olur.İşte  Slowly Changing Dimension bu durum için kullanılır.
Ole Db Source ekleyerek başlayalım.Ben dbörnek  adında oluşturduğum veritabanımı kullanacağım için ilgili veritabanını seçtikten sonra urun tablosunda Id,renk ve no özellikleri projeme ekliyorum.

Ardından Slowly Changing Dimension ifadesi ekleyelim ,Projemde dbornekdw veritabanında değişiklik yapmak istediğim için ekleyip DimUrun tablomu seçiyorum

Yukarıda görüldüğü gibi No sütununu business key olarak seçiyorum ve ilerliyorum.Aşağıdaki gibi attributeleri seçiyorum.

Ve aşağıdaki gibi destination ve command  ifadeleri eklenir.Şimdi Sql Server’ı açalım Urun tablomuza 1 satır ekleyelim ve ardından Visual Studio da oluşturduğumuz projemizi çalıştıralım yine Sql Server’a gelelim ve DimUrun tablosuna bakalım ve sonuçta  eklediğimiz satırın listelendiğini göreceğiz.