Dengesiz Veri Kümesi
Dengesiz Veri Kümesi
Örüntü sınıflandırması ve tahmini, istatistiksel karar verme, örüntü tanıma ve yapay zeka, sinyal algılama ve kestirmedeki temel sorunlardan biridir. Örüntü sınıflandırmasının klasik istatistiksel yöntemleri, esas olarak Bayes istatistiksel ayrım yöntemini, Fisher ayrım yöntemini, log-lineer regresyon modelini ve benzerlerini içerir.
Klasik istatistiksel yöntemlerde örnek sayısının genellikle yeterince büyük olduğu varsayılır. Ancak örnekler genellikle sınırlıdır, hatta pratikte yetersizdir. Bu nedenle son yıllarda örüntü sınıflandırma alanında sinir ağları, kümeleme yöntemi, sonlu örneklere dayalı destek vektör makinesi (DVM) modeli gibi yapay zeka yöntemleri giderek daha popüler hale gelmektedir.
Bankaların müşterilerinin kredi sözleşmesini yerine getirmekte isteksiz olmaları veya yerine getirememeleri nedeniyle bankaların maruz kaldıkları zarar olasılığını öngören bankaların müşteri kredi puanlamasına temerrüt riski tahmini de denir.
Bankaların müşteri kredilerinin değerlendirilmesi ve öngörüsü, müşterilerin sunduğu her türlü bilgiye dayanarak kredilerini zamanında ödeme olasılıklarının tahmin edilmesi ve müşterilerin kredi başvurularının onaylanıp onaylanmayacağına karar verilmesidir. Müşteri kredi puanlaması, bir tür örüntü sınıflandırma problemi olan bankaların kredi riskinin yönetimi için güçlü bir araçtır.
Erken dönemde, kredi puanlamanın ana nesneleri, esnaf, posta şirketleri, finans firmaları gibi küçük ve orta ölçekli işletmelerdir. Sayısal dereceli kredi puanlama karar sistemleri ve istatistiksel sınıflandırma teknikleri kullanılmaktadır. Bireysel kredi kartı hizmeti 1960’lı yıllarda ortaya çıktı.
Bireysel müşteri sayısı ve toplam tüketim miktarları giderek küçük ve orta ölçekli işletmeleri aştı. Kredi puanlama karar verme süreçleri otomatik olarak gerçekleştirilmelidir. Ve bilgisayar ve internet tekniklerinin gelişimi, karar vermenin otomatikleştirilmesi için teknik garanti sağladı.
Ardından bankaların bireysel müşteri kredi skorlama süreçlerinde Bayes ayrım yöntemi, Fisher ayrım yöntemi ve log-lineer regresyon modeli gibi istatistiksel yöntemler uygulanmıştır.
Müşterilerin klasik istatistiksel teorilere dayanan kredi puanlama yöntemleri, genellikle örnek sayılarının sonsuza eğilimli olduğu asimptotik teorinin hipotezi altındadır. Örneklerin olasılık dağılımları ve örneklerle ilgili tahmin edicilerin özellikleri gibi ön bilgiler kullanılır.
Dengesiz veri seti
Dengeli veri seti Nedir
Örnek veri seti
Kaggle veri seti örnekleri
Veri seti nedir
Kaggle Veri Seti
SMOTE
Smote Nedir
1990’lı yıllarda, bankaların müşteri kredi puanlamalarının analiz süreçlerinde sinir ağları ve SVM modelleri gibi veriye dayalı yapay zeka sınıflandırma yöntemleri kullanılmaya başlanmıştır. Veriye dayalı sınıflandırma yöntemleri, istatistiksel öğrenme teorisine dayanmaktadır.
İstatistiksel asimptotik teorinin dezavantajları, veriye dayalı sınıflandırma yöntemleri kullanılarak giderilebilir. Veriye dayalı sınıflandırma yöntemlerinin ilkesi, karar verme işlevinin, nesneler hakkında küçük veya sonlu örnekler kullanılarak öğrenme süreci ile elde edilmesidir. Ve numuneler hakkında önceden bilgi sahibi olunmaması gerekiyordu.
Deneysel riskin en aza indirilmesi, toplam çıktı hatasını en aza indiren sinir ağları tahmin modellerinde kullanılır. Sinir ağları modeline dayalı bireysel kredi puanlama yöntemi referans olarak incelenmiştir.
Ancak sinir ağlarının pratik uygulamaları, öğrenme süreçlerinde aşırı uydurma olgusu, genelleme yeteneğinin olmaması ve yerel ekstremum değerler gibi çeşitli eksiklikler nedeniyle sınırlıdır. Cortes ve Vapnik, karar üst düzleminin yapısal riskin en aza indirilmesiyle oluşturulduğu ve modellerin karmaşıklığı ile deneysel riskin etkin bir şekilde dengelendiği SVM modelini önerdi.
DVM modelleri güçlü genelleme yeteneğine sahiptir. Az sayıda örnek, doğrusal olmayan harita, yüksek boyut tanımı ve yerel ekstremum değerler gibi problemler de çözülebilir. Bu nedenle DVM modelleri, küçük örneklemlerle örüntü sınıflandırmasında, fonksiyonların yaklaştırılmasında vb. kullanım için çok uygundur.
Bazı geliştirilmiş SVM modelleri daha sonra diğer araştırmacılar tarafından önerildi. En küçük kareler DVM modeli önerilmiştir. Wavelet SVM modeli önerildi. Destek vektör alanı açıklama (SVDD) modeli önerildi.
SVM modellerinin uygulamaları da incelenmiştir. SVM modeline dayalı bireysel kredi puanlama yöntemi incelenmiştir. Önerilen maliyete duyarlı SVM modelinde yanlış sınıflandırmanın farklı maliyetleri dikkate alınmıştır. Dengesiz veri setine sahip DVM modelinin sınıflandırma algoritması önerilmiştir.
Ticari bankalarda bireysel kredi kartı hizmetinin gelişmesiyle birlikte bankaların müşteri kredilerinin değerlendirilmesi ve öngörülmesi giderek önem kazanmaktadır. Kredi riskinin yönetiminin amacı, ticari bankaların kârını, sözleşmelerin ihlali olasılığını en aza indirmekten maksimize etmeye dönüşür.
Bankaların müşteri kredi puanlaması, dengesiz veri setiyle bir tür örüntü sınıflandırma problemidir, çünkü iyi kayıt ve kötü kayıt olarak adlandırılan iki sınıf arasında örnek sayıları arasında bariz bir ayrım vardır.
Referanstaki ağırlıklı SVM modelinde pozitif ve negatif örneklerin ağırlıklarının manuel olarak belirlenmesi sübjektiftir. Geliştirilmiş bir SVM modeli, veri kümesi açıklama yöntemine dayanan SVDD modeli önerilmiştir.
SVDD modeli başlangıçta tek sınıflı sınıflandırma problemiyle ilgilenir. SVDD modelinin prensibi, pozitif örneklerin çoğunu içeren yarıçapı en aza indirerek hiper-küreyi oluşturmaktır ve aykırı değerler olarak adlandırılan diğer örnekler hiper-kürenin dışında bulunur.
SVDD modelinin hesaplama görevleri, verilen örnekleri kullanarak hiperkürenin yarıçapını ve merkezini hesaplamaktır. Ve SVDD modeli, veri setini tanımlamada ve aykırı değerleri tespit etmede kullanılabilir. Veri seti, SVDD modelinde hiper-kürenin sınırında bulunan örnekler kullanılarak açıklanır, bu da SVDD modelinin yüksek bilgi işlem verimli olmasını sağlar.
Analiz ettiğimiz gibi, bankaların müşteri kredi puanlaması, dengesiz veri setine sahip bir örüntü sınıflandırma problemidir. Bu çalışmada dengesiz veri seti ile SVDD modeline dayalı olarak bankaların müşteri kredi skorlaması için yeni öngörü yöntemi önerilmiştir. Bildirinin geri kalanı ise şu şekilde düzenlendi.
Müşteri kredi puanlamasının ana teknikleri birinci bölümde gözden geçirildi. Dengesiz veri setine sahip SVDD sınıflandırma modeli ikinci bölümde incelenmiştir. Modelin parametrelerini hesaplamak için çarpımsal güncelleme ilkesi de bu bölümde tartışılmıştır.
Ardından, üçüncü bölümde SVDD modeline dayalı olarak bankaların müşteri kredi puanlamasının tahmin yöntemi önerilmiştir. Dördüncü bölüm, önerilen yöntem ve SVM tabanlı yöntemi kullanan bankaların yapay veri seti ile kıyaslama kredi veri setinin deneysel karşılaştırma sonuçlarını bildirdi. Son bölümde sonuçlar çıkarıldı.
Dengeli veri seti Nedir Dengesiz veri seti Kaggle Veri Seti Kaggle veri seti örnekleri Örnek veri seti SMOTE Smote Nedir Veri seti nedir