Kelime, cümlede kullanıma göre farklı anlamlar kazanabilir. Anlamsal bilginin çıkarılması metinlerin işlenmesinde önemlidir. Kelimelerin işlenebilir formattaki haline kelime temsili denir.Bu işlenebilir değerler sayısal değerlerdir. Verileri sayısal değerlere dönüştürmek için farklı yöntemler geliştirilmiştir. FastText de tahminleme yaklaşımları ile sözcükler arasındaki anlamsal ilişkileri çıkaran tahminleme tabanlı yöntemlerden birisidir. FastText tek kelimeleri yapay sinir ağına girdi olarak vermek yerine kelimeleri birkaç harf bazlı “n-gram” halinde parçalar.
vanishing gradient problemini çözmek için geliştirilmiştir .LSTM backprop’ta farklı zaman ve katmanlardan gelen hata değerini korumaya yarıyor. Daha sabit bir hata değeri sağlayarak recurrent ağların öğrenme adımlarının devam edebilmesini sağlamaktadır. Bunu sebep sonuç arasına yeni bir kanal açarak yapmaktadır.
Standart RNN’ lerde, bu tekrarlanan modül, tek bir tanh katmanı gibi çok basit bir yapıya sahip olacaktır. LSTM birimi, uzun veya kısa zaman periyotlarını hatırlar. Bu kabiliyetin anahtarı, tekrarlanan bileşenlerinde hiçbir etkinleştirme işlevini kullanmamasıdır. Dolayısıyla, depolanan değer yinelemeli olarak değiştirilmez ve zaman içinde geri yayılımla eğitildiğinde eğim kaybolmaz
TTC-3600 veri kümesi kullanılmıştır. Toplam 6 kategoride (ekonomi, kültür-sanat, sağlık, siyaset, spor, teknoloji) 600 doküman içermektedir.
Activasyon fonksiyonu olarak ‘softmax’ kullanılmış olup arkasından dense katmanına eklenmiştir. Dense, çoğu durumda çalışan standart bir katman türüdür. Yoğun bir katmanda, önceki katmandaki tüm düğümler mevcut katmandaki düğümlere bağlanır . EarlyStopping fonksiyonu ile model ezberlemeye başladığında eğitimin durdurulmasını sağlanır.
Model %61 oranında başarı elde etmiştir. Modeli iyileştirmeye devam ederek sonuçları paylaşmaya çalışacağım.
