Doc2Vec.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Kütüphaneleri yüklüyoruz\n",
    "import pandas as pd\n",
    "import re\n",
    "import numpy as np\n",
    "import gensim"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "data=pd.read_csv('BigAll.csv') # Hürriyetten scrape edilmiş haberler\n",
    "data.drop(columns=['Unnamed: 0'],inplace=True)\n",
    "data.columns = ['Haber','Ozet','Baslık','Tarıh'] # Verimizin sütun isimlerini değiştiriyoruz"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Verimiz çok büyük olduğu için 7000 lik kısmıyla çalışıcaz.\n",
    "# Dilerseniz daha büyük veriyle çalışabilirsiniz.\n",
    "data2=data.iloc[0:7000]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Haber</th>\n",
       "      <th>Ozet</th>\n",
       "      <th>Baslık</th>\n",
       "      <th>Tarıh</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>OCI'dan yapılan açıklamada, OCI Çimento A.Ş'ni...</td>\n",
       "      <td>Orascom Construction Industries (OCI), Batı An...</td>\n",
       "      <td>OCI Batı Çimento'da çağrı için onay aldı</td>\n",
       "      <td>26.03.2007</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\nDün düzenlen...</td>\n",
       "      <td>Kayseri'de dün Dışişleri Bakanı ve Başbakan Ya...</td>\n",
       "      <td>DSİ'den 147 milyon ytl'lik yatırım</td>\n",
       "      <td>26.03.2007</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\nOlay, Reyhan...</td>\n",
       "      <td>Hatay’ın Reyhanlı İlçesi’ndeki Afrin Çayı kena...</td>\n",
       "      <td>Afrin Çayı’nda boğuldu</td>\n",
       "      <td>26.03.2007</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\nSarıgöl İlçe...</td>\n",
       "      <td>Manisa'nın Sarıgöl ilçesindeki üzüm üreticiler...</td>\n",
       "      <td>Üzüm üreticisi “idareli su” için damlama yönte...</td>\n",
       "      <td>26.03.2007</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\nMusul polisi...</td>\n",
       "      <td>Irak genelinde şiddet olayları sürerken, bugün...</td>\n",
       "      <td>Irak'ta 6 kişi öldü, 2 ceset bulundu</td>\n",
       "      <td>26.03.2007</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\nOlay önceki ...</td>\n",
       "      <td>BOLU'da, zihinsel engelli 21 yaşındaki Y.T.'ye...</td>\n",
       "      <td>Zihinsel engelli genç kıza ormanda tecavüz idd...</td>\n",
       "      <td>26.03.2007</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\n BAKAN UNAKI...</td>\n",
       "      <td>Maliye Bakanı Kemal Unakıtan'a mısır atıldı, S...</td>\n",
       "      <td>Unakıtan'a mısır attılar</td>\n",
       "      <td>26.03.2007</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\nÇalışkan, fa...</td>\n",
       "      <td>AK Parti Adana Milletvekili Abdullah Çalışkan,...</td>\n",
       "      <td>Adana Tekel Sigara Fabrikası üretime başlıyor</td>\n",
       "      <td>26.03.2007</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                               Haber  \\\n",
       "0  OCI'dan yapılan açıklamada, OCI Çimento A.Ş'ni...   \n",
       "1  \\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\nDün düzenlen...   \n",
       "2  \\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\nOlay, Reyhan...   \n",
       "3  \\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\nSarıgöl İlçe...   \n",
       "4  \\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\nMusul polisi...   \n",
       "5  \\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\nOlay önceki ...   \n",
       "6  \\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\n BAKAN UNAKI...   \n",
       "7  \\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\r\\nÇalışkan, fa...   \n",
       "\n",
       "                                                Ozet  \\\n",
       "0  Orascom Construction Industries (OCI), Batı An...   \n",
       "1  Kayseri'de dün Dışişleri Bakanı ve Başbakan Ya...   \n",
       "2  Hatay’ın Reyhanlı İlçesi’ndeki Afrin Çayı kena...   \n",
       "3  Manisa'nın Sarıgöl ilçesindeki üzüm üreticiler...   \n",
       "4  Irak genelinde şiddet olayları sürerken, bugün...   \n",
       "5  BOLU'da, zihinsel engelli 21 yaşındaki Y.T.'ye...   \n",
       "6  Maliye Bakanı Kemal Unakıtan'a mısır atıldı, S...   \n",
       "7  AK Parti Adana Milletvekili Abdullah Çalışkan,...   \n",
       "\n",
       "                                              Baslık       Tarıh  \n",
       "0           OCI Batı Çimento'da çağrı için onay aldı  26.03.2007  \n",
       "1                 DSİ'den 147 milyon ytl'lik yatırım  26.03.2007  \n",
       "2                             Afrin Çayı’nda boğuldu  26.03.2007  \n",
       "3  Üzüm üreticisi “idareli su” için damlama yönte...  26.03.2007  \n",
       "4               Irak'ta 6 kişi öldü, 2 ceset bulundu  26.03.2007  \n",
       "5  Zihinsel engelli genç kıza ormanda tecavüz idd...  26.03.2007  \n",
       "6                           Unakıtan'a mısır attılar  26.03.2007  \n",
       "7      Adana Tekel Sigara Fabrikası üretime başlıyor  26.03.2007  "
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data2.head(8)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "data['Cleaned'] = pd.Series() # Haberlerimizi temizledikten sonra kaydetmek için değişken atıyoruz"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Haberlerin içerdiği gereksiz karakterleri temizlemek için fonksiyon\n",
    "\n",
    "def cleantext(text2):\n",
    "    text = re.sub(r\"\\r\", \"\", text2)\n",
    "    text = re.sub(r\"\\n\", \"\", text)\n",
    "    text = re.sub(r\"/n\", \"\", text)\n",
    "    text = re.sub(r\"/\", \"\", text)\n",
    "    text = re.sub(r\"\\\\\", \"\", text)\n",
    "    text = re.sub('�', '',text)\n",
    "    text = re.sub('/', '',text)\n",
    "    text = re.sub(\"\\'\", '',text)\n",
    "    return text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "data2['Cleaned'] = data2['Haber'].apply(cleantext) # Haberlerimizi temizleyip 'Cleaned' sütununda topluyoruz"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "data2.to_csv('7000_haber.csv') # Görsel modelde kullanılması için 7000 haberi kaydediyoruz."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Haber benzerliği için class'ımız\n",
    "\n",
    "class DocSim(object):\n",
    "    def __init__(self, w2v_model , stopwords=[]):\n",
    "        self.w2v_model = w2v_model\n",
    "        self.stopwords = stopwords\n",
    "\n",
    "    def vectorize(self, doc):\n",
    "        \"\"\"Identify the vector values for each word in the given document\"\"\"\n",
    "        doc = doc.lower()\n",
    "        words = [w for w in doc.split(\" \") if w not in self.stopwords]\n",
    "        word_vecs = []\n",
    "        for word in words:\n",
    "            try:\n",
    "                vec = self.w2v_model[word]\n",
    "                word_vecs.append(vec)\n",
    "            except KeyError:\n",
    "                # Kelime sözlükte yoksa yok sayıyoruz.\n",
    "                pass\n",
    "\n",
    "        # Döküman vektörleri tüm kelime vektörlerinin ortalaması olduğunu kabul ediyoruz.\n",
    "        # Not: Daha iyi yollar da var\n",
    "        vector = np.mean(word_vecs, axis=0)\n",
    "        return vector\n",
    "\n",
    "\n",
    "    def _cosine_sim(self, vecA, vecB):\n",
    "        \"\"\"İki vektör arasındaki cosinüs benzerliğini hesaplıyoruz\"\"\"\n",
    "        csim = np.dot(vecA, vecB) / (np.linalg.norm(vecA) * np.linalg.norm(vecB))\n",
    "        if np.isnan(np.sum(csim)):\n",
    "            return 0\n",
    "        return csim\n",
    "\n",
    "    def calculate_similarity(self, source_doc, target_docs=[], threshold=0):\n",
    "        \"\"\"Verilen haberle diğer haberleri karşılaştırarak benzerlik skorlarını hesaplıyıp\n",
    "            sonuç olarak döndürüyoruz.\"\"\"\n",
    "        if isinstance(target_docs, str):\n",
    "            target_docs = [target_docs]\n",
    "\n",
    "        source_vec = self.vectorize(source_doc)\n",
    "        results = []\n",
    "        for doc in target_docs:\n",
    "            target_vec = self.vectorize(doc)\n",
    "            sim_score = self._cosine_sim(source_vec, target_vec)\n",
    "            if sim_score > threshold:\n",
    "                results.append({\n",
    "                    'score' : sim_score,\n",
    "                    'doc' : doc\n",
    "                })\n",
    "            results.sort(key=lambda k : k['score'] , reverse=True)\n",
    "\n",
    "        return results"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from gensim.models.keyedvectors import KeyedVectors\n",
    "\n",
    "# Türkçe kelimelerle önceden eğitilmiş Word2Vec modelimizi kullanıyoruz.\n",
    "model_path = 'trmodel'\n",
    "w2v_model = KeyedVectors.load_word2vec_format(model_path, binary=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Türkçe stopwordsları text dosyasından okuyoruz.\n",
    "\n",
    "file=open('KaVe2019/stopwords-tr.txt', 'r')\n",
    "stopwords = list(file.read().split())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "ds = DocSim(w2v_model,stopwords)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "source_doc=data2['Cleaned'][912] #Karşılaştırmak istediğimiz haber\n",
    "target_docs=list(data2['Cleaned'].iloc[1:7000]) #Karşılaştırıldığı diğer haberler\n",
    "\n",
    "sim_scores = ds.calculate_similarity(source_doc, target_docs) #Benzerliğin hesaplanması"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "source_doc # Bizim haberimiz"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "sim_scores[1:11] # En yakın 10 haberi skorları ve içerikleriyle beraber döndürüyoruz."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}