Sentence generation with Pymorphit.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "from pymorphit.pymorphit import Morphit\n",
    "import re\n",
    "import itertools\n",
    "import random as rd"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Obiettivo: generare un set di frasi del tipo \"dove si trovano le mie bollette\"\n",
    "### Scrivo delle liste-vocabolario immaginando possibili alternative lessicali"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "mia = [\"mia\", \"\"]\n",
    "bolletta = [\"bolletta\", \"bollette\"]\n",
    "essere = [\"sono\", \"stare\", \"si* trova\"] # l'asterisco permette di segnalare a pymorphit che la parola precedente è invariante"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Posso interrogare wordnet italiano se non mi vengono in mente sinonimi"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'bill.n.02': ['bolletta', 'bulletta', 'conto', 'fattura'],\n",
       " 'receipt.n.02': ['bolletta',\n",
       "  'bulletta',\n",
       "  'contromarca',\n",
       "  'polizza',\n",
       "  'quetazione',\n",
       "  'quietanza',\n",
       "  'quietazione',\n",
       "  'ricevuta',\n",
       "  'ricevuta_fiscale',\n",
       "  'scontrino',\n",
       "  'ticket']}"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "def synonyms(lemma):\n",
    "    from nltk.corpus import wordnet as wn\n",
    "    synmorph = {}\n",
    "    wnet_lemmas = wn.lemmas(lemma, lang=\"ita\")\n",
    "    for index, wnet_lemma in enumerate(wnet_lemmas):\n",
    "        syns = wnet_lemma.synset()\n",
    "        m = re.findall(\"\\'([^']*)\\'\", str(syns))\n",
    "        synmorph.update({m[0]: syns.lemma_names(lang=\"ita\")})\n",
    "    return synmorph\n",
    "\n",
    "\n",
    "synonyms(\"bolletta\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### \"fattura\" per esempio è un buon sinonimo di 'bolletta', lo aggiungo alla mia variabile"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "bolletta.append(\"fattura\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Le mie liste-vocabolario sono un po' piccole, ma vediamo quante combinazioni posso generare a partire da queste. Tante sono le combinazioni, tante le frasi uniche che posso generare!\n",
    "### Scrivo una semplice funzione con itertools, che prende in argomento le mie variabili (nell'ordine naturale della frase)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Le possibili combinazioni sono in tutto 18\n",
      "\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "[('sono', 'mia', 'bolletta'),\n",
       " ('sono', 'mia', 'bollette'),\n",
       " ('sono', 'mia', 'fattura'),\n",
       " ('sono', '', 'bolletta'),\n",
       " ('sono', '', 'bollette'),\n",
       " ('sono', '', 'fattura'),\n",
       " ('stare', 'mia', 'bolletta'),\n",
       " ('stare', 'mia', 'bollette'),\n",
       " ('stare', 'mia', 'fattura'),\n",
       " ('stare', '', 'bolletta'),\n",
       " ('stare', '', 'bollette'),\n",
       " ('stare', '', 'fattura'),\n",
       " ('si* trova', 'mia', 'bolletta'),\n",
       " ('si* trova', 'mia', 'bollette'),\n",
       " ('si* trova', 'mia', 'fattura'),\n",
       " ('si* trova', '', 'bolletta'),\n",
       " ('si* trova', '', 'bollette'),\n",
       " ('si* trova', '', 'fattura')]"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "def combo(*args):\n",
    "    slots = [i for i in args]\n",
    "    return [combo for combo in itertools.product(*slots)]\n",
    "\n",
    "combos1 = combo(essere, mia, bolletta)\n",
    "print(f'Le possibili combinazioni sono in tutto {len(combos1)}')\n",
    "print()\n",
    "combos1"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### La lista 'bolletta' contiene le parole destinate a essere la testa della frase, ossia la parola alla quale tutte le altre si devono accordare per generare una frase morfologicamente corretta\n",
    "### Qui entra in gioco Pymorphit: per ogni combinazione viene inizializzato l'oggetto Morphit corrispondente alla testa. Per ragioni di efficienza, le parole già viste da Morphit vengono stoccate (funzione store)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "seen = {}\n",
    "\n",
    "def store(w, seen=seen):\n",
    "    if w not in seen.keys():\n",
    "        seen[w] = Morphit(w, \"NOUN\")\n",
    "    return seen[w]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Adesso ciclo sulla lista di combinazioni e genero le frasi, tutte correttamente concordate con i metodi di Pymorphit"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "gen_sents = []\n",
    "\n",
    "for essere, mia, bill in combos1:\n",
    "    \n",
    "    # h sta per head: la parola a cui si accordano le altri parti del discorso\n",
    "    h = store(bill)\n",
    "    \n",
    "    # i verbi di tipo \"essere\" di accordano al soggetto \"bolletta\" e cosivvia. \n",
    "    gen_sents.append(f'dove {h.agr(essere)} {h.article()} {h.agr(mia)} {h.word}?')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['dove é la mia bolletta?',\n",
       " 'dove sono le mie bollette?',\n",
       " 'dove é la mia fattura?',\n",
       " 'dove é la  bolletta?',\n",
       " 'dove sono le  bollette?',\n",
       " 'dove é la  fattura?',\n",
       " 'dove sta la mia bolletta?',\n",
       " 'dove stanno le mie bollette?',\n",
       " 'dove sta la mia fattura?',\n",
       " 'dove sta la  bolletta?',\n",
       " 'dove stanno le  bollette?',\n",
       " 'dove sta la  fattura?',\n",
       " 'dove si trova la mia bolletta?',\n",
       " 'dove si trovano le mie bollette?',\n",
       " 'dove si trova la mia fattura?',\n",
       " 'dove si trova la  bolletta?',\n",
       " 'dove si trovano le  bollette?',\n",
       " 'dove si trova la  fattura?']"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "gen_sents"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Ci sono un po' di doppi spazi. Puliamo le frasi con una funzione di formattazione"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Dove é la mia bolletta?',\n",
       " 'Dove sono le mie bollette?',\n",
       " 'Dove é la mia fattura?',\n",
       " 'Dove é la bolletta?',\n",
       " 'Dove sono le bollette?',\n",
       " 'Dove é la fattura?',\n",
       " 'Dove sta la mia bolletta?',\n",
       " 'Dove stanno le mie bollette?',\n",
       " 'Dove sta la mia fattura?',\n",
       " 'Dove sta la bolletta?',\n",
       " 'Dove stanno le bollette?',\n",
       " 'Dove sta la fattura?',\n",
       " 'Dove si trova la mia bolletta?',\n",
       " 'Dove si trovano le mie bollette?',\n",
       " 'Dove si trova la mia fattura?',\n",
       " 'Dove si trova la bolletta?',\n",
       " 'Dove si trovano le bollette?',\n",
       " 'Dove si trova la fattura?']"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "def formatt(frase):\n",
    "    punkt1 = re.sub(r'([A-z])( )([,.?!\"])',r\"\\1\\3\", frase)\n",
    "    punkt2 = re.sub(r'(\\')( )([A-z])',r\"\\1\\3\", punkt1)\n",
    "    formatted = re.sub(r\"(^|[.?!])\\s*([a-zA-Zè])\", lambda p: p.group(0).upper(), punkt2)\n",
    "    return re.sub(\" +\",\" \", formatted)\n",
    "\n",
    "[formatt(i) for i in gen_sents]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Adesso qualcosa di più elaborato..."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Le possibili combinazioni sono in tutto 432\n"
     ]
    }
   ],
   "source": [
    "non = [\"dove\",\"non\"]\n",
    "trovo = [\"trovo\", \"vedo\", \"posso vedere\"]\n",
    "mia = [\"mia\", \"\"]\n",
    "bolletta = [\"bolletta\", \"bollette\", \"fatture\"]\n",
    "su = [\"in\", \"su\"]\n",
    "area = [\"area\", \"spazio\"]\n",
    "clienti = ['riservato', 'clienti*', \"personale\"]\n",
    "\n",
    "\n",
    "combos2 = combo(non, trovo, mia, bolletta, su, area, clienti)\n",
    "print(f'Le possibili combinazioni sono in tutto {len(combos2)}')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "gen_sents = []\n",
    "\n",
    "for non, trovo, mia, bolletta, su, area, clienti in combos2:\n",
    "    \n",
    "    # qui abbiamo due teste, perché il secondo sintagma si accorda alla variabile \"area\"\n",
    "    h1 = store(bolletta)\n",
    "    h2 = store(area)\n",
    "    \n",
    "    gen_sents.append(f'{non} {trovo} {h1.article()} {h1.agr(mia)} {h1.word} {h2.preposition(su)} {h2.word} {h2.agr(clienti)}')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "# formatto\n",
    "\n",
    "gen_sents_format = [formatt(i) for i in gen_sents]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Anche se sono tutte diverse, la ripetitività di queste frasi è ovviamente molto alta, perché il vocabolario di riferimento è piccolo. Potrei volerne prendere solo un subset di 100 frasi"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Non vedo le bollette sullo spazio riservato',\n",
       " \"Dove trovo le bollette nell'area clienti\",\n",
       " 'Non trovo le bollette nello spazio riservato',\n",
       " \"Dove trovo le mie bollette sull'area riservata\",\n",
       " \"Non posso vedere le mie bollette nell'area clienti\",\n",
       " 'Non trovo le mie fatture nello spazio personale',\n",
       " 'Non trovo la mia bolletta sullo spazio personale',\n",
       " \"Non vedo la mia bolletta sull'area personale\",\n",
       " \"Dove vedo le mie bollette sull'area riservata\",\n",
       " \"Dove posso vedere le mie bollette nell'area riservata\",\n",
       " \"Non vedo le mie fatture nell'area clienti\",\n",
       " \"Dove trovo la mia bolletta sull'area riservata\",\n",
       " 'Non posso vedere le fatture sullo spazio personale',\n",
       " 'Non posso vedere la bolletta nello spazio personale',\n",
       " \"Dove vedo le bollette sull'area personale\",\n",
       " 'Dove vedo le mie fatture nello spazio personale',\n",
       " 'Dove posso vedere la mia bolletta sullo spazio personale',\n",
       " \"Dove vedo le mie fatture sull'area riservata\",\n",
       " \"Dove posso vedere le mie bollette nell'area personale\",\n",
       " 'Dove trovo le mie fatture nello spazio clienti',\n",
       " \"Dove vedo la bolletta nell'area riservata\",\n",
       " 'Non trovo le mie bollette nello spazio riservato',\n",
       " 'Non trovo le mie fatture sullo spazio riservato',\n",
       " 'Dove vedo le bollette sullo spazio riservato',\n",
       " 'Non posso vedere la bolletta sullo spazio clienti',\n",
       " 'Non posso vedere le fatture sullo spazio clienti',\n",
       " 'Non vedo le mie fatture nello spazio clienti',\n",
       " 'Non trovo le fatture sullo spazio clienti',\n",
       " \"Dove posso vedere le mie bollette sull'area personale\",\n",
       " \"Dove posso vedere le mie fatture sull'area personale\",\n",
       " 'Dove posso vedere le mie bollette sullo spazio personale',\n",
       " \"Non trovo le bollette sull'area riservata\",\n",
       " \"Non posso vedere la bolletta sull'area clienti\",\n",
       " 'Non trovo la bolletta sullo spazio riservato',\n",
       " 'Non posso vedere le mie bollette nello spazio personale',\n",
       " \"Dove trovo le mie fatture sull'area personale\",\n",
       " \"Non vedo le fatture sull'area clienti\",\n",
       " 'Non posso vedere la mia bolletta nello spazio clienti',\n",
       " 'Non trovo le mie fatture sullo spazio personale',\n",
       " 'Non vedo la mia bolletta nello spazio clienti',\n",
       " \"Dove trovo le bollette sull'area clienti\",\n",
       " 'Non posso vedere le mie fatture sullo spazio riservato',\n",
       " \"Non posso vedere le fatture nell'area riservata\",\n",
       " 'Non posso vedere le mie fatture nello spazio riservato',\n",
       " 'Dove posso vedere le mie fatture sullo spazio personale',\n",
       " 'Dove trovo le fatture nello spazio personale',\n",
       " \"Non posso vedere le mie bollette sull'area clienti\",\n",
       " 'Non posso vedere le mie fatture nello spazio personale',\n",
       " 'Non posso vedere le fatture nello spazio riservato',\n",
       " \"Non trovo le mie bollette sull'area clienti\",\n",
       " 'Non vedo la mia bolletta sullo spazio personale',\n",
       " 'Non posso vedere le mie bollette sullo spazio riservato',\n",
       " 'Non vedo le mie bollette nello spazio personale',\n",
       " \"Non trovo la mia bolletta sull'area clienti\",\n",
       " 'Non vedo la bolletta sullo spazio riservato',\n",
       " \"Non trovo le mie fatture sull'area riservata\",\n",
       " \"Non vedo le mie bollette sull'area riservata\",\n",
       " 'Dove posso vedere la mia bolletta sullo spazio clienti',\n",
       " \"Non trovo la bolletta sull'area clienti\",\n",
       " 'Non vedo le mie fatture nello spazio riservato',\n",
       " \"Dove posso vedere la mia bolletta sull'area riservata\",\n",
       " 'Non trovo le fatture nello spazio personale',\n",
       " \"Dove vedo la mia bolletta sull'area clienti\",\n",
       " \"Non vedo le bollette nell'area riservata\",\n",
       " \"Non trovo le bollette sull'area personale\",\n",
       " 'Dove vedo la mia bolletta sullo spazio riservato',\n",
       " \"Non trovo la bolletta nell'area personale\",\n",
       " \"Dove trovo le fatture sull'area clienti\",\n",
       " 'Non posso vedere le fatture nello spazio personale',\n",
       " \"Dove posso vedere le bollette nell'area riservata\",\n",
       " 'Dove vedo la bolletta sullo spazio personale',\n",
       " 'Dove vedo le mie bollette nello spazio personale',\n",
       " 'Non trovo la bolletta nello spazio riservato',\n",
       " \"Dove vedo le mie fatture nell'area riservata\",\n",
       " 'Non vedo le bollette nello spazio riservato',\n",
       " 'Dove trovo le mie bollette nello spazio riservato',\n",
       " \"Non posso vedere le mie bollette sull'area personale\",\n",
       " \"Non posso vedere le fatture sull'area personale\",\n",
       " \"Dove posso vedere le mie fatture sull'area clienti\",\n",
       " 'Dove trovo le bollette nello spazio riservato',\n",
       " 'Dove vedo le bollette sullo spazio personale',\n",
       " 'Non trovo la mia bolletta nello spazio personale',\n",
       " 'Non trovo le bollette nello spazio personale',\n",
       " \"Non trovo le mie bollette nell'area personale\",\n",
       " 'Dove vedo la bolletta sullo spazio riservato',\n",
       " \"Non posso vedere la mia bolletta sull'area personale\",\n",
       " \"Dove posso vedere le bollette nell'area clienti\",\n",
       " \"Non vedo la bolletta sull'area personale\",\n",
       " \"Dove vedo le mie bollette nell'area clienti\",\n",
       " \"Non trovo le mie fatture nell'area riservata\",\n",
       " \"Non vedo le bollette sull'area personale\",\n",
       " 'Non vedo le mie fatture nello spazio personale',\n",
       " \"Dove trovo le fatture nell'area personale\",\n",
       " \"Dove posso vedere le mie fatture nell'area personale\",\n",
       " 'Dove vedo le fatture sullo spazio clienti',\n",
       " 'Dove vedo le bollette nello spazio riservato',\n",
       " \"Dove trovo la bolletta nell'area riservata\",\n",
       " \"Dove vedo le fatture sull'area riservata\",\n",
       " \"Dove posso vedere la mia bolletta nell'area personale\",\n",
       " \"Dove posso vedere la bolletta nell'area personale\"]"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "rd.sample(gen_sents_format, 100)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "nlg_venv",
   "language": "python",
   "name": "nlg_venv"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.9"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}