emojify.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Emojify (Thai)!!\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "#!pip install pythainlp\n",
    "import numpy as np\n",
    "from emo_utils import *\n",
    "import emoji\n",
    "import matplotlib.pyplot as plt\n",
    "from pythainlp.tokenize import word_tokenize\n",
    "\n",
    "%matplotlib inline"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "def read_csv(filename = 'data/emojify_data.csv'):\n",
    "    phrase = []\n",
    "    emoji = []\n",
    "\n",
    "    with open (filename) as csvDataFile:\n",
    "        csvReader = csv.reader(csvDataFile)\n",
    "\n",
    "        for row in csvReader:\n",
    "            phrase.append(row[0])\n",
    "            emoji.append(row[1])\n",
    "\n",
    "    X = np.asarray(phrase)\n",
    "    Y = np.asarray(emoji, dtype=int)\n",
    "\n",
    "    return X, Y\n",
    "\n",
    "def convert_to_one_hot(Y, C):\n",
    "    Y = np.eye(C)[Y.reshape(-1)]\n",
    "    return Y\n",
    "\n",
    "\n",
    "emoji_dictionary = {\"0\": \"\\u2764\\uFE0F\",    # :heart: prints a black instead of red heart depending on the font\n",
    "                    \"1\": \":baseball:\",\n",
    "                    \"2\": \":smile:\",\n",
    "                    \"3\": \":disappointed:\",\n",
    "                    \"4\": \":fork_and_knife:\"}\n",
    "\n",
    "def label_to_emoji(label):\n",
    "    \"\"\"\n",
    "    Converts a label (int or string) into the corresponding emoji code (string) ready to be printed\n",
    "    \"\"\"\n",
    "    return emoji.emojize(emoji_dictionary[str(label)], use_aliases=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "X_train, Y_train = read_csv('data/training_th_cleaned.csv')\n",
    "X_test, Y_test = read_csv('data/testing_th_cleaned.csv')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[['มา', 'กา', 'รู', 'น', 'ฝรั่งเศส', 'อร่อย', 'มาก'], ['งาน', 'แย่มาก'], ['ฉัน', 'อารมณ์เสีย'], ['โยน', 'บอล'], ['เรื่องตลก', 'ดี'], ['เกม', 'เบสบอล', 'ที่', 'คุณ', 'ชอบ', 'คือ', 'อะไร'], ['ฉัน', 'กำลัง', 'ปรุง', 'เนื้อสัตว์'], ['หยุด', 'กวน', 'แถว', 'นี้', 'ได้', 'แล้ว'], ['ฉัน', 'ต้องการ', 'อาหารจีน'], ['ปล่อย', 'ให้', 'เรา', 'ไป', 'เล่น', 'เบสบอล'], ['คุณ', 'ล้มเหลว', 'ใน', 'การออกกำลังกาย', 'นี้'], ['เมื่อวาน', 'นี้', 'เรา', 'แพ้', 'อีกครั้ง'], ['งาน', 'ดี'], ['ฮ่า', 'ฮ่า', 'มัน', 'ตลก', 'มาก'], ['ฉัน', 'จะ', 'มี', 'ชีส', 'เค้ก'], ['ทำไม', 'คุณ', 'รู้สึก', 'ไม่ดี'], ['ฉัน', 'ต้องการ', 'ที่จะ', 'เล่นตลก'], ['ฉัน', 'ไม่เคย', 'บอ', 'กว่า', 'ใช่', 'สำหรับ', 'เรื่อง', 'นี้'], ['งานเลี้ยง', 'ถูก', 'ยกเลิก'], ['บอล', 'อยู่', 'ที่ไหน'], ['ฉัน', 'ผิดหวัง'], ['ฮ่า', 'ฮ่า', 'ฮ่า', ' '], ['เธอ', 'บอ', 'กว่า', 'ใช่'], ['เขา', 'ได้เงิน', 'ดือ', 'น', 'เพิ่ม'], ['ครอบครัว', 'เป็น', 'สิ่ง', 'สำคัญ', 'ที่สุด'], ['เขา', 'สามารถ', 'โยน', 'ลูก', 'ได้ดี', 'จริงๆ'], ['ฉัน', 'รัก', 'ดวงดาว', 'และ', 'กลับ'], ['คุณ', 'ชอบ', 'พิซซ่า', 'ไหม'], ['คุณ', 'สมควร', 'ได้', 'รับรางวัล', 'นี้', 'ทั้งหมด'], ['ฉัน', 'คิดถึง', 'คุณ', 'มาก'], ['ฉัน', 'ชอบ', 'เสื้อ', 'ของ', 'คุณ'], ['เธอ', 'มอบ', 'ของขวัญ', 'ให้', 'ฉัน'], ['คุณ', 'จะ', 'เป็น', 'คนรัก', 'ของ', 'ฉัน'], ['ทำ', 'ข้อสอบ', 'ไม่ได้'], ['ใคร', 'อยาก', 'ไป', 'ร้านอาหาร'], ['วัน', 'วาเลนไทน์', 'อยู่', 'ใกล้', 'แล้ว'], ['เยี่ยมยอด', 'มาก'], ['คุณ', 'มีลูก', 'เบสบอล', 'ไหม'], ['เขา', 'ไม่', 'สามารถ', 'ทำ', 'อะไร', 'ได้'], ['เขา', 'ชอบ', 'เบสบอล'], ['วันนี้', 'เรา', 'มี', 'อาหารค่ำ', 'แสน', 'อร่อย', 'เช่นนี้'], ['ผัก', 'มี', 'สุขภาพ', 'ดี'], ['เขา', 'เป็นเพื่อน', 'ที่', 'ดี'], ['ไม่เคย', 'พูดคุย', 'กับ', 'ฉัน', 'อีกแล้ว'], ['ฉัน', 'คิดถึง', 'เธอ'], ['อาหาร', 'คือ', 'ชีวิต'], ['ฉัน', 'มี', 'ความ', 'สนุกสนาน'], ['เลวร้าย', 'ที่', 'คุณ', 'ไม่', 'สามารถ', 'มา', 'กับ', 'เรา'], ['คุณ', 'ต้องการ', 'ที่จะ', 'เข้าร่วม', 'ฉัน', 'สำหรับ', 'อาหารค่ำ'], ['ฉัน', 'ชอบ', 'ยิ้ม'], ['เขา', 'ได้', 'งาน', 'ที่', 'น่าอัศจรรย์'], ['หยุด', 'ตะโกน', 'ใส่', 'ฉัน'], ['ฉัน', 'รัก', 'การ', 'พัก'], ['คุณ', 'ฉลาด', 'และ', 'มีพรสวรรค์', 'อย่าง', 'ไม่น่าเชื่อ'], ['ฉัน', 'ภูมิใจ', 'ใน', 'ความสำเร็จ', 'ของ', 'คุณ'], ['เสียใจ', 'ที่', 'คุณ', 'ไม่', 'ได้มา'], ['ตลก'], ['หยุด', 'พูดพล่าม'], ['ยอด', 'ไป', 'เลย', 'สำหรับ', 'การ', 'ประกาศ', 'มี', 'คน', 'สนใจ', 'มัน', 'มาก'], ['ความ', 'เชี่ยวชาญ', 'นี้', 'เป็น', 'ที่', 'ดี'], ['ฉัน', 'กำลัง', 'รอ', 'เธอ', 'อยู่', 'สอง', 'ชั่วโมง'], ['เธอ', 'ใช้เวลา', 'ตลอดไป', 'เพื่อ', 'เตรียมพร้อม'], ['ยาย', 'ของ', 'ฉัน', 'คือ', 'ความรัก', 'ใน', 'ชีวิต', 'ของ', 'ฉัน'], ['ฉัน', 'จะ', 'ฉลอง', 'เร็ว', ' ', 'ๆ', ' ', 'นี้'], ['โค้ด', 'ของ', 'ฉัน', 'ทำงาน', 'ได้', ' ', 'แต่', 'อาจารย์', 'ให้', 'เกรด', 'ฉัน', 'ศูนย์'], ['เธอ', 'เป็น', 'คน', 'ที่', 'น่ารัก', 'ที่สุด', 'เท่าที่', 'ฉัน', 'เคย', 'เห็น', 'มา'], ['เขา', 'หัวเราะ'], ['ฉัน', 'รัก', 'สุนัข', 'ของ', 'ฉัน'], ['ฉัน', 'รัก', 'คุณแม่'], ['ดีมาก'], ['คุณ', 'มา', 'กล้า', 'ถาม', 'ว่า'], ['ผู้ชาย', 'คน', 'นี้', 'เป็น', 'เช่น', 'เรื่องตลก'], ['ฉัน', 'รัก', 'อาหาร', 'อินเดีย'], ['คุณ', 'ลง', 'เล่น', 'เบสบอล', 'ช่วง', 'บ่าย', 'วันนี้', 'ไหม'], ['นี้', 'ไม่ดี'], ['ความ', 'โง่เขลา', 'ของ', 'คุณ', 'ไม่มี', 'ขีด', ' ', 'จำกัด', ' '], ['ฉัน', 'รัก', 'พ่อ', 'ของ', 'ฉัน'], ['คุณ', 'ต้องการ', 'ให้', 'ฉัน', 'กอด'], ['ผู้หญิง', 'คน', 'นี้', 'ช่าง', 'ใจแคบ'], ['ฉัน', 'ตื่นเต้น'], ['ฉัน', 'คิดถึง', 'เขา'], ['มี', 'อะไร', 'ผิดปกติ', 'กับ', 'คุณ'], ['พวกเขา', 'เป็น', 'คนใจดี', 'และ', 'เป็นมิตร'], ['ผม', 'รู้สึก', 'ประทับใจ', 'กับ', 'ความ', 'ทุ่มเท', 'ของ', 'คุณ', 'ใน', 'โครงการ', 'นี้'], ['เรา', 'ทำ', 'มัน'], ['ฉัน', 'สั่งอาหาร'], ['เสียง', 'เหมือน', 'แผน', 'ความสนุก', 'ฮ่า', 'ฮ่า'], ['ฉัน', 'มีความสุข', 'มาก', 'สำหรับ', 'คุณ'], ['คิดถึง', 'คุณ', 'มาก'], ['ฉัน', 'รัก', 'คุณ'], ['เรื่องตลก', 'นี้', 'กำลัง', 'ฆ่า', 'ฉัน', 'ฮ่า', 'ฮ่า'], ['คุณ', 'ยัง', 'ไม่', 'ผ่าน', 'การ', 'รับรอง', 'สำหรับ', 'ตำแหน่ง', 'นี้'], ['คิดถึง', 'คุณ', ' ', 'สุดที่รัก', 'ของ', 'ฉัน', ' '], ['ฉัน', 'ต้องการ', 'กิน'], ['ฉัน', 'รู้สึก', 'ตื่นเต้น', 'มาก', 'ที่', 'ได้', 'พบ', 'คุณ', 'หลังจากนั้น', 'นาน'], ['เขา', 'เป็น', 'ผู้', 'เล่น', 'ที่', 'ดี', 'ที่สุด'], ['อะไร', 'เป็น', 'ช่วงเวลา', 'ที่', 'สนุก'], ['อัล', 'กอ', 'ริ', 'ทึม', 'ของ', 'ฉัน', 'ทำงาน', 'ได้', 'ไม่ดี'], ['หยุด', 'ตะโกน', 'ใส่', 'ฉัน'], ['รอยยิ้ม', 'ของ', 'เธอ', 'จึง', 'มีเสน่ห์', 'มาก'], ['เป็น', 'วันที่', 'เลวร้าย', 'ที่สุด', 'ใน', 'ชีวิต', 'ฉัน'], ['เขา', 'หล่อ'], ['ไม่มีใคร', 'ชอบ', 'เขา'], ['เธอ', 'เป็น', 'คน', 'น่าสนใจ'], ['มัน', 'ตลก', 'ฮ่า', ' ', 'ๆ', ' '], ['เขา', 'น่ารัก'], ['คุณ', 'ทำ', 'ได้ดี', 'ใน', 'การ', 'สอบ', 'คุณ'], ['ฉัน', 'คิด', 'ว่า', 'ฉัน', 'จะ', 'จบ', 'ลง', 'เพียงลำพัง'], ['ให้อาหาร', 'ร่วมกัน'], ['เลวร้าย', 'เกินไป', 'ที่', 'คุณ', 'ไม่ได้', 'ที่นี่'], ['ฉัน', 'ต้องการ', 'ไป', 'เล่น'], ['คุณ', 'เป็น', 'ผู้แพ้'], ['ฉัน', 'หิวโหย'], ['คุณ', 'ห่วย'], ['ขอแสดงความยินดี'], ['คุณ', 'ไม่', 'สามารถ', 'แก้ปัญหา', 'ได้'], ['ฉัน', 'สูญเสีย', 'กระเป๋าสตางค์', 'ของ', 'ฉัน'], ['เธอ', 'ไม่ได้', 'ตอบ', 'ข้อความ', 'ของ', 'ฉัน'], ['นัก', 'เบสบอล', 'คน', 'นี้', 'ห่วย'], ['เจอ', 'กันที่', 'ร้านอาหาร'], ['ฉัน', 'ต้ม', 'ข้าว'], ['ฉัน', 'ว่า', 'ใช่'], ['ลูกอม', 'คือ', 'ชีวิต'], ['เกม', 'เพิ่ง', 'เสร็จสิ้น'], ['นัก', 'เบสบอล', 'ที่', 'ฐาน', 'แรก', 'ได้', 'บอล'], ['ขอแสดงความยินดี', 'กับ', 'การ', 'ยอมรับ', 'ของ', 'คุณ'], ['การบ้าน', 'นี้', 'ยาว', 'เกินไป'], ['555']]\n",
      "['โค้ด', 'ของ', 'ฉัน', 'ทำงาน', 'ได้', ' ', 'แต่', 'อาจารย์', 'ให้', 'เกรด', 'ฉัน', 'ศูนย์']\n",
      "12\n"
     ]
    }
   ],
   "source": [
    "words = []\n",
    "for l in X_train:\n",
    "    words.append([i.lower() for i in word_tokenize(l, engine='newmm')])\n",
    "print(words)\n",
    "\n",
    "maxSentence = max(words, key=len);\n",
    "maxLen = len(maxSentence)\n",
    "print(maxSentence)\n",
    "print(maxLen)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Run the following cell to print sentences from X_train and corresponding labels from Y_train. Change `index` to see different examples. Because of the font the iPython notebook uses, the heart emoji may be colored black rather than red."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "งานแย่มาก 😞\n"
     ]
    }
   ],
   "source": [
    "index = 1\n",
    "print(X_train[index], label_to_emoji(Y_train[index]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "Y_oh_train = convert_to_one_hot(Y_train, C = 5)\n",
    "Y_oh_test = convert_to_one_hot(Y_test, C = 5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2 is converted into one hot [0. 0. 1. 0. 0.]\n"
     ]
    }
   ],
   "source": [
    "index = 50\n",
    "print(Y_train[index], \"is converted into one hot\", Y_oh_train[index])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "def read_thai_vecs(thai2vec_file):\n",
    "    with open(thai2vec_file, 'r') as f:\n",
    "        words = set()\n",
    "        word_to_vec_map = {}\n",
    "        next(f)\n",
    "        for line in f:\n",
    "            try:\n",
    "                line = line.strip().split()\n",
    "                curr_word = line[0]\n",
    "#                 print(np.array(line[1:], dtype=np.float64).shape)\n",
    "                word_to_vec_map[curr_word] = np.array(line[1:], dtype=np.float64)\n",
    "                words.add(curr_word)\n",
    "            except:\n",
    "                _\n",
    "        \n",
    "        i = 1\n",
    "        words_to_index = {}\n",
    "        index_to_words = {}\n",
    "        for w in sorted(words):\n",
    "            words_to_index[w] = i\n",
    "            index_to_words[i] = w\n",
    "            i = i + 1\n",
    "    return words_to_index, index_to_words, word_to_vec_map\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "word_to_index, index_to_word, word_to_vec_map = read_thai_vecs('data/thai2vec02.vec')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- `word_to_index`: dictionary mapping from words to their indices in the vocabulary.\n",
    "- `index_to_word`: dictionary mapping from indices to their corresponding words in the vocabulary\n",
    "- `word_to_vec_map`: dictionary mapping words to their vector representation."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "the index of อะไร in the vocabulary is 48973\n",
      "the 30000th word in the vocabulary is ชื่นมื่น\n"
     ]
    }
   ],
   "source": [
    "word = \"อะไร\"\n",
    "index = 30000\n",
    "print(\"the index of\", word, \"in the vocabulary is\", word_to_index[word])\n",
    "print(\"the\", str(index) + \"th word in the vocabulary is\", index_to_word[index])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "# GRADED FUNCTION: sentence_to_avg\n",
    "\n",
    "def sentence_to_avg(sentence, word_to_vec_map):\n",
    "    \"\"\"\n",
    "    Converts a sentence (string) into a list of words (strings). Extracts the GloVe representation of each word\n",
    "    and averages its value into a single vector encoding the meaning of the sentence.\n",
    "    \n",
    "    Arguments:\n",
    "    sentence -- string, one training example from X\n",
    "    word_to_vec_map -- dictionary mapping every word in a vocabulary into its 50-dimensional vector representation\n",
    "    \n",
    "    Returns:\n",
    "    avg -- average vector encoding information about the sentence, numpy-array of shape (50,)\n",
    "    \"\"\"\n",
    "    \n",
    "    ### START CODE HERE ###\n",
    "    # Step 1: Split sentence into list of lower case words (≈ 1 line)\n",
    "    words = [i.lower() for i in word_tokenize(sentence, engine='newmm')]\n",
    "\n",
    "    # Initialize the average word vector, should have the same shape as your word vectors.\n",
    "    avg = np.zeros((300,))\n",
    "    \n",
    "    count = 0\n",
    "    # Step 2: average the word vectors. You can loop over the words in the list \"words\".\n",
    "    for w in words:\n",
    "        if w in word_to_vec_map:\n",
    "            count += 1\n",
    "            avg += word_to_vec_map[w]\n",
    "    avg = avg / count\n",
    "    \n",
    "    ### END CODE HERE ###\n",
    "    \n",
    "    return avg"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "avg =  [ 1.33543919e-01  1.07829292e+00 -3.72354955e-01 -1.46668282e+00\n",
      "  7.57209385e-01  2.06919660e-02  1.00532082e-01  1.50484212e-01\n",
      "  5.23906188e-02  1.52862157e-02  1.14734970e+00 -1.00657061e+00\n",
      "  5.54110900e-01 -2.54428585e-01  5.47317436e-02  3.70899226e-02\n",
      " -7.52026650e-01 -2.80267285e-02 -2.03459100e-02 -2.67111200e-01\n",
      " -1.85354750e-02 -1.14704222e+00 -1.49893250e-03  2.29017332e-02\n",
      "  1.50632193e-01  7.31677675e-02 -4.55923561e-01 -1.41664832e-01\n",
      "  1.63214582e+00 -4.19897428e-02  1.74954460e+00  2.66800450e-02\n",
      "  3.46997695e-01  8.62049460e-02  5.34051507e-01 -1.45048422e-01\n",
      " -1.03274239e+00  1.35459257e-01  1.04450913e-01  7.05857655e-01\n",
      "  8.88661650e-01 -2.00315426e-02  2.62467265e+00 -1.81928020e+00\n",
      "  2.08934760e+00 -2.12933974e-01  5.23226015e-01  1.13770790e-01\n",
      " -9.01886755e-01  9.70241000e-03 -1.36141888e+00  3.27827415e-01\n",
      " -5.59771860e-01  1.75449645e+00 -1.40230675e-02 -2.45342538e+00\n",
      "  1.03239632e-01  8.71849672e-01 -1.14884257e+00  1.09374447e-01\n",
      " -1.08584346e-01 -3.03662375e-01  3.20337903e-01 -9.03040563e-02\n",
      "  2.31356885e-01 -4.13318425e-01 -6.81463615e-01 -1.01717373e-01\n",
      "  1.62312486e+00  8.28242427e-02 -2.67073080e-01 -1.17948021e-01\n",
      "  1.05722713e+00 -2.05224575e+00  1.90822080e+00 -1.83401408e+00\n",
      " -9.99354993e-02 -2.05387065e-01 -2.47534992e+00 -9.48238030e-02\n",
      " -9.40601863e-02  2.58813761e-01 -3.26870475e-01  8.06669295e-01\n",
      "  7.16779700e-03  1.31702305e-01  6.37149570e-01  8.07031125e-01\n",
      " -1.34917100e-01 -1.04386905e+00  1.67538710e+00 -2.58817430e+00\n",
      "  1.41934100e-01 -8.01347100e-01 -1.82320655e+00 -1.23366702e-01\n",
      "  1.61069800e+00 -6.96512113e-01 -4.60690976e-01 -6.92960450e-02\n",
      "  8.21765472e-02  3.26083560e-02  1.70790860e+00 -1.72993288e+00\n",
      " -1.90612595e-01 -1.45643013e-01 -1.27383868e-01 -1.21321508e-01\n",
      " -1.85928400e-01 -1.92996633e+00 -1.81927480e-02 -1.36924715e-01\n",
      " -4.93995700e-02  8.78071035e-02  3.52775940e-01 -4.24761620e-02\n",
      " -1.19866648e-01 -2.06171787e-02  5.19227092e-01 -1.05984110e+00\n",
      " -5.75200640e-01 -4.35461875e-02 -8.64653500e-01 -3.81286213e-02\n",
      "  7.21279204e-02  6.68347606e-02 -2.70788882e-01 -8.91446475e-01\n",
      "  7.03780275e-01 -1.03244911e-01  5.92979585e-01 -9.23681940e-02\n",
      "  1.01334983e-01  2.30746700e-02  2.53355283e-01  1.15126190e+00\n",
      " -4.96226745e-01 -4.62764638e-02  6.74664500e-03  1.27685278e+00\n",
      "  1.69852476e-01  1.13222996e-01 -2.12262716e-02 -6.22372000e-02\n",
      "  2.84967450e-02  2.76278910e-01 -6.16915850e-03  2.20518116e-01\n",
      "  1.54652012e-01 -1.48662190e+00 -3.54000565e-01 -6.08145136e-02\n",
      " -9.76969315e-02  3.00552360e-01  2.06995238e-01 -1.52122419e-01\n",
      " -1.65093833e+00 -4.48490378e-02  2.22409112e-02  5.41433404e-02\n",
      "  2.20445820e-01 -1.27285585e+00 -1.98062411e-01  3.74139610e-02\n",
      "  3.17248675e-01 -1.23738748e-01 -4.60597465e-01 -9.88384763e-02\n",
      "  1.25187486e-01  1.14578008e+00  1.44953223e-01  7.14504265e-01\n",
      " -1.25162697e-01 -1.21913095e+00 -1.35664582e-01  2.08934275e-01\n",
      "  9.52083717e-02 -9.42812760e-01 -1.76586522e+00 -3.21901922e-01\n",
      " -1.56786430e+00  1.21443988e-01  2.89960190e-01 -6.19215800e-02\n",
      " -1.27908497e+00  5.17447382e-01  3.39315847e-01  2.99140397e-01\n",
      " -8.44609025e-02 -5.81327480e-01 -8.99893200e-01 -1.51572139e-01\n",
      " -1.54594960e+00 -5.53865905e-01 -2.05623052e+00 -1.98890781e-01\n",
      "  4.00104293e-01  3.50932960e-02 -3.35837915e-01  5.30942858e-01\n",
      "  1.04729913e-01  1.38380459e-01 -6.89124800e-02 -3.29217805e-02\n",
      " -2.09795667e-01 -1.04731711e+00  1.31644703e-01 -2.56571815e-01\n",
      "  2.94195495e-02 -5.37016150e-02 -2.85857810e+00  1.37401613e-01\n",
      " -1.77116460e-01  5.64671007e-01  3.80520995e-02  1.83145504e-01\n",
      " -2.67296882e-01 -1.81188211e-01  8.14141255e-01 -1.04684000e-02\n",
      " -1.06116303e+00 -4.78140399e-02 -1.51018820e+00  3.15081918e-01\n",
      " -2.03494082e-02 -2.34025618e-01 -2.17046550e+00 -1.40156303e-02\n",
      " -1.13846565e-01  1.56896925e+00  6.46325075e-02 -7.72282675e-01\n",
      " -1.52563218e+00 -2.71517670e-01  2.89711752e-01 -1.62350645e+00\n",
      " -2.30721840e+00  2.17345325e+00 -8.49450075e-02 -3.97995175e-02\n",
      " -1.17856900e+00 -5.42124528e-02  1.71393142e+00 -2.04457665e-01\n",
      "  6.05901560e-02  4.68574673e-01  1.35994445e-02  1.12464716e+00\n",
      " -1.91185275e+00  2.33196325e-02 -4.59281970e-01  1.08952721e+00\n",
      " -1.99281825e+00 -1.70118517e+00 -1.51924540e-01  7.85106505e-01\n",
      "  4.41537750e-02  7.75200145e-02  1.70364497e-01  3.67246885e-01\n",
      "  1.53215325e+00  1.80635217e-02  5.33653710e-01  2.81045565e-01\n",
      " -7.08047865e-02  1.80849794e-01 -1.40171623e-02  3.05524834e-01\n",
      "  2.02754559e-01  2.96669475e-03  1.26319806e-01 -7.01248918e-02\n",
      "  7.71693910e-01 -2.20815137e-01 -2.31124755e-01 -1.43095857e-01\n",
      " -1.94136925e+00  6.27458533e-02 -1.51309819e-01  1.03988803e-01\n",
      "  4.03902163e-01 -1.14503213e-01 -6.87033194e-01  1.40931827e-01\n",
      " -1.55056922e+00 -1.29167537e-01  2.45046350e-02 -2.24519881e-02\n",
      " -1.77477273e+00  7.85963794e-01 -2.23052288e-01  1.76392143e-02\n",
      " -1.16077206e-01  1.49416750e+00 -7.35761950e-01  5.20031225e-01\n",
      "  1.27720750e+00 -1.84719725e-02  4.10436420e-01  2.67239750e+00]\n"
     ]
    }
   ],
   "source": [
    "avg = sentence_to_avg(\"สวัสดีฉันหิวข้าวจังเลย\", word_to_vec_map)\n",
    "print(\"avg = \", avg)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Thai Emojifier: Using LSTMs in Keras\n",
    "\n",
    "Let's build an LSTM model that takes as input word sequences. This model will be able to take word ordering into account. Emojifier will continue to use pre-trained word embeddings to represent words, but will feed them into an LSTM, whose job it is to predict the most appropriate emoji. \n",
    "\n",
    "Run the following cell to load the Keras packages."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/kobkrit/anaconda3/lib/python3.6/site-packages/h5py/__init__.py:36: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.\n",
      "  from ._conv import register_converters as _register_converters\n",
      "Using TensorFlow backend.\n"
     ]
    }
   ],
   "source": [
    "import numpy as np\n",
    "np.random.seed(0)\n",
    "from keras.models import Model\n",
    "from keras.layers import Dense, Input, Dropout, LSTM, Activation\n",
    "from keras.layers.embeddings import Embedding\n",
    "from keras.preprocessing import sequence\n",
    "from keras.initializers import glorot_uniform\n",
    "np.random.seed(1)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2.1 - Overview of the model\n",
    "\n",
    "<img src=\"images/emojifier-v2.png\" style=\"width:700px;height:400px;\"> <br>\n",
    "<caption><center> **Figure **: A 2-layer LSTM sequence classifier. </center></caption>\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "# GRADED FUNCTION: sentences_to_indices\n",
    "\n",
    "def sentences_to_indices(X, word_to_index, max_len):\n",
    "    \"\"\"\n",
    "    Converts an array of sentences (strings) into an array of indices corresponding to words in the sentences.\n",
    "    The output shape should be such that it can be given to `Embedding()` (described in Figure 4). \n",
    "    \n",
    "    Arguments:\n",
    "    X -- array of sentences (strings), of shape (m, 1)\n",
    "    word_to_index -- a dictionary containing the each word mapped to its index\n",
    "    max_len -- maximum number of words in a sentence. You can assume every sentence in X is no longer than this. \n",
    "    \n",
    "    Returns:\n",
    "    X_indices -- array of indices corresponding to words in the sentences from X, of shape (m, max_len)\n",
    "    \"\"\"    \n",
    "    m = X.shape[0]                                   # number of training examples\n",
    "\n",
    "    ### START CODE HERE ###\n",
    "    # Initialize X_indices as a numpy matrix of zeros and the correct shape (≈ 1 line)\n",
    "    X_indices = np.zeros((m, max_len))\n",
    "    print(X_indices.shape)\n",
    "    \n",
    "    for i in range(m):                               # loop over training examples\n",
    "        \n",
    "        # Convert the ith training sentence in lower case and split is into words. You should get a list of words.\n",
    "        print(X[i]);\n",
    "        sentence_words = [w.lower() for w in word_tokenize(X[i], engine='newmm')]\n",
    "        print(sentence_words);\n",
    "        # Initialize j to 0\n",
    "        j = 0\n",
    "        \n",
    "        # Loop over the words of sentence_words\n",
    "        for w in sentence_words:\n",
    "            # Set the (i,j)th entry of X_indices to the index of the correct word.\n",
    "            X_indices[i, j] = word_to_index[w] if w in word_to_index else 0\n",
    "            j += 1\n",
    "\n",
    "            \n",
    "    ### END CODE HERE ###\n",
    "    \n",
    "    print(\"X_indices\")\n",
    "    print(X_indices)\n",
    "\n",
    "    return X_indices"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(2, 5)\n",
      "อาหารพร้อมแล้ว\n",
      "['อาหาร', 'พร้อม', 'แล้ว']\n",
      "เบสบอลน่าสนุกจัง\n",
      "['เบสบอล', 'น่าสนุก', 'จัง']\n",
      "X_indices\n",
      "[[49440. 38612. 56647.     0.     0.]\n",
      " [52623.     0. 28894.     0.     0.]]\n",
      "X1 = ['อาหารพร้อมแล้ว' 'เบสบอลน่าสนุกจัง']\n",
      "X1_indices = [[49440. 38612. 56647.     0.     0.]\n",
      " [52623.     0. 28894.     0.     0.]]\n"
     ]
    }
   ],
   "source": [
    "X1 = np.array([\"อาหารพร้อมแล้ว\",\"เบสบอลน่าสนุกจัง\"])\n",
    "X1_indices = sentences_to_indices(X1,word_to_index, max_len = 5)\n",
    "print(\"X1 =\", X1)\n",
    "print(\"X1_indices =\", X1_indices)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Let's build the `Embedding()` layer in Keras, using pre-trained word vectors. After this layer is built, you will pass the output of `sentences_to_indices()` to it as an input, and the `Embedding()` layer will return the word embeddings for a sentence. \n",
    "\n",
    "**Exercise**: Implement `pretrained_embedding_layer()`. You will need to carry out the following steps:\n",
    "1. Initialize the embedding matrix as a numpy array of zeroes with the correct shape.\n",
    "2. Fill in the embedding matrix with all the word embeddings extracted from `word_to_vec_map`.\n",
    "3. Define Keras embedding layer. Use [Embedding()](https://keras.io/layers/embeddings/). Be sure to make this layer non-trainable, by setting `trainable = False` when calling `Embedding()`. If you were to set `trainable = True`, then it will allow the optimization algorithm to modify the values of the word embeddings. \n",
    "4. Set the embedding weights to be equal to the embedding matrix "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "# GRADED FUNCTION: pretrained_embedding_layer\n",
    "\n",
    "def pretrained_embedding_layer(word_to_vec_map, word_to_index):\n",
    "    \"\"\"\n",
    "    Creates a Keras Embedding() layer and loads in pre-trained 300-dimensional vectors.\n",
    "    \n",
    "    Arguments:\n",
    "    word_to_vec_map -- dictionary mapping words to their GloVe vector representation.\n",
    "    word_to_index -- dictionary mapping from words to their indices in the vocabulary (400,001 words)\n",
    "\n",
    "    Returns:\n",
    "    embedding_layer -- pretrained layer Keras instance\n",
    "    \"\"\"\n",
    "    \n",
    "    vocab_len = len(word_to_index) + 1                  # adding 1 to fit Keras embedding (requirement)\n",
    "    emb_dim = word_to_vec_map[\"สนุก\"].shape[0]      # define dimensionality of your GloVe word vectors (= 50)\n",
    "    \n",
    "    print(emb_dim)\n",
    "    \n",
    "    ### START CODE HERE ###\n",
    "    # Initialize the embedding matrix as a numpy array of zeros of shape (vocab_len, dimensions of word vectors = emb_dim)\n",
    "    emb_matrix = np.zeros((vocab_len, emb_dim))\n",
    "    print(emb_matrix.shape)\n",
    "    \n",
    "    # Set each row \"index\" of the embedding matrix to be the word vector representation of the \"index\"th word of the vocabulary\n",
    "    for word, index in word_to_index.items():\n",
    "        if word_to_vec_map[word].shape[0]==300:\n",
    "            emb_matrix[index, :] = word_to_vec_map[word]\n",
    "        else:\n",
    "            emb_matrix[index, :] = np.zeros((300,))\n",
    "\n",
    "    print(emb_matrix)\n",
    "    \n",
    "    # Define Keras embedding layer with the correct output/input sizes, make it trainable. Use Embedding(...). Make sure to set trainable=False. \n",
    "    embedding_layer = Embedding(vocab_len, emb_dim, trainable=False)\n",
    "    ### END CODE HERE ###\n",
    "\n",
    "    # Build the embedding layer, it is required before setting the weights of the embedding layer. Do not modify the \"None\".\n",
    "    embedding_layer.build((None,))\n",
    "    \n",
    "    # Set the weights of the embedding layer to the embedding matrix. Your layer is now pretrained.\n",
    "    embedding_layer.set_weights([emb_matrix])\n",
    "    \n",
    "    return embedding_layer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "300\n",
      "(59949, 300)\n",
      "[[ 0.          0.          0.         ...  0.          0.\n",
      "   0.        ]\n",
      " [ 0.28049678  2.039395   -0.6071578  ... -0.42156866  0.25142205\n",
      "   3.1372788 ]\n",
      " [ 0.12705377  1.5926951  -0.52196676 ... -0.5063023   0.28964126\n",
      "   3.542458  ]\n",
      " ...\n",
      " [-0.94338137  0.5894909   0.52247214 ... -0.34973684  0.15142748\n",
      "   1.0024418 ]\n",
      " [-0.94737095  0.582404    0.5509096  ... -0.35700172  0.15681808\n",
      "   0.9841969 ]\n",
      " [-0.94346464  0.57762676  0.5456067  ... -0.35098264  0.15364128\n",
      "   0.9798119 ]]\n",
      "weights[0][1][3] = -1.6044419\n"
     ]
    }
   ],
   "source": [
    "embedding_layer = pretrained_embedding_layer(word_to_vec_map, word_to_index)\n",
    "print(\"weights[0][1][3] =\", embedding_layer.get_weights()[0][1][3])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Expected Output**:\n",
    "\n",
    "<table>\n",
    "    <tr>\n",
    "        <td>\n",
    "            **weights[0][1][3] =**\n",
    "        </td>\n",
    "        <td>\n",
    "           -0.3403\n",
    "        </td>\n",
    "    </tr>\n",
    "</table>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Building the Emojifier Model\n",
    "\n",
    "Lets now build the Emojifier model. You will do so using the embedding layer you have built, and feed its output to an LSTM network. \n",
    "\n",
    "<img src=\"images/emojifier-v2.png\" style=\"width:700px;height:400px;\"> <br>\n",
    "<caption><center> **Figure 3**: Emojifier-v2. A 2-layer LSTM sequence classifier. </center></caption>\n",
    "\n",
    "\n",
    "The model takes as input an array of sentences of shape (`m`, `max_len`, ) defined by `input_shape`. It should output a softmax probability vector of shape (`m`, `C = 5`). You may need `Input(shape = ..., dtype = '...')`, [LSTM()](https://keras.io/layers/recurrent/#lstm), [Dropout()](https://keras.io/layers/core/#dropout), [Dense()](https://keras.io/layers/core/#dense), and [Activation()](https://keras.io/activations/)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "def Emojify_V2(input_shape, word_to_vec_map, word_to_index):\n",
    "    \"\"\"\n",
    "    Function creating the Emojify model's graph.\n",
    "    \n",
    "    Arguments:\n",
    "    input_shape -- shape of the input, usually (max_len,)\n",
    "    word_to_vec_map -- dictionary mapping every word in a vocabulary into its 50-dimensional vector representation\n",
    "    word_to_index -- dictionary mapping from words to their indices in the vocabulary (400,001 words)\n",
    "\n",
    "    Returns:\n",
    "    model -- a model instance in Keras\n",
    "    \"\"\"\n",
    "    \n",
    "    # Define sentence_indices as the input of the graph, it should be of shape input_shape and dtype 'int32' (as it contains indices).\n",
    "    sentence_indices = Input(input_shape, dtype='int32')\n",
    "    \n",
    "    # Create the embedding layer pretrained with GloVe Vectors (≈1 line)\n",
    "    embedding_layer = pretrained_embedding_layer(word_to_vec_map, word_to_index)\n",
    "    \n",
    "    # Propagate sentence_indices through your embedding layer, you get back the embeddings\n",
    "    embeddings = embedding_layer(sentence_indices)   \n",
    "    \n",
    "    # Propagate the embeddings through an LSTM layer with 128-dimensional hidden state\n",
    "    # Be careful, the returned output should be a batch of sequences.\n",
    "    X = LSTM(128, return_sequences=True)(embeddings)\n",
    "    # Add dropout with a probability of 0.5\n",
    "    X = Dropout(0.5)(X)\n",
    "    # Propagate X trough another LSTM layer with 128-dimensional hidden state\n",
    "    # Be careful, the returned output should be a single hidden state, not a batch of sequences.\n",
    "    X = LSTM(128, return_sequences=False)(X)\n",
    "    # Add dropout with a probability of 0.5\n",
    "    X = Dropout(0.5)(X)\n",
    "    # Propagate X through a Dense layer with softmax activation to get back a batch of 5-dimensional vectors.\n",
    "    X = Dense(5)(X)\n",
    "    # Add a softmax activation\n",
    "    X = Activation('softmax')(X)\n",
    "    \n",
    "    # Create Model instance which converts sentence_indices into X.\n",
    "    model = Model(inputs=sentence_indices, outputs=X)\n",
    "    \n",
    "    \n",
    "    return model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "12\n"
     ]
    }
   ],
   "source": [
    "print(maxLen)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "300\n",
      "(59949, 300)\n",
      "[[ 0.          0.          0.         ...  0.          0.\n",
      "   0.        ]\n",
      " [ 0.28049678  2.039395   -0.6071578  ... -0.42156866  0.25142205\n",
      "   3.1372788 ]\n",
      " [ 0.12705377  1.5926951  -0.52196676 ... -0.5063023   0.28964126\n",
      "   3.542458  ]\n",
      " ...\n",
      " [-0.94338137  0.5894909   0.52247214 ... -0.34973684  0.15142748\n",
      "   1.0024418 ]\n",
      " [-0.94737095  0.582404    0.5509096  ... -0.35700172  0.15681808\n",
      "   0.9841969 ]\n",
      " [-0.94346464  0.57762676  0.5456067  ... -0.35098264  0.15364128\n",
      "   0.9798119 ]]\n",
      "_________________________________________________________________\n",
      "Layer (type)                 Output Shape              Param #   \n",
      "=================================================================\n",
      "input_1 (InputLayer)         (None, 12)                0         \n",
      "_________________________________________________________________\n",
      "embedding_2 (Embedding)      (None, 12, 300)           17984700  \n",
      "_________________________________________________________________\n",
      "lstm_1 (LSTM)                (None, 12, 128)           219648    \n",
      "_________________________________________________________________\n",
      "dropout_1 (Dropout)          (None, 12, 128)           0         \n",
      "_________________________________________________________________\n",
      "lstm_2 (LSTM)                (None, 128)               131584    \n",
      "_________________________________________________________________\n",
      "dropout_2 (Dropout)          (None, 128)               0         \n",
      "_________________________________________________________________\n",
      "dense_1 (Dense)              (None, 5)                 645       \n",
      "_________________________________________________________________\n",
      "activation_1 (Activation)    (None, 5)                 0         \n",
      "=================================================================\n",
      "Total params: 18,336,577\n",
      "Trainable params: 351,877\n",
      "Non-trainable params: 17,984,700\n",
      "_________________________________________________________________\n"
     ]
    }
   ],
   "source": [
    "model = Emojify_V2((maxLen,), word_to_vec_map, word_to_index)\n",
    "model.summary()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "As usual, after creating your model in Keras, you need to compile it and define what loss, optimizer and metrics your are want to use. Compile your model using `categorical_crossentropy` loss, `adam` optimizer and `['accuracy']` metrics:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "It's time to train your model. Your Emojifier `model` takes as input an array of shape (`m`, `max_len`) and outputs probability vectors of shape (`m`, `number of classes`). We thus have to convert X_train (array of sentences as strings) to X_train_indices (array of sentences as list of word indices), and Y_train (labels as indices) to Y_train_oh (labels as one-hot vectors)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(128, 12)\n",
      "มาการูนฝรั่งเศสอร่อยมาก\n",
      "['มา', 'กา', 'รู', 'น', 'ฝรั่งเศส', 'อร่อย', 'มาก']\n",
      "งานแย่มาก\n",
      "['งาน', 'แย่มาก']\n",
      "ฉันอารมณ์เสีย\n",
      "['ฉัน', 'อารมณ์เสีย']\n",
      "โยนบอล\n",
      "['โยน', 'บอล']\n",
      "เรื่องตลกดี\n",
      "['เรื่องตลก', 'ดี']\n",
      "เกมเบสบอลที่คุณชอบคืออะไร\n",
      "['เกม', 'เบสบอล', 'ที่', 'คุณ', 'ชอบ', 'คือ', 'อะไร']\n",
      "ฉันกำลังปรุงเนื้อสัตว์\n",
      "['ฉัน', 'กำลัง', 'ปรุง', 'เนื้อสัตว์']\n",
      "หยุดกวนแถวนี้ได้แล้ว\n",
      "['หยุด', 'กวน', 'แถว', 'นี้', 'ได้', 'แล้ว']\n",
      "ฉันต้องการอาหารจีน\n",
      "['ฉัน', 'ต้องการ', 'อาหารจีน']\n",
      "ปล่อยให้เราไปเล่นเบสบอล\n",
      "['ปล่อย', 'ให้', 'เรา', 'ไป', 'เล่น', 'เบสบอล']\n",
      "คุณล้มเหลวในการออกกำลังกายนี้\n",
      "['คุณ', 'ล้มเหลว', 'ใน', 'การออกกำลังกาย', 'นี้']\n",
      "เมื่อวานนี้เราแพ้อีกครั้ง\n",
      "['เมื่อวาน', 'นี้', 'เรา', 'แพ้', 'อีกครั้ง']\n",
      "งานดี\n",
      "['งาน', 'ดี']\n",
      "ฮ่าฮ่ามันตลกมาก\n",
      "['ฮ่า', 'ฮ่า', 'มัน', 'ตลก', 'มาก']\n",
      "ฉันจะมีชีสเค้ก\n",
      "['ฉัน', 'จะ', 'มี', 'ชีส', 'เค้ก']\n",
      "ทำไมคุณรู้สึกไม่ดี\n",
      "['ทำไม', 'คุณ', 'รู้สึก', 'ไม่ดี']\n",
      "ฉันต้องการที่จะเล่นตลก\n",
      "['ฉัน', 'ต้องการ', 'ที่จะ', 'เล่นตลก']\n",
      "ฉันไม่เคยบอกว่าใช่สำหรับเรื่องนี้\n",
      "['ฉัน', 'ไม่เคย', 'บอ', 'กว่า', 'ใช่', 'สำหรับ', 'เรื่อง', 'นี้']\n",
      "งานเลี้ยงถูกยกเลิก\n",
      "['งานเลี้ยง', 'ถูก', 'ยกเลิก']\n",
      "บอลอยู่ที่ไหน\n",
      "['บอล', 'อยู่', 'ที่ไหน']\n",
      "ฉันผิดหวัง\n",
      "['ฉัน', 'ผิดหวัง']\n",
      "ฮ่าฮ่าฮ่า \n",
      "['ฮ่า', 'ฮ่า', 'ฮ่า', ' ']\n",
      "เธอบอกว่าใช่\n",
      "['เธอ', 'บอ', 'กว่า', 'ใช่']\n",
      "เขาได้เงินดือนเพิ่ม\n",
      "['เขา', 'ได้เงิน', 'ดือ', 'น', 'เพิ่ม']\n",
      "ครอบครัวเป็นสิ่งสำคัญที่สุด\n",
      "['ครอบครัว', 'เป็น', 'สิ่ง', 'สำคัญ', 'ที่สุด']\n",
      "เขาสามารถโยนลูกได้ดีจริงๆ\n",
      "['เขา', 'สามารถ', 'โยน', 'ลูก', 'ได้ดี', 'จริงๆ']\n",
      "ฉันรักดวงดาวและกลับ\n",
      "['ฉัน', 'รัก', 'ดวงดาว', 'และ', 'กลับ']\n",
      "คุณชอบพิซซ่าไหม\n",
      "['คุณ', 'ชอบ', 'พิซซ่า', 'ไหม']\n",
      "คุณสมควรได้รับรางวัลนี้ทั้งหมด\n",
      "['คุณ', 'สมควร', 'ได้', 'รับรางวัล', 'นี้', 'ทั้งหมด']\n",
      "ฉันคิดถึงคุณมาก\n",
      "['ฉัน', 'คิดถึง', 'คุณ', 'มาก']\n",
      "ฉันชอบเสื้อของคุณ\n",
      "['ฉัน', 'ชอบ', 'เสื้อ', 'ของ', 'คุณ']\n",
      "เธอมอบของขวัญให้ฉัน\n",
      "['เธอ', 'มอบ', 'ของขวัญ', 'ให้', 'ฉัน']\n",
      "คุณจะเป็นคนรักของฉัน\n",
      "['คุณ', 'จะ', 'เป็น', 'คนรัก', 'ของ', 'ฉัน']\n",
      "ทำข้อสอบไม่ได้\n",
      "['ทำ', 'ข้อสอบ', 'ไม่ได้']\n",
      "ใครอยากไปร้านอาหาร\n",
      "['ใคร', 'อยาก', 'ไป', 'ร้านอาหาร']\n",
      "วันวาเลนไทน์อยู่ใกล้แล้ว\n",
      "['วัน', 'วาเลนไทน์', 'อยู่', 'ใกล้', 'แล้ว']\n",
      "เยี่ยมยอดมาก\n",
      "['เยี่ยมยอด', 'มาก']\n",
      "คุณมีลูกเบสบอลไหม\n",
      "['คุณ', 'มีลูก', 'เบสบอล', 'ไหม']\n",
      "เขาไม่สามารถทำอะไรได้\n",
      "['เขา', 'ไม่', 'สามารถ', 'ทำ', 'อะไร', 'ได้']\n",
      "เขาชอบเบสบอล\n",
      "['เขา', 'ชอบ', 'เบสบอล']\n",
      "วันนี้เรามีอาหารค่ำแสนอร่อยเช่นนี้\n",
      "['วันนี้', 'เรา', 'มี', 'อาหารค่ำ', 'แสน', 'อร่อย', 'เช่นนี้']\n",
      "ผักมีสุขภาพดี\n",
      "['ผัก', 'มี', 'สุขภาพ', 'ดี']\n",
      "เขาเป็นเพื่อนที่ดี\n",
      "['เขา', 'เป็นเพื่อน', 'ที่', 'ดี']\n",
      "ไม่เคยพูดคุยกับฉันอีกแล้ว\n",
      "['ไม่เคย', 'พูดคุย', 'กับ', 'ฉัน', 'อีกแล้ว']\n",
      "ฉันคิดถึงเธอ\n",
      "['ฉัน', 'คิดถึง', 'เธอ']\n",
      "อาหารคือชีวิต\n",
      "['อาหาร', 'คือ', 'ชีวิต']\n",
      "ฉันมีความสนุกสนาน\n",
      "['ฉัน', 'มี', 'ความ', 'สนุกสนาน']\n",
      "เลวร้ายที่คุณไม่สามารถมากับเรา\n",
      "['เลวร้าย', 'ที่', 'คุณ', 'ไม่', 'สามารถ', 'มา', 'กับ', 'เรา']\n",
      "คุณต้องการที่จะเข้าร่วมฉันสำหรับอาหารค่ำ\n",
      "['คุณ', 'ต้องการ', 'ที่จะ', 'เข้าร่วม', 'ฉัน', 'สำหรับ', 'อาหารค่ำ']\n",
      "ฉันชอบยิ้ม\n",
      "['ฉัน', 'ชอบ', 'ยิ้ม']\n",
      "เขาได้งานที่น่าอัศจรรย์\n",
      "['เขา', 'ได้', 'งาน', 'ที่', 'น่าอัศจรรย์']\n",
      "หยุดตะโกนใส่ฉัน\n",
      "['หยุด', 'ตะโกน', 'ใส่', 'ฉัน']\n",
      "ฉันรักการพัก\n",
      "['ฉัน', 'รัก', 'การ', 'พัก']\n",
      "คุณฉลาดและมีพรสวรรค์อย่างไม่น่าเชื่อ\n",
      "['คุณ', 'ฉลาด', 'และ', 'มีพรสวรรค์', 'อย่าง', 'ไม่น่าเชื่อ']\n",
      "ฉันภูมิใจในความสำเร็จของคุณ\n",
      "['ฉัน', 'ภูมิใจ', 'ใน', 'ความสำเร็จ', 'ของ', 'คุณ']\n",
      "เสียใจที่คุณไม่ได้มา\n",
      "['เสียใจ', 'ที่', 'คุณ', 'ไม่', 'ได้มา']\n",
      "ตลก\n",
      "['ตลก']\n",
      "หยุดพูดพล่าม\n",
      "['หยุด', 'พูดพล่าม']\n",
      "ยอดไปเลยสำหรับการประกาศมีคนสนใจมันมาก\n",
      "['ยอด', 'ไป', 'เลย', 'สำหรับ', 'การ', 'ประกาศ', 'มี', 'คน', 'สนใจ', 'มัน', 'มาก']\n",
      "ความเชี่ยวชาญนี้เป็นที่ดี\n",
      "['ความ', 'เชี่ยวชาญ', 'นี้', 'เป็น', 'ที่', 'ดี']\n",
      "ฉันกำลังรอเธออยู่สองชั่วโมง\n",
      "['ฉัน', 'กำลัง', 'รอ', 'เธอ', 'อยู่', 'สอง', 'ชั่วโมง']\n",
      "เธอใช้เวลาตลอดไปเพื่อเตรียมพร้อม\n",
      "['เธอ', 'ใช้เวลา', 'ตลอดไป', 'เพื่อ', 'เตรียมพร้อม']\n",
      "ยายของฉันคือความรักในชีวิตของฉัน\n",
      "['ยาย', 'ของ', 'ฉัน', 'คือ', 'ความรัก', 'ใน', 'ชีวิต', 'ของ', 'ฉัน']\n",
      "ฉันจะฉลองเร็ว ๆ นี้\n",
      "['ฉัน', 'จะ', 'ฉลอง', 'เร็ว', ' ', 'ๆ', ' ', 'นี้']\n",
      "โค้ดของฉันทำงานได้ แต่อาจารย์ให้เกรดฉันศูนย์\n",
      "['โค้ด', 'ของ', 'ฉัน', 'ทำงาน', 'ได้', ' ', 'แต่', 'อาจารย์', 'ให้', 'เกรด', 'ฉัน', 'ศูนย์']\n",
      "เธอเป็นคนที่น่ารักที่สุดเท่าที่ฉันเคยเห็นมา\n",
      "['เธอ', 'เป็น', 'คน', 'ที่', 'น่ารัก', 'ที่สุด', 'เท่าที่', 'ฉัน', 'เคย', 'เห็น', 'มา']\n",
      "เขาหัวเราะ\n",
      "['เขา', 'หัวเราะ']\n",
      "ฉันรักสุนัขของฉัน\n",
      "['ฉัน', 'รัก', 'สุนัข', 'ของ', 'ฉัน']\n",
      "ฉันรักคุณแม่\n",
      "['ฉัน', 'รัก', 'คุณแม่']\n",
      "ดีมาก\n",
      "['ดีมาก']\n",
      "คุณมากล้าถามว่า\n",
      "['คุณ', 'มา', 'กล้า', 'ถาม', 'ว่า']\n",
      "ผู้ชายคนนี้เป็นเช่นเรื่องตลก\n",
      "['ผู้ชาย', 'คน', 'นี้', 'เป็น', 'เช่น', 'เรื่องตลก']\n",
      "ฉันรักอาหารอินเดีย\n",
      "['ฉัน', 'รัก', 'อาหาร', 'อินเดีย']\n",
      "คุณลงเล่นเบสบอลช่วงบ่ายวันนี้ไหม\n",
      "['คุณ', 'ลง', 'เล่น', 'เบสบอล', 'ช่วง', 'บ่าย', 'วันนี้', 'ไหม']\n",
      "นี้ไม่ดี\n",
      "['นี้', 'ไม่ดี']\n",
      "ความโง่เขลาของคุณไม่มีขีด จำกัด \n",
      "['ความ', 'โง่เขลา', 'ของ', 'คุณ', 'ไม่มี', 'ขีด', ' ', 'จำกัด', ' ']\n",
      "ฉันรักพ่อของฉัน\n",
      "['ฉัน', 'รัก', 'พ่อ', 'ของ', 'ฉัน']\n",
      "คุณต้องการให้ฉันกอด\n",
      "['คุณ', 'ต้องการ', 'ให้', 'ฉัน', 'กอด']\n",
      "ผู้หญิงคนนี้ช่างใจแคบ\n",
      "['ผู้หญิง', 'คน', 'นี้', 'ช่าง', 'ใจแคบ']\n",
      "ฉันตื่นเต้น\n",
      "['ฉัน', 'ตื่นเต้น']\n",
      "ฉันคิดถึงเขา\n",
      "['ฉัน', 'คิดถึง', 'เขา']\n",
      "มีอะไรผิดปกติกับคุณ\n",
      "['มี', 'อะไร', 'ผิดปกติ', 'กับ', 'คุณ']\n",
      "พวกเขาเป็นคนใจดีและเป็นมิตร\n",
      "['พวกเขา', 'เป็น', 'คนใจดี', 'และ', 'เป็นมิตร']\n",
      "ผมรู้สึกประทับใจกับความทุ่มเทของคุณในโครงการนี้\n",
      "['ผม', 'รู้สึก', 'ประทับใจ', 'กับ', 'ความ', 'ทุ่มเท', 'ของ', 'คุณ', 'ใน', 'โครงการ', 'นี้']\n",
      "เราทำมัน\n",
      "['เรา', 'ทำ', 'มัน']\n",
      "ฉันสั่งอาหาร\n",
      "['ฉัน', 'สั่งอาหาร']\n",
      "เสียงเหมือนแผนความสนุกฮ่าฮ่า\n",
      "['เสียง', 'เหมือน', 'แผน', 'ความสนุก', 'ฮ่า', 'ฮ่า']\n",
      "ฉันมีความสุขมากสำหรับคุณ\n",
      "['ฉัน', 'มีความสุข', 'มาก', 'สำหรับ', 'คุณ']\n",
      "คิดถึงคุณมาก\n",
      "['คิดถึง', 'คุณ', 'มาก']\n",
      "ฉันรักคุณ\n",
      "['ฉัน', 'รัก', 'คุณ']\n",
      "เรื่องตลกนี้กำลังฆ่าฉันฮ่าฮ่า\n",
      "['เรื่องตลก', 'นี้', 'กำลัง', 'ฆ่า', 'ฉัน', 'ฮ่า', 'ฮ่า']\n",
      "คุณยังไม่ผ่านการรับรองสำหรับตำแหน่งนี้\n",
      "['คุณ', 'ยัง', 'ไม่', 'ผ่าน', 'การ', 'รับรอง', 'สำหรับ', 'ตำแหน่ง', 'นี้']\n",
      "คิดถึงคุณ สุดที่รักของฉัน \n",
      "['คิดถึง', 'คุณ', ' ', 'สุดที่รัก', 'ของ', 'ฉัน', ' ']\n",
      "ฉันต้องการกิน\n",
      "['ฉัน', 'ต้องการ', 'กิน']\n",
      "ฉันรู้สึกตื่นเต้นมากที่ได้พบคุณหลังจากนั้นนาน\n",
      "['ฉัน', 'รู้สึก', 'ตื่นเต้น', 'มาก', 'ที่', 'ได้', 'พบ', 'คุณ', 'หลังจากนั้น', 'นาน']\n",
      "เขาเป็นผู้เล่นที่ดีที่สุด\n",
      "['เขา', 'เป็น', 'ผู้', 'เล่น', 'ที่', 'ดี', 'ที่สุด']\n",
      "อะไรเป็นช่วงเวลาที่สนุก\n",
      "['อะไร', 'เป็น', 'ช่วงเวลา', 'ที่', 'สนุก']\n",
      "อัลกอริทึมของฉันทำงานได้ไม่ดี\n",
      "['อัล', 'กอ', 'ริ', 'ทึม', 'ของ', 'ฉัน', 'ทำงาน', 'ได้', 'ไม่ดี']\n",
      "หยุดตะโกนใส่ฉัน\n",
      "['หยุด', 'ตะโกน', 'ใส่', 'ฉัน']\n",
      "รอยยิ้มของเธอจึงมีเสน่ห์มาก\n",
      "['รอยยิ้ม', 'ของ', 'เธอ', 'จึง', 'มีเสน่ห์', 'มาก']\n",
      "เป็นวันที่เลวร้ายที่สุดในชีวิตฉัน\n",
      "['เป็น', 'วันที่', 'เลวร้าย', 'ที่สุด', 'ใน', 'ชีวิต', 'ฉัน']\n",
      "เขาหล่อ\n",
      "['เขา', 'หล่อ']\n",
      "ไม่มีใครชอบเขา\n",
      "['ไม่มีใคร', 'ชอบ', 'เขา']\n",
      "เธอเป็นคนน่าสนใจ\n",
      "['เธอ', 'เป็น', 'คน', 'น่าสนใจ']\n",
      "มันตลกฮ่า ๆ \n",
      "['มัน', 'ตลก', 'ฮ่า', ' ', 'ๆ', ' ']\n",
      "เขาน่ารัก\n",
      "['เขา', 'น่ารัก']\n",
      "คุณทำได้ดีในการสอบคุณ\n",
      "['คุณ', 'ทำ', 'ได้ดี', 'ใน', 'การ', 'สอบ', 'คุณ']\n",
      "ฉันคิดว่าฉันจะจบลงเพียงลำพัง\n",
      "['ฉัน', 'คิด', 'ว่า', 'ฉัน', 'จะ', 'จบ', 'ลง', 'เพียงลำพัง']\n",
      "ให้อาหารร่วมกัน\n",
      "['ให้อาหาร', 'ร่วมกัน']\n",
      "เลวร้ายเกินไปที่คุณไม่ได้ที่นี่\n",
      "['เลวร้าย', 'เกินไป', 'ที่', 'คุณ', 'ไม่ได้', 'ที่นี่']\n",
      "ฉันต้องการไปเล่น\n",
      "['ฉัน', 'ต้องการ', 'ไป', 'เล่น']\n",
      "คุณเป็นผู้แพ้\n",
      "['คุณ', 'เป็น', 'ผู้แพ้']\n",
      "ฉันหิวโหย\n",
      "['ฉัน', 'หิวโหย']\n",
      "คุณห่วย\n",
      "['คุณ', 'ห่วย']\n",
      "ขอแสดงความยินดี\n",
      "['ขอแสดงความยินดี']\n",
      "คุณไม่สามารถแก้ปัญหาได้\n",
      "['คุณ', 'ไม่', 'สามารถ', 'แก้ปัญหา', 'ได้']\n",
      "ฉันสูญเสียกระเป๋าสตางค์ของฉัน\n",
      "['ฉัน', 'สูญเสีย', 'กระเป๋าสตางค์', 'ของ', 'ฉัน']\n",
      "เธอไม่ได้ตอบข้อความของฉัน\n",
      "['เธอ', 'ไม่ได้', 'ตอบ', 'ข้อความ', 'ของ', 'ฉัน']\n",
      "นักเบสบอลคนนี้ห่วย\n",
      "['นัก', 'เบสบอล', 'คน', 'นี้', 'ห่วย']\n",
      "เจอกันที่ร้านอาหาร\n",
      "['เจอ', 'กันที่', 'ร้านอาหาร']\n",
      "ฉันต้มข้าว\n",
      "['ฉัน', 'ต้ม', 'ข้าว']\n",
      "ฉันว่าใช่\n",
      "['ฉัน', 'ว่า', 'ใช่']\n",
      "ลูกอมคือชีวิต\n",
      "['ลูกอม', 'คือ', 'ชีวิต']\n",
      "เกมเพิ่งเสร็จสิ้น\n",
      "['เกม', 'เพิ่ง', 'เสร็จสิ้น']\n",
      "นักเบสบอลที่ฐานแรกได้บอล\n",
      "['นัก', 'เบสบอล', 'ที่', 'ฐาน', 'แรก', 'ได้', 'บอล']\n",
      "ขอแสดงความยินดีกับการยอมรับของคุณ\n",
      "['ขอแสดงความยินดี', 'กับ', 'การ', 'ยอมรับ', 'ของ', 'คุณ']\n",
      "การบ้านนี้ยาวเกินไป\n",
      "['การบ้าน', 'นี้', 'ยาว', 'เกินไป']\n",
      "555\n",
      "['555']\n",
      "X_indices\n",
      "[[40511. 24392. 42609. ...     0.     0.     0.]\n",
      " [28574. 56525.     0. ...     0.     0.     0.]\n",
      " [29425. 49376.     0. ...     0.     0.     0.]\n",
      " ...\n",
      " [    0. 24324. 24446. ...     0.     0.     0.]\n",
      " [24769. 34983. 41247. ...     0.     0.     0.]\n",
      " [ 4216.     0.     0. ...     0.     0.     0.]]\n"
     ]
    }
   ],
   "source": [
    "X_train_indices = sentences_to_indices(X_train, word_to_index, maxLen)\n",
    "Y_train_oh = convert_to_one_hot(Y_train, C = 5)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Fit the Keras model on `X_train_indices` and `Y_train_oh`. We will use `epochs = 50` and `batch_size = 32`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/50\n",
      "128/128 [==============================] - 1s 8ms/step - loss: 1.6037 - acc: 0.2344\n",
      "Epoch 2/50\n",
      "128/128 [==============================] - 0s 599us/step - loss: 1.5343 - acc: 0.3281\n",
      "Epoch 3/50\n",
      "128/128 [==============================] - 0s 583us/step - loss: 1.5373 - acc: 0.3125\n",
      "Epoch 4/50\n",
      "128/128 [==============================] - 0s 563us/step - loss: 1.4995 - acc: 0.3281\n",
      "Epoch 5/50\n",
      "128/128 [==============================] - 0s 554us/step - loss: 1.5089 - acc: 0.3281\n",
      "Epoch 6/50\n",
      "128/128 [==============================] - 0s 564us/step - loss: 1.4871 - acc: 0.3828\n",
      "Epoch 7/50\n",
      "128/128 [==============================] - 0s 564us/step - loss: 1.4385 - acc: 0.3750\n",
      "Epoch 8/50\n",
      "128/128 [==============================] - 0s 565us/step - loss: 1.3878 - acc: 0.4141\n",
      "Epoch 9/50\n",
      "128/128 [==============================] - 0s 568us/step - loss: 1.3189 - acc: 0.4297\n",
      "Epoch 10/50\n",
      "128/128 [==============================] - 0s 553us/step - loss: 1.2193 - acc: 0.4766\n",
      "Epoch 11/50\n",
      "128/128 [==============================] - 0s 563us/step - loss: 1.1471 - acc: 0.5469\n",
      "Epoch 12/50\n",
      "128/128 [==============================] - 0s 552us/step - loss: 1.0084 - acc: 0.6172\n",
      "Epoch 13/50\n",
      "128/128 [==============================] - 0s 556us/step - loss: 0.9176 - acc: 0.6406\n",
      "Epoch 14/50\n",
      "128/128 [==============================] - 0s 569us/step - loss: 0.7577 - acc: 0.7500\n",
      "Epoch 15/50\n",
      "128/128 [==============================] - 0s 553us/step - loss: 0.6293 - acc: 0.7812\n",
      "Epoch 16/50\n",
      "128/128 [==============================] - 0s 563us/step - loss: 0.5717 - acc: 0.7812\n",
      "Epoch 17/50\n",
      "128/128 [==============================] - 0s 566us/step - loss: 0.5573 - acc: 0.8047\n",
      "Epoch 18/50\n",
      "128/128 [==============================] - 0s 552us/step - loss: 0.3366 - acc: 0.8828\n",
      "Epoch 19/50\n",
      "128/128 [==============================] - 0s 560us/step - loss: 0.3161 - acc: 0.8750\n",
      "Epoch 20/50\n",
      "128/128 [==============================] - 0s 552us/step - loss: 0.2899 - acc: 0.8984\n",
      "Epoch 21/50\n",
      "128/128 [==============================] - 0s 561us/step - loss: 0.1864 - acc: 0.9531\n",
      "Epoch 22/50\n",
      "128/128 [==============================] - 0s 552us/step - loss: 0.1930 - acc: 0.9219\n",
      "Epoch 23/50\n",
      "128/128 [==============================] - 0s 572us/step - loss: 0.2051 - acc: 0.9375\n",
      "Epoch 24/50\n",
      "128/128 [==============================] - 0s 573us/step - loss: 0.1964 - acc: 0.9453\n",
      "Epoch 25/50\n",
      "128/128 [==============================] - 0s 559us/step - loss: 0.2446 - acc: 0.9219\n",
      "Epoch 26/50\n",
      "128/128 [==============================] - 0s 554us/step - loss: 0.1325 - acc: 0.9453\n",
      "Epoch 27/50\n",
      "128/128 [==============================] - 0s 555us/step - loss: 0.0948 - acc: 0.9688\n",
      "Epoch 28/50\n",
      "128/128 [==============================] - 0s 564us/step - loss: 0.0649 - acc: 0.9766\n",
      "Epoch 29/50\n",
      "128/128 [==============================] - 0s 556us/step - loss: 0.0574 - acc: 0.9844\n",
      "Epoch 30/50\n",
      "128/128 [==============================] - 0s 557us/step - loss: 0.0427 - acc: 0.9922\n",
      "Epoch 31/50\n",
      "128/128 [==============================] - 0s 557us/step - loss: 0.0348 - acc: 1.0000\n",
      "Epoch 32/50\n",
      "128/128 [==============================] - 0s 561us/step - loss: 0.0279 - acc: 0.9922\n",
      "Epoch 33/50\n",
      "128/128 [==============================] - 0s 561us/step - loss: 0.0426 - acc: 0.9844\n",
      "Epoch 34/50\n",
      "128/128 [==============================] - 0s 615us/step - loss: 0.0840 - acc: 0.9766\n",
      "Epoch 35/50\n",
      "128/128 [==============================] - 0s 572us/step - loss: 0.9216 - acc: 0.7969\n",
      "Epoch 36/50\n",
      "128/128 [==============================] - 0s 567us/step - loss: 1.1623 - acc: 0.7031\n",
      "Epoch 37/50\n",
      "128/128 [==============================] - 0s 554us/step - loss: 0.3602 - acc: 0.8516\n",
      "Epoch 38/50\n",
      "128/128 [==============================] - 0s 578us/step - loss: 0.4328 - acc: 0.8203\n",
      "Epoch 39/50\n",
      "128/128 [==============================] - 0s 560us/step - loss: 0.2255 - acc: 0.9219\n",
      "Epoch 40/50\n",
      "128/128 [==============================] - 0s 558us/step - loss: 0.2541 - acc: 0.9219\n",
      "Epoch 41/50\n",
      "128/128 [==============================] - 0s 556us/step - loss: 0.1677 - acc: 0.9688\n",
      "Epoch 42/50\n",
      "128/128 [==============================] - 0s 571us/step - loss: 0.0967 - acc: 0.9844\n",
      "Epoch 43/50\n",
      "128/128 [==============================] - 0s 564us/step - loss: 0.0649 - acc: 0.9688\n",
      "Epoch 44/50\n",
      "128/128 [==============================] - 0s 552us/step - loss: 0.1005 - acc: 0.9688\n",
      "Epoch 45/50\n",
      "128/128 [==============================] - 0s 573us/step - loss: 0.0681 - acc: 0.9766\n",
      "Epoch 46/50\n",
      "128/128 [==============================] - 0s 549us/step - loss: 0.0558 - acc: 0.9922\n",
      "Epoch 47/50\n",
      "128/128 [==============================] - 0s 560us/step - loss: 0.0369 - acc: 0.9922\n",
      "Epoch 48/50\n",
      "128/128 [==============================] - 0s 567us/step - loss: 0.0446 - acc: 0.9922\n",
      "Epoch 49/50\n",
      "128/128 [==============================] - 0s 556us/step - loss: 0.0201 - acc: 1.0000\n",
      "Epoch 50/50\n",
      "128/128 [==============================] - 0s 559us/step - loss: 0.0209 - acc: 0.9922\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7fe77d751f98>"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(X_train_indices, Y_train_oh, epochs = 50, batch_size = 32, shuffle=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Your model should perform close to **100% accuracy** on the training set. The exact accuracy you get may be a little different. Run the following cell to evaluate your model on the test set. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(55, 12)\n",
      "ฉันได้รับความอับอายจากพี่สาวของฉัน\n",
      "['ฉัน', 'ได้รับ', 'ความ', 'อับอาย', 'จาก', 'พี่สาว', 'ของ', 'ฉัน']\n",
      "ฉันต้องการกิน\n",
      "['ฉัน', 'ต้องการ', 'กิน']\n",
      "การบรรยายใช้ได้นะ\n",
      "['การบรรยาย', 'ใช้ได้', 'นะ']\n",
      "คุณไม่ได้ทำการบ้านมา\n",
      "['คุณ', 'ไม่ได้', 'ทำการบ้าน', 'มา']\n",
      "ทารกน่ารัก\n",
      "['ทารก', 'น่ารัก']\n",
      "ไชโย\n",
      "['ไชโย']\n",
      "ฉันคิดถึงคุณ\n",
      "['ฉัน', 'คิดถึง', 'คุณ']\n",
      "อยากจะเดทกับคุณ\n",
      "['อยาก', 'จะ', 'เดท', 'กับ', 'คุณ']\n",
      "อาหารอยู่ที่ไหน\n",
      "['อาหาร', 'อยู่', 'ที่ไหน']\n",
      "คุณแย่มาก\n",
      "['คุณ', 'แย่มาก']\n",
      "คำแนะนำสำหรับอาหารเย็น\n",
      "['คำแนะนำ', 'สำหรับ', 'อาหารเย็น']\n",
      "เธอมีความสุข\n",
      "['เธอ', 'มีความสุข']\n",
      "ฉันทำงานอยู่เสมอ\n",
      "['ฉัน', 'ทำงาน', 'อยู่', 'เสมอ']\n",
      "นี้ตลกมาก\n",
      "['นี้', 'ตลก', 'มาก']\n",
      "เกรดคุณแย่ลง\n",
      "['เกรด', 'คุณ', 'แย่', 'ลง']\n",
      "ฉันต้องการมีซูชิสำหรับมื้อค่ำ\n",
      "['ฉัน', 'ต้องการ', 'มี', 'ซู', 'ชิ', 'สำหรับ', 'มื้อ', 'ค่ำ']\n",
      "เธอยิ้มให้มาก\n",
      "['เธอ', 'ยิ้ม', 'ให้', 'มาก']\n",
      "ทีมชิคาโก้ชนะอีกครั้ง\n",
      "['ทีม', 'ชิ', 'คา', 'โก้', 'ชนะ', 'อีกครั้ง']\n",
      "ฉันได้รับการอนุมัติ\n",
      "['ฉัน', 'ได้รับ', 'การอนุมัติ']\n",
      "คุกกี้เป็นสิ่งที่ดี\n",
      "['คุกกี้', 'เป็น', 'สิ่ง', 'ที่', 'ดี']\n",
      "ฉันเกลียดเขา\n",
      "['ฉัน', 'เกลียด', 'เขา']\n",
      "ฉันจะไปที่สนามกีฬา\n",
      "['ฉัน', 'จะ', 'ไป', 'ที่', 'สนามกีฬา']\n",
      "ฉันผิดหวังมาก\n",
      "['ฉัน', 'ผิดหวัง', 'มาก']\n",
      "ฉันภูมิใจในตัวคุณตลอดไป\n",
      "['ฉัน', 'ภูมิใจ', 'ใน', 'ตัว', 'คุณ', 'ตลอดไป']\n",
      "เธอคนนี้กำลังยุ่งอยู่กับชีวิตฉัน\n",
      "['เธอ', 'คน', 'นี้', 'กำลัง', 'ยุ่ง', 'อยู่', 'กับ', 'ชีวิต', 'ฉัน']\n",
      "ขอแสดงความยินดีกับงานใหม่\n",
      "['ขอแสดงความยินดี', 'กับ', 'งาน', 'ใหม่']\n",
      "สนุกกับการพักผ่อนของคุณ\n",
      "['สนุก', 'กับ', 'การพักผ่อน', 'ของ', 'คุณ']\n",
      "ไปไกลๆเลย\n",
      "['ไป', 'ไกลๆ', 'เลย']\n",
      "ฉันต้องทำงานในวันเกิดของฉัน\n",
      "['ฉัน', 'ต้อง', 'ทำงาน', 'ใน', 'วันเกิด', 'ของ', 'ฉัน']\n",
      "ขอแสดงความยินดี\n",
      "['ขอแสดงความยินดี']\n",
      "ฉันหิว\n",
      "['ฉัน', 'หิว']\n",
      "เธอเป็นคนที่รักที่สุดของฉัน\n",
      "['เธอ', 'เป็น', 'คน', 'ที่รัก', 'ที่สุด', 'ของ', 'ฉัน']\n",
      "เธอน่ารัก\n",
      "['เธอ', 'น่ารัก']\n",
      "ฉันรักสุนัข\n",
      "['ฉัน', 'รัก', 'สุนัข']\n",
      "ฉันไม่ได้มีอาหารเช้า\n",
      "['ฉัน', 'ไม่ได้', 'มี', 'อาหารเช้า']\n",
      "สุนัขของฉัน เพิ่งคลอดลูกสุนัขออกมา\n",
      "['สุนัข', 'ของ', 'ฉัน', ' ', 'เพิ่ง', 'คลอดลูก', 'สุนัข', 'ออกมา']\n",
      "ฉันชอบคุณมาก\n",
      "['ฉัน', 'ชอบ', 'คุณ', 'มาก']\n",
      "เขาต้องทำโฮมรันให้ได้\n",
      "['เขา', 'ต้อง', 'ทำ', 'โฮม', 'รัน', 'ให้', 'ได้']\n",
      "ฉันอยู่ที่เกมเบสบอลแล้ว\n",
      "['ฉัน', 'อยู่', 'ที่', 'เกม', 'เบสบอล', 'แล้ว']\n",
      "คุณจริงจังฮาฮ่า\n",
      "['คุณ', 'จริงจัง', 'ฮา', 'ฮ่า']\n",
      "ฉันชอบที่จะหัวเราะ\n",
      "['ฉัน', 'ชอบ', 'ที่จะ', 'หัวเราะ']\n",
      "หยุดทำเรื่องตลกนี้ฮ่าฮ่า\n",
      "['หยุด', 'ทำ', 'เรื่องตลก', 'นี้', 'ฮ่า', 'ฮ่า']\n",
      "คุณสองคนน่ารัก\n",
      "['คุณ', 'สอง', 'คน', 'น่ารัก']\n",
      "ไอ้คนโง่นี้ไม่ทำงาน\n",
      "['ไอ้', 'คนโง่', 'นี้', 'ไม่ทำงาน']\n",
      "สิ่งที่คุณทำคือสุดยอดไปเลย\n",
      "['สิ่ง', 'ที่', 'คุณ', 'ทำ', 'คือ', 'สุดยอด', 'ไป', 'เลย']\n",
      "ชีวิตฉันน่าเบื่อ\n",
      "['ชีวิต', 'ฉัน', 'น่าเบื่อ']\n",
      "เขาไม่ได้ตอบ\n",
      "['เขา', 'ไม่ได้', 'ตอบ']\n",
      "ช่วยออกกำลังกาย\n",
      "['ช่วย', 'ออกกำลังกาย']\n",
      "คุณสดใสในวันของฉัน\n",
      "['คุณ', 'สดใส', 'ใน', 'วัน', 'ของ', 'ฉัน']\n",
      "ฉันจะไปเต้น\n",
      "['ฉัน', 'จะ', 'ไป', 'เต้น']\n",
      "ไปกินมื้อสายกัน\n",
      "['ไป', 'กิน', 'มื้อ', 'สาย', 'กัน']\n",
      "เต้นรำกับฉัน\n",
      "['เต้นรำ', 'กับ', 'ฉัน']\n",
      "เธอเป็นคนพาล\n",
      "['เธอ', 'เป็น', 'คนพาล']\n",
      "เธอเล่นเบสบอล\n",
      "['เธอ', 'เล่น', 'เบสบอล']\n",
      "ฉันชอบเมื่อคนยิ้ม\n",
      "['ฉัน', 'ชอบ', 'เมื่อ', 'คน', 'ยิ้ม']\n",
      "X_indices\n",
      "[[29425. 58541. 27083. 49119. 29010. 39208. 25981. 29425.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 32602. 25423.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [24738. 58231. 34412.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [28217. 58949. 33534. 40511.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [33516. 35067.     0.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [58489.     0.     0.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 28094. 28217.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [48608. 28859. 51788. 24324. 28217.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [49440. 48614. 33822.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [28217. 56525.     0.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [28074. 46588. 49458.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [52329. 40684.     0.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 33547. 48614. 54534.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [34983. 31662. 40512.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [50346. 28217. 56521. 43130.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 32602. 40671. 30532. 29898. 46588. 40837. 28430.     0.     0.\n",
      "      0.     0.]\n",
      " [52329. 41320. 58363. 40512.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [33716. 29898. 27873. 57019. 29547. 49686.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 58541. 25098.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [28212. 52934. 46693. 33733. 31189.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 50376. 50632.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 28859. 58680. 33733. 45476.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 37580. 40512.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 40005. 58244. 31920. 28217. 31681.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [52329. 26631. 34983. 25358. 41433. 48614. 24324. 29962. 29425.     0.\n",
      "      0.     0.]\n",
      " [    0. 24324. 28574. 58357.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [45494. 24324. 24876. 25981. 28217.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [58680. 58415. 54059.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 32600. 33547. 58244. 44355. 25981. 29425.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [    0.     0.     0.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 48195.     0.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [52329. 52934. 26631. 33782. 33799. 25981. 29425.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [52329. 35067.     0.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 42068. 46978.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 58949. 40671. 49457.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [46978. 25981. 29425.     0. 53292. 26958. 46978. 48890.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 29605. 28217. 40512.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [50632. 32600. 33529. 58138. 42189. 58363. 58520.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 48614. 33733. 50337. 52623. 56647.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [28217. 28788. 50116. 50248.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 29605. 33739. 48065.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [47672. 33529. 53920. 34983. 50248. 50248.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [28217. 45960. 26631. 35067.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [59195. 26744. 34983. 58835.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [46693. 33733. 28217. 33529. 28209. 46948. 58680. 54059.     0.     0.\n",
      "      0.     0.]\n",
      " [29962. 29425. 35099.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [50632. 58949. 31744.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [30109. 48864.     0.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [28217. 45335. 58244. 44327. 25981. 29425.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 28859. 58680. 52065.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [58680. 25423. 40837. 46402. 24294.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [52068. 24324. 29425.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [52329. 52934. 26682.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [52329. 54217. 52623.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 29605. 53613. 26631. 41320.     0.     0.     0.     0.     0.\n",
      "      0.     0.]]\n",
      "55/55 [==============================] - 0s 3ms/step\n",
      "\n",
      "Test accuracy =  0.6363636461171237\n"
     ]
    }
   ],
   "source": [
    "X_test_indices = sentences_to_indices(X_test, word_to_index, max_len = maxLen)\n",
    "Y_test_oh = convert_to_one_hot(Y_test, C = 5)\n",
    "loss, acc = model.evaluate(X_test_indices, Y_test_oh)\n",
    "print()\n",
    "print(\"Test accuracy = \", acc)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(55, 12)\n",
      "ฉันได้รับความอับอายจากพี่สาวของฉัน\n",
      "['ฉัน', 'ได้รับ', 'ความ', 'อับอาย', 'จาก', 'พี่สาว', 'ของ', 'ฉัน']\n",
      "ฉันต้องการกิน\n",
      "['ฉัน', 'ต้องการ', 'กิน']\n",
      "การบรรยายใช้ได้นะ\n",
      "['การบรรยาย', 'ใช้ได้', 'นะ']\n",
      "คุณไม่ได้ทำการบ้านมา\n",
      "['คุณ', 'ไม่ได้', 'ทำการบ้าน', 'มา']\n",
      "ทารกน่ารัก\n",
      "['ทารก', 'น่ารัก']\n",
      "ไชโย\n",
      "['ไชโย']\n",
      "ฉันคิดถึงคุณ\n",
      "['ฉัน', 'คิดถึง', 'คุณ']\n",
      "อยากจะเดทกับคุณ\n",
      "['อยาก', 'จะ', 'เดท', 'กับ', 'คุณ']\n",
      "อาหารอยู่ที่ไหน\n",
      "['อาหาร', 'อยู่', 'ที่ไหน']\n",
      "คุณแย่มาก\n",
      "['คุณ', 'แย่มาก']\n",
      "คำแนะนำสำหรับอาหารเย็น\n",
      "['คำแนะนำ', 'สำหรับ', 'อาหารเย็น']\n",
      "เธอมีความสุข\n",
      "['เธอ', 'มีความสุข']\n",
      "ฉันทำงานอยู่เสมอ\n",
      "['ฉัน', 'ทำงาน', 'อยู่', 'เสมอ']\n",
      "นี้ตลกมาก\n",
      "['นี้', 'ตลก', 'มาก']\n",
      "เกรดคุณแย่ลง\n",
      "['เกรด', 'คุณ', 'แย่', 'ลง']\n",
      "ฉันต้องการมีซูชิสำหรับมื้อค่ำ\n",
      "['ฉัน', 'ต้องการ', 'มี', 'ซู', 'ชิ', 'สำหรับ', 'มื้อ', 'ค่ำ']\n",
      "เธอยิ้มให้มาก\n",
      "['เธอ', 'ยิ้ม', 'ให้', 'มาก']\n",
      "ทีมชิคาโก้ชนะอีกครั้ง\n",
      "['ทีม', 'ชิ', 'คา', 'โก้', 'ชนะ', 'อีกครั้ง']\n",
      "ฉันได้รับการอนุมัติ\n",
      "['ฉัน', 'ได้รับ', 'การอนุมัติ']\n",
      "คุกกี้เป็นสิ่งที่ดี\n",
      "['คุกกี้', 'เป็น', 'สิ่ง', 'ที่', 'ดี']\n",
      "ฉันเกลียดเขา\n",
      "['ฉัน', 'เกลียด', 'เขา']\n",
      "ฉันจะไปที่สนามกีฬา\n",
      "['ฉัน', 'จะ', 'ไป', 'ที่', 'สนามกีฬา']\n",
      "ฉันผิดหวังมาก\n",
      "['ฉัน', 'ผิดหวัง', 'มาก']\n",
      "ฉันภูมิใจในตัวคุณตลอดไป\n",
      "['ฉัน', 'ภูมิใจ', 'ใน', 'ตัว', 'คุณ', 'ตลอดไป']\n",
      "เธอคนนี้กำลังยุ่งอยู่กับชีวิตฉัน\n",
      "['เธอ', 'คน', 'นี้', 'กำลัง', 'ยุ่ง', 'อยู่', 'กับ', 'ชีวิต', 'ฉัน']\n",
      "ขอแสดงความยินดีกับงานใหม่\n",
      "['ขอแสดงความยินดี', 'กับ', 'งาน', 'ใหม่']\n",
      "สนุกกับการพักผ่อนของคุณ\n",
      "['สนุก', 'กับ', 'การพักผ่อน', 'ของ', 'คุณ']\n",
      "ไปไกลๆเลย\n",
      "['ไป', 'ไกลๆ', 'เลย']\n",
      "ฉันต้องทำงานในวันเกิดของฉัน\n",
      "['ฉัน', 'ต้อง', 'ทำงาน', 'ใน', 'วันเกิด', 'ของ', 'ฉัน']\n",
      "ขอแสดงความยินดี\n",
      "['ขอแสดงความยินดี']\n",
      "ฉันหิว\n",
      "['ฉัน', 'หิว']\n",
      "เธอเป็นคนที่รักที่สุดของฉัน\n",
      "['เธอ', 'เป็น', 'คน', 'ที่รัก', 'ที่สุด', 'ของ', 'ฉัน']\n",
      "เธอน่ารัก\n",
      "['เธอ', 'น่ารัก']\n",
      "ฉันรักสุนัข\n",
      "['ฉัน', 'รัก', 'สุนัข']\n",
      "ฉันไม่ได้มีอาหารเช้า\n",
      "['ฉัน', 'ไม่ได้', 'มี', 'อาหารเช้า']\n",
      "สุนัขของฉัน เพิ่งคลอดลูกสุนัขออกมา\n",
      "['สุนัข', 'ของ', 'ฉัน', ' ', 'เพิ่ง', 'คลอดลูก', 'สุนัข', 'ออกมา']\n",
      "ฉันชอบคุณมาก\n",
      "['ฉัน', 'ชอบ', 'คุณ', 'มาก']\n",
      "เขาต้องทำโฮมรันให้ได้\n",
      "['เขา', 'ต้อง', 'ทำ', 'โฮม', 'รัน', 'ให้', 'ได้']\n",
      "ฉันอยู่ที่เกมเบสบอลแล้ว\n",
      "['ฉัน', 'อยู่', 'ที่', 'เกม', 'เบสบอล', 'แล้ว']\n",
      "คุณจริงจังฮาฮ่า\n",
      "['คุณ', 'จริงจัง', 'ฮา', 'ฮ่า']\n",
      "ฉันชอบที่จะหัวเราะ\n",
      "['ฉัน', 'ชอบ', 'ที่จะ', 'หัวเราะ']\n",
      "หยุดทำเรื่องตลกนี้ฮ่าฮ่า\n",
      "['หยุด', 'ทำ', 'เรื่องตลก', 'นี้', 'ฮ่า', 'ฮ่า']\n",
      "คุณสองคนน่ารัก\n",
      "['คุณ', 'สอง', 'คน', 'น่ารัก']\n",
      "ไอ้คนโง่นี้ไม่ทำงาน\n",
      "['ไอ้', 'คนโง่', 'นี้', 'ไม่ทำงาน']\n",
      "สิ่งที่คุณทำคือสุดยอดไปเลย\n",
      "['สิ่ง', 'ที่', 'คุณ', 'ทำ', 'คือ', 'สุดยอด', 'ไป', 'เลย']\n",
      "ชีวิตฉันน่าเบื่อ\n",
      "['ชีวิต', 'ฉัน', 'น่าเบื่อ']\n",
      "เขาไม่ได้ตอบ\n",
      "['เขา', 'ไม่ได้', 'ตอบ']\n",
      "ช่วยออกกำลังกาย\n",
      "['ช่วย', 'ออกกำลังกาย']\n",
      "คุณสดใสในวันของฉัน\n",
      "['คุณ', 'สดใส', 'ใน', 'วัน', 'ของ', 'ฉัน']\n",
      "ฉันจะไปเต้น\n",
      "['ฉัน', 'จะ', 'ไป', 'เต้น']\n",
      "ไปกินมื้อสายกัน\n",
      "['ไป', 'กิน', 'มื้อ', 'สาย', 'กัน']\n",
      "เต้นรำกับฉัน\n",
      "['เต้นรำ', 'กับ', 'ฉัน']\n",
      "เธอเป็นคนพาล\n",
      "['เธอ', 'เป็น', 'คนพาล']\n",
      "เธอเล่นเบสบอล\n",
      "['เธอ', 'เล่น', 'เบสบอล']\n",
      "ฉันชอบเมื่อคนยิ้ม\n",
      "['ฉัน', 'ชอบ', 'เมื่อ', 'คน', 'ยิ้ม']\n",
      "X_indices\n",
      "[[29425. 58541. 27083. 49119. 29010. 39208. 25981. 29425.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 32602. 25423.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [24738. 58231. 34412.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [28217. 58949. 33534. 40511.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [33516. 35067.     0.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [58489.     0.     0.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 28094. 28217.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [48608. 28859. 51788. 24324. 28217.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [49440. 48614. 33822.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [28217. 56525.     0.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [28074. 46588. 49458.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [52329. 40684.     0.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 33547. 48614. 54534.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [34983. 31662. 40512.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [50346. 28217. 56521. 43130.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 32602. 40671. 30532. 29898. 46588. 40837. 28430.     0.     0.\n",
      "      0.     0.]\n",
      " [52329. 41320. 58363. 40512.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [33716. 29898. 27873. 57019. 29547. 49686.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 58541. 25098.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [28212. 52934. 46693. 33733. 31189.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 50376. 50632.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 28859. 58680. 33733. 45476.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 37580. 40512.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 40005. 58244. 31920. 28217. 31681.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [52329. 26631. 34983. 25358. 41433. 48614. 24324. 29962. 29425.     0.\n",
      "      0.     0.]\n",
      " [    0. 24324. 28574. 58357.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [45494. 24324. 24876. 25981. 28217.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [58680. 58415. 54059.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 32600. 33547. 58244. 44355. 25981. 29425.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [    0.     0.     0.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 48195.     0.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [52329. 52934. 26631. 33782. 33799. 25981. 29425.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [52329. 35067.     0.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 42068. 46978.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 58949. 40671. 49457.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [46978. 25981. 29425.     0. 53292. 26958. 46978. 48890.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 29605. 28217. 40512.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [50632. 32600. 33529. 58138. 42189. 58363. 58520.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 48614. 33733. 50337. 52623. 56647.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [28217. 28788. 50116. 50248.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 29605. 33739. 48065.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [47672. 33529. 53920. 34983. 50248. 50248.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [28217. 45960. 26631. 35067.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [59195. 26744. 34983. 58835.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [46693. 33733. 28217. 33529. 28209. 46948. 58680. 54059.     0.     0.\n",
      "      0.     0.]\n",
      " [29962. 29425. 35099.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [50632. 58949. 31744.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [30109. 48864.     0.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [28217. 45335. 58244. 44327. 25981. 29425.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 28859. 58680. 52065.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [58680. 25423. 40837. 46402. 24294.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [52068. 24324. 29425.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [52329. 52934. 26682.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [52329. 54217. 52623.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [29425. 29605. 53613. 26631. 41320.     0.     0.     0.     0.     0.\n",
      "      0.     0.]]\n",
      "Expected emoji:❤️ prediction: อยากจะเดทกับคุณ😄\n",
      "Expected emoji:🍴 prediction: คำแนะนำสำหรับอาหารเย็น😄\n",
      "Expected emoji:😄 prediction: เธอมีความสุข⚾\n",
      "Expected emoji:😄 prediction: เธอยิ้มให้มาก❤️\n",
      "Expected emoji:😄 prediction: ฉันได้รับการอนุมัติ🍴\n",
      "Expected emoji:🍴 prediction: คุกกี้เป็นสิ่งที่ดี😄\n",
      "Expected emoji:😞 prediction: ฉันเกลียดเขา❤️\n",
      "Expected emoji:⚾ prediction: ฉันจะไปที่สนามกีฬา🍴\n",
      "Expected emoji:😞 prediction: ฉันผิดหวังมาก😄\n",
      "Expected emoji:😞 prediction: เธอคนนี้กำลังยุ่งอยู่กับชีวิตฉัน❤️\n",
      "Expected emoji:😞 prediction: ไปไกลๆเลย😄\n",
      "Expected emoji:🍴 prediction: ฉันหิว😄\n",
      "Expected emoji:❤️ prediction: ฉันชอบคุณมาก😄\n",
      "Expected emoji:😄 prediction: หยุดทำเรื่องตลกนี้ฮ่าฮ่า😞\n",
      "Expected emoji:😞 prediction: ชีวิตฉันน่าเบื่อ❤️\n",
      "Expected emoji:⚾ prediction: ช่วยออกกำลังกาย😄\n",
      "Expected emoji:😄 prediction: คุณสดใสในวันของฉัน❤️\n",
      "Expected emoji:😄 prediction: ฉันจะไปเต้น🍴\n",
      "Expected emoji:😄 prediction: เต้นรำกับฉัน❤️\n",
      "Expected emoji:😞 prediction: เธอเป็นคนพาล❤️\n"
     ]
    }
   ],
   "source": [
    "# This code allows you to see the mislabelled examples\n",
    "C = 5\n",
    "y_test_oh = np.eye(C)[Y_test.reshape(-1)]\n",
    "X_test_indices = sentences_to_indices(X_test, word_to_index, maxLen)\n",
    "pred = model.predict(X_test_indices)\n",
    "for i in range(len(X_test)):\n",
    "    x = X_test_indices\n",
    "    num = np.argmax(pred[i])\n",
    "    if(num != Y_test[i]):\n",
    "        print('Expected emoji:'+ label_to_emoji(Y_test[i]) + ' prediction: '+ X_test[i] + label_to_emoji(num).strip())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Now you can try it on your own example. Write your own sentence below. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(4, 12)\n",
      "ขออาหารหน่อย หิวเว้ย\n",
      "['ขอ', 'อาหาร', 'หน่อย', ' ', 'หิว', 'เว้ย']\n",
      "อารมณ์เสีย\n",
      "['อารมณ์เสีย']\n",
      "ดีมากเลย\n",
      "['ดีมาก', 'เลย']\n",
      "ไม่เศร้าและ\n",
      "['ไม่', 'เศร้า', 'และ']\n",
      "X_indices\n",
      "[[25973. 49440. 47434.     0. 48195. 54439.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [49376.     0.     0.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [31204. 54059.     0.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]\n",
      " [58811. 54462. 56626.     0.     0.     0.     0.     0.     0.     0.\n",
      "      0.     0.]]\n",
      "ขออาหารหน่อย หิวเว้ย 🍴\n",
      "อารมณ์เสีย 😞\n",
      "ดีมากเลย 😄\n",
      "ไม่เศร้าและ 😞\n"
     ]
    }
   ],
   "source": [
    "# Change the sentence below to see your prediction. Make sure all the words are in the Glove embeddings.  \n",
    "x_test = np.array(['ขออาหารหน่อย หิวเว้ย','อารมณ์เสีย','ดีมากเลย','ไม่เศร้าและ'])\n",
    "X_test_indices = sentences_to_indices(x_test, word_to_index, maxLen)\n",
    "result = model.predict(X_test_indices);\n",
    "for i in range(len(result)):\n",
    "    print(x_test[i] +' '+  label_to_emoji(np.argmax(result[i])))\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "coursera": {
   "course_slug": "nlp-sequence-models",
   "graded_item_id": "RNnEs",
   "launcher_item_id": "acNYU"
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}