baseline_pytorch.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "from pathlib import Path"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 83,
   "metadata": {},
   "outputs": [],
   "source": [
    "os.environ[\"CUDA_VISIBLE_DEVICES\"] = \"1\"\n",
    "EXP_DIR = Path(\"exp/baseline_1\")\n",
    "EXP_DIR.mkdir(exist_ok=False, parents=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "import torch\n",
    "import torch.nn as nn\n",
    "import cv2\n",
    "from pathlib import Path\n",
    "from torch.utils.data import Dataset, DataLoader\n",
    "import torch.utils.data as utils_data\n",
    "from typing import List, Union, Set\n",
    "import torch.nn.functional as F\n",
    "import torch.optim as optim\n",
    "import numpy as np\n",
    "from tqdm.auto import tqdm\n",
    "from dataclasses import dataclass\n",
    "from collections import Counter\n",
    "import itertools\n",
    "import matplotlib.pyplot as plt\n",
    "import editdistance\n",
    "import pickle\n",
    "\n",
    "%matplotlib inline"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "class TextEncoder:\n",
    "    def __init__(self, allowed_chars: Set[str]):\n",
    "        self.allowed_chars = allowed_chars\n",
    "        self.id2char = [\"<blank>\"] + sorted(allowed_chars)\n",
    "        self.char2id = dict(zip(self.id2char, range(len(self.id2char))))\n",
    "        \n",
    "    def encode(self, text: str):\n",
    "        return [self.char2id[c] for c in text]\n",
    "\n",
    "    def decode(self, sequence: List[int]):\n",
    "        return \"\".join(self.id2char[i] for i in sequence)\n",
    "    \n",
    "    def decode_ctc(self, sequence: List[int]):\n",
    "        return \"\".join(self.id2char[i] for i, _ in itertools.groupby(sequence) if i != 0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "english = {'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'm', 'n' ,'o', 'p', 'r', 's', 't', 'u', 'w'}\n",
    "with open(\"data/chars_set.pkl\", \"rb\") as f:\n",
    "    all_chars = pickle.load(f)\n",
    "encoder = TextEncoder(all_chars - english)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "def process_image(img):\n",
    "    w, h,_ = img.shape\n",
    "    \n",
    "    new_w = 128\n",
    "    new_h = int(h * (new_w / w))\n",
    "    img = cv2.resize(img, (new_h, new_w))\n",
    "    w, h,_ = img.shape\n",
    "    \n",
    "    img = img.astype('float32')\n",
    "    \n",
    "    if w < 128:\n",
    "        add_zeros = np.full((128-w, h,3), 255)\n",
    "        img = np.concatenate((img, add_zeros))\n",
    "        w, h,_ = img.shape\n",
    "    \n",
    "    if h < 1024:\n",
    "        add_zeros = np.full((w, 1024-h,3), 255)\n",
    "        img = np.concatenate((img, add_zeros), axis=1)\n",
    "        w, h,_ = img.shape\n",
    "        \n",
    "    if h > 1024 or w > 128:\n",
    "        dim = (1024,128)\n",
    "        img = cv2.resize(img, dim)\n",
    "    \n",
    "    img = cv2.subtract(255, img)\n",
    "\n",
    "    img = img / 255\n",
    "    \n",
    "    return img"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open(\"data/train_uttids_set.pkl\", \"rb\") as f:\n",
    "    train_uttids = pickle.load(f)\n",
    "with open(\"data/val_uttids_set.pkl\", \"rb\") as f:\n",
    "    val_uttids = pickle.load(f)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "class DigitalPeterDataset(Dataset):\n",
    "    def __init__(self, base_dir: Union[Path, str], uttids: Set[str]):\n",
    "        super().__init__()\n",
    "        base_dir = Path(base_dir)\n",
    "        self.trans_dir = base_dir / \"words\"\n",
    "        self.image_dir = base_dir / \"images\"\n",
    "        self.images = []\n",
    "        self.texts = []\n",
    "        self.encoded_texts = []\n",
    "        self.keys = []\n",
    "#         self.chars_counter = Counter()\n",
    "        self.encoder = encoder\n",
    "\n",
    "        for imagepath in tqdm(self.image_dir.glob(\"*.jpg\")):\n",
    "            key = imagepath.stem\n",
    "            if key not in uttids:\n",
    "                continue\n",
    "            textpath = self.trans_dir / f\"{key}.txt\"\n",
    "            with open(textpath, \"r\", encoding=\"utf-8\") as f:\n",
    "                text = f.read().strip()\n",
    "            if not text:\n",
    "                print(imagepath, textpath, text)\n",
    "                continue\n",
    "            if len(set(text).intersection(english)) > 0:\n",
    "                print(f\"skipping {key}: {text}\")\n",
    "                continue\n",
    "#             self.all_chars.update(text)\n",
    "#             self.chars_counter.update(text)\n",
    "            self.keys.append(key)\n",
    "            self.texts.append(text)\n",
    "            img = cv2.imread(f\"{imagepath}\")\n",
    "            img = process_image(img)\n",
    "            self.images.append(torch.FloatTensor(img.transpose(2, 0, 1))) # HxWxC -> CxHxW\n",
    "        for text in self.texts:\n",
    "            self.encoded_texts.append(self.encoder.encode(text))\n",
    "    \n",
    "    def __getitem__(self, index):\n",
    "        return self.images[index], self.texts[index], self.encoded_texts[index], len(self.texts[index])\n",
    "    \n",
    "    def __len__(self):\n",
    "        return len(self.texts)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "c72a0796c5b04b6ea0e8275a3190d7b7",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=1.0, bar_style='info', layout=Layout(width='20px'), max=1.0…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "skipping 209_31_12: d другой столбъ с короною явъляюшей\n",
      "skipping 19_5_0: min her +\n",
      "skipping 215_38_10: а в точку f iз которой протчия линеi дѣлай\n",
      "skipping 217_40_19: бери дистанциi на линii e f гдѣ доткнулис линѣ\n",
      "skipping 163_7_0: sire\n",
      "skipping 163_4_4: iз санктъпитербурха въ 27 д генваря piter\n",
      "skipping 217_40_11: казывает в обѣiх углах d] аш] потом\n",
      "skipping 133_36_0: mrsi\n",
      "skipping 217_40_14: e f потом iз точки  g начерти полкруга\n",
      "skipping 188_4_14: мушкѣтная стрелба h какъ все то\n",
      "skipping 182_4_6: пушки стала а реданы при b bd дѣат\n",
      "skipping 14_29_10: р s карабль наш сваятого петра сего\n",
      "skipping 109_7_1: cну i осмотря все быт с полным до\n",
      "skipping 217_40_21: черчивай паралелныя линѣi гдѣ линѣя a g\n",
      "skipping 356_4_4: iз лагара въ 27 д iюня piter\n",
      "skipping 188_4_21: aa\n",
      "skipping 163_6_4: p s\n",
      "skipping 17_7_10: р s поздравляем сим днем\n",
      "skipping 22_11_13: piter\n",
      "skipping 164_13_0: sire\n",
      "skipping 337_41_2: гиc областей что\n",
      "skipping 163_6_0: siire\n",
      "skipping 217_40_15: h i i раздели [с которой кругом доткнулся б точки c] i раз\n",
      "skipping 356_6_6: piter\n",
      "skipping 214_37_11: разстоянием a f здѣлай полцыркуля ⊕ h a i\n",
      "skipping 460_3_5: вителныi cенат ко\n",
      "skipping 110_14_5: ps получили мы третево дни въве\n",
      "skipping 356_5_0: + sire\n",
      "skipping 212_34_14: борствер е куртины ж f f f f\n",
      "skipping 383_12_16: в лагоре пот полтавою въ 11 д iюня 1709 piter\n",
      "skipping 41_10_1: monsieur\n",
      "skipping 20_19_5: piter\n",
      "skipping 20_16_0: monsinir +\n",
      "skipping 217_40_23: есть полдиаметра h g паралелна линѣi а g\n",
      "skipping 404_1_22: + h малыя ка\n",
      "skipping 41_13_2: iз преображенскова piter\n",
      "skipping 164_12_2: p s благодарствую за вашу превысокую\n",
      "skipping 214_37_14: до линеi остъвестъ потом iз точки b сквоз точки\n",
      "skipping 356_3_1: sir\n",
      "skipping 143_2_9: iз солцы въ 20 д сентебря 1709 piter\n",
      "skipping 182_5_0: рофъ воденой кругом n труба ко\n",
      "skipping 182_5_4: о профиль сего бор бастиона в p s\n",
      "skipping 19_4_7: ps получили мы писмо от гетмана х князю\n",
      "skipping 164_13_6: p s\n",
      "skipping 356_1_0: sire\n",
      "skipping 133_35_1: p s я зело со удивълением услышал\n",
      "skipping 19_9_0: min her +\n",
      "skipping 143_4_4: iз варшавы въ 24 д piter\n",
      "skipping 40_1_1: mein her\n",
      "skipping 404_1_24: e для осушки\n",
      "skipping 400_2_10: позади плана фигуры е еше план f ко\n",
      "skipping 41_13_4: ps найпаче всего смотрѣт дабы турок\n",
      "skipping 182_5_6: стрелба iз кофора s\n",
      "skipping 212_34_13: возвожно iз профиля наружная земля d\n",
      "skipping 173_1_1: cуды на каспълѣ починит i пос\n",
      "skipping 19_4_5: piter\n",
      "skipping 356_7_0: sire\n",
      "skipping 109_3_1: ps для бога старайтес прислат\n",
      "skipping 149_5_11: iз торна въ 30 д сентебря piter\n",
      "skipping 313_12_4: невозможно] i стал ic пушек стрелят\n",
      "skipping 217_40_18: я то разделителныя точки до линѣi e f потом\n",
      "skipping 214_37_12: i раздели оной на двенатцат частей iз точки f прочер\n",
      "skipping 20_17_6: p s о вышеписанном о фъсем королю\n",
      "skipping 163_4_6: p s я вижу вашего величества нѣка\n",
      "skipping 35_4_11: piter\n",
      "skipping 19_7_9: piter\n",
      "skipping 8_2_11: р s отпиши ко мнѣ х которому\n",
      "skipping 23_12_10: iз лагору 23 д iюня 1709 piter\n",
      "skipping 20_17_4: piter\n",
      "skipping 214_37_10: назначь на нордной линеi от а до в точку f потом\n",
      "skipping 182_5_2: в роф n проведенная назначена точками\n",
      "skipping 197_16_7: iз санктъпитербурха въ 10 д октебря 1710 piter\n",
      "skipping 143_3_9: дарствую i посылаю при сем к вам нѣc\n",
      "skipping 356_8_6: piter\n",
      "skipping 163_1_0: sir\n",
      "skipping 19_8_0: iз въ 14 д юня 1709 piter\n",
      "skipping 85_55_1: ps понеже безотложно бытие мое\n",
      "skipping 188_4_10: въляет сло c въверху над мостом бор\n",
      "skipping 356_1_7: piter\n",
      "skipping 239_34_9: ния дѣcства бут воiнския\n",
      "skipping 58_9_6: ps\n",
      "skipping 404_1_16: f вал начинающейся от тветцникоф\n",
      "skipping 22_11_15: въ 19 д iюня 1709 p s +\n",
      "skipping 20_14_0: min her +\n",
      "skipping 188_4_13: зуры пушечныя f поверхъ оного\n",
      "skipping 403_1_6: d канал ко оной\n",
      "skipping 217_40_20: i оныя i стаф iх въверху на линеi h i потом про\n",
      "skipping 182_5_5: кофор врѣзанай во оном r мушкѣтная\n",
      "skipping 151_7_11: iз санктъ питербурха piter\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "45ce138657604fb2939c37402588eb28",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=1.0, bar_style='info', layout=Layout(width='20px'), max=1.0…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "skipping 425_37_0: p s також донеси i то к в\n",
      "skipping 214_37_23: ⊕ iз точки f\n",
      "\n"
     ]
    }
   ],
   "source": [
    "train_data = DigitalPeterDataset(\"data/train\", train_uttids)\n",
    "val_data = DigitalPeterDataset(\"data/train\", val_uttids)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(5693, 412)"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(train_data), len(val_data)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "max_text_len = 0\n",
    "for text in itertools.chain(train_data.texts, val_data.texts):\n",
    "    max_text_len = max(max_text_len, len(text))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "71"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "max_text_len"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "61\n"
     ]
    }
   ],
   "source": [
    "num_outputs = len(train_data.encoder.id2char)\n",
    "print(num_outputs)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "for i, encoded_text in enumerate(train_data.encoded_texts):\n",
    "    train_data.encoded_texts[i] = encoded_text + [num_outputs for _ in range(max_text_len - len(encoded_text))]\n",
    "for i, encoded_text in enumerate(val_data.encoded_texts):\n",
    "    val_data.encoded_texts[i] = encoded_text + [num_outputs for _ in range(max_text_len - len(encoded_text))]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "# num_samples = len(full_data)\n",
    "# val_samples = num_samples // 15\n",
    "# train_data, val_data = utils_data.random_split(full_data, [num_samples - val_samples, val_samples], \n",
    "#                                                generator=torch.Generator().manual_seed(666))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(5693, 412)"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(train_data), len(val_data)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "def collate_fn(items):\n",
    "    images = torch.stack([item[0] for item in items])\n",
    "    encoded_texts = torch.tensor([item[2] for item in items])\n",
    "    texts = [item[1] for item in items]\n",
    "    text_lengths = torch.tensor([item[3] for item in items])\n",
    "    return images, texts, encoded_texts, text_lengths"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "train_loader = DataLoader(train_data, batch_size=20, shuffle=True, collate_fn=collate_fn)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "val_loader = DataLoader(val_data, batch_size=20, shuffle=False, collate_fn=collate_fn)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXwAAABZCAYAAAA98Z/7AAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjMuMSwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/d3fzzAAAACXBIWXMAAAsTAAALEwEAmpwYAABSjUlEQVR4nO29ebQlWXbW99vnRNz5zVO+l2NVdbVa3bImQAhZC2QLm0GA8FpYFiCDjECwlllislELLYzEIBCDjDFmEEJISCAhQICYFjZgAV4IjfRU3V1dOefLN893vjfiHP+xz4m473VWZVV1V2dW5t21XuV7d4g4ceLEHr797X3Ee89UpjKVqUzl2RfzpAcwlalMZSpT+dzIVOFPZSpTmcpzIlOFP5WpTGUqz4lMFf5UpjKVqTwnMlX4U5nKVKbynMhU4U9lKs+wiEjypMcwladHpgr/CYuIvCIiX/WkxzGVZ0NE5ItF5MdF5K6InAJ/6EmPaSpPj0wV/hMW7/0HvPc/+aTH8W4VEfkTIvJREclE5Dve4HN/S0S8iLznczi8z6mIyEvAvwF+Aniv937Oe//dT3hYU3mKZKrwp/Jul5vAHwb++et9QES+EnjpczaiJyd/FPiz3vsf8N6PnvRgpvL0yVThP2EJofevDL//PhHZEZG2iHxERH7F63znwyLSEZG+iLjwe0dE/kh4/ytE5GdF5DT8+xUT3/1JEfnTIvIz4f1/IiKL4b0bwQvuTPx8d3hvQ0R+QkSOROSmiPyu8PolEemJyNLEOX6RiOyLSPqIsX+HiIzDsU9E5B+JyIyIXJs455v2xL33P+i9/5dA+3XmKgH+T+D3vpnjicgPi8hoYn433+CziyFy2BKRYxH5xxPv/ToR+VC4xv8oIl848V5xz8Pfv1NEfjL8/k/DubsX7sVfC+9viMg/DPN7R0S+ZWJIXwZ8QEQ2w/s/JCJz4Xvx3n5zGO+2iPyhiTE0ROTHwv3thDn4gde57m8UkfzCOnERmhQRIyIfFJFbInIYjhvX2OPWrheRbxGR2yJyICJ/Lhzvba2PqZyXqcJ/uuSfAp8HzAJ/BfieR33Ie/9F3vsW8GuALe99K/x8V3iw/jnwl4ClcIx/PqmQgd8G/A5gA8jCZydlfuKY3xpe+xFgM3znNwHfJSJf7b3fAX4S+LqJ738D8KPe+/HrXOffC+O/BrwA/Hbv/f14zjecobcufwD49977j7zJzwvwpybm943kh4AG8AFgFfjfAUTkS4HvB343eg/+OvATIlJ93Mm9978+nPsD4aV4L36PiBh0jXwYuAx8NfD7ReRXhc82gK8Afjk6r03gL184xX8FvAz8t8AHJwzPb0PX3gvh/H/2MUP9qYk10gK2Jt77FuA3Ar8CXS/HwP8Vru911+7E9/874BcDXwp8LfA73sH18VzJVOE/ReK9v+29Pw1/CvALb+MwXwO85r3/Ie995r3/EeCTwK+f+MwPee8/5r3vojDA14mIfb0DishV4CuBb/XeD7z3HwK+D/gfw0d+EFXyhOP8ZlQZPk4sugYP38oFvlkJ4/7dwP/2Fr5WBx4Lh4jIOqq0fo/3/th7P/be/7vw9u8C/rr3/qe997n3/geBIfDlb+0KPk1+CbDivf/j3vuR9/428DeAr5/4zPeEddQBvg34ejnP1PlO733Xe/9R4G+h9wp0vQl6Tz5T+d3At3vvN733Q+A7gN8kb54x9N3e+yPv/X3gL06McSqfoUwV/lMmIvJBoAf8CeCfvY1DbAD3Lrx2D/UIozy48F4KLD/mmEfe+0nYZPKY/wR4v4i8CPw3wKn3/mfe4HhfJyInwD7QRb3Wi/ILAQ65PQk9vEX5i8AfnzCib0YuhXE9Tq6ic3L8iPeuA38ojP8kXOtVdB6j/OOJ9y5GWK8n14GNC8f9I8BaeH/I+Xt/D0gm3odPv/dxTD8I/CywL8ru+V/e5Jheb5z/aGKMnwDyC+N4I3m9MU7KZ2N9PHcyVfhPmXjv/wwamn8j8GMiMv8WD7GFPnCTcg14OPH31QvvjYGDxxxzUURmHnVM7/0A+DHgt6Je/+O8+x/z3s+j1/lR4C884jNfGj7zNcCfEJH3PeaYj5KvBv6caF5kJ7z2UyLyWx71YdGcwxegkMnj5AE6J/Ov896f8t7PT/w0QrQV5TfG91AI5M3IA+DOhePOeO9/bXj/Pufv/TUUstudeO3ivd8C8N73UAfjYygM9eff5Jheb5y/5sI4a977h4/95huM8YJ8NtbHcydThf8UiYi8fyLsrQMOGLzFw/wL4L0i8ltEJBGR/wF4P+ejhW8I52oAfxz4B977/PUO6L1/APxH4E+LSC0kIL8J+DsTH/vbqJH6DcAPv8mxOsADK2/wmRyFGh65VkUkFZFaeD8J44uwxHuBLwK+OPyAQlv/6HXO9T8BO8DPPW7g3vtt4F8Cf0VEFsI4fnl4+28Av0dEfqmoNEXkay4YzLcjPwOcici3ikhdRKyIfIGI/JLw/o8Af0BEXhCRFvBdaL4kmzjGHw0J2g+E6/17ACG5+5eA33Xh829H/hrwp0Tkejj2ioh87Vv4/v8a5vQq8PviGF9H3nB9TOWCeO+nP0/wB7gL/Mrw+18FjoAz4EPAr3/Md78K2HzE618J/DxwGv79yon3fhL40wTlgcIpy+G9G6gCTh5xzCuo0TgCbqHY9cXPvAb8u8eM+TvQiKITxvcfgPdd+IxHoZ4O6t19+xsc7wfC5yd/vvF1PuuB97zOe781vB/H1gH6qFH6a6/znUUUCtlFE5M/PvHer0YhkhNgG/j7wMzFex7+/p3AT1449iPvBQpv/AhqmI6B/zSxfgzwx1APex81vPMXjvfNYU53gD88cdzvBf6Pib//JPADr3Pd3wj8fxde2wS+amIcfxB4FWVP3QK+602uXY9GPLfR3M5fAOzbXR/Tn/M/EiZwKs+JiNL/fth7/33vwLH/LfB334ljv9MiIt8I3PDef8eF168Af9J7/41PYFifNRGRG8AdIPWfuQf/jomIeOBl7/3NJz2WZ1GmfTam8lmRACtEGt27UbpoxHNRMjSqmcpU3vXyjuFeIvKrReRV0SKdD75T55nKkxcR+UHgXwO/359n8rxrxHv/9733n1b34L3f8d7/wScxpqlM5bMt7wikE5Jmn0Ipepsolvmbvfcf/6yfbCpTmcpUpvKm5J3y8L8MuOm1AGQE/Cjv3lB/KlOZylSeCXmnFP5lzhdPbHK+8GcqU5nKVKbyOZZ3Kmkrj3jtHHYkIt+MUsRI4Re9UZnnVKYyldD7QEDEYASsNRgEMeFx8xRPnlA+cN55/OSb+PJNgU9/XPWz3ntERD/qJ74gE3/LIx71CZjYA865C0d+a6Lf0St6qwC090Qq5+tc5aPHFf/2lN+ffO9pkW048N6/UR3LOXmnFP4m56vlrnChWs57/70o95cNEf/N79BApjKVd5tYY0isoZIk1KsprXqVRq1KPU2pVBKMCIlV9ecceAciUfEL3rug0z3eh6okazBiCmWc+xy84NDvIoLLXaG/vYfcORJr9Tzea6MdY4ISdWgvNz2Hc06PL+C8UwUt0WgAXs/jvUeM0XOCDj58FjzOQ2JtMU5jTDiXFOcFwrnjMV1hmArj5PWQznn0Gx4jgjGGPA81hh6MseR5hvceY0QNqAiZ03EV1y5qdPZPO9x8sP3UKP3v/PQ2Km8o75TC/1ngZRF5AS2//3rgkeXsU5nK8yTRa1RvXUisIbGWRq1Co1phplmnliRUUos16tda1e6qoCeUG4ARQRIplC54cqfFp9F5V0WpBkCVLZhcFZkxgnO+jB5CxOCcevdR2RHG65zDx/OK6FmMKuboyRsx57xiH45ljCkmoaifCgcXAefj510wCPHcQp670lMXQST4+97jnMcYSiMS/o3FRsYIIhYBXO4w4bqs1fGkaYr3Tq8hzzFiSIwgosYhCZMzGmc83D98apT925F3ROF77zMR+b3Av0K7732/9/6Vd+JcU5nK0yxFC0prSRNLvVqhVkmYazWppQnVNAmeJfgAzdgALnhU+eFL5VUAD14mUBX1cp1TpYWYwiMulKZXT9dlwZsN38N5xKv3qx6yRyQYhaBYQRDvyHOHsRbEoek/TyXVLQ+G40yjhKCsY0RQKH7vi/cEwRqDczm58wV0ZKIxkjBuY8iyTKMUEaxNA6jjyV1p+Iy1ep7CfqjRKg2EGkM/YSjLKCMaFv07HksQjBG8N+FeeO5tH9AfvLv3lXnHCq+89/8C7esylak8FyKop5taSyWxtBo1Zhp16hX12KtpBWsNAuR5jg3KxTk3obCixxuUf5ogXnC4oGi5YADK3+N31JOWwjZYIxDOoZ57eXznVIlL8Nhz53BOlWoJz/vieDGH4J2+luc5Wa6KW0zJAVEoxhde/aTy1fdVmRpTXn80WIJolOKDYg/njtCLTey5a42RRTSHRsB5X0QWk3MVzxFhoDi+eLwYDYmUYzbGcHByxu7x6bvau4d3aaWt3lS9Qfm0NcRUPkcymdQTESpJQppYmvUa1SSh1WxQq6RUUovBkQaFXkALoh57XLF5nmOMOacc8/B+xMGNWJx3xQgk4MoiAXIJOIjCNYIVC8bSmJ1j49oVRqMhd199lTx4rdZOYuIexKhyDMfXqCIrlLcaEvW8bVSKLihXgbFz6s0HjzkqYF9qzWK+1PMHIx6XZwr9oNCJ93mpdAEvcU4sanwExIB3AaqKmL7OrbUKe+UuQ6wtIKzCVoX8hjEmRBdOI5J4Q73DRK/egcMhGIwVhqMRt7f2cM+ArnlXKnxrDS9trNFs1Ng5POHwtMNoPH7XW9+pPH1iRJOIirNXadYqNGqaRK1Vq6SVCtVqjUazTq1WU2Xi4WB/j177DPHn8evCGw+Ku0ggErxMD9EkeO/I87zw3iMcEvFt7wURVyhlxGDSCktrq8zNNBkN+7SaukGUc54ksVhrycbj0tM3JayhYwM1LKrsokGZZP0QvF9XsH+8GhEviLGqcJ0rIwmvuHnhaYtBoqEJ12atLecAOReFRIjIhPccUElTsnGGC9h7NEAiBuc81iZ4yuSwJqQDbGSEirXkzmmUFa5tdnYWyTOOj47BCYjH5Y7bD/foDYbvwOr63Mu7TuFbY3hpY5WV+RaJtcxeucToUsbhaYfjdpfjTpcsy6fK/xmVc4rnwutwnk4nF973KJQgQaFYa4tI0YQPVZKUWjVFBBrVKjP1GrVqqglUI1ib4JynWqszvzDH3NwMw/6AbrdL+0Rb7iwsrfDiy+/lkx/9CG48Oge3wARbZSLJ6ALG7oUAl0RGjD93DcZostXlJbsGPMYmNJuzzM63GAx63L59wLUXX+BgZ5txnlEqdFckO2OEoP3K9AzlOH2h7AHEitI7g5L3XqEOTdC6Ip9gjaHZbJIkCUmaFIlk7z3WWEbjMcYIaZoGY2ewRpVunmeklRSfO3y4PzGqGQwHJElKkhpc7qhWKvT7AxzRGBrSJEGALM+p1aoYa8BDNh6D91SrFb0WY8nGI8bjMVmek6QpSZowHAzp98eapwir7LjdY//k7JnRJ+8qhW9FuLq6yPL8jN7kJGVmdp5et4cRw8r8DIPRiJNOn4OTNu1+n9w9K7fq+ZBHcbRNoBwKQpIEJe1LZkklTWnUa6pUCuzVM9dqggh5lpMmFiR6jqqYUmux1pAF5oY1EddWeqC1ytaggCIM9XqDmbl5rDH0u6fcO9pnPByHBKIq8sHQ8fnLS+o9ZlJ45+eucwJDJ3ieyrQ5j8tHlknkxeeR/kikKHpsWmFheRVrPUe7+/RGY1Y3NshGffZ297BiwOq5siwjTZMikVkkOQs2T2mIYtLXeY+4CYMVMPWClWOU7qkRS8bp6clEEla9dxuUqMdjjWE4GGCtoZKkgGJEBk8+GmKtJc9yXMDxkyTBWoWC8I7xaAjOMR4PGY3HWGtxucO5vICdRn1VbcPRmDyPVE7NORgxmoT2XnMPEW5yDiNlRDEaZ9x6uHvO8L3b5V2j8A2wsbzA+tI8xiQsraxw7aUXwQoGy0f/84cZtE+oVSqsL1a4tDhHp9fn6KzLYbvDYDgOOObTVTjxNMjknDxK4V6cL7nw3kVsG84zPCppEkJ7X/BPqmlKvaZ7eivaoSF7rVItEnuVxBajS9M0KGWDtSbQ6ybOa/SBtVapdC6HJLXhIXekacp4PMbjSayOxwU4JbFRgep4TaBDCgTqoqVerbOwtIDgOTs9odPrkmd5wHzzoNw04Ti/uMBo0CXPyi7Ek4lV5yfiECmTuHr287NrbBxJNGRCPoG5p9Uaa6trDAZd9vZO8d6zuLhE3u+wuXOqLBh84OprhFNw9PGI2MDwie+XxiTOQgHHBEzc2DJpGxlAiMdImUAFwv2wgWmjLKI8ywsFa0ToFetLIRQfDKsYCfh9iMrEBAgmwSQJOR6TVhi3ewz8oGQsFectcwqaAJ6Y1cACiuyfciVP5DSc487WHt1nBMqJ8q5Q+AKsLcxybXWRtFrh6o0XmJub5eHdO5ycnPDFv/TLac7O0e+2Ea885MQaZus1Zps1rq4ucNbtsX/a5aTbZzia4v1xmSsuTMGtjuSOSpoWSjroCKppSq1aUZqh0W+JCPVKCJVFP+O9J02VdmdNGo5VeoQRgyZ4kNZavGIUeF8qN1UygiuUNMGLL2l3UUGpdxbgDSOhyEiT+g5Plo0x8eIm2Bfq8U3wywOLxoQ5sZUqq6trVCoJZyendNpnjMfjwjPER9BBDVdSrbG8ssD9O3c0u0n0pKOnj2ocmaBNurKoKd6dsjrUFMpWkEJJeWNotFrMNOucHB3Q6w0Y5xmVSoVWs8bWgweMc40AnIsGRkoGTAHdu2INqHHTKEMhmJIYIRNKX5OyFLkIQnTgXF6uKREtoEKfRxeTrXp34+IDF6IWo/fLeY9Yndc8z8FYbFplfn6BublZKqkly3Jml1YRyfnYz/8CvV4XvNYeRMP7aZt/hPUmxpTXXCJq+q8paaWn3QH7J+/Kxq9vKE+9whdgeX6WGxsrGGu4/sKLNGdb3Lz5GsP+gCzL6XU73HjPi7QadQ73D+i1TxDvMNaEpI4w32qwMNNinOUcd3ocnnU46fTJ8ieL90/6F496Pb4XnOXweukHTia2Ck+ayLeAWqVCtaJc6SQUyAhCtZriQyVlxSZkIfmlSUaoViuFIkyCp+VR/nacV+991GkF5FIodQPOWbR20YOfGDOFzi1ocB6D+JIKB0Ehu8ARjxWZnpK1UkySINYSQBWFcQJnXKJSIiYow4yKFIm8eC4f59N5xFqazSYLiwsM+l32do7Jx1nhOWrRTkzAgvNCrd5icWmBvYcP6HV7iHicd+GzCidEfrwELzMqxty7Io9QXGqAporip+AVi7G0WjNUK5azwyOGoxE5jiRRBbu3s1UUU8VK2lhIpWuoTPyWEFK8Hz54+iU7RnJVmEYM3gRjPGG8vY9FUTF+i/DOOIxdPf+C5ROSwz4kcyOcUtA6RUiSCo1mi/nlRZqtOoN2h5OjPbqdLtXGLK35eU72tgBPmiRkmeYAJgKMEppywZAYQcLkR8WOyEShl87DYDTi5uYO+eTBnhF56hX+0twM77m8irWGhZUVZuZmuX/nDqP+AEEfks3bt1nbWGdldYXLN67T6/S4f/M1Tg/3sEb7jWQhlKxWUtYWZ1mZn2E4GnPSG7BzeEJ3MAysg89cosccMWb16Ir8WulJi1BN06AsKZ66eq1KJUkU7xSFGKzRpBQE/Dmx4SHUB86g1xYhCGLYLwSVW3qRLioqASuKYbsJFl2R2MQXikFMqZCdywsWRY6DAAucw6q9eqdwPknpQ/ivFZ1a2VgoeTkPaJwTD+ACJdCX+HCSUms2WV5dpn18zNHBoSoQFP+1E8dUT88p/OAjJFGe0UiAMkzC/OISc3Mtdra2GAyGhYLzPjrHkaECzhhm5+ZZv7TG4f4uvU4XKz5EDCCijBobohQLEwoummZPlsd2BWGtiCEP0UDu84KlsriwgDjHydFJgEvCfHrAecb5RKWqjy0XIpsmJFsJ0YP4InI6j+PrmOI4ovGPyEcZjfgJDL/07vGBRRSfg/B+pGIyoegBrE2UYm0MzZkZlpdXaNRqnJ0dc2/nIeNxhveGWrPJpUsrbN6+RfvshMFgABjEGIyPWxmrgieyjiS6SCHp7l055sL6BsjRGO7vHDxzUE6Up1bhC9CsV3lxY4U0sVRqdTY2LnP35m163TaxLjCxQuf0lN7ZGbnzzC/Ocf29n8+LH/hCPvzT/wE/HiF+EpssvbJqJeFStcXqfIPeYMz+cZujTo/+cEx0wy560kaEWsj26zj1WPV6jUoIYZPAvzZGlbCIJgQraaihDA+NMYZqJcFYIc9LDFQLYGLkoWozSRKyPEcCDCGhL4qxCp1IuLbUJoHLHZV1UE2FV4kyLaIh8JE2SDEvznmssvzABdw33BTnvL4e4Az9viqc+JBN0hCdcyHUl1LhOzTsduchj6j4I0Uvz3NVVj4W6ujkTcIjSZry0svvYfvBA46Pj3U8Af9VZ90RWTk6BoOfiBAmi5eMERBDs9WkUUvZvHdPC6TE4EQKBS9GPe0syxT+simNeoUH9+/gRg7n8wB9KMbvcqeGV0qFFBVqxM9NGLMJytl7Ia3UaM20QIThcMh4PGZxYZ726Qnj0bi4VpmAwUBZKvG9YNaCgQ6snwCV6XUQoetinvN80usv4a/JIiaJsFrByS+hwQivxfoCvd4AswRHwYdjOu9D4VfC7NwMMzNNxHkOdncYDgM278GLp1qf5fLldR7eu0t/MCTPc/JggCPsSIT5nFOOvQ7u3JoknNN7rTKeTFRHVs6zKk+twm/Wq3z+tXUa1RQRy7UXbnB8eMBo0FN8Nd5I9VMAxRD39w9JGw956f1fSJJUGQ4HRRl5nudFI6WooKwREmOZaViatZRrfpF2d6h0rSQp+m0IyscWPNVKpfSGQqWi4sGx4CR4f7kyDBDFoU3wIpxzhYL23pNn+lh6VIF7nyPGY3xZUZhlGbkPkIpo3C8RggnXEhe0AQgQhfZeoTAmPigfQR82K3q8IngVwftQ8h7GW6+kWJvQ6/Wwoc9KmH5MpNSFcfgJ5a1jV4+6iHTCbEYFHM8ZKyqj55jlBa4RIqWgPIxqJw84VOmOBkOqjRbO7xfQUkBcyLwqNQnRkPMgPnjWsbIzjNd5EJswvzDP7vY2o9EIa2OVq86TsbrOVGEqLuzcmP3t3aAAfWGcYrk+OFyupf0mlvzLeWgrVsd678EmtFozrK4sc3pyRK/fp1pvMDvTot8+YzQcIiYY2oh7S8m0kXA8H5Vw9HR9zHPoM0DAtV3MESiaVSp1o+simahGVUjPhuhRwMSCMqVYFve1iBrUeMV5znPNH8QCLZuktGZnmJufZ9zvcbS3x2AYqaw6h4rrp6xtrHJysMdwOCRNDC7PimZueGX/xMjaWkOW6ZjwHh+uO3dOK3BdmVOIVb79wZCb9x+eSzw/a/JUKvxWrcrnX12nWatibcLMwgJGhOPDw4JZoZWLprhZcVFbm7C6sUHn5Jh8PICAPcbEkPeuaNJUYHjhvMYYrAjzrTreqxKLnnFkFcRFEnuPELzRwqMK3mtiDZIa5ufnsGmqmHfu6La7ZPkY7xxZNmayB4hzDpzHWsEaC6GPh7VWC3DyvEg+lWPxAXqJHo4Lnmro+OejUvZlGXr03LzDhdDfT3jYk/itpjw940wTlfm55KiG+nlRWUloF1B67sYGpVOU65eeX6w0jYZbIfrS+4z3WBWRjlEkJa1UsdYiogbx4PCEK9evcnZyxng8xDvPaDTAe48l10hCogI8n/CN0UJUMI1Gg8FgEMZmMSbMv4vrLkwdkXGj98yrBSqiqmL+AoYdo6SymtSf+zsWQtm0xsLSAvl4yMMH98hzaLSapInh+OiAfJyVuHlYOMYYTGAnCSWE5sNxlY/uCk884u3eE3IxAcYLxlKNtinmyXmn1M64zrzHpjUuX79Gv33K4d4eXmyAfvTeFnPmdUyR2aPPkcFjSCsJ8wuLuHzEztYDxqMsQEplNOpchpiExYVF+mcn7O8fhvYIQmwmlyaJPq95WSEc6aDOBQfB+2JOiugUhfC8c+TOc3/3kP5wVOiDZ1GeOoVfSSzvu7ZOo1YJIaCwtr7O5r27ZNk4YMMqUdk7n4fFZEirKY1mg0986CO4LFMPAQqF5gOwrUwPU1DH8uBRRsqcCIinwNdTa0krCVmWq1eZuVDKXmhajE0QAwsLi1SrFbrdNlme0el28IUi9lSrCS732DRl2O9HX4uI/Duvqc7otefufLWlgrWazCN65z4qlJDUDMbCGBM82eDdBsOlilqKsvjC0yyghjAi5+kPRgVVzkr54AJF75WI+8crSZLQJiB4uohi1IlVPrwLIbcPUQu+ZHy4AF0V8JexNGdmaDSbNOp1KmlCtVanWq8heNpnp5ydHLCw2ELMDGmS0uv11RN10O12dV5yTaCOBn263R4u0CYLSqS1tJoNstGIWKTknIDP9Tom6KORq+9cWRUqpsypqAEoWTWxmVghMUQKL2bek1aqLK0s0+uc0ut0sDZlbn4ea+H48EBrSiYgqNjt0vs8PBclVBLfj9FVhHbGWV6si2icrI24uyvgGInhh48dNV2RgEWExswMa5dWud9p05pfpFFvkCYJ1XqVJEkwxtIf9Lh3+w6mWE/lWGq1Ko1mnbPjQ4ajUUhUCyKBZRXG55wnyzO6ZyeMhkMwUow7Ljf12sP4QmJcjLZqjh2hg1tTRDRFFOQ1qjlqdzg4bT/Tyh6eMoVfSSzvvbLGTL0arK9nfnGRfq/HqD8ILIbSEy28eyBu3uWdYzwYkiRJoJcFaICgeLxD0NaoMbyLhRl6AIpjlxWJhtw7/GhEgUU7F0LFEpcXEebnZqk3auxsb6uBQnC5un9hDQala0mqNWYXFmmfnYbkpS7OBCn6ePsQGajHZbHGFkraWEMaKI9JkhaXkI3HdDvt8lw+JMhwhZdTKAakUG6RS11SAkvYwQZmjsOHSkQK1klUgorxhzE4px6YcxTod/DUXZ5rniD0T1csNy+8YB/uY2TOzC0tcO3adY6PTsiznLF4bCYMD085Pj7h8PC4iDwiJOQDBJMmCbFXi8tzjLXkmQvOwHmvG+fpddrMzM6SViohShAInR3FSwEhKExGgCx84SkS7rEawbK03wSIyeV56b6G+c29J0lSLl++TKd9QqfTpZJWaTabZOMhJ8dnBeXRiC2qXbUvji/gEx/gmHhfXFjzuv6kuAfxxGosymvXaGuSfROpp8HZCNedVGtcvnoFN85YWFpiIc9on51yenyKO3SM85wr165pX6EkYRQMqDoSOhdZNub0eIh4LaiM+VZ1ANR1yLM86HWh2+2GeTTFunDFM6gRbUwsx+czrnV1JMoIMtFMejEXoyzn/vbBMw3lRHlqFH5iDC9urLI40zxnZZuNBgd7ewUUEUPK6IXmeabsBwVqGQ+GvPrhnydz8bkq264650isevV5nmv1ZKDZFQsoiIhQtQlZSJ5678lClaMxJjRrUmUW8d3ECPVaDWurwRsrx1pw2k2EkTwuGzMW4fpL72H74UN6na4qjCTBGosNrXNr1RqVxJJWUoyxDIYjKpUU73L1VPOcPBuR5xm1ap2ZZpPEGtptTW5PJtnI5VwPEzWg4eGnTHLG+YiFOnme4yVm6MqilehNOe+wJsGkKfVGi3qzyenRIeNeR0NrAbxQqdYwAsN+T71hpwYgQj3jLDtH1UNg0Omys7WJ95BlI4aDAcPBCEIoXjAy8BMFQYYszyZYLJqDyTJXeMnOl7xx1ZZCr9NlPB5Tb9RotlpkYX2NhqNg/ZTbboyh3+2jrB4fi0UBAhSklaImeMS5y9Tz1Yx3wJcJiVPLytoazo3pnLZJ0woLiwucnp4y7PcCDdUpNBegiOgqSyjcis6PDiBosmDZXcSh9IxhTThEbNlp0nuNCmP0F+6JtQaPJ3dg0wqtuTmuXr+BZczdW6/R7/cQb7RjZp5hxJLWGzSaTbYf3A/zoWwsO+GE5WN1hqyeXB0J0cjWhDWJxIS+ITpaJdUyYPAmuvDxdY/zgdQQr7iAMiMrp1zbSZKwublDd/hssnIuylOh8AV4aWOFtfkZIotAY65Qqt7vB8pc9GTihgcashXwQpYDnk67o5WZBnKnXnKjXmU8HjMeuWJBmaCofaEAYsFJxG6FLA+8ZDEQWBbWWlJrGY9GaKsrTck65zk+PuHqjTmuXbvByfExw/EofC5S5xTrz73HVitYW2VmboFqtUaWZbhci8bG4yGpsbTPlDHQbrfJXMZ4nAVGDxqC+wijeMDQ749IExsSzAH9CdcYF3n06s4Xw5SFNSIWEyMJofD6jIjS+KDA14vIWlJmF1e5cuMaSWppzs2yefcetz/+ccRYGq1ZLm1s0GzW2dm8z36/r/kFW0YUesySURFhhG6vy3A41PDb5QW2bImeXKnOCC0TslzXgjanmQjfowcokYZZ0isjJj8cDBgNh7qFoE1oNBoY8VQqFfJszGg0YDRyRZdJTZJD6GqvCsfoOiIEmMZApaIKL+ZAQpsZkmqFhYUF7t25TbXRoJKkHB8eqrEi6O+J3arUgAXGi487UFEYyZjERSi55BHOFEgTIRGj9QZx/YshrVTIsqw4D2j0YZKU2bkW9VqNJK1ivOfO7TsM+n18UK66C1dC5mBldZWzwwM67Q6RrmsDpVjEF+OdtEu6vkzxV+GbT66xiMP7mF+CksZa7mg1eVT9XlmAFp0/vDoHB2cd9o5OHqWWnkl5KhR+JbGszrdQzylS51RBVqu1CJEDEStVnNRaQ5IkCCZQ4EJL1ZCZV/aJfrbfH2izLBN2z4HzBRfh2Foq78jycpMFKFkF8UGKiWKR0ITLWPIsY9QdcefWTeZm55ibaWDTWQg756RJQjYaqlcaVMXC4iLixpwe7TMajej3erjcMR5n2Ii9escoy8FaqvU6NZsy6PfIxqPgrSlzwlqrrCDnijBaJubM+sBEkag4SgWonl+ZuMMIFZPgXB6UiAvGKiY69UFyXkjSKuvXrtKoVXj44C4Li6vYJOVkb49qY4aNa1e5fPUKPsu48+onOTo4DO1nhVa9wWg0JA/ccU3GKt5e3pcy6aaeWojYKNkpGk3pPcmyLODXxDeKxPdkkrbYGpDIxIlJd52fcebw2ZDhaFisP4XlwjwwyfEvFVY8h8snIitnGQUqpcJCMR8jzC4sMOz3qNUa1Bt19nd38E775YtDIcegsGOvl/KZcMSGIZOGUlPfhljFFcehGL0tjFsch/e+iGJicRJGSCo1VlZW6LbPODvrcPX6Ag/u3aLfU2UfoawksYgxrKyuMjvT4NZrW8VDG8kSccgxZ+bRCxIP4pWKbCejGGLk4c/dt8lkeGJtKG6zgUgRjF5etrXQQH+yrkSf/WGWc2tzJ2xn+HzI06Hw0yT0DHGFNxofxnE2Yn5+gc7JSXjf6QPpCcnM4GF7D5QL2WV+ggcsWlzklIZY4JITlDy8L3b+0aUiGJtouOk8eZZhA+3Ojcut3BANIzM3Dp4kZOMRBwd7ENDI3AdGi9GHaZx7krTCyuoKh/t7HB4eMhwOCw8t8qa9GPXijGV+aZ5KJcEjLK+ts7e7y8H2Nl6EaqPJwsI8g14nlJmXOxhFCqiRwOTIskBTFLwYNRSVlGajQafTxmVjJLFK98vjTERGBwXubq0mfZszs1y9fp326Ql37+ywceM6jWad25/4JPVGiyvXr+OBYafD7Vc/Sa/TUaw9tMgdjobFPbDh4dXdiUIOwUuAa8oEqIjy7yvVKsNeLygo9eZz78jDZ82EwpmUEsZQ50KspZKkuGyseQ48DkO10SDLRoyHA03yi6gCNaXyyZxDbIKxliwbk0QDUjCXJLB4AoV4Is/hvUOsYXamRaNep9ftsre7jQ/RiWBKvD9EKmIN3mf4PHi4xgPqZXs3eW3hfxIR8ZC7Cu2Do4GwJhjXGK0EKiZimZmdxTnHwf4eWZZz9cYLdNsnDLqRnhvaIaD3LEkMi0vzbD98yGg0opImBaQWi8r0edDzxf7yhdEO9R0+sMF07QVjas25Jmj6b6TIorrBG7Lc43xWsNjiOUoqrOoDYwwP9/afmbbHb1aeCoWvXmgZllqrLBaPdrt7+f0f4MG9++xu3ceiibPxeFywRVzYbSeso0LRR2VvrKE5u0RrZpbO6Slnp0fY0G8l0ikjET2G92p04gJDHUUXcdQJLyN4KTG/AGWiOCboFBsHl2lPmNn5Webn52ifHdM+OQsc9CDBECGQ1mrUGg0a9Tr9bpeD/QPGWU5rfj5QDS3N+SU+7wu+AJeN+NTHP8ZwOMYKgaoWlKjTDaujF68Yg6XeqDM3N0sSuf842qdnQcG7EkdHioRqpNvluaNWb/Lye9/LzsOHdDp9XnrPSwy6He5vb7O4tESejdjf22N1bY1XX3mFQb9b9LOZTLwJXo2ZvgACteYM9UaDo/39MLcSojOwScLqpcssLM7xiY+9ggvGVr1+YW5plUq1yt7DTWy4saPR6FwSFVBj2ZpheXkZl2W4bMzhwQGYhNX1yyytLHJ8uM+dm7c18ilgxdBsDEut0eLytSvUajXu3bpJr9MpPOSg6/VcoV5jkslEuCPd9hnddpujo6MAS+pCHo3HhbGNyeOrL7zI9oP7DPNBqcACnh8Xq1FNiCZslcqr65yCVRYNqneRrusLZS9Glb3kOf1OF8SytnEFcRn7uwfawsCXlNlYQLW4tEK/19E5AH1Gw7NSb86yfnmDfq/DzsOHOCaiLeKxdGyVWo26tZqDMmFTFzh37+LatFY3dXe5odpssbo4T6/T5ujwIKJpwZCVkJiIcNzusnN0ci5f+DzIU6HwCwVQeMJKIVxYXuHS+jonB3tcefE6nfYZvbPDYqe3+B31+CcsOTERK9RbM7z08ou6qBLh8vWrfPIjH6N3dkxsTYsneHU6GBsfVH++v8dkDkFfEvCCz0ssWgJNI3d5MQYdF9QaTS5duoS1hu0Hmwz7/UDli7isBAaMQlEbVzYY9Poc7O7qg+t0k4mqTRh0+1x7+X3cePm9JBWlsH6gVuWVn/sZRoMBGIMxCVZEt4TDMw7Mn0qlwfr1a1QsPLx/j/FoVPRglzBYpXN6YmVqkSeJhTNJhWsvvcjh4RG5F65c2aB9csxpu8va2gpHh4e0O31efOlFHty7y3DYVygjd3iN4fEe0koNn+WMQ590NS6W5dU1ZmZnONrbD4vEI8ZiTMLV69fZuHqZk+PDoq+OOnCq7NYur9NsttjfeqiK2Qg+RH6J2CKHMruwwurqEtubD2i3OxhjqFSrXL1+g2azQa/d5nBvXyM7lPqLaGWr88LC0hKLywv0+x2sTajVa/T7PV1LHkhSmvUWo0Gf8XgIYkNjv6h01Zvd29mjPjvH1Rde4vjwgNPDfTUMcVmLIa1VmV1YZvnSKnt7O+SDAYJSWq1YxnmOl4S5+XmGgx6Dfj9AXhA9WvXqywQmxhY5rJgLE7FcWl+n123T7fdxIqxtXGZmrs6D23chtCz2uQMLaSXBO8gRZudneHj3LqPIZjPR6AmXb7zA2toSO/dvk6YpWXDdteVCZN5oJLewtMLR/m4Yc6CKFh1NQ0GWMQiGaq3BwtIyi6vLVBPD9uYDOp2zsJajQYnPl17jcJxxZ2vvmeyV8zh5KhS+94SHiSIcrjWarKytcefmTXq9Hl+wuEhrdobe6QGZy4PnU37HR4gmNvXC02zN8uLnvYfjg0P2d7bxHj7/S76E+aVFuqdH0dfFiVCpz7B6aQ2XO7YfPAAfcGAXqWQhmRhhlwDvEEP90COkNbdIWquzv7uFz8Z4EWqNFqtrq9RqKWfHR7qjji8LdyLkUuQurGVxcYlsNGZ3a5vY/z1WOd6/fQdTqXH5hesMuqeMTjIWVtYZ9PrYJGFpeYV6rcpg2CcfaxJuOBzRbNVpJUtcufECjoxXP/IhfIC6IqxlQ7JXuekT1ZsR+kK96Evrl0mrNbyDxMLdO3dYWF5hfeMSm/fuMRiMuPGyzn2n3aNWb9Frn2GNnzim5er1G/Q7bXa2toJ3qsHW/OIiZ8dHSgcN1NtKtc6ljXWseHrdLieHJxgs3hgkUXhhNBpx71Ovsbi0QCKiLRE8hfcoImTOM7u4wuUrG7q+uh2FJjwsr64zPz9Pt3PK1uZ9Br0+aZLgfKYG1xjEpCwsr2AMbN2/z2Cc8f4vWit2XfNYmrOzrK2vMz8/wyde+QRYy/zCAsN+V3fCKvIUwsz8AtdfvEElTammlvbRIRDnHExiqdYbXL6yQfv0lCvXrvHqKx8PORSHOCFJaqxcuczK4iJ3b91kMBgE754yekQmcl0UoXUAU7XAaXGJbDyifXoGIswtLLO6ssjd2zc1UpTyOaBwgNRRyUZD+oM+IloEZSVFMMzOL7G0NMfe9ibb27tFfYnXJBLGx/5SCfNLSzSadbxfZTQacXp8qG2mfdlew3mwJqE12+LS+mVarQanp0c83D/g5Pi0WKcE+DZumA4K8dzb2qPbH7zDWu3plKdC4cMEHTCEwyurq+zv7tI9O1UsHYM1qYa2SAHDFJWnIVyPVbXeC+tXLrO3s8PR7q4WCIVQtt/vB+/D0GjNsLa+TrPV4Pj4mKsvvEi322c4HJAmCWklpVqtUqlWGPQG7G1vgQkIkNHmXY1Gk+bcHPPLy8wvLpBWG/BRSz4asry6RL1e5+TwkHu3b5GPxogYMB4vYVs41GPJQofHWr3JzEyLg709kkQ9beeCN2egPxxy48WXGff73P7kx3nPB74IgHycsTA/z3g04OT4iPFoqJx3r9WalUrKpevXac3NMhoOsJIwzHqFZ+y8L5NpwWiGdEko1gKXC81Gi+vveYnRoM/x7ha7ewcsrawxP9fi/r17dLpdFpdXqaYpd4+OuPbSy6ysLvPhn/kpfFaWzTvn2Lx3JzSIM1QrFbJsTLU2Q6PV4sHt24ViqtabrF9ep9/tcnTc5gvXNmjNLfLSzGxhJPIs586nXgOXc7i7iycvO2R6ymIcMayvX+Jwb5fBcFAY2nq9xfqVKxzsPmR/Z1eptaF3UYTpvBMWFhdo1lIePnxAnjlqrTmqaULuYW5xhbnZGcajIafHRywuL3L1+jXwXvvzs8wnXvl4gPss9ZlZXv7895ENB5weHXGwv1smlUP0Oh57ZipVRqM+J6dtmo1awLYDMyVJuHz1GmmtRr/fpheijBgxR4lV3Rc39NAiLcPC2jIGx8HhIYih1prh6pV1Nu/cot/pBP87sLNiYVSuijhJ9d5F6E3EYG2FuaVVrr/nRQ52Ntm6/5AsH6PFVSlptUK/09bo21qaswvMzLToD4asrK1qTUKoUYlOFhjqzSZzszMaaUrO5t1bHB2dEpsMRqgwOgpiTEGPPTw5ey6hnChPhcKPHq4NDY2c86RJSvf0DIPS22ySaKWkSfA+9NAQpaDFsF6dDr2VK6urJEnCycGhFjE5jw09YQadPo3WPEsri8zMzXB6dMy9W7cAx/ziPNdubCjjZjBiNBzS7XbwbszaxjrNmSb9/gC8Z35+FpdnDEYjLl+/zsHeHp/6yId57xd+IVeurtM/O6V9csy9T73KeDQmsmF8KMefGDR4LZ5qtJqAYTzK6HW6GONxeekR5T6n1phl9dIG2/fvklZq1GdmGPS67O9scXq4p/NpQmPioLC73S7epJjE8qmPfYiN9Q1NagYDW5Tb40NOJKLNPiTItYtk2qjywvveRz4ecv/2LU6Oz1hdWaPeqHH71i3yTPnma5dW2Xxwn/mVNZZXl9nb3iwgilibYMWQjzNcUPij0YgcYePKFTrtM7qdDgg0m3Nc2tig2+tRbbb4wI0XMUbIRl3ap6f02m20zktAQjGeU5wd8aTW4jJV2rmmLvHecXx0rLTVJGVxfpHrN66RpoaTkzM8lms3rtDvnLG7vYXLVdloHYFnf2dHi4aM0Kg1MMZy+fIG49GQg70d+j31IA0ZznnOTjs4l3P9hRu87/M/wHA8xoihtTDP6cEep0fHjDJHa3YBlzv63R6xmCqpVFldXWJrc4vLV66ytXkPkbJj5dzyMtV6hePjU1ozFcbZGES3EfShErqEvnyR0CwiZDEsLC1Rr1d5+OAezhtm5hZZW1vm/r07DLrdMq9jojKN+bZYMQWt5iz1+gy1ep1Go0G1UaPWbJINu+xuqrJHBJtUWVhcZDTuMx4kIUlvmJuf4ej4jNWNdbLRiN0QDeQB1qpWarRaLYzV3F6rWefenbs4LzSaM/R7HWIbaBEJTdnKNhOj4Yh7zymUE+WpUPgx5qzVagwGA6wRxsNhyLKHrebSCtr8CXLPORqfy0ehM6AvPLnF5SWO9veV8RA8ysRa0jThhfe+hDWenc0H7G1tMugPC6jmlZ//sPLvswwNgX3hXfTaZ8zPz5Fi6A36PLh7xHA4pjk7w+Jih7u37tBotGgfHfKpj38CFxLLHle0M8h82Y8kJpzxHptYGvUaw8GASxuX2Xq4Gfq0TGCQArnzXF5bI0m1CGtubp58PCJJU9bWN+icHDEeD8kyrSg0sSMisLCwQPvkhPbJGW51ndEwVAIXFNPQY8YGultMWhuDTVJW1y9z6fIG1ho+/qH/TLfbY2VtjZlWnTs3bwfIQ5iZm2fU75PnjuvrK9z++Mc4PTkuIABlPSrcUtDkQu5lbmmZlUvL3Hzl4+R5TqVW5caLL+qaGA04PTxgbmGBnft32dvZ1uS+CxW0gX2S5zmxQCr2htHUSsnuEDHMzC+SJAkzszMIOZt3blFtNLh65QrGGjqnxxzuH+i6C3TBNE1pn5yoh27Ui26fHbF5Fzrttu6z6soNPQ73D4uoUwQe3LtHvV7DmoRxlnG18iKNmRlqrRaS59ocbNDTegMRsAlXX3iBs5NTkqRCng05PT7FxsaPGCr1KocH+zgqGJsioWFc5OObUMQS77PuA6D3wJiEemuGleUltjbvkTmYn1/g0sYqO5va1z+x+mz5vMxjFYoeNSiDQZeD/V2Wl+cBGA66HO5vk9abytRKaiSSUK/XWV1dodc94+RAFXRSqbK0vMzx0RFzCysYn3H/zp2iY2xarVGv12g2arRPT3CScGntEmenR9RqdWqNJqsrS9y6+Rq9br9MUkugWAcVc3/3gE6//46osHeLPB0KP2CrtXoNgFFoDaCtCcCmKT6UvUtoztWanUWATvsUay2j8UihCWOo1euMx2PaZ2cahhpBnCcfjdi+c5tev0/77IRsNMIYGzC+0PArz/AuQkuxQlMX+tlpm267WzAacudDmfk1Hty5T7VS4dKlFW6/+inyyAoxGkJrteIEb7xIKGmhU2tmlnb7jPmFBd1VaTgqvLAsKJCItVptT8i1lz+P8WhAng9pH2yzv72FD73qKc4TmQpCrdmgNxgwM7+AWGHsMsQHuqq9sLOS3hbdL3VxidnZZkgcZ+xs79Hr9lnf2KBWq3D39h3NMYgwzmFhcYn93T02rlxh695djg+PAxQgYcMUhVZm5xcQm3B8eIBJUlYvbbB+eY37n3qV06NDZYOMDbsP79Pt9RmPRzgsNknpnHWKzVe0OZayZ6JCinz1CGhMNswT79h6cI+FxXmy8ZjtzXv0+32lnJ6dcrS/h3jNY0SWEmh0Muj3inky4ZjZOONw70A/kwdOOp7MZUWS1DtNVptcGHT7ITL13PrEJ6g26uRZRj4ak2Wx7kHv3OzMPHOzM2x1OmxcWefhg7s4HAlKCEgrNZrNJkc729TqLSSZ10pwCSWB3pPnvtx3ICQx45wk1QYbVy6z8/ABo7FjfmGZ1dVFth7cpdfuhToXjfQUqrFkLiuig7h7FA6O9g84Mbr9pAuEh3Hm6LTPePHlFyDPOT0+Zn9vW59Nr2yxtUvrWinuhNm5Fvdv3w7dYaHZmqXRqNJun3F4cIBNaiwvL7K/t8VomFNv1hmPB9x67VOMx+Mi5xMTRbGC/Oi0w+7h0XML5UR5rMIXke8Hfh2w573/gvDaIvD3gBvAXeDrvPfH4b1vA74JyIFv8d7/qzczEO+hfdYmCb03jo6OFOJBqDUaAXowmGqNy1ev4oZDDvZ2i3a/sbmXICzMzzMcDAoOcB54zc55tjY3S68bQmJLCox2ktIZs/zqharH6Cc9JQ9z83PUGg2aszPMmBnu3LrJoN8P9LeS0QMUXQgp0sUAQq1Rx7mMalUf3u2HD7FWCRE6pxD36bTWsr21yXA4QIxhNBwwHg7p9XqQx6rReM6JykSTcHZ8wOXrNxj1B+xvbyNhTrRYqSz194AXy8LyEktLi/Q6bR7cuYtNq8wtLLK7vcX80hKt2Sa3XrtJNs5IjSHH05ydp1qts7q2ymjY5/ToFMjxXopCqbBOcHnG5StXtdlcvUKlmvLg5qc4PDhUOp4RRsMhh4eHxVUZa0gSy/ziPJ3OmW5mEeY6Nl87N+dhcQUbqzRCgX6nQ7fdCUny2JNG8yRxL9qiQtNLodh8/M/7otuzjYrPFG639l4KY4rQjAk5ptgKwuBx44ze2RmaH/DF9yv1BmmtwZXr1xHxzDTqPLx3l5OTMxr1lkaFacrC4gJ+0MeNcgauR61Sp1ar0e91IEaQcGHetTmdMZZLG5fonJ0wzmFt/TL1esLmvXsMh6OwPvIJR0DzGUliCxaadr70ocZDN0mX0H4EEVyW8eDmLdLUIjYhzwMMG6jUKyur9HsdTk/bXL52jb2tTXr9AUm1yuLcLPicw8N9snGOTStcvrrO3vY2/f6QRmuWxArt4+MiEVwkqH0sejOMhmPu7+yTuedd3b85D/8HgL8M/O2J1z4I/Bvv/Z8RkQ+Gv79VRN4PfD3wAWAD+Nci8l7vQ9OS1xGPeg6j8Th46hA7QlpjSdIEMYbl9XVaC7McbD3kcH+XPB8V4WoSenQ77xgN+/QDTJMFvFh36fNAgIIkCQ9Djkhg3fiSiRKTXVHZx9Ycsd85BIjAO/pnJ2SjATtb6mFXbJl0U28jGA+jSsQYC86QZzmVapW0UqHb6bK2tsruzhbOjZR6GnY7smLUKdYLZNDrsTfcCgtaRzJpXOJDCLHMRD3d471DumdtjBHaZ1r27imrh0FI0yqtuVlWVlawIjx8cJ+zdlsTnZfWGY8zZucWWVqe585rr5ENR4FGqy2I1zc2aM00OMsHPLi3iaAVw2Igz9WgxI2te50OD+/colqvcbg7YDQYMs50wxGJPei1Uq7sZuqGfOqjH1baYYD1jLGFcdfrF2J30lIFaLLRiOhGMuFljdSiAddCKCj3dpWJZDXhfmvFJoUByF2mY831cdLl7olwWexqmjmHCZGktWHOQkSFL4uNEEGs5QNf/F8wbLe5e+sW7dOz0KJZsJWEq1ev0j474fRwnzRNQBxZPmLvwX3qtZThQKOpxJjQ5z+0WfDgAyMsrdRo1hucDEdcuXqZYb/P5t0txqORzqHRNhFWTLwcRCQcR58rj8KkIsLQD8nzsg4FH40N5JlGQvF+IZa5hSVqtYTtzV3qrTmMCMPhmMXFRaw1gXgwIsscxiQsLCxwdLDPYJixvLJGno1pt0/DNpiU54PQW0shnc29A9q95xvKifJYhe+9//cicuPCy18LfFX4/QeBnwS+Nbz+o977IXBHRG4CXwb81GPOQoG3BghGMUf1IoadLqN+l/Gwz/1Xt+i3z8izcUnlDF5d3IDk5PiE1CQF7m1tggYcKrlzoUadAlcuZQJTDps36NgCBc2FZmzoIjs5POT48JCC1mi04VSe52RZDKNdwYOGEFV4ZTkkScKw12dldYXhcKTFNp6ShRQTa0X7Y9E9QEJrApdF71Ut0mQzLN3/VIoqW48PJfHhofRqHGJ1rzFCa7bF3EyLnYcP6PdDlIRitgsLS5ycnLKwMMfd27foDYbFRtci2hhtcXGe9ukxd2/dwkdPmdDHJXi7xaYjztFtt+l02tjEBq+3TLxHz7jw1lAlfHhwVDR1K4wqJX1Wv0sBx8SdpHSnr8IHJDZbi9WYTheH9uNyivPHyCFJbLgGNeCx6ZtzoaeNxovExHe81zpuHxp4hUgttj8IhiBSkePmKNFb7XfavPqxjzHoDxBTtm7onJ5ys6dN81zYhD1y1k+Ojs9x1uPxivbME0ZQjGLvaQqbd+8wHmeFeYx7GbhA/SRAZiI2rBkdO6DfC8s7NofLnUYReu/KnbYQrYGYW1xiZWmOO7dvkY8d9XoV73JaMzN0223a7bMyyjZCvdXAu4zciUadvS79bjckkmUiL1GqFBE4anfZOjh6Hb3z/MnbxfDXvPfbAN77bRFZDa9fBv7TxOc2w2tvQlxRTKGEkQi65nTbx7z6oZ8PlbE5cH7XnLLRUunNZS4DEZLEFFu+xapC7ZUSK/0MeR5RSl00Cg3EMNwAWnwUMWMXEnCadC03xogKyfnw0Aev2YatD11o5Ba57klaQYylWk/VAz88UJ/clxtq63kiy6LMNWSZwkPFRiwRLgn0Sm1DnGGxIU8gFJsmBggM4zT5HR5M5x3HhwecnRyHlsx6GwxCvV5ndm4WI0553j0t/HF5aAYW5vVwZ5OtrS2y8Vj7ouC0978VTKJdGGO+JXpkeHCZKwhLCoOU96T0FKUoCPMTUIUISNhoXbntAXIpOkxq8ttaW26r6IPLOgEzxXUn6Obp2jwtRmpZ6SAU5zYaOfoyooLYGlm3jQQHuSpbW8xz8EiDzxFbQ0cH36YVNtYvsXVb925OAp3UhegwMVYJAQRHB6Xkxr71ZCX1MsJdxXpCkFC5mGdj7ty6XWwubiKl0spEG4PyemICPA/KP7VJWJsel8XncKJLZZjncZZNUCMNKyuXaLZq7G49JM+0Evhwb4fTJGU0GpXN36JBNIaZ2RlSMeC7HB7s4XJX7GNgrbYgicY0rpPBaMTd7f2QzJ8KfPaTtvKI1x452yLyzcA3A6ylCXF/zSLfovpNbyJCPh4jSaKH88rSsRGKCN5vpVJhNI69t0MSL3rnBPURerVEzzd6icW2dJR9UuLw3TnlIhPHjyFkWJzBQxuNQkm886GpU1Bjxmuvj8Amac3OklZq4HP2dnYmkkzxHD5g90H5BY83OMu6sUSRZ6DgHSOlV20DrKPtjaV4KExoWuWCF1U0ivMU3pIxNjBePI1GA5+P2Hr4kE67i5HJedXjD3p97t29WywEhbNcEX3F3vGxHfIkrlzS58qKyFgTEI1wpNfFs+rmMLqBO+HaJ6uCTejdMlkdXfwucX2F9hPBUEQYzDsPZqLl8MR3S7aPFAaEGJVNLvxiLD6089X1Gts+F1EA0YmwOK+01H6vy/HxcViXIRqbIBfo14PxcnFbSegOhhyddnDeU6umBS89DRFK7OfjAWszUmu1c6uVAmM/1546wKqRUozRDeBV15YFe0XTPS/nyAmRoOA9OAxr65dp1Cyb9++TZ3lReJiNM8ajcfiCUNS9h0f87PgY58YM+iN9BvzEfSnujdbfGCNkecaD3UPa3R5TKeXtKvxdEVkP3v06sBde3wSuTnzuCrD1qAN4778X+F6Az2vUCqNQeKwTIWyZNI0Yp3pLRbdLo3u++izCLorBMqlQiAkmQvuCmHwNCxnNIxTJu1CooeuqxPUj3StcQxFymuDZaEM3lJFhwBhP7GNTFO94CTmFnDSBna39Yns672JyU3FecTGJLIUilBAWO6+sImMMNtGHRCt2bYhQfGDtmOKhiCqpWq1grKHd1o0lxMZuoKZ42COd1AHdszM++cornJ6eqsfoA3jhJ3MGcLH1cqgGKBSSzjNhrlwxrwWbxmmxkeH8RhcRtovzn8StJWMiNVjCOD9WDGLVqPmokCIGnfvCm3Xh/DGg1NcpeqiLC0V+Yf/YuJVg3IO2jDJdgXG7PC5n7QvlfRabVkZ9RoSci+jUGG3XsLpKmlju3ttWyqI1aszCvRPUIJsYIAVD1u4N2Do45qTdY5SX8OVFD6yokkU945jolPC4JMbQatWJvHsTvlOvVqhUdJOdxBpSmxRbJ5pJQydS3CvCs2HRLQ2X1y7RqCbsPnxINh4H58OWA40BXzFZISL2WkdSUFX9+bUQ/y564Itw0u7ycP/w0d7mcyxvV+H/BPDbgT8T/v0nE6//XRH5HjRp+zLwM487mHr0HleEuBMeQkie5nmJJeNjso0AqUixQONuQM5DsYuPCce/AP8UOK+PGKopHgjl9AdlHrxHE6ouY7hZbCWXR4x+EoahVLoTC7SgdnjP2ckxJ4fHxAcDr/3HdTMIg4+7MnkpFIYv2CB6JcUOTz7CGAplBLtVYE2T3qiI1hm4URYUT1CWlMogKiRQ5Tjo9+j1fNFHPnq5huKD4brKf8WU/cmjgQAmCuXKGoPJfxUf1jmNcBxRMUmETULDOX/+kY4ecGoTBAmbYcT14YuPx2s2gvb3ibmP0EgszqGRJGD/kX44mYzXKC4xJtzXctvBGMXleVaeL4hNTIHX4yLUZ1lYWeHS6hJ3b98pmGWBhFbkgPQfhcay3HHS7bNzdMppt19GeBPyaX/7MmcRDe7Fz5z2Ht92wBpDtZLSqFVo1SrMtepqFMLmPdqFtcJ4NKZWa7K4NI93GQ/u3y/hQimj63yiNmDy/ugiLnMpMVFfwreTxkWZeoPhiLvbB1Mo5xHyZmiZPwJ8FbAsIpvAH0MV/Y+JyDcB94H/HsB7/4qI/BjwcSAD/ufHMXT0e5BlOdYa0iTBCAUfWZVVpDJSFglFd8lHLruUVLHYFVHXQZHcLa+pPG9c7UoBdSUf3VNCELH7ZfDkBKNNdF0JP8QHqViIhZOn/PtYiAOhClbxFBBdxBr+a/dBceCyXGETO8EWkhje68DjeYsCrqhSfWQSlVBQFvHOSF2LOQoDee6LLQxj1KRJyhJa8mHiyv1J9SKNscR9gZUZo+PV7wf6nZQKL463gFUCHFZ4ayF5mWc5eZ4XraXVuNlgiPXz+UTpfDRsiBSJ6Nj/KBrDuKl17tTQJVJupu68I7GRZQNKqXLFmoq7RmkvmhARhg/rfbcBfggN9IyOM8It1pZQUZ7nWusRjpKL9tmZadZ4cPcuw8FQjWqA3vLQ70ivJWc0duwet9k5Ov2MNt1+ve+9meNlzpENhnQHQ/b1LpJYSyVNmGs2mGnWuXr1CgvL87QaNc5OTzg9OdH2IaLzFbtt5nlWRpYBco1OWexoG2ssdC41KhgHZlaEoCJ0+GD3gLMplPNIkfMMlScjn9eo+e997w0QZbkk1obeN+EmF+2HJYSRFM3LsjwrYBVCiByVVvQgy1Cx9PJ1w5JQQCPKrImNY3JHAQuJIYTokYag3nfmQlwhUvD5I7sCooIucUbBhp4sce/QuB9sLBoqI4XYpCt+NkYVARHR8/rQLC4oTUdoH2EkKEZC3/HQuRMhtRZjDGlqlYER+qDneV5sjpFFfB3t2hnPH7Hai6ul3HMgeuy6obZ2mCx3mbqo8InjQ4rPx/eL3a4iLk/cZMYUXrm1lmGABRJrg8KP+DG6t8Fk9KMDLI4r6Mb00ehMGgi9jxYJhlJMiUubsEbP35sk9PIPm274AAdp+EPMrxTrAhASnBiajSazc/OcnR0z7PdIE8s4y8LmKb4s3POGbn/I7vEJu0dnuiEOb045fy5lEkISEeq1KokRmrUqzXqNWiWhWa9qHkmk2L0sRmAxqrfBkYj3Ij67EfkposNo9EXZWCdnHV65c/+58e6/E37ee/+L3+znn4pK28Eo4xP3twtss1HXxUHw4i5uYDGJoccHfRLTswFvjUVE0dNX/DYPhgGisonYrgnFPpFpIBLay3pt1+y98vkVKtDIQ0Lyk2BIKpW0gIXy4M0V1MegcMQ5lPcHIroxeR5aLMRshQ+bmptJj9iUnqv3QKjqdM6ReRdyHmFzcTOZkA6UTe/xuW6/l2ALXNgmttiub7L9gC+883IbwchxjxFWpPspJOMKCqgR7XcSo47Yj7woOrIG49Qo6O3UOzKZJ0nStIhMvCdsOu+CMQlrwUzs6VrgNfHNaGzCSyGKKuZj4n+TtFniuiJEKkDcZMcTKY66WGNxYF5svRh4+ibUKxewhRoXmRjb0vy8srMO9hgMh+Q+11qUUcYoy8hyrTYdjMactvuc9vpk+dPdB2ZSzXrvi66Up91+EQ2niaVerdCoVpifbVGvJNQqFd2jIhppQoTjynURn98iSgywmg2GOneOe7tTVs4byVOh8Md5zs7x2bnXLiabPlcymdQqBnJx/Zx7rfwjGo1HfiwYneL3yQ8FiV7Pxair+MikobvwXpJoOF20WJ7EQ/HnFHnpZZaDFMoGW3Esmg+JyWYUrJgYXxxFvVqhVq0UxncSZ48nmNzmLp63KGzinI4O10iZOJXS8/YuJgn1uJU0IbW2gO1yH+sS9H3xmlTOJ2GjYMysNVijP3me4Zwm9L3ziNO20mGDr4n7KGQ+FE5lMUqLfN1Y1OUKI53nrujeOhyNi2R7u9Mjv7tN7tUwZgGTjxBi3Ibz4nJ5N4s6BZ7hOGM4zjjp9Ng+PMEahXIbtQqNWoX5mRa1NKFWrWAEDKZo1aAbooSOuOougNe80P3tA047UyjnjeSpUPiPkie1yM95im9HHpuxeIfkETu1XTSaT6vimBznRcX/OIn88Ld13mBISoVe9hE6P5pS6UdTKaIsl/Pmvch2EKmuEZZwIUJ5lP8wefznTTRQdWSjEf3RiMMz2NzTtiqVxNKqV1mYmaFWTWnUqwq/hv4+NhhnYwxHp2229qcFVo+Tp1bhT+Uzl3eLAnnUON/s2GOHzCci47f+lc8kUfqsysVr9xAinpzecMTeSRsjmturVVPqlQqzzRozjTrNWgXnhHu7B8912+M3K09F0lZE2sCrT3ocT4EsAwdPehBPWKZzoDKdh+kcwOPn4Lr3fuXNHuxp8fBffSuZ5mdVROTnnvd5mM6BynQepnMAn/05MI//yFSmMpWpTOVZkKnCn8pUpjKV50SeFoX/vU96AE+JTOdhOgdRpvMwnQP4LM/BU5G0ncpUpjKVqbzz8rR4+FOZylSmMpV3WJ64wheRXy0ir4rITdHtEp9JEZGrIvL/isgnROQVEfl94fVFEfl/ROS18O/CxHe+LczLqyLyq57c6D+7IiJWRP6ziPyz8PfzOAfzIvIPROSTYU38sudtHkTkD4Rn4WMi8iMiUnse5kBEvl9E9kTkYxOvveXrFpFfJCIfDe/9JRF5fAVi0Vb3CfwAFrgFvAhUgA8D73+SY3oHr3Ud+NLw+wzwKeD9wJ8FPhhe/yDw3eH394f5qAIvhHmyT/o6Pktz8QeBvwv8s/D38zgHPwj8zvB7BZh/nuYB3QnvDlAPf/8Y8I3PwxwAvxz4UuBjE6+95etGW8//MrRQ+18Cv+Zx537SHv6XATe997e99yPgR9F9cZ858d5ve+9/IfzeBj6BLvqvRR9+wr+/Mfz+tYT9gb33d4C4P/C7WkTkCvA1wPdNvPy8zcEs+tD/TQDv/ch7f8JzNg9oHVBdRBKggW6W9MzPgff+3wMX+0C8pesW3Xhq1nv/U161/9+e+M7rypNW+JeBBxN/v4U9cN+9Irop/JcAP82F/YGByf2Bn8W5+YvAH6boOAY8f3PwIrAP/K0AbX2fiDR5jubBe/8Q+PPofhrbwKn3/v/mOZqDC/JWr/ty+P3i628oT1rhPwpzeqZpQyLSAv4h8Pu992dv9NFHvPaunhsR+XXAnvf+59/sVx7x2rt6DoIkaEj/V733XwJ00TD+9eSZm4eAUX8tClNsAE0R+YY3+sojXntXz8GblNe77rc1H09a4b/pPXCfBRGRFFX2f8d7/+Ph5d0QniFvc3/gd5H8l8BvEJG7KHz3X4vID/N8zQHodW167386/P0PUAPwPM3DrwTueO/3vfdj4MeBr+D5moNJeavXvRl+v/j6G8qTVvg/C7wsIi+ISAX4enRf3GdOQgb9bwKf8N5/z8RbcX9g+PT9gb9eRKoi8gJvcn/gp1m899/mvb/ivb+B3ut/673/Bp6jOQDw3u8AD0Tk88JLX41uC/o8zcN94MtFpBGeja9G81rP0xxMylu67gD7tEXky8P8/baJ77y+PAUZ61+LMlZuAd/+pMfzDl7nV6Ih10eAD4WfXwssAf8GeC38uzjxnW8P8/IqbyID/276QfdJjiyd524OgC8Gfi6sh38MLDxv8wB8J/BJ4GPAD6FMlGd+DoAfQfMWY9RT/6a3c93ALw5zdwv4y4RC2jf6mVbaTmUqU5nKcyJPGtKZylSmMpWpfI5kqvCnMpWpTOU5kanCn8pUpjKV50SmCn8qU5nKVJ4TmSr8qUxlKlN5TmSq8KcylalM5TmRqcKfylSmMpXnRKYKfypTmcpUnhP5/wHD8/yu7r7bLQAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXwAAABZCAYAAAA98Z/7AAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjMuMSwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/d3fzzAAAACXBIWXMAAAsTAAALEwEAmpwYAAA0w0lEQVR4nO29e7BtWVbW+Rtzrf0673PuK/NmZmUWjxZLJVo0aGxpuwI0rAal7D9osUVQMSr6QXTbtLRlE42UbYdIGEqgYXdUgC0FWBUVQNiI1dHQIBIGKg9FKIQq6kHWvXlf5z7Oa5/9WmuO/mPOMefcJ2/efHRe7s4866u6efZeez3mmmvvb4z5jTHHFFWlQ4cOHTq8/eGedAM6dOjQocNvDzrC79ChQ4dzgo7wO3To0OGcoCP8Dh06dDgn6Ai/Q4cOHc4JOsLv0KFDh3OCjvA7dOjQ4ZygI/wOHTp0OCfoCL9Dhw4dzgk6wu/wpkJEvlVEfuTMtr8rIt8dX/+MiPyF+PrzReSaiPzx4v1Pi8g9EbkrIj8kIjvFeX5WRA7ivx8Rkc1XaMN3iMgPxtdDEfnnIvI3H9Hm94rIL4vIkYh8WkTeU7R1LiKXi30/KiIqIl8Q33+1iPzbeOw1EfmOM+f+MhH5udjmfyci7y4++xkRmYrIiYjcEZH/rfjsH4rIXy/efyxet47vUxvOvi+PFZEvivd/ICIfF5GveaV+6PD2R0f4Hd5s/CDwHiPqSFB/EviBcicReQr4f4BvU9V/YpuBvwFcBX4n8BzwHcVh3wxcjNu3gD/7qIbEa38U+KSq/uVX2OdLgQ8B3wrsAH8I+K1il08D3xj3vQj8B2dOMQa+IR771cB/LSJ/Iu7/DPBPgb8O7AF/CfgREblU3pOqbgBfDvyPIvK7H9LGdwNffGaz8iq/XxHpAz8GfAy4BPxF4MMi8jsedVyHty86wu/wpkJVbwI/C3xt3PQe4K6q/lKx2w7wE8APqeqHimM/pao/qaozVd0H/jbwnxaf/4qqNgTD0AC/+oimCPB9wAbwXz1iv28C/kG8rlfVl1T1N4rPPwT8mfj6GzhjuFT1Z1T1V+OxvwJ8uGjz1wMfU9WPxc9/EvhF4Kse0o4aaIHDpZsQEeC7gG8/s//ngD/yiPsC+IPAOvBdqrpQ1f8X+CfAn3qV4zq8TdERfofHge8nkB3x7w+c+fyvASfAV4pI+g6KyGUR+YiIvCQiR4TRwsXyQBH5FeABMAI++Yg2/OeEUcLvIni3r4TnCF78K2Ef+KSI/CcE4v9Q+aGI/Eci8s9EZF9EDgnGxdr8PPC1hQx1QPDkny5O8T1x+68RDM+1M9f/L4B7wE+f2f7NhBHBYTz+LP4SYXTxOV2ukPhbwDOPuN8Ob2N0hN/hceAfA18c5Yk/BvzQmc8/SiA+CMRl+BsEqeKLVXWLYCykPFBVvxjYBK4Bf+cRbfgM8BUEL//vP2K/a8DnP+JzgO8F/i7wqTjyKPGPCLLJc6q6DfwfRZuvAT+gqjvFv3VV/c7i+P9OVXcIks+Xi0jpffeA/xV4mRylqj+uqp+nqtvx+LP4WwRP/rk4SjC8ALz0Kvfb4W2KjvA7vOlQ1SnwwwQy/HlV/dyZXf6FqnrgzwPfLiKfF7dvEjz/g6h/f6sdICIbIvLO+LYmkOHkEc34ZVU9AT4AfJGI/MlX2O/7gD8nIl8pIk5EnhGRLzqzz08A/4aHG5hN4L6qTmM84L8sPvtB4I+LyB8VkSoGkN8tIs8+5DwtwdiVo5E/A/xclIreCP4FsEYYCfRE5CsIBvgjb/B8Hd7i6Ai/w+PC9wO/h5fLOQmq+kngO4HvjV7oB4AvIejY/xT40WL3beDHROQY+CwwAN7/ao1Q1Rnw54DvjkHXs5//fPz878Tr/nOCFFPu41X1z6vqzz3kEv8N8Ndiu76dMHqx464B7wX+Z4I0dI1gxMrf3d8TkROC1PIbBANk2AX+l1e7x1eCqt4DvoYQNL8HfA/wp8/EKDqcI0i3AEqHxwEReQeBwJ5S1aMn3Z4OHTp0Hn6Hx4AYiP0W4CMd2XfosDp4bIQvIu8RkU+IyKdE5FWH3h3eHhCRdeCIkDL4V59wczp06FDgsUg6IlIRUub+CHAd+AXgT6nqv3/TL9ahQ4cOHV4THpeH/6WEFLbPqOqckBXw3sd0rQ4dOnTo8BrwuAj/GUJGguE63WSPDh06dHiiqB/TeeUh25a0IxF5H/A+gB78vpflyz1BlI0PU1Ykvg5/nQg2lUXKve2lgqJouSnevV+S0PLrV1LWXkly63KrOnTocDOULXnUTPIlPC7Cv06Ysm54FrhR7qCqHwQ+CHBVRN/3Ok5eErI+ZNvL9k8ELVSRqfv9HpVzOOfo1TWgDPt9BKico9/vgeoSySeWR8NrDZSuqphdyJMaw+eqHuccKHj1eFVCEovGbeFYVUVV8ao459J5mqZBnAvXEEn7zOeLYFBEcCIo4L3Stm0yNWFuEyjCommiUdHUJwCT2Rzv/cv6zMdjz1oWr8uGrMRreRYPOWWCvMrnHTp0WMYH4MXXs//jIvxfAL4wzox8Cfg6lmcgviGc9bydq6K3LfR7NahSVRWVc/TqikG/Hz6rw206Eeq6CqQqks4jIvi2RbUg0CWC9YGUUYRArvj4OWD/JZIhgHqPEowHCuIEpy658k6qcH3vEefivSlezasP56/qQTI8ZhRUlUGvl9oPEu1PMBbqQ5u9D++dk9BK79OIwVVVuLe4zc4fzinMF4ulHldVxDkWiyYYA+sr5/Ao0+ksGhvSOQCato1GTpLBUaBtfTQ0ywbEKy8zQKHvO0PQocP/XzwWwlfVRkS+mVD+tiIUhfq1Rx3jRAI5AlXlEAKRDwfB6+73e9TOIU7o1TWi0KtrKudQNPz1GghQstcdSDlQinnCrpBJgpfsEAnHClDXNU0bPWIRKlcBErzb6NW7SlAfaUiMsIPnLiK00gbjoFHcacMIQSQc1/gWJ+Gc4ttkFEKbNLGbb9tA2GpyUDA64qLxEKPDQL4QzlPjaMVHw+jwPhhDO78RsEiVjIZGIyEirI1GqYdKgzDs19ioxp6bqrI5GmDUrHEUY6RvxzZtEw2mpv4UQqfbKKdtPU3bpnsTQCUYiPjdIp40nrOladpsEGOrvffMmyZKboUhVqX1L5fV9CGGZnmPDh3e+nhcHj6q+jFCHe5XhQDPP32FtUEfr0q/7tlZECeB4KJ/rWTSRTVJNF4V72xzlmICMQYi80ZsBEIyT1rbFgjEaCSiUYIxT1YJZJC8fh/bJ4L6MNrIYwAyKaOoZrGibRXnJI1MqiUvOo5crN2A9226VlU5NI4AfGyztSGTbdiWWNQHqQcJpkJ99uJNlZJkNMA5G0n4FFcI0lBuZy7FpdEIltuFrH6V1xIqrVIbRRxmfrI85sJILd6LN4MavyXOCbULIzQzdE5cGoEliSxa7qb1aQQnZvAVWu9TGwPRt3gN8lmK18QbWrQNi0WzNAIK8pln0fo8qlPl6HRC+wpGo0OHVcBjI/zXi7XhgF4VfswmcVvlXCeC94GAxUn68Un0kF30du2HnkKphUeOcQo+ep+R6CKXmUZvP/QgybjkdRur2fmytu9QCcQ0Gg3Z2NhgPB4zHo/Tj9+IJen5mGYPiZyhIJVM3lVVn7mu7ReOda5G1ae4QHm8D4OPZLREBK0sZhBIS6L3HD43r9wkJeK53BLZJVkqjhycO9v2LOnYdRJH45YMRoqBiASj7M9GCIrzmRcuJGOgBCPlo3RUxjXMGUiKm/cgQr+ukgQGILULUlpd21ADZ30RT+EkOxvB4CuuquJ5lUXTMnnpVkf4HVYaK0H4iYxUo95sXjUQg5TptTcyEbz6l3vb5pF7nyQdv0S8kn+w0XjYNYRAKEb+kSuLY5f/JvXewdbWJhcuXMC3gdRPJ6c4zfcXrlfHNpYeczQcLhNkIMAKM06tb5f6yOSXMGJo4/mbgmQ1yTZ2fu89Xn2Qp4zEir4uvWkRYj/n0ZJzEjxjopHTLPVkA+zS+fKzDfdYti1sz+dwKTlY0wgjn6vsk3htwOxwaI+Ac0ksilfM463CkBtxlxKY92HsKFURHIeiLdHZQEAl9ocu909pozp0WFGsBOFD+GGLK7xECVp+2/os40RyySTikpzgTZe1sX1JMJJ8/khygVAsYJl81yTfkD7LEoS1U7JsTvDae/0e29tb3NnfZ3NjM0gPVZV056ZtMU/WRgPJMGkI2gZv2S+3OxK7xTMCaboUQHVSkpbPjSIbJdPkA1nWqR/MU7ZbL81PINW2uMccWPVeUWfev0uBXxsZZIlIkixkfWdtCXJNWxxjJGr36IvRkD2vcA++0NytwV5BqioZ+bL/EGjblrqqqGJ/BR3fBwlwqW/j2EbLEZ8ZVweS74XC+NroqEOHVcfKEL6RS+kdtm1bEF8g1ypKGJC9xdJTd+Z1R93cVRSZL9lbTFpOQvYPk4cpRH0+yygiptFneWNvb4+mbRmPT5nNF+xub3Ph0iV6dY0T4fj4hAcHh8nz9tFrtFx9bT1NbIX3RnRZ8lGN4oWnaCMhmOlbnKuSTJNlkkhSUBBaTtW0YLZ9ZvLO2RhIfjyhT+raRgVxu0rKAsptDkdIzESyPrV+NONXmpkkscUhk3nPLz9mOShsRrNtm3SupKvH93VVhVEcIGmEIaSRR5TX4pbsYKidS7LxszstJb4kfXXosNpYGcK34T2UejCF56RRjvHpfdaYhRibzTD5VUM2T38woKpq2rZlPD4piMmuXxwqLnqnmZS8z0N441Uh6NiDfp979+/Rti1t23J7NgMRenWPne0ttre2WCwaHhweBuNUuNamE2sMrFauQtXjlZhSGTzX2AOli4mljJpE5NVTV1U0GlXQtr1PZJ4NZAieWjuyjKGJLDPpWZ8ISJDC7BnY6CLEj5cNgd1fGHlI8tZLwxvsmhGspDaEmETp8RcPFYmjg+AAmGRezn9YknxE6PV6zOfzMEKJeznnMnkTJC0pdSLV1O8p+I6NFIvvKVBVFV7N4HTosLpYGcLPHpf9nMrgpenI5qHnwGvYM7ESrXrUa5Q7KtbW16jqislkyvjkBMvkMI81eJaOHPgMcK4qdG1BpJASNGcP9fp9FJjN5lQuBv/U4xAW8zkHBwdsrK8xWlvjeDzG+ybdrxZkpRLus9VS6sgeLWYQJVsyi0OYdUtpoAqqbfC+xVG5QGo5AycTVnKqo0TjXIgZuDg6UDQFO4GYBuvwrV8iYxtdeG/aN/GZWWaOjSxywFxS0yVId0kCinIdim9jrr5mUs+ykE/fGV9kH+X2hP0Wi0XsW0vVjTEKzEOPcpoPRtA5MxoWR/JZ9kqGM8tcQXakc/I7rDxWhvCJHp39cC1YdrbcT8rD1pCFYsKIpd3VwU2mrmtGoxHT6ZTT0yZNhAqKgWmzdipfkGCWVSwtE9E0BDCP3GIArnLM5nMWi4aUfinQatDA54uGJubSG0GZSXNxDgGJHF3SwwNR5pRKxIYwmVWScUyeePTO1SeN2cd8/2wUkwNLJlIXsks0yGj5AmnHoI87R1MarEK+yc8sbjfdPsYg0qhILE3VUjpjv2KykksjvDSHIR6ctfJSOjIjkmMt1oYyI6qO2U62UxrxmERX5Uwk66PwPYnPJrbf26hMCXEDDaOzWip6dc10vqBDh1XF6hB+EfyrqoqmKbXnwCDBm82kt5RTTvhRigjD0Yi612M8HtM0DZWrqOqaebNIblrSjIsRhDmsRraSfvn5mNjUOCII3l2/P6CqaxbzZlkWIIwmJpNJ8jJD5k2WUlLwVCV65ZpSPfPMXjM4ZVpmNBrREw7tdpEQm3RtCGTnVckzXi2n39oiIeYhxWgpWkc7v8k7FvSMd5CIN1w7Gk8Uh0sxAuyeilFLyuyJUpTZQZEwV8GaUJg3ANo2ZyM9TNs3YxKejZl4wAxJTj9a9uIj8fuin8341VWORaSvKzYprkrG9Wzco0OHVcNKEL4FQtUrUpknHGZdupTvZj9mKYgqEJSoJM9rc2ODtm05PDoMhK1K0y7QNnp1rY/eXPrdJ/IM+vTL24aa92oyUqai+XzOyclxmkgVtHiToFz6O53NihGLyTEOV8XAaogIZMlA87XDJK4iE4l0+eyRC2grhPhkmeNPrKOT5aAww9cnI2tndYkUNe1X6v5pxPOy55dz+rMsl+8hjDo0eddG+HWUe5yGSWq+NdnH0mRtNFV42q4qDLQZ7NCIqiDe3AeydLxNaENSQYxswJyjpjB69s1TUEkRj1C+o3LMzJtPo5QOHVYbq0H4kD0sH7zPsEnO7hXJSpK3CeEHWznH1tYWs9mM6XSaZAWVnHYnClIFPbv07MuSCJaTrgXzl96/qSfqs/Tx4MGDRLCSMlZIQcXpbBaKnSWZKuxr8wN8NGCVc3jzbh9CaslAkQOukioshJGAlRlwlSTv2ZlGzVkvVEKNn0RV5g1bkHVZF495jC8jxHRH1gdkUl8OGEvoNxHaRRiFWAxC/HKQ3AyfWtZSjLOkIZeC4hn0eizaNhg1i2GQC9Tl+I9DLGZiwaB4r/Y+zcEIliqNZpQ4zzoa/osXd1kfDbhx+w7T2SJkT+nLnYUOHVYNK0H4kL2jEARrybpwJPoiC6eSOk26Mplgc3ODpmmYTE6LfO8CSjELstTrtSDzMqCZia4k3zBJJxsNF7NqoiuejEOSa4CDo6PwcSypEM5Jan/tqoLcA6mdNTj2NhjDfO7kURf6MxRxCO/BSdLS04zR6MWLhrIRJdmGoKtfIrCcHRWsjkTv3NqU+84M1LImn2xGVFmq2o4X8vM4M0ErGuMq6euB9B3C+mjEpUuXGIyGHI9PuHHjJnhfzLaFkBaa0zhjSaLYfhfiElnHw6lmwg89SxhUxjYJOIThcIiK49LFS9y6fZtmkZ9/hw6rjJUg/DjyJs+KzMNxgJzaJ1y6dInd3V2axYJ79+5xeHjI9s4ui8WcyXQSSUOXCDt77yHAV5JXqeWXRLtEPJjck73kqnJnsnhCuiD4NEs1EbWRoYJPbcozgL0ETx2v1HUVSx2YhOFoY9A3kGrOZMmIJAspu8babp66iwTnNfdFmpQWLo4q1HXF2toai0XDbDpNcYA8+1WL4DKFUbB0yayv26zm/JQlB8/bUjbKzyBPFMujsKbJRlhV2dre5OrTVzk+Pub23btcuXKZQa/HeDJJz8e0/LIv7Gk5a7hIWp/AtvkU31DaOBqh+E4MRyMQx539e1zY22Vna4uDB4d47SZedVh9rAThJ1pOkkcOvGn0uhzC8y88z9Vnn+HG9eu0rfLsO55j72SPo+MT7j94kIKEKY8en6UPKQuqRZ1abdIWiSAs6JrT/LL0XHraeWRg3qvGAB6IFvfjzJDZiKU4ZzkfP8ohNtlMEJ566gq93oBr16+FYGXhQlrRsqVz6Rm5pbQJye21m4pyStSvnavY2dlha3uLqq5pFw13bt/hdHJaGAWNoXGoTLpymTDVJqtFY11VpbylqY/yMy7089g+t8SbEmIcZqTUsbW7xdNPXeHg4JA7+/u0MVNqOBoymy+SPFbKZ+bpW4xAXQ7yW3zBek3EiqtFI65ZYnPOsbm5yXQ2ZXw6Zn19xNr6OkdHx2HdAjp0WG2sBOEnFB55ma7X79XsXbzIO77gC/DNgoODQw6PT3ih32Nze4ubt24DJK87yxGZ/EJ+uAteeHT1HMLmxiZNs+D09DQE8pZknVLT90Uzc3mHUvqwIKvdh8kn8V1qj6VomiSdNe8QFHauonYV66MRp9NZHFHUeaQgIcAarll69H4prTXp1+KCNJE+D3n2Xj29umZ7e4ud3V1msxn7+3dpmpYLe7tsbW8ynoxj2ekQAwnnidVG7TnFFNQkfUCetGRGsrjPkJikcTQnsaSGD+RtxfFM0jPDLNCvKy7tXWA+X7C/v0+YeR3ufzafp5FRHCimkYNl81R1HlWRpJ+4c3xOTkJ9/1LGS2mlQH8w4P79++E+YkZSE8/Zq1fr59Shw1ms1jdUjR5zpoVzjouXL/PsC8/jeqG5v/Nd7+LFF19kPpvSDofs7u5wenpaeLzBo04/1ujtWUaKaKCejfU1enXF8clx0YgyFZSUTWP6senUWVJx1FWuywNZmY5ni/dSfB49YLdETC54k6GBDEYDKueYnE7yIiXEiU+S5RObMOZjEDnIQLlAXDmZSxCqWD8GHBXC5cuXuHjxIjdv3uTg8DAcA5ycnHDp4sWY0hk94zYQbF3XYT+veG1BwqIzbSRRn4KrmTQt4yd70uHzWoS61wuliVMswqSfomqlwoULuwxGQ65fv86iaXAibGyOqKuaZhHI3qtHfC6Z4LWs22MykQ108ijDLVVQzaMEG0mpKtvbW6gq4/EYF1dFm83n6fn0eqv1c+rQ4SxW4huaqhIuDf8DFNjf3+fW7VuMNjbw3lMhbG2uc3RygiJUdS4hrMSKiwTZppQ4AseEH35dCVvbm9y7fz9VozQm6NU92tbH7UQyDV69VYpsm1CqeX19jWefeZb9/X0ODw4QkUh8MaCZFmYp68cIqM8BXKzdOStkOBzSqmcyncYcdk9/0MeJYzqb5vMQ2hcyckxvjzebtKXC8BRS1dr6OhcuXuB4PObg8DCuAxDIfTweMxqOItmFK/UHfVDCalgKtXNsbKwzGo1oW8/B4SGLxrJv4sgjZl0Nh0Nms7AqVhvlutFgFPT3/oD9u3eTLOdE4qSmZB5Y31jj4uULHBwec3h0HLJuNNQxmi8WoWpoXFUs5fwTRgZh1nScjBZT/nt1HY1wkLksQyftZ6MDSDGbCxcucHR0BMBwOGQwGKWRhrgqjbo6dFhVrAThJ485DcGtCmYghqZt8F45OTwCgbqqGQ4HnJycUtc9dnd3l4jdcrjtB2vIufTCYDBAERZNIHMIJNire1y6dIl79x8wnU6AM3VgJNZZj3r5hQt7jNaHNDdzRUzQXP9GbGWnQgcXCdutXek/OUOnqirmiwXz+RxQBoMwuet0chqXaHRY2mMKHdvKWN70ciGVDYiooncuIly4eIGqrjk8PMjByyoUYvOq3D8I2+uqZntrg8V8Tq/f5+DwmMpVPP3UJQajAbdu3eF0Mk0pofYsa+e4/NQl1tbWcD3H0eERt2/vx9HVOk8/9RSN98ybFnFVyqJaNHlylU3o2tnZZtG2gWCjEdnZ3aLu9Xjpxg1a36T4RDmD18dANQT7Zzn0V69cYTI+5f7hUZzNnPV6+yqFrKbQf6PhiGbRcHhwCKpsrG8wn885nUzCc0yF/jp0WF2sCOGTslg4kw7YtkXZ3+iy9Xo1R0fHsTBYS9Mu0jkkasXm7WL6q2na0ZMeDgdMp1MWTa7IKQJbm5ssFgtms1mUWHKGkGXNDAZ92kWLVCGIN5/PmU6nhOK8uTSClfjN2T1gpSJCbnkclfg8o1YEKnH0+/1Uw340HDIcDDg8Po41bKKJKuIcJu/kILLJUaajR805auKVqxkMBiwWC8anp8XCIj4ZysVijhPH1vYW0+mExaLhHc+/QF3tg4TUyrv37rG+uU7TtPgmLKBexbz2p68+zWi0RutDH1dxJrATZW93l+lkwv3DQy5dvMxsNqeu6uURWXyCo+GQ7e0txuNTVD2721v0ej0uXLrI9ZdeYj6dUlfQtDEQLeBbC8CH4nMuTrZr4yjm7oMDtre2uTpa4/DokMl0QtPkNRSSYichT397a4vJ6Smqys72Dv1+n/39/RSsLSW9Dh1WFStD+GWaoWXnxHckRVxsIfKak5Mx6j29Xj8VS0MKbd2HipNIuZBJ9PgjcZ+MT5cybaqqZn19jQcHRyl+kIPHsLm5SdM2TCZTxME7nn42BIJbH1Ie2xZxlloYmtG2nrquWCwWRbGzcL+hYFjYz2YPh0lTFXVdcXA4pu7VDIdDjo+Oijo7NktUlnLggzcac86dRHLLfZtGPS7kkvd6PU5OQoZJVVVYsTKTtyrnuLC3y2y+YHw6A2B//y5XnrqMc3Dt2nWOj04YDAY8deUSt2/dZjabIyhXrlxhbX2NyXTG3fv3uHL5Ylq9y1XZoO3u7nJ4eMDJyXEKAod7CS1Wgnevqjy4/4C93V0uXbzAZDLl+vWXODkZ89RTl1G/4M6dBwwHffZ2d5lMpjx48CB9ddQm00VZbzw+5fR0wub6Gpub6/QHPR7cP8T8jjQqA9Y3NhDnODo6Ym1tjfWNDe7fu8d8NsNZ/5ZGokOHFcXKEH4KWFq6IJYuCSaDoEF7bZo2aa2j4ZDx+DRlaISKlVE/F8v4IC84HiWTtvXM5rNMApD2XSzmZ/xMWF9fp9frcXQcNNy9nT0Oj44Bod/rR6/ZgWhc5CT/+psmrpkrwmgwSNcpM0tUQ1C19S2DQR9XOU5Px4yGQ+aLOa0ZEQ1pg6rhfP2qTmvwKjHeIEJWcfIqYT7FDYThaIAIseibxsyWmJUU190djdZQhePj45CZ4xz79+6yvr3J2tqIwfoGenTCvbv3uXjxIk9dvcpkMqGqHaPRGrP5glu37jBbTDk6GrC5vsnVZ54Oi6z3e8xnMw7uP+D09DQF1YkBXpNTBsM+ly9f5nQyoWkW7OxtowI3bt7k5PQUxHE6mXDl0gUW85a9C3sMhgPquuLw8CA8R5ezbGyUFiYeK8cnx4xGA0ajNe7LYdDvg15H6z2VSJQPjxmNhuzu7tG2Lc+/8A4+/enPhBnUZ67RocOqYmUI3yFLhTFL0g/L+AXNfDAYptIJ/V6Pfr/Prdv7ceZkkFm0aS0fgzTRyjzGaEAySeZCX4u24Wh8iqtrRKcx/TDkcA+HA8YnY2pXsbW9TbNoOTg8xInj4sWLrG2MWMznII7JdJLuI0kkEgoYbGxthfrp3rPufSjbPD4hJihSuYrhcMTJyQm9uqZ2FYfjSSTCoNNLvIfBYMA73vEcN27c4uj4GIjrrMb7snQhFzUg510cuYQa8V7bINvEUYqPGT9OHL26CjLS0VFesEU9rSovvvgiVV3TLBb4qLffunWH9c0NNjfXWVtfZ7FouH3nTohBqHLv3n0ODw6p6x7NoqHu1WxvbbN34QKDwYCTkxMms6IwnobKlIPhiFaV4+MTLl2+hIrwqc98htPxaZxV63lwdMxwOOTKU1c4PZ3i6gatFI/He0kpmDYJrfUtaBgFDQcjhoMRRyfHNG2TRkeWEbWxuUFdV5yMF1y6cIEHB4dcvnSJ0WgUvnPkGcYWhO/QYVWxMoRv0opSSiJZk7ZskapyKU1wY2Odu/fuxsBmOklOgyRnsIi4GEgNk4cm00mSQYwcVZXT8Snr62vI5jqz6ZS2UXr9Pv3+gGN/zPb2NgocHR2DwuHBEaPRiAsXL3Lnzh0mk2lq88tL/cKdO3fTZKJEysV9OwdrwyFVVbO3N+TOnTupJEDbmiceMnFOJxOuXX+J+XwRjZbPKYbxnPY/sWUEK5cCkVWVSzo452jaJi2buLOzw+n4hKYtKm9KMMzahNo1IW3JRY52HB+d4NuW2WzOyfEJi8UiGuowwpr7BU0TavvMZwv2796lroO801pBvBiDIXr5e3t7oU7SziZO4f69+5yOT3NbwliA4WiNB0cn7N+5w+bmBleeusze3kXu3r0bZ89amYVkUkBhc2ODpm04Oj4hBlWs/D2j0Yj19XVOjk+4sLvLyekp49NTpHJI5c4sLxkMhMUdOnRYRawE4ZvE0bZtUWvGvL0cNDVpZ2Ntnelsxmg04vad29ETD0FKk0+WEy5CuQPLoKmcBFkoBjJdsVD4fDqlbRaIC4HfFo82C5q2ZXtnB1S5e+9+CtItmgXXr98gzcrUsuTAmWUUlSD5hMbETTnP31UwGPTY2Ayacds27F7YoVf1qKqKm7fvMJlY5hCAYz6b0zbBqC3p9ZITf8oZxhDiCqfjCc1iEQxoHO2EDB+P15Z79+8VwUhSgDmcMhdIC8F2QSUsYHJychLnRMT7i4YttM/jBZCQY1/XPaazGdPpLIVqhJitBWzvbLK1tcl0NmN8cszO9g6HDw6xyWZK7Ef1vPTSS8nAPDg4YDabhWqk4hCniYiDsQ3GeH00ZLS+xq1bt8O6AS4UprBsrM3NTY6PT+hVFZU4jg7DMpWHh0dUVcVsNgMkzFWI8k+HDquM1SD8+LeKQ2SrrwIkErNh88l4zPb2Nr1Bn/17d2m9p47L1alzaREVIzyXQm+a69GQ8/VFq+gtxmX/otatTc7cATg+DoHc2WxWnN8yf0ipgHKm7WXNmRQghrD6UjQSTsJEo17dY320hqsck+mM+/fuc3x8TK/ucfXqVfb2drhxc5JKBECutNnG0YtNIAoNCLeu0bN1RbtOT2ccHJywu7tHVdXcvn2btrW+ziWqUw57YEmsKqSLw440f0Ftf5diAiXZh//HRc9j+xbNIgXHc2E6YTjoc/XqVbZ2NoGW8ckxm+vb3Lp5h8l0WmQhZadgEUd5VitoPB4jEiQyxGohKaI+Ft4Tdne2YobVLMp/iheHxMqr49Mx45NTNjc3ojFXHCGT6+atW1EW1OhwdGTfYfXxqjNFROQfiMgdEfl4sW1PRH5SRH4z/t0tPvsrIvIpEfmEiPzR19KIrIOadJN1UZGchaLqmc3n3Nm/y539u8xn8xiAbZPms3S8BknHx7TA8hre+5gloym903K2jdRMAlD1jMenTCbTlCYaEoDkTPslSU9G+pYfY7n8YCSd779t2nS+S5cvM5svuHnjZpoBvGgaHhwchPTEzc3oDUsi1ZCLn7P62zbcm4+rWNnIhuLPomm4ces2L37uOgcPDmkbH/slni+mxzZtg49lD7JWkSdw5fMX/aGasmJS6QKLK5zRPExSUh9kp/X1dZ5/5wtIz9H4BXXPsbe7w/37D3jw4CAaDTOgLmU9OZe1dyDWvRcWbRMD47EUtHNUVUVdVfTTDF9J7RCBwaDPZDIJIxWUyXSGF2Fnb4/Lly9zfHzE4cFBGolIlNA60u+w6ngtUwP/IfCeM9veD/yUqn4h8FPxPSLyLuDrgN8Vj/n7EqKerwkp/zkGOY01LQdeRHA4nIZiapKIJOuoeX+XjgnnztKRvQ7pjRozbOKEo0j8OR88677mzZelF8AmOuXrGLO2adJPNiqh3o1PxBqvEM7tKjxw48bN5P36GIuYTCao96yvrafgo0Dyji0wW7bNVfZZICQrKe0EqkpxeE7HY04nY3xsl036SnGI2M9VUcLZAuLpmVnt/GKUE59o6sMk17BskCHnsA/6NU89dYX79x9w7beuI+pwrsf9B0fcu3c/SXZnjTewlIKqPjgBlv/vVWnaJm/zoV+Tbh+fmTgXVi6zeRjxOc3nc27fvk3TtpxMTrl163ZYSCcaNruRLg+/w6rjVSUdVf1ZEXnhzOb3Au+Or78f+BngL8ftH1HVGfBZEfkU8KXAv3zUNRIRFBKJkWyoGmyEapOLCN570sGzd5kmbsnyFUyOQIP3Z8SrxIJZaRHzpIMksjYjZLIG2ESnLBOVywca8UQFJ7RArGRvyPe3QmfOrqmwvjbi3v5d5lHTtjpA4GmaBUdHx2xtbyWdW9FAPEnyIs52zV62Nbmkorw6FVEOKshbSEHx1vs0WQo0pc5mTd6INxdTswdnhkeKoHuovgYq1j+xpEb0vBvf8uLnXowpqMJLN27RtA3HRyc4Eao6SnaaDaXdmM3IRXNhu6UaPrGdVm5DBCbTCVVVsbW5SdM0zOfzsBRlWk9BEAkjutlsymw+SzKcEGMiPlzLo3R832HV8UY1/CuqehNAVW+KyOW4/RngXxX7XY/bXhOyXp8JUznD3mJDeMmraYQPlqSgJCFAKoccvFHz8KukGyu50Bokyl8KPFLo8N77FEQONd+XvdYctLUmS/qbJha5isAW4Wqj4YDNjTVu3d633kj3aaR5dHzMxtYWw+EwlX1Ick2Sv3xqZxjRaCJf9XGOQCLk3J4sTxGMiAujqaTfp5uxZ7WkWUUdm6TDp3VqBXzr00jE+ijXPQq1hlpi8Tfn0+Is+3fvptO3qstttu+AECbeueW1B2wkZ05CkH/ybFsQmqbh6PhoyVB7lDqtpLYcP3JIXgOheKZpdNMpOh1WHG920PZhX/mH+j0i8j7gfQAXq6pgyRCEs2JqCsEzLE5tXnWSW8rMFA2ph6Yxlwudm36shZEoA7nmqToxkpdE/Kbp+3a5EJrJP0nDlZd7enmor0X9/RzgFYG19TWOj49DgTENAURrH5FoZrMZ169fYzFfLGXKhGuAyCtN7zdS52X9JSLgXdEHLOns2dPN8QdbZD3sWsg2ZElLXK5Y6ao67SMSJqfZqKpsb1qnQEhrBJulzWSq+aoavwtuOY6QbZCm7Csz1JaCGt6TjET0EbBspypVQLWJWj5LYhaP0VxSucUz7NVLo60OHVYNb5Twb4vI09G7fxq4E7dfB54r9nsWuPGwE6jqB4EPAnz+YKDqfST4GDxUD0k3JhFsPBZbpckCjDnn3ecgrpFUUe7WxcJsXtvEa4kiopyhbZ6GX8Ufd+Bdl3R1UQH1thpuQUiSAonW1vRJJNyltVlRBr0+VVVx7+AwyQ3J4/ZWEyYQctO0RX2e4HdCUXHUvHkNdYOCwXQhZ101GKQkySyPYlzMksq+fl7opdTNWxpsMplKHtnkNYZ9lM7i+dWnZ5EC8C5mKXlfFH3zSa6ykUFpnEUklYAgeuo+LjZrawmUAWoRARcJOS6bWc6NsLYqYaUwO96roo2NCKUYQVjfYq5ISiOuxKV5DZ2202FV8Ubruf4Y8I3x9TcC/1ex/etEZCAi7wS+EPj5Vz2baboSio7VdciiMKfc5IokU2jODw/6b5VyzKuqSuUDbHgfMjhcsWhI4bmebUgkiqX946fJiyQTxlIg09bZPfuPMvMnkKgFdEWE0doaR8fHNL4NWnAkFe9NSrJj8wIeIf0yEPSSpyzhBoNBzEbDm1Zu0kZ5Y+R1aSUaImeFzpwL3nrKcHE4VyVytxIIJh8hpOdxVvaxQHkqnaxleifpPKk6qYBYDEGCyWvahqZpihGSpvkUFggvZaicxRQuYs/C23PBRgJl4bQc4FYf6ulbRld6xoQYT6thzeDW+5Qa26HDquJVPXwR+TDwbuCiiFwH/irwncBHReSbgM8BXwugqr8mIh8F/j3QAP+tqrav2gqN0osjVDZ0FRJng1ogsKpcmGlKliaMSMzjNl095VwnA5E1aq9+6Tdp3mzScaOuXLkqzjIthZOAqqpS5UmTB9SHqfx2Q66o6QMkWcBeS9TmN9bXWTQNk8mMlPGy5KlnCcq877YNaZzERdEtMyVJS6Zbk8kUSHJJVK9S8DN0puXvm1SlS8dlWUSLEYxiK2whpBIV2CihiMfkVcMk/t+INY8cHva9sMXYbeYwmtckSOdB8nKRftnTN6NdSbUsOMZbT4Yp3YYUMQ57llUhieURnDXbvos59bYj/Q6rCVkFvfE55/Rb1tcQoI71ygH6dY86phb26jp5g+YlGhHaj1qtOFgkGuckygIBJh20PtugFKotDUL8xElOTVz6TCRVlUyBYUr5pshMMX2CMnYQ0kA31tbwqkwm06CNO5cNkuTsoZTzHuGMKAtCUzQRupGWGbo6TiZql1blyhOibERUprbmUsvB2zWCTlU9sWyZsg8kGbIcTM5ecx71sGRA0rOJfWhUKyJxYROXODQHoYkjOCJBh0ILmYTNf8/59dZG8/LDQ8qjDIrrImbo7BHme0/n1ywlobBoG37z2o2U9dShw+PGB+CXVPX3v9b9V2KmbavK4cl4aZuc2ceyPMJroYpEV9cVdV0jqtR1Ta+uQyDNBb0XDTNZ+/0eTu0cUe6BEEA0icMvB0JNZsjSjAkeEmYFR89QYg2VYimScHxaTpBlz5RgPManp1E6CPullbdiE1pt0xVRWdLybQ6CL0io7LQyONt4j8TrWOtSCqwTGl+svhWNVCDSLItYmwSJ2ZUvJ7XSU7ZntrT0YzHSgnJUkWWypdiFhBTWQL5lnMba7rKBEBCpkjE3A5VGB2ojDI2F+mIVVfJaBGUMJHn8MchstlvJun3sKWzUouUD6NBhBbEShP8wnKUT01gVoBSJ5vllSSXlTy//8EMQNkwsCkahdi7keFcVo+Eg/aBrMxYxRlAGRS1V0phmKcOF6B2LhDo2Lo8OTO82z9iXdylLbFycK6cYWsA3SSqFNGL6e8rASX2RYwJhe07VdHEkFUo15IwlyKs/OXEp0iPRUFpjLIYgmttTdr4ZnRwcLspOQKhuWsRVcmwmtM885RRQ1lwW2gg8jLLsHmx5Ql8UNgvBaxu9CIRCbc5iQi6VSBARtG1zfEJsTQGlafO6whpvLt12HHFNZ/MuXtthpbGyhP8wPOq3JGf2KfdVVXwbrMSibZHFYmmfs8eKyRyRac2jC+V0BylI26uj4RBHPy5gLRJqwaQsjhQXj8FmdImkMylGD9xn791IKHmwkbzLgLV5r7ZilV1PKaqOKkkCSx6tj4ubkzk8nsKEkHBeyoXbTf7PvVx63Fn0N8L2WRIhBIYt4Gr7qs9LAyqm93tm80Xqz5TNU0o5hPUE8nmyhGPP0GuemXs28FMa6Ols9qpEndYLjg0tlB5rUjLOHTqsKt5ShP8ovJ4f2tl9X/Zeg8xkb9KAooXZonnkuYOc5FJcoK5cGg30614iiOGgnwKuvV4PF8lq2O+lUcHShK2oJ0iMUUhsuH1mSyaajt5GT7Vt20SeRtDmdRu1W4ZJygaKViClXqrS+DYQ7NlOs1hBHBU0TZM+sCCzndI84aZtl0cxD+nHtognrDQ6hu/wFsJKBG1F5Bj4xJNuxwrgInD3STfiCaPrg4CuH7o+gFfvg+dV9dJrPdmqePifeD2R5rcrROQXz3s/dH0Q0PVD1wfw5vfBG5141aFDhw4d3mLoCL9Dhw4dzglWhfA/+KQbsCLo+qHrA0PXD10fwJvcBysRtO3QoUOHDo8fq+Lhd+jQoUOHx4wnTvgi8h4J699+SkTe/6Tb87ggIs+JyD8TkV8XkV8Tkf8+bn9T1wd+K0BEKhH5tyLy4/H9eeyDHRH5YRH5jfid+APnrR9E5H+Iv4WPi8iHRWR4HvpA3qR1wkXk94nIr8bPvkdy3ZJXxkPL+f42/QMq4NPA5wF94N8B73qSbXqM9/o08CXx9SbwSeBdwHcB74/b3w/8zfj6XbE/BsA7Yz9VT/o+3qS++BbgHwE/Ht+fxz74fuAvxNd9YOc89QNhJbzPAqP4/qPAnz0PfQD8IeBLgI8X2173fRNKz/8BwrzG/xv4z17t2k/aw/9S4FOq+hlVnQMfIayL+7aDqt5U1X8TXx8Dv0740r+X8OMn/v0T8fV7iesDq+pnAVsf+C0NEXkW+Grge4vN560Ptgg/+u8DUNW5qh5wzvqBMA9oJCI1sEZYLOlt3weq+rPA/TObX9d9S1h4aktV/6UG9v9Qccwr4kkT/jPAteL961oD960KCYvC/17gX3NmfWCgXB/47dg33w38T6SK9MD564PPA/aB/zNKW98rIuuco35Q1ZeAv0VYT+MmcKiqP8E56oMzeL33/Ux8fXb7I/GkCf9hmtPbOm1IRDaAHwH+oqoePWrXh2x7S/eNiPwx4I6q/tJrPeQh297SfRBRE4b0/7uq/l5gTBjGvxLedv0QNer3EmSKq8C6iHz9ow55yLa3dB+8RrzSfb+h/njShP+a18B9O0BEegSy/yFV/dG4+XYcniFvcH3gtxD+IPA1IvJbBPnuK0TkBzlffQDhvq6r6r+O73+YYADOUz/8YeCzqrqvqgvgR4H/mPPVByVe731fj6/Pbn8knjTh/wLwhSLyThHpA19HWBf3bYcYQf8+4NdV9W8XH7256wOvMFT1r6jqs6r6AuFZ/7Sqfj3nqA8AVPUWcE1Efkfc9JWEZUHPUz98DvgyEVmLv42vJMS1zlMflHhd9x1ln2MR+bLYf99QHPPKWIGI9VcRMlY+DXzbk27PY7zPLycMuX4F+OX476uAC8BPAb8Z/+4Vx3xb7JdP8Boi8G+lf8C7yVk6564PgP8Q+MX4ffjHwO556wfgA8BvAB8HfoCQifK27wPgw4S4xYLgqX/TG7lv4PfHvvs08PeIE2kf9a+baduhQ4cO5wRPWtLp0KFDhw6/TegIv0OHDh3OCTrC79ChQ4dzgo7wO3To0OGcoCP8Dh06dDgn6Ai/Q4cOHc4JOsLv0KFDh3OCjvA7dOjQ4Zzg/wPMRoW11lGcEgAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "for i in np.random.choice(range(len(train_data)),2):\n",
    "    img, text, encoded_text, _ = train_data[i]\n",
    "    plt.imshow((img.numpy().transpose(1, 2, 0) + 1) / 2)\n",
    "    plt.plot()\n",
    "    plt.title(text)\n",
    "    plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "class BaselineModel(nn.Module):\n",
    "    def __init__(self, num_outputs):\n",
    "        super().__init__()\n",
    "        #input: Bx3x128,1024\n",
    "        self.encoder = nn.Sequential(*[\n",
    "            nn.Conv2d(3, 64, kernel_size=(3, 3), padding=1),\n",
    "            nn.ReLU(),\n",
    "            nn.MaxPool2d(kernel_size=(4, 2), stride=2),\n",
    "            nn.Conv2d(64, 128, kernel_size=(3, 3), padding=1),\n",
    "            nn.ReLU(),\n",
    "            nn.MaxPool2d(kernel_size=(4, 2), stride=2),\n",
    "            nn.Conv2d(128, 256, (3, 3), padding=1),\n",
    "            nn.ReLU(), \n",
    "            nn.Conv2d(256, 256, (3, 3), padding=1),\n",
    "            nn.ReLU(),\n",
    "            nn.ConstantPad2d([0, 0, 2, 1], 0.0), # same padding for maxpool2d\n",
    "            nn.MaxPool2d(kernel_size=(4, 1), padding=0), # pool_4\n",
    "            nn.Conv2d(256, 512, (3, 3), padding=1),\n",
    "            nn.ReLU(), \n",
    "            nn.BatchNorm2d(512),\n",
    "            nn.Conv2d(512, 512, (3, 3), padding=1),\n",
    "            nn.ReLU(),\n",
    "            nn.BatchNorm2d(512),\n",
    "            nn.ConstantPad2d([0, 0, 1, 2], 0.0), # same padding for maxpool2d\n",
    "            nn.MaxPool2d(kernel_size=(4, 1), padding=0), \n",
    "            nn.Conv2d(512, 512, (2, 2)), # 512x1x255 CxHxW\n",
    "            nn.ReLU(),\n",
    "        ])\n",
    "        \n",
    "        self.rnn = nn.Sequential(*[\n",
    "            nn.Dropout(0.2),\n",
    "            nn.GRU(input_size=512, hidden_size=256, bidirectional=True, dropout=0.2, batch_first=True, num_layers=2)\n",
    "        ])\n",
    "        self.final = nn.Linear(512, num_outputs)\n",
    "    \n",
    "    def forward(self, x):\n",
    "        output = self.encoder(x) # Bx512x1x255\n",
    "        output = output.squeeze(dim=2).transpose(1, 2) # BxLxC\n",
    "        output = self.rnn(output)[0]\n",
    "        logits = self.final(output)\n",
    "        return logits"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [],
   "source": [
    "model = BaselineModel(num_outputs=num_outputs)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [],
   "source": [
    "# from torchsummary import summary\n",
    "# summary(model, input_size=(3, 128, 1024), device=\"cpu\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "torch.Size([1, 255, 61])"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model(torch.rand(1, 3, 128, 1024)).shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [],
   "source": [
    "criterion = nn.CTCLoss(blank=0, reduction=\"none\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [],
   "source": [
    "optimizer = optim.Adam(model.parameters(), lr=1e-3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "BaselineModel(\n",
       "  (encoder): Sequential(\n",
       "    (0): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))\n",
       "    (1): ReLU()\n",
       "    (2): MaxPool2d(kernel_size=(4, 2), stride=2, padding=0, dilation=1, ceil_mode=False)\n",
       "    (3): Conv2d(64, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))\n",
       "    (4): ReLU()\n",
       "    (5): MaxPool2d(kernel_size=(4, 2), stride=2, padding=0, dilation=1, ceil_mode=False)\n",
       "    (6): Conv2d(128, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))\n",
       "    (7): ReLU()\n",
       "    (8): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))\n",
       "    (9): ReLU()\n",
       "    (10): ConstantPad2d(padding=[0, 0, 2, 1], value=0.0)\n",
       "    (11): MaxPool2d(kernel_size=(4, 1), stride=(4, 1), padding=0, dilation=1, ceil_mode=False)\n",
       "    (12): Conv2d(256, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))\n",
       "    (13): ReLU()\n",
       "    (14): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "    (15): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))\n",
       "    (16): ReLU()\n",
       "    (17): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "    (18): ConstantPad2d(padding=[0, 0, 1, 2], value=0.0)\n",
       "    (19): MaxPool2d(kernel_size=(4, 1), stride=(4, 1), padding=0, dilation=1, ceil_mode=False)\n",
       "    (20): Conv2d(512, 512, kernel_size=(2, 2), stride=(1, 1))\n",
       "    (21): ReLU()\n",
       "  )\n",
       "  (rnn): Sequential(\n",
       "    (0): Dropout(p=0.2, inplace=False)\n",
       "    (1): GRU(512, 256, num_layers=2, batch_first=True, dropout=0.2, bidirectional=True)\n",
       "  )\n",
       "  (final): Linear(in_features=512, out_features=61, bias=True)\n",
       ")"
      ]
     },
     "execution_count": 26,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.cuda(0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [],
   "source": [
    "def train_model():\n",
    "    model.train()\n",
    "    for batch_idx, (images, _, targets, target_lengths) in enumerate(tqdm(train_loader)):\n",
    "        images, targets, target_lengths = images.cuda(), targets.to(torch.int32).cuda(), target_lengths.to(torch.int32).cuda()\n",
    "        optimizer.zero_grad()\n",
    "        logits = model(images).transpose(0, 1)\n",
    "        loss = criterion(F.log_softmax(logits, dim=-1), targets, torch.ones_like(target_lengths) * 255, target_lengths).mean()\n",
    "        loss.backward()\n",
    "        optimizer.step()\n",
    "        if batch_idx % 100 == 0:\n",
    "            print(f\"loss: {loss.item():.5f}\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [],
   "source": [
    "def val_model():\n",
    "    model.eval()\n",
    "    num_items = 0\n",
    "    loss_accum = 0.0\n",
    "    total_chars = 0\n",
    "    error_chars = 0\n",
    "    total_words = 0\n",
    "    error_words = 0\n",
    "    with torch.no_grad():    \n",
    "        for batch_idx, (images, texts, targets, target_lengths) in enumerate(tqdm(val_loader)):\n",
    "            images, targets, target_lengths = images.cuda(), targets.to(torch.int32).cuda(), target_lengths.to(torch.int32).cuda()\n",
    "            logits = model(images).transpose(0, 1) # LxBxT\n",
    "            loss = criterion(F.log_softmax(logits, dim=-1), targets, torch.ones_like(target_lengths) * 255, target_lengths)\n",
    "            loss_accum += loss.sum().item()\n",
    "            num_items += len(texts)\n",
    "            labels = logits.argmax(dim=-1).detach().cpu().numpy().transpose(1, 0)\n",
    "            for i, encoded_text in enumerate(labels):\n",
    "                ref = texts[i]\n",
    "                total_chars += len(ref)\n",
    "                hyp = encoder.decode_ctc(encoded_text.tolist())\n",
    "                error_chars += editdistance.eval(hyp, ref)\n",
    "                total_words += len(ref.split())\n",
    "                error_words += editdistance.eval(hyp.split(), ref.split())\n",
    "                if batch_idx == 0:\n",
    "                    print(f\"ref: {ref}\")\n",
    "                    print(f\"hyp: {hyp}\")\n",
    "            \n",
    "            \n",
    "    loss_accum /= num_items\n",
    "    print(f\"loss: {loss_accum:.5f}\")\n",
    "    print(f\"CER: {error_chars / total_chars * 100:.2f}%, WER: {error_words / total_words * 100:.2f}%\")\n",
    "    return loss_accum"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [],
   "source": [
    "reduce_lr = optim.lr_scheduler.ReduceLROnPlateau(\n",
    "    optimizer, mode='min', factor=0.7, patience=5, min_lr=1e-5, verbose=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {
    "collapsed": true,
    "jupyter": {
     "outputs_hidden": true
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "==================================================\n",
      "epoch: 1\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "04483b3ca88f4c1b82e6309cf6e3315d",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 918.61859\n",
      "loss: 92.40459\n",
      "loss: 96.50011\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "c5f4023a7e5945258aadae7797ed6649",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: \n",
      "ref: i тако пѣхота далее\n",
      "hyp: \n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: \n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: \n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: \n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: \n",
      "ref: зит\n",
      "hyp: \n",
      "ref: пѣхотою удержат\n",
      "hyp: \n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: \n",
      "ref: ет указ не описываяс всту\n",
      "hyp: \n",
      "ref: ного и возна в заключе\n",
      "hyp: \n",
      "ref: и протчег\n",
      "hyp: \n",
      "ref: 1\n",
      "hyp: \n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: \n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: \n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: \n",
      "ref: заранѣе\n",
      "hyp: \n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: \n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: \n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: \n",
      "\n",
      "loss: 89.03322\n",
      "CER: 100.00%, WER: 100.00%\n",
      "loss: best 89.03322 | cur 89.03322\n",
      "==================================================\n",
      "epoch: 2\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "8a0a8f8d6c1c49c684c2f38a7ba837e5",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 94.01183\n",
      "loss: 94.62207\n",
      "loss: 80.00114\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "fbac22ebc9b9486cbe68f2bfadbccb1a",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: \n",
      "ref: i тако пѣхота далее\n",
      "hyp: \n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: \n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: \n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: \n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: \n",
      "ref: зит\n",
      "hyp: \n",
      "ref: пѣхотою удержат\n",
      "hyp: п\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: \n",
      "ref: ет указ не описываяс всту\n",
      "hyp: \n",
      "ref: ного и возна в заключе\n",
      "hyp: \n",
      "ref: и протчег\n",
      "hyp: \n",
      "ref: 1\n",
      "hyp: \n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: \n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: \n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: \n",
      "ref: заранѣе\n",
      "hyp: \n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: \n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: \n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: п\n",
      "\n",
      "loss: 85.45882\n",
      "CER: 99.70%, WER: 100.00%\n",
      "loss: best 85.45882 | cur 85.45882\n",
      "==================================================\n",
      "epoch: 3\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "1d994cf437604d7ba1ad14e02a1d5080",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 91.30945\n",
      "loss: 89.61847\n",
      "loss: 59.89921\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "29790179a0dc406d94307359aac3f007",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: з\n",
      "ref: i тако пѣхота далее\n",
      "hyp: тако гѣсатал\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: рилуттоотя нквадуот\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: ылнурагъ пи кетъ iтого\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: отанмелнмо отквот\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: лъ iлутсяколу свые\n",
      "ref: зит\n",
      "hyp: ат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пъяотогудст\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: на чдеело кетнекодлл\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ку коанео пингагт\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного вонаъзапяче\n",
      "ref: и протчег\n",
      "hyp: i прк\n",
      "ref: 1\n",
      "hyp: \n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: пота зода носно iноворостыыни олг\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: орлыво чуя съюдыприѣлоогчаао\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: погротоенноду полоклъ\n",
      "ref: заранѣе\n",
      "hyp: заралуѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: тобналимоде норунео\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: олы которойлиу iотдачотукоо\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: доовойкдестленлосечо\n",
      "\n",
      "loss: 43.17083\n",
      "CER: 48.86%, WER: 97.60%\n",
      "loss: best 43.17083 | cur 43.17083\n",
      "==================================================\n",
      "epoch: 4\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "a2bc7a2487614ea998e4f61d5644ada8",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 46.95247\n",
      "loss: 35.22832\n",
      "loss: 25.01386\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "3b4c5589cf374003a5f589d5dd04354b",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: i\n",
      "ref: i тако пѣхота далее\n",
      "hyp: iтсакопѣротсадалеа\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тобхотя шквадруот3\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рылъ нуъдаръпишетъ iтобва\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: стобманѣмоепысмо поттворит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ iлутча вся кому своей\n",
      "ref: зит\n",
      "hyp: ат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотогудеружат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: намюдедзенодокуает адднакождоя\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указневпивы ваядвсту\n",
      "ref: ного и возна в заключе\n",
      "hyp: нотгоавознавза пнюче\n",
      "ref: и протчег\n",
      "hyp: япротзе\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: потязодал ностю i ноърентаными отнв\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: орвъллюврх чмоябѣды приѣхал вчтрат\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: гобудартвенных дѣлположут навъ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтобнашим людем наостровѣ неноб\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: томы котороймир iотдачютуркоробѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: одусговойсъдержат немо сжено\n",
      "\n",
      "loss: 22.32119\n",
      "CER: 25.96%, WER: 89.02%\n",
      "loss: best 22.32119 | cur 22.32119\n",
      "==================================================\n",
      "epoch: 5\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "6d9f7d515a0c45ff99018428bfd4e8e9",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 15.55365\n",
      "loss: 15.53091\n",
      "loss: 16.77835\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "f844106855594c4b9269ae1449553834",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: +\n",
      "ref: i тако пѣхота далее\n",
      "hyp: iiтакопѣотадалее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тобхотя шы вадру от7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: фылъ нужъдалъ пишетъ i товы\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтеб мнѣ мие писмо пот творит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ iлут че всякому своей\n",
      "ref: зит\n",
      "hyp: 2ат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: ним здесзелоде кусает ад накож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: етуказнеопивы влаяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: нотго я возна в запиюче\n",
      "ref: и протчег\n",
      "hyp: i ппотче\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотия задал ностию i ноърестиными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляювъм чтуя бюды приѣхал вчелас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: гобудорсвенных дѣл положит навъ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашилюдем наостровѣ нен ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: чтомы котороймир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: дусговойскъдержат не може но\n",
      "\n",
      "loss: 15.23574\n",
      "CER: 17.23%, WER: 73.62%\n",
      "loss: best 15.23574 | cur 15.23574\n",
      "==================================================\n",
      "epoch: 6\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "e4b529d7ed864edb8ca603320e7e351a",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 18.16852\n",
      "loss: 10.93688\n",
      "loss: 10.23026\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "cc9f14e80aa14ef3b5921dc782e56862",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: +\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхотадале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру от7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхънужъ далъ пишетъ i то вы\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое пысмо пот тверди\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: анъ iлутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зелодо кучает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: е указнео пикы влаяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного нвозна в запиюче\n",
      "ref: и протчег\n",
      "hyp: i протче\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i наърестаны ми отмѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю въм чмтоя сюды приѣхай вчела\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положжит навъ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i огдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: дусго войскъ держат не мо жже но\n",
      "\n",
      "loss: 13.34605\n",
      "CER: 14.87%, WER: 66.27%\n",
      "loss: best 13.34605 | cur 13.34605\n",
      "==================================================\n",
      "epoch: 7\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "7087a5bd6187402a90810dbd109d2bc6",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 10.36151\n",
      "loss: 10.87379\n",
      "loss: 6.71208\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "84af374ffe0c4ced86942dfcad0d8020",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: +\n",
      "ref: i тако пѣхота далее\n",
      "hyp: iтакопѣхоттадалее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тобхотя шквадру от3\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рылъ нужъдало пишетъ i тогы\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо пот тверит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ iлутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здесзелодо кукает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: е указнео пиы влаяс ксту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного явозна взаниюче\n",
      "ref: и протчег\n",
      "hyp: i протзг\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i нпърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вам чтуя сюды приѣхал вчелас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: гобударственных дѣл положит навъ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим лудем наостровѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: дусго войскъдержат не можено\n",
      "\n",
      "loss: 11.78493\n",
      "CER: 13.62%, WER: 62.84%\n",
      "loss: best 11.78493 | cur 11.78493\n",
      "==================================================\n",
      "epoch: 8\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "53eccba1765f4533b72b51842f4ed4a1",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 10.00228\n",
      "loss: 8.67118\n",
      "loss: 14.41889\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "99e1eb8b06cb43e29809247e5bd30e39",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: +\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i такопѣхота дал\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тобхотя шквадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рылъ нужѣдалѣпишетъ i товъ\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое пысмо поттвердитт\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жжанѣ iлутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зеодо куает аднакождля\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы влаяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ногоа возна вза флюче\n",
      "ref: и протчег\n",
      "hyp: i проте\n",
      "ref: 1\n",
      "hyp: \n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i нпърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вам чтоя сюды приѣхал вчелас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: говударственных дѣл положит навъ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣнен ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы котороймир i огдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: дулго войскъ держат не можено\n",
      "\n",
      "loss: 11.45785\n",
      "CER: 13.16%, WER: 61.80%\n",
      "loss: best 11.45785 | cur 11.45785\n",
      "==================================================\n",
      "epoch: 9\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "088333e4c3e14eb987a033b1f22d1acd",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 9.86878\n",
      "loss: 12.50408\n",
      "loss: 8.10448\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "1b5409de68fa4401b79129d9f5bf2c8d",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: +\n",
      "ref: i тако пѣхота далее\n",
      "hyp: iа копѣхота дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тобхотя шк вадруот3\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыл нутъдалъ пишетъ i товъ\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣмое писмо пот твердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣлотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: наам здес зелодо куает адд накождля\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: е указнео пичываяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного мвозна  за пиюче\n",
      "ref: и протчег\n",
      "hyp: i протег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i наърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю въм чтв я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: го бударственных дѣл положит навъ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣ нен ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i огдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: дол го войскъ держат не можемно\n",
      "\n",
      "loss: 11.21093\n",
      "CER: 12.57%, WER: 60.10%\n",
      "loss: best 11.21093 | cur 11.21093\n",
      "==================================================\n",
      "epoch: 10\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "586ed2c8470c44e9b0a35c576b6726bb",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 5.38487\n",
      "loss: 6.37031\n",
      "loss: 6.22381\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "4925875565aa41e4a0aa2458dbb21719",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: +\n",
      "ref: i тако пѣхота далее\n",
      "hyp: iтако пѣхотта дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тобхотя шк вадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рылъ нужъ дапъ пишетъ i товы\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо потвордит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ iлутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам чдес зелодо куает аднакождля\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного и возна вза пнюче\n",
      "ref: и протчег\n",
      "hyp: i протег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i наърестаными отмѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вом что я сюды приѣхал в чеас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: посударственных дѣл положитна въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i огдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: догго войскъдержат не можено\n",
      "\n",
      "loss: 10.27166\n",
      "CER: 11.39%, WER: 55.44%\n",
      "loss: best 10.27166 | cur 10.27166\n",
      "==================================================\n",
      "epoch: 11\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "626dbf60b9c241849b5957562ad4ab6c",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 7.28935\n",
      "loss: 4.90610\n",
      "loss: 4.98490\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "ef50e7958e1f4badbfe83a9122180369",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: ю\n",
      "ref: i тако пѣхота далее\n",
      "hyp: iтако пѣхоттадалее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шк вадруот\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыръ нужъдаръпишетъ i товы\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердитт\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ iлутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удоржат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здей зелодо кучает анакождля\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: е указнеопиываяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного хвозна в заниюче\n",
      "ref: и протчег\n",
      "hyp: i протег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотязадал ностию i наърестаны ми отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вам что я сбюды приѣхал вчерас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: посударственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i огдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: дугго войскъ держат не можено\n",
      "\n",
      "loss: 10.78283\n",
      "CER: 11.94%, WER: 56.67%\n",
      "loss: best 10.27166 | cur 10.78283\n",
      "==================================================\n",
      "epoch: 12\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "1f91e93ecbe643b59c88fef5569e8f42",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 5.49748\n",
      "loss: 11.73168\n",
      "loss: 6.75179\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "80af9fe256ad4e75be5f88ff48cd5471",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: iта копѣха далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шк вадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дапъ пишетъ i то вы\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердитт\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: е указ неопичываяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного ивозна взакиюче\n",
      "ref: и протчег\n",
      "hyp: i протчег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i наърестаными отмѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вам чтоя сюды приѣхал вчелас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дъл паложит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком олѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: дулго войскъдержат не можеко\n",
      "\n",
      "loss: 10.74292\n",
      "CER: 11.63%, WER: 54.69%\n",
      "loss: best 10.27166 | cur 10.74292\n",
      "==================================================\n",
      "epoch: 13\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "7ec61a0f958040eca41b04c745b99225",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 2.86810\n",
      "loss: 9.79625\n",
      "loss: 3.73996\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "53061f335f694bf5a5eba9e5132e1af5",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхоттадалее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру от7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рылънужеъ дапѣ пишетъ i товы\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мкѣмое писмо поттвердитт\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ iлутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело докуает анакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопи[ы саяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного аворна в запиюче\n",
      "ref: и протчег\n",
      "hyp: i протег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i нпърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вам чтто я сюды приѣхал в чеас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отда чю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъ держат не можеко\n",
      "\n",
      "loss: 10.15962\n",
      "CER: 10.70%, WER: 51.53%\n",
      "loss: best 10.15962 | cur 10.15962\n",
      "==================================================\n",
      "epoch: 14\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "b6eb28442a954475a039798113a889b2",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 3.54429\n",
      "loss: 3.09270\n",
      "loss: 5.99617\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "b2c64206941a4264a7b17640e389056f",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: +\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i такопѣхота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъдапъ пишетъ i товъ\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттведит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зелодо куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указ неопи[ы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного авозна в запиюче\n",
      "ref: и протчег\n",
      "hyp: я протзе\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i наърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: оббявъляю вѣм чтоя сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: гобударственных дѣл положит но въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣ е\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим оюдем на островѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы котороймир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъ держат не можено\n",
      "\n",
      "loss: 10.21947\n",
      "CER: 11.17%, WER: 53.04%\n",
      "loss: best 10.15962 | cur 10.21947\n",
      "==================================================\n",
      "epoch: 15\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "509679960d9b4672af4eb44b5f4eb211",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 4.77356\n",
      "loss: 3.91532\n",
      "loss: 11.20384\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "2c0d4d1988804a27ba404c4ad2a19e3b",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: iтако пѣхота дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шк вадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ далхъ пишетъ i то вы\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело дькуает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: е указнеопиы вая с ксту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а ворна в занлюче\n",
      "ref: и протчег\n",
      "hyp: i протг\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i наърестанымч отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю въм чтья сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: гобударственных дѣл положит навъ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣ не о\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы котороймир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: догго войскъ держат не можеко\n",
      "\n",
      "loss: 10.23270\n",
      "CER: 10.74%, WER: 51.91%\n",
      "loss: best 10.15962 | cur 10.23270\n",
      "==================================================\n",
      "epoch: 16\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "efadb10e5ad8457e827f851fb87b292c",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 3.24692\n",
      "loss: 3.87526\n",
      "loss: 5.93246\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "2512288ec43e4a2ebc15c387334ca169",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: +\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i та копѣхотта дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рихъ нужъ дахъ пишетъ i товъ i\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердитт\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зелодо куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнео пиы вая с всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного авозна в закиюче\n",
      "ref: и протчег\n",
      "hyp: i протег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задалностю i нпърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вѣм что я бюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: говударственных дѣл положит ни въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣ е\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣ не од\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: дул го войскъдержат не може ко\n",
      "\n",
      "loss: 10.79537\n",
      "CER: 11.06%, WER: 52.47%\n",
      "loss: best 10.15962 | cur 10.79537\n",
      "==================================================\n",
      "epoch: 17\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "1b8eca0299144ebf9ff225bc2fc2775c",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 7.39820\n",
      "loss: 2.82627\n",
      "loss: 5.42342\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "c2e6ca7b33424f51b3d586eba4c7b8b8",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: о \n",
      "ref: i тако пѣхота далее\n",
      "hyp: i такопѣхоттадале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шк вадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахъ пишетъ i товъi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает анакождля\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: е указне опиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в закнюче\n",
      "ref: и протчег\n",
      "hyp: i арот\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностю i нпъ рестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вам что я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: побударственных дѣл положит но въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: досго войскъдержат не можеко\n",
      "\n",
      "loss: 10.31333\n",
      "CER: 10.35%, WER: 49.93%\n",
      "loss: best 10.15962 | cur 10.31333\n",
      "==================================================\n",
      "epoch: 18\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "e450352a32ab4e6db63dc1ac7f63e099",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 11.46014\n",
      "loss: 5.08525\n",
      "loss: 3.83818\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "ab06eabb1f334fb0ab550492a89f0c11",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: iтакопѣхота дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут то б хотя шк вадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужоъ дахопишетъ i товы\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердиттт\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам чдес зело до кущает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указне опичы вая с всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в за пиюче\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задалностию i нпъ рестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вом что я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: говударственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: дуслго войскъ держат не можено\n",
      "\n",
      "loss: 10.17955\n",
      "CER: 9.98%, WER: 48.80%\n",
      "loss: best 10.15962 | cur 10.17955\n",
      "==================================================\n",
      "epoch: 19\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "09aeee3b9e4b44dda53a107e46096577",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 1.84441\n",
      "loss: 3.26517\n",
      "loss: 3.74127\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "a135e911da564f04bbd2d495409f4709",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: iта копѣхота дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шк вадру от7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рылъ нужъ дахѣ пишеть i то вы\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакождля\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указ не опиы влая с всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного к вѣзна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задалностию i нпрестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вѣм чттья сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: гобударственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: догго войскъ держат не можемко\n",
      "\n",
      "loss: 10.19439\n",
      "CER: 10.05%, WER: 49.88%\n",
      "Epoch    19: reducing learning rate of group 0 to 7.0000e-04.\n",
      "loss: best 10.15962 | cur 10.19439\n",
      "==================================================\n",
      "epoch: 20\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "4840802da4b4406988b45ef7f66d82f0",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 3.49684\n",
      "loss: 8.24225\n",
      "loss: 1.71354\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "09a0dbe359054056aa73e3b69ac4c622",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: iтакопѣхота дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут то б хотя шквадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахѣ пишетъ i товы\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо пот твердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i наърестаны ми отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вом чтоя сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит новъ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: дулго войскъдержат не можеко\n",
      "\n",
      "loss: 9.93346\n",
      "CER: 9.31%, WER: 45.69%\n",
      "loss: best 9.93346 | cur 9.93346\n",
      "==================================================\n",
      "epoch: 21\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "afe83e4c17b8468c996e4cf61fa5f25d",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 1.26905\n",
      "loss: 1.11911\n",
      "loss: 7.65961\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "faaf19551689463fa0c1edb7cbb23df5",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхотта дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахъ пишетъ i товъы\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердитт\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело докуает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы влаяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзе\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задалностию i наърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляювам что я сюды приѣхал в челас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: говударственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы котороймир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъдержат не можеко\n",
      "\n",
      "loss: 10.17782\n",
      "CER: 9.53%, WER: 47.76%\n",
      "loss: best 9.93346 | cur 10.17782\n",
      "==================================================\n",
      "epoch: 22\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "86134da08b554445be414719d1f12a29",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 7.85358\n",
      "loss: 2.25797\n",
      "loss: 4.38497\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "0e23438daac64ddfa5112c964d2ef5cf",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: i такопѣхота дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру от7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дапо пишетъ i товыі\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердитт\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело докуает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указ не опиы влаяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного авозна в закнюче\n",
      "ref: и протчег\n",
      "hyp: i прот\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i нпърестаны ми отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляювам что я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит навъ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком осѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъ держат не можеко\n",
      "\n",
      "loss: 10.51647\n",
      "CER: 9.80%, WER: 47.24%\n",
      "loss: best 9.93346 | cur 10.51647\n",
      "==================================================\n",
      "epoch: 23\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "c6b9ef9c61364ebd8649b28bff15472f",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 1.11559\n",
      "loss: 0.85262\n",
      "loss: 2.55230\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "02f62bfb2a77461185cc4a3676468aa3",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: iта ко пѣхота дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут то б хотя шква дру от7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ ну жъ дахо пишетъ i то выi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело докуает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиывлаяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задалностию i нпърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вѣм что я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отда чю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: дослго войскъ держат не можемно\n",
      "\n",
      "loss: 10.61367\n",
      "CER: 9.52%, WER: 46.91%\n",
      "loss: best 9.93346 | cur 10.61367\n",
      "==================================================\n",
      "epoch: 24\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "24443de945ef4aa09022262a7598d4ef",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 2.12099\n",
      "loss: 1.27306\n",
      "loss: 2.70405\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "a0e279d9eab14387bdaac8333160f594",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: i такопѣхтта дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нуъ дахо пишетъ i товы\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указ неопиы влая с всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна взаключе\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задалностию i непърестаны ми отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вам чтть я сюды приѣхал вчерас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: говударственных дѣл положит навъ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣ нен ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъ держат не може но\n",
      "\n",
      "loss: 10.79522\n",
      "CER: 9.29%, WER: 45.64%\n",
      "loss: best 9.93346 | cur 10.79522\n",
      "==================================================\n",
      "epoch: 25\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "3bab3f199d0c4444a064d659b11795df",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 1.09473\n",
      "loss: 7.06062\n",
      "loss: 7.82104\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "2f51c5e7b85346ea916607c6d85a8cbf",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp:  \n",
      "ref: i тако пѣхота далее\n",
      "hyp: i такопѣхота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотяшквадру отц7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ далъ пишетъ i то въi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердитт\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до кущает аднакождля\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиываяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзг\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотязадал ностию i нпърестаны ми отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляювѣм чть я сюды приѣхал вчерас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: говударственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣне ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком осѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъ держат не можено\n",
      "\n",
      "loss: 10.81482\n",
      "CER: 9.36%, WER: 45.27%\n",
      "loss: best 9.93346 | cur 10.81482\n",
      "==================================================\n",
      "epoch: 26\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "f19decb19415479eb7cb7113df1a64f1",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 1.41487\n",
      "loss: 1.00458\n",
      "loss: 3.65977\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "7949567aaa93439d856f62d3dd0a441b",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: iтакопѣхта дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут то б хотя шквадру от7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ ну жъ дапхъ пишетъ i товъ i\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает адднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы влаяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в закиюче\n",
      "ref: и протчег\n",
      "hyp: i протчег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i наърестаны ми отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вѣм чть я сюды приѣхал в челас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: говударственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъ держат не може ко\n",
      "\n",
      "loss: 10.79803\n",
      "CER: 9.37%, WER: 45.83%\n",
      "Epoch    26: reducing learning rate of group 0 to 4.9000e-04.\n",
      "loss: best 9.93346 | cur 10.79803\n",
      "==================================================\n",
      "epoch: 27\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "5f9509dcca054d3a9b8c406b22019de5",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.71958\n",
      "loss: 0.54880\n",
      "loss: 0.69118\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "437118b77b4d43f69bbe2cc9f6d3e9b7",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: i+ \n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхота дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут то б хотя шква дру от7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахо пишетъ i тово i\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зиат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы влаяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i наърестаны ми отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вѣм что я сюды приѣхал в челас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: договойскъ держат не може но\n",
      "\n",
      "loss: 10.93746\n",
      "CER: 8.93%, WER: 43.71%\n",
      "loss: best 9.93346 | cur 10.93746\n",
      "==================================================\n",
      "epoch: 28\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "68d77f79e6554028b873dc1bf1bba23e",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.82367\n",
      "loss: 0.42145\n",
      "loss: 0.61567\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "44f03ff551494ce5aa5322ecba9b15dc",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхота дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут то б хотя шквадру от7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахо пишетъ i товыi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердитт\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указне опиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного авозна в запию че\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i наъростаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вѣм чть я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит навъ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣне ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъ держат не можено\n",
      "\n",
      "loss: 11.37498\n",
      "CER: 9.00%, WER: 43.62%\n",
      "loss: best 9.93346 | cur 11.37498\n",
      "==================================================\n",
      "epoch: 29\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "7613cf5166c64b53acf99449f997ac10",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.84261\n",
      "loss: 0.66631\n",
      "loss: 0.73240\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "4d6e57cf483e40c89332f5725151836d",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: i такопѣхота дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут то б хотя шква дру от7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъну жъ дахѣ пишетъ i товъi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердитт\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жжанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до кукает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а вѣзна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i наърестаны ми отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляювѣм чтья сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: догго войскъдержат не можено\n",
      "\n",
      "loss: 10.79638\n",
      "CER: 8.58%, WER: 43.05%\n",
      "loss: best 9.93346 | cur 10.79638\n",
      "==================================================\n",
      "epoch: 30\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "63a74729068b4ac58ab41023e07ecf10",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.66759\n",
      "loss: 2.55818\n",
      "loss: 1.01402\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "71f3dfdc75a94118909d8bd72ea5544f",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: i \n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхота дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут то б хотя шквадру от7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъну сжъ дахо пишетъ i товьi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо пот твердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна взаплюче\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задалностию i наърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляювѣм чть я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъдержат не можено\n",
      "\n",
      "loss: 11.20479\n",
      "CER: 8.74%, WER: 44.84%\n",
      "loss: best 9.93346 | cur 11.20479\n",
      "==================================================\n",
      "epoch: 31\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "a7005b7363024fe58a99e785f9dfc67e",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.94066\n",
      "loss: 0.57095\n",
      "loss: 0.66996\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "450faa1c7a0a437ca5534516f44f65e0",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: i такопѣхота дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут то б хотя шквадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахъ пишетъ i товоi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣмое писмо поттвердитт\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнео пиы вая с вту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в заплюче\n",
      "ref: и протчег\n",
      "hyp: i прот\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотязадал ностию i наърестаны ми отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вѣм что я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъдержат не можем но\n",
      "\n",
      "loss: 11.57505\n",
      "CER: 9.06%, WER: 44.65%\n",
      "loss: best 9.93346 | cur 11.57505\n",
      "==================================================\n",
      "epoch: 32\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "fc06759e2cdd48c285a66d838f433a8e",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.37060\n",
      "loss: 1.44294\n",
      "loss: 0.47233\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "95eb678488dd45d2a93dae4175e7a235",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру от ц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахо пишетъ i товы i\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердитт\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в закиюче\n",
      "ref: и протчег\n",
      "hyp: i проте\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задалностию i наърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляювѣм что я сюды приѣхал в челас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъдержат не можем но\n",
      "\n",
      "loss: 12.28589\n",
      "CER: 9.14%, WER: 44.04%\n",
      "Epoch    32: reducing learning rate of group 0 to 3.4300e-04.\n",
      "loss: best 9.93346 | cur 12.28589\n",
      "==================================================\n",
      "epoch: 33\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "d88ec4dccac04491a3619d79409145e3",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 2.46184\n",
      "loss: 0.22417\n",
      "loss: 0.64724\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "79abf869b2484d419761546c6357d118",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: i такопѣхота дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шква дру отц7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахъ пишетъ i то въi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣмое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в заниюче\n",
      "ref: и протчег\n",
      "hyp: i протзе\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i наърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляювѣм что я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъдержат не можемно\n",
      "\n",
      "loss: 11.93555\n",
      "CER: 8.82%, WER: 43.52%\n",
      "loss: best 9.93346 | cur 11.93555\n",
      "==================================================\n",
      "epoch: 34\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "a5f254e4dbf1439c9013e9361f35e2ae",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.16141\n",
      "loss: 4.81899\n",
      "loss: 2.54572\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "7aef6dab63c94b9585bf58e265c14cf2",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: i такопѣхота дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру от7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ ну жъ дахъ пишетъ i то въоi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до кукает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: е указнеопиываяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в закиюче\n",
      "ref: и протчег\n",
      "hyp: i протзг\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i нпърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вѣм что я сюды приѣхал в челас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: гобударственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: догго войскъ держат не може но\n",
      "\n",
      "loss: 12.37794\n",
      "CER: 8.66%, WER: 42.77%\n",
      "loss: best 9.93346 | cur 12.37794\n",
      "==================================================\n",
      "epoch: 35\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "053d84fc0b6f443a99159ce5f644b54d",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 6.78614\n",
      "loss: 0.19919\n",
      "loss: 3.08058\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "3a039204a7474595b0ae0283852f7a46",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхота дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шква дру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахъ пишетъ i то въоi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы ваяс вту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в запиюче\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i нпърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляювѣм что я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обсѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъ держат не можено\n",
      "\n",
      "loss: 12.37565\n",
      "CER: 8.60%, WER: 43.01%\n",
      "loss: best 9.93346 | cur 12.37565\n",
      "==================================================\n",
      "epoch: 36\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "42670623e4d54d11846fad44dab2904a",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.18360\n",
      "loss: 0.36036\n",
      "loss: 0.46897\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "233bcb2d305c4e57afcb2d4dfd1e1033",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: i такопѣхотта далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ ну жъ дахъ пишетъ i товоi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в занлюче\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задалностию i наърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вом что я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъддержат не можем но\n",
      "\n",
      "loss: 12.66343\n",
      "CER: 8.73%, WER: 43.38%\n",
      "loss: best 9.93346 | cur 12.66343\n",
      "==================================================\n",
      "epoch: 37\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "3ac2ff9487f84eb9a3ddb967fb1e93a4",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.44080\n",
      "loss: 0.16627\n",
      "loss: 0.23287\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "ab37d305449f4534a9c20184c74c929e",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: i такопѣхота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахъ пишетъ i товъi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: е указнеопиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзг\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i непърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляювом чть я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: говударственных дѣл положит навъ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обсѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъдержат не можем но\n",
      "\n",
      "loss: 12.46476\n",
      "CER: 8.71%, WER: 43.10%\n",
      "loss: best 9.93346 | cur 12.46476\n",
      "==================================================\n",
      "epoch: 38\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "999890ee203a4fb9b499cc834469007e",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.13339\n",
      "loss: 1.73911\n",
      "loss: 0.37315\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "e7c7c38a525f4028a292bcf632ef54f7",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + т\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i такопѣхотта далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шква дру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нусжъдахъ пишетъ i товоi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает адднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы влаясвсту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного авозна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i нпърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляювам что я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: гобударственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣчне ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъдержат не можем но\n",
      "\n",
      "loss: 12.26705\n",
      "CER: 8.51%, WER: 43.43%\n",
      "Epoch    38: reducing learning rate of group 0 to 2.4010e-04.\n",
      "loss: best 9.93346 | cur 12.26705\n",
      "==================================================\n",
      "epoch: 39\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "f4b1dc26e3244049be0b2a39e6b877ac",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.17149\n",
      "loss: 6.44022\n",
      "loss: 1.61660\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "07e1d915cf564c0088d4cf92231fb08f",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + т\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дало пишеть i товоi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до кукает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в закиюче\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i нпърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вам что я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: говударственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣне ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъ держат не можем но\n",
      "\n",
      "loss: 12.42453\n",
      "CER: 8.51%, WER: 42.06%\n",
      "loss: best 9.93346 | cur 12.42453\n",
      "==================================================\n",
      "epoch: 40\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "e573421420c54a4f9af6685dd76531a8",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.22425\n",
      "loss: 0.10607\n",
      "loss: 14.44387\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "c1f1c053144a4b03a6e99f7a0f897166",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: i т\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нускъ далѣ пишетъ i товъi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает адднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: е указ неопиы влаяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного авозна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i нпърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляювъм чтоя сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: говударственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣне ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъ держат не можем но\n",
      "\n",
      "loss: 12.25334\n",
      "CER: 8.52%, WER: 42.39%\n",
      "loss: best 9.93346 | cur 12.25334\n",
      "==================================================\n",
      "epoch: 41\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "48a309eb27394823aad067f9bd3d624d",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.10672\n",
      "loss: 0.11770\n",
      "loss: 0.22719\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "1ff5a91e1fd74ca382fc0a5ee0855ead",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + т\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахъ пишетъ i товъi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо пот твердитт\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы влаяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в закиюче\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i нпърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вам что я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣчне ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъ держат не можено\n",
      "\n",
      "loss: 12.60958\n",
      "CER: 8.29%, WER: 41.17%\n",
      "loss: best 9.93346 | cur 12.60958\n",
      "==================================================\n",
      "epoch: 42\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "cc3835e2fbcf41dbaa5d8d559149f887",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 7.55851\n",
      "loss: 6.78367\n",
      "loss: 0.23272\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "6f0bb94e0aae4affbec8bec40591f7a9",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + нт\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру от7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахѣ пишетъ i то выi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указ неопиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного авозна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задалностию i непърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вом что я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: говударственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъ держат не можено\n",
      "\n",
      "loss: 12.87211\n",
      "CER: 8.59%, WER: 43.10%\n",
      "loss: best 9.93346 | cur 12.87211\n",
      "==================================================\n",
      "epoch: 43\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "4d283239957a4a5e878fea9d3d5b7ed9",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.13575\n",
      "loss: 0.13399\n",
      "loss: 0.16840\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "df2f880c617e46d59c6d9062e8d045f0",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + нот\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут то б хотя шквадру от7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахъ пишетъ i товъi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i непърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вом что я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣне ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъ держат не можем но\n",
      "\n",
      "loss: 12.86294\n",
      "CER: 8.31%, WER: 41.73%\n",
      "loss: best 9.93346 | cur 12.86294\n",
      "==================================================\n",
      "epoch: 44\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "8f6e1beac4fd45f686f44a1179acab03",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.12115\n",
      "loss: 0.11577\n",
      "loss: 0.08963\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "33c77fc5a65b443490c0ddd8f3c5c958",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + т\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру от7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахѣ пишетъ i товъi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указ не опиы влаяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного авозна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задалностию i непърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вѣм что я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: говударственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣне ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъержат не можем но\n",
      "\n",
      "loss: 13.05395\n",
      "CER: 8.47%, WER: 42.58%\n",
      "Epoch    44: reducing learning rate of group 0 to 1.6807e-04.\n",
      "loss: best 9.93346 | cur 13.05395\n",
      "==================================================\n",
      "epoch: 45\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "6be9aa253e034d41b0b0549d74a63340",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.17768\n",
      "loss: 0.08469\n",
      "loss: 0.13488\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "534e8b39e42149e08f0157bd7dd005b3",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + от\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру от7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахъ пишетъ i товъi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо пот твердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жжанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указне опиы влаяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задалностию i непърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вѣм что я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣне ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: догго войскъдержат не можено\n",
      "\n",
      "loss: 12.76560\n",
      "CER: 8.38%, WER: 42.91%\n",
      "loss: best 9.93346 | cur 12.76560\n",
      "==================================================\n",
      "epoch: 46\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "3a3591855588441cafe7a6bc92715f28",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.11719\n",
      "loss: 0.04978\n",
      "loss: 0.07535\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "a9c82d0078624d4fa7ec61030ec44ed7",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + нт\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣ хота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру отц7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахъ пишетъ i товъi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо пот твердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указ не опиы влаяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного авозна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзг\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задалностию i нпърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вѣм чтоь я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣне ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: доглго войскъдержат не може но\n",
      "\n",
      "loss: 12.88158\n",
      "CER: 8.42%, WER: 42.82%\n",
      "loss: best 9.93346 | cur 12.88158\n",
      "==================================================\n",
      "epoch: 47\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "d4a52287f9a14b968f5858caa20d1a3b",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.17987\n",
      "loss: 0.06455\n",
      "loss: 0.27924\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "917f91154ba14b6c9dc56c5bdf7468b3",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + от\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣ хота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру отц7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахѣ пишетъ i товъi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указ не опиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i нпърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вѣм чть я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣне ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъдержат не можемно\n",
      "\n",
      "loss: 12.79326\n",
      "CER: 8.33%, WER: 42.25%\n",
      "loss: best 9.93346 | cur 12.79326\n",
      "==================================================\n",
      "epoch: 48\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "26e44a42706c4319841c052a7b36da24",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.16471\n",
      "loss: 0.08539\n",
      "loss: 0.07766\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "ed81b20ac1c84c2890e00a23910c6ed0",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + от\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут то б хотя шква дру отц7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нудоъ далъпишетъ i товъi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает адднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного авозна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i нпърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вѣм чть я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣне ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: догго войскъдержат не можемно\n",
      "\n",
      "loss: 13.37234\n",
      "CER: 8.47%, WER: 42.58%\n",
      "loss: best 9.93346 | cur 13.37234\n",
      "==================================================\n",
      "epoch: 49\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "4f20124807b24c82878302409c907d61",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.04315\n",
      "loss: 0.06839\n",
      "loss: 0.20208\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "8d84424949664d909d963017c6652c03",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + т\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣ хота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру от7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахъ пишетъ i товъi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указ неопиы влаяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протг\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i наърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вѣм что я сюды приѣхал в че рас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣне ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: доглго войскъдержат не можем но\n",
      "\n",
      "loss: 13.32467\n",
      "CER: 8.23%, WER: 41.45%\n",
      "loss: best 9.93346 | cur 13.32467\n",
      "==================================================\n",
      "epoch: 50\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "e9fe4dcd74d74dda8c62301107110e1b",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.04253\n",
      "loss: 3.13092\n",
      "loss: 0.07728\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "25705350a7dc4cd3b100bfe04535977d",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + ет\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣ хота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут то б хотя шквадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахъ пишетъ i товъi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указ неопиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i нпърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вѣм что я сюды приѣхал в челас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣне ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъдержат не може но\n",
      "\n",
      "loss: 13.40092\n",
      "CER: 8.09%, WER: 40.37%\n",
      "Epoch    50: reducing learning rate of group 0 to 1.1765e-04.\n",
      "loss: best 9.93346 | cur 13.40092\n",
      "==================================================\n",
      "epoch: 51\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "ec5aaddd36934be4a4d62c0880a067b9",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.06030\n",
      "loss: 0.02839\n",
      "loss: 0.12042\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "da37032945bf436ca72f5381900227d9",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + то\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру отц7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахъ пишетъ i товъi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣмое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указ неопиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i нпърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вѣм чтоь я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣне ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъдержат не можем но\n",
      "\n",
      "loss: 13.22458\n",
      "CER: 8.26%, WER: 41.40%\n",
      "loss: best 9.93346 | cur 13.22458\n",
      "==================================================\n",
      "epoch: 52\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "6d14bfdf8b2e4388b3bcddb192c189ab",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.06864\n",
      "loss: 0.05530\n",
      "loss: 0.04518\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "d51c3a34c1824acf96bfaccdb62389be",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + ноо\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣ хота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру от7\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахъ пишетъ i товъi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указ неопиы влаяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i нпърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вѣм чтоь я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: говударственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣне ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъдержат не можем но\n",
      "\n",
      "loss: 13.33818\n",
      "CER: 8.27%, WER: 41.64%\n",
      "loss: best 9.93346 | cur 13.33818\n",
      "==================================================\n",
      "epoch: 53\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "76b94e1db05c47aa80cacfd8a5a1d9c4",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.05404\n",
      "loss: 0.02373\n",
      "loss: 0.01723\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "8e745d34379b4400b2261c1c7b48f8ff",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + нат\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахъ пишетъ i товъi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указ неопиы влаяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i нпърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вом что я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: говударственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣне ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъдержат не можем но\n",
      "\n",
      "loss: 13.35650\n",
      "CER: 8.27%, WER: 40.37%\n",
      "loss: best 9.93346 | cur 13.35650\n",
      "==================================================\n",
      "epoch: 54\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "abc7525e93ec42c99496fba40e1c29b9",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 6.73614\n",
      "loss: 0.05697\n",
      "loss: 0.04679\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "de93d7b736b24c319d4c996b26a9bf77",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + н оо\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахъ пишетъ i товъi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указ неопиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного авозна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзг\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i нпърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вѣм что я сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъдержат не можем но\n",
      "\n",
      "loss: 13.49303\n",
      "CER: 8.38%, WER: 41.97%\n",
      "loss: best 9.93346 | cur 13.49303\n",
      "==================================================\n",
      "epoch: 55\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "a4be98c9170a4760b66bbbed2e041b1c",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.10233\n",
      "loss: 0.09932\n",
      "loss: 0.04309\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "58ca9c5c566b409b89f03086b54682e1",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + наат\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахъ пишетъ i товъi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердитт\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы влаяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзг\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i непърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вѣм что я сюды приѣхал в челас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣне ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъдержат не можем но\n",
      "\n",
      "loss: 13.54467\n",
      "CER: 8.37%, WER: 41.17%\n",
      "loss: best 9.93346 | cur 13.54467\n",
      "==================================================\n",
      "epoch: 56\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "9aa8006944d84228ac18ca5ef9029290",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.04125\n",
      "loss: 0.08440\n",
      "loss: 0.05968\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "3024a7f45c094f678bc5839d2c8d868b",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + ноет\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣ хота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахъ пишетъ i товъi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зиат\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задалностию i непърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вѣм что я сюды приѣхал в челас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣне ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъдержат не може но\n",
      "\n",
      "loss: 13.63007\n",
      "CER: 8.28%, WER: 40.89%\n",
      "Epoch    56: reducing learning rate of group 0 to 8.2354e-05.\n",
      "loss: best 9.93346 | cur 13.63007\n",
      "==================================================\n",
      "epoch: 57\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "f69d05924f82487d97aef055c73a1617",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.04381\n",
      "loss: 0.03034\n",
      "loss: 0.04719\n",
      "\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "8d75e1e38d8f449ca2447ea8cc97c4f3",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + наа\n",
      "ref: i тако пѣхота далее\n",
      "hyp: i тако пѣхота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут тоб хотя шквадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахъ пишетъ i товъi\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо поттвердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного авозна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задалностию i непърестаными отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вам что я сюды приѣхал в челас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит на въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем на островѣне ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: долго войскъдержат не можем но\n",
      "\n",
      "loss: 13.52883\n",
      "CER: 8.18%, WER: 40.65%\n",
      "loss: best 9.93346 | cur 13.52883\n",
      "==================================================\n",
      "epoch: 58\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "542631242962488a90b2fddaace7a367",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=285.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loss: 0.04951\n",
      "loss: 0.03724\n",
      "\n"
     ]
    },
    {
     "ename": "KeyboardInterrupt",
     "evalue": "",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mKeyboardInterrupt\u001b[0m                         Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-30-6523114ac573>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m\u001b[0m\n\u001b[1;32m      8\u001b[0m     \u001b[0mprint\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m\"=\"\u001b[0m \u001b[0;34m*\u001b[0m \u001b[0;36m50\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      9\u001b[0m     \u001b[0mprint\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34mf\"epoch: {i_epoch + 1}\"\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 10\u001b[0;31m     \u001b[0mtrain_model\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m     11\u001b[0m     \u001b[0mprev_loss\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mcur_loss\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     12\u001b[0m     \u001b[0mcur_loss\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mval_model\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m<ipython-input-27-aba4e266f3c7>\u001b[0m in \u001b[0;36mtrain_model\u001b[0;34m()\u001b[0m\n\u001b[1;32m      5\u001b[0m         \u001b[0moptimizer\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mzero_grad\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      6\u001b[0m         \u001b[0mlogits\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mmodel\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mimages\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mtranspose\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;36m0\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;36m1\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m----> 7\u001b[0;31m         \u001b[0mloss\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mcriterion\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mF\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mlog_softmax\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mlogits\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mdim\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;34m-\u001b[0m\u001b[0;36m1\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mtargets\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mtorch\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mones_like\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mtarget_lengths\u001b[0m\u001b[0;34m)\u001b[0m \u001b[0;34m*\u001b[0m \u001b[0;36m255\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mtarget_lengths\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mmean\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m      8\u001b[0m         \u001b[0mloss\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mbackward\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      9\u001b[0m         \u001b[0moptimizer\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mstep\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/anaconda3/envs/digitalp/lib/python3.7/site-packages/torch/nn/modules/module.py\u001b[0m in \u001b[0;36m_call_impl\u001b[0;34m(self, *input, **kwargs)\u001b[0m\n\u001b[1;32m    720\u001b[0m             \u001b[0mresult\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_slow_forward\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m*\u001b[0m\u001b[0minput\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m**\u001b[0m\u001b[0mkwargs\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    721\u001b[0m         \u001b[0;32melse\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 722\u001b[0;31m             \u001b[0mresult\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mforward\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m*\u001b[0m\u001b[0minput\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m**\u001b[0m\u001b[0mkwargs\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    723\u001b[0m         for hook in itertools.chain(\n\u001b[1;32m    724\u001b[0m                 \u001b[0m_global_forward_hooks\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mvalues\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/anaconda3/envs/digitalp/lib/python3.7/site-packages/torch/nn/modules/loss.py\u001b[0m in \u001b[0;36mforward\u001b[0;34m(self, log_probs, targets, input_lengths, target_lengths)\u001b[0m\n\u001b[1;32m   1358\u001b[0m     \u001b[0;32mdef\u001b[0m \u001b[0mforward\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mlog_probs\u001b[0m\u001b[0;34m:\u001b[0m \u001b[0mTensor\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mtargets\u001b[0m\u001b[0;34m:\u001b[0m \u001b[0mTensor\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0minput_lengths\u001b[0m\u001b[0;34m:\u001b[0m \u001b[0mTensor\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mtarget_lengths\u001b[0m\u001b[0;34m:\u001b[0m \u001b[0mTensor\u001b[0m\u001b[0;34m)\u001b[0m \u001b[0;34m->\u001b[0m \u001b[0mTensor\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   1359\u001b[0m         return F.ctc_loss(log_probs, targets, input_lengths, target_lengths, self.blank, self.reduction,\n\u001b[0;32m-> 1360\u001b[0;31m                           self.zero_infinity)\n\u001b[0m\u001b[1;32m   1361\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   1362\u001b[0m \u001b[0;31m# TODO: L1HingeEmbeddingCriterion\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m~/anaconda3/envs/digitalp/lib/python3.7/site-packages/torch/nn/functional.py\u001b[0m in \u001b[0;36mctc_loss\u001b[0;34m(log_probs, targets, input_lengths, target_lengths, blank, reduction, zero_infinity)\u001b[0m\n\u001b[1;32m   2153\u001b[0m     \"\"\"\n\u001b[1;32m   2154\u001b[0m     return torch.ctc_loss(log_probs, targets, input_lengths, target_lengths, blank, _Reduction.get_enum(reduction),\n\u001b[0;32m-> 2155\u001b[0;31m                           zero_infinity)\n\u001b[0m\u001b[1;32m   2156\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   2157\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;31mKeyboardInterrupt\u001b[0m: "
     ]
    }
   ],
   "source": [
    "num_epochs = 300\n",
    "best_loss = float(\"infinity\")\n",
    "prev_loss = float(\"infinity\")\n",
    "cur_loss = float(\"infinity\")\n",
    "lr = 1e-4\n",
    "num_epochs_not_improved = 0\n",
    "for i_epoch in range(num_epochs):\n",
    "    print(\"=\" * 50)\n",
    "    print(f\"epoch: {i_epoch + 1}\")\n",
    "    train_model()\n",
    "    prev_loss = cur_loss\n",
    "    cur_loss = val_model()\n",
    "    reduce_lr.step(cur_loss)\n",
    "    if best_loss < cur_loss:\n",
    "        num_epochs_not_improved += 1\n",
    "        print(\"not improved\")\n",
    "        torch.save(model.state_dict(), EXP_DIR / \"model_last.pt\")\n",
    "    else:\n",
    "        num_epochs_not_improved = 0\n",
    "        best_loss = cur_loss\n",
    "        torch.save(model.state_dict(), EXP_DIR / \"model_best.pt\")\n",
    "        \n",
    "    print(f\"loss: best {best_loss:.5f} | cur {cur_loss:.5f}\")\n",
    "    if num_epochs_not_improved > 10:\n",
    "        break"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 85,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<All keys matched successfully>"
      ]
     },
     "execution_count": 85,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.load_state_dict(torch.load(EXP_DIR / \"model_best.pt\"))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 86,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "44eedecd8fa241429a41b5c39c52c206",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: + \n",
      "ref: i тако пѣхота далее\n",
      "hyp: iтакопѣхота дале\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут то б хотя шквадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахѣ пишетъ i товы\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо пот твердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы ваяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i наърестаны ми отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вом чтоя сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит новъ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: дулго войскъдержат не можеко\n",
      "\n",
      "loss: 9.93346\n",
      "CER: 9.31%, WER: 45.69%\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "9.933461883693065"
      ]
     },
     "execution_count": 86,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "val_model()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [],
   "source": [
    "from ctcdecode import CTCBeamDecoder"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 79,
   "metadata": {},
   "outputs": [],
   "source": [
    "decoder = CTCBeamDecoder(\n",
    "    encoder.id2char,\n",
    "    model_path=None,\n",
    "    alpha=0,\n",
    "    beta=0,\n",
    "    cutoff_top_n=40,\n",
    "    cutoff_prob=1.0,\n",
    "    beam_width=100,\n",
    "    num_processes=4,\n",
    "    blank_id=0,\n",
    "    log_probs_input=True\n",
    ")\n",
    "# beam_results, beam_scores, timesteps, out_lens = decoder.decode(output)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 80,
   "metadata": {},
   "outputs": [],
   "source": [
    "def val_model_beam_search():\n",
    "    model.eval()\n",
    "    num_items = 0\n",
    "    loss_accum = 0.0\n",
    "    total_chars = 0\n",
    "    error_chars = 0\n",
    "    total_words = 0\n",
    "    error_words = 0\n",
    "    with torch.no_grad():    \n",
    "        for batch_idx, (images, texts, targets, target_lengths) in enumerate(tqdm(val_loader)):\n",
    "            images, targets, target_lengths = images.cuda(), targets.to(torch.int32).cuda(), target_lengths.to(torch.int32).cuda()\n",
    "            logits = model(images).transpose(0, 1) # LxBxT\n",
    "            log_logits = F.log_softmax(logits, dim=-1)\n",
    "            loss = criterion(log_logits, targets, torch.full_like(target_lengths, 255), target_lengths)\n",
    "            loss_accum += loss.sum().item()\n",
    "            num_items += len(texts)\n",
    "            beam_results, beam_scores, timesteps, out_lens = decoder.decode(log_logits.transpose(0, 1).detach())\n",
    "\n",
    "            for i in range(beam_results.shape[0]):\n",
    "                ref = texts[i]\n",
    "                total_chars += len(ref)\n",
    "                encoded_text = beam_results[i, 0, :out_lens[i][0]]\n",
    "                hyp = encoder.decode(encoded_text.numpy().tolist())\n",
    "                error_chars += editdistance.eval(hyp, ref)\n",
    "                total_words += len(ref.split())\n",
    "                error_words += editdistance.eval(hyp.split(), ref.split())\n",
    "                if batch_idx == 0:\n",
    "                    print(f\"ref: {ref}\")\n",
    "                    print(f\"hyp: {hyp}\")\n",
    "            \n",
    "            \n",
    "    loss_accum /= num_items\n",
    "    print(f\"loss: {loss_accum:.5f}\")\n",
    "    print(f\"CER: {error_chars / total_chars * 100:.2f}%, WER: {error_words / total_words * 100:.2f}%\")\n",
    "    return loss_accum"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 81,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "f4eee0bf17794a5e96705abcfbec05ee",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=21.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "ref: + но хорошо мужикоф содержите\n",
      "hyp: +      т\n",
      "ref: i тако пѣхота далее\n",
      "hyp: iта копѣхота далее\n",
      "ref: римут то б хотя шквадру от 7\n",
      "hyp: римут то б хотя шк вадру отц\n",
      "ref: рыхъ нужъдахъ пишетъ i то вы\n",
      "hyp: рыхъ нужъ дахѣ пишетъ i товы\n",
      "ref: чтоб мнѣ мое писмо поттвердит\n",
      "hyp: чтоб мнѣ мое писмо пот твердит\n",
      "ref: жанъ i лутче всякому своей\n",
      "hyp: жанъ i лутче всякому своей\n",
      "ref: зит\n",
      "hyp: зит\n",
      "ref: пѣхотою удержат\n",
      "hyp: пѣхотою удержат\n",
      "ref: нам здес зело докучает аднакож для\n",
      "hyp: нам здес зело до куает аднакож для\n",
      "ref: ет указ не описываяс всту\n",
      "hyp: ет указнеопиы влаяс всту\n",
      "ref: ного и возна в заключе\n",
      "hyp: ного а возна в заключе\n",
      "ref: и протчег\n",
      "hyp: i протзег\n",
      "ref: 1\n",
      "hyp: 1\n",
      "ref: хотя за далностию i непърестаными отмѣ\n",
      "hyp: хотя задал ностию i наърестаны ми отнѣ\n",
      "ref: обявъляю вам что я сюды приѣхал вчерас\n",
      "hyp: обявъляю вом чтоя сюды приѣхал в черас\n",
      "ref: государственных дѣл положит на въ\n",
      "hyp: государственных дѣл положит но въ\n",
      "ref: заранѣе\n",
      "hyp: заранѣе\n",
      "ref: чтоб нашим людем на островѣ не ос\n",
      "hyp: чтоб нашим людем наостровѣ не ос\n",
      "ref: что мы которой мир i отдачю турком обѣ\n",
      "hyp: что мы которой мир i отдачю турком обѣ\n",
      "ref: долго войскъ держат не можем но\n",
      "hyp: дулго войскъдержат не може ко\n",
      "\n",
      "loss: 9.93346\n",
      "CER: 9.17%, WER: 45.50%\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "9.933461883693065"
      ]
     },
     "execution_count": 81,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "val_model_beam_search()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# loss: 9.93346\n",
    "# CER: 9.31%, WER: 45.69%"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# beam search, 100 (standardr)\n",
    "# loss: 9.93346\n",
    "# CER: 9.17%, WER: 45.50%"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# loss: 13.52883\n",
    "# CER: 8.18%, WER: 40.65%\n",
    "# loss: best 9.93346 | cur 13.52883"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python (digitalp)",
   "language": "python",
   "name": "digitalp"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}