Transfer_Learning_with_NSL_and_TF_2_0.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "Transfer Learning with NSL and TF 2.0.ipynb",
      "version": "0.3.2",
      "provenance": [],
      "collapsed_sections": [],
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "accelerator": "GPU"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/sayakpaul/TF-2.0-Hacks/blob/master/Transfer_Learning_with_NSL_and_TF_2_0.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "B-UIdI7McrSX",
        "colab_type": "text"
      },
      "source": [
        "TensorFlow recently released [Neural Structured Learning](https://www.tensorflow.org/neural_structured_learning). \n",
        "\n",
        "Neural Structured Learning (NSL) is a new learning paradigm to train neural networks by leveraging structured signals in addition to feature inputs. Structure can be explicit as represented by a graph or implicit as induced by adversarial perturbation. - [Source](https://www.tensorflow.org/neural_structured_learning). \n",
        "\n",
        "I was very intrigued when I first discovered about this since it not only enables adversarial learning but also accommodates other similar structures such as graphs. In this notebook, I aim to leverage NSL along with Transfer Learning and just see how it goes.\n",
        "\n",
        "I used the [CIFAR10](https://www.cs.toronto.edu/~kriz/cifar.html) dataset. \n",
        "\n",
        "![](https://i.ibb.co/WpxLdRy/Screen-Shot-2019-09-06-at-12-57-27-PM.png)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "pPV1w0T6eeCk",
        "colab_type": "text"
      },
      "source": [
        "## Install TensorFlow 2.0 and `neural_structured_learning`"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "AKVf3H33OXk1",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "!pip install tensorflow-gpu==2.0.0-rc0 \n",
        "!pip install --upgrade neural_structured_learning"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "B81ZoYMJeszZ",
        "colab_type": "text"
      },
      "source": [
        "## Imports"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "0FjqoLjQPMAJ",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "from sklearn.model_selection import train_test_split\n",
        "from sklearn.metrics import classification_report\n",
        "from tensorflow import keras\n",
        "import neural_structured_learning as nsl\n",
        "import matplotlib.pyplot as plt\n",
        "import numpy as np\n",
        "import time\n",
        "import cv2"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "PJyVA9cXevry",
        "colab_type": "text"
      },
      "source": [
        "## Setup"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "uT3PvrgxVXOQ",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "%matplotlib inline\n",
        "np.random.seed(666)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "QPGrOuEueyWO",
        "colab_type": "text"
      },
      "source": [
        "## Data gathering"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "QOcxbzG6V6K-",
        "colab_type": "code",
        "outputId": "fb0e1df8-1958-4e82-d8a9-99364edaf207",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 68
        }
      },
      "source": [
        "(X_train, y_train), (X_test, y_test) = keras.datasets.cifar10.load_data()\n",
        "X_train.shape, y_train.shape, X_test.shape, y_test.shape"
      ],
      "execution_count": 3,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Downloading data from https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz\n",
            "170500096/170498071 [==============================] - 4s 0us/step\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "((50000, 32, 32, 3), (50000, 1), (10000, 32, 32, 3), (10000, 1))"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 3
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "XkfMLb0Kj2V1",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# Since the labels are encoded as integers, we need to\n",
        "# convert them to their original mappings for convenience\n",
        "labels = ['airplane',\n",
        "             'automobile',\n",
        "             'bird',\n",
        "             'cat',\n",
        "             'deer',\n",
        "             'dog',\n",
        "             'frog',\n",
        "             'horse',\n",
        "             'ship',\n",
        "             'truck']"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "O628DAEffEtu",
        "colab_type": "text"
      },
      "source": [
        "## Scale the pixel values"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "dvkNSE7mfIQK",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "X_train = X_train/255\n",
        "X_test = X_test/255"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "FFrSomyKe0m-",
        "colab_type": "text"
      },
      "source": [
        "## Data splitting"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "BgKFgEL8b3Rp",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "X_train, X_val, y_train, y_val = train_test_split(X_train, \n",
        "                                                  y_train, \n",
        "                                                  test_size=0.15, \n",
        "                                                  stratify=np.array(y_train), \n",
        "                                                  random_state=42)\n"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "afV4hyVCeQxx",
        "colab_type": "code",
        "outputId": "20a95c7d-e87d-4ab8-d10a-023205aafec0",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        }
      },
      "source": [
        "X_train.shape, X_val.shape, X_test.shape"
      ],
      "execution_count": 7,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "((42500, 32, 32, 3), (7500, 32, 32, 3), (10000, 32, 32, 3))"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 7
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "-wff59Vue3Ju",
        "colab_type": "text"
      },
      "source": [
        "## Resizing the images and one-hot encoding of the labels"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "nJnR5GDmcExQ",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "X_train = np.array([cv2.resize(x, (48, 48)) for x in X_train])\n",
        "X_val = np.array([cv2.resize(x, (48, 48)) for x in X_val])                             \n",
        "X_test = np.array([cv2.resize(x, (48, 48)) for x in X_test])                                  "
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "t0TVEQ2Gjz2_",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "y_train = keras.utils.to_categorical(y_train, 10)\n",
        "y_val = keras.utils.to_categorical(y_val, 10)\n",
        "y_test = keras.utils.to_categorical(y_test, 10)\n"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "ozjNAmdPfmkv",
        "colab_type": "text"
      },
      "source": [
        "## Model construction"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "WIc5JXuwWE-z",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# Helper function to modify and compile (depends, though) a \n",
        "# VGG16 model\n",
        "def get_model(nsl=False):\n",
        "    base_model = keras.applications.VGG16(weights=\"imagenet\", \n",
        "                 include_top=False, \n",
        "                 input_tensor=keras.layers.Input(shape=(48, 48, 3)))\n",
        "\n",
        "    head_model = base_model.output\n",
        "    x = keras.layers.GlobalAveragePooling2D()(head_model)\n",
        "    x = keras.layers.BatchNormalization()(x)\n",
        "    x = keras.layers.Dense(512, activation=\"relu\")(x)\n",
        "    x = keras.layers.Dropout(0.5)(x)\n",
        "    x = keras.layers.Dense(10, activation=\"softmax\")(x)\n",
        "\n",
        "    model = keras.models.Model(inputs=base_model.input, outputs=x)\n",
        "\n",
        "    for layer in base_model.layers:\n",
        "        layer.trainable = False\n",
        "    if nsl==False:\n",
        "        model.compile(loss=\"binary_crossentropy\", optimizer='adam',\n",
        "            metrics=[\"accuracy\"])\n",
        "        return model\n",
        "    else:\n",
        "        return model"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "1isXAxEibnI4",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# Helper function to plot the metrics logged during training\n",
        "def plot_training(H, N):\n",
        "\tplt.style.use(\"ggplot\")\n",
        "\tplt.figure()\n",
        "\tplt.plot(np.arange(0, N), H.history[\"loss\"], label=\"train_loss\")\n",
        "\tplt.plot(np.arange(0, N), H.history[\"val_loss\"], label=\"val_loss\")\n",
        "\tplt.plot(np.arange(0, N), H.history[\"accuracy\"], label=\"train_acc\")\n",
        "\tplt.plot(np.arange(0, N), H.history[\"val_accuracy\"], label=\"val_acc\")\n",
        "\tplt.title(\"Training Loss and Accuracy\")\n",
        "\tplt.xlabel(\"Epoch #\")\n",
        "\tplt.ylabel(\"Loss/Accuracy\")\n",
        "\tplt.legend(loc=\"lower left\")\n",
        "\tplt.show()\n"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "qzisAjENfowy",
        "colab_type": "text"
      },
      "source": [
        "## Model training (without NSL) and evaluation"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "r2m0bmy7cbXv",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 51
        },
        "outputId": "548ec1e1-682f-4795-936c-9d133dfb7769"
      },
      "source": [
        "model = get_model()"
      ],
      "execution_count": 12,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Downloading data from https://github.com/fchollet/deep-learning-models/releases/download/v0.1/vgg16_weights_tf_dim_ordering_tf_kernels_notop.h5\n",
            "58892288/58889256 [==============================] - 1s 0us/step\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ggUlV1SEc1qi",
        "colab_type": "code",
        "outputId": "c987a469-a535-4ad2-c6e8-d65de80cdf29",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 190
        }
      },
      "source": [
        "start = time.time()\n",
        "history = model.fit(X_train, y_train, validation_data=(X_val, y_val),\n",
        "                   batch_size=128, epochs=2, verbose=1)\n",
        "print(\"Took {0:.2f} seconds\".format(time.time() - start))"
      ],
      "execution_count": 13,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Train on 42500 samples, validate on 7500 samples\n",
            "Epoch 1/2\n",
            "WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/tensorflow_core/python/ops/math_grad.py:1394: where (from tensorflow.python.ops.array_ops) is deprecated and will be removed in a future version.\n",
            "Instructions for updating:\n",
            "Use tf.where in 2.0, which has the same broadcast rule as np.where\n",
            "42500/42500 [==============================] - 35s 816us/sample - loss: 0.2252 - accuracy: 0.9156 - val_loss: 0.1894 - val_accuracy: 0.9265\n",
            "Epoch 2/2\n",
            "42500/42500 [==============================] - 28s 670us/sample - loss: 0.1870 - accuracy: 0.9275 - val_loss: 0.1753 - val_accuracy: 0.9326\n",
            "Took 63.26 seconds\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "2Id_tDCnj1Wj",
        "colab_type": "code",
        "outputId": "1db76505-902b-4542-82e8-ce0b68b5ee6e",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 71
        }
      },
      "source": [
        "model.evaluate(X_test, y_test)"
      ],
      "execution_count": 14,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "\r10000/1 [================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================] - 9s 893us/sample - loss: 0.1763 - accuracy: 0.9302\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[0.1782298050880432, 0.93016005]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 14
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "W3OdGYVel7DQ",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 306
        },
        "outputId": "d6763a7f-0d09-4cc1-bde8-9d2f9f4f8b6f"
      },
      "source": [
        "probabilities = model.predict(X_test)\n",
        "print(classification_report(np.argmax(y_test, axis=1), np.argmax(probabilities, axis=1),\n",
        "                           target_names=labels))"
      ],
      "execution_count": 22,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "              precision    recall  f1-score   support\n",
            "\n",
            "    airplane       0.69      0.68      0.68      1000\n",
            "  automobile       0.63      0.73      0.68      1000\n",
            "        bird       0.55      0.53      0.54      1000\n",
            "         cat       0.42      0.47      0.44      1000\n",
            "        deer       0.60      0.52      0.56      1000\n",
            "         dog       0.53      0.53      0.53      1000\n",
            "        frog       0.62      0.71      0.66      1000\n",
            "       horse       0.67      0.62      0.64      1000\n",
            "        ship       0.70      0.70      0.70      1000\n",
            "       truck       0.69      0.56      0.62      1000\n",
            "\n",
            "    accuracy                           0.61     10000\n",
            "   macro avg       0.61      0.61      0.61     10000\n",
            "weighted avg       0.61      0.61      0.61     10000\n",
            "\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "sygzErb2HuLP",
        "colab_type": "code",
        "outputId": "a399a6ef-61dd-431b-c2da-f0bb7f576b2a",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 299
        }
      },
      "source": [
        "plot_training(history, 2)"
      ],
      "execution_count": 23,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYgAAAEaCAYAAAAL7cBuAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAADl0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uIDMuMC4zLCBo\ndHRwOi8vbWF0cGxvdGxpYi5vcmcvnQurowAAIABJREFUeJzt3XlcVPX++PHXLKwi6AwCmqaJuCS5\nhaloJkLa4sJNrXu7bkE3u+a1rNSrX8sWt8qlzVtqqFez5GdptzQ33BUrN7TUFJIMBVNAAdnhnN8f\nwMjAAAMCI/B+Ph7InHM+53Pen8E57/mcz1k0qqqqCCGEECVobR2AEEKIO5MkCCGEEBZJghBCCGGR\nJAghhBAWSYIQQghhkSQIIYQQFkmCEJXy66+/otFoOHr0aKXW8/LyYuHChTUUVcP16aef4uLiYusw\nRD0lCaKe0Wg05f60adPmtur38fEhISGBbt26VWq9n3/+mYkTJ97Wtq0lyciyffv2odPpePDBB20d\niqgjJEHUMwkJCaafr7/+GoDjx4+b5h05csTiejk5OVbVr9Pp8PLyQq/XVyquZs2a4ezsXKl1RPVa\ntmwZ//rXvzh58iRnz561dTiA9f/vhG1IgqhnvLy8TD8GgwEo2DkXzWvWrJmp3Jtvvslzzz2HwWDg\n4YcfBmDhwoV06dKFRo0a0aJFC0aPHs3Vq1dN9Zc8xFQ0vXHjRh599FGcnZ1p164dX3zxRam4in+r\n9/LyYu7cubzwwgs0adIELy8vpk+fjqIopjLp6emEhITg6uqKwWBg8uTJvPLKK/j6+t7We3T69Gke\neeQRGjVqROPGjQkODub33383Lb9+/TpjxozB09MTBwcHWrduzYwZM0zL9+zZQ58+fXBxccHV1ZXu\n3buzZ8+eMrcXHR1NcHAwXl5eODs707VrV8LDw83K9O7dmxdeeIHXX38dDw8PjEYjoaGhZGRkmMrk\n5+czffp03N3dady4MX//+99JTU21qs1JSUls2rSJF154gREjRrB8+fJSZVJTU5k0aRJ33XUXDg4O\ntG3b1uxvlpCQwNixY/Hw8MDR0ZGOHTvy+eefA7Bt2zY0Gg2JiYmm8nl5eWg0GtavXw/c+r8SHh7O\noEGDcHZ2Zu7cueTm5hIaGkrbtm1xcnLC29ub2bNnk5ubaxbf1q1b8ff3x9nZmSZNmhAQEMAff/zB\ntm3bsLe3588//zQrv3z5coxGI9nZ2Va9R6I0SRAN2KJFi2jTpg0//vgjy5YtAwoOUb3//vv88ssv\nbNiwgfPnzzNmzJgK65o+fTr/+Mc/OHXqFMHBwYwfP95sp1vW9tu2bcuRI0dYvHgxCxcu5MsvvzQt\nnzJlCtu3b2f9+vVERkZiZ2fHZ599dlttvnnzJg8//DAajYaDBw+ye/duEhMTeeyxx8jLyzO15ezZ\ns2zevJnz58+zbt06fHx8AMjOzmbYsGE89NBDREVFcfToUWbNmoWjo2OZ20xLS2Pw4MHs2LGDn3/+\nmXHjxvH0008TGRlpVm7dunVkZ2dz4MAB1q5dy4YNG1iyZIlp+cKFC/nkk0/44IMPOHbsGPfeey9z\n5861qt2rV6+mR48e+Pj4MH78eNasWUNWVpZpuaIoPPLII+zYsYNly5Zx9uxZwsLCTF8ybt68yYMP\nPsivv/7K+vXrOXPmDEuWLMHBwcG6N76YadOmERISwunTp3nmmWfIz8/nrrvuYv369Zw9e5aFCxfy\nn//8xyw5ff/99wwZMoS+ffvyww8/EBkZyd/+9jdyc3MZNGgQd911F6tXrzbbzooVKxg7dmyVYhSF\nVFFv7dmzRwXUuLi4Uss8PT3Vxx57rMI6IiMjVUBNTExUVVVVz549qwLqkSNHzKaXLl1qWic7O1u1\nt7dXV69ebba99957z2x61KhRZtsaMGCAOn78eFVVVTU5OVnV6/Xq559/blama9euaufOncuNueS2\nivv444/Vxo0bq9evXzfNi4uLU+3s7NTw8HBVVVV10KBB6oQJEyyuHx8frwLq4cOHy42hIoMGDVIn\nTZpkmu7Vq5fas2dPszLjx49XBwwYYJp2d3dX33rrLbMyjz/+uNqoUaMKt9ehQwd1+fLlqqqqqqIo\naps2bdS1a9ealm/evFkF1FOnTllc/+OPP1YbNWqkXrlyxeLyrVu3qoB67do107zc3FwVUL/88ktV\nVW/9X3n33XcrjHfevHmqr6+vadrPz08dMWJEmeXnzp2rtmvXTlUURVVVVY2KilIB9fTp0xVuS5RN\nehAN2AMPPFBqXkREBA8//DCtWrWicePGBAUFAXDx4sVy6yo+aG1vb4+7u3upLn956wC0aNHCtM75\n8+fJy8ujd+/eZmX69OlTbp0VOX36NF26dKFJkyameS1btqRt27acPn0agEmTJrFmzRq6du3Kyy+/\nzI4dO1AL72nZvHlzRo8ezYABA3j88cd59913iYmJKXebN2/eZOrUqdx77700bdoUFxcXdu/eXeo9\nLe/9uHr1KomJifj7+5uV6devX4Vt3rdvH3/88QdPPfUUUNBLHDt2rKnXCHDs2DGaN2/OfffdZ7GO\nY8eO0aVLFzw9PSvcXkUs/b/7z3/+Q8+ePfHw8MDFxYU333zT9P6oqsqJEycYNGhQmXWGhIRw8eJF\n9u7dCxT0Hvr27cu999572/E2ZJIgGrBGjRqZTcfExDBkyBA6dOhAeHg4R48eZcOGDUDFg4n29vZm\n0xqNxmw8oarraDSacuuoCUOHDuWPP/5g2rRppKam8tRTTzF48GBTbGvXruWnn34iICCAXbt2ce+9\n95Y6vFHciy++yIYNG3jrrbfYu3cvUVFRBAYGlnpPq/IeWmPZsmVkZmZiMBjQ6/Xo9XrmzJnDwYMH\nq22wWqst2JWoxW4OXXIMoUjJ/3dr167l5ZdfZsyYMWzdupUTJ04wffr0Sg1ge3l5MXz4cFasWEFm\nZibr1q3jueeeq0JLRHGSIITJjz/+SG5uLu+//z7+/v506NCBK1eu2CSW9u3bo9frOXz4sNn8H374\n4bbq7dy5M6dOneLGjRumeZcuXeLChQtmg9/u7u78/e9/57PPPmPTpk3s3LmT3377zbS8S5cuvPrq\nq2zfvp2nn36aFStWlLnN/fv3M27cOEaOHEnXrl1p06YN0dHRlYq7aOC65LjFoUOHyl0vKSmJjRs3\nsmLFCqKiokw/J0+epFevXqbB6vvvv5+EhAR+/vlni/Xcf//9nDp1qsxeoYeHBwDx8fGmecePH7eq\nbfv376dXr15MnjyZ+++/Hx8fH2JjY03LNRoN3bt3Z8eOHeXWM2HCBDZu3GjqGY0aNcqq7YuySYIQ\nJu3bt0dRFJYsWUJsbCxff/018+fPt0ksTZs25ZlnnmH69Ols3bqVc+fOMXXqVGJjY63qVcTHx5vt\nEKOiorh8+TLjxo3DxcWFv/3tb5w4cYIjR47w17/+lXbt2vGXv/wFKBik/uabbzh//jznzp3jyy+/\nxNXVlbvuuoszZ84wc+ZMDh06xMWLFzl06BCHDx8u91BGhw4d2LhxI8eOHeP06dOEhISYne1jrVde\necU0kB8dHc38+fPZv39/ueusXr0aJycnxo4di6+vr9nP008/bRqsfuSRR3jggQcYMWIEmzdvJjY2\nlgMHDrBq1SoA09lLQ4cOZffu3cTGxrJz506++uorADp16kSLFi14/fXXOXfuHPv27WPatGlWtatD\nhw4cP36cLVu2EBMTw8KFC9m8ebNZmddff52NGzcydepUfv75Z3799VfCwsLMknZgYCCtWrVi+vTp\njB49Gicnp8q8vcICSRDCpGfPnixevJgPPviAe++9l48++sjsLJratmTJEh5++GGefPJJ+vTpQ05O\nDk8//XS5ZwwVX7d79+5mP++99x4uLi7s3LkTRVHo168fAwcOxGg08v3335uu7bC3t+f//u//6N69\nO7169SI6Oprt27fj7OxM48aNOXPmDE8++STt27fnySefZODAgSxevLjMWD766CM8PDzo378/Dz/8\nMO3bt2fo0KGVfj+mTZvGc889x6RJk+jevTsnT55k5syZ5a6zYsUKgoODSx2+goJv2Ddu3OCrr75C\np9Oxfft2AgMDefbZZ+nYsSPjx4/n+vXrADRu3JgDBw7Qrl07Ro0aRadOnZg8ebLpFFIHBwfCw8O5\nePEi3bp146WXXuKdd96xql3/+te/GDVqFKNHjzb1VGbNmmVWZujQoXz77bfs27ePnj170rt3b774\n4gvs7OxMZTQaDc8++yw5OTlyeKmaaFRVnign6g5/f3/uuece1q1bZ+tQxB1o8uTJHDlypNShSVE1\nlbscVohadOLECU6fPk2vXr3Iyspi5cqVHD582Opz/0XDkZKSwpkzZ1i5ciUrV660dTj1hiQIcUf7\n8MMP+fXXX4GC49xbtmwhICDAxlGJO83gwYM5deoUY8aMkcHpaiSHmIQQQlgkg9RCCCEskgQhhBDC\nojo/BlH8wpzKcHd3r9K56HWZtLlhkDY3DLfT5hYtWlhVTnoQQgghLJIEIYQQwiJJEEIIISySBCGE\nEMIiSRBCCCEskgQhhBDCIkkQQgghLKrz10EIIWqfqqqmp8cVf21pWWXnWVO+5HROTg43btywajtV\njbWqbaup7fTo0QMHBwdqkiSI23QnfVAq2nZ6errpSWq2jrW2tuPk5ERGRkaNbMcWOw9rtq3VasnP\nz6+x7Yg7g7vRA5/23jW6jQaZIE6ePMnRo0dRFEU+KPWARqMxe8pc8WmtVouqqmbziv+2NK+8ZWVt\nx9r1amo7xV87OjqSnZ1ddh0UztcU/aO5NYkGNBpQAY2pJCqaW+uZlS6qS4OqFsanFi+jKaiqxLqm\neaqGwo0VbuPW8oJ/NLfqKowJVUUtiruwjL29PdnZOaZ5RXWpResXllOL/y7atFqwbVPcheubflNU\npnBZ4WtN0evCmFBL1K9qUIvaVlhWU7zOYr+L/wUo+Xcq8bvo79jUtRlg+bnf1aVBJogmTZrQqVMn\n09Ow6sPOw5ptu7m5kZqaeltx3U6shdGZPkQa02tT4GYfsoJPo6bYOoUfssLP460PXuG0qha8pmga\nGjd2JSUlxTStmv0UJXss11OiLrXYfKyoRy2soHg9luq61bZb80vGajEmpXQ9igqZGZrCLz+lY603\nCvOYhoLfmdrCdKAp+P9R9ANFr83nm5ZbmI+F8mXVcysOjfl0efVTTj2FSdmaulq0ciYnN6Vm32a1\njn8Vrsq9mJR8lSZNjSQmJpb9YaTkB7qcHQSWP9SmDzsW6lct1E/ZOwirdmZmdZWux87enuysbIsx\nme3MzHYoZdRfRttK1cOt9eqL0h/q4kmxnA81ZX/YzXYQGizUpTHfHmXvzJycnMjKyjSbXypWK2Ky\namdmtpMsu56Cuqq2My61o+TW+11E7sVUOdbei6lB9iAunM/m7KkLtg6j0kp9WLCw4yj+oSuxjp1d\nLvn5Stk7Ia2lujSmb0dV3pmVsxMtuYMwX255B1H2zrhYXYXLmxiakHLjRhXqKr1jp1j5O1lD3FmK\nmtEgE4S7h56efY1kpKeX/S2laAertfytpvTOuoIdkLb8b1klu6ql67r9HVND3HG4uzuCpkH+Nxfi\nttXaJycqKopVq1ahKAqBgYEEBwebLb927RqffPIJqampuLi48K9//Quj0VgjsTQx6nF3b0piYn6N\n1C+EEPVBrVwopygKYWFhzJw5kyVLlnDo0CEuXbpkVmbt2rX079+fhQsXMnLkSL744ovaCE0IIUQZ\naiVBxMTE4OXlhaenJ3q9Hn9/f44cOWJW5tKlS/j6+gLQuXNnjh49WhuhCSGEKEOtHGJKTk42O1xk\nNBqJjo42K9O6dWt++uknHnvsMX766ScyMzNJS0ujcePGZuUiIiKIiIgAYMGCBbi7u1cpJr1eX+V1\n6yppc8MgbW4YaqPNd8zo3ZgxY1i5ciV79+6lU6dOGAwGtNrSHZygoCCCgoJM01UddG2YA7bS5oZA\n2tww1JvTXA0GA0lJSabppKQkDAZDqTKvvvoqAFlZWfz44480atSoNsITQghhQa2MQXh7e5OQkMDV\nq1fJy8sjMjISPz8/szKpqakoigLApk2bCAgIqI3QhBBClKFWehA6nY6QkBDmzp2LoigEBATQqlUr\nwsPD8fb2xs/PjzNnzvDFF1+g0Wjo1KkToaGhtRGaEEKIMjTIW22AHLNsKKTNDYO0uXKsHYOQBwYJ\nIYSwSBKEEEIIiyRBCCGEsEgShBBCCIskQQghhLBIEoQQQgiLJEEIIYSwSBKEEEIIiyRBCCGEsEgS\nhBBCCIskQQghhLBIEoQQQgiLJEEIIYSwSBKEEEIIiyRBCCGEsEgShBBCCIskQQghhLCoVh45ChAV\nFcWqVatQFIXAwECCg4PNlicmJrJ06VLS09NRFIWnn36aHj161FZ4QgghSqiVBKEoCmFhYcyaNQuj\n0ciMGTPw8/OjZcuWpjJff/01ffr0YdCgQVy6dIn58+dLghBCCBuqlUNMMTExeHl54enpiV6vx9/f\nnyNHjpiV0Wg0ZGRkAJCRkUHTpk1rIzQhhBBlqJUeRHJyMkaj0TRtNBqJjo42KzNq1CjmzJnDtm3b\nyM7O5rXXXrNYV0REBBEREQAsWLAAd3f3KsWk1+urvG5dJW1uGKTNDUNttLnWxiAqcujQIQYMGMDQ\noUM5f/48H330EYsWLUKrNe/kBAUFERQUZJpOTEys0vbc3d2rvG5dJW1uGKTNDcPttLlFixZWlauV\nQ0wGg4GkpCTTdFJSEgaDwazM7t276dOnDwDt27cnNzeXtLS02ghPCCGEBbWSILy9vUlISODq1avk\n5eURGRmJn5+fWRl3d3d++eUXAC5dukRubi6urq61EZ4QQggLauUQk06nIyQkhLlz56IoCgEBAbRq\n1Yrw8HC8vb3x8/Nj7NixLFu2jC1btgAwceJENBpNbYQnhBDCAo2qqqqtg7gd8fHxVVpPjlk2DNLm\nhkHaXDl31BiEEEKIukcShBBCCIskQQghhLBIEoQQQgiLJEEIIYSwSBKEEEIIiyRBCCGEsEgShBBC\nCIskQQghhLBIEoQQQgiLJEEIIYSwSBKEEEIIiyRBCCGEsEgShBBCCIskQQghhLBIEoQQQgiLJEEI\nIYSwqFYeOQoQFRXFqlWrUBSFwMBAgoODzZavXr2a06dPA5CTk0NKSgqrV6+urfCEEEKUUCsJQlEU\nwsLCmDVrFkajkRkzZuDn50fLli1NZcaPH296vXXrVmJjY2sjNCGEEGWw+hBTWlpalTcSExODl5cX\nnp6e6PV6/P39OXLkSJnlDx06RL9+/aq8PSGEELfP6h7ExIkTue++++jfvz9+fn7o9dZ3PpKTkzEa\njaZpo9FIdHS0xbLXrl3j6tWr+Pr6WlweERFBREQEAAsWLMDd3d3qOIrT6/VVXreukjY3DNLmhqE2\n2mz1Xn7p0qUcPHiQ//3vfyxbtozevXvz0EMP0bFjx2oN6NChQ/Tu3Rut1nLnJigoiKCgINN0YmJi\nlbbj7u5e5XXrKmlzwyBtbhhup80tWrSwqpzVCcLV1ZXHHnuMxx57jPj4ePbv389HH32ERqPhwQcf\nZODAgTRr1sziugaDgaSkJNN0UlISBoPBYtnIyEhCQ0OtDUsIIUQNqdJprjdu3ODGjRtkZmbi6elJ\ncnIy06ZN45tvvrFY3tvbm4SEBK5evUpeXh6RkZH4+fmVKnf58mXS09Np3759VcISQghRjazuQcTF\nxXHgwAEOHjyIg4MDDz30EO+9955pbGHEiBFMnTq11OmrADqdjpCQEObOnYuiKAQEBNCqVSvCw8Px\n9vY2JYtDhw7h7++PRqOppuYJIYSoKqsTxOzZs+nbty8vv/wy7dq1K7Xcw8ODxx57rMz1e/ToQY8e\nPczmPfXUU2bTTz75pLXhCCGEqGFWJ4jly5dXeOZSyR2+EEKIusvqMYg1a9Zw7tw5s3nnzp2Tq52F\nEKKesjpBHDp0CG9vb7N5bdu25eDBg9UelBBCCNuzOkFoNBoURTGbpygKqqpWe1BCCCFsz+oE0bFj\nR9avX29KEoqisGHDhmq/UE4IIcSdwepB6meeeYYFCxYwYcIE0xV8TZs2Zfr06TUZnxBCCBuxOkEY\njUbeeecdYmJiSEpKwmg00q5duzJviSGEEKJuq9TtvrVarVzlLIQQDYTVCSIjI4MNGzZw5swZ0tLS\nzAanP/nkkxoJTgghhO1YfXzos88+IzY2lpEjR3Lz5k1CQkJwd3fn8ccfr8n4hBBC2IjVCeLUqVO8\n8sor9OzZE61WS8+ePZkyZQoHDhyoyfiEEELYiNUJQlVVnJ2dAXB0dCQjI4MmTZpw5cqVGgtOCCGE\n7Vg9BtG6dWvOnDnDfffdR8eOHfnss89wdHSkefPmNRmfEEIIG7G6BzFhwgTTA4GeeeYZ7O3tSU9P\nZ9KkSTUWnBBCCNuxqgehKAp79+7liSeeAMDNzY3nn3++RgMTQghhW1b1ILRaLTt27ECn09V0PEII\nIe4QVh9i6t+/Pzt37qzJWIQQQtxBrB6kjomJYdu2bXz77bcYjUazx4K++eabFa4fFRXFqlWrUBSF\nwMBAi48mjYyMZMOGDWg0Glq3bs2LL75obXhCCCGqmdUJIjAwkMDAwCptRFEUwsLCmDVrFkajkRkz\nZuDn50fLli1NZRISEvjmm294++23cXFxISUlpUrbEkIIUT2sThADBgyo8kZiYmLw8vLC09MTAH9/\nf44cOWKWIHbt2sXgwYNxcXEBCgbChRBC2I7VCWL37t1lLhs4cGC56yYnJ2M0Gk3TRqOR6OhoszLx\n8fEAvPbaayiKwqhRo+jWrVupuiIiIoiIiABgwYIFuLu7W9sEM3q9vsrr1lXS5oZB2tww1EabrU4Q\nJW+pcePGDa5cuULHjh0rTBDWUBSFhIQEZs+eTXJyMrNnz2bhwoU0atTIrFxQUBBBQUGm6cTExCpt\nr+iZFg2JtLlhkDY3DLfT5hYtWlhVzuoEMXv27FLzdu/ezeXLlytc12AwkJSUZJpOSkrCYDCUKuPj\n44Ner8fDw4PmzZuTkJBAu3btrA1RCCFENbqtp/0MGDCg3ENPRby9vUlISODq1avk5eURGRmJn5+f\nWZkHHniA06dPA5CamkpCQoJpzEIIIUTts7oHUfQs6iI5OTns37+/1CEgS3Q6HSEhIcydOxdFUQgI\nCKBVq1aEh4fj7e2Nn58fXbt25eTJk0yZMgWtVsvo0aNp3Lhx5VskhBCiWmjU4k/+KcdTTz1Vap7B\nYGDChAkWB5NrS9HgdmXJMcuGQdrcMEibK6faxyA+/vhjs2kHBwdcXV0rF5UQQog6w+oEodPpsLe3\nN12nAHDz5k1ycnJKDTgLIYSo+6wepH7vvfdITk42m5ecnMzChQurPSghhBC2Z3WCiI+P5+677zab\nd/fdd1t1mqsQQoi6x+oE4erqWurxoleuXJEzjYQQop6yegwiICCARYsW8de//hVPT0+uXLlCeHh4\ntVxFLYQQ4s5jdYIIDg5Gr9ezdu1akpKScHd3JyAggCFDhtRkfEIIIWzE6gSh1WoZNmwYw4YNq8l4\nhBBC3CGsHoP45ptviImJMZsXExPD//73v2oPSgghhO1ZnSC+//57s+c3ALRs2ZLvv/++2oMSQghh\ne1YniLy8PPR68yNSer2enJycag9KCCGE7VmdINq2bcv27dvN5u3YsYO2bdtWe1BCCCFsz+pB6nHj\nxjFnzhz279+Pp6cnf/75Jzdu3OC1116ryfiEEELYiNUJolWrVnzwwQccO3aMpKQkevXqxf3334+j\no2NNxieEEMJGrE4QAI6OjvTt29c0HRcXx759+xg9enS1ByaEEMK2KpUgoOBpbwcPHmTfvn38/vvv\ndO/evSbiEkIIYWNWJYi8vDyOHTvGvn37iIqKwmg0cv36debPny+D1EIIUU9VmCA+++wzDh8+jE6n\no3fv3rzxxhu0b9+e5557DqPRaPWGoqKiWLVqFYqiEBgYSHBwsNnyvXv3snbtWtOzJR555BECAwMr\n2RwhhBDVpcIEsXPnTlxcXBg1ahR9+/bF2dm50htRFIWwsDBmzZqF0WhkxowZ+Pn5lbrwzt/fn9DQ\n0ErXL4QQovpVmCA++ugj9u/fz7fffsvq1avp3r07/fr1w8pHWQMFt+Tw8vLC09MTKEgER44cKZUg\nhBBC3DkqTBAeHh6MHDmSkSNHcvbsWfbt28enn35KZmYmX375JUOGDKlwR5+cnGx2OMpoNBIdHV2q\n3I8//sjZs2dp3rw548aNw93dvVSZiIgIIiIiAFiwYIHFMtbQ6/VVXreukjY3DNLmhqE22qxRK9MV\nKJSTk8NPP/3Evn37+OWXX/jyyy/LLf/DDz8QFRXF888/D8D+/fuJjo42O5yUlpaGo6MjdnZ27Ny5\nk8jISGbPnl1hLPHx8ZUNHwB3d3cSExOrtG5dJW1uGKTNDcPttLlFixZWlauwB7F+/Xq6d+9O+/bt\n0Wg0ANjb29OvXz/69etX6jnVlhgMBpKSkkzTSUlJpsHoIsWfTBcYGMjnn39uVQOEEELUjAoThKOj\nI+vWrSMhIYH77ruP7t27061bN9MOveSO3hJvb28SEhK4evUqBoOByMhIJk+ebFbm+vXrNG3aFICj\nR4/K+IQQQthYhQkiODiY4OBg0tPTOXnyJMePH2ft2rU0a9aMHj160L179wqvhdDpdISEhDB37lwU\nRSEgIIBWrVoRHh6Ot7c3fn5+bN26laNHj6LT6XBxcWHixInV1kghhBCVV6UxCFVViYmJ4cSJE5w4\ncYLr168zduxY/P39ayLGcskYhPWkzQ2DtLlhuCPGICzRaDT4+Pjg4+PDk08+SUpKChkZGVWpSggh\nxB3K6udBbN68md9//x2A8+fP889//pMXXniB8+fP4+bmRvPmzWsqRiGEEDZgdYLYsmULHh4eAKbr\nH0aMGMHq1atrKjYhhBA2ZHWCyMjIwNnZmczMTH7//XceffRRBg4cWOUxACGEEHc2q8cgjEYj586d\nIy4ujk6dOqHVasnIyECrtTrHCCGEqEOsThCjR49m8eLF6PV6XnnlFQCOHz9Ou3btaiw4IYQQtmN1\ngujRowfLli0zm9e7d2969+6pzRI1AAAgAElEQVRd7UEJIYSwPauPD126dIkbN24AkJWVxf/7f/+P\nTZs2kZ+fX2PBCSGEsB2rE8QHH3xgutZhzZo1nD17lujoaJYvX15jwQkhhLAdqw8xXb16lRYtWqCq\nKj/99BOLFy/G3t6eSZMm1WR8QgghbMTqBGFvb09mZiaXLl3C3d0dV1dX8vPzyc3Nrcn4hBBC2IjV\nCaJv37689dZbZGZm8sgjjwAQGxtrunhOCCFE/WJ1ghg/fjwnT55Ep9Ph6+sLFNyTady4cTUWnBBC\nCNup1M36unbtSmJiIufPn8dgMODt7V1TcQkhhLAxqxPE9evXef/994mOjsbFxYW0tDTat2/Piy++\naNVDg4QQQtQtVp/mumLFClq3bs3KlStZvnw5q1atok2bNqxYsaIm4xNCCGEjVieIc+fOMXbsWBwd\nHYGCR5GOHj2a8+fP11hwQgghbMfqQ0yNGjXi0qVLtGnTxjQvPj4eZ2dnq9aPiopi1apVKIpCYGAg\nwcHBFsv98MMPLF68mPnz51dpjENVVbKyslAUBY1GU2a5P//8k+zs7ErXX5dVps2qqqLVanF0dCz3\nfRRC1F9WJ4hhw4bx9ttvM3DgQJo1a8a1a9fYu3cvTz31VIXrKopCWFgYs2bNwmg0MmPGDPz8/GjZ\nsqVZuczMTLZu3YqPj0/lW1IoKysLOzs79Prym6bX69HpdFXeTl1U2Tbn5eWRlZWFk5NTDUYlhLhT\nWX2IKSgoiClTppCWlsaxY8dIS0tj8uTJJCUlVbhuTEwMXl5eeHp6otfr8ff358iRI6XKhYeHM3z4\ncOzs7CrXimIURakwOQjr6PV6FEWxdRhCCBup1J7U19fXdA0EQG5uLnPmzKmwF5GcnIzRaDRNG41G\noqOjzcpcuHCBxMREevTowbfffltmXREREURERACwYMEC3N3dzZbn5+dbnSAaYiKpbJsdHR1Lvcd1\niV6vr9PxV4W0uWGojTbfEXtIRVFYs2YNEydOrLBsUFAQQUFBpunExESz5dnZ2VYdRtHr9eTl5VU+\n2DqsKm3Ozs4u9R7XJe7u7nU6/qqQNjcMt9PmFi1aWFWuVhKEwWAwOxSVlJRkdu1EVlYWcXFxvPnm\nmwDcuHGDd999l2nTpsnFeEIIYSMVJohffvmlzGXWfhv19vYmISGBq1evYjAYiIyMZPLkyablzs7O\nhIWFmabfeOMNxowZUyeTQ0pKCps2bWL8+PGVWm/MmDF8/PHHuLm5VWq9l156iaCgIIYMGVKp9YQQ\noiIVJohPPvmk3OXWHAPT6XSEhIQwd+5cFEUhICCAVq1aER4ejre3N35+ftZHfIdLTU1lzZo1pRJE\nXl5eucf/165dW8ORCSFE5VSYIJYuXVotG+rRowc9evQwm1fW4PYbb7xRLdtU1q9AjYu1vEyjQVXV\nStepaXUP2r/+o8zl8+bN4+LFizz88MPY2dnh4OCAm5sbMTExHDx4kJCQEOLj48nOziY0NJTRo0cD\n0KtXL7Zu3Up6ejqjR4/mgQce4OjRo3h5ebFy5UqrTjU9cOAAb7/9Nvn5+XTt2pX58+fj4ODAvHnz\n2LFjB3q9nv79+/P666/z3XffsWTJErRaLa6urmzcuLHS74UQon67Iwap65OZM2dy7tw5du7cSWRk\nJGPHjmX37t3cfffdACxatIimTZuSmZnJ448/zmOPPVbqXlaxsbEsXbqU9957jwkTJvD9998zYsSI\ncreblZXFlClTTL2yyZMns2bNGkaMGMHWrVvZv38/dnZ2prGg999/n3Xr1tG8eXNSUlJq5s0QQtRp\n9TpBlPdNv7bOYurWrZspOQCsXLmSrVu3AgVXosfGxpZKEK1atTKdTtylSxfi4uIq3M5vv/3G3Xff\nbRq3GTVqFP/973955plncHBw4JVXXmHw4MEEBAQA4Ofnx5QpUxg6dCiPPvpotbRVCFG/WH2hnKia\n4rciiYyM5MCBA3z33XdERETg6+tr8dYXDg4Optc6nY78/Pwqb1+v17NlyxYef/xxduzYwd///ncA\n3nnnHaZNm0Z8fDyPPvooycnJVd6GEKJ+qtc9CFto1KgRN2/etLgsLS0NNzc3nJyciImJ4fjx49W2\nXW9vb+Li4oiNjeWee+7h66+/pnfv3qSnp5OZmUlgYCB9+vShZ8+eAPz++++mcaE9e/YQHx8vt20X\nQpiRBFHNDAYDPXv2ZODAgaWuQh4wYABr167loYcewtvbu9Sg/e1wdHRk8eLFTJgwwTRIPWbMGG7c\nuEFISAjZ2dmoqsrs2bMBmDNnDrGxsaiqSr9+/ejcuXO1xSKEqB80alVO5bmDxMfHm01nZGRYdYdZ\nuZLaOta+n3cqucK2YZA2V461V1LLGIQQQgiL5BBTHTFz5sxSd8B99tlnrbrduhBCVIUkiDpi3rx5\ntg5BCNHAyCEmIYQQFkmCEEIIYZEkCCGEEBZJghBCCGGRJAgb8/HxKXNZXFwcAwcOrMVohBDiFkkQ\nQgghLKrXp7l+dvRPYq9nWVymqeLzIO5p6sizfp5lLp83bx4tWrQwPTBo0aJF6HQ6IiMjSUlJIS8v\nj2nTpjF48OBKbTcrK4sZM2Zw6tQpdDods2fPpm/fvpw7d46XX36ZnJwcVFVl+fLleHl5MWHCBBIS\nElAUhRdffJHhw4dXuq1CiIatXicIWxg2bBizZ882JYjvvvuOdevWERoaSuPGjUlOTmbo0KEMGjQI\njUZjdb2rV69Go9Gwa9cuYmJi+Nvf/saBAwdYu3YtoaGhPPHEE+Tk5JCfn8/u3bvx8vIyPaUuNTW1\nJpoqhKjnai1BREVFsWrVKhRFITAwkODgYLPlO3bsYPv27Wi1WhwdHZkwYQItW7a8rW2W902/pu7F\n5OvrS2JiIleuXCEpKQk3Nzc8PDx44403+PHHH9FoNFy5coVr167h4eFhdb1HjhzhmWeeAaBdu3a0\nbNmSCxcucP/99/Phhx+SkJDAo48+Stu2benYsSNvvfUWc+fOJSgoiF69elV7O4UQ9V+tjEEoikJY\nWBgzZ85kyZIlHDp0iEuXLpmV6devH4sWLeK9995j+PDh/Pe//62N0GrEkCFD2LJlC99++y3Dhg1j\n48aNJCUlsXXrVnbu3Im7u7vF50BUxV/+8hdWrVqFo6MjY8aM4eDBg3h7e7Nt2zY6duzIu+++y5Il\nS6plW0KIhqVWEkRMTAxeXl54enqi1+vx9/cvdV+h4ncMzcrKqtThlzvNsGHD+N///seWLVsYMmQI\naWlpuLu7Y2dnZzE5WuOBBx5g06ZNQMHT4y5fvoy3tzcXL16kdevWhIaGMnjwYM6ePcuVK1dwcnJi\nxIgRPP/88/z888/V3UQhRANQK4eYkpOTMRqNpmmj0Uh0dHSpctu2bWPLli3k5eXx+uuvW6wrIiKC\niIgIABYsWGD2vAWAP//8E73eumZZW66yOnfuTHp6Os2bN+euu+5i1KhRjBkzhsDAQLp164aPjw86\nnc60/bLi0Ol0puWhoaFMnz6dwMBA9Ho9H374IY0aNWLLli189dVX6PV6PDw8mDJlClFRUbz55pto\ntVrs7Ox45513KtxWWRwcHEq9x3WJXq+v0/FXhbS5YaiNNtfK8yB++OEHoqKieP755wHYv38/0dHR\nhIaGWix/8OBBoqKimDRpUoV1y/MgrCfPg2gYpM0NQ715HoTBYCApKck0nZSUVO7jLS0dghJCCFG7\nauUQk7e3NwkJCVy9ehWDwUBkZCSTJ082K5OQkEDz5s0BOH78uOl1Q3D27NlS74eDgwObN2+2UURC\nCFFLCUKn0xESEsLcuXNRFIWAgABatWpFeHg43t7e+Pn5sW3bNn7++Wd0Oh0uLi688MILtRHaHaFT\np07s3LnT1mEIIYQZeSZ1AyJjEA2DtLlhqDdjEEIIIeoeSRBCCCEskgQhhBDCIkkQ1SwlJYXVq1dX\ner0xY8aQkpJS/QEJIUQV1eu7uf5yPIPUG/kWl1X1dt+uTXT49ih70DY1NZU1a9aY7uZaJC8vr9yr\nmIvuvCqEEHeKep0gbGHevHlcvHiRhx9+GDs7OxwcHHBzcyMmJoaDBw8SEhJCfHw82dnZhIaGMnr0\naAB69erF1q1bSU9PZ/To0TzwwAMcPXoULy8vVq5ciZOTk8XtrVu3jnXr1pGTk8M999zDhx9+iJOT\nE9euXePf//43Fy9eBGD+/Pn06dOHDRs2sGzZMqDg9NqPPvqodt4YIUSdI6e5VrO4uDjGjRvH7t27\niYyMZOzYsezevZu7774bgOvXr9O0aVMyMzN5/PHH+eqrrzAYDGYJom/fvnz//ff4+voyYcIEBg0a\nxIgRIyxuLzk52XRV+jvvvEOzZs0ICQnh+eef5/777+cf//gH+fn5pKenc/XqVcaPH8+3336LwWAw\nxVIeOc217pE2Nwy1cZqr9CBqWLdu3UzJAWDlypVs3boVKEhusbGxpW470qpVK3x9fQHo0qULcXFx\nZdZ/7tw53n33XVJTU0lPT+ehhx4C4NChQ3zwwQdAwYWKrq6ubNy4kSFDhpi2V1FyEEI0bJIgaljx\nb9+RkZEcOHCA7777DicnJ0aOHGnxuRAODg6m1zqdjqwsy49NBZgyZQphYWF07tyZ8PBwDh8+XL0N\nEEI0WHIWUzVr1KgRN2/etLgsLS0NNzc3nJyciImJ4fjx47e9vZs3b+Lp6Ulubq7peRFQ8ACmNWvW\nAJCfn09qair9+vVj8+bNJCcnAwWHu4QQoizSg6hmBoOBnj17MnDgQBwdHc3u1z5gwADWrl3LQw89\nhLe3Nz169Ljt7U2dOpUhQ4ZgNBrp3r27KTm99dZbTJs2jfXr16PVapk/fz69e/dm8uTJjBw5Eq1W\ni6+vL++///5txyCEqJ9kkLoBkXsxNQzS5oZB7sUkhBDCZhrkISY1LYW8tBRUAI0GNNrC3yV/LM2v\noKy2xHw01fJ87ZkzZ5Z6iNKzzz7LU089ddt1CyGEJQ0yQaDTg70DKPmgqgU/+QpQ+FopfK0UTnM7\nR+E0qOUlGe2tRIK27IQ0d8Z0i+ur2VllJq/qSExCiIarQSYIjXMj9K5uVh2PNw3RqMqtZKKWSCRq\nsWRi+ilZ3sL6pvXyLSwrLH8b1BKJI0+rrXSvSUm8hpJwEezs0djZg5092NkV/rYH++LzHAp+6/SS\nnISoBxpkgqgM045Oo6v1batlJQ2r5luYB5XvNf0ejbq+4NYcVqcrjdY8idjZFfTY9HZmSUVTMtmY\n/dgVlNPbo7GUhEy/7U3lsLNDo5VhNSGqS60liKioKFatWoWiKAQGBhIcHGy2fPPmzezatct01e8/\n//lPmjVrVlvh3ZE0pnGM6mHtWUzFe02aJs3QdusJuTmQmws52ZCXCzk5kJuDmptza1luduHvnFs/\nOQXL1Lwc0zpkZUJaCmrJsrk5YCG+SvWj9HqzRJPo6Ei+Vlcq+WiKEkxR8tEXJS7z5KMp3lMqkeDM\nkpn0mkQ9VCsJQlEUwsLCmDVrFkajkRkzZuDn50fLli1NZdq0acOCBQtwcHBgx44dfP7550yZMqU2\nwhMlFO81aezt0Tg3KbtsNW9bVZSCJFM8oZgln1tJSM3JKSiXm1usrPk6eq2W/Jtpt+anpUBeLmpO\nduntWDikV+leU7HejKnXVCyhSK9J1CW1kiBiYmLw8vLC09MTAH9/f44cOWKWIIruPQTg4+PDgQMH\naiM0m/Px8SE6OtrWYdwxNFotODgU/DSqoKwV9TWx8lxxVVUhP6+MHlBOxb0mU7Iq1msq3qOq1V6T\nE/larXnysbdHoy+WhEompvJ6TfYOlpOaTie9pnquVhJEcnIyRqPRNG00GsvdKe7evZtu3bpZXBYR\nEUFERAQACxYsMLtSGeDPP/80PXdhz549XLt27XbDN9OsWTMCAgKqtc7ynhNR3Sq7LQcHh1LvcV2i\n1+vv+PgLek0FPSI1J7uwd1P0OqfYdOG83GzIzkYtTFZqtnl5TV4u+dlZULR+VjqkXi9ct6C8mptT\ncLjwdnpNhUlIY+9Q0NMsfI194Tw7e7B3ML0uKoedPRoHB/Pydg63lpvKFy43lS+2foleU134O1e3\n2mjzHTdIvX//fi5cuMAbb7xhcXlQUBBBQUGm6ZLfDrOzs9HpCgaUVVUt86FAVX1gkKqq5R7Hnzdv\nHi1atDA9MGjRokXodDoiIyNJSUkhLy+PadOmMXjwYNM6ZdWXnp7OM888Y3E9S891sPQMiJ49e5rq\nq8qV1NnZ2XX6CtW6d4WtBuwcC36qeAF7eW0uPKEaKNlrKtbbySl5qK54r6nY/GK9JjUnB7VUrym1\nVD3l9ZoqRa836/XoinpNJU6G0JiNLZVxWK+O9prqze2+DQYDSUlJpumkpKRSt7gGOHXqFJs2beKN\nN97Azs7utrfbv39/i/Mzc/PJyi/85qYB0Jh9cNDceq0xmy7492Z2vsUyAIMefZw5b73JX/8+FjTw\n7bffsXrt54we9wyujRuTfD2ZJ4YPIyAwCG3hf7Q8RbVYl729PWFhYTRu3Jjk5GSGDh3KoEGDOH/+\nPB988IHZcx0AXnvtNXr37k1YWJjpGRBClEWj0RTsDPV24FR+Nqr+saZ8yM0rMdZU+tCdajrEd+vQ\nnaWTIfQaDfnpN28luKyUYomtRHKqzrEm00kOZY01OZiXt7M3OxlCUzIJmY1hFZuvt81YU60kCG9v\nbxISErh69SoGg4HIyEgmT55sViY2NpYVK1Ywc+ZM3NzcajSerDyVpIzcGqm7yd3t+fNaIlExf3Dj\nejKOLo3Jtndl0Zy5nDx2BK1WS8KVK5z47TJG92aoKvx+3fLtvPNyc/n4vVvrxSckcCT6Ent37KVf\n0COk4EzK9Sw0OJFyPYsDBw/xylvvcPFGduEH2oGUlFu3E9dqclBV1XRilAbTC/MExa2Tpy4nZXD4\nSgo6jQatBrSWfmtLzy9ZXqcta/2isoXT2lvzy6xTa3kbln5n5ynkKappWtwZNFodOOgqHGuy9i9W\ntbGm2+g1FTuBwvJYU4mz/qptrOlWzyZzzD+h8/2VqaHSaiVB6HQ6QkJCmDt3LoqiEBAQQKtWrQgP\nD8fb2xs/Pz8+//xzsrKyWLx4MVDQfZo+fXqNxNPUSY+7iwN5eXm3/kDqrT+W6XexbxpqiTLm81Sz\n6aFDhnBi/06uJV5j+LBh/LTre7LSbvC/zd+jt9MT+GBfXHX5NGtkBxpwb2RnqvjWFQgq33y1iYzU\n62z432b0dnY8OqAv9moujnot9jotjRx0oKpmMTnotNjrNOZtKYy7aP9ouiSiaEvFLnso2nbReskZ\neRy5dBNFhXxVRVFBKfW7Em9+rTtvNlUygehKJiNt0byKk0/5ia9kUivaXtkJsGSyLSsBWtpm8Zib\npGq5mXaz2pKtzsIXgLqabO+IXlNZp4MXnpGnltOjKj5f19RY8UZvU62NQfTo0aPU7a2L30fotdde\nq61QgIL/KBqNxuywkoVSVap7xF+GM3XqVJKTk/n666/57rvv8PJohsHFkUOHDhF/+RIuDnrcHPVo\ngCaOlv8MSnYGLTw98HJzLlzvMkZnOwYP7E9oaCgvvfC82aND+z/Yj+0b15s9ZtTV1dVUX1XGIDwc\nXAnq5FVuGbVYoihKGhaTiWIpuZQor5SzfuHvfIv1WK7TycmZtJvpFdZZft0l6y32WlHJUUFRlfLr\ntqJd1ZdsL1dHJRUqM9lqNcUS0e0nWbOkZjGBgrNzKjlZmaWSbUW9zIqSbXk9W7OebwXJ1lSnVo/W\n0Q6tU9nJ1tq9jr27O9Tw+NodN0hdH3To0IH09HTTqb1PPPEE48aNIzAwkC5dutCuXTur6ilrvQ4d\nOlh8roOlZ0D4+fnVZFOBgmSr00DBqQF31jfLujZIXTLZ5peVAC0ksqKyrq5uJN+4UW5Syi+nHotJ\nUSkjoVcxyZolW0UtXM+6ZFsyFkVVUUkjXym5nq3/mtazptdWMnH9o69KN0PNft7keRANiDwPomGQ\nNhdQy0ig5SXbMhNfGck2v4x6LCXbgrJF5SrepqVEWPz3yB5307ZRfpXerzvqLCYhhKhtt3q2d1av\ntrq4uzet8S8CkiDuAGfPni11VpeDgwObN2+2UURCCFEPE0RdPGLWqVMndu7caeswLKqL76cQonrU\nu7t8abXaBje2UFPy8vLQyo3ghGiw6l0PwtHRkaysLLKzs8u9JN7BwYHs7Owyl9dHlWmzqqpotVoc\nHR1rOCohxJ2q3iUIjUaDk5NTheXkTA8hhCifHD8QQghhkSQIIYQQFkmCEEIIYVGdv5JaCCFEzWiw\nPYh///vftg6h1kmbGwZpc8NQG21usAlCCCFE+SRBCCGEsEj3RlkPf24A2rZta+sQap20uWGQNjcM\nNd1mGaQWQghhkRxiEkIIYZEkCCGEEBbVu3sxlRQVFcWqVatQFIXAwECCg4PNlufm5vLxxx9z4cIF\nGjduzEsvvYSHh4eNoq0eFbV58+bN7Nq1C51Oh6urK//85z9p1qyZjaKtHhW1ucgPP/zA4sWLmT9/\nPt7e3rUcZfWyps2RkZFs2LABjUZD69atefHFF20QafWpqM2JiYksXbqU9PR0FEXh6aefpkePHjaK\n9vb95z//4fjx47i5ubFo0aJSy1VVZdWqVZw4cQIHBwcmTpxYveMSaj2Wn5+vTpo0Sb1y5Yqam5ur\nvvrqq2pcXJxZmW3btqnLli1TVVVVDx48qC5evNgWoVYba9r8888/q1lZWaqqqur27dsbRJtVVVUz\nMjLU119/XZ05c6YaExNjg0irjzVtjo+PV6dOnaqmpaWpqqqqN27csEWo1caaNn/66afq9u3bVVVV\n1bi4OHXixIm2CLXanD59Wv3tt9/Ul19+2eLyY8eOqXPnzlUVRVHPnTunzpgxo1q3X68PMcXExODl\n5YWnpyd6vR5/f3+OHDliVubo0aMMGDAAgN69e/PLL7/U6YfkWNNmX19fHBwcAPDx8SE5OdkWoVYb\na9oMEB4ezvDhw7Gzs7NBlNXLmjbv2rWLwYMH4+LiAoCbm5stQq021rRZo9GQkZEBFDxPvWnTprYI\ntdrce++9pr+fJUePHqV///5oNBrat29Peno6169fr7bt1+sEkZycjNFoNE0bjcZSO8PiZXQ6Hc7O\nzqSlpdVqnNXJmjYXt3v3brp161YbodUYa9p84cIFEhMT6/ThhuKsaXN8fDwJCQm89tpr/N///R9R\nUVG1HWa1sqbNo0aN4sCBAzz//PPMnz+fkJCQ2g6zViUnJ+Pu7m6arujzXln1OkGI8u3fv58LFy4w\nbNgwW4dSoxRFYc2aNYwdO9bWodQqRVFISEhg9uzZvPjiiyxbtoz09HRbh1WjDh06xIABA/j000+Z\nMWMGH330EYqi2DqsOqteJwiDwUBSUpJpOikpCYPBUGaZ/Px8MjIyaNy4ca3GWZ2saTPAqVOn2LRp\nE9OmTavzh1wqanNWVhZxcXG8+eabvPDCC0RHR/Puu+/y22+/2SLcamHt/20/Pz/0ej0eHh40b96c\nhISE2g612ljT5t27d9OnTx8A2rdvT25ubp0+IlARg8Fg9hCwsj7vVVWvE4S3tzcJCQlcvXqVvLw8\nIiMj8fPzMytz//33s3fvXqDgDJfOnTuX+6jSO501bY6NjWXFihVMmzatzh+Xhorb7OzsTFhYGEuX\nLmXp0qX4+Pgwbdq0On0WkzV/5wceeIDTp08DkJqaSkJCAp6enrYIt1pY02Z3d3d++eUXAC5dukRu\nbi6urq62CLdW+Pn5sX//flRV5fz58zg7O1fruEu9v5L6+PHj/Pe//0VRFAICAnjiiScIDw/H29sb\nPz8/cnJy+Pjjj4mNjcXFxYWXXnqpTn+IoOI2v/322/zxxx80adIEKPhQTZ8+3cZR356K2lzcG2+8\nwZgxY+p0goCK26yqKmvWrCEqKgqtVssTTzxB3759bR32bamozZcuXWLZsmVkZWUBMHr0aLp27Wrj\nqKvu/fff58yZM6SlpeHm5saTTz5JXl4eAIMGDUJVVcLCwjh58iT29vZMnDixWv9f1/sEIYQQomrq\n9SEmIYQQVScJQgghhEWSIIQQQlgkCUIIIYRFkiCEEEJYJAlCiFry5JNPcuXKFVuHIYTV6v3tvoWw\n5IUXXuDGjRtotbe+Iw0YMIDQ0FAbRmXZ9u3bSUpK4umnn2b27NmEhITQunVrW4clGgBJEKLBmj59\nOl26dLF1GBW6cOECPXr0QFEULl++TMuWLW0dkmggJEEIUcLevXvZtWsXbdq0Yf/+/TRt2pTQ0FDu\nu+8+oOAOmitWrODXX3/FxcWF4cOHExQUBBTcIO+bb75hz549pKSk0Lx5c6ZOnWq64+apU6eYN28e\nqamp9OvXj9DQ0Apv7XLhwgVGjhxJfHw8zZo1Q6fT1ewbIEQhSRBCWBAdHU2vXr0ICwvjp59+YuHC\nhSxduhQXFxc++OADWrVqxbJly4iPj+ftt9/Gy8sLX19fNm/ezKFDh5gxYwbNmzfn4sWLpmdvQMGt\nIubPn09mZibTp0/Hz8/P4u3Wc3Nz+cc//oGqqmRlZTF16lTy8vJQFIXx48czbNgwnnjiidp8S0QD\nJAlCNFjvvfee2bfx0aNHm3oCbm5uPP7442g0Gvz9/fnuu+84fvw49957L7/++iv//ve/sbe3p02b\nNgQGBrJv3z58fX3ZtWsXo0ePpkWLFgC0adPGbJvBwcE0atSIRo0a0blzZ37//XeLCcLOzo7Vq1ez\na9cu4uLiGD9+PHPmzOGvf/0r7dq1q7k3RYhiJEGIBmvq1KlljkEYDAazQz/NmjUjOTmZ69ev4+Li\ngpOTk2mZu7u76dbhSUlJ5d7ssegGiQAODg6mm8qV9P777xMVFUV2djZ2dnbs2bOHrKwsYmJiaN68\nOfPnz69UW4WoCkkQQliQnJyMqqqmJJGYmIifnx9Nmzbl5s2bZGZmmpJEYmKi6R78RqORP//8k7vv\nvvu2tv/SSy+hKArPPUbvpXsAAAEmSURBVPccy5cv59ixYxw+fJjJkyffXsOEqAS5DkIIC1JSUti6\ndSt5eXkcPnyYy5cv0717d9zd3enQoQNffPEFOTk5XLx4kT179vDggw8CEBgYSHh4OAkJCaiqysWL\nF6v8wJrLly/j6emJVqslNja2zt+eXNQ90oMQDdY777xjdh1Ely5dmDp1KgA+Pj4kJCQQGhpKkyZN\nePnll01PGnzxxRdZsWIFEyZMwMXFhVGjRpkOVQ0ZMoTc3FzmzJlDWload911F6+++mqV4rtw4QL3\n3HOP6fXw4cNvp7lCVJo8D0KIEopOc3377bdtHYoQNiWHmIQQQlgkCUIIIYRFcohJCCGERdKDEEII\nYZEkCCGEEBZJghBCCGGRJAghhBAWSYIQQghh0f8HHTAeeVWoaPAAAAAASUVORK5CYII=\n",
            "text/plain": [
              "<Figure size 432x288 with 1 Axes>"
            ]
          },
          "metadata": {
            "tags": []
          }
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "AT8ov2khfs_h",
        "colab_type": "text"
      },
      "source": [
        "## Model training with NSL and evaluation\n",
        "\n",
        "Example taken from: https://www.tensorflow.org/neural_structured_learning/tutorials/adversarial_keras_cnn_mnist"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "iiqT7GrwdsBj",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "model = get_model(nsl=True)\n",
        "adv_config = nsl.configs.make_adv_reg_config(multiplier=0.2, adv_step_size=0.05)\n",
        "adv_model = nsl.keras.AdversarialRegularization(model, adv_config=adv_config)\n",
        "adv_model.compile(optimizer='adam',\n",
        "              loss='binary_crossentropy',\n",
        "              metrics=['accuracy'])"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "2Mp9DQzXJ79j",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# start = time.time()\n",
        "# h = adv_model.fit({'feature': X_train, 'label': y_train},\n",
        "#                   validation_data=(X_val, y_val),\n",
        "#                   batch_size=128, epochs=2, verbose=1)\n",
        "# print(\"Took {0:.2f} seconds\".format(time.time() - start))"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "iB-4ztQWE6Pm",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# start = time.time()\n",
        "# h = adv_model.fit({'feature': X_train, 'label': y_train},\n",
        "#                   validation_data={'feature': X_val, 'label': y_val},\n",
        "#                   batch_size=128, epochs=2, verbose=1)\n",
        "# print(\"Took {0:.2f} seconds\".format(time.time() - start))"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "QvADfA1LmUOr",
        "colab_type": "text"
      },
      "source": [
        "The `validation_data` argument does not seem to play nice. I have propagated this a [GitHub issue](https://github.com/tensorflow/tensorflow/issues/32279). Will update accordingly. "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "fnZ1Zi_QIPbE",
        "colab_type": "code",
        "outputId": "91c48d77-8926-4be1-f9f0-1d8b5d635805",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 156
        }
      },
      "source": [
        "start = time.time()\n",
        "history = adv_model.fit({'feature': X_train, 'label': y_train},\n",
        "                  batch_size=128, epochs=2, verbose=1)\n",
        "print(\"Took {0:.2f} seconds\".format(time.time() - start))"
      ],
      "execution_count": 25,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "WARNING:tensorflow:Output output_1 missing from loss dictionary. We assume this was done on purpose. The fit and evaluate APIs will not be expecting any data to be passed to output_1.\n",
            "Train on 42500 samples\n",
            "Epoch 1/2\n",
            "42500/42500 [==============================] - 75s 2ms/sample - loss: 0.2727 - binary_crossentropy: 0.2236 - binary_accuracy: 0.9157 - adversarial_loss: 0.2461\n",
            "Epoch 2/2\n",
            "42500/42500 [==============================] - 71s 2ms/sample - loss: 0.2267 - binary_crossentropy: 0.1852 - binary_accuracy: 0.9280 - adversarial_loss: 0.2083\n",
            "Took 151.16 seconds\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "LfYzjvSujI16",
        "colab_type": "code",
        "outputId": "a87f18de-9cc1-4011-c8d1-a934bdf4f6c2",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 71
        }
      },
      "source": [
        "# Third one is the accuracy\n",
        "adv_model.evaluate({'feature': X_test, 'label': y_test})"
      ],
      "execution_count": 26,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "\r10000/1 [================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================] - 25s 3ms/sample - loss: 0.2109 - binary_crossentropy: 0.1776 - binary_accuracy: 0.9303 - adversarial_loss: 0.2050\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[0.21867283773422241, 0.17764342, 0.9303297, 0.20502284]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 26
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "lzimIn8Noh1_",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 306
        },
        "outputId": "e30cef44-6ac0-4cd6-f2ac-8bb28dd01c26"
      },
      "source": [
        "probabilities = adv_model.predict({'feature': X_test, 'label': y_test})\n",
        "print(classification_report(np.argmax(y_test, axis=1), np.argmax(probabilities, axis=1),\n",
        "                           target_names=labels))"
      ],
      "execution_count": 27,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "              precision    recall  f1-score   support\n",
            "\n",
            "    airplane       0.68      0.67      0.67      1000\n",
            "  automobile       0.63      0.71      0.67      1000\n",
            "        bird       0.59      0.47      0.52      1000\n",
            "         cat       0.47      0.42      0.44      1000\n",
            "        deer       0.57      0.58      0.57      1000\n",
            "         dog       0.54      0.54      0.54      1000\n",
            "        frog       0.62      0.71      0.66      1000\n",
            "       horse       0.68      0.63      0.66      1000\n",
            "        ship       0.70      0.73      0.72      1000\n",
            "       truck       0.63      0.66      0.65      1000\n",
            "\n",
            "    accuracy                           0.61     10000\n",
            "   macro avg       0.61      0.61      0.61     10000\n",
            "weighted avg       0.61      0.61      0.61     10000\n",
            "\n"
          ],
          "name": "stdout"
        }
      ]
    }
  ]
}