Testing_different_models.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "provenance": [],
      "mount_file_id": "1exvCcF0P25iDbgZ7XyvfCgJSS6SfVyY6",
      "authorship_tag": "ABX9TyNE/jQUXT2TBoxBQnfVJ/yj",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    },
    "widgets": {
      "application/vnd.jupyter.widget-state+json": {
        "aaa73ad47c5f441eb104a5016f27213d": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_c2f842fb293f4a8da67ca87bae2a61c9",
              "IPY_MODEL_283e5a48ae6441d0842eb9fcebfbaf18",
              "IPY_MODEL_c7f19b79b943478aa7a89c4ccdd43367"
            ],
            "layout": "IPY_MODEL_dd00e5508eb34ba8a34c2209e2e57fc8"
          }
        },
        "c2f842fb293f4a8da67ca87bae2a61c9": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_d5d7975a4eb04adaa6139008a0d10a74",
            "placeholder": "​",
            "style": "IPY_MODEL_f40ec6c316ce47438ad7fd1ba14e9e65",
            "value": "config.json: 100%"
          }
        },
        "283e5a48ae6441d0842eb9fcebfbaf18": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_1a968755205e4125b398ba15cf515bd5",
            "max": 1022,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_e45e685e0acd432e9d024d32dbdad85f",
            "value": 1022
          }
        },
        "c7f19b79b943478aa7a89c4ccdd43367": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_94f64b7ea6e14259b3c311a260ca4c78",
            "placeholder": "​",
            "style": "IPY_MODEL_8ac57fa6e210486bad35699b22db4507",
            "value": " 1.02k/1.02k [00:00&lt;00:00, 22.0kB/s]"
          }
        },
        "dd00e5508eb34ba8a34c2209e2e57fc8": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "d5d7975a4eb04adaa6139008a0d10a74": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "f40ec6c316ce47438ad7fd1ba14e9e65": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "1a968755205e4125b398ba15cf515bd5": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "e45e685e0acd432e9d024d32dbdad85f": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "94f64b7ea6e14259b3c311a260ca4c78": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "8ac57fa6e210486bad35699b22db4507": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "fe22d7922af44556b01567a614df0c08": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_5ba7f73f6dda4cef9ea9b6750c922c25",
              "IPY_MODEL_b007dff31b604ac2a8dcd5499b98c179",
              "IPY_MODEL_66f2553f42474cc3b2396b9c5169b209"
            ],
            "layout": "IPY_MODEL_09ab3549b25a4ed28b2c0a1192134b07"
          }
        },
        "5ba7f73f6dda4cef9ea9b6750c922c25": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_0aafc91a52514f4e9c6daebebdd8af1d",
            "placeholder": "​",
            "style": "IPY_MODEL_6869fc205ec149b3a08827c2de2e0684",
            "value": "pytorch_model.bin: 100%"
          }
        },
        "b007dff31b604ac2a8dcd5499b98c179": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_5ad001bea23b468ba7b023ccc3386c2a",
            "max": 66708541,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_ebdf97cdf6b44da2853fc764da161686",
            "value": 66708541
          }
        },
        "66f2553f42474cc3b2396b9c5169b209": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_4822a3a9767b4b679d7e0acc60a07456",
            "placeholder": "​",
            "style": "IPY_MODEL_06e2fc833aad426f93c51859d07c1c2d",
            "value": " 66.7M/66.7M [00:00&lt;00:00, 80.7MB/s]"
          }
        },
        "09ab3549b25a4ed28b2c0a1192134b07": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "0aafc91a52514f4e9c6daebebdd8af1d": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "6869fc205ec149b3a08827c2de2e0684": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "5ad001bea23b468ba7b023ccc3386c2a": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "ebdf97cdf6b44da2853fc764da161686": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "4822a3a9767b4b679d7e0acc60a07456": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "06e2fc833aad426f93c51859d07c1c2d": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "b8ec73f65f264685a62a4a363b817fcf": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_4ce9094d84774ff9800e8bfddba348c5",
              "IPY_MODEL_e492f955f17446a0a21bb3508ef8ab47",
              "IPY_MODEL_803e6450e5814c9498bf05bab7a8366f"
            ],
            "layout": "IPY_MODEL_91d1366f80a44a58a786355a5f5b5515"
          }
        },
        "4ce9094d84774ff9800e8bfddba348c5": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_31adad93da72440d8f9eb4fb97886099",
            "placeholder": "​",
            "style": "IPY_MODEL_d8705b02f0bf41609b85a40b13033f63",
            "value": "tokenizer_config.json: 100%"
          }
        },
        "e492f955f17446a0a21bb3508ef8ab47": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_7c7fe31e60eb46c4ad7aa6b4bdc06d83",
            "max": 727,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_a84b1810b7e94db595762245eeb8f35f",
            "value": 727
          }
        },
        "803e6450e5814c9498bf05bab7a8366f": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_53872077da1b40948eeac7542a14021e",
            "placeholder": "​",
            "style": "IPY_MODEL_bd88a44846ab42c8b324d1c79b30cbcc",
            "value": " 727/727 [00:00&lt;00:00, 10.6kB/s]"
          }
        },
        "91d1366f80a44a58a786355a5f5b5515": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "31adad93da72440d8f9eb4fb97886099": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "d8705b02f0bf41609b85a40b13033f63": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "7c7fe31e60eb46c4ad7aa6b4bdc06d83": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "a84b1810b7e94db595762245eeb8f35f": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "53872077da1b40948eeac7542a14021e": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "bd88a44846ab42c8b324d1c79b30cbcc": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "e2ca2e01e7ed494199d78af8f8c281b1": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_4a1efaa484714b91af5ddbc1df085d8b",
              "IPY_MODEL_9af8da6a03944742a442bc18ae2dac58",
              "IPY_MODEL_0cffc2bfa87743caadcdf558ad95e30b"
            ],
            "layout": "IPY_MODEL_5ed06d98591a446bb6f87d948bd02bdf"
          }
        },
        "4a1efaa484714b91af5ddbc1df085d8b": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_fff8423bbde643b9ac42eb8475ea66bc",
            "placeholder": "​",
            "style": "IPY_MODEL_9ec94736ec824e009e871d7641b8e70b",
            "value": "vocab.json: 100%"
          }
        },
        "9af8da6a03944742a442bc18ae2dac58": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_61b8860d9f1d43daa8930b96399e0509",
            "max": 898669,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_43d922c7a859430a9153cb226a6274c3",
            "value": 898669
          }
        },
        "0cffc2bfa87743caadcdf558ad95e30b": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_82145a85608840fba8877820f40aa07b",
            "placeholder": "​",
            "style": "IPY_MODEL_0cb01440c2db44c88718698e3eadaab3",
            "value": " 899k/899k [00:00&lt;00:00, 12.7MB/s]"
          }
        },
        "5ed06d98591a446bb6f87d948bd02bdf": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "fff8423bbde643b9ac42eb8475ea66bc": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "9ec94736ec824e009e871d7641b8e70b": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "61b8860d9f1d43daa8930b96399e0509": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "43d922c7a859430a9153cb226a6274c3": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "82145a85608840fba8877820f40aa07b": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "0cb01440c2db44c88718698e3eadaab3": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "1a04f4952ab34015af0fe1df69132c4c": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_489cb14b500c4181940312a0bc6603f1",
              "IPY_MODEL_45e200ea0f144092bd5a7b737d082320",
              "IPY_MODEL_072a9b621c6e4b60ac4399f57a62b42e"
            ],
            "layout": "IPY_MODEL_3b3e246bdedf4221aada668054150b36"
          }
        },
        "489cb14b500c4181940312a0bc6603f1": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_63a2061a1ac84b61b44f17127704cd76",
            "placeholder": "​",
            "style": "IPY_MODEL_b9cfd06163074818a5a52b8556dbbdc4",
            "value": "merges.txt: 100%"
          }
        },
        "45e200ea0f144092bd5a7b737d082320": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_00d4ffbcf3ac423d927a8747b87496a2",
            "max": 456318,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_ed5f13713e004fc4949e24a939ecb29e",
            "value": 456318
          }
        },
        "072a9b621c6e4b60ac4399f57a62b42e": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_4d15239cfc9c4cba92bb40a8acb12345",
            "placeholder": "​",
            "style": "IPY_MODEL_49d881a719be4f2f83cbd2587e260d82",
            "value": " 456k/456k [00:00&lt;00:00, 12.0MB/s]"
          }
        },
        "3b3e246bdedf4221aada668054150b36": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "63a2061a1ac84b61b44f17127704cd76": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "b9cfd06163074818a5a52b8556dbbdc4": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "00d4ffbcf3ac423d927a8747b87496a2": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "ed5f13713e004fc4949e24a939ecb29e": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "4d15239cfc9c4cba92bb40a8acb12345": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "49d881a719be4f2f83cbd2587e260d82": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "b99b3417ea69498ab44c7b9a35c1f982": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_57ef0487fdbc43a487669e270958a61d",
              "IPY_MODEL_0ddea6f4058540cdaf792398dce2ba12",
              "IPY_MODEL_5e37a6f0366947cd8a1d5202a32cf31a"
            ],
            "layout": "IPY_MODEL_3cf3d135e55444e3ae1399af6729a22d"
          }
        },
        "57ef0487fdbc43a487669e270958a61d": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_07b47ec2de8d4bda90cf23280f834d53",
            "placeholder": "​",
            "style": "IPY_MODEL_3d488a18601c40679abf48c1ab1eff8b",
            "value": "tokenizer.json: 100%"
          }
        },
        "0ddea6f4058540cdaf792398dce2ba12": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_a120a10407a64c38953be93e1b095315",
            "max": 2107652,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_b5fbd89c3a5c41488256a13ec5bf8b99",
            "value": 2107652
          }
        },
        "5e37a6f0366947cd8a1d5202a32cf31a": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_4f0c541331054672b2e3666148c21f65",
            "placeholder": "​",
            "style": "IPY_MODEL_d1810f56cc8447bbbe3b56f9c8218301",
            "value": " 2.11M/2.11M [00:00&lt;00:00, 25.1MB/s]"
          }
        },
        "3cf3d135e55444e3ae1399af6729a22d": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "07b47ec2de8d4bda90cf23280f834d53": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "3d488a18601c40679abf48c1ab1eff8b": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "a120a10407a64c38953be93e1b095315": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "b5fbd89c3a5c41488256a13ec5bf8b99": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "4f0c541331054672b2e3666148c21f65": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "d1810f56cc8447bbbe3b56f9c8218301": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "441eb01568b0460e88e9ad9ce58759a7": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_22a5c5560ba44877a878368be798e152",
              "IPY_MODEL_040de586698d4e54bb87045649ed719f",
              "IPY_MODEL_83781d83f5274c38b65e068266a426d1"
            ],
            "layout": "IPY_MODEL_2f702221adae4dc99cc45f0c365b84f4"
          }
        },
        "22a5c5560ba44877a878368be798e152": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_6290fa8f3cff45ab9294388b84bda823",
            "placeholder": "​",
            "style": "IPY_MODEL_c55dedeeabba4339ba5ef7d572a9f609",
            "value": "special_tokens_map.json: 100%"
          }
        },
        "040de586698d4e54bb87045649ed719f": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_6ae1dda5876543f397e47ac235d3e3de",
            "max": 357,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_adce1841bdbe4d08a84e51bd2294cd2d",
            "value": 357
          }
        },
        "83781d83f5274c38b65e068266a426d1": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_f97e42b7bbf6482d89d6b9c9b0922648",
            "placeholder": "​",
            "style": "IPY_MODEL_65f0aaa2c6c342c5a540d18d948a3824",
            "value": " 357/357 [00:00&lt;00:00, 5.19kB/s]"
          }
        },
        "2f702221adae4dc99cc45f0c365b84f4": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "6290fa8f3cff45ab9294388b84bda823": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "c55dedeeabba4339ba5ef7d572a9f609": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "6ae1dda5876543f397e47ac235d3e3de": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "adce1841bdbe4d08a84e51bd2294cd2d": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "f97e42b7bbf6482d89d6b9c9b0922648": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "65f0aaa2c6c342c5a540d18d948a3824": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "de6b5426f0434e72a622797b930f561b": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_272de4c9f66744609d00d1a40bab9fd6",
              "IPY_MODEL_b3f6928eceaa406997cdcd3280a23dd5",
              "IPY_MODEL_fd5e2401538444dda008c87e2a199b09"
            ],
            "layout": "IPY_MODEL_6f0211117b88467d9c545f1aa9d98b04"
          }
        },
        "272de4c9f66744609d00d1a40bab9fd6": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_3acfa82ff0784a2ea43b67a433eb5cb2",
            "placeholder": "​",
            "style": "IPY_MODEL_87398082a7df4f22a4453bd4e51ba28c",
            "value": "config.json: 100%"
          }
        },
        "b3f6928eceaa406997cdcd3280a23dd5": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_34c0b950ce4a46b1af1c4a71e285ca69",
            "max": 865,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_c57f5dca24ff44a1ada54e8f22957a19",
            "value": 865
          }
        },
        "fd5e2401538444dda008c87e2a199b09": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_169edf99859745ca8e3e32accaa17d63",
            "placeholder": "​",
            "style": "IPY_MODEL_56888ab88b444456918ac2df1668ccb8",
            "value": " 865/865 [00:00&lt;00:00, 29.0kB/s]"
          }
        },
        "6f0211117b88467d9c545f1aa9d98b04": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "3acfa82ff0784a2ea43b67a433eb5cb2": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "87398082a7df4f22a4453bd4e51ba28c": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "34c0b950ce4a46b1af1c4a71e285ca69": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "c57f5dca24ff44a1ada54e8f22957a19": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "169edf99859745ca8e3e32accaa17d63": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "56888ab88b444456918ac2df1668ccb8": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "20a92a6c13994467b228b66fe9c2abad": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_7a3fe9bebd164f96a0da4e998e88ee30",
              "IPY_MODEL_a9f0c08269094a9f9e0ae46545af34ae",
              "IPY_MODEL_5d848732079c4815b2f402782d4c7d75"
            ],
            "layout": "IPY_MODEL_bf5556c47cbe49d7b7598c5142687b89"
          }
        },
        "7a3fe9bebd164f96a0da4e998e88ee30": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_1c08d39b443f4e9fa5c03a9b82b90cd0",
            "placeholder": "​",
            "style": "IPY_MODEL_64ec4ab04e304c1fae5a7c3a0aaca98e",
            "value": "tokenizer.json: 100%"
          }
        },
        "a9f0c08269094a9f9e0ae46545af34ae": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "FloatProgressModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_96aa8e71317543218c643b08d61912f7",
            "max": 1434580,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_805c234a504b460f88b98f47794b79b3",
            "value": 1434580
          }
        },
        "5d848732079c4815b2f402782d4c7d75": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "model_module_version": "1.5.0",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_ab29bbfa1c0a40b58532bc2dad690c3a",
            "placeholder": "​",
            "style": "IPY_MODEL_4a1ddea947dd4405a22ea7d59cc7cde6",
            "value": " 1.43M/1.43M [00:00&lt;00:00, 8.80MB/s]"
          }
        },
        "bf5556c47cbe49d7b7598c5142687b89": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "1c08d39b443f4e9fa5c03a9b82b90cd0": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "64ec4ab04e304c1fae5a7c3a0aaca98e": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "96aa8e71317543218c643b08d61912f7": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "805c234a504b460f88b98f47794b79b3": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "ab29bbfa1c0a40b58532bc2dad690c3a": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "model_module_version": "1.2.0",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "4a1ddea947dd4405a22ea7d59cc7cde6": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "model_module_version": "1.5.0",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        }
      }
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/Fjallripa/TinyStories/blob/main/Testing_different_models.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# Trying out inference on different transformers"
      ],
      "metadata": {
        "id": "VsLNzdnJdwlC"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "from transformers import GPTNeoForCausalLM, AutoTokenizer, AutoModelForCausalLM\n",
        "import matplotlib.pyplot as plt\n",
        "import numpy as np\n",
        "import torch\n",
        "import os\n",
        "\n",
        "device = \"cuda\" if torch.cuda.is_available() else \"cpu\"\n",
        "print(device)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "jciTKGUKXqhm",
        "outputId": "e499ecd8-ac71-402c-ae24-4b68c01430dc"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "cpu\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Our German models"
      ],
      "metadata": {
        "id": "p4qSfmny_hIx"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "tokenizer = AutoTokenizer.from_pretrained(\"dbmdz/german-gpt2\")\n",
        "\n",
        "prompt = \"Es war einmal\"\n",
        "input_ids = tokenizer.encode(prompt, return_tensors=\"pt\").to(device)\n",
        "attention_mask = torch.ones(input_ids.shape, device=device)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 81,
          "referenced_widgets": [
            "de6b5426f0434e72a622797b930f561b",
            "272de4c9f66744609d00d1a40bab9fd6",
            "b3f6928eceaa406997cdcd3280a23dd5",
            "fd5e2401538444dda008c87e2a199b09",
            "6f0211117b88467d9c545f1aa9d98b04",
            "3acfa82ff0784a2ea43b67a433eb5cb2",
            "87398082a7df4f22a4453bd4e51ba28c",
            "34c0b950ce4a46b1af1c4a71e285ca69",
            "c57f5dca24ff44a1ada54e8f22957a19",
            "169edf99859745ca8e3e32accaa17d63",
            "56888ab88b444456918ac2df1668ccb8",
            "20a92a6c13994467b228b66fe9c2abad",
            "7a3fe9bebd164f96a0da4e998e88ee30",
            "a9f0c08269094a9f9e0ae46545af34ae",
            "5d848732079c4815b2f402782d4c7d75",
            "bf5556c47cbe49d7b7598c5142687b89",
            "1c08d39b443f4e9fa5c03a9b82b90cd0",
            "64ec4ab04e304c1fae5a7c3a0aaca98e",
            "96aa8e71317543218c643b08d61912f7",
            "805c234a504b460f88b98f47794b79b3",
            "ab29bbfa1c0a40b58532bc2dad690c3a",
            "4a1ddea947dd4405a22ea7d59cc7cde6"
          ]
        },
        "id": "i-AA-zfNAvMH",
        "outputId": "82c4342e-fade-4ee6-a861-3ea524d5d895"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "config.json:   0%|          | 0.00/865 [00:00<?, ?B/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "de6b5426f0434e72a622797b930f561b"
            }
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "tokenizer.json:   0%|          | 0.00/1.43M [00:00<?, ?B/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "20a92a6c13994467b228b66fe9c2abad"
            }
          },
          "metadata": {}
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### model-1m-de-2024-03-22T20:26"
      ],
      "metadata": {
        "id": "upeIEIkUCxj6"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "model_directory = \"/content/drive/My Drive/genAI project/model-1m-de-2024-03-22T20:26:55.933894\"\n",
        "model = GPTNeoForCausalLM.from_pretrained(model_directory).to(device)\n",
        "\n",
        "\n",
        "output = model.generate(input_ids, max_length = 200, num_beams=2, temperature=0,\n",
        "                        attention_mask=attention_mask, pad_token_id = 50256,\n",
        "                        repetition_penalty=3.0, #do_sample=True,\n",
        "                        )\n",
        "output_text = tokenizer.decode(output[0], skip_special_tokens=True)\n",
        "print(output_text)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "f4mxWc1oCiXl",
        "outputId": "8b131879-40ce-4b4f-f21f-cbecaf7062bd"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/transformers/generation/configuration_utils.py:410: UserWarning: `do_sample` is set to `False`. However, `temperature` is set to `0` -- this flag is only used in sample-based generation modes. You should set `do_sample=True` or unset `temperature`.\n",
            "  warnings.warn(\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Es war einmal ein kleiner Junge namens Timmy. Timmy liebte es, mit seinen Freunden zu spielen. Eines Tages ging Timmys Mutter in den Park und sagte: \"Ich will nicht aufräumen.\" Timmy fragte ihn, ob er einen großen Baum besteigen könnte. Timmy dachte, was falsch sei. Timmy wollte auch helfen, aber er konnte nicht finden. Timmy fühlte sich traurig, weil er keine Angst hatte. Er wusste nicht, dass seine Mutter Recht hatte, dass er die Hilfe brauchte. Seine Mutter sagte ihm, sie solle vorsichtig sein, wenn man das Essen essen würde. Timmy lernte, dass manchmal wichtig ist, um Dinge zu kümmern.\n",
            " Einmal war da ein kleines Mädchen namens Lily. Sie liebte es, mit ihren Spielzeugen zu spielen. Eines Tages fand Lilys Mami ihr eine große Schachtel Spielzeugauto. Es war sehr hübsch aus dem Boden. Lily sah so glücklich und bat ihre Mami, wie der Laden zu reinigen. Ihre Mami sagte: „\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "output = model.generate(input_ids, max_length = 1000, num_beams=2, temperature=0,\n",
        "                        attention_mask=attention_mask, pad_token_id = 50256,\n",
        "                        repetition_penalty=3.0, length_penalty=1000.0, #do_sample=True,\n",
        "                        )\n",
        "output_text = tokenizer.decode(output[0], skip_special_tokens=True)\n",
        "print(output_text)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 356
        },
        "id": "mcwafQBPH1RP",
        "outputId": "db4997e0-d662-4dd0-bda6-3cb89a91c662"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "error",
          "ename": "OverflowError",
          "evalue": "(34, 'Numerical result out of range')",
          "traceback": [
            "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
            "\u001b[0;31mOverflowError\u001b[0m                             Traceback (most recent call last)",
            "\u001b[0;32m<ipython-input-13-c3f2a0a69750>\u001b[0m in \u001b[0;36m<cell line: 1>\u001b[0;34m()\u001b[0m\n\u001b[0;32m----> 1\u001b[0;31m output = model.generate(input_ids, max_length = 1000, num_beams=2, temperature=0,\n\u001b[0m\u001b[1;32m      2\u001b[0m                         \u001b[0mattention_mask\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mattention_mask\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mpad_token_id\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0;36m50256\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      3\u001b[0m                         \u001b[0mrepetition_penalty\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;36m3.0\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mlength_penalty\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;36m1000.0\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;31m#do_sample=True,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      4\u001b[0m                         )\n\u001b[1;32m      5\u001b[0m \u001b[0moutput_text\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mtokenizer\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mdecode\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0moutput\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;36m0\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mskip_special_tokens\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;32mTrue\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
            "\u001b[0;32m/usr/local/lib/python3.10/dist-packages/torch/utils/_contextlib.py\u001b[0m in \u001b[0;36mdecorate_context\u001b[0;34m(*args, **kwargs)\u001b[0m\n\u001b[1;32m    113\u001b[0m     \u001b[0;32mdef\u001b[0m \u001b[0mdecorate_context\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m*\u001b[0m\u001b[0margs\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m**\u001b[0m\u001b[0mkwargs\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    114\u001b[0m         \u001b[0;32mwith\u001b[0m \u001b[0mctx_factory\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 115\u001b[0;31m             \u001b[0;32mreturn\u001b[0m \u001b[0mfunc\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m*\u001b[0m\u001b[0margs\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m**\u001b[0m\u001b[0mkwargs\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    116\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    117\u001b[0m     \u001b[0;32mreturn\u001b[0m \u001b[0mdecorate_context\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
            "\u001b[0;32m/usr/local/lib/python3.10/dist-packages/transformers/generation/utils.py\u001b[0m in \u001b[0;36mgenerate\u001b[0;34m(self, inputs, generation_config, logits_processor, stopping_criteria, prefix_allowed_tokens_fn, synced_gpus, assistant_model, streamer, negative_prompt_ids, negative_prompt_attention_mask, **kwargs)\u001b[0m\n\u001b[1;32m   1624\u001b[0m             )\n\u001b[1;32m   1625\u001b[0m             \u001b[0;31m# 13. run beam search\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m-> 1626\u001b[0;31m             return self.beam_search(\n\u001b[0m\u001b[1;32m   1627\u001b[0m                 \u001b[0minput_ids\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   1628\u001b[0m                 \u001b[0mbeam_scorer\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
            "\u001b[0;32m/usr/local/lib/python3.10/dist-packages/transformers/generation/utils.py\u001b[0m in \u001b[0;36mbeam_search\u001b[0;34m(self, input_ids, beam_scorer, logits_processor, stopping_criteria, max_length, pad_token_id, eos_token_id, output_attentions, output_hidden_states, output_scores, output_logits, return_dict_in_generate, synced_gpus, sequential, **model_kwargs)\u001b[0m\n\u001b[1;32m   3157\u001b[0m                     \u001b[0mthis_peer_finished\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0;32mTrue\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   3158\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m-> 3159\u001b[0;31m         sequence_outputs = beam_scorer.finalize(\n\u001b[0m\u001b[1;32m   3160\u001b[0m             \u001b[0minput_ids\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   3161\u001b[0m             \u001b[0mbeam_scores\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
            "\u001b[0;32m/usr/local/lib/python3.10/dist-packages/transformers/generation/beam_search.py\u001b[0m in \u001b[0;36mfinalize\u001b[0;34m(self, input_ids, final_beam_scores, final_beam_tokens, final_beam_indices, max_length, pad_token_id, eos_token_id, beam_indices, decoder_prompt_len)\u001b[0m\n\u001b[1;32m    346\u001b[0m                 \u001b[0mbeam_index\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mbeam_indices\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0mbatch_beam_idx\u001b[0m\u001b[0;34m]\u001b[0m \u001b[0;32mif\u001b[0m \u001b[0mbeam_indices\u001b[0m \u001b[0;32mis\u001b[0m \u001b[0;32mnot\u001b[0m \u001b[0;32mNone\u001b[0m \u001b[0;32melse\u001b[0m \u001b[0;32mNone\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    347\u001b[0m                 \u001b[0mgenerated_len\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mfinal_tokens\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mshape\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;34m-\u001b[0m\u001b[0;36m1\u001b[0m\u001b[0;34m]\u001b[0m \u001b[0;34m-\u001b[0m \u001b[0mdecoder_prompt_len\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 348\u001b[0;31m                 \u001b[0mbeam_hyp\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0madd\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mfinal_tokens\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mfinal_score\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mbeam_indices\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mbeam_index\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mgenerated_len\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mgenerated_len\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    349\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    350\u001b[0m         \u001b[0;31m# select the best hypotheses\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
            "\u001b[0;32m/usr/local/lib/python3.10/dist-packages/transformers/generation/beam_search.py\u001b[0m in \u001b[0;36madd\u001b[0;34m(self, hyp, sum_logprobs, beam_indices, generated_len)\u001b[0m\n\u001b[1;32m    955\u001b[0m         \"\"\"\n\u001b[1;32m    956\u001b[0m         \u001b[0;32mif\u001b[0m \u001b[0mgenerated_len\u001b[0m \u001b[0;32mis\u001b[0m \u001b[0;32mnot\u001b[0m \u001b[0;32mNone\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 957\u001b[0;31m             \u001b[0mscore\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0msum_logprobs\u001b[0m \u001b[0;34m/\u001b[0m \u001b[0;34m(\u001b[0m\u001b[0mgenerated_len\u001b[0m\u001b[0;34m**\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mlength_penalty\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    958\u001b[0m         \u001b[0;31m# This 'else' case exists for retrocompatibility\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    959\u001b[0m         \u001b[0;32melse\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
            "\u001b[0;31mOverflowError\u001b[0m: (34, 'Numerical result out of range')"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "output = model.generate(input_ids, max_length = 200, num_beams=2, temperature=0,\n",
        "                        attention_mask=attention_mask, pad_token_id = 50256,\n",
        "                        #repetition_penalty=0.0, #do_sample=True,\n",
        "                        )\n",
        "output_text = tokenizer.decode(output[0], skip_special_tokens=True)\n",
        "print(output_text)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "0iVIcfDDDT46",
        "outputId": "7025ac2d-130a-423b-c32c-ebf3199f1e62"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/transformers/generation/configuration_utils.py:410: UserWarning: `do_sample` is set to `False`. However, `temperature` is set to `0` -- this flag is only used in sample-based generation modes. You should set `do_sample=True` or unset `temperature`.\n",
            "  warnings.warn(\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Es war einmal ein kleiner Junge namens Timmy. Timmy liebte es, mit seinen Freunden zu spielen. Eines Tages ging Timmy in den Park, um mit seinen Freunden zu spielen. Timmy war sehr glücklich, weil er nicht mehr zu spielen wollte. Timmys Mutter sagte: \"Es ist okay, Timmy. Ich bin froh, dass du mir helfen kann.\" Timmys Mutter sagte: \"Ja, Timmy. Ich bin froh, dass du mir helfen kann.\" Timmy sagte: \"Ja, Timmy. Ich bin froh, dass du mir helfen kann.\" Timmy sagte: \"Ich bin froh, Timmy. Ich bin froh, dass du mir helfen kann.\" Timmy war glücklich und sagte: \"Danke, Timmy. Ich bin froh, dass du mir geholfen hast.\"\n",
            " Einmal war da ein kleiner Junge namens Timmy. Timmy liebte es, mit seinen Freunden zu spielen. Eines Tages ging Timmy mit seiner Mutter in den Park. Timmy liebte es\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "loss_directory = \"/content/drive/My Drive/genAI project/losses_tensor-1m-de-2024-03-22T20:26:55.933894.pt\"\n",
        "losses = torch.load(loss_directory)\n",
        "fig, ax = plt.subplots()\n",
        "ax.set_title(\"Loss reduction during training\")\n",
        "ax.set_ylabel(\"Loss\")\n",
        "ax.set_xlabel(\"batches processed\")\n",
        "ax.plot(np.array(losses).flatten())\n",
        "fig.show()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 356
        },
        "id": "Dk-FgLsGHcxR",
        "outputId": "88de6f44-aaba-4ea7-a4e0-c54e4becd308"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "error",
          "ename": "FileNotFoundError",
          "evalue": "[Errno 2] No such file or directory: '/content/drive/My Drive/genAI project/losses_tensor-1m-de-2024-03-22T20:26:55.933894.pt'",
          "traceback": [
            "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
            "\u001b[0;31mFileNotFoundError\u001b[0m                         Traceback (most recent call last)",
            "\u001b[0;32m<ipython-input-5-25de94a2e026>\u001b[0m in \u001b[0;36m<cell line: 2>\u001b[0;34m()\u001b[0m\n\u001b[1;32m      1\u001b[0m \u001b[0mloss_directory\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0;34m\"/content/drive/My Drive/genAI project/losses_tensor-1m-de-2024-03-22T20:26:55.933894.pt\"\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m----> 2\u001b[0;31m \u001b[0mlosses\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mtorch\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mload\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mloss_directory\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m      3\u001b[0m \u001b[0mfig\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0max\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mplt\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0msubplots\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      4\u001b[0m \u001b[0max\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mset_title\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m\"Loss reduction during training\"\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      5\u001b[0m \u001b[0max\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mset_ylabel\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m\"Loss\"\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
            "\u001b[0;32m/usr/local/lib/python3.10/dist-packages/torch/serialization.py\u001b[0m in \u001b[0;36mload\u001b[0;34m(f, map_location, pickle_module, weights_only, mmap, **pickle_load_args)\u001b[0m\n\u001b[1;32m    984\u001b[0m         \u001b[0mpickle_load_args\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;34m'encoding'\u001b[0m\u001b[0;34m]\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0;34m'utf-8'\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    985\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 986\u001b[0;31m     \u001b[0;32mwith\u001b[0m \u001b[0m_open_file_like\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mf\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m'rb'\u001b[0m\u001b[0;34m)\u001b[0m \u001b[0;32mas\u001b[0m \u001b[0mopened_file\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    987\u001b[0m         \u001b[0;32mif\u001b[0m \u001b[0m_is_zipfile\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mopened_file\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    988\u001b[0m             \u001b[0;31m# The zipfile reader is going to advance the current file position.\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
            "\u001b[0;32m/usr/local/lib/python3.10/dist-packages/torch/serialization.py\u001b[0m in \u001b[0;36m_open_file_like\u001b[0;34m(name_or_buffer, mode)\u001b[0m\n\u001b[1;32m    433\u001b[0m \u001b[0;32mdef\u001b[0m \u001b[0m_open_file_like\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mname_or_buffer\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mmode\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    434\u001b[0m     \u001b[0;32mif\u001b[0m \u001b[0m_is_path\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mname_or_buffer\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 435\u001b[0;31m         \u001b[0;32mreturn\u001b[0m \u001b[0m_open_file\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mname_or_buffer\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mmode\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    436\u001b[0m     \u001b[0;32melse\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    437\u001b[0m         \u001b[0;32mif\u001b[0m \u001b[0;34m'w'\u001b[0m \u001b[0;32min\u001b[0m \u001b[0mmode\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
            "\u001b[0;32m/usr/local/lib/python3.10/dist-packages/torch/serialization.py\u001b[0m in \u001b[0;36m__init__\u001b[0;34m(self, name, mode)\u001b[0m\n\u001b[1;32m    414\u001b[0m \u001b[0;32mclass\u001b[0m \u001b[0m_open_file\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0m_opener\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    415\u001b[0m     \u001b[0;32mdef\u001b[0m \u001b[0m__init__\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mname\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mmode\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 416\u001b[0;31m         \u001b[0msuper\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m__init__\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mopen\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mname\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mmode\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    417\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    418\u001b[0m     \u001b[0;32mdef\u001b[0m \u001b[0m__exit__\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m*\u001b[0m\u001b[0margs\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
            "\u001b[0;31mFileNotFoundError\u001b[0m: [Errno 2] No such file or directory: '/content/drive/My Drive/genAI project/losses_tensor-1m-de-2024-03-22T20:26:55.933894.pt'"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### model-1m-de-2024-03-22T13:58"
      ],
      "metadata": {
        "id": "6k9p6PIVd08s"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "model_directory = \"/content/drive/My Drive/genAI project/model-1m-de-2024-03-22T13:58:01.517911\"\n",
        "model = GPTNeoForCausalLM.from_pretrained(model_directory).to(device)\n",
        "\n",
        "\n",
        "output = model.generate(input_ids, max_length = 1024, num_beams=5, #temperature=0,\n",
        "                        attention_mask=attention_mask, pad_token_id = 50256, eos_token_id = 50256,\n",
        "                        do_sample=True)\n",
        "output_text = tokenizer.decode(output[0], skip_special_tokens=True)\n",
        "print(output_text)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "gljqRAIJd9D-",
        "outputId": "660b7566-76de-4439-b3f2-1743ad5ed909"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Es war einmal ein kleines Mädchen namens Lily. Sie liebte es, mit ihrer Mutter, dass sie sich, die sie hatte. Sie liebte es zu spielen. Eines Tages ging sie eine große Umarmte. Lily. Ihre Mami und sagte: \"Nein, ich will es ist nicht getan!\" Lily.\n",
            " Einmal war einmal ein kleines Mädchen namens Lily. Sie liebte es. Sie liebte es, sie ein kleines Mädchen namens Lily. Sie liebte es, Lily. Sie liebte es zu spielen. Sie liebte es zu spielen. Sie liebte es, dass es zu spielen. Sie liebte es zu spielen. Sie liebte es zu spielen. Sie liebte es zu spielen. Sie liebte es, dass sie zu spielen. Lily. Lily war sehr glücklich und sagte: \"Es ist okay, aber es nicht zu spielen.\" Lily namens Lily. Lily namens Lily war einmal ein kleines Mädchen namens Lily. Sie liebte es, Lily. Sie liebte es zu spielen. Sie liebte es nicht zu spielen. Sie sah Lily namens Lily. Sie liebte es zu spielen. Lily. Sie liebte es, mit ihrer Mutter zu spielen. Sie liebte es zu spielen. Sie liebte es zu spielen. Sie sah Lily war glücklich. Lily war da ein kleines Mädchen namens Lily namens Lily liebte es, mit ihrer Mami, mit ihrer Mutter sagte: \"Es ist zu spielen.\" Lily. Lily. Lily. Lily. Lily namens Lily war ein kleines Mädchen namens Lily liebte es zu spielen, Lily. Sie sagte: \"Es ist nicht zu spielen.\" Lily. Lily, dass sie zu spielen. Lily namens Lily liebte es, mit ihrer Mutter sagte: \"Ich will es ist nicht zu spielen.\" Lily sagte: \"Das ist okay, Lily.\" Lily. Ich will es nicht. Lily, Lily, Lily, Lily.\n",
            " Einmal war da ein kleiner Junge namens Lily, Lily, Lily, Lily, Lily. Lily. Sie liebte es nicht zu spielen. Sie sah Lily.\n",
            " Einmal war sehr glücklich. Sie liebte es zu spielen. Lily, Lily. Sie liebte es nicht zu spielen. Sie liebte es nicht zu spielen. Sie liebte es nicht zu spielen. Lily. Sie liebte es, mit ihrer Mutter zu spielen. Sie liebte es zu spielen. Sie liebte es zu spielen. Sie liebte es nicht zu spielen. Sie liebte es nicht zu spielen. Eines Tages sah Lily. Lily. Sie liebte es nicht zu spielen. Sie liebte es zu spielen.\n",
            " Einmal war glücklich. Lily. Sie liebte es zu spielen. Eines Tages sah Lily fühlte sich zu spielen.\n",
            "Es war da ein kleines Mädchen namens Timmy liebte es, dass sie ein kleines Mädchen namens Timmy. Eines Tages sah Lily namens Lily. Timmy. Eines Tages ging Lily. Timmy liebte es zu spielen. Sie liebte es zu spielen. Eines Tages ging zu spielen. Timmy liebte es zu spielen. Timmy liebte es zu spielen. Timmy liebte es zu spielen. Eines Tages sah sie ein kleines Mädchen namens Timmy liebte es zu spielen. Lily. Eines Tages sah Lily liebte es, aber sie ein kleines Mädchen namens Timmy liebte es, dass sie ein kleines Mädchen namens Timmy liebte es zu spielen. Lily. Lily wollte nicht zu spielen. Lily. Sie liebte es, um zu spielen. Sie liebte es, dass sie in den Park. Lily liebte es, mit ihrer Mutter sagte: \"Das ist, mit ihren Freunden spielen. Lily. Lily war traurig und sagte: \"Ich habe ein kleines Mädchen namens Lily. Lily, aber sie ein kleines Mädchen namens Lily, dass Lily. Lily, Lily. Lily, Lily. Lily, Lily sagte: \"Ich will nicht getan, Lily!\" Lily?\" Lily sah Lily: \"Ich bin nicht mit mir helfen.\" Lily. Lily, Lily, dass es nicht, Lily, mit ihrer Mami, es nicht zu spielen.\" Lily sagte Timmy war zu spielen, Lily sagte: \"Das ist nicht zu spielen, Lily, dass es nicht zu spielen?\" Lily sagte: \"Ich will nicht zu spielen?\" Lily sagte: \"Ja, ich bin nicht zu tun, Lily, Lily, Lily, Lily, es nicht zu spielen.\" Lily, Lily, Lily war zu tun, Lily war glücklich zu tun, umarmte sie nicht zu spielen.\n",
            "Es ist nicht zu spielen. Sie liebte es nicht zu spielen. Lily liebte es nicht zu spielen.\n",
            " Einmal war einmal ein kleines Mädchen namens Timmy. Sie liebte es nicht zu spielen. Lily. Sie liebte es nicht zu spielen. Sie liebte es nicht zu spielen.\n",
            " Einmal war ein kleines Mädchen namens Lily. Sie liebte es zu spielen. Sie liebte es zu spielen. Sie liebte es zu spielen. Eines Tages, mit ihrer Mutter zu spielen. Lily liebte es, mit ihrer Mami zu spielen. Lilys Mutter zu spielen. Sie liebte es zu spielen. Eines Tages sah Lily liebte es, mit seinen Freunden zu spielen. Eines Tages ging Lily. Eines Tages sah Lily. Sie liebte es, mit ihrer Mami, mit seiner Mutter. Sie liebte es zu spielen. Lily namens Lily. Lily namens Lily. Eines Tages ging Lily liebte es, mit ihrer Mutter zu spielen. Eines Tages ging Lily\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "output = model.generate(input_ids, max_length = 1024, num_beams=2, temperature=0,\n",
        "                        attention_mask=attention_mask, pad_token_id = 50256,\n",
        "                        repetition_penalty=3.0, #do_sample=True,\n",
        "                        )\n",
        "output_text = tokenizer.decode(output[0], skip_special_tokens=True)\n",
        "print(output_text)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "f-2KZKDzhoMJ",
        "outputId": "fd76d4b4-465a-4a43-9682-f90c58d05f27"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Es war einmal ein kleines Mädchen namens Lily. Sie liebte es, mit ihren Freunden zu spielen. Eines Tages ging sie einen großen Baum und sagte: \"Ich bin nicht getan!\" Ihre Mutter in den ganzen Tag an diesem Tag im Park.\n",
            " Einmal war da ein kleiner Junge namens Timmys Mami antwortete: „Ja, ich werde dir helfen.\" Timmy. Er wollte ihn auf dem Boden. Timmy fühlte sich umarmte er eine große Umarmung. Timmy lächelte und fragte seine Freunde waren sehr glücklich, aber dann kam Lilys Mutter zum Spielen. Timmy hatte Angst vor Freude. Timmy wusste, dass der Nähe des Hügels! Ich habe keine Sorgen, was falsch sei Zeit für das kleine Katze namens TM sweet säubern\", sagte: „Was ist okay, die Sonne unter einem kleinen Jungen namens Timmy. Du bist du mir leid, wenn wir können uns etwas Besonderes machen?\" Seine Mutter ihr Spielzeugauto wegzulaufen. Als sie ihre Mutter gab sein Freundlichkeit. Von diesem Tag spielte gerne draußen gehen. Aber dann sah Max dachte darüber nach Hause kamen, weil er seinen Kopf. Timmy versuchte, als ob er konnte. Timmy begann zu tun sollte. Timmy mochte es wichtig ist so viel Spaß beim Spielen. Timmy hörte Tims € œLetâ € œIâ € œ€œDas ist mein Vater, â € TM träumte von ihnen zeigen, wie man dich besser fühlen. Es war froh, bis ans Ende. Wir müssen auch gut gemacht haben könnte.â € TM sauren Dinge zusammen. Das Kaninchen wurde nie wieder traurig, wo sie immer noch mehr verängstigt und dankte ihrer Mutter lachten und hatten viele Spielzeugen zu sehen, bevor sie alle Arten von ihrem Haus herumhüpfen. Die Moral der Geschichte ist, dass sie beide spielten jeden Tag langweilten ihm, warum hast mich daran, dass sie fertig sind. Nach einer Weile gingen zurück ins Bett. Der Vogel flog aus dem Weg zur Schule finden würde. Plötzlich erschien ein großes Lächeln auf seinem Gesicht. Ab diesem Tag nahm einige neue Freundin dafür, also entschied sich selbst. Dann bemerkte Jack. Am nächsten Tag ankamen, dass sie hineingehen und bald genug Geld gesehen werden. Schließlich fand Tom neidischst du musst hier bleiben. Socke. Und eines sonnigen Tages traf er schnell überspringen. John schaute durch den Laden spazieren. Bobo-Lily, dass er sicher, dass er dort ankam, dass er je zuvor gesehen hatte. Mittens lernte, dass er näher kommen musste. Jetzt kann. Also entschieden sich stolz auf Wiedersehen und lief rüber und rannte hinaus, dass er hoch am Himmel voller Wasser hinaufging. Joe erkannte, dass er schließlich erinnerte sich gegenseitig hinsah, dass er plötzlich fing anmutig und legte sie weiter hinunterkam, dass er seiner Mutter erklärte, dass er alles danach. Daisy war. Lucy hielt darauf, dass er solle sich schlechtes Geräusch. Sarah zeigte Spot machte. Mama rief: \"Lasst uns versuchen,\" sagte: \"Danke, lass uns nur dein Name ist? Kannst du kannst du wirst du willst du deine Hilfe\". Jane schauten sich hinter dem Fenster und winkte Abschied vom Strand. Was machst du solltest jetzt schön aussehenden Ball herauszukommen. Lass uns reinzugehen. Sellerie pelzige Stimme. Zusammen sagten ja, dass er vorsichtig sein Zimmer öffnete, dass er hätte nichts dagegen, dass er wirklich hart gearbeitet konnten. Später an wurden gute Idee. Bald war aufgeregt, dass er tat. Alle Tiere begannen, dass er langsam davonlaufen würden. Nachdem sie wussten, dass sie bereit, dass sie müde war.\n",
            " Einmal war drei Jahre alt und beobachtete, dass er zwei beste Freunde liebten es kaum erwarten, dass er mutig und bat sie lebten glücklich, dass er sogar andere Seite ihres Hauses zu erkunden. Im Inneren war da ein großer Hund namens Benny. Jeden Tag anhielt, dass er versehentlich all den Wald lebte. Sein Bruder Sam stimmte zu weinen. Jeder war da ein paar Tage später brachte Sally. In dieser Nachthimmel. Ein alter Mann, während er könne. Er hüpferen Blick zu essen. Er sprang überall sahen sie beibringen. Er hob ihn fest. Er suchte gern Blumen und Papa jubelten und ab. Er schrie: \"Nein, damit drinnen tut mir geholfen hat. Er schwammterregende Orte zu nehmen. Er stieg direkt nieder. Er zog Sue half ihm hinterher, schaukelnd, bitte diesen Moment lang und herkommen.\" Jill war überrascht, dass er anfing, dass er beschloss, dass er fast vergessen, dass er jemanden zu bekommen. Er blieb stehen und aß lange Zeit war begeistert, dass er brauchte. Er trat fort, dass er aufwachte und wartete geduldig. Er bekam Tommy freute sich auszuruhen. Er griff hinüber und setzte sich umsah. Er fuhr herunterzulief. Er folgte dem alten Dame vorbei und drehte sich schuldig, dass er hingingen. Er rochse schien heller Bär köstlichste Licht aussah. Er schloss die Tür. Er wünschte, dass er fiel\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "loss_directory = \"/content/drive/My Drive/genAI project/losses_tensor-1m-de-2024-03-22T13:58:01.587117.pt\"\n",
        "losses = torch.load(loss_directory)\n",
        "fig, ax = plt.subplots()\n",
        "ax.set_title(\"Loss reduction during training\")\n",
        "ax.set_ylabel(\"Loss\")\n",
        "ax.set_xlabel(\"batches processed\")\n",
        "ax.plot(np.array(losses).flatten())\n",
        "fig.show()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 472
        },
        "id": "XX1Rd2iJgszE",
        "outputId": "0601ada2-cb8f-46e4-f20b-81d5a99eac0c"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<Figure size 640x480 with 1 Axes>"
            ],
            "image/png": "iVBORw0KGgoAAAANSUhEUgAAAkAAAAHHCAYAAABXx+fLAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjcuMSwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/bCgiHAAAACXBIWXMAAA9hAAAPYQGoP6dpAABgBUlEQVR4nO3deXwM9/8H8Ndmk93cl5yIRAhxh4hIHaFCHG1RLVUtUm21RWl6oS3aqqRKq0Wr+JUelB5fqo4QcdcREnEkEcQVRxJBDpF7P78/1LBNQu7Zzb6ej8c+uvPZz8y8Zwf76sxnZhRCCAEiIiIiA2IkdwFEREREdY0BiIiIiAwOAxAREREZHAYgIiIiMjgMQERERGRwGICIiIjI4DAAERERkcFhACIiIiKDwwBEREREBocBiIgkHh4eGDt2bJ2v98KFC1AoFFi5cmWdr7s8vXr1Qq9evfRmuXJbuXIlFAoFLly4UOl5d+3aBYVCgV27dtV4XUTlYQAi+te9f8CPHDkidyn11urVq7FgwQK5yzBYc+bMwfr16+Uug0gnGMtdABEZjtWrV+PkyZOYMmWKVru7uzvy8vJgYmIiT2F1aNu2bbKte86cOXjmmWcwZMiQGl/2iy++iOeeew5qtbrS8/bs2RN5eXlQqVQ1XhdReXgEiKgeyM3NlbuEalEoFDA1NYVSqZS7lFpz584dAIBKpdKLH/rK/plSKpUwNTWFQqGo9LqMjIxgamoKIyP+JFHd4Z82oko6evQoBgwYAGtra1haWqJPnz44ePCgVp+ioiJ8/PHH8PLygqmpKRo0aIDu3bsjMjJS6pOamoqQkBA0btwYarUarq6uGDx48CPHUIwdOxaWlpZITk7GwIEDYWVlhVGjRgEANBoNFixYgDZt2sDU1BTOzs4YP348bt26pbUMIQRmz56Nxo0bw9zcHL1790Z8fHypdc2aNavMH7Tyxnts2bIFgYGBsLKygrW1Nfz8/LB69WoAd8e+bNq0CRcvXoRCoYBCoYCHhweA8scA7dixAz169ICFhQVsbW0xePBgJCYmllnj2bNnMXbsWNja2sLGxgYhISFS6HiUpUuXolmzZjAzM0OXLl2wd+/eCm9zWeNXevXqhbZt2yImJgY9e/aEubk5pk+fLn324Bige/P/9ttv+Oyzz9C4cWOYmpqiT58+OHv2bKk6Fi9eDE9PT61aKzKuSKFQIDc3Fz/++KP0/d8b73XvO0xISMDzzz8POzs7dO/eHQBw/PhxjB07Fp6enjA1NYWLiwteeukl3Lhx45Hfj4eHB5544gns27cPXbp0gampKTw9PfHTTz9V+DtMSEhA7969YW5ujkaNGmHu3Lmltu3ixYt46qmnYGFhAScnJ7z11lvYunUrxxXRQ/EUGFElxMfHo0ePHrC2tsZ7770HExMTfP/99+jVqxd2794Nf39/AHd/UMLCwvDyyy+jS5cuyM7OxpEjRxAbG4u+ffsCAIYNG4b4+HhMmjQJHh4eSE9PR2RkJC5duiQFg/IUFxcjODgY3bt3x7x582Bubg4AGD9+PFauXImQkBC8+eabOH/+PBYtWoSjR4/in3/+kU4xzZgxA7Nnz8bAgQMxcOBAxMbGol+/figsLKzyd7Ny5Uq89NJLaNOmDaZNmwZbW1scPXoUEREReP755/HBBx8gKysLly9fxldffQUAsLS0LHd527dvx4ABA+Dp6YlZs2YhLy8PCxcuRLdu3RAbG1vqOxo+fDiaNm2KsLAwxMbGYvny5XBycsLnn3/+0Lr/7//+D+PHj8djjz2GKVOm4Ny5c3jqqadgb28PNze3Kn8fN27cwIABA/Dcc8/hhRdegLOz80P7h4eHw8jICO+88w6ysrIwd+5cjBo1CocOHZL6fPfdd5g4cSJ69OiBt956CxcuXMCQIUNgZ2eHxo0bP3T5P//8s/Tn8dVXXwUANGvWTKvPs88+Cy8vL8yZMwdCCABAZGQkzp07h5CQELi4uCA+Ph5Lly5FfHw8Dh48+MgjPmfPnsUzzzyDcePGYcyYMfjhhx8wduxY+Pr6ok2bNg+d99atW+jfvz+efvppDB8+HH/88Qfef/99tGvXDgMGDABw90jV448/jmvXrmHy5MlwcXHB6tWrsXPnzocumwiCiIQQQqxYsUIAEIcPHy63z5AhQ4RKpRLJyclS29WrV4WVlZXo2bOn1NahQwcxaNCgcpdz69YtAUB88cUXla5zzJgxAoCYOnWqVvvevXsFALFq1Sqt9oiICK329PR0oVKpxKBBg4RGo5H6TZ8+XQAQY8aMkdpmzpwpyvpn4t53df78eSGEEJmZmcLKykr4+/uLvLw8rb4PrmPQoEHC3d291PLOnz8vAIgVK1ZIbT4+PsLJyUncuHFDajt27JgwMjISo0ePLlXjSy+9pLXMoUOHigYNGpRa14MKCwuFk5OT8PHxEQUFBVL70qVLBQARGBhY7jbfs3PnTgFA7Ny5U2oLDAwUAMSSJUtKrTMwMFBruffmb9WqlVYNX3/9tQAgTpw4IYQQoqCgQDRo0ED4+fmJoqIiqd/KlStL1VoeCwsLrf17z73vcOTIkaU+u3PnTqm2X3/9VQAQe/bskdrK+n7c3d1L9UtPTxdqtVq8/fbbpb6Dsr7Dn376SWorKCgQLi4uYtiwYVLb/PnzBQCxfv16qS0vL094e3uXWibRg3gKjKiCSkpKsG3bNgwZMgSenp5Su6urK55//nns27cP2dnZAABbW1vEx8fjzJkzZS7LzMwMKpUKu3btKnV6qqJef/11renff/8dNjY26Nu3LzIyMqSXr68vLC0tpf8j3r59OwoLCzFp0iSt/3v/78DkyoiMjEROTg6mTp0KU1NTrc+qMibk2rVriIuLw9ixY2Fvby+1t2/fHn379sXmzZtLzfPaa69pTffo0QM3btyQ9klZjhw5gvT0dLz22mta43LGjh0LGxubStf9ILVajZCQkAr3DwkJ0aqhR48eAIBz585Jtd64cQOvvPIKjI3vH7wfNWoU7OzsqlXrPf/9DoG7f1bvyc/PR0ZGBrp27QoAiI2NfeQyW7duLW0LADg6OqJly5bSdj2MpaUlXnjhBWlapVKhS5cuWvNGRESgUaNGeOqpp6Q2U1NTvPLKK49cPhk2BiCiCrp+/Tru3LmDli1blvqsVatW0Gg0SElJAQB88sknyMzMRIsWLdCuXTu8++67OH78uNRfrVbj888/x5YtW+Ds7IyePXti7ty5SE1NrVAtxsbGpU55nDlzBllZWXBycoKjo6PW6/bt20hPTwdwd7wEAHh5eWnN7+joWOUf0uTkZABA27ZtqzT/f92rsbzvOiMjo9Qg3SZNmmhN39uWhwXM8r4LExMTrZBbFY0aNarUYOdH1X+v1ubNm2v1MzY2fuQp04pq2rRpqbabN29i8uTJcHZ2hpmZGRwdHaV+WVlZj1zmf7cLuLttFQn+jRs3LhWg/zvvxYsX0axZs1L9/vs9Ef0XxwAR1YKePXsiOTkZf/31F7Zt24bly5fjq6++wpIlS/Dyyy8DuHvE5cknn8T69euxdetWfPTRRwgLC8OOHTvQsWPHhy5frVaXumJGo9HAyckJq1atKnMeR0fHSm9HeUdvSkpKKr2s2lbeFWTi37Es1VXZ7+LBIycVUdv1V0RZNQ8fPhz79+/Hu+++Cx8fH1haWkKj0aB///7QaDSPXGZ1tksXvhOqv3gEiKiCHB0dYW5ujqSkpFKfnTp1CkZGRlqDZu3t7RESEoJff/0VKSkpaN++PWbNmqU1X7NmzfD2229j27ZtOHnyJAoLCzF//vwq1desWTPcuHED3bp1Q1BQUKlXhw4dANy95w6AUqfnrl+/Xur/yu8dhcjMzNRqv3c04sF1A8DJkycfWmNFT4fdq7G879rBwQEWFhYVWlZF1vPf76KoqAjnz5/Xaqvod1Fb7tX63yvDiouLK3z35cqejrx16xaioqIwdepUfPzxxxg6dCj69u1b7aNjNcnd3R3JycmlQlFZV9ARPYgBiKiClEol+vXrh7/++kvrByctLQ2rV69G9+7dYW1tDQClLhG2tLRE8+bNUVBQAODuPWHy8/O1+jRr1gxWVlZSn8oaPnw4SkpK8Omnn5b6rLi4WPrhDgoKgomJCRYuXKj1o1HWHZrvBZs9e/ZIbfcupX5Qv379YGVlhbCwsFLb9eA6LCwsKnTaxNXVFT4+Pvjxxx+1AsfJkyexbds2DBw48JHLqIjOnTvD0dERS5Ys0boCbuXKlaWCTlnfRUlJCZYuXVojtVSk1gYNGmDZsmUoLi6W2letWlXhcWQWFhaltuth7h2B+W+40KW7eQcHB+PKlSvYsGGD1Jafn49ly5bJWBXpA54CI/qPH374AREREaXaJ0+ejNmzZyMyMhLdu3fHG2+8AWNjY3z//fcoKCjQuj9J69at0atXL/j6+sLe3h5HjhzBH3/8gYkTJwIATp8+jT59+mD48OFo3bo1jI2NsW7dOqSlpeG5556rUt2BgYEYP348wsLCEBcXh379+sHExARnzpzB77//jq+//hrPPPMMHB0d8c477yAsLAxPPPEEBg4ciKNHj2LLli1wcHDQWma/fv3QpEkTjBs3Du+++y6USiV++OEHODo64tKlS1I/a2trfPXVV3j55Zfh5+cn3Uvm2LFjuHPnjhSYfH19sXbtWoSGhsLPzw+WlpZ48skny9yeL774AgMGDEBAQADGjRsnXQZvY2NT6khaVZmYmGD27NkYP348Hn/8cYwYMQLnz5/HihUrSh3laNOmDbp27Ypp06bh5s2bsLe3x5o1a7TCSG1SqVSYNWsWJk2ahMcffxzDhw/HhQsXsHLlyjLHwJTF19cX27dvx5dffomGDRuiadOm0q0bymJtbS2NTysqKkKjRo2wbdu2UkfH5DR+/HgsWrQII0eOxOTJk+Hq6opVq1ZJg/GrMgifDIR8F6AR6ZZ7l/GW90pJSRFCCBEbGyuCg4OFpaWlMDc3F7179xb79+/XWtbs2bNFly5dhK2trTAzMxPe3t7is88+E4WFhUIIITIyMsSECROEt7e3sLCwEDY2NsLf31/89ttvj6xzzJgxwsLCotzPly5dKnx9fYWZmZmwsrIS7dq1E++99564evWq1KekpER8/PHHwtXVVZiZmYlevXqJkydPCnd391KXScfExAh/f3+hUqlEkyZNxJdfflnuJeEbNmwQjz32mDAzMxPW1taiS5cu4tdff5U+v337tnj++eeFra2tACBdEl/WZfBCCLF9+3bRrVs3aXlPPvmkSEhI0Opz7xLu69eva7WXV2NZvv32W9G0aVOhVqtF586dxZ49e0pdri6EEMnJySIoKEio1Wrh7Owspk+fLiIjI8u8hLtNmzZlrqu8y+B///13rX7lfSfffPONcHd3F2q1WnTp0kX8888/wtfXV/Tv3/+R23nq1CnRs2dPYWZmpnXLg/K+QyGEuHz5shg6dKiwtbUVNjY24tlnnxVXr14VAMTMmTOlfuVdBl/W7SDK+w4q8h2OGTOm1K0Uzp07JwYNGiTMzMyEo6OjePvtt8Wff/4pAIiDBw8+8nshw6QQgqPJiIj0lUajgaOjI55++mme9nnAggUL8NZbb+Hy5cto1KiR3OWQDuIYICIiPZGfn19qPM5PP/2EmzdvPvJRGPVZXl6e1nR+fj6+//57eHl5MfxQuTgGiIhITxw8eBBvvfUWnn32WTRo0ACxsbH4v//7P7Rt2xbPPvus3OXJ5umnn0aTJk3g4+ODrKws/PLLLzh16lS5t4QgAhiAiIj0hoeHB9zc3PDNN99IA7FHjx6N8PBwvXjCfG0JDg7G8uXLsWrVKpSUlKB169ZYs2YNRowYIXdppMM4BoiIiIgMDscAERERkcFhACIiIiKDwzFAZdBoNLh69SqsrKx4Ey0iIiI9IYRATk4OGjZsWOp5if/FAFSGq1evaj3TiYiIiPRHSkoKGjdu/NA+DEBlsLKyAnD3C7z3bCciIiLSbdnZ2XBzc5N+xx+GAagM9057WVtbMwARERHpmYoMX+EgaCIiIjI4DEBERERkcBiAiIiIyOAwABEREZHBYQAiIiIig8MARERERAaHAYiIiIgMDgMQERERGRwGICIiIjI4DEBERERkcBiAiIiIyOAwABEREZHBYQCqYzn5RcgvKpG7DCIiIoPGAFSHDp27gXaztsH7owj8feyq3OUQEREZLAagOvR7zGXp/cIdZ2SshIiIyLAxANWhec92gJXaGADwrK+bzNUQEREZLgagOjawnSsAoKCY44CIiIjkwgBUx9YeSQEAzNt2GkUlGpmrISIiMkwMQDK6dPOO3CUQEREZJAagOnZsRj/pvUrJr5+IiEgO/AWuYzbmJlAo7r4v5CkwIiIiWTAAyUCIu//tM3+3vIUQEREZKAYgIiIiMjgMQDL4+jkf6X3QlzwKREREVNcYgGTQ2tVaen82/baMlRARERkmBiAZeDlbaU3nFfKmiERERHWJAUgHJF/nUSAiIqK6xAAkk7OfDZDeP7Fwn4yVEBERGR4GIJkY8yaIREREsuGvsIymDvCW3ntM3SRjJURERIaFAUhGg/59MjwRERHVLQYgGbnZm2tN5+QXyVQJERGRYWEA0iG7T1+XuwQiIiKDwAAks+jpfaT3E1cflbESIiIiw8EAJDMna1O5SyAiIjI4DEA65kxajtwlEBER1XsMQDpgZYif9L7vV3tkrISIiMgwMADpgPaNbeUugYiIyKDIHoAWL14MDw8PmJqawt/fH9HR0eX2jY+Px7Bhw+Dh4QGFQoEFCxaU2e/KlSt44YUX0KBBA5iZmaFdu3Y4cuRILW1B9dlbqNCm4f0nxJ/PyJWxGiIiovpP1gC0du1ahIaGYubMmYiNjUWHDh0QHByM9PT0MvvfuXMHnp6eCA8Ph4uLS5l9bt26hW7dusHExARbtmxBQkIC5s+fDzs7u9rclGqzt1BJ7/8+dlXGSoiIiOo/hRBCyLVyf39/+Pn5YdGiRQAAjUYDNzc3TJo0CVOnTn3ovB4eHpgyZQqmTJmi1T516lT8888/2Lt3b5Xrys7Oho2NDbKysmBtbf3oGWpAflEJvD+KkKYvhA+qk/USERHVF5X5/ZbtCFBhYSFiYmIQFBR0vxgjIwQFBeHAgQNVXu6GDRvQuXNnPPvss3ByckLHjh2xbNmymii5VpmaKOUugYiIyGDIFoAyMjJQUlICZ2dnrXZnZ2ekpqZWebnnzp3Dd999By8vL2zduhWvv/463nzzTfz444/lzlNQUIDs7GytlxyGd24svc/mYzGIiIhqjeyDoGuaRqNBp06dMGfOHHTs2BGvvvoqXnnlFSxZsqTcecLCwmBjYyO93Nzc6rDi+2Y91UZ6337WNllqICIiMgSyBSAHBwcolUqkpaVptaelpZU7wLkiXF1d0bp1a622Vq1a4dKlS+XOM23aNGRlZUmvlJSUKq+/OkyNeRqMiIioLsgWgFQqFXx9fREVFSW1aTQaREVFISAgoMrL7datG5KSkrTaTp8+DXd393LnUavVsLa21nrJwchIAV/3+1erHb+cKUsdRERE9Z2sp8BCQ0OxbNky/Pjjj0hMTMTrr7+O3NxchISEAABGjx6NadOmSf0LCwsRFxeHuLg4FBYW4sqVK4iLi8PZs2elPm+99RYOHjyIOXPm4OzZs1i9ejWWLl2KCRMm1Pn2VYWtmYn0/oN1J2WshIiIqP6S9TJ4AFi0aBG++OILpKamwsfHB9988w38/f0BAL169YKHhwdWrlwJALhw4QKaNm1aahmBgYHYtWuXNL1x40ZMmzYNZ86cQdOmTREaGopXXnmlwjXJcRn8PRqNgOf0zdI0L4cnIiKqmMr8fssegHSRnAEIADymbpLeJ83uDzXHBhERET2SXtwHiCrm6KVMuUsgIiKqdxiAdNCpT/tL759belDGSoiIiOonBiAdxLtCExER1S4GIB31cvf7g71/2HdexkqIiIjqHwYgHXX9doH0/pONCTJWQkREVP8wAOmoT55qK3cJRERE9RYDkI6yMTfRms68UyhTJURERPUPA5CeOHzhltwlEBER1RsMQDrs9OwB0vtXfjoiYyVERET1CwOQDlMZc/cQERHVBv7C6pFTqdlyl0BERFQvMADpuC4e9tL7/gv2ylgJERFR/cEApOMWPt9R7hKIiIjqHQYgHedsbao1nV9UIlMlRERE9QcDkJ45eSVL7hKIiIj0HgOQHjg+q5/0/pklB2SshIiIqH5gANID1qYmj+5EREREFcYApIey7hTJXQIREZFeYwDSE7OH3H84aodPtslYCRERkf5jANITAc0ayF0CERFRvcEApCeaOVpqTWs0QqZKiIiI9B8DkJ7alpAmdwlERER6iwFIj3w3qpP0/rVfYmSshIiISL8xAOmRAe1c5S6BiIioXmAA0mOJ1/h0eCIioqpgANIzGyd1l94P+JpPhyciIqoKBiA9Y65Syl0CERGR3mMA0jOe/7kc/nZBsUyVEBER6S8GID332aYEuUsgIiLSOwxAeujbBy6H/zU6RcZKiIiI9BMDkB4ayMvhiYiIqoUBiIiIiAwOA5CeCnu6nfTeY+omGSshIiLSPwxAeurJDg3lLoGIiEhvMQDpKUu1sdb0jdsFMlVCRESkfxiA6gnf2dvlLoGIiEhvMADpMZUxdx8REVFV8BdUjyV+0l9rukQjZKqEiIhIvzAA6TGlkUJrurBYI1MlRERE+oUBSM/18HKQ3reaESFjJURERPqDAUjPrQzpIncJREREeocBSM/xNBgREVHlMQDVM8O/PyB3CURERDqPAagesLdQSe/jUjLlK4SIiEhPMADVAzvf7qU1LQQvhyciInoYBqB6wMbcRGs6O69YpkqIiIj0AwNQPfF6r2bS+w6fbJOxEiIiIt3HAFRPvBfcUu4SiIiI9AYDUD2hUGhfDr987zmZKiEiItJ9DED1iEp5f3fO3pQoYyVERES6TScC0OLFi+Hh4QFTU1P4+/sjOjq63L7x8fEYNmwYPDw8oFAosGDBgocuOzw8HAqFAlOmTKnZonXQnKfbaU1r+HBUIiKiMskegNauXYvQ0FDMnDkTsbGx6NChA4KDg5Genl5m/zt37sDT0xPh4eFwcXF56LIPHz6M77//Hu3bt6+N0nXOsE6NtKZ3JpX9HRIRERk62QPQl19+iVdeeQUhISFo3bo1lixZAnNzc/zwww9l9vfz88MXX3yB5557Dmq1utzl3r59G6NGjcKyZctgZ2dXW+XrlP+OA/o84pRMlRAREek2WQNQYWEhYmJiEBQUJLUZGRkhKCgIBw5U75EOEyZMwKBBg7SWXZ6CggJkZ2drvfTVnKH3T4OdTrstYyVERES6S9YAlJGRgZKSEjg7O2u1Ozs7IzU1tcrLXbNmDWJjYxEWFlah/mFhYbCxsZFebm5uVV633J73b6I1ffFGrkyVEBER6S7ZT4HVtJSUFEyePBmrVq2CqalpheaZNm0asrKypFdKSkotV1l3Ar/YJXcJREREOsdYzpU7ODhAqVQiLS1Nqz0tLe2RA5zLExMTg/T0dHTq1ElqKykpwZ49e7Bo0SIUFBRAqVRqzaNWqx86nkjf2FuocDO3UO4yiIiIdJasR4BUKhV8fX0RFRUltWk0GkRFRSEgIKBKy+zTpw9OnDiBuLg46dW5c2eMGjUKcXFxpcJPfTSonavWdHGJRqZKiIiIdJOsR4AAIDQ0FGPGjEHnzp3RpUsXLFiwALm5uQgJCQEAjB49Go0aNZLG8xQWFiIhIUF6f+XKFcTFxcHS0hLNmzeHlZUV2rZtq7UOCwsLNGjQoFR7ffX+AG/8fPCiNP3uH8fx1Qgf+QoiIiLSMbIHoBEjRuD69euYMWMGUlNT4ePjg4iICGlg9KVLl2BkdP9A1dWrV9GxY0dpet68eZg3bx4CAwOxa9euui5fJ1mqtXfruqNXGICIiIgeoBBC8HbB/5GdnQ0bGxtkZWXB2tpa7nKq5MbtAvjO3i5NXwgfJGM1REREta8yv9/17iowuquBpfag7t2nr8tUCRERke5hADIQY34o//lqREREhoYBqB4bE+CuNc2znURERHcxANVjY7s11Zp+8MowIiIiQ8YAVI81dbDQmp7xV7xMlRAREekWBqB6bsYTreUugYiISOcwANVzL3XXPg3GcUBEREQMQAZn+PcH5C6BiIhIdgxABmDsYx7S+8MXbslXCBERkY5gADIAI/zctKYv3bgjUyVERES6gQHIAHg5WWpN9/xip0yVEBER6QYGIANgrORuJiIiehB/GQ3E4uc7aU3vSkqXqRIiIiL5MQAZiEHtXbWmx644LFMlRERE8mMAIiIiIoPDAGRAjs3spzV98kqWTJUQERHJiwHIgNiYmWhNP7Fwn0yVEBERyYsBiIiIiAwOA5CB+W18gNb0/uQMmSohIiKSDwOQgenS1F5r+vllh2SqhIiISD4MQERERGRwGIAM0IXwQVrT567flqkSIiIieTAAER6fv1vuEoiIiOoUAxABAAqKS+QugYiIqM4wABmot4JaaE3vT74hUyVERER1jwHIQL3Zp7nWdAifDUZERAaEAchAKRSKUm15hTwNRkREhoEByIBtD+2pNf3Ewr0yVUJERFS3GIAMWHMnK63p5Ou5MlVCRERUtxiADNwHA1vJXQIREVGdYwAycKMfc9ea9pi6SaZKiIiI6g4DkIFTGyvlLoGIiKjOMQBRKflFvBqMiIjqNwYgwrGZ/bSmvT+KkKkSIiKiusEARLAxMynVVqIRMlRCRERUNxiACADww9jOWtPv/XFcpkqIiIhqHwMQAQAe93bWmv4z9jJOXsmSqRoiIqLaxQBE5Zr061G5SyAiIqoVDEAkiZ7eR2v6fAbvDE1ERPUTAxBJnKxN5S6BiIioTjAA0UNFn78pdwlEREQ1jgGItBycpn0abPj3B2SqhIiIqPYwAJEWF5vSp8G+iTojQyVERES1hwGISmlib641/WXkaZkqISIiqh0MQFTKjrcDS7XdLiiWoRIiIqLawQBEpRgrS/+x+H53sgyVEBER1Q4GICpT8pyBWtMLd5yFEHw+GBER1Q8MQFQmpZGiVNuN3EIZKiEiIqp5DEBUYRNWxcpdAhERUY3QiQC0ePFieHh4wNTUFP7+/oiOji63b3x8PIYNGwYPDw8oFAosWLCgVJ+wsDD4+fnBysoKTk5OGDJkCJKSkmpxC+qnt/u20Jo+xJsiEhFRPSF7AFq7di1CQ0Mxc+ZMxMbGokOHDggODkZ6enqZ/e/cuQNPT0+Eh4fDxcWlzD67d+/GhAkTcPDgQURGRqKoqAj9+vVDbi6fbVUZr/T0LNX2w77zMlRCRERUsxRC5pGt/v7+8PPzw6JFiwAAGo0Gbm5umDRpEqZOnfrQeT08PDBlyhRMmTLlof2uX78OJycn7N69Gz179nxkTdnZ2bCxsUFWVhasra0rvC310e2CYrSduVWr7UL4IJmqISIiKl9lfr9lPQJUWFiImJgYBAUFSW1GRkYICgrCgQM19wiGrKwsAIC9vX2ZnxcUFCA7O1vrRXdZqo1LtUWcvCZDJURERDVH1gCUkZGBkpISODs7a7U7OzsjNTW1Rtah0WgwZcoUdOvWDW3bti2zT1hYGGxsbKSXm5tbjay7vnrtFw6GJiIi/Sb7GKDaNmHCBJw8eRJr1qwpt8+0adOQlZUlvVJSUuqwQt0X/UGfUm3p2fkyVEJERFQzZA1ADg4OUCqVSEtL02pPS0srd4BzZUycOBEbN27Ezp070bhx43L7qdVqWFtba73oPier0g9I7TInSoZKiIiIaoasAUilUsHX1xdRUfd/TDUaDaKiohAQEFDl5QohMHHiRKxbtw47duxA06ZNa6Jc+o9rWXlyl0BERFQlsp8CCw0NxbJly/Djjz8iMTERr7/+OnJzcxESEgIAGD16NKZNmyb1LywsRFxcHOLi4lBYWIgrV64gLi4OZ8+elfpMmDABv/zyC1avXg0rKyukpqYiNTUVeXn8wa6qZaM7l2oLCNuBYymZdV8MERFRNcl+GTwALFq0CF988QVSU1Ph4+ODb775Bv7+/gCAXr16wcPDAytXrgQAXLhwocwjOoGBgdi1axcAQKEo/RgHAFixYgXGjh37yHp4GXzZpv55HGsOlx4fxcviiYhIF1Tm91snApCuYQAq286kdISsOFyqnQGIiIh0Qa3fByglJQWXL1+WpqOjozFlyhQsXbq0KosjPdGrhSOcrNSl2hOu8r5JRESkX6oUgJ5//nns3LkTAJCamoq+ffsiOjoaH3zwAT755JMaLZB0h0KhQPQHQaXa9ydnyFANERFR1VUpAJ08eRJdunQBAPz2229o27Yt9u/fj1WrVkljdchwzN6UiNQs3heIiIj0R5UCUFFREdTqu6dCtm/fjqeeegoA4O3tjWvX+JiE+u7oR31LtXUN432BiIhIf1QpALVp0wZLlizB3r17ERkZif79+wMArl69igYNGtRogaR77CxUZbYXl2jquBIiIqKqqVIA+vzzz/H999+jV69eGDlyJDp06AAA2LBhg3RqjOq3YzP6lWpr/sEWGSohIiKqvNKP+q6AXr16ISMjA9nZ2bCzs5PaX331VZibm9dYcaS7bMxNymwXQpR7HyYiIiJdUaUjQHl5eSgoKJDCz8WLF7FgwQIkJSXBycmpRgsk3bU9tGeptlHLD4G3liIiIl1XpQA0ePBg/PTTTwCAzMxM+Pv7Y/78+RgyZAi+++67Gi2QdFdzJ6tSbfuTb2BrfKoM1RAREVVclQJQbGwsevToAQD4448/4OzsjIsXL+Knn37CN998U6MFkm7b+U6vUm2v/RJb94UQERFVQpUC0J07d2Bldff//rdt24ann34aRkZG6Nq1Ky5evFijBZJua+pgUWb7jlNpdVwJERFRxVUpADVv3hzr169HSkoKtm7din797l4RlJ6ezmdnGaDWrqX3+eQ1cXVfCBERUQVVKQDNmDED77zzDjw8PNClSxcEBAQAuHs0qGPHjjVaIOm+zZN7lGrLyS/GjdsFMlRDRET0aFV+GnxqaiquXbuGDh06wMjobo6Kjo6GtbU1vL29a7TIusanwVfeueu38fj83aXa+aR4IiKqK7X+NHgAcHFxQceOHXH16lXpyfBdunTR+/BDVePpaFlm+7iVh+u4EiIiokerUgDSaDT45JNPYGNjA3d3d7i7u8PW1haffvopNBo+DoHuizqVjhOXs+Qug4iISEuVAtAHH3yARYsWITw8HEePHsXRo0cxZ84cLFy4EB999FFN10h6YvObpccCAcCTi/bVcSVEREQPV6UxQA0bNsSSJUukp8Df89dff+GNN97AlStXaqxAOXAMUNWt/Oc8Zv2dUKr9xKx+sDIt+/EZRERENaHWxwDdvHmzzLE+3t7euHnzZlUWSfXEqK7uZba3m7WNj8ggIiKdUaUA1KFDByxatKhU+6JFi9C+fftqF0X6y0RphG1vlX5GGAC0mhGBhKvZdVwRERFRaVV6GvzcuXMxaNAgbN++XboH0IEDB5CSkoLNmzfXaIGkf7ycyr4iLL9Ig4Hf7OWl8UREJLsqHQEKDAzE6dOnMXToUGRmZiIzMxNPP/004uPj8fPPP9d0jaRnFAoF9r7XW+4yiIiIylXlGyGW5dixY+jUqRNKSkpqapGy4CDomuExdVOZ7Xvf6w03e/M6roaIiOq7OrkRItGjdHa3K7O9x9yduJCRC42Gg6KJiEgeDEBUa358qUu5n/WatwvBC/aghCGIiIhkwABEtcZCbfzQAc9n0m/jfEZuHVZERER0V6WuAnv66acf+nlmZmZ1aqF6asfbgWU+KBUA3vz1aJlPkyciIqpNlQpANjY2j/x89OjR1SqI6p/yHpQKAAnXsiGEgEKhqMOKiIjI0NXoVWD1Ba8Cq3l/xV3B5DVx5X5+bs5AGBkxBBERUdXxKjDSOYN9GmHsYx7lfu45fTNOXuFT44mIqG4wAFGdmfVUm4d+/sTCfUjLzq+jaoiIyJAxAFGd2vf+w+8Q/enG0k+SJyIiqmkMQFSnGtuZo4Vz+YOiNx6/hqjEtDqsiIiIDBEDENW5zW8+/LL3cT8eQVGJpo6qISIiQ8QARHXOWGmEM58NeGgfrw+24K+4K3VUERERGRoGIJKFifLRf/Qedtk8ERFRdTAAkWze6dfikX0OnrtRB5UQEZGhYQAi2Ux83AuD2rs+tM9zSw8i805hHVVERESGggGIZDXvmQ6YEuT10D4+n0Si6bRNfHI8ERHVGAYgkpWZSokpQS0woK3LQ/sJATSbvrmOqiIiovqOAYh0QlfPBhXqN3nNUWw8frWWqyEiovqOAYh0wgg/NwS1csKbfR5+OuyvuKuYuPooMm4XoJj3CiIioiri0+DLwKfBy8tj6qYK9XOwVGH/1D5QGTPHExERnwZPeu61wGYV6pdxuxBxKZm1WwwREdVLDECkc94NblnhvsO/P4Bp/ztRi9UQEVF9xABEOkdppEDMh0EV7v9r9CXkF5XUYkVERFTfMACRTmpgqcaWyT3wdMdGFerv/VEE4lIyoeG9goiIqAI4CLoMHASteyo6MBoAhnZshK9G+NReMUREpJM4CJrqHROlosJ91x29gsJiXiJPRETl04kAtHjxYnh4eMDU1BT+/v6Ijo4ut298fDyGDRsGDw8PKBQKLFiwoNrLJN237/3HsWKsX4X7t/hwC+ZtTQIPcBIRUVlkD0Br165FaGgoZs6cidjYWHTo0AHBwcFIT08vs/+dO3fg6emJ8PBwuLiU/fiEyi6TdJ+ztSl6ezvhfNjACs+zaOdZbDx+DWfTc2qxMiIi0keyjwHy9/eHn58fFi1aBADQaDRwc3PDpEmTMHXq1IfO6+HhgSlTpmDKlCk1tkyAY4B0XYsPtqCwkneBXvR8RzzRvmEtVURERLpAb8YAFRYWIiYmBkFB9y95NjIyQlBQEA4cOKAzyyTdEvNRxS+Rv2fi6qO1UAkREekrWQNQRkYGSkpK4OzsrNXu7OyM1NTUOltmQUEBsrOztV6ku6xMTfBe/4rfLPGey7fu1EI1RESkj2QfA6QLwsLCYGNjI73c3NzkLoke4eXunvhsaFssHNmxwvN0/3wnVvxzvharIiIifSFrAHJwcIBSqURaWppWe1paWrkDnGtjmdOmTUNWVpb0SklJqdK6qe6ojI0wyt8dT3ao3Liej/9OwIWM3FqqioiI9IWsAUilUsHX1xdRUVFSm0ajQVRUFAICAupsmWq1GtbW1lov0h/fjuqEt4JaVLh/r3m7sPbwpVqsiIiIdJ2x3AWEhoZizJgx6Ny5M7p06YIFCxYgNzcXISEhAIDRo0ejUaNGCAsLA3B3kHNCQoL0/sqVK4iLi4OlpSWaN29eoWVS/TKwnSvQDvhq++kKz/P+nydwp7AEDpZq2JqboIeXYy1WSEREukb2ADRixAhcv34dM2bMQGpqKnx8fBARESENYr506RKMjO4fqLp69So6drw/7mPevHmYN28eAgMDsWvXrgotk+qn8YGe+H73uQr3//jvBOn9hfBBtVESERHpKNnvA6SLeB8g/ZWTX4TQ344hMiHt0Z0fwABERKT/9OY+QEQ1zcrUBMtGd8aF8EHwdber8Hw7TqXxSfJERAaER4DKwCNA9UN+UQnir2Zh2HcVuwGmnbkJxgc2w/ienlAoKv7wVSIi0g08AkQEwNRECV93+wqf3rp1pwjhW04hKpHPjCMiqu8YgMggxH7Ut8J9D52/UYuVEBGRLmAAIoNgb6HCrnd6Vajvsr3n8fKPR+AxdRMW7zxbu4UREZEsGIDIYHg4WFS47/bEu1eRfbE1qbbKISIiGTEAkUF5u28LdGxiW6l5nlq0D8UlmtopiIiIZMEARAZlUh8vrHujG2zNTSo8z/HLWWj+wZZarIqIiOoaAxAZpMMfBFV6nvf+OMYjQURE9QQDEBkkE6URNk7qjqcq8TT5345c1np8BhER6S/eCLEMvBGiYcnKK0KHj7dVuH8rV2use+MxmJooa7EqIiKqLN4IkagSbMxM8Nv4ADzR3rVC/ROvZWPI4n+wMOpMLVdGRES1RfanwRPpgi5N7eHrboeNx69VqP+p1BycSs1Bn1bOaN2QRwmJiPQNjwAR/UtppMDfE7tXap6B3+xFyIroWqqIiIhqCwMQ0QPaNbbBihC/Ss2zM+k6vok6Aw6nIyLSHwxARP/Ru6UTPB0rftdoAPgy8jQiTqbixOUsFPFSeSIincerwMrAq8AIAE6lZqP/gr2Vnu/pTo3w5XCfmi+IiIgeileBEdUAbxdrHJj2eKXn+1/sFQgheEqMiEiHMQARPYSrjRnOfDYAHwxsVan5mk7bjOHfH2AIIiLSUQxARI9gojTCKz09kTxnYKXmO3zhFvKLOB6IiEgXMQARVZDSSIEL4YMqNc8L/3cIf8VdQYmGR4KIiHQJAxBRJSV8ElzhvjEXb2Hymjg0m74ZB5Jv1GJVRERUGQxARJVkrjKu9JEgABi57CA0PBJERKQTGICIqmjhyI6Vnmd93BWcvJKFM2k5tVARERFVFO8DVAbeB4gqQggB39nbcTO3sErzH/kwCA6W6hquiojIcFXm95sBqAwMQFRRQgiUaAS+25WM+ZGnKz1/xya2GNe9KZ5o37AWqiMiMiy8ESJRHVEoFDBWGmFSHy/8+krXSs9/9FImJq4+iuTrt2uhOiIiKg8DEFEN6eppX+V5/xd7uQYrISKiR2EAIqohCoUCpz7tX6V5F+9MxojvD+DyrTs1XBUREZWFAYioBpmaKKs876HzN9H9851YGHUGb62NQ0FxSQ1WRkREDzKWuwCi+sZSbYzbBcVVnv/eYOr2jW0Q0q1pTZVFREQP4BEgohq27o3HMLKLG/a93xunZw+o8nLWHk6pwaqIiOhBDEBENczL2QphT7dHYztzqIyNMHtI2yot51RqDqIS02q4OiIiAhiAiGrdC13dcT5sIMZ1r/zprHE/HsHIpQfB23UREdUsBiCiOqBQKPDhoFbo3dKx0vMeOHcD3cJ31EJVRESGi3eCLgPvBE21zWPqpirN16+1MxY+3xFq46pfbUZEVF/xTtBEOs7N3qxK821LSEPLDyMwfd2JGq6IiMiwMAARySBics9qzb/60CV8GXkaB8/dgEbDg7hERJXFU2Bl4Ckwqgs5+UWIv5qNF5YfQnE1QszUAd6wNTPB495OcLI2rcEKiYj0C58GX00MQCSHqo4LetCF8EE1UAkRkX7iGCAiA7X3zHXkF5XwmWJERI/AAESkIw5O61PtZbz4f9HoM383un++E/FXs2qgKiKi+okBiEhHuNiYYvUr/ujQ2AYLR3as8nKuZOYBALaeTK2p0oiI6h0GICId8lgzB/w1sTue7NCw2uN5zqTfrqGqiIjqHwYgIh3m39S+yvNuOZmKwC92Ys7mRKw7erkGqyIi0n/GchdAROX7/kVfzPgrHv6e9vhg3clKz3/xxh0s3XMOAGBmokT/tq41XSIRkV7iZfBl4GXwpIvOZ+TiWlYenl92qMrLsFQb46sRPujb2rkGKyMi0g2V+f3mESAiPdHUwQIu1bzR4e2CYrzy0xEAwPmwgVAoFDVRGhGR3uEYICI9ojauub+yX0edqbFlERHpGx4BItIjRkYKJHwSjGKNgBDAsj3nsGjn2Sota8H2MzBRGiGkmwfMVfyngIgMi04cAVq8eDE8PDxgamoKf39/REdHP7T/77//Dm9vb5iamqJdu3bYvHmz1ue3b9/GxIkT0bhxY5iZmaF169ZYsmRJbW4CUZ0xVxnD2tQENmYmmBzkBVOTqv81/mJrElrP2Ir9ZzNqsEIiIt0newBau3YtQkNDMXPmTMTGxqJDhw4IDg5Genp6mf3379+PkSNHYty4cTh69CiGDBmCIUOG4OTJ+1fIhIaGIiIiAr/88gsSExMxZcoUTJw4ERs2bKirzSKqEyZKI5ycFVzt5Ty//BDmbE7ErA3xyCssAQAcSL6BXl/sxD8MR0RUD8l+FZi/vz/8/PywaNEiAIBGo4GbmxsmTZqEqVOnluo/YsQI5ObmYuPGjVJb165d4ePjIx3ladu2LUaMGIGPPvpI6uPr64sBAwZg9uzZj6yJV4GRvsktKIYA8PZvcdgan1atZamURnjevwlW7r8gtfEhq0SkD/TmYaiFhYWIiYlBUFCQ1GZkZISgoCAcOHCgzHkOHDig1R8AgoODtfo/9thj2LBhA65cuQIhBHbu3InTp0+jX79+ZS6zoKAA2dnZWi8ifWKhNoal2hgLR3aq9rIKSzRa4YeIqD6SNQBlZGSgpKQEzs7a9yRxdnZGamrZzzFKTU19ZP+FCxeidevWaNy4MVQqFfr374/FixejZ8+eZS4zLCwMNjY20svNza2aW0YkD5WxEY7N6IdjM/thyQu+NbbcJbuT0XveLpy8wgesElH9IPsYoNqwcOFCHDx4EBs2bEBMTAzmz5+PCRMmYPv27WX2nzZtGrKysqRXSkpKHVdMVHNszO8OkO7f1qXGlhm+5RTOZ+TiiYX78EcMH6tBRPpP1mtfHRwcoFQqkZamPWYhLS0NLi5l/+Pt4uLy0P55eXmYPn061q1bh0GD7o5baN++PeLi4jBv3rxSp88AQK1WQ61W18QmEemUuBl9Eb7lFLLyirClhp4O/87vx9C/rQuMjRRQGxthW0IaWrlYo0kD8xpZPhFRXZD1CJBKpYKvry+ioqKkNo1Gg6ioKAQEBJQ5T0BAgFZ/AIiMjJT6FxUVoaioCEZG2pumVCqh0WhqeAuIdJutuQrhw9rjuxd8Menx5jW23LYzt8L7owiMWn4I43+OQc8vduJA8o0aWz4RUW2T/RRYaGgoli1bhh9//BGJiYl4/fXXkZubi5CQEADA6NGjMW3aNKn/5MmTERERgfnz5+PUqVOYNWsWjhw5gokTJwIArK2tERgYiHfffRe7du3C+fPnsXLlSvz0008YOnSoLNtIpAve7tcSMR+WPgJaHfsfCD0jlx3Elcw8dAvfgSW7k2t0PURENU3227+OGDEC169fx4wZM5CamgofHx9ERERIA50vXbqkdTTnsccew+rVq/Hhhx9i+vTp8PLywvr169G2bVupz5o1azBt2jSMGjUKN2/ehLu7Oz777DO89tprdb59RLqkgaUa58MGIi4lE0O/3V/jy3/392O4kpmH8C2nAACvBTaTPhNC4PeYy2jT0BptGtrU+LqJiCpD9vsA6SLeB4gMwbI95/DZ5sRaXceD9w+KOHkNr/0SW6qdiKim6M19gIhIPq/09ETS7P4IauVUa+vwmLoJKTfvIDu/SAo/ADBrQzzuFBbX2nqJiB5F9lNgRCQftbESy8f4AQDOpucg6Ms9Nb6OHnN3IqSbh1bbyv0XYKZS4v3+3jW+PiKiiuApsDLwFBgZspz8IvxzNkPriE1tOTdnIE6l5sDZWo0GlrwVBRFVT2V+vxmAysAARARczymA32dl3zy0NnBcEBFVF8cAEVG1OVqpcfazAXW2vhKNwI3bBdLjNtKy87FoxxlczymosxqIyHDwCFAZeASI6L5LN+5g0Dd7kVNQd4OW3w1uib+PXcWp1Bz4edjh99ceq7N1E5H+4imwamIAIiqbx9RNsqz3u1GdYKpSonfL2rtijYj0H0+BEVGt2DCxmyzrfX1VLEJWHIYQAjtPpeP45UxZ6iCi+oNHgMrAI0BE5csrLIHSSIEWH24BALzeqxm+21X3j744PXsATJQKKBSKOl83EekmngKrJgYgokdLz8nHueu56OrZAIA8p8cCPBvAxcYUSak52DipO4yMFCgoLsHh87fQ2cMOpibKOq+JiOTDAFRNDEBElbfjVBr+iLmMizfuIP5qtiw1bJ3SE8EL7t7MsYuHPfya2uF5f3c0sjWTpR4iqlsMQNXEAERUdUIIFJZosGjHWSzccVbuctDAQoW5z7RHDy9HqIw57JGoPuMgaCKSjUKhgNpYidC+LeQuBQBwI7cQ4348grAtibhTWIz0nHzsPJWO23V4WT8R6R4eASoDjwAR1Yzs/CKcTs2BhdoYA77eK3c5Wro1b4BVL3eVuwwiqkE8BVZNDEBENa9EI5CdV4Qpa+Ow+/R1ucsBAHw7qhMu3riDHl4OaNvIRu5yiKiaGICqiQGIqHblF5XA+6MIucvQcmxmP9iYmZRqLy7RYPHOZDzWvAH8POxlqIyIKqoyv9/GdVQTEZHE1ESJZ30bY2t8Kna92xudPo2UuyR0+Hib9P6fqY+jpETgyMWbyC0oxlfbT+Or7Xcf2Hrv/xl5/yEi/cYjQGXgESCiulFcooGx0gj9F+zBqdQcucuplEHtXPFOcEs0sTeH0ohhiEgX8CowItILxsq7/wT9PM4frjamUvtgn4ZylVRhm05cQ+95u9Bs+mbkF5XIXQ4RVRKPAJWBR4CI6p5GI/BH7GV0amKL5k5WOjlO6GG8nCyRX1yCyLcCUVSigYnSCGfTbwMAB1gT1REOgq4mBiAi3VBcosGC7WcQ0KwB3OzM8d6fx/BaYDO42Jii/wLduqz+UZLnDITSSIGvt5/B3jPX8cvL/nxUB1ENYwCqJgYgIt13NTMPj4XvkLuMSln7aleMWHoQANDDywFTglrgQHIGXu/VXBpHdO9hs7xrNVHlMQBVEwMQkX7QaAQ8p2+Wu4xq83axwoC2rlAaAfO2nYaDpRpHPgySTqUBQPzVLBQWa9CxiZ3M1RLpLl4GT0QGwaieXH11KjVH6yq4jNsF6PjJNty6U4SXuzfFkx0aYvDifwAAHw5qhZd7eEp9D527gRNXsjCue1Nemk9UCTwCVAYeASLSH79GX8LG41ex5AVfJF7LwdI9yUjLLkBnDzukZxdg04lrcpdY4y6ED5Lee0zdBADo3twB7/f3RrvG2gOuhRAMRmQweAqsmhiAiOqPewHBUByY9jg0Amhka4YjF27i9VWxeL+/N57xbYysvCKkZefjh33n8WKAO9o05NVpVL8wAFUTAxBR/ZGdX4QTl7MweU0cPhjkjVPXcvD9nnNyl1Xroj/ogz7zdyMn/+5T75e80Amv/RKr1efBI0lE9QEDUDUxABHVb/vOZOCF/zsEABjf0xO7kq4jKU2/7kRdEy6ED0JeYQmuZeXB09ESwN1TZgXFGl6iT3qJAaiaGICI6r/jlzOx72wGXunhCROlEdKz82GqUuJqZh6GLzmA7H+PnNRnHz/VBjM3xAMAhnZshD6tnLDn9HX8duQytk7pCQu1Eo3tzEvNx3FFpKsYgKqJAYjIsGk0Ahoh0PyDLQAAVxtTXMvKl7kqefVt7YyQxzwQmZiGX6MvoVMTO/Ru6YQXA9y1jhZdzcxDwtVs9GnlxJBEdY4BqJoYgIjov+4d9TC0QdUV4WJtiv8b2xneLtZo9u99mVysTfH9i75o09AaVzPz0aTB3SNJQgisOnQJ3i5W6OxhL2fZVA8xAFUTAxARlefklSw8sXCf3GXonUXPd8QT7Rvin7MZGLX87virBwdh5xeVIPn6bbR2tYZCocD1nAKcSc9BgGcDHkmiCmMAqiYGICJ6mILiEkQmpOGnAxfRtak9vtlxFgDw7ahOeGNV7CPmNlyv9vRETn4xfo2+BODuuCM3OzMkpuZg35kM5BWV4PNh7TDCrwm8PtiMohKB5aM7I6i1s7SM/KISnLiShU5N7KTHhxDdwwBUTQxARFQZB8/dwI3bhRjU3hW3C4phoVJCoVAgt6AY+5NvYO+Z6/jpwEW5y9QLCgUwvmczLNmdLLX98VoA2jaywb4zGfgy8jQSrmUjqJUTlo/xk7FS0kUMQNXEAERENUkIgVkb4pF8PReznmqNoC/3yF1SvfFiV3d8OqQtDl+4iWeXHEBo3xZ4o1cz/PDPefg3bQBrMxNYmxqjgaVa7lKpDjAAVRMDEBHVJg6krl2fDm6Dj/6K12p7s48XmjlawL9pA7jYmKKoRIOc/GKYmSiRmp2Ppg4WUt87hcXYczoDPVs4wFxV/UdmFhSXIL9QAxtzk2ovix6OAaiaGICIqDaduJyFtOx8NLIzw/9iLyP+ajb2J9+QPp82wBthW07JWGH99tWIDnhr7TEAgNJIgRKNwIwnWiOkmwcUCgUmrI7FpuPXMLCdC74d5QshxN37QglgxNIDcLUxxefD2sPBUo2YS7fQwtkKNmblh5vOs7cj43YBjn7UF3YWqrraTIPEAFRNDEBEVNe+25WMzyNO4akODfHNyI5IuXkHW05eQ/82rli6NxmdmtihXxsXtJ25Ve5SDYqDpRoZtwse2e+9/i3RwEKFEX5NANy/bcJvh1Pw3p/HAQDNnSyx+PlOcLRSw87cpNTVbUIIXL9dABMjIyiVClib8ohRZTEAVRMDEBHVNSEETqXmwMvJEsZKo3L7PXj6bNXL/mjpYoVNx69h5oZ4jOzSRLrCiuTx40tdsP7oFaw7egUTezfHop1ny+z3uLcTlrzgi+jzN/Hh+hMIH9Yeqw5dwt/Hrkp9Xu/VDO/398bfx67CxswEPVs4AgAmrzkKjQAWjuz4yHre/u0Y8otKsOj5jpW+nYBGI5CeUwAXG9NKzScnBqBqYgAiIl1170jR18/5YLBPo1Kfz9oQj5X7L0jTDz7ugvTP0hd98erPMQDu3jcp804hfD6JBADEfBiEBpZq7DuTgV8OXsQnQ9rAyep+WMktKEabf48Y7p/6OBrammktO7+oBH/GXsbJK1kY4dcEPm62Wp+/tTYO645eke7hpA8q8/td/dFdRERUZ17v1QwvBrjDUl32P99v9W2BG7mF6NDYBo81c0DrhtZoaGuGTzcm4NLNO3VcLVXXvfADABNWx6JbMwdpOregBBdv3pIe7BsRn4rn/NxQVCLwUncPuDe4P7B7w7Gr+OdsBh5r5oDgNs7wdLRE+JZTUlj+NToFe9/rjRX/XMC4Hk3RyNYM645eAQAs2nEWFmpjeDlZIjuvGJ6OFtV6WO6ZtByUCAFvF3kPMPAIUBl4BIiI6qOoxDSM+/GINL3j7UDsOX0dw/3c0HrG3SMFId08oDZWat2Hh/RTWVfD3fN/Yzpr/VkAADd7M6TczENLZytsfatnuVcrdmhsg78mdsf2hDRMW3cC13MK4OVkifBh7dG2kTXUxuWHo6ISDbz+fcZe/MfBsCgnyFcVT4FVEwMQEdVXBcUlmBuRhADPBlp3WE65eQf7zmbg6U6NoDZWIj0nH78cvIRfoy/hjV7N8PHfCTJWTbpm46TuZT4SZlB7V0wf2Ap7T1/H0H//LD3owdNy+97vjcZ25jVaFwNQNTEAERFp23kqHSErD5dqH9apMf6MvQwAaGRrhhUhfuj3FW/0SIB/U3usHR8AANh/NgNb41MxJagFOn56dwzTirF+6O3tVKPrZACqJgYgIqLSpq87AbWxEd7q2wJ/xV3FwLYusDEzwZGLt5CTX4weXg7S2JDfjqTgi61JmDbAG6G/HZO5cpJTv9bO2JaQVuZnDz4QtyYwAFUTAxARUc35M+Yy3v79GKxNjXF0Rj8UlWgwa0M8+rd1QU8vR5y9fhtfbE1CZDk/klR/MQDpGAYgIqKad+/mgOXRaASeWbIfsZcy664okpWcAYiXwRMRUZ141I34jIwUWP1KV5xOy0G7RjbYGp+KhrZmaNfIBk2nbQYAdPW0R3MnS7wV1AJ7z2Rgyto4rWV0a94ArjZm+CPmcm1tBtUTDEBERKQzTE2UaN/YFgDQv62r1P6sb2P8EXsZXzzTAW72d68cGtKxEZ7q0BBxlzPRwtlK695IDW1M8c2Osu/CTAQA5d9vvQ4tXrwYHh4eMDU1hb+/P6Kjox/a//fff4e3tzdMTU3Rrl07bN68uVSfxMREPPXUU7CxsYGFhQX8/Pxw6RJvEU9EpI++eLYDkj4dIIWfe4yMFOjUxK7UjSEn9fHCmAB3eP77lHczEyXMVUrsfa83fh7XRatvnxq+Eon0g+xHgNauXYvQ0FAsWbIE/v7+WLBgAYKDg5GUlAQnp9J/KPfv34+RI0ciLCwMTzzxBFavXo0hQ4YgNjYWbdu2BQAkJyeje/fuGDduHD7++GNYW1sjPj4epqb68zwTIiLSpjKu+P+zmyiN8PHgu78JxSUaGCuNpP+62ZtjwQgf7Dl9HeHD2kNlbIT0nHysi72CsC2npGV8OqQtVh28iFOpOTW+LSQ/2QdB+/v7w8/PD4sWLQIAaDQauLm5YdKkSZg6dWqp/iNGjEBubi42btwotXXt2hU+Pj5YsmQJAOC5556DiYkJfv755yrVxEHQRESGKTUrH5EJqejV0glu9ua4mpmHGX/F46XuHnC0VGNX0nVczcrDin8ulLsMVxtTXMvKL/MzewsVVEojpGaX/bmhkXMQtKynwAoLCxETE4OgoCCpzcjICEFBQThw4ECZ8xw4cECrPwAEBwdL/TUaDTZt2oQWLVogODgYTk5O8Pf3x/r168uto6CgANnZ2VovIiIyPC42pngxwEM61dbQ1gzLx3TGY80c4OVshVd6eqKzu73Uf/aQu0eZnK3VODdnIM6HDcSBaX0w68nWpZbdwEKF2I/64uD0PmhsZ1bq87L08XbCyY+D0cPL4dGdqVJkPQWWkZGBkpISODs7a7U7Ozvj1KlTZc6TmppaZv/U1FQAQHp6Om7fvo3w8HDMnj0bn3/+OSIiIvD0009j586dCAwMLLXMsLAwfPzxxzW0VUREVJ8NbOeCz4e1Q/vGtmjlao1nfBuXejjo2G5NMbZbU2TeKcTFG3fg4WAB9QOn8Na90Q3f7UrGgHYueGH5IRQUa2BnboKPnmiNgGYNELLiMJRGCiwe1QmmJkr8PM4fu5LSMXZF6btxl8VCpURuYUmNbndNa2gj77AU2ccA1TSNRgMAGDx4MN566y0AgI+PD/bv348lS5aUGYCmTZuG0NBQaTo7Oxtubm51UzAREekVhUKBEX5NpOmHPRnd1lwFW3NVqXZHKzVm/HuUKP7jYCiNFFq3CYiY0rPUPL1aOiFuRl/M2ZyIzu72aOpoAT8Pe/yw7zzc7M1hrlLijVWxCH+6HXp7O+HIhVtwsVEj6MuyH00yqJ0rvn7OB83/fThpXevkbifLeu+RNQA5ODhAqVQiLU377p9paWlwcXEpcx4XF5eH9ndwcICxsTFat9Y+/NiqVSvs21f6wW0AoFaroVarq7oZREREVWasrPhoFFtzFeY+00Gr7aXuTaX3cTP6SkGq+7+nzY58GIQjF25i9+kMxF/NwvHLWXjOzw3hw9oDAL5+zgdfRZ6Gp6MldpxKr/J2eDpY4FxGboX725iZVHldNUHWAKRSqeDr64uoqCgMGTIEwN0jOFFRUZg4cWKZ8wQEBCAqKgpTpkyR2iIjIxEQECAt08/PD0lJSVrznT59Gu7u7rWyHURERLqgrJtNOliq0b+tK/q3dUVOfhH+OZuBXi3vX2U92KcRBvs0QlGJBgfP3YCrjSkUCgUu3bij9QDchE+CsfHYNTS0NUN3Lwd4TN2ktZ4fX+qCHnN3VrhWo0fcGLO2yX4KLDQ0FGPGjEHnzp3RpUsXLFiwALm5uQgJCQEAjB49Go0aNUJYWBgAYPLkyQgMDMT8+fMxaNAgrFmzBkeOHMHSpUulZb777rsYMWIEevbsid69eyMiIgJ///03du3aJccmEhER6QQrUxOtG0w+yERphB5ejtJ0M0dLDPFpiPVxVwEA5ipjDPe7PzxkRYgfQv4dk2ShUuLBa8p3vB2I3aev4+O/EwAAC0d2xNXMPOxMSsfBczcBAM2dLGt02ypL9gA0YsQIXL9+HTNmzEBqaip8fHwQEREhDXS+dOkSjIzuHx587LHHsHr1anz44YeYPn06vLy8sH79eukeQAAwdOhQLFmyBGFhYXjzzTfRsmVL/Pnnn+jevXudbx8REZG+8na1Bv4NQP/Vu6UTznw2ABuPX0VXzwYoLrmfgBramiGkW1O82NVd6xTf+MBmOHzhJvaeycAo/yZlLbbOyH4fIF3E+wAREREBhcUaLNmdjMAWjujgZvvQvkIIhKw8DHOVEt+O8q2bAv+DT4OvJgYgIiIi/aM3N0IkIiIikgMDEBERERkcBiAiIiIyOAxAREREZHAYgIiIiMjgMAARERGRwWEAIiIiIoPDAEREREQGhwGIiIiIDA4DEBERERkcBiAiIiIyOAxAREREZHAYgIiIiMjgMAARERGRwTGWuwBdJIQAAGRnZ8tcCREREVXUvd/te7/jD8MAVIacnBwAgJubm8yVEBERUWXl5OTAxsbmoX0UoiIxycBoNBpcvXoVVlZWUCgUNbrs7OxsuLm5ISUlBdbW1jW6bKpZ3Ff6g/tKv3B/6Q9921dCCOTk5KBhw4YwMnr4KB8eASqDkZERGjduXKvrsLa21os/TMR9pU+4r/QL95f+0Kd99agjP/dwEDQREREZHAYgIiIiMjgMQHVMrVZj5syZUKvVcpdCj8B9pT+4r/QL95f+qM/7ioOgiYiIyODwCBAREREZHAYgIiIiMjgMQERERGRwGICIiIjI4DAA1aHFixfDw8MDpqam8Pf3R3R0tNwl1Tt79uzBk08+iYYNG0KhUGD9+vVanwshMGPGDLi6usLMzAxBQUE4c+aMVp+bN29i1KhRsLa2hq2tLcaNG4fbt29r9Tl+/Dh69OgBU1NTuLm5Ye7cuaVq+f333+Ht7Q1TU1O0a9cOmzdvrvHt1WdhYWHw8/ODlZUVnJycMGTIECQlJWn1yc/Px4QJE9CgQQNYWlpi2LBhSEtL0+pz6dIlDBo0CObm5nBycsK7776L4uJirT67du1Cp06doFar0bx5c6xcubJUPfz7Wb7vvvsO7du3l26GFxAQgC1btkifcz/prvDwcCgUCkyZMkVq4/76l6A6sWbNGqFSqcQPP/wg4uPjxSuvvCJsbW1FWlqa3KXVK5s3bxYffPCB+N///icAiHXr1ml9Hh4eLmxsbMT69evFsWPHxFNPPSWaNm0q8vLypD79+/cXHTp0EAcPHhR79+4VzZs3FyNHjpQ+z8rKEs7OzmLUqFHi5MmT4tdffxVmZmbi+++/l/r8888/QqlUirlz54qEhATx4YcfChMTE3HixIla/w70RXBwsFixYoU4efKkiIuLEwMHDhRNmjQRt2/flvq89tprws3NTURFRYkjR46Irl27iscee0z6vLi4WLRt21YEBQWJo0ePis2bNwsHBwcxbdo0qc+5c+eEubm5CA0NFQkJCWLhwoVCqVSKiIgIqQ//fj7chg0bxKZNm8Tp06dFUlKSmD59ujAxMREnT54UQnA/6aro6Gjh4eEh2rdvLyZPniy1c3/dxQBUR7p06SImTJggTZeUlIiGDRuKsLAwGauq3/4bgDQajXBxcRFffPGF1JaZmSnUarX49ddfhRBCJCQkCADi8OHDUp8tW7YIhUIhrly5IoQQ4ttvvxV2dnaioKBA6vP++++Lli1bStPDhw8XgwYN0qrH399fjB8/vka3sT5JT08XAMTu3buFEHf3jYmJifj999+lPomJiQKAOHDggBDibuA1MjISqampUp/vvvtOWFtbS/vnvffeE23atNFa14gRI0RwcLA0zb+flWdnZyeWL1/O/aSjcnJyhJeXl4iMjBSBgYFSAOL+uo+nwOpAYWEhYmJiEBQUJLUZGRkhKCgIBw4ckLEyw3L+/HmkpqZq7QcbGxv4+/tL++HAgQOwtbVF586dpT5BQUEwMjLCoUOHpD49e/aESqWS+gQHByMpKQm3bt2S+jy4nnt9uL/Ll5WVBQCwt7cHAMTExKCoqEjre/T29kaTJk209le7du3g7Ows9QkODkZ2djbi4+OlPg/bF/z7WTklJSVYs2YNcnNzERAQwP2koyZMmIBBgwaV+k65v+7jw1DrQEZGBkpKSrT+MAGAs7MzTp06JVNVhic1NRUAytwP9z5LTU2Fk5OT1ufGxsawt7fX6tO0adNSy7j3mZ2dHVJTUx+6HtKm0WgwZcoUdOvWDW3btgVw97tUqVSwtbXV6vvf/VXW93zvs4f1yc7ORl5eHm7dusW/nxVw4sQJBAQEID8/H5aWlli3bh1at26NuLg47icds2bNGsTGxuLw4cOlPuPfq/sYgIhIdhMmTMDJkyexb98+uUuhcrRs2RJxcXHIysrCH3/8gTFjxmD37t1yl0X/kZKSgsmTJyMyMhKmpqZyl6PTeAqsDjg4OECpVJYaZZ+WlgYXFxeZqjI8977rh+0HFxcXpKena31eXFyMmzdvavUpaxkPrqO8PtzfpU2cOBEbN27Ezp070bhxY6ndxcUFhYWFyMzM1Or/3/1V1X1hbW0NMzMz/v2sIJVKhebNm8PX1xdhYWHo0KEDvv76a+4nHRMTE4P09HR06tQJxsbGMDY2xu7du/HNN9/A2NgYzs7O3F//YgCqAyqVCr6+voiKipLaNBoNoqKiEBAQIGNlhqVp06ZwcXHR2g/Z2dk4dOiQtB8CAgKQmZmJmJgYqc+OHTug0Wjg7+8v9dmzZw+KioqkPpGRkWjZsiXs7OykPg+u514f7u/7hBCYOHEi1q1bhx07dpQ6rejr6wsTExOt7zEpKQmXLl3S2l8nTpzQCq2RkZGwtrZG69atpT4P2xf8+1k1Go0GBQUF3E86pk+fPjhx4gTi4uKkV+fOnTFq1CjpPffXv+QehW0o1qxZI9RqtVi5cqVISEgQr776qrC1tdUaZU/Vl5OTI44ePSqOHj0qAIgvv/xSHD16VFy8eFEIcfcyeFtbW/HXX3+J48ePi8GDB5d5GXzHjh3FoUOHxL59+4SXl5fWZfCZmZnC2dlZvPjii+LkyZNizZo1wtzcvNRl8MbGxmLevHkiMTFRzJw5k5fB/8frr78ubGxsxK5du8S1a9ek1507d6Q+r732mmjSpInYsWOHOHLkiAgICBABAQHS5/cu1+3Xr5+Ii4sTERERwtHRsczLdd99912RmJgoFi9eXObluvz7Wb6pU6eK3bt3i/Pnz4vjx4+LqVOnCoVCIbZt2yaE4H7SdQ9eBSYE99c9DEB1aOHChaJJkyZCpVKJLl26iIMHD8pdUr2zc+dOAaDUa8yYMUKIu5fCf/TRR8LZ2Vmo1WrRp08fkZSUpLWMGzduiJEjRwpLS0thbW0tQkJCRE5OjlafY8eOie7duwu1Wi0aNWokwsPDS9Xy22+/iRYtWgiVSiXatGkjNm3aVGvbrY/K2k8AxIoVK6Q+eXl54o033hB2dnbC3NxcDB06VFy7dk1rORcuXBADBgwQZmZmwsHBQbz99tuiqKhIq8/OnTuFj4+PUKlUwtPTU2sd9/DvZ/leeukl4e7uLlQqlXB0dBR9+vSRwo8Q3E+67r8BiPvrLoUQQshz7ImIiIhIHhwDRERERAaHAYiIiIgMDgMQERERGRwGICIiIjI4DEBERERkcBiAiIiIyOAwABEREZHBYQAiMkC9evXClClT6ny9Fy5cgEKhQFxcXJ2vm4CxY8diyJAhcpdBpBMYgIioSnbt2gWFQlHqoYpERPqAAYiI6D8KCwvlLoGIahkDEJGBKi4uxsSJE2FjYwMHBwd89NFHePDJOD///DM6d+4MKysruLi44Pnnn5eeDn3hwgX07t0bAGBnZweFQoGxY8cCuPvE57lz56J58+ZQq9Vo0qQJPvvsM611nzt3Dr1794a5uTk6dOiAAwcOaH2+b98+9OjRA2ZmZnBzc8Obb76J3Nxc6fNvv/0WXl5eMDU1hbOzM5555plyt3PlypWwtbXF+vXrpXmCg4ORkpIi9Zk1axZ8fHywfPlyNG3aFKampgCAS5cuYfDgwbC0tIS1tTWGDx+OtLQ0reX//fff8PPzg6mpKRwcHDB06FDps4KCArzzzjto1KgRLCws4O/vj127dkmfX7x4EU8++STs7OxgYWGBNm3aYPPmzQCAW7duYdSoUXB0dISZmRm8vLywYsUKad6UlBQMHz4ctra2sLe3x+DBg3HhwgXp85KSEoSGhsLW1hYNGjTAe++9Bz75iOg+BiAiA/Xjjz/C2NgY0dHR+Prrr/Hll19i+fLl0udFRUX49NNPcezYMaxfvx4XLlyQQo6bmxv+/PNPAEBSUhKuXbuGr7/+GgAwbdo0hIeH46OPPkJCQgJWr14NZ2dnrXV/8MEHeOeddxAXF4cWLVpg5MiRKC4uBgAkJyejf//+GDZsGI4fP461a9di3759mDhxIgDgyJEjePPNN/HJJ58gKSkJERER6Nmz50O39c6dO/jss8/w008/4Z9//kFmZiaee+45rT5nz57Fn3/+if/973+Ii4uDRqPB4MGDcfPmTezevRuRkZE4d+4cRowYIc2zadMmDB06FAMHDsTRo0cRFRWFLl26SJ9PnDgRBw4cwJo1a3D8+HE8++yz6N+/P86cOQMAmDBhAgoKCrBnzx6cOHECn3/+OSwtLQFA+v62bNmCxMREfPfdd3BwcJD2TXBwMKysrLB37178888/sLS0RP/+/aWjV/Pnz8fKlSvxww8/YN++fbh58ybWrVv3qD8WRIZD3mexEpEcAgMDRatWrYRGo5Ha3n//fdGqVaty5zl8+LAAIHJycoQQd58EDUDcunVL6pOdnS3UarVYtmxZmcs4f/68ACCWL18utcXHxwsAIjExUQghxLhx48Srr76qNd/evXuFkZGRyMvLE3/++aewtrYW2dnZFdrWFStWCABaT6FOTEwUAMShQ4eEEELMnDlTmJiYiPT0dKnPtm3bhFKpFJcuXSpVa3R0tBBCiICAADFq1Kgy13vx4kWhVCrFlStXtNr79Okjpk2bJoQQol27dmLWrFllzv/kk0+KkJCQMj/7+eefRcuWLbX2X0FBgTAzMxNbt24VQgjh6uoq5s6dK31eVFQkGjduLAYPHlzmMokMDY8AERmorl27QqFQSNMBAQE4c+YMSkpKAAAxMTF48skn0aRJE1hZWSEwMBDA3dNC5UlMTERBQQH69Onz0HW3b99eeu/q6goA0um1Y8eOYeXKlbC0tJRewcHB0Gg0OH/+PPr27Qt3d3d4enrixRdfxKpVq3Dnzp2Hrs/Y2Bh+fn7StLe3N2xtbZGYmCi1ubu7w9HRUWtb3Nzc4ObmJrW1bt1aa764uLhyt/XEiRMoKSlBixYttLZl9+7dSE5OBgC8+eabmD17Nrp164aZM2fi+PHj0vyvv/461qxZAx8fH7z33nvYv3+/9NmxY8dw9uxZWFlZScu1t7dHfn4+kpOTkZWVhWvXrsHf31/rO+jcufNDvyciQ2IsdwFEpHtyc3MRHByM4OBgrFq1Co6Ojrh06RKCg4MfOkDYzMysQss3MTGR3t8LYRqNBgBw+/ZtjB8/Hm+++Wap+Zo0aQKVSoXY2Fjs2rUL27Ztw4wZMzBr1iwcPnwYtra2ldhKbRYWFpWe52Hbe/v2bSiVSsTExECpVGp9du8018svv4zg4GBs2rQJ27ZtQ1hYGObPn49JkyZhwIABuHjxIjZv3ozIyEj06dMHEyZMwLx583D79m34+vpi1apVpdb7YIgjovLxCBCRgTp06JDW9MGDB+Hl5QWlUolTp07hxo0bCA8PR48ePeDt7S0doblHpVIBgHTECAC8vLxgZmaGqKioKtfVqVMnJCQkoHnz5qVe99ZpbGyMoKAgzJ07F8ePH8eFCxewY8eOcpdZXFyMI0eOSNNJSUnIzMxEq1atyp2nVatWSElJ0RosnZCQgMzMTLRu3RrA3SNZ5W1rx44dUVJSgvT09FLb4eLiIvVzc3PDa6+9hv/97394++23sWzZMukzR0dHjBkzBr/88gsWLFiApUuXSt/RmTNn4OTkVGrZNjY2sLGxgaurq9Y+Li4uRkxMTLnbS2RoGICIDNSlS5cQGhqKpKQk/Prrr1i4cCEmT54M4P6RloULF+LcuXPYsGEDPv30U6353d3doVAosHHjRly/fh23b9+Gqakp3n//fbz33nv46aefkJycjIMHD+L//u//KlzX+++/j/3792PixImIi4vDmTNn8Ndff0mDoDdu3IhvvvkGcXFxuHjxIn766SdoNBq0bNmy3GWamJhg0qRJOHToEGJiYjB27Fh07dpVa8DyfwUFBaFdu3YYNWoUYmNjER0djdGjRyMwMFA6lTRz5kz8+uuvmDlzJhITE6WBzADQokULjBo1CqNHj8b//vc/nD9/HtHR0QgLC8OmTZsAAFOmTMHWrVtx/vx5xMbGYufOnVIomzFjBv766y+cPXsW8fHx2Lhxo/TZqFGj4ODggMGDB2Pv3r04f/48du3ahTfffBOXL18GAEyePBnh4eFYv349Tp06hTfeeIP3bCJ6kNyDkIio7gUGBoo33nhDvPbaa8La2lrY2dmJ6dOnaw2qXb16tfDw8BBqtVoEBASIDRs2CADi6NGjUp9PPvlEuLi4CIVCIcaMGSOEEKKkpETMnj1buLu7CxMTE9GkSRMxZ84cIcT9QdAPLuPWrVsCgNi5c6fUFh0dLfr27SssLS2FhYWFaN++vfjss8+EEHcHRAcGBgo7OzthZmYm2rdvL9auXVvutq5YsULY2NiIP//8U3h6egq1Wi2CgoLExYsXpT4zZ84UHTp0KDXvxYsXxVNPPSUsLCyElZWVePbZZ0VqaqpWnz///FP4+PgIlUolHBwcxNNPPy19VlhYKGbMmCE8PDyEiYmJcHV1FUOHDhXHjx8XQggxceJE0axZM6FWq4Wjo6N48cUXRUZGhhBCiE8//VS0atVKmJmZCXt7ezF48GBx7tw5adnXrl0To0ePFg4ODkKtVgtPT0/xyiuviKysLCHE3UHPkydPFtbW1sLW1laEhoaK0aNHcxA00b8UQvDGEERUf61cuRJTpkzh0Q8i0sJTYERERGRwGICIiIjI4PAUGBERERkcHgEiIiIig8MARERERAaHAYiIiIgMDgMQERERGRwGICIiIjI4DEBERERkcBiAiIiIyOAwABEREZHBYQAiIiIig/P/hfp/4SuvBu4AAAAASUVORK5CYII=\n"
          },
          "metadata": {}
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### model-1m-de-2024-03-22T10:42"
      ],
      "metadata": {
        "id": "_iqJOU8cwaAA"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "model_directory = \"/content/drive/My Drive/genAI project/model-1m-de-2024-03-22T10:42:27.931481\"\n",
        "model = GPTNeoForCausalLM.from_pretrained(model_directory).to(device)\n",
        "\n",
        "output = model.generate(input_ids, max_length = 1024,\n",
        "                        num_beams=5, temperature=0)\n",
        "output_text = tokenizer.decode(output[0], skip_special_tokens=True)\n",
        "print(output_text)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "WjFbtV3xwdDL",
        "outputId": "8905286c-1680-4602-bfd0-790b7eec914e"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/transformers/generation/configuration_utils.py:410: UserWarning: `do_sample` is set to `False`. However, `temperature` is set to `0` -- this flag is only used in sample-based generation modes. You should set `do_sample=True` or unset `temperature`.\n",
            "  warnings.warn(\n",
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:50256 for open-end generation.\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Es war einmal. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war.. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war. Sie war.\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### model-1m-de-2024-03-22T07:00"
      ],
      "metadata": {
        "id": "9brkzXVA_NQW"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "model_directory = \"/content/drive/My Drive/genAI project/model-1m-de-2024-03-22T07:00:39.130247\"\n",
        "model = GPTNeoForCausalLM.from_pretrained(model_directory).to(device)\n",
        "\n",
        "output = model.generate(input_ids, max_length = 1024,\n",
        "                        num_beams=5, temperature=0)\n",
        "output_text = tokenizer.decode(output[0], skip_special_tokens=True)\n",
        "print(output_text)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "Tb0kN7pS_PpB",
        "outputId": "939265ce-8c70-4cbb-9724-7b80c7819836"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/transformers/generation/configuration_utils.py:410: UserWarning: `do_sample` is set to `False`. However, `temperature` is set to `0` -- this flag is only used in sample-based generation modes. You should set `do_sample=True` or unset `temperature`.\n",
            "  warnings.warn(\n",
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:50256 for open-end generation.\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Es war einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "loss_directory = \"/content/drive/My Drive/genAI project/losses_tensor-1m-de-2024-03-22T07:00:39.220950.pt\"\n",
        "losses = torch.load(loss_directory)\n",
        "fig, ax = plt.subplots()\n",
        "ax.set_title(\"Loss reduction during training\")\n",
        "ax.set_ylabel(\"Loss\")\n",
        "ax.set_xlabel(\"batches processed\")\n",
        "ax.plot(np.array(losses).flatten())\n",
        "fig.show()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 472
        },
        "id": "tXpNzxpQjvNF",
        "outputId": "ac9da5e8-6667-4a67-8809-dddd54b269f9"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<Figure size 640x480 with 1 Axes>"
            ],
            "image/png": "iVBORw0KGgoAAAANSUhEUgAAAkgAAAHHCAYAAABEEKc/AAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjcuMSwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy/bCgiHAAAACXBIWXMAAA9hAAAPYQGoP6dpAABaeElEQVR4nO3deVwU9f8H8Ndy7SKwILcHhweJJxgK4oUmhcc3z7xL5Wum5U2lYqXmEWhaVppmpWZfr+ywUiMRjzRRFMRb8kI0ObxgFeTcz+8Pf4wuhyICswuv5+Oxj2Y+89mZ9+zwaF/OfmZGIYQQICIiIiKJkdwFEBEREekbBiQiIiKiIhiQiIiIiIpgQCIiIiIqggGJiIiIqAgGJCIiIqIiGJCIiIiIimBAIiIiIiqCAYmIiIioCAYkIiozd3d3jBo1qsq3m5iYCIVCgbVr11b5tkvTpUsXdOnSxWDWK7e1a9dCoVAgMTHxqd+7d+9eKBQK7N27t8LrIioNAxJRGRX+D/7o0aNyl1JtbdiwAUuXLpW7jBrro48+wtatW+Uug0gvmMhdABFRoQ0bNuDUqVOYMmWKTrubmxvu378PU1NTeQqrQjt37pRt2x999BFeeeUV9O3bt8LX/dprr2HIkCFQKpVP/d7OnTvj/v37MDMzq/C6iErDM0hENUBmZqbcJTwThUIBlUoFY2NjuUupNFlZWQAAMzMzgwgCT/s3ZWxsDJVKBYVC8dTbMjIygkqlgpERv7Ko6vCvjaiCHTt2DD169IBarYalpSW6deuGQ4cO6fTJy8vDhx9+CA8PD6hUKtjZ2aFjx46IjIyU+qSkpCA4OBj169eHUqlEnTp10KdPnyeO4Rg1ahQsLS1x8eJF9OzZE1ZWVhg+fDgAQKvVYunSpWjevDlUKhWcnJwwduxY3LlzR2cdQgjMnz8f9evXR61atdC1a1ecPn262LbmzJlT4hdeaeNN/vjjDwQEBMDKygpqtRpt27bFhg0bADwYe7N9+3ZcuXIFCoUCCoUC7u7uAEofg7R792506tQJFhYWsLGxQZ8+fXD27NkSa7xw4QJGjRoFGxsbWFtbIzg4WAolT7Jq1So0atQI5ubm8PX1xf79+8u8zyWNn+nSpQtatGiB2NhYdO7cGbVq1cLMmTOlZY+OQSp8/w8//IAFCxagfv36UKlU6NatGy5cuFCsjuXLl6Nhw4Y6tZZlXJNCoUBmZia+++476fMvHG9W+BmeOXMGw4YNQ+3atdGxY0cAwIkTJzBq1Cg0bNgQKpUKzs7O+O9//4tbt2498fNxd3fHf/7zHxw4cAC+vr5QqVRo2LAh1q1bV+bP8MyZM+jatStq1aqFevXqYdGiRcX27cqVK+jduzcsLCzg6OiIqVOn4s8//+S4Jnos/sRGVIFOnz6NTp06Qa1WY9q0aTA1NcVXX32FLl26YN++ffDz8wPw4AsnLCwMr7/+Onx9faHRaHD06FHExcXhxRdfBAAMGDAAp0+fxsSJE+Hu7o60tDRERkYiKSlJCg6lyc/PR1BQEDp27IjFixejVq1aAICxY8di7dq1CA4OxqRJk3D58mUsW7YMx44dw99//y39hDVr1izMnz8fPXv2RM+ePREXF4eXXnoJubm55f5s1q5di//+979o3rw5QkNDYWNjg2PHjiEiIgLDhg3De++9h4yMDFy7dg2ffvopAMDS0rLU9e3atQs9evRAw4YNMWfOHNy/fx9ffPEFOnTogLi4uGKf0aBBg9CgQQOEhYUhLi4O33zzDRwdHbFw4cLH1v3tt99i7NixaN++PaZMmYJLly6hd+/esLW1hYuLS7k/j1u3bqFHjx4YMmQIXn31VTg5OT22f3h4OIyMjPDOO+8gIyMDixYtwvDhw3H48GGpz4oVKzBhwgR06tQJU6dORWJiIvr27YvatWujfv36j13/999/L/09vvHGGwCARo0a6fQZOHAgPDw88NFHH0EIAQCIjIzEpUuXEBwcDGdnZ5w+fRqrVq3C6dOncejQoSeeMbpw4QJeeeUVjB49GiNHjsTq1asxatQo+Pj4oHnz5o997507d9C9e3f0798fgwYNwo8//ojp06ejZcuW6NGjB4AHZ7peeOEFJCcnY/LkyXB2dsaGDRuwZ8+ex66bCIKIymTNmjUCgDhy5Eipffr27SvMzMzExYsXpbbr168LKysr0blzZ6nNy8tL9OrVq9T13LlzRwAQH3/88VPXOXLkSAFAzJgxQ6d9//79AoBYv369TntERIROe1pamjAzMxO9evUSWq1W6jdz5kwBQIwcOVJqmz17tijpfyOFn9Xly5eFEEKkp6cLKysr4efnJ+7fv6/T99Ft9OrVS7i5uRVb3+XLlwUAsWbNGqnN29tbODo6ilu3bkltx48fF0ZGRmLEiBHFavzvf/+rs85+/foJOzu7Ytt6VG5urnB0dBTe3t4iJydHal+1apUAIAICAkrd50J79uwRAMSePXuktoCAAAFArFy5stg2AwICdNZb+P6mTZvq1PDZZ58JAOLkyZNCCCFycnKEnZ2daNu2rcjLy5P6rV27tlitpbGwsNA5voUKP8OhQ4cWW5aVlVWsbePGjQKA+Ouvv6S2kj4fNze3Yv3S0tKEUqkUb7/9drHPoKTPcN26dVJbTk6OcHZ2FgMGDJDalixZIgCIrVu3Sm33798Xnp6exdZJ9Cj+xEZUQQoKCrBz50707dsXDRs2lNrr1KmDYcOG4cCBA9BoNAAAGxsbnD59GufPny9xXebm5jAzM8PevXuL/fxVVm+++abO/JYtW2BtbY0XX3wRN2/elF4+Pj6wtLSU/kW9a9cu5ObmYuLEiTr/+i86cPppREZG4u7du5gxYwZUKpXOsvKMSUlOTkZ8fDxGjRoFW1tbqb1Vq1Z48cUXsWPHjmLvGTdunM58p06dcOvWLemYlOTo0aNIS0vDuHHjdMYFjRo1CtbW1k9d96OUSiWCg4PL3D84OFinhk6dOgEALl26JNV669YtjBkzBiYmD38cGD58OGrXrv1MtRYq+hkCD/5WC2VnZ+PmzZto164dACAuLu6J62zWrJm0LwDg4OCAJk2aSPv1OJaWlnj11VeleTMzM/j6+uq8NyIiAvXq1UPv3r2lNpVKhTFjxjxx/VSzMSARVZAbN24gKysLTZo0KbasadOm0Gq1uHr1KgBg7ty5SE9Px3PPPYeWLVvi3XffxYkTJ6T+SqUSCxcuxB9//AEnJyd07twZixYtQkpKSplqMTExKfaTyvnz55GRkQFHR0c4ODjovO7du4e0tDQAD8ZrAICHh4fO+x0cHMr9RXvx4kUAQIsWLcr1/qIKayzts75582axQcSurq4684X78rgAWtpnYWpqqhOCy6NevXpPNRj7SfUX1tq4cWOdfiYmJk/8SbasGjRoUKzt9u3bmDx5MpycnGBubg4HBwepX0ZGxhPXWXS/gAf7VpZ/GNSvX79YwC763itXrqBRo0bF+hX9nIiK4hgkIhl07twZFy9exK+//oqdO3fim2++waeffoqVK1fi9ddfB/DgjM3LL7+MrVu34s8//8QHH3yAsLAw7N69G61bt37s+pVKZbErfrRaLRwdHbF+/foS3+Pg4PDU+1Ha2Z+CgoKnXldlK+0KOPH/Y2me1dN+Fo+eeSmLyq6/LEqqedCgQTh48CDeffddeHt7w9LSElqtFt27d4dWq33iOp9lv/ThM6Hqi2eQiCqIg4MDatWqhYSEhGLLzp07ByMjI51Bvba2tggODsbGjRtx9epVtGrVCnPmzNF5X6NGjfD2229j586dOHXqFHJzc7FkyZJy1deoUSPcunULHTp0QGBgYLGXl5cXgAf3HAJQ7Oe/GzduFPtXfeFZjPT0dJ32wrMZj24bAE6dOvXYGsv6c1thjaV91vb29rCwsCjTusqynaKfRV5eHi5fvqzTVtbPorIU1lr0yrb8/Pwy3736aX/uvHPnDqKiojBjxgx8+OGH6NevH1588cVnPrtWkdzc3HDx4sVioamkKwCJHsWARFRBjI2N8dJLL+HXX3/V+UJKTU3Fhg0b0LFjR6jVagAodgm0paUlGjdujJycHAAP7omTnZ2t06dRo0awsrKS+jytQYMGoaCgAPPmzSu2LD8/X/piDwwMhKmpKb744gudL5WS7nBdGHz++usvqa3wUvFHvfTSS7CyskJYWFix/Xp0GxYWFmX6WaZOnTrw9vbGd999pxNITp06hZ07d6Jnz55PXEdZtGnTBg4ODli5cqXOFXxr164tFoRK+iwKCgqwatWqCqmlLLXa2dnh66+/Rn5+vtS+fv36Mo9js7CwKLZfj1N4Bqdo+NCnu6EHBQXh33//xW+//Sa1ZWdn4+uvv5axKjIE/ImN6CmtXr0aERERxdonT56M+fPnIzIyEh07dsRbb70FExMTfPXVV8jJydG5P0uzZs3QpUsX+Pj4wNbWFkePHsWPP/6ICRMmAAD++ecfdOvWDYMGDUKzZs1gYmKCX375BampqRgyZEi56g4ICMDYsWMRFhaG+Ph4vPTSSzA1NcX58+exZcsWfPbZZ3jllVfg4OCAd955B2FhYfjPf/6Dnj174tixY/jjjz9gb2+vs86XXnoJrq6uGD16NN59910YGxtj9erVcHBwQFJSktRPrVbj008/xeuvv462bdtK99I5fvw4srKypEDl4+ODzZs3IyQkBG3btoWlpSVefvnlEvfn448/Ro8ePeDv74/Ro0dLl/lbW1sXOxNXXqamppg/fz7Gjh2LF154AYMHD8bly5exZs2aYmdJmjdvjnbt2iE0NBS3b9+Gra0tNm3apBNWKpOZmRnmzJmDiRMn4oUXXsCgQYOQmJiItWvXljgGpyQ+Pj7YtWsXPvnkE9StWxcNGjSQbk1RErVaLY2Py8vLQ7169bBz585iZ9fkNHbsWCxbtgxDhw7F5MmTUadOHaxfv166WKA8FwlQDSHfBXREhqXwMuXSXlevXhVCCBEXFyeCgoKEpaWlqFWrlujatas4ePCgzrrmz58vfH19hY2NjTA3Nxeenp5iwYIFIjc3VwghxM2bN8X48eOFp6ensLCwENbW1sLPz0/88MMPT6xz5MiRwsLCotTlq1atEj4+PsLc3FxYWVmJli1bimnTponr169LfQoKCsSHH34o6tSpI8zNzUWXLl3EqVOnhJubW7HLwGNjY4Wfn58wMzMTrq6u4pNPPin1kvfffvtNtG/fXpibmwu1Wi18fX3Fxo0bpeX37t0Tw4YNEzY2NgKAdMl/SZf5CyHErl27RIcOHaT1vfzyy+LMmTM6fQovUb9x44ZOe2k1luTLL78UDRo0EEqlUrRp00b89ddfxS7HF0KIixcvisDAQKFUKoWTk5OYOXOmiIyMLPES9ebNm5e4rdIu89+yZYtOv9I+k88//1y4ubkJpVIpfH19xd9//y18fHxE9+7dn7if586dE507dxbm5uY6t3Qo7TMUQohr166Jfv36CRsbG2FtbS0GDhworl+/LgCI2bNnS/1Ku8y/pNtdlPYZlOUzHDlyZLFbRVy6dEn06tVLmJubCwcHB/H222+Ln376SQAQhw4deuLnQjWTQgiOZiMiqq60Wi0cHBzQv39//qz0iKVLl2Lq1Km4du0a6tWrJ3c5pIc4BomIqJrIzs4uNh5o3bp1uH379hMfNVKd3b9/X2c+OzsbX331FTw8PBiOqFQcg0REVE0cOnQIU6dOxcCBA2FnZ4e4uDh8++23aNGiBQYOHCh3ebLp378/XF1d4e3tjYyMDPzvf//DuXPnSr3lBRHAgEREVG24u7vDxcUFn3/+uTRQfMSIEQgPD3+qm1JWN0FBQfjmm2+wfv16FBQUoFmzZti0aRMGDx4sd2mkxzgGiYiIiKgIjkEiIiIiKoIBiYiIiKgIjkEqJ61Wi+vXr8PKyoo3GiMiIjIQQgjcvXsXdevWLfbMykcxIJXT9evXdZ6rRURERIbj6tWrqF+/fqnLGZDKycrKCsCDD7jw+VpERESk3zQaDVxcXKTv8dIwIJVT4c9qarWaAYmIiMjAPGl4DAdpExERERXBgERERERUBAMSERERUREMSERERERFMCARERERFcGARERERFQEAxIRERFREQxIREREREUwIBEREREVwYBEREREVAQDEhEREVERDEhERERERTAg6RkhBBJvZiI7r0DuUoiIiGosE7kLIF0NQndI04nhvWSshIiIqObiGSQiIiKiIhiQ9MzHr7QCAHTysJe5EiIiopqLAUnPmJk8OCRaIWSuhIiIqOZiQNIzxkYKAECBlgGJiIhILgxIesZYwYBEREQkNwYkPaP4/4B0JPGOzJUQERHVXAxIeub09QxpmvdCIiIikgcDkp4ZG9BIms7J18pYCRERUc3FgKRnapkaS9P5BQxIREREcmBA0jNG/38VGwDkc6A2ERGRLBiQ9Fj4H+fkLoGIiKhGYkDSY/aWZnKXQEREVCMxIOmhJk5WAIB10VdkroSIiKhmYkDSQwmpdwHwKjYiIiK5MCDpoc7POchdAhERUY3GgKSHWrvYSNNZufnyFUJERFRDMSDpoV6t6kjTyRnZMlZCRERUMzEg6aHn/n+QNgB0W7JPxkqIiIhqJgYkIiIioiIYkIiIiIiKYEDSU+MeeWjthbR7MlZCRERU8zAg6akxnRpI04GfcBwSERFRVWJA0lN2lkq5SyAiIqqxGJCIiIiIimBA0mM+brWl6ey8AhkrISIiqlkYkPTY2y8+J00v231BxkqIiIhqFtkD0vLly+Hu7g6VSgU/Pz/ExMSU2vf06dMYMGAA3N3doVAosHTp0mJ95syZA4VCofPy9PTU6ZOdnY3x48fDzs4OlpaWGDBgAFJTUyt6155Z+8b20vSyPQxIREREVUXWgLR582aEhIRg9uzZiIuLg5eXF4KCgpCWllZi/6ysLDRs2BDh4eFwdnYudb3NmzdHcnKy9Dpw4IDO8qlTp+L333/Hli1bsG/fPly/fh39+/ev0H0jIiIiwyVrQPrkk08wZswYBAcHo1mzZli5ciVq1aqF1atXl9i/bdu2+PjjjzFkyBAolaVf5WViYgJnZ2fpZW//8ExMRkYGvv32W3zyySd44YUX4OPjgzVr1uDgwYM4dOhQhe/js3KwerifuflaGSshIiKqOWQLSLm5uYiNjUVgYODDYoyMEBgYiOjo6Gda9/nz51G3bl00bNgQw4cPR1JSkrQsNjYWeXl5Otv19PSEq6vrY7ebk5MDjUaj86oKy4c9L02P/f5olWyTiIioppMtIN28eRMFBQVwcnLSaXdyckJKSkq51+vn54e1a9ciIiICK1aswOXLl9GpUyfcvXsXAJCSkgIzMzPY2Ng81XbDwsJgbW0tvVxcXMpd49No6/7wSrY9CTeqZJtEREQ1neyDtCtajx49MHDgQLRq1QpBQUHYsWMH0tPT8cMPPzzTekNDQ5GRkSG9rl69WkEVP55CoaiS7RAREdFDJnJt2N7eHsbGxsWuHktNTX3sAOynZWNjg+eeew4XLjy4CszZ2Rm5ublIT0/XOYv0pO0qlcrHjnuqKgVaAWMjhiYiIqLKJNsZJDMzM/j4+CAqKkpq02q1iIqKgr+/f4Vt5969e7h48SLq1KkDAPDx8YGpqanOdhMSEpCUlFSh261IG173k6b/d+iKjJUQERHVDLKdQQKAkJAQjBw5Em3atIGvry+WLl2KzMxMBAcHAwBGjBiBevXqISwsDMCDgd1nzpyRpv/991/Ex8fD0tISjRs3BgC88847ePnll+Hm5obr169j9uzZMDY2xtChQwEA1tbWGD16NEJCQmBrawu1Wo2JEyfC398f7dq1k+FTeLJH74c0+7fTGNneXb5iiIiIagBZA9LgwYNx48YNzJo1CykpKfD29kZERIQ0cDspKQlGRg9Pcl2/fh2tW7eW5hcvXozFixcjICAAe/fuBQBcu3YNQ4cOxa1bt+Dg4ICOHTvi0KFDcHBwkN736aefwsjICAMGDEBOTg6CgoLw5ZdfVs1OExERkd5TCCGE3EUYIo1GA2tra2RkZECtVlf69txnbJemL4f15OBtIiKicijr93e1u4qtuvr5rfbS9KYjVXMFHRERUU3FgGQgWrvYSNOhP5+UrxAiIqIagAHJQPAnNSIioqrDgGSgCrQcOkZERFRZGJAMyPy+LaTpyZuOyVgJERFR9caAZECGtH34/LdtJ5JlrISIiKh6Y0AyICbGPFxERERVgd+4BozjkIiIiCoHA5KB+WHsw+fFzd9+RsZKiIiIqi8GJAPj41Zbml7zd6J8hRAREVVjDEgGxtiI90MiIiKqbAxIBo6P0iMiIqp4DEgGaOOYdtL0+A1xMlZCRERUPTEgGaA27g/HIe04mSJjJURERNUTA5IBMuX9kIiIiCoVv2kNlMkjg7U5DomIiKhiMSAZqK3jO0jTw785LGMlRERE1Q8DkoFq4mwlTR+8eEvGSoiIiKofBiQDxXFIRERElYffstVEXoFW7hKIiIiqDQYkAzavbwtpesfJZBkrISIiql4YkAzYa+3cpOnJm+LlK4SIiKiaYUAiIiIiKoIBqRrh/ZCIiIgqBgOSgftsiLc0fSszV75CiIiIqhEGJAPXs2UdabrTwj0yVkJERFR9MCAZuEfvh3Q/r0DGSoiIiKoPBiQiIiKiIhiQqoGG9hbSdOLNTBkrISIiqh4YkKqBrRMePri2y+K98hVCRERUTTAgVQNqlancJRAREVUrDEhERERERTAgVUOpmmy5SyAiIjJoDEjVxM9vtZemh359SMZKiIiIDB8DUjXxvGttafrSDV7JRkRE9CwYkIiIiIiKYECqpnLyeVdtIiKi8mJAqkZau9pI0yE/HJevECIiIgPHgFSN/DTu4UDt7SeSZayEiIjIsDEgVSNGRgq5SyAiIqoWZA9Iy5cvh7u7O1QqFfz8/BATE1Nq39OnT2PAgAFwd3eHQqHA0qVLi/UJCwtD27ZtYWVlBUdHR/Tt2xcJCQk6fbp06QKFQqHzGjduXEXvGhERERkoWQPS5s2bERISgtmzZyMuLg5eXl4ICgpCWlpaif2zsrLQsGFDhIeHw9nZucQ++/btw/jx43Ho0CFERkYiLy8PL730EjIzdS99HzNmDJKTk6XXokWLKnz/5NCqvrU0vWz3eRkrISIiMlwKIYSQa+N+fn5o27Ytli1bBgDQarVwcXHBxIkTMWPGjMe+193dHVOmTMGUKVMe2+/GjRtwdHTEvn370LlzZwAPziB5e3uXeAaqrDQaDaytrZGRkQG1Wl3u9VS0m/dy0Gb+Lmk+MbyXjNUQERHpl7J+f8t2Bik3NxexsbEIDAx8WIyREQIDAxEdHV1h28nIyAAA2Nra6rSvX78e9vb2aNGiBUJDQ5GVlfXY9eTk5ECj0ei89JG9pVLuEoiIiAyeiVwbvnnzJgoKCuDk5KTT7uTkhHPnzlXINrRaLaZMmYIOHTqgRYsWUvuwYcPg5uaGunXr4sSJE5g+fToSEhLw888/l7qusLAwfPjhhxVSFxEREek32QJSVRg/fjxOnTqFAwcO6LS/8cYb0nTLli1Rp04ddOvWDRcvXkSjRo1KXFdoaChCQkKkeY1GAxcXl8opvAIl3cqCq10tucsgIiIyKLL9xGZvbw9jY2OkpqbqtKemppY6APtpTJgwAdu2bcOePXtQv379x/b18/MDAFy4cKHUPkqlEmq1WuelryZ385CmX1l5UMZKiIiIDJNsAcnMzAw+Pj6IioqS2rRaLaKiouDv71/u9QohMGHCBPzyyy/YvXs3GjRo8MT3xMfHAwDq1KlT7u3qkymBDwNS2t0cGSshIiIyTLL+xBYSEoKRI0eiTZs28PX1xdKlS5GZmYng4GAAwIgRI1CvXj2EhYUBeDCw+8yZM9L0v//+i/j4eFhaWqJx48YAHvystmHDBvz666+wsrJCSkoKAMDa2hrm5ua4ePEiNmzYgJ49e8LOzg4nTpzA1KlT0blzZ7Rq1UqGT6HiKRS8YSQREdGzkDUgDR48GDdu3MCsWbOQkpICb29vRERESAO3k5KSYGT08CTX9evX0bp1a2l+8eLFWLx4MQICArB3714AwIoVKwA8uJT/UWvWrMGoUaNgZmaGXbt2SWHMxcUFAwYMwPvvv1+5OyujAq2AMe+yTUREVGay3gfJkOnrfZAKLYw4hxV7LwIA3ujcEDN7NpW5IiIiIvnp/X2QqHK92eXh1Xir/rokYyVERESGhwGpmlKrTOUugYiIyGAxINUQ93ML5C6BiIjIYDAgVWMBzzlI00NWVdzjW4iIiKo7BqRqbHp3T2n6+LUMGSshIiIyLAxI1Vizuvp3dR0REZEhYEAiIiIiKoIBqQbRZOfJXQIREZFBYECq5r4f7StNt5qzU8ZKiIiIDAcDUjXXsbG93CUQEREZHAakao4PriUiInp6DEg1DB+9R0RE9GQMSDXA1MDnpOn3t56SsRIiIiLDwIBUA4wNaChNrz+cJGMlREREhoEBqQZQmRrLXQIREZFBYUCqgbRajkMiIiJ6HAakGuj0dY3cJRAREek1BqQaImF+d2n65WUHZKyEiIhI/zEg1RBKE45DIiIiKisGpBqK90MiIiIqHQNSDaW5ny93CURERHqLAakGmdnTU5rut+JvGSshIiLSbwxINciYTg9vGHnpRqaMlRAREek3BqQahA+uJSIiKhsGpBrsxt0cuUsgIiLSSwxINUxjR0tpet8/N2SshIiISH8xINUwP41rL02/s+W4jJUQERHpLwakGsa6lqncJRAREek9BqQajjeMJCIiKo4BqYaLuXxb7hKIiIj0DgNSDTS9+8MbRg5edUjGSoiIiPQTA1INNC6g4ZM7ERER1WAMSDUQbxhJRET0eAxIhH9S78pdAhERkV5hQKqhXmvnJk2/+b9YGSshIiLSPwxINdR7vZpK0xf54FoiIiIdDEg1lMrUWO4SiIiI9BYDEgEAtFreMJKIiKgQAxIBAKb9dELuEoiIiPQGA1INtia4rTT9Y+w1GSshIiLSL7IHpOXLl8Pd3R0qlQp+fn6IiYkpte/p06cxYMAAuLu7Q6FQYOnSpeVaZ3Z2NsaPHw87OztYWlpiwIABSE1NrcjdMghdmzjKXQIREZFekjUgbd68GSEhIZg9ezbi4uLg5eWFoKAgpKWlldg/KysLDRs2RHh4OJydncu9zqlTp+L333/Hli1bsG/fPly/fh39+/evlH00JHxwLRER0QMKIeO3op+fH9q2bYtly5YBALRaLVxcXDBx4kTMmDHjse91d3fHlClTMGXKlKdaZ0ZGBhwcHLBhwwa88sorAIBz586hadOmiI6ORrt27cpUu0ajgbW1NTIyMqBWq59yz/WH+4zt0vSGMX5o38hexmqIiIgqV1m/v2U7g5Sbm4vY2FgEBgY+LMbICIGBgYiOjq60dcbGxiIvL0+nj6enJ1xdXR+73ZycHGg0Gp1XdTCvbwtpetjXh2WshIiISH/IFpBu3ryJgoICODk56bQ7OTkhJSWl0taZkpICMzMz2NjYPNV2w8LCYG1tLb1cXFzKVaO+efSO2kRERPSA7IO0DUVoaCgyMjKk19WrV+UuiYiIiCqJiVwbtre3h7GxcbGrx1JTU0sdgF0R63R2dkZubi7S09N1ziI9abtKpRJKpbJcdRmSW/dyYGdZ/feTiIjocWQ7g2RmZgYfHx9ERUVJbVqtFlFRUfD396+0dfr4+MDU1FSnT0JCApKSksq9XUO3fNjz0rTP/F0yVkJERKQfZDuDBAAhISEYOXIk2rRpA19fXyxduhSZmZkIDg4GAIwYMQL16tVDWFgYgAeDsM+cOSNN//vvv4iPj4elpSUaN25cpnVaW1tj9OjRCAkJga2tLdRqNSZOnAh/f/8yX8FW3XRryvshERERPUrWgDR48GDcuHEDs2bNQkpKCry9vRERESENsk5KSoKR0cOTXNevX0fr1q2l+cWLF2Px4sUICAjA3r17y7ROAPj0009hZGSEAQMGICcnB0FBQfjyyy+rZqf1EB9cS0REpEvW+yAZsupyH6RCj94P6e8ZL6CejbmM1RAREVUOvb8PEumvDuG75S6BiIhIVgxIBAD46c2aOUCdiIioJAxIBADwcbOVuwQiIiK9wYBEJcrN18pdAhERkWwYkKhEM385KXcJREREsmFAIslH/VpK0z/GXpOxEiIiInkxIJGkt3dduUsgIiLSCwxIJLFU6t43VJOdJ1MlRERE8mJAolKNXRcrdwlERESyYEAiHd+MaCNNR1+6JWMlRERE8mFAIh18cC0REREDEhWhUCh05rVaPqqPiIhqHgYkeqwLN+7JXQIREVGVY0CiYnp7Pbzc/6VP/5KxEiIiInkwIFExH/Vv+eRORERE1RgDEhVT9H5IQnAcEhER1SwMSPREcUl35C6BiIioSpUrIF29ehXXrj18VldMTAymTJmCVatWVVhhpD8GrIiWuwQiIqIqVa6ANGzYMOzZswcAkJKSghdffBExMTF47733MHfu3AotkORxOayn3CUQERHJplwB6dSpU/D19QUA/PDDD2jRogUOHjyI9evXY+3atRVZH8mk6P2QiIiIapJyBaS8vDwolUoAwK5du9C7d28AgKenJ5KTkyuuOtIbGff54FoiIqo5yhWQmjdvjpUrV2L//v2IjIxE9+7dAQDXr1+HnZ1dhRZI+sHrw51yl0BERFRlyhWQFi5ciK+++gpdunTB0KFD4eXlBQD47bffpJ/eyPAd++BFuUsgIiKShcmTuxTXpUsX3Lx5ExqNBrVr15ba33jjDdSqVavCiiN51bYwk7sEIiIiWZTrDNL9+/eRk5MjhaMrV65g6dKlSEhIgKMjnwZfXd3PLZC7BCIioipRroDUp08frFu3DgCQnp4OPz8/LFmyBH379sWKFSsqtECS1/iujaTpprMiZKyEiIio6pQrIMXFxaFTp04AgB9//BFOTk64cuUK1q1bh88//7xCCyR5jQto9ORORERE1Uy5AlJWVhasrKwAADt37kT//v1hZGSEdu3a4cqVKxVaIMnLSmUqdwlERERVrlwBqXHjxti6dSuuXr2KP//8Ey+99BIAIC0tDWq1ukILJP1yPf2+3CUQERFVunIFpFmzZuGdd96Bu7s7fH194e/vD+DB2aTWrVtXaIGkX9qH75a7BCIiokpXroD0yiuvICkpCUePHsWff/4ptXfr1g2ffvpphRVH+iHq7QC5SyAiIqpS5boPEgA4OzvD2dkZ165dAwDUr1+fN4mspho5WOrMa7UCRkZ8VhsREVVf5TqDpNVqMXfuXFhbW8PNzQ1ubm6wsbHBvHnzoNVqK7pG0jO/n7gudwlERESVqlxnkN577z18++23CA8PR4cOHQAABw4cwJw5c5CdnY0FCxZUaJGkXyZvikcf73pyl0FERFRpyhWQvvvuO3zzzTfo3bu31NaqVSvUq1cPb731FgNSNfTNiDZ4fd1RucsgIiKqEuX6ie327dvw9PQs1u7p6Ynbt28/c1Gkf7o15SNkiIio5ihXQPLy8sKyZcuKtS9btgytWrV65qJI/ygUuoOyT1xLl6cQIiKiKlCun9gWLVqEXr16YdeuXdI9kKKjo3H16lXs2LGjQgsk/fTOluPYOZWX/xMRUfVUrjNIAQEB+Oeff9CvXz+kp6cjPT0d/fv3x+nTp/H9999XdI2kJ/6Y3Ema/if1noyVEBERVS6FEEJU1MqOHz+O559/HgUFBRW1Sr2l0WhgbW2NjIyMGvV4FfcZ26XpxPBeMlZCRET09Mr6/V2uM0gVbfny5XB3d4dKpYKfnx9iYmIe23/Lli3w9PSESqVCy5Yti/2sp1AoSnx9/PHHUh93d/diy8PDwytl/6orTXae3CUQERFVCtkD0ubNmxESEoLZs2cjLi4OXl5eCAoKQlpaWon9Dx48iKFDh2L06NE4duwY+vbti759++LUqVNSn+TkZJ3X6tWroVAoMGDAAJ11zZ07V6ffxIkTK3Vfq5tWc3bKXQIREVGlkD0gffLJJxgzZgyCg4PRrFkzrFy5ErVq1cLq1atL7P/ZZ5+he/fuePfdd9G0aVPMmzcPzz//vM5VdYWPQSl8/frrr+jatSsaNmyosy4rKyudfhYWFpW6r9XBhtf95C6BiIio0j3VVWz9+/d/7PL09PSn2nhubi5iY2MRGhoqtRkZGSEwMBDR0dElvic6OhohISE6bUFBQdi6dWuJ/VNTU7F9+3Z89913xZaFh4dj3rx5cHV1xbBhwzB16lSYmJT8keTk5CAnJ0ea12g0T9q9aql9Y3u5SyAiIqp0TxWQrK2tn7h8xIgRZV7fzZs3UVBQACcnJ512JycnnDt3rsT3pKSklNg/JSWlxP7fffcdrKysioW7SZMm4fnnn4etrS0OHjyI0NBQJCcn45NPPilxPWFhYfjwww/Lums1xs17ObC3VMpdBhERUYV6qoC0Zs2ayqqj0qxevRrDhw+HSqXSaX/0LFSrVq1gZmaGsWPHIiwsDEpl8S/80NBQnfdoNBq4uLhUXuEGouvivTg5J0juMoiIiCqUrGOQ7O3tYWxsjNTUVJ321NRUODs7l/geZ2fnMvffv38/EhIS8Prrrz+xFj8/P+Tn5yMxMbHE5UqlEmq1WudVU03v/vAxM3ez82WshIiIqHLIGpDMzMzg4+ODqKgoqU2r1SIqKkq6Q3dR/v7+Ov0BIDIyssT+3377LXx8fODl5fXEWuLj42FkZARHRz5z7Ene7NJI7hKIiIgqVbkeNVKRQkJCMHLkSLRp0wa+vr5YunQpMjMzERwcDAAYMWIE6tWrh7CwMADA5MmTERAQgCVLlqBXr17YtGkTjh49ilWrVumsV6PRYMuWLViyZEmxbUZHR+Pw4cPo2rUrrKysEB0djalTp+LVV19F7dq1K3+nq5n0rFzY1DKTuwwiIqIKI3tAGjx4MG7cuIFZs2YhJSUF3t7eiIiIkAZiJyUlwcjo4Ymu9u3bY8OGDXj//fcxc+ZMeHh4YOvWrWjRooXOejdt2gQhBIYOHVpsm0qlEps2bcKcOXOQk5ODBg0aYOrUqcWujqOy8Z4bybtqExFRtVKhjxqpSWrqo0YKHTh/E69+e1iaZ0AiIiJDYFCPGiHD09GD90MiIqLqiwGJKsRf/9yQuwQiIqIKw4BEFWLE6sc/YJiIiMiQMCBRuZ3+kDeIJCKi6okBicrNQql7EWSBluP9iYioemBAogoz9/fTcpdARERUIRiQqMJ8F31F7hKIiIgqBAMSPZOTc16SuwQiIqIKx4BEz8RKZSp3CURERBWOAYkq1I6TyXKXQERE9MwYkKhCvbU+Tu4SiIiInhkDEj2zA9O7yl0CERFRhWJAomdWv3YtnXk+/5iIiAwdAxJVuJm/nJK7BCIiomfCgEQVbmNMktwlEBERPRMGJKoQMTO76czn5BfIVAkREdGzY0CiCuGoVunMp2lyZKqEiIjo2TEgUaXo9sk+uUsgIiIqNwYkqjCOVkppOjdfK2MlREREz4YBiSrM3ne76Mzzcn8iIjJUDEhUYWqZmejML4xIkKkSIiKiZ8OARJVm5b6LcpdARERULgxIVKFau9rIXQIREdEzY0CiCvXzm+3lLoGIiOiZMSBRhVIoFDrzoT+flKkSIiKi8mNAokrFx44QEZEhYkCiCrd82PM68/v+uSFTJUREROXDgEQVrlerOjrzI1fHyFQJERFR+TAgERERERXBgERERERUBAMSVYpNb7TTmc/JL5CpEiIioqfHgESVol1DO53576OvyFQJERHR02NAoioxf/tZuUsgIiIqMwYkqjTN6qjlLoGIiKhcGJCo0vz4pr/OvBBCpkqIiIieDgMSVZpaZiY68x0X7pGpEiIioqfDgERV5t/0+3KXQEREVCYMSFSpZvb0lLsEIiKip8aARJXqjc6NdOYjTqXIVAkREVHZMSBRlRr3v1i5SyAiInoivQhIy5cvh7u7O1QqFfz8/BAT8/iHm27ZsgWenp5QqVRo2bIlduzYobN81KhRUCgUOq/u3bvr9Ll9+zaGDx8OtVoNGxsbjB49Gvfu3avwfSPA3a6W3CUQERE9FdkD0ubNmxESEoLZs2cjLi4OXl5eCAoKQlpaWon9Dx48iKFDh2L06NE4duwY+vbti759++LUqVM6/bp3747k5GTptXHjRp3lw4cPx+nTpxEZGYlt27bhr7/+whtvvFFp+1mTRb3dRWc+436ePIUQERGVkULIfHMaPz8/tG3bFsuWLQMAaLVauLi4YOLEiZgxY0ax/oMHD0ZmZia2bdsmtbVr1w7e3t5YuXIlgAdnkNLT07F169YSt3n27Fk0a9YMR44cQZs2bQAAERER6NmzJ65du4a6des+sW6NRgNra2tkZGRAreYNEZ/EfcZ2nfnE8F4yVUJERDVZWb+/ZT2DlJubi9jYWAQGBkptRkZGCAwMRHR0dInviY6O1ukPAEFBQcX67927F46OjmjSpAnefPNN3Lp1S2cdNjY2UjgCgMDAQBgZGeHw4cMlbjcnJwcajUbnRURERNWTrAHp5s2bKCgogJOTk067k5MTUlJKvtopJSXlif27d++OdevWISoqCgsXLsS+ffvQo0cPFBQUSOtwdHTUWYeJiQlsbW1L3W5YWBisra2ll4uLy1Pvb03mX+ThtURERPpM9jFIlWHIkCHo3bs3WrZsib59+2Lbtm04cuQI9u7dW+51hoaGIiMjQ3pdvXq14gquATaM8dOZT9Nky1QJERHRk8kakOzt7WFsbIzU1FSd9tTUVDg7O5f4Hmdn56fqDwANGzaEvb09Lly4IK2j6CDw/Px83L59u9T1KJVKqNVqnReVnUKh0Jn3/ShKpkqIiIieTNaAZGZmBh8fH0RFPfyy1Gq1iIqKgr+/f4nv8ff31+kPAJGRkaX2B4Br167h1q1bqFOnjrSO9PR0xMY+vCfP7t27odVq4efnV9pq6BmpTKvlCUsiIqqGZP/GCgkJwddff43vvvsOZ8+exZtvvonMzEwEBwcDAEaMGIHQ0FCp/+TJkxEREYElS5bg3LlzmDNnDo4ePYoJEyYAAO7du4d3330Xhw4dQmJiIqKiotCnTx80btwYQUFBAICmTZuie/fuGDNmDGJiYvD3339jwoQJGDJkSJmuYKPyOTE7SO4SiIiIykT2gDR48GAsXrwYs2bNgre3N+Lj4xERESENxE5KSkJycrLUv3379tiwYQNWrVoFLy8v/Pjjj9i6dStatGgBADA2NsaJEyfQu3dvPPfccxg9ejR8fHywf/9+KJVKaT3r16+Hp6cnunXrhp49e6Jjx45YtWpV1e58DWNmovvnNu573lWbiIj0k+z3QTJUvA9S+RS9H9LZud1hbmYsUzVERFTTGMR9kKjm+WZEG5359Pu5MlVCRERUOgYkqlLdmuref+rzqPMyVUJERFQ6BiSqUkUv998Yw/tJERGR/mFAoio3s6en3CUQERE9FgMSVbk3OjfSmb9yK1OmSoiIiErGgESyC/h4r9wlEBER6WBAIr3Au00QEZE+YUAiWZyd211nPjmDD68lIiL9wYBEsih6c8j24btlqoSIiKg4BiTSG1otf2YjIiL9wIBEsvmwd3Od+e8PXZGpEiIiIl0MSCSbEf5uOvOzfzstUyVERES6GJBINkXvqk1ERKQvGJBIVl8Mba0zz3FIRESkDxiQSFbtGtrpzM/4+YRMlRARET3EgESycrBS6sz/cPSaTJUQERE9xIBEsrO3NNOZ5121iYhIbgxIJLsVr/rozEeeSZWpEiIiogcYkEh2bd1tdebf+D5WpkqIiIgeYEAivZSTXyB3CUREVIMxIJFeOL+gh858k/cjZKqEiIiIAYn0hKkx/xSJiEh/8FuJ9FYBbxpJREQyYUAivfH3jBd05hvN3CFTJUREVNMxIJHeqGutkrsEIiIiAAxIpEcUCgXq1zbXacvKzZepGiIiqskYkEiv7AoJ0JlvNutPmSohIqKajAGJ9IrK1FjuEoiIiBiQSP90bGyvM3/mukamSoiIqKZiQCK987/X/XTme36+X6ZKiIiopmJAIoPAeyIREVFVYkAivfRqO1ed+ek/nZCpEiIiqokYkEgvzX65uc78j7HXZKqEiIhqIgYk0kslPZvtdmauDJUQEVFNxIBEeuvTwV4688/Pi5SpEiIiqmkYkEhv9Wtdv1hbbr5WhkqIiKimYUAig/Lc+3/IXQIREdUADEik14598GKxNp5FIiKiysaARHqttoVZsbalu/6RoRIiIqpJGJBI7y0ZqDtY+8u9F2WqhIiIagq9CEjLly+Hu7s7VCoV/Pz8EBMT89j+W7ZsgaenJ1QqFVq2bIkdO3ZIy/Ly8jB9+nS0bNkSFhYWqFu3LkaMGIHr16/rrMPd3R0KhULnFR4eXin7R8+mX+t6xdpu3cuRoRIiIqopZA9ImzdvRkhICGbPno24uDh4eXkhKCgIaWlpJfY/ePAghg4ditGjR+PYsWPo27cv+vbti1OnTgEAsrKyEBcXhw8++ABxcXH4+eefkZCQgN69exdb19y5c5GcnCy9Jk6cWKn7SuVjZKTAz2+112nzmb9LpmqIiKgmUAghZH3IlZ+fH9q2bYtly5YBALRaLVxcXDBx4kTMmDGjWP/BgwcjMzMT27Ztk9ratWsHb29vrFy5ssRtHDlyBL6+vrhy5QpcXR88wsLd3R1TpkzBlClTylW3RqOBtbU1MjIyoFary7UOejruM7brzL/azhVze7eAkZFCpoqIiMjQlPX7W9YzSLm5uYiNjUVgYKDUZmRkhMDAQERHR5f4nujoaJ3+ABAUFFRqfwDIyMiAQqGAjY2NTnt4eDjs7OzQunVrfPzxx8jPzy91HTk5OdBoNDovktf/DiXhr/M35C6DiIiqIVkD0s2bN1FQUAAnJyeddicnJ6SkpJT4npSUlKfqn52djenTp2Po0KE6SXHSpEnYtGkT9uzZg7Fjx+Kjjz7CtGnTSq01LCwM1tbW0svFxaWsu0kV5Oj7gcXa7uWUHmqJiIjKy0TuAipTXl4eBg0aBCEEVqxYobMsJCREmm7VqhXMzMwwduxYhIWFQalUFltXaGiozns0Gg1DUhWztyx+XCZsOIb/tKorQzVERFSdyXoGyd7eHsbGxkhNTdVpT01NhbOzc4nvcXZ2LlP/wnB05coVREZGPnGckJ+fH/Lz85GYmFjicqVSCbVarfOiqvf9aN9ibVm5PItEREQVS9aAZGZmBh8fH0RFRUltWq0WUVFR8Pf3L/E9/v7+Ov0BIDIyUqd/YTg6f/48du3aBTs7uyfWEh8fDyMjIzg6OpZzb6gqdPJwKNbWbNafMlRCRETVmew/sYWEhGDkyJFo06YNfH19sXTpUmRmZiI4OBgAMGLECNSrVw9hYWEAgMmTJyMgIABLlixBr169sGnTJhw9ehSrVq0C8CAcvfLKK4iLi8O2bdtQUFAgjU+ytbWFmZkZoqOjcfjwYXTt2hVWVlaIjo7G1KlT8eqrr6J27dryfBBUZjN7euKjHefkLoOIiKox2S/zB4Bly5bh448/RkpKCry9vfH555/Dz88PANClSxe4u7tj7dq1Uv8tW7bg/fffR2JiIjw8PLBo0SL07NkTAJCYmIgGDRqUuJ09e/agS5cuiIuLw1tvvYVz584hJycHDRo0wGuvvYaQkJASxx+VhJf5y6voJf/1bMzx94wXZKqGiIgMRVm/v/UiIBkiBiR5dVuyFxdvZOq0XVjQAybGst/7lIiI9JhB3AeJqLyi3u5SrK1d2O6qL4SIiKolBiQyWM3r6ib/m/dykJNfIFM1RERUnTAgkcHa+Ea7Ym1N3o+QoRIiIqpuGJDIYKlVpiW2H0m8XcWVEBFRdcOARAbt/IIexdoGriz9uXxERERlwYBEBs20lKvWlu76p4orISKi6oQBiQxedGjx+x8t3XUeY78/ituZuTJUREREho4BiQxeHWtz7H2nS7H2P0+nIvTnE1VfEBERGTwGJKoW3O0tSmz/83Rqie1ERESPw4BE1capD4NKbN+TkFbFlRARkaFjQKJqw1JpAnvL4s/SC15zBLfu5chQERERGSoGJKpWjrzXrcT2qT8cr+JKiIjIkDEgUbWiUCjw05v+xdr/+ucG7mbnyVAREREZIgYkqnZ83GxLbG85Zycy7jMkERHRkzEgUbUU+35gie1eH+6s4kqIiMgQMSBRtWRnqcQXQ1uXuKzP8r+RV6Ct4oqIiMiQMCBRtfWyV90S249fTYfHe39AqxVVXBERERkKBiSq1v6Y3KnUZQ1n7qjCSoiIyJAwIFG11rSOGufmdS91ufuM7cjKza/CioiIyBAwIFG1pzI1xtm5pYekZrP+rMJqiIjIEDAgUY1gbmaMwzNLvokkAEzaeKwKqyEiIn3HgEQ1hpNahQsLepS47Lfj1+E+YzuE4MBtIiJiQKIaxsTYCGuC25a6vEHoDpxL0VRhRUREpI8YkKjG6drEEZveaFfq8u5L92NhxDneK4mIqAZjQKIaqV1Du8cO3F6x9yI83vsDBy/crMKqiIhIXzAgUY1lbmaM47NfemyfYd8cxpajV6uoIiIi0hcMSFSjWZubYt+7XR7b590fT8B9xnZM+/E4bt3LqZrCiIhIVgxIVOO52VkgMbwX6lqrHtvvh6PX4DN/F27cZUgiIqruGJCI/t/B0G7YMs7/if3aLtiFNvMjUcBnuRERVVsKwRu/lItGo4G1tTUyMjKgVqvlLocqkCY7D63m7CxTX5WpEX4Y64+cfC3auttWcmVERPSsyvr9zTNIREWoVaZIDO+FEf5uT+ybnadF72V/Y+DKaPwYe60KqiMioqrAM0jlxDNINUOBVqDRzB1P9Z5W9a3xySAvNHa0qqSqiIiovMr6/c2AVE4MSDVL0q0sdP54z1O/z7eBLd7v1RSt6ttACAGFQlEJ1RERUVkxIFUyBqSaJyUjG+9vPYVdZ1PLvY7nXW0Q2MwJnT0c0KKedQVWR0REZcGAVMkYkGq2jKw8LN6ZgO8PXXmm9Yzv2gjvBnlWUFVERPQkDEiVjAGJCk378Th+OPrsA7SNjRTSrQNcbM0xt3cLdPV0fOb1EhHRQwxIlYwBiUqy7cR1TNhwrMLXO6mbB3q1rIOb93LQxNkKC/84h1fbucHLxQZpmmwcvHgLPVo6Q2liXOHbJiKqThiQKhkDEj3JyWsZmLL5GC7eyKyybS4Z6IVvD1zGV6/5oH5tcwDgwHAiokcwIFUyBiR6GulZubh4IxMDVhys8m23rGeNfK1AelYukjOysXNqZ0RfvIXvohMxs0dTfPXXRYS82AT+jewAPLi1gbHRg1CVnVcAhQKPPTOVdCsL9/MK0MSZtzUgIv3HgFTJGJCovPIKtDhxLQO3M3MxZt1RucspVdM6apxN1ui0DfSpjze7NAIA1LUxh9LECA1CH9wnanI3D7zeqQGUJsYwUgD7z99Eu4Z2UJkaPfYs1t3sPPx94Ra6NHGAypQ/ERJR5TKogLR8+XJ8/PHHSElJgZeXF7744gv4+vqW2n/Lli344IMPkJiYCA8PDyxcuBA9e/aUlgshMHv2bHz99ddIT09Hhw4dsGLFCnh4eEh9bt++jYkTJ+L333+HkZERBgwYgM8++wyWlpZlqpkBiSpK2t1s2FkoAQB3snJx8t8MBK85InNVFe95VxvEJaVL8xZmxvjprfYYuDIad7PzYWFmjMzcAgDAS82cMKd3c6TdzcGHv5/GsaR0vODpiNEdG6B9Iztcu3MfPxy9iqZ11Lh04x4slSYY4uuK86n3cONeNl7wdMKZ6xr8m34fLzZzAgDk5Bfg5r1cXLmViZb1rGGlMpVquXUvB6v/voxhfm6oZ2NepZ8LEVUtgwlImzdvxogRI7By5Ur4+flh6dKl2LJlCxISEuDoWPwKnoMHD6Jz584ICwvDf/7zH2zYsAELFy5EXFwcWrRoAQBYuHAhwsLC8N1336FBgwb44IMPcPLkSZw5cwYq1YMntvfo0QPJycn46quvkJeXh+DgYLRt2xYbNmwoU90MSFSVcvO1uHYnCzN+PomYy7flLqfaUKtM4OVig/3nbxZbtmL488jTCly5mYlley4gJ19b6npsLcxgqTTBvL4tsHz3BcQkPjhGpsYKtKpvgw97N4eTWoUCrcB30YmoXcsUd7LysONkMq7cygLwIDB+M7ItElI0mPP7Gbja1sKA5+tjZHs3XE/PxsxfTiJfq8V7PZvBw8kSdzJz8eKnfwEAfh3fAX2W/w0AiHo7AE5qFa7debBeOwslhBDILdDC3lKJ86n3sP7wFdSzMce4Lo1grFDg5L8ZcFKr4GytwuYjSUjT5GBiNw9k5xUgOSMb+QVaNHa0xNXb9zFqTQxGdXCHvaUSHRrZQ21ugqTbWbBSmUIrBFIystG8rvqxZw2z8wpgamwk/ZQbl3QH9W3M4ahWSX3uZOZi+8lkvOxVFzn5BTj1bwa6POeIuzn5KNAK2JibQpOdB5taZsjKzYeZsRHC/jiHf1LvYvWotjA1NkKBVkABwMio5Fru5xZAZfrgiVuF9Zb1hq65+Vr8m34fDewtkJ1X8NRnP3PztTA1VkChUECrFaXWWFZ3s/N0Qn8hIQQWRiSgWV01envVLfG9QgjkFQiYmVTs08d+jf8X7nYW8HKxqdD1PiuDCUh+fn5o27Ytli1bBgDQarVwcXHBxIkTMWPGjGL9Bw8ejMzMTGzbtk1qa9euHby9vbFy5UoIIVC3bl28/fbbeOeddwAAGRkZcHJywtq1azFkyBCcPXsWzZo1w5EjR9CmTRsAQEREBHr27Ilr166hbt2S/4gexYBE+qDwf+ba/789wMUb97DjZAr+SbuLlIxsxF65I3OFRFTTOFgpceNuzjOvp5GDBXZM7lThV+eW9fvbpEK3+pRyc3MRGxuL0NBQqc3IyAiBgYGIjo4u8T3R0dEICQnRaQsKCsLWrVsBAJcvX0ZKSgoCAwOl5dbW1vDz80N0dDSGDBmC6Oho2NjYSOEIAAIDA2FkZITDhw+jX79+xbabk5ODnJyHB1yj0RTrQ1TVCv+lW/ivTw8nK0x2KvtgaSEEhACOXU2H0uTBv+gv3riHJTv/weWbVXf1HRFVHxURjgDg4o1MfBF1Ae8ENamQ9T0tWQPSzZs3UVBQACcnJ512JycnnDt3rsT3pKSklNg/JSVFWl7Y9rg+RX++MzExga2trdSnqLCwMHz44Ydl3DMiw6BQKKBQAD5utaW2pnXU+E+rJ59FfZICrUC+VgszYyMIAWiFQPr9PNzPLXgw5khpjNuZuSjQCly5lYUtsVfhUrsWtsRek36CIqKabUR7N9m2LWtAMiShoaE6Z640Gg1cXFxkrIhIvxkbKWBs9ODUuEIBGEEBe0ulTh83OwsAQBt3WwzwqQ8A+HigV9UWSkRUgoodkfWU7O3tYWxsjNRU3Yd/pqamwtnZucT3ODs7P7Z/4X+f1CctLU1neX5+Pm7fvl3qdpVKJdRqtc6LiIiIqidZA5KZmRl8fHwQFRUltWm1WkRFRcHf37/E9/j7++v0B4DIyEipf4MGDeDs7KzTR6PR4PDhw1Iff39/pKenIzY2Vuqze/duaLVa+Pn5Vdj+ERERkWGS/Se2kJAQjBw5Em3atIGvry+WLl2KzMxMBAcHAwBGjBiBevXqISwsDAAwefJkBAQEYMmSJejVqxc2bdqEo0ePYtWqVQAejKmYMmUK5s+fDw8PD+ky/7p166Jv374AgKZNm6J79+4YM2YMVq5ciby8PEyYMAFDhgwp0xVsREREVL3JHpAGDx6MGzduYNasWUhJSYG3tzciIiKkQdZJSUkwMnp4oqt9+/bYsGED3n//fcycORMeHh7YunWrdA8kAJg2bRoyMzPxxhtvID09HR07dkRERIR0DyQAWL9+PSZMmIBu3bpJN4r8/PPPq27HiYiISG/Jfh8kQ8X7IBERERmesn5/yzoGiYiIiEgfMSARERERFcGARERERFQEAxIRERFREQxIREREREUwIBEREREVwYBEREREVAQDEhEREVERDEhERERERcj+qBFDVXgDco1GI3MlREREVFaF39tPepAIA1I53b17FwDg4uIicyVERET0tO7evQtra+tSl/NZbOWk1Wpx/fp1WFlZQaFQVNh6NRoNXFxccPXqVT7jzQDweBkOHivDwWNlWAzteAkhcPfuXdStWxdGRqWPNOIZpHIyMjJC/fr1K239arXaIP7Q6AEeL8PBY2U4eKwMiyEdr8edOSrEQdpERERERTAgERERERXBgKRnlEolZs+eDaVSKXcpVAY8XoaDx8pw8FgZlup6vDhIm4iIiKgInkEiIiIiKoIBiYiIiKgIBiQiIiKiIhiQiIiIiIpgQNIzy5cvh7u7O1QqFfz8/BATEyN3SdVKWFgY2rZtCysrKzg6OqJv375ISEjQ6ZOdnY3x48fDzs4OlpaWGDBgAFJTU3X6JCUloVevXqhVqxYcHR3x7rvvIj8/X6fP3r178fzzz0OpVKJx48ZYu3ZtsXp4vMsuPDwcCoUCU6ZMkdp4rPTHv//+i1dffRV2dnYwNzdHy5YtcfToUWm5EAKzZs1CnTp1YG5ujsDAQJw/f15nHbdv38bw4cOhVqthY2OD0aNH4969ezp9Tpw4gU6dOkGlUsHFxQWLFi0qVsuWLVvg6ekJlUqFli1bYseOHZWz0waqoKAAH3zwARo0aABzc3M0atQI8+bN03k2GY8XAEF6Y9OmTcLMzEysXr1anD59WowZM0bY2NiI1NRUuUurNoKCgsSaNWvEqVOnRHx8vOjZs6dwdXUV9+7dk/qMGzdOuLi4iKioKHH06FHRrl070b59e2l5fn6+aNGihQgMDBTHjh0TO3bsEPb29iI0NFTqc+nSJVGrVi0REhIizpw5I7744gthbGwsIiIipD483mUXExMj3N3dRatWrcTkyZOldh4r/XD79m3h5uYmRo0aJQ4fPiwuXbok/vzzT3HhwgWpT3h4uLC2thZbt24Vx48fF7179xYNGjQQ9+/fl/p0795deHl5iUOHDon9+/eLxo0bi6FDh0rLMzIyhJOTkxg+fLg4deqU2LhxozA3NxdfffWV1Ofvv/8WxsbGYtGiReLMmTPi/fffF6ampuLkyZNV82EYgAULFgg7Ozuxbds2cfnyZbFlyxZhaWkpPvvsM6kPj5cQDEh6xNfXV4wfP16aLygoEHXr1hVhYWEyVlW9paWlCQBi3759Qggh0tPThampqdiyZYvU5+zZswKAiI6OFkIIsWPHDmFkZCRSUlKkPitWrBBqtVrk5OQIIYSYNm2aaN68uc62Bg8eLIKCgqR5Hu+yuXv3rvDw8BCRkZEiICBACkg8Vvpj+vTpomPHjqUu12q1wtnZWXz88cdSW3p6ulAqlWLjxo1CCCHOnDkjAIgjR45Iff744w+hUCjEv//+K4QQ4ssvvxS1a9eWjl3htps0aSLNDxo0SPTq1Utn+35+fmLs2LHPtpPVSK9evcR///tfnbb+/fuL4cOHCyF4vArxJzY9kZubi9jYWAQGBkptRkZGCAwMRHR0tIyVVW8ZGRkAAFtbWwBAbGws8vLydI6Dp6cnXF1dpeMQHR2Nli1bwsnJSeoTFBQEjUaD06dPS30eXUdhn8J18HiX3fjx49GrV69inyePlf747bff0KZNGwwcOBCOjo5o3bo1vv76a2n55cuXkZKSovMZWltbw8/PT+dY2djYoE2bNlKfwMBAGBkZ4fDhw1Kfzp07w8zMTOoTFBSEhIQE3LlzR+rzuONJQPv27REVFYV//vkHAHD8+HEcOHAAPXr0AMDjVYgPq9UTN2/eREFBgc7/yAHAyckJ586dk6mq6k2r1WLKlCno0KEDWrRoAQBISUmBmZkZbGxsdPo6OTkhJSVF6lPScSpc9rg+Go0G9+/fx507d3i8y2DTpk2Ii4vDkSNHii3jsdIfly5dwooVKxASEoKZM2fiyJEjmDRpEszMzDBy5Ejpsy7pM3z0ODg6OuosNzExga2trU6fBg0aFFtH4bLatWuXejwL10HAjBkzoNFo4OnpCWNjYxQUFGDBggUYPnw4APB4/T8GJKqxxo8fj1OnTuHAgQNyl0IluHr1KiZPnozIyEioVCq5y6HH0Gq1aNOmDT766CMAQOvWrXHq1CmsXLkSI0eOlLk6KuqHH37A+vXrsWHDBjRv3hzx8fGYMmUK6taty+P1CP7Epifs7e1hbGxc7Aqc1NRUODs7y1RV9TVhwgRs27YNe/bsQf369aV2Z2dn5ObmIj09Xaf/o8fB2dm5xONUuOxxfdRqNczNzXm8yyA2NhZpaWl4/vnnYWJiAhMTE+zbtw+ff/45TExM4OTkxGOlJ+rUqYNmzZrptDVt2hRJSUkAHn7Wj/sMnZ2dkZaWprM8Pz8ft2/frpDjyWP10LvvvosZM2ZgyJAhaNmyJV577TVMnToVYWFhAHi8CjEg6QkzMzP4+PggKipKatNqtYiKioK/v7+MlVUvQghMmDABv/zyC3bv3l3s9K+Pjw9MTU11jkNCQgKSkpKk4+Dv74+TJ0/q/M8hMjISarVa+pLw9/fXWUdhn8J18Hg/Wbdu3XDy5EnEx8dLrzZt2mD48OHSNI+VfujQoUOx22X8888/cHNzAwA0aNAAzs7OOp+hRqPB4cOHdY5Veno6YmNjpT67d++GVquFn5+f1Oevv/5CXl6e1CcyMhJNmjRB7dq1pT6PO54EZGVlwchI9+vf2NgYWq0WAI+XRO5R4vTQpk2bhFKpFGvXrhVnzpwRb7zxhrCxsdG5AoeezZtvvimsra3F3r17RXJysvTKysqS+owbN064urqK3bt3i6NHjwp/f3/h7+8vLS+8dPyll14S8fHxIiIiQjg4OJR46fi7774rzp49K5YvX17ipeM83k/n0avYhOCx0hcxMTHCxMRELFiwQJw/f16sX79e1KpVS/zvf/+T+oSHhwsbGxvx66+/ihMnTog+ffqUeNl469atxeHDh8WBAweEh4eHzmXj6enpwsnJSbz22mvi1KlTYtOmTaJWrVrFLhs3MTERixcvFmfPnhWzZ8/Wm8vG9cXIkSNFvXr1pMv8f/75Z2Fvby+mTZsm9eHx4mX+eueLL74Qrq6uwszMTPj6+opDhw7JXVK1AqDE15o1a6Q+9+/fF2+99ZaoXbu2qFWrlujXr59ITk7WWU9iYqLo0aOHMDc3F/b29uLtt98WeXl5On327NkjvL29hZmZmWjYsKHONgrxeD+dogGJx0p//P7776JFixZCqVQKT09PsWrVKp3lWq1WfPDBB8LJyUkolUrRrVs3kZCQoNPn1q1bYujQocLS0lKo1WoRHBws7t69q9Pn+PHjomPHjkKpVIp69eqJ8PDwYrX88MMP4rnnnhNmZmaiefPmYvv27RW/wwZMo9GIyZMnC1dXV6FSqUTDhg3Fe++9p3M5Po+XEAohHrl1JhERERFxDBIRERFRUQxIREREREUwIBEREREVwYBEREREVAQDEhEREVERDEhERERERTAgERERERXBgEREJerSpQumTJlS5dtNTEyEQqFAfHx8lW+bgFGjRqFv375yl0EkOwYkIqo0e/fuhUKhKPZAWSIifceARERUDrm5uXKXQESViAGJiEqVn5+PCRMmwNraGvb29vjggw/w6NOJvv/+e7Rp0wZWVlZwdnbGsGHDkJaWBuDBT2Vdu3YFANSuXRsKhQKjRo0CAGi1WixatAiNGzeGUqmEq6srFixYoLPtS5cuoWvXrqhVqxa8vLwQHR2ts/zAgQPo1KkTzM3N4eLigkmTJiEzM1Na/uWXX8LDwwMqlQpOTk545ZVXSt3PtWvXwsbGBlu3bpXeExQUhKtXr0p95syZA29vb3zzzTdo0KABVCoVACApKQl9+vSBpaUl1Go1Bg0ahNTUVJ31//7772jbti1UKhXs7e3Rr18/aVlOTg7eeecd1KtXDxYWFvDz88PevXul5VeuXMHLL7+M2rVrw8LCAs2bN8eOHTsAAHfu3MHw4cPh4OAAc3NzeHh4YM2aNdJ7r169ikGDBsHGxga2trbo06cPEhMTpeUFBQUICQmBjY0N7OzsMG3aNPDpU0QPMCARUam+++47mJiYICYmBp999hk++eQTfPPNN9LyvLw8zJs3D8ePH8fWrVuRmJgohSAXFxf89NNPAICEhAQkJyfjs88+AwCEhoYiPDwcH3zwAc6cOYMNGzbAyclJZ9vvvfce3nnnHcTHx+O5557D0KFDkZ+fDwC4ePEiunfvjgEDBuDEiRPYvHkzDhw4gAkTJgAAjh49ikmTJmHu3LlISEhAREQEOnfu/Nh9zcrKwoIFC7Bu3Tr8/fffSE9Px5AhQ3T6XLhwAT/99BN+/vlnxMfHQ6vVok+fPrh9+zb27duHyMhIXLp0CYMHD5bes337dvTr1w89e/bEsWPHEBUVBV9fX2n5hAkTEB0djU2bNuHEiRMYOHAgunfvjvPnzwMAxo8fj5ycHPz11184efIkFi5cCEtLSwCQPr8//vgDZ8+exYoVK2Bvby8dm6CgIFhZWWH//v34+++/YWlpie7du0tnv5YsWYK1a9di9erVOHDgAG7fvo1ffvnlSX8WRDWDvM/KJSJ9FRAQIJo2bSq0Wq3UNn36dNG0adNS33PkyBEBQHqi9549ewQAcefOHamPRqMRSqVSfP311yWu4/LlywKA+Oabb6S206dPCwDi7NmzQgghRo8eLd544w2d9+3fv18YGRmJ+/fvi59++kmo1Wqh0WjKtK9r1qwRAMShQ4ektrNnzwoA4vDhw0IIIWbPni1MTU1FWlqa1Gfnzp3C2NhYJCUlFas1JiZGCCGEv7+/GD58eInbvXLlijA2Nhb//vuvTnu3bt1EaGioEEKIli1bijlz5pT4/pdfflkEBweXuOz7778XTZo00Tl+OTk5wtzcXPz5559CCCHq1KkjFi1aJC3Py8sT9evXF3369ClxnUQ1Cc8gEVGp2rVrB4VCIc37+/vj/PnzKCgoAADExsbi5ZdfhqurK6ysrBAQEADgwc9OpTl79ixycnLQrVu3x267VatW0nSdOnUAQPr57vjx41i7di0sLS2lV1BQELRaLS5fvowXX3wRbm5uaNiwIV577TWsX78eWVlZj92eiYkJ2rZtK817enrCxsYGZ8+eldrc3Nzg4OCgsy8uLi5wcXGR2po1a6bzvvj4+FL39eTJkygoKMBzzz2nsy/79u3DxYsXAQCTJk3C/Pnz0aFDB8yePRsnTpyQ3v/mm29i06ZN8Pb2xrRp03Dw4EFp2fHjx3HhwgVYWVlJ67W1tUV2djYuXryIjIwMJCcnw8/PT+czaNOmzWM/J6KawkTuAojIMGVmZiIoKAhBQUFYv349HBwckJSUhKCgoMcOYDY3Ny/T+k1NTaXpwpCm1WoBAPfu3cPYsWMxadKkYu9zdXWFmZkZ4uLisHfvXuzcuROzZs3CnDlzcOTIEdjY2DzFXuqysLB46vc8bn/v3bsHY2NjxMbGwtjYWGdZ4c9or7/+OoKCgrB9+3bs3LkTYWFhWLJkCSZOnIgePXrgypUr2LFjByIjI9GtWzeMHz8eixcvxr179+Dj44P169cX2+6jIY+ISsYzSERUqsOHD+vMHzp0CB4eHjA2Nsa5c+dw69YthIeHo1OnTvD09JTO8BQyMzMDAOmMEwB4eHjA3NwcUVFR5a7r+eefx5kzZ9C4ceNir8JtmpiYIDAwEIsWLcKJEyeQmJiI3bt3l7rO/Px8HD16VJpPSEhAeno6mjZtWup7mjZtiqtXr+oM5j5z5gzS09PRrFkzAA/OhJW2r61bt0ZBQQHS0tKK7Yezs7PUz8XFBePGjcPPP/+Mt99+G19//bW0zMHBASNHjsT//vc/LF26FKtWrZI+o/Pnz8PR0bHYuq2trWFtbY06deroHOP8/HzExsaWur9ENQkDEhGVKikpCSEhIUhISMDGjRvxxRdfYPLkyQAenqn54osvcOnSJfz222+YN2+ezvvd3NygUCiwbds23LhxA/fu3YNKpcL06dMxbdo0rFu3DhcvXsShQ4fw7bfflrmu6dOn4+DBg5gwYQLi4+Nx/vx5/Prrr9Ig7W3btuHzzz9HfHw8rly5gnXr1kGr1aJJkyalrtPU1BQTJ07E4cOHERsbi1GjRqFdu3Y6A6qLCgwMRMuWLTF8+HDExcUhJiYGI0aMQEBAgPRT1ezZs7Fx40bMnj0bZ8+elQZaA8Bzzz2H4cOHY8SIEfj5559x+fJlxMTEICwsDNu3bwcATJkyBX/++ScuX76MuLg47NmzRwpts2bNwq+//ooLFy7g9OnT2LZtm7Rs+PDhsLe3R58+fbB//35cvnwZe/fuxaRJk3Dt2jUAwOTJkxEeHo6tW7fi3LlzeOutt3jPKqJCcg+CIiL9FBAQIN566y0xbtw4oVarRe3atcXMmTN1Bv1u2LBBuLu7C6VSKfz9/cVvv/0mAIhjx45JfebOnSucnZ2FQqEQI0eOFEIIUVBQIObPny/c3NyEqampcHV1FR999JEQ4uEg7UfXcefOHQFA7NmzR2qLiYkRL774orC0tBQWFhaiVatWYsGCBUKIBwO2AwICRO3atYW5ublo1aqV2Lx5c6n7umbNGmFtbS1++ukn0bBhQ6FUKkVgYKC4cuWK1Gf27NnCy8ur2HuvXLkievfuLSwsLISVlZUYOHCgSElJ0enz008/CW9vb2FmZibs7e1F//79pWW5ubli1qxZwt3dXZiamoo6deqIfv36iRMnTgghhJgwYYJo1KiRUCqVwsHBQbz22mvi5s2bQggh5s2bJ5o2bSrMzc2Fra2t6NOnj7h06ZK07uTkZDFixAhhb28vlEqlaNiwoRgzZozIyMgQQjwYlD158mShVquFjY2NCAkJESNGjOAgbSIhhEII3vSCiGq2tWvXYsqUKTx7QkQS/sRGREREVAQDEhEREVER/ImNiIiIqAieQSIiIiIqggGJiIiIqAgGJCIiIqIiGJCIiIiIimBAIiIiIiqCAYmIiIioCAYkIiIioiIYkIiIiIiKYEAiIiIiKuL/APH8CmszIPABAAAAAElFTkSuQmCC\n"
          },
          "metadata": {}
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### model-1m-de-2024-03-21T17:23"
      ],
      "metadata": {
        "id": "UtronTe-EI5u"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "model_directory = \"/content/drive/My Drive/genAI project/model-1m-de-2024-03-21T17:23:38.656549\"\n",
        "model = GPTNeoForCausalLM.from_pretrained(model_directory).to(device)\n",
        "\n",
        "output = model.generate(input_ids, max_length = 1024,\n",
        "                        num_beams=5, temperature=0)\n",
        "output_text = tokenizer.decode(output[0], skip_special_tokens=True)\n",
        "print(output_text)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "5bqlJH9fELA2",
        "outputId": "7577d39e-8cfa-4e75-b481-c4a7e8c03f90"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:50256 for open-end generation.\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Es war einmal Arzt Arzt Arzt Arzt Arzt Arzt sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein sein\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### model-1m-de-2024-03-21T17:03"
      ],
      "metadata": {
        "id": "-wJQAhzm_oCn"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "model_directory = \"/content/drive/My Drive/genAI project/model-1m-de-2024-03-21T17:03:09.743730\"\n",
        "model = GPTNeoForCausalLM.from_pretrained(model_directory).to(device)\n",
        "\n",
        "output = model.generate(input_ids, max_length = 1024,\n",
        "                        num_beams=1, temperature=1)\n",
        "output_text = tokenizer.decode(output[0], skip_special_tokens=True)\n",
        "print(output_text)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "H_WtWJUW_nox",
        "outputId": "acc85118-f854-428b-bf04-88d853eee421"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:50256 for open-end generation.\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Es war einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal einmal\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Our English recreation models"
      ],
      "metadata": {
        "id": "KwFqBToTX9pL"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "tokenizer = AutoTokenizer.from_pretrained(\"EleutherAI/gpt-neo-125M\")\n",
        "\n",
        "prompt = \"Once upon a time there was\"\n",
        "input_ids = tokenizer.encode(prompt, return_tensors=\"pt\").to(device)"
      ],
      "metadata": {
        "id": "ZTzqpFSzW8gh",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 177,
          "referenced_widgets": [
            "b8ec73f65f264685a62a4a363b817fcf",
            "4ce9094d84774ff9800e8bfddba348c5",
            "e492f955f17446a0a21bb3508ef8ab47",
            "803e6450e5814c9498bf05bab7a8366f",
            "91d1366f80a44a58a786355a5f5b5515",
            "31adad93da72440d8f9eb4fb97886099",
            "d8705b02f0bf41609b85a40b13033f63",
            "7c7fe31e60eb46c4ad7aa6b4bdc06d83",
            "a84b1810b7e94db595762245eeb8f35f",
            "53872077da1b40948eeac7542a14021e",
            "bd88a44846ab42c8b324d1c79b30cbcc",
            "e2ca2e01e7ed494199d78af8f8c281b1",
            "4a1efaa484714b91af5ddbc1df085d8b",
            "9af8da6a03944742a442bc18ae2dac58",
            "0cffc2bfa87743caadcdf558ad95e30b",
            "5ed06d98591a446bb6f87d948bd02bdf",
            "fff8423bbde643b9ac42eb8475ea66bc",
            "9ec94736ec824e009e871d7641b8e70b",
            "61b8860d9f1d43daa8930b96399e0509",
            "43d922c7a859430a9153cb226a6274c3",
            "82145a85608840fba8877820f40aa07b",
            "0cb01440c2db44c88718698e3eadaab3",
            "1a04f4952ab34015af0fe1df69132c4c",
            "489cb14b500c4181940312a0bc6603f1",
            "45e200ea0f144092bd5a7b737d082320",
            "072a9b621c6e4b60ac4399f57a62b42e",
            "3b3e246bdedf4221aada668054150b36",
            "63a2061a1ac84b61b44f17127704cd76",
            "b9cfd06163074818a5a52b8556dbbdc4",
            "00d4ffbcf3ac423d927a8747b87496a2",
            "ed5f13713e004fc4949e24a939ecb29e",
            "4d15239cfc9c4cba92bb40a8acb12345",
            "49d881a719be4f2f83cbd2587e260d82",
            "b99b3417ea69498ab44c7b9a35c1f982",
            "57ef0487fdbc43a487669e270958a61d",
            "0ddea6f4058540cdaf792398dce2ba12",
            "5e37a6f0366947cd8a1d5202a32cf31a",
            "3cf3d135e55444e3ae1399af6729a22d",
            "07b47ec2de8d4bda90cf23280f834d53",
            "3d488a18601c40679abf48c1ab1eff8b",
            "a120a10407a64c38953be93e1b095315",
            "b5fbd89c3a5c41488256a13ec5bf8b99",
            "4f0c541331054672b2e3666148c21f65",
            "d1810f56cc8447bbbe3b56f9c8218301",
            "441eb01568b0460e88e9ad9ce58759a7",
            "22a5c5560ba44877a878368be798e152",
            "040de586698d4e54bb87045649ed719f",
            "83781d83f5274c38b65e068266a426d1",
            "2f702221adae4dc99cc45f0c365b84f4",
            "6290fa8f3cff45ab9294388b84bda823",
            "c55dedeeabba4339ba5ef7d572a9f609",
            "6ae1dda5876543f397e47ac235d3e3de",
            "adce1841bdbe4d08a84e51bd2294cd2d",
            "f97e42b7bbf6482d89d6b9c9b0922648",
            "65f0aaa2c6c342c5a540d18d948a3824"
          ]
        },
        "outputId": "ad3d322b-d750-417a-c10d-708710841267"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "tokenizer_config.json:   0%|          | 0.00/727 [00:00<?, ?B/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "b8ec73f65f264685a62a4a363b817fcf"
            }
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "vocab.json:   0%|          | 0.00/899k [00:00<?, ?B/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "e2ca2e01e7ed494199d78af8f8c281b1"
            }
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "merges.txt:   0%|          | 0.00/456k [00:00<?, ?B/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "1a04f4952ab34015af0fe1df69132c4c"
            }
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "tokenizer.json:   0%|          | 0.00/2.11M [00:00<?, ?B/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "b99b3417ea69498ab44c7b9a35c1f982"
            }
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "special_tokens_map.json:   0%|          | 0.00/357 [00:00<?, ?B/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "441eb01568b0460e88e9ad9ce58759a7"
            }
          },
          "metadata": {}
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### model-2024-03-09"
      ],
      "metadata": {
        "id": "N2v35VFQWOo8"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "model_directory = \"/content/drive/My Drive/genAI project/model-2024-03-09T00:44:46.832115\"\n",
        "\n",
        "if os.path.exists(model_directory):\n",
        "    model = GPTNeoForCausalLM.from_pretrained(model_directory).to(device)\n",
        "    print(\"model loaded.\")\n",
        "else:\n",
        "    print(\"Model not loaded!\")"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 211
        },
        "id": "8uR3ITIgXhCd",
        "outputId": "7b8e4675-fc18-48f6-8d65-b044196a72d8"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "error",
          "ename": "NameError",
          "evalue": "name 'os' is not defined",
          "traceback": [
            "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
            "\u001b[0;31mNameError\u001b[0m                                 Traceback (most recent call last)",
            "\u001b[0;32m<ipython-input-1-4f008cfd4396>\u001b[0m in \u001b[0;36m<cell line: 3>\u001b[0;34m()\u001b[0m\n\u001b[1;32m      1\u001b[0m \u001b[0mmodel_directory\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0;34m\"/content/drive/My Drive/genAI project/model-2024-03-09T00:44:46.832115\"\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      2\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m----> 3\u001b[0;31m \u001b[0;32mif\u001b[0m \u001b[0mos\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mpath\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mexists\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mmodel_directory\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m      4\u001b[0m     \u001b[0mmodel\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mGPTNeoForCausalLM\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mfrom_pretrained\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mmodel_directory\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mto\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mdevice\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      5\u001b[0m     \u001b[0mprint\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m\"model loaded.\"\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
            "\u001b[0;31mNameError\u001b[0m: name 'os' is not defined"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "#model.num_parameters()   #-> 3.7M"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "GpEgHH7BepGG",
        "outputId": "d45c40b4-9edb-4d82-c113-9ffe753f0b67"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "3745984"
            ]
          },
          "metadata": {},
          "execution_count": 19
        }
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "IxZSp0WzWgHM",
        "outputId": "1df61822-8c80-4956-946d-6f3f092e22d7"
      },
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/transformers/generation/configuration_utils.py:410: UserWarning: `do_sample` is set to `False`. However, `temperature` is set to `0` -- this flag is only used in sample-based generation modes. You should set `do_sample=True` or unset `temperature`.\n",
            "  warnings.warn(\n",
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:50256 for open-end generation.\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Once upon a time there was a little boy named Timmy. Timmy loved to play outside in the park. One day, Timmy's mom told him to go to the park. Timmy didn't want to play with his mom.\n",
            "\n",
            "Timmy's mom said yes, but Timmy didn't want to play. Timmy didn't want to play with his mom. Timmy was sad and didn't want to play with his mom.\n",
            "\n",
            "Timmy's mom said, \"Timmy, Timmy, but Timmy didn't want to play with him. Timmy didn't want to play with Timmy. Timmy didn't want to play with Timmy. Timmy was sad and didn't want to play with Timmy.\n",
            "\n",
            "Timmy was sad and didn't want to play with Timmy. Timmy was sad and didn't want to play with Timmy. Timmy didn't want to play with Timmy. Timmy was sad and didn't want to play with Timmy. Timmy didn't want to play with Timmy.\n",
            "\n",
            "Timmy was sad and didn't want to play with Timmy. Timmy didn't want to play with Timmy, but he didn't want to play with Timmy. Timmy didn't want to play with Timmy, but he didn't want to play with Timmy. Timmy didn't want to play with Timmy, but he didn't want to play with Timmy.\n",
            "\n",
            "Timmy's mom said, \"Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, but Timmy didn't have to play with him. Timmy was too. Timmy said, \"Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, but Timmy's okay, but Timmy didn't have to play with Timmy. Timmy was too. Timmy said, \" Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy. Timmy, Timmy, but Timmy was too, but Timmy. Timmy said, \"Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy and Timmy, Timmy, Timmy's mommy, Timmy, Timmy, Timmy, Timmy's mommy, Timmy and Timmy's house. Timmy's mommy's mom said, \" Timmy, Timmy, Timmy, Timmy. Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy's mommy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy's mommy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy's mommy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy's mommy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy and Timmy, Timmy, Timmy, Tim\n"
          ]
        }
      ],
      "source": [
        "output = model.generate(input_ids, max_length = 1024,\n",
        "                        num_beams=5, temperature=0)\n",
        "output_text = tokenizer.decode(output[0], skip_special_tokens=True)\n",
        "print(output_text)"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### model-2024-03-11"
      ],
      "metadata": {
        "id": "AoTlVoYsWkTg"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "model_directory = \"/content/drive/My Drive/genAI project/model-2024-03-11\"\n",
        "\n",
        "if os.path.exists(model_directory):\n",
        "    model = GPTNeoForCausalLM.from_pretrained(model_directory).to(device)\n",
        "    print(\"model loaded.\")\n",
        "else:\n",
        "    print(\"Model not loaded!\")"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "RvK8GPezWnP9",
        "outputId": "5e9b47a0-a57b-441b-b67e-55e3cc941683"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "model loaded.\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "output = model.generate(input_ids, max_length = 1024,\n",
        "                        num_beams=5, temperature=0)\n",
        "output_text = tokenizer.decode(output[0], skip_special_tokens=True)\n",
        "print(output_text)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "7QYKkAN9W-qB",
        "outputId": "2da0df83-4dd1-4ca6-e6b7-7cb65d48c955"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:50256 for open-end generation.\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Once upon a time there was a little boy named Timmy. Timmy loved to play outside in the park. One day, Timmy's mom told him to go to the park. Timmy didn't want to play with his mom.\n",
            "\n",
            "Timmy's mom said yes, but Timmy didn't want to play. Timmy didn't want to play with his mom. Timmy was sad and didn't want to play with his mom.\n",
            "\n",
            "Timmy's mom said, \"Timmy, Timmy, but Timmy didn't want to play with him. Timmy didn't want to play with Timmy. Timmy didn't want to play with Timmy. Timmy was sad and didn't want to play with Timmy.\n",
            "\n",
            "Timmy was sad and didn't want to play with Timmy. Timmy was sad and didn't want to play with Timmy. Timmy didn't want to play with Timmy. Timmy was sad and didn't want to play with Timmy. Timmy didn't want to play with Timmy.\n",
            "\n",
            "Timmy was sad and didn't want to play with Timmy. Timmy didn't want to play with Timmy, but he didn't want to play with Timmy. Timmy didn't want to play with Timmy, but he didn't want to play with Timmy. Timmy didn't want to play with Timmy, but he didn't want to play with Timmy.\n",
            "\n",
            "Timmy's mom said, \"Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, but Timmy didn't have to play with him. Timmy was too. Timmy said, \"Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, but Timmy's okay, but Timmy didn't have to play with Timmy. Timmy was too. Timmy said, \" Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy. Timmy, Timmy, but Timmy was too, but Timmy. Timmy said, \"Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy and Timmy, Timmy, Timmy's mommy, Timmy, Timmy, Timmy, Timmy's mommy, Timmy and Timmy's house. Timmy's mommy's mom said, \" Timmy, Timmy, Timmy, Timmy. Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy's mommy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy's mommy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy's mommy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy's mommy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy, Timmy and Timmy, Timmy, Timmy, Tim\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## TinyStories models"
      ],
      "metadata": {
        "id": "mMsQdw2VXDx-"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 33M"
      ],
      "metadata": {
        "id": "gq52oENab9zy"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "model = AutoModelForCausalLM.from_pretrained('roneneldan/TinyStories-33M')"
      ],
      "metadata": {
        "id": "OzWfTIgVbkFQ"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "output = model.generate(input_ids, max_length = 1000, num_beams=1)\n",
        "output_text = tokenizer.decode(output[0], skip_special_tokens=True)\n",
        "print(output_text)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "a5OI9dqx4Ow4",
        "outputId": "0dbdea62-f1f9-4dc7-fa58-744d659a80d5"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:50256 for open-end generation.\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Once upon a time there was a little girl named Lucy. She was three years old and loved to explore. One day, Lucy was walking in the park when she saw a big, red balloon. She was so excited and ran over to it.\n",
            "\n",
            "\"Can I have it?\" she asked.\n",
            "\n",
            "\"No,\" said her mom. \"It's too big for you. You can't have it.\"\n",
            "\n",
            "Lucy was sad, but then she saw a small, red balloon. She smiled and said, \"I want that one!\"\n",
            "\n",
            "Her mom smiled and said, \"Okay, let's go get it.\"\n",
            "\n",
            "So they went to the balloon and Lucy was so happy. She held the balloon tight and ran around the park with it. She laughed and smiled and had so much fun.\n",
            "\n",
            "When it was time to go home, Lucy hugged the balloon and said, \"I love you, balloon!\"\n",
            "\n",
            "Her mom smiled and said, \"I love you too, Lucy.\"\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "#### test with `num_beams=5, temperature=0`"
      ],
      "metadata": {
        "id": "HHBsMo-JcY99"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "output = model.generate(input_ids, max_length = 1000, num_beams=5, temperature=0)\n",
        "output_text = tokenizer.decode(output[0], skip_special_tokens=True)\n",
        "print(output_text)"
      ],
      "metadata": {
        "id": "EM8rGAvX5dLg",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "2bb97d70-bb22-4a3c-8314-5a46ccf54061"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:50256 for open-end generation.\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Once upon a time there was a little girl named Lucy. She was three years old and loved to explore the world around her.\n",
            "\n",
            "One day, Lucy decided to go for a walk in the park. As she was walking, she saw something shiny in the grass. She bent down to take a closer look and saw that it was a penny!\n",
            "\n",
            "Lucy was so excited that she picked it up and put it in her pocket. Suddenly, she heard a voice behind her.\n",
            "\n",
            "\"What do you have there, Lucy?\" asked the voice.\n",
            "\n",
            "Lucy turned around and saw an old man. She smiled and said, \"I found a penny in the grass!\"\n",
            "\n",
            "The old man smiled and said, \"That's great! You should keep it safe.\"\n",
            "\n",
            "Lucy thanked the old man and put the penny in her pocket. She then continued her walk in the park, feeling very happy.\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 1M"
      ],
      "metadata": {
        "id": "eLGoq0Ohcgzx"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "model = AutoModelForCausalLM.from_pretrained('roneneldan/TinyStories-1M')"
      ],
      "metadata": {
        "id": "5oMbTY-wP2Fk"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "output = model.generate(input_ids, max_length = 1000, num_beams=5, temperature=0)\n",
        "output_text = tokenizer.decode(output[0], skip_special_tokens=True)\n",
        "print(output_text)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "CfIGC7oBcnji",
        "outputId": "b49dec97-3b4e-4074-b843-1be5f5e19e11"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:50256 for open-end generation.\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Once upon a time there was a little boy named Timmy. Timmy loved to play outside and explore the world around him. One day, Timmy went to the park with his mommy and daddy. Timmy was so excited to explore the park.\n",
            "\n",
            "When they got to the park, Timmy's mommy said they were going to the park. Timmy was so excited to go and play on the swings. But when they got to the park, Timmy's mommy said it was time to go home. Timmy was sad because he didn't want to go to the park again.\n",
            "\n",
            "After a while, Timmy's mommy said it was time to go home. Timmy was sad because he didn't want to go back to the park again. But his mommy said it was time to go home. Timmy was sad, but he knew he had to go to the park again tomorrow.\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 3M"
      ],
      "metadata": {
        "id": "BCCpvesugFXw"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "model = AutoModelForCausalLM.from_pretrained('roneneldan/TinyStories-3M')"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 81,
          "referenced_widgets": [
            "aaa73ad47c5f441eb104a5016f27213d",
            "c2f842fb293f4a8da67ca87bae2a61c9",
            "283e5a48ae6441d0842eb9fcebfbaf18",
            "c7f19b79b943478aa7a89c4ccdd43367",
            "dd00e5508eb34ba8a34c2209e2e57fc8",
            "d5d7975a4eb04adaa6139008a0d10a74",
            "f40ec6c316ce47438ad7fd1ba14e9e65",
            "1a968755205e4125b398ba15cf515bd5",
            "e45e685e0acd432e9d024d32dbdad85f",
            "94f64b7ea6e14259b3c311a260ca4c78",
            "8ac57fa6e210486bad35699b22db4507",
            "fe22d7922af44556b01567a614df0c08",
            "5ba7f73f6dda4cef9ea9b6750c922c25",
            "b007dff31b604ac2a8dcd5499b98c179",
            "66f2553f42474cc3b2396b9c5169b209",
            "09ab3549b25a4ed28b2c0a1192134b07",
            "0aafc91a52514f4e9c6daebebdd8af1d",
            "6869fc205ec149b3a08827c2de2e0684",
            "5ad001bea23b468ba7b023ccc3386c2a",
            "ebdf97cdf6b44da2853fc764da161686",
            "4822a3a9767b4b679d7e0acc60a07456",
            "06e2fc833aad426f93c51859d07c1c2d"
          ]
        },
        "id": "Gnmd3VfHcrX_",
        "outputId": "f9f5e1f3-0fb5-4e94-c436-f547a19fcdd1"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "config.json:   0%|          | 0.00/1.02k [00:00<?, ?B/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "aaa73ad47c5f441eb104a5016f27213d"
            }
          },
          "metadata": {}
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "pytorch_model.bin:   0%|          | 0.00/66.7M [00:00<?, ?B/s]"
            ],
            "application/vnd.jupyter.widget-view+json": {
              "version_major": 2,
              "version_minor": 0,
              "model_id": "fe22d7922af44556b01567a614df0c08"
            }
          },
          "metadata": {}
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "output = model.generate(input_ids, max_length = 1000, num_beams=5, temperature=0)\n",
        "output_text = tokenizer.decode(output[0], skip_special_tokens=True)\n",
        "print(output_text)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "i-68433kgJAx",
        "outputId": "8db73ff3-17ae-4670-d25f-8b49d626eb11"
      },
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/transformers/generation/configuration_utils.py:410: UserWarning: `do_sample` is set to `False`. However, `temperature` is set to `0` -- this flag is only used in sample-based generation modes. You should set `do_sample=True` or unset `temperature`.\n",
            "  warnings.warn(\n",
            "The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.\n",
            "Setting `pad_token_id` to `eos_token_id`:50256 for open-end generation.\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Once upon a time there was a little boy named Timmy. Timmy loved to play with his toys all day long. One day, Timmy's mom asked him to clean up his toys. Timmy didn't want to clean up, but he knew he had to listen to his mom.\n",
            "\n",
            "As Timmy was cleaning up his toys, he accidentally knocked over a vase. The vase fell on the floor and broke into many pieces. Timmy was sad because he couldn't play with his toys anymore.\n",
            "\n",
            "Timmy's mom came into the room and saw the broken vase. She asked Timmy what happened and Timmy told her about the broken vase. His mom hugged him and said, \"It's okay, Timmy. Accidents happen. Let's clean up the mess together.\"\n",
            "\n",
            "Timmy learned that it's important to listen to his mom and to clean up after himself. He also learned that it's important to listen to his mom and clean up after himself.\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [],
      "metadata": {
        "id": "fTZz1QRRgL3o"
      },
      "execution_count": null,
      "outputs": []
    }
  ]
}