04-slozky-soubory-archivy.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Soubory"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "-"
    }
   },
   "outputs": [],
   "source": [
    "open(\"data/leave-me-alone.txt\", mode=\"r\", encoding=\"utf8\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "*Vždy* uvádějte `encoding` (pro textové soubory). Python toho [zkousne spostu](https://docs.python.org/3/library/codecs.html#standard-encodings): `utf8` = `utf-8` = `UTF8` = `U8`."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "## Jak pracovat s otevřenými soubory?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "-"
    }
   },
   "outputs": [],
   "source": [
    "# problém?\n",
    "f = open(\"data/leave-me-alone.txt\")\n",
    "f.read()\n",
    "f.close()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "outputs": [],
   "source": [
    "try:\n",
    "    f = open(\"data/leave-me-alone.txt\")\n",
    "    f.read()\n",
    "finally:\n",
    "    f.close()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "outputs": [],
   "source": [
    "with open(\"data/leave-me-alone.txt\") as f:\n",
    "    f.read()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### [Módy otevření](https://docs.python.org/3/library/functions.html#open)\n",
    "\n",
    "- `r` = read = čtení\n",
    "- `w` = write = zápis (smaže existující data)\n",
    "- `a` = append = přidávání (zápis za existující obsah)\n",
    "- `b` = binary = binární režim (jediná možnost vynechat kódování)\n",
    "- `+` = čtení i zápis\n",
    "- módy lze kombinovat (`wb+`)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "outputs": [],
   "source": [
    "# vyrobení textového souboru\n",
    "with open(\"data/test.txt\", mode=\"w\", encoding=\"utf8\") as f:\n",
    "    f.write(\"funguje to?\\n\")\n",
    "    print(\"such print, very newline\", file=f)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "outputs": [],
   "source": [
    "# přečtení celého souboru najednou\n",
    "with open(\"data/test.txt\", mode=\"r\", encoding=\"utf8\") as f:\n",
    "    print(f.read())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "outputs": [],
   "source": [
    "# přečtení po řádcích\n",
    "with open(\"data/test.txt\", mode=\"r\", encoding=\"utf8\") as f:\n",
    "    for radka in f:\n",
    "        print(radka)  # proč dvojí odřádkování?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "outputs": [],
   "source": [
    "# přečtení *najednou* a rozdělení po řádcích\n",
    "radky = []\n",
    "with open(\"data/test.txt\", mode=\"r\", encoding=\"utf8\") as f:\n",
    "    radky = f.readlines()\n",
    "print(radky)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "### Co je pod kapotou?\n",
    "\n",
    "[I/O streamy](https://docs.python.org/3/library/io.html#module-io):\n",
    "\n",
    "- `IOBase(object) – close, __enter__, __exit__, __iter__, __next__` a další\n",
    "- `RawIOBase(IOBase) – read, write` a další\n",
    "- ... další vrstvy tříd pro bufferování, dekódování apod.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### `StringIO`\n",
    "\n",
    "= I/O stream – tedy se chová jako soubor – ale nachází se v paměti."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "-"
    }
   },
   "outputs": [],
   "source": [
    "from io import StringIO\n",
    "\n",
    "def hloupa_fce(soubor):\n",
    "    # hloupá funkce pracuje jenom se soubory a nemůžeme to změnit\n",
    "    soubor.write(\"hloupá data\")\n",
    "\n",
    "with StringIO() as falesny_soubor:\n",
    "    hloupa_fce(falesny_soubor)\n",
    "    print(falesny_soubor.getvalue())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Systémové proudy\n",
    "\n",
    "- výstupní: `stdout`\n",
    "- chybový: `stderr`\n",
    "- vstupní: `stdin`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "outputs": [],
   "source": [
    "import sys\n",
    "\n",
    "print(\"standardní výstup\", file=sys.stdout)\n",
    "print(\"jejda\", file=sys.stderr)\n",
    "\n",
    "# umožňuje např. shell: `cat data.txt | python3 zpracuj.py`\n",
    "for radka in sys.stdin:\n",
    "    print(\"přijata řádka:\", radka)  # dvojí odřádkování ..."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Dej mi vstup!\n",
    "\n",
    "```python\n",
    "import fileinput\n",
    "\n",
    "# zde selže – interaktivní režim\n",
    "for radka in fileinput.input():\n",
    "    print(radka)\n",
    "```\n",
    "\n",
    "**Použití:**\n",
    "\n",
    "- `cat data.txt | python3 zpracuj.py`\n",
    "- `python3 zpracuj.py data.txt`\n",
    "- `python3 zpracuj.py data.txt data2.txt`\n",
    "- `python3 zpracuj.py < data.txt`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Dočasné soubory"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from tempfile import TemporaryFile\n",
    "\n",
    "# pozor, výchozí mód je `w+b` = binární!\n",
    "with TemporaryFile(mode=\"w+\", encoding=\"utf8\") as f:\n",
    "    print(\"dočasný obsah\", file=f)\n",
    "    \n",
    "    # kurzor zpět na začátek a přečíst data\n",
    "    f.seek(0)\n",
    "    print(f.read())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Cesty a složky\n",
    "\n",
    "Dříve kombinace modulů [`os.path`](https://docs.python.org/3/library/os.path.html#module-os.path) a [`glob`](https://docs.python.org/3/library/glob.html), dnes většinově nahrazeno objektovým přístupem – [`pathlib`](https://docs.python.org/3/library/pathlib.html).\n",
    "\n",
    "Modul `pathlib` se chová \"správně\" pro Windows / Posix.\n",
    "\n",
    "- `PurePath` – operace pouze s cestou.\n",
    "- `Path(PurePath)` – fyzicky sahá na disk."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "outputs": [],
   "source": [
    "from pathlib import Path\n",
    "\n",
    "# vytvoření objektu cesty\n",
    "aktualni = Path(\".\")\n",
    "print(repr(aktualni))\n",
    "print(aktualni)  # používá __str__"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "-"
    }
   },
   "outputs": [],
   "source": [
    "# navigace mezi adresáři (spojování cest)\n",
    "nadrazeny = aktualni / \"..\" / Path(\"..\") / \"..\"  # používá __div__\n",
    "print(nadrazeny)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "-"
    }
   },
   "outputs": [],
   "source": [
    "# \"absolutizace\" a vyřazení symlinků\n",
    "print(nadrazeny.resolve())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "-"
    }
   },
   "outputs": [],
   "source": [
    "# porovnání (používá __eq__)\n",
    "print(Path.home() == nadrazeny)  # `home` je absolutní, `nadrazeny` relativní\n",
    "print(Path.home() == nadrazeny.resolve())  # obě absolutní"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "outputs": [],
   "source": [
    "# rozebírání na součástky\n",
    "verejny_klic = Path.home() / \".ssh\" / \"id_rsa.pub\"\n",
    "print(verejny_klic.parts)\n",
    "print(verejny_klic.name)\n",
    "print(verejny_klic.stem)\n",
    "print(verejny_klic.suffix)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "outputs": [],
   "source": [
    "# globbing\n",
    "for notebook in Path(\".\").glob(\"**/*.ipynb\"):\n",
    "    print(notebook.parts)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "outputs": [],
   "source": [
    "soubor = Path(\"./data/test.txt\")\n",
    "\n",
    "# otevírání\n",
    "with soubor.open(mode=\"w\", encoding=\"utf8\") as f:\n",
    "    print(\"Asi brzo umřu..\", file=f)\n",
    "    \n",
    "# mazání\n",
    "soubor.unlink()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "outputs": [],
   "source": [
    "# spousta dalších možností ...\n",
    "dir(Path(\".\"))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Archivace a komprese"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "outputs": [],
   "source": [
    "import shutil"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "outputs": [],
   "source": [
    "# zabalení\n",
    "shutil.make_archive(\"data/lonely-file\", format=\"zip\", base_dir=\"data/leave-me-alone.txt\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "outputs": [],
   "source": [
    "# rozbalení\n",
    "shutil.unpack_archive(\"data/lonely-file.zip\", extract_dir=\"./tmp\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "skip"
    }
   },
   "outputs": [],
   "source": [
    "# úklid ...\n",
    "Path(\"data/lonely-file.zip\").unlink()\n",
    "shutil.rmtree(\"./tmp\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Moduly [`zipfile`](https://docs.python.org/3/library/zipfile.html) a [`tarfile`](https://docs.python.org/3/library/tarfile.html) poskytují širší možnosti, zejména:\n",
    "\n",
    "- prohlížení obsahu archivu bez rozbalení\n",
    "- přidávání jednotlivých souborů\n",
    "\n",
    "=> složitější rozhraní"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "[`tarfile.open()`](https://docs.python.org/3/library/tarfile.html#tarfile.open):\n",
    "\n",
    "```\n",
    "[mód]:[komprese] - \"r:*\", \"w:gz\" apod.\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Další možnosti\n",
    "\n",
    "- [zbytek modulu `shutil`](https://docs.python.org/3/library/shutil.html) – Komplexnější operace jako mazání neprázdných složek nebo kopírování souborů skládající se z více elementárních operací.\n",
    "\n",
    "- [modul `stat`](https://docs.python.org/3/library/stat.html) – Převážně sada konstant pro práci s oprávněními."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Příklad\n",
    "Na základě souboru `/etc/passwd` vytvořte soubor `passwd.json`, kam přeneste:\n",
    "- username\n",
    "- UID\n",
    "- common name\n",
    "- login shell"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from json import dump\n",
    "\n",
    "# TODO"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "# Příklad\n",
    "\n",
    "- Najděte všechny soubory s příponou `.ipynb` v aktuálním adresáři (použijte `pathlib`).\n",
    "- Projděte je všechny po řádcích (použijte `for` nebo `fileinput`).\n",
    "- Všechny řádky, které obsahují slovo *\"chyba\"* vypište na systémový chybový výstup.\n",
    "- Všechny ostatní řádky vypište do souboru `data/software-bez-chyb.txt`.\n",
    "- Tento soubor zabalte do archivu `data/software-bez-chyb.tar.gz`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "slideshow": {
     "slide_type": "skip"
    }
   },
   "outputs": [],
   "source": [
    "import sys\n",
    "import fileinput\n",
    "import shutil\n",
    "from pathlib import Path\n",
    "\n",
    "# TODO"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}