28_정규식.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 정규식(regular expression)\n",
    "\n",
    "복잡한 문자열 패턴을 정의하는 문자열을 정규식(regex, regexp)이라고 한다.\n",
    "정규식을 구현한 패키지는 `re`인데 문자열 패턴을 정의하고 정의된 패턴에 부합하는 문자열을 검색하고 추출하는 기능도 제공한다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "정규식은 문자열의 집합이나 문자열의 집합 간의 연산을 나타내는 상수들로 구성된다.\n",
    "문자열의 집합을 나타내기 위해 이 집합의 원소들이 만족해야 하는 패턴을 나타낸 것이 정규식이다.\n",
    "그리고 패턴을 나타내기 위해 메타 문자(metacharacter)라고 하는 특별한 기호를 사용한다.\n",
    "\n",
    "1. `ㅣ`: or 논리 연산자이다. 예를 들어 정규식 `gray|grey`는 `gray` 또는 `grey`를 나타낸다.\n",
    "2. `()`: 패턴을 평가하기 위한 연산의 범위와 우선 순서를 나타내기 위해 ()로 감싸 집단화한다. 예를 들어, 정규식 `gray|grey`와 `gr(a|e)y`는 동일한 패턴을 나타낸다.\n",
    "3. 반복 지정자(quantifier):  문자 또는 ()로 감싼 집단 뒤에 사용되어 앞의 문자 또는 집단이 몇 번 반복되는지를 지정한다. ?, *, +, {n}, {m, n} 등이 있다.\n",
    "    * `?`: 0 또는 1번의 반복을 나타낸다. 예를 들어, `colou?r`은 `color` 또는 `colour`를 나타내는 정규식이다.\n",
    "    * `*`: 0번 이상의 반복을 나타낸다. 예를 들어,  `ab*c`는 `ac`, `abc`, `abbc`, `abbbc` 등의 문자열을 나타내는 정규식이다.\n",
    "    * `+`: 1번 이상의 반복을 나타낸다. 예를 들어, `ab+c`는 `abc`, `abbc`, `abbbc` 등의 문자열을 나타내는 정규식이다.\n",
    "    * `{m}`:\t정확히 n번 반복되는 것을 나타낸다.\n",
    "    * `{m,}`: m번 이상의 반복을 나타낸다.\n",
    "    * `{m,n}`: m번 이상 n번 미만의 반복을 나타낸다.\n",
    "4. `.`: 줄바꿈 문자를 제외한 임의 문자 하나를 나타낸다.\n",
    "5. `^`: 문자열의 시작을 나타내는 메타 문자이며, 메타 문자 `[]` 안에 사용되면 `[]` 기재된 문자가 아닌 문자를 나타내는 메타 문자이다.\n",
    "6. `$`: 문자열의 끝을 나타내는 메타 문자이지만, 메타 문자 `[]` 안에 사용되면 `$` 문자를 의미한다.\n",
    "7. `[]`: `[]` 안에 기재된 문자 중 한 문자를 나타내는 메타 문자이다.\n",
    "8. `\\\\`: `\\`\n",
    "9. `\\d`: `[0-9]`, `[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]`와 동일하다.\n",
    "10. `\\D': `[^0-9]`와 동일하다.\n",
    "11. `\\s`: 한 개의 공백문자를 나타낸다. `[\\t\\n\\r\\f\\v]`와 동일하다.\n",
    "12. `\\S`: 공백문자가 아닌 한 개의 문자를 나타낸다.\n",
    "13. `\\w`: 숫자 또는 영문자인 한 개의 문자를 나타낸다. `[a-zA-Z0-9]`와 동일하다.\n",
    "14. `\\W`: 숫자 또는 영문자가 아닌 한 개의 문자를 나타낸다.\n",
    "15. `\\b`: 단어의 경계를 나타내는 문자를 나타내는 메타문자로 공백문자, 영문자나 숫자가 아닌 문자를 나타낸다.\n",
    "16. `\\B`: 단어의 경계를 나타내는 문자가 아닌 문자를 나타내는 메타 문자이다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 정규식 예제\n",
    "\n",
    "1. '[0-9]': 0, 1, ..., 9 중 하나의 정수\n",
    "2. '[0-9]'+: 한 자리 이상의 정수, '\\d+'와 동일함.\n",
    "3. '\\s*\\d+': 0개 이상의 공백문자 다음에 오는 한 자리 이상의 정수\n",
    "4. '\\s*(\\d+)': 0개 이상의 공백문자 다음에 오는 한 자리 이상의 정수가 오는 문자열 뿐만 아니라 일부분인 정수 부분만 추출하고자 할 때의 정규식\n",
    "5. 'href=\"(.*)\"': href=\"한 개 이상의 문자로 구성된 문자열\" 형태의 문자열 전체 뿐만 아니라 괄호로 감싼 부분만 별도로 추출하기 위한 정규식"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "국내 증권업계에서 베트남은 매력적이긴 하나 수익을 내기 어려운 국가라는 인식이 강했다.\n",
      "10년 전 전세계를 강타한 글로벌 금융위기로 베트남 증시가 휘청이면서 당시 국내에 설정된 베트남 펀드 수익률이 크게 꺾인 아픔도 있다.\n",
      "하지만 최근 들어 한국 금융투자업계가 베트남 시장의 문을 다시 두드리기 시작했다.\n",
      "베트남 정부의 적극적인 외국인 투자 유치 정책이 효과를 발휘하면서 베트남 증시는 2017년 한 해 동안 40% 이상 상승했다.\n",
      "베트남 펀드 수익률도 다시 고공비행 중이다.\n",
      "인구 1억명의 베트남은 전체 인구의 70%가 생산가능인구(15~64세)인 젊은 국가다.\n",
      "30세 미만 인구 비중은 주요 신흥국 가운데 인도와 인도네시아 다음으로 높다.\n",
      "전문가들은 “베트남의 무서운 경제 성장세가 2018년에도 지속될 것”이라고 내다봤다.\n",
      "KB증권은 지난달 29일(현지시간) 베트남 하노이에서 자회사 ‘KBSV(KB Securities Vietnam)’의 공식 출범 행사를 개최했다.\n",
      "KBSV의 전신(前身)은 베트남 증권사인 매리타임증권이다. KB증권은 2017년 10월 매리타임증권을 인수한 뒤 약 3달간 재출범 준비를 해왔다.\n",
      "매리타임증권은 베트남에서 자산 기준 27위, 자기자본 기준 24위의 중소형 증권사였다.\n",
      "KB증권은 KBSV를 베트남 선두권 증권사로 육성한다는 계획이다.\n",
      "베트남에 진출했거나 진출 예정인 한국 기업을 위한 인수합병(M&A) 자문, 자금조달 주선, 신사업 추진 컨설팅 등도 지원할 예정이다.\n",
      "\n"
     ]
    }
   ],
   "source": [
    "fi = open('./datasets/news.txt')\n",
    "txt = fi.read()\n",
    "fi.close()\n",
    "print(txt)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "패턴을 나타낼 때 특별한 기호를 많이 사용하기 때문에 되도록이면 raw string으로 입력하는 것이 바람직하다.\n",
    "`re` 모듈의 `compile()` 함수를 이용해서 패턴을 나타낸 문자열을 컴파일하여 정규식 객체를 생성한다.\n",
    "다음은 % 기호가 붙은 부분을 추출하는 패턴을 지정하고 컴파일하는 예이다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import re\n",
    "pattern = r'\\d+%'\n",
    "regexp = re.compile(pattern)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "정규식 객체의 `match()`, `findall()`, `search()` 등의 메소드를 이용해서 문자열을 검색한다.\n",
    "\n",
    "1. `match()` 메소드는 문자열을 전체가 패턴에 맞는지 검사한다.\n",
    "2. `search()` 메소드는 패턴에 맞는 첫 번째 부분 문자열을 추출한다.\n",
    "3. `findall()` 메소드는 패턴에 맞는 모든 부분 문자열을 추출한다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "None\n"
     ]
    }
   ],
   "source": [
    "match = regexp.match(txt)\n",
    "print(match)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<_sre.SRE_Match object; span=(229, 232), match='40%'>\n",
      "40%\n"
     ]
    },
    {
     "ename": "IndexError",
     "evalue": "no such group",
     "output_type": "error",
     "traceback": [
      "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[1;31mIndexError\u001b[0m                                Traceback (most recent call last)",
      "\u001b[1;32m<ipython-input-4-62f722212f51>\u001b[0m in \u001b[0;36m<module>\u001b[1;34m()\u001b[0m\n\u001b[0;32m      2\u001b[0m \u001b[0mprint\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mmatch\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m      3\u001b[0m \u001b[0mprint\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mmatch\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mgroup\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m----> 4\u001b[1;33m \u001b[0mprint\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mmatch\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mgroup\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;36m1\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m",
      "\u001b[1;31mIndexError\u001b[0m: no such group"
     ]
    }
   ],
   "source": [
    "match = regexp.search(txt)\n",
    "print(match)\n",
    "print(match.group())\n",
    "print(match.group(1))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['40%', '70%']\n"
     ]
    }
   ],
   "source": [
    "matches = re.findall(regexp, txt)\n",
    "print(matches)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "다음은 % 기호가 붙은 부분에서 % 기호를 제외한 나머지 부분을 추출하는 예이다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "pattern = r'(\\d+)%'\n",
    "regexp = re.compile(pattern)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<_sre.SRE_Match object; span=(229, 232), match='40%'>\n",
      "40%\n",
      "40\n"
     ]
    }
   ],
   "source": [
    "match = regexp.search(txt)\n",
    "print(match)\n",
    "print(match.group())\n",
    "print(match.group(1))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['40', '70']\n"
     ]
    }
   ],
   "source": [
    "matches = regexp.findall(txt)\n",
    "print(matches)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "다음은 괄호로 감싼 부분만 찾아서 괄호 속만 추출하는 예이다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "re.compile('\\\\((.+?)\\\\)')\n"
     ]
    }
   ],
   "source": [
    "pattern = r'\\((.+?)\\)'\n",
    "regexp = re.compile(pattern)\n",
    "print(regexp)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['15~64세', '현지시간', 'KB Securities Vietnam', '前身', 'M&A']\n"
     ]
    }
   ],
   "source": [
    "matches = regexp.findall(txt)\n",
    "print(matches)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n",
      "<breakfast_menu>\n",
      "  <food>\n",
      "    <name>Belgian Waffles</name>\n",
      "    <price>$5.95</price>\n",
      "    <description>Two of our famous Belgian Waffles with plenty of real maple syrup</description>\n",
      "    <calories>650</calories>\n",
      "  </food>\n",
      "  <food>\n",
      "    <name>Strawberry Belgian Waffles</name>\n",
      "    <price>$7.95</price>\n",
      "    <description>Light Belgian waffles covered with strawberries and whipped cream</description>\n",
      "    <calories>900</calories>\n",
      "  </food>\n",
      "  <food>\n",
      "    <name>Berry-Berry Belgian Waffles</name>\n",
      "    <price>$8.95</price>\n",
      "    <description>Light Belgian waffles covered with an assortment of fresh berries and whipped cream</description>\n",
      "    <calories>900</calories>\n",
      "  </food>\n",
      "  <food>\n",
      "    <name>French Toast</name>\n",
      "    <price>$4.50</price>\n",
      "    <description>Thick slices made from our homemade sourdough bread</description>\n",
      "    <calories>600</calories>\n",
      "  </food>\n",
      "  <food>\n",
      "    <name>Homestyle Breakfast</name>\n",
      "    <price>$6.95</price>\n",
      "    <description>Two eggs, bacon or sausage, toast, and our ever-popular hash browns</description>\n",
      "    <calories>950</calories>\n",
      "  </food>\n",
      "</breakfast_menu>\n",
      "\n"
     ]
    }
   ],
   "source": [
    "fi = open('./datasets/sample_food_menu.xml', 'r')\n",
    "xml = fi.read()\n",
    "fi.close()\n",
    "print(xml)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "re.compile('<name>(.+?)</name>')\n"
     ]
    }
   ],
   "source": [
    "food_pattern = r\"<name>(.+?)</name>\"\n",
    "food_re = re.compile(food_pattern)\n",
    "print(food_re)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['Belgian Waffles', 'Strawberry Belgian Waffles', 'Berry-Berry Belgian Waffles', 'French Toast', 'Homestyle Breakfast']\n"
     ]
    }
   ],
   "source": [
    "foods = food_re.findall(xml)\n",
    "print(foods)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['5.95', '7.95', '8.95', '4.50', '6.95']\n",
      "[5.95, 7.95, 8.95, 4.5, 6.95]\n"
     ]
    }
   ],
   "source": [
    "price_pattern = r\"<price>\\$(\\d+\\.\\d+)</price>\"\n",
    "price_re = re.compile(price_pattern)\n",
    "prices = price_re.findall(xml)\n",
    "print(prices)\n",
    "prices = [float(price) for price in prices]\n",
    "print(prices)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style>\n",
       "    .dataframe thead tr:only-child th {\n",
       "        text-align: right;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: left;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>food</th>\n",
       "      <th>price</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Belgian Waffles</td>\n",
       "      <td>5.95</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Strawberry Belgian Waffles</td>\n",
       "      <td>7.95</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Berry-Berry Belgian Waffles</td>\n",
       "      <td>8.95</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>French Toast</td>\n",
       "      <td>4.50</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Homestyle Breakfast</td>\n",
       "      <td>6.95</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                          food  price\n",
       "0              Belgian Waffles   5.95\n",
       "1   Strawberry Belgian Waffles   7.95\n",
       "2  Berry-Berry Belgian Waffles   8.95\n",
       "3                 French Toast   4.50\n",
       "4          Homestyle Breakfast   6.95"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pandas as pd\n",
    "data = {'food': foods, 'price': prices}\n",
    "data = pd.DataFrame(data)\n",
    "data.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 연습문제\n",
    "\n",
    "1. 이메일 주소를 검색하기 위한 정규식을 인터넷에서 검색해보시오.\n",
    "2. 휴대전화 번호, 유선전화 번호 등의 전화번호를 검색하기 위한 정규식을 인터넷에서 검색해보시오.\n",
    "3. `datasets` 디렉토리에 있는 `sample.html` 파일에서 특정한 패턴을 문자열을 검색해보시오.\n",
    "4. `datasets` 디렉토리에 있는 `sample_cd_catalog.xml`에서 CD의 제목과 발매년도를 추출해보시오."
   ]
  }
 ],
 "metadata": {
  "anaconda-cloud": {},
  "kernelspec": {
   "display_name": "Python [default]",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}