DataCollect_lip&face localization.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 실시간 Lip Landmark 추출\n",
    "\n",
    "\n",
    "---\n",
    " \n",
    "```꼭 확인하고 실험하기```\n",
    "\n",
    "- **person**: 사람 \n",
     "\n",
    "|code|담당|\n",
    "|:----:|:----:|\n",
    "|A, B, C|박희지|\n",
    "|D, E, F|신은화|\n",
    "|G, H, I|최영윤|\n",
    "|J, K, L|최희수|\n",
    "|M, N, O|한우정|\n",
    "\n",
    "- **num**: 3회 반복횟수(00, 01, 02)\n",
    "- **sentence**: \n",
    "\n",
    "|sentence code|sentence|비고|\n",
    "|:---:|:----|----|\n",
    "|00|어느쪽으로 가야해요?||\n",
    "|01|오른쪽으로 가세요||\n",
    "|02|왼쪽으로 가세요||\n",
    "|03|앞으로 가세요||\n",
    "|04|도와주세요||\n",
    "|05|조심하세요||\n",
    "|06|도와드릴까요?||\n",
    "|07|다시 한번 말씀해주세요||\n",
    "|08|안녕하세요||\n",
    "|09|잘 지냈어?||\n",
    "|10|다음에 봐||\n",
    "|11|지금 뭐해?||\n",
    "|12|죄송합니다||\n",
    "|13|감사합니다||\n",
    "|14|밥 먹었어?||\n",
    "|15| 밥 먹자||\n",
    "\n",
    "---\n",
    "\n",
    "```실험 전```\n",
    "\n",
    "- 사람&문장&반복횟수 **초기화**\n",
    "\n",
    "----\n",
    "\n",
    "```실험 동안```\n",
    "- 코드 실행\n",
    "- 코드에서 lip localization 한 값들이 뜨기 시작하면 시작\n",
    "- 입을 벌리면 Frame 별 저장 시작\n",
    "- 최대한 크게 최대한 가까이 최대한 밝은 공간에서 할 것!\n",
    "- 얼굴은 정면으로\n",
    "- 말은 조금은 느리게 (3초에 한단어씩이란 생각으로)\n",
    "- 웹캠 끌때는 실행되고 있는 웹캠에서 'q' 눌러서 끄기\n",
    "- 웹캠 반응이 없는데 계속 돌아가고 있다면, 위에 stop 눌러서 꺼주기\n",
    "- 가끔 웹캠 반응 없으면 웹캠 종료 버튼 \n",
    "\n",
    "---\n",
    "\n",
    "```실험후```\n",
    "- 사진들 저장되어있는거 확인\n",
    "    - ***********No Detected******** 조심\n",
    "- 앞이랑 뒤에 상관없는 사진들도 저장이 되었다면 삭제(입을 벌리기 직전 다물기 직전까지만 잘라서 저장: 수작업)\n",
    "- crop사진들 확인 -> 얼굴 사진 저장되어있는 거랑 매치 시켜서 같이 저장되어있다면 **성공**\n",
    "- 그렇지 않다면 **다시 찍기** -> 사진들 전부 폐기\n",
    "- 결과 값 csv 파일로 저장\n",
    "\n",
    "-  **커널 다시 돌리기**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import dlib\n",
    "import cv2\n",
    "import numpy as np\n",
    "import os"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "def shape_to_np(shape, dtype=\"int\"):\n",
    "    # initialize the list of (x, y)-coordinates\n",
    "    coords = np.zeros((shape.num_parts, 2), dtype=dtype)\n",
    "\n",
    "    # loop over all facial landmarks and convert them\n",
    "    # to a 2-tuple of (x, y)-coordinates\n",
    "    for i in range(0, shape.num_parts):\n",
    "        coords[i] = (shape.part(i).x, shape.part(i).y)\n",
    "\n",
    "    # return the list of (x, y)-coordinates\n",
    "    return coords"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "def get_rect(shape):\n",
    "    rw = 0\n",
    "    rh = 0\n",
    "    rx = 65535\n",
    "    ry = 65535\n",
    "    for (x,y) in shape:\n",
    "        rw = max(rw,x) # w\n",
    "        rh = max(rh,y) # h\n",
    "        rx = min(rx,x) # x\n",
    "        ry = min(ry,y) # y\n",
    "    return (rx,ry,rw-rx,rh-ry)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[array([ 0, 21]), array([ 6, 10]), array([14,  3]), array([20,  4]), array([26,  0]), array([37,  3]), array([48,  9]), array([41, 18]), array([33, 23]), array([26, 25]), array([19, 26]), array([10, 25]), array([ 5, 19]), array([15, 13]), array([22, 12]), array([28, 10]), array([43, 10]), array([30, 12]), array([23, 13]), array([17, 14])]\n",
      "Saved frame number : 14430141\n",
      "\n",
      "[array([ 0, 21]), array([ 5, 10]), array([13,  3]), array([20,  3]), array([26,  0]), array([36,  3]), array([47,  9]), array([40, 17]), array([32, 22]), array([25, 25]), array([18, 26]), array([ 9, 25]), array([ 4, 19]), array([15, 13]), array([21, 12]), array([27, 10]), array([43, 10]), array([29, 11]), array([23, 13]), array([16, 14])]\n",
      "Saved frame number : 14430153\n",
      "\n",
      "[array([ 0, 21]), array([ 6, 10]), array([13,  3]), array([20,  3]), array([25,  0]), array([36,  3]), array([47, 10]), array([40, 18]), array([32, 23]), array([25, 25]), array([18, 26]), array([ 9, 25]), array([ 5, 19]), array([15, 13]), array([21, 12]), array([27, 10]), array([42, 10]), array([29, 11]), array([23, 13]), array([16, 14])]\n",
      "Saved frame number : 14430159\n",
      "\n",
      "[array([ 0, 21]), array([ 6, 10]), array([13,  3]), array([20,  3]), array([26,  0]), array([36,  3]), array([46, 10]), array([40, 18]), array([31, 23]), array([25, 25]), array([18, 26]), array([10, 26]), array([ 5, 19]), array([15, 13]), array([21, 12]), array([27, 10]), array([42, 11]), array([29, 12]), array([23, 14]), array([16, 15])]\n",
      "Saved frame number : 14430177\n",
      "\n",
      "[array([ 0, 19]), array([7, 9]), array([15,  3]), array([22,  3]), array([28,  0]), array([38,  3]), array([47, 10]), array([40, 18]), array([33, 22]), array([26, 25]), array([19, 25]), array([10, 24]), array([ 5, 18]), array([16, 12]), array([23, 12]), array([29, 10]), array([42, 10]), array([30, 11]), array([24, 13]), array([17, 13])]\n",
      "Saved frame number : 14430183\n",
      "\n",
      "[array([ 0, 17]), array([9, 8]), array([17,  2]), array([24,  3]), array([30,  0]), array([38,  3]), array([47,  9]), array([41, 17]), array([33, 21]), array([27, 24]), array([20, 24]), array([11, 23]), array([ 5, 16]), array([18, 11]), array([25, 11]), array([31,  9]), array([42,  9]), array([32, 11]), array([26, 12]), array([19, 13])]\n",
      "Saved frame number : 14430201\n",
      "\n",
      "[array([ 0, 16]), array([9, 7]), array([18,  1]), array([24,  2]), array([30,  0]), array([39,  3]), array([47,  9]), array([41, 17]), array([34, 21]), array([27, 23]), array([20, 23]), array([11, 22]), array([ 5, 15]), array([18, 10]), array([24, 10]), array([31,  8]), array([43,  9]), array([32, 11]), array([25, 12]), array([19, 12])]\n",
      "Saved frame number : 14430207\n",
      "\n"
     ]
    }
   ],
   "source": [
    "######################################\n",
    "# person & sentences\n",
    "person = 'A' \n",
    "sentence= '00'\n",
    "num = '01' \n",
    "#######################################\n",
    "count = 0\n",
    "dataset = {}\n",
    "dataset[person] = {}\n",
    "dataset[person][sentence] ={}\n",
    "dataset[person][sentence][num] ={}\n",
    "\n",
    "# create face detector, predictor\n",
    "detector = dlib.get_frontal_face_detector()\n",
    "predictor = dlib.shape_predictor(\"shape_predictor_68_face_landmarks.dat/shape_predictor_68_face_landmarks.dat\") # predict 해주는애\n",
    "\n",
    "# web cam start\n",
    "video_capture = cv2.VideoCapture(0) \n",
    "\n",
    "while True:\n",
    "    ret, frame = video_capture.read() #Get Frame: ret True, no: False\n",
    "\n",
    "   # resize the video\n",
    "    image = cv2.resize(frame, dsize=(640, 480), interpolation=cv2.INTER_AREA)\n",
    "    img = image.copy()\n",
    "    img_gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)\n",
    "\n",
    "    # Get faces (up-sampling=1)\n",
    "    face_detector = detector(img_gray, 1)\n",
    "    \n",
    "    if len(face_detector) == 0:\n",
    "        print(\"***************No face Detected*************,%d\", int(video_capture.get(1)))\n",
    "    \n",
    "    # for loop for faces\n",
    "    for face in face_detector:\n",
    "        # cropping face\n",
    "        crop_face = image.copy()\n",
    "        crop_face = crop_face[face.top(): face.bottom(), face.left(): face.right()]\n",
    "        # make prediction and transform to numpy array\n",
    "        landmarks = predictor(image, face)  # 얼굴에서 68개 점 찾기\n",
    "        landmarks = shape_to_np(landmarks)\n",
    "        lip_landmarks = [landmarks[x] for x in range(48, 68)]\n",
    "        image_crop = image.copy()\n",
    "        (x, y, w, h) = get_rect(lip_landmarks)\n",
    "        crop_image = image_crop[y: y+h, x:x+w]\n",
    "        \n",
    "        for (i, (x_i, y_i)) in enumerate(lip_landmarks):\n",
    "            cv2.circle(image, (x_i, y_i), 1, (255, 0, 0), -1)\n",
    "            \n",
    "        (x, y, w, h) = get_rect(lip_landmarks)\n",
    "        \n",
    "        for s in lip_landmarks:\n",
    "            s[0] -= x\n",
    "            s[1] -= y\n",
    "    \n",
    "        \n",
    "    cv2.imshow('result', image)\n",
    "    \n",
    "    # exit camera\n",
    "    if cv2.waitKey(1) & 0xFF == ord('q'):\n",
    "        break\n",
    "    dataset[person][sentence][num][count] ={}   \n",
    "    if (int(video_capture.get(1)) % 3 == 0): # after 5 sec passed (5초 단위)\n",
    "        path = 'korea_data/%s/%s/%s/image'%(person, sentence, num)\n",
    "        crop_path = 'korea_data/%s/%s/%s/crop_lip'%(person, sentence, num)\n",
    "        crop_path2 = 'korea_data/%s/%s/%s/crop_face'%(person, sentence, num)\n",
    "        \n",
    "        #path 없다면 만들고 있다면 pass\n",
    "        try:\n",
    "            os.makedirs(path)\n",
    "            os.makedirs(crop_path)\n",
    "            os.makedirs(crop_path2)\n",
    "        except FileExistsError as e:\n",
    "            pass\n",
    "        img_name = f'img_{count}.jpg'\n",
    "        mouth_name = f'mouth_{count}.jpg'\n",
    "        face_name = f'face_{count}.jpg'\n",
    "        img_path = path + '/' + img_name\n",
    "        mouth_path = crop_path + '/' + mouth_name\n",
    "        face_path = crop_path2 + '/' + face_name\n",
    "        \n",
    "        # save images by frame\n",
    "        cv2.imwrite(img_path, img)\n",
    "        cv2.imwrite(mouth_path, crop_image) # 확인용\n",
    "        cv2.imwrite(face_path, crop_face)\n",
    "        \n",
    "        print(lip_landmarks)\n",
    "        print('Saved frame number : ' + str(int(video_capture.get(1)))+ \"\\n\")\n",
    "        dataset[person][sentence][num][count]= lip_landmarks  \n",
    "        \n",
    "        count += 1\n",
    "        \n",
    "        \n",
    "        # exit camera\n",
    "    if cv2.waitKey(1) == ord('q'):\n",
    "        break\n",
    "\n",
    "video_capture.release()\n",
    "cv2.destroyAllWindows()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "#dataset"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "saving csv/A_00_01.csv\n"
     ]
    }
   ],
   "source": [
    "# csv 파일은 문장 폴더 안에 입모양 반복 횟수대로 이름지어서 저장됨\n",
    "fileCount = 0\n",
    "shapes = []\n",
    "for count in dataset[person][sentence][num].keys():\n",
    "    shape = dataset[person][sentence][num][count]\n",
    "    for (x,y) in shape:\n",
    "        shapes.append((num,count,x,y))\n",
    "\n",
    "df = pd.DataFrame(data = shapes,columns = ['num','frame','x','y'])\n",
    "path = \"csv\"\n",
    "try:\n",
    "    os.makedirs(path)\n",
    "except FileExistsError as e:\n",
    "    pass\n",
    "filename = \"%s_%s_%s.csv\" %(person, sentence, num)\n",
    "csvPath = \"%s/%s\" % (path,filename)\n",
    "print(\"saving %s\" % csvPath)\n",
    "df.to_csv(csvPath)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "JolpJJang",
   "language": "python",
   "name": "jolpjjang"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}