nltk_sentence_segmentation.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "nltk sentence segmentation",
      "provenance": [],
      "authorship_tag": "ABX9TyMAhtKD1ZHTV1/EA+c108W/",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/quocthang0507/VietnameseNaturalLanguageProcessing/blob/main/nltk_sentence_segmentation.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "t5XDg18fz01h"
      },
      "source": [
        "import nltk"
      ],
      "execution_count": 1,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "o5GkMTcE51-G",
        "outputId": "1751ba39-a777-4471-c888-1728a99f6a72"
      },
      "source": [
        "nltk.download('punkt')"
      ],
      "execution_count": 2,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "[nltk_data] Downloading package punkt to /root/nltk_data...\n",
            "[nltk_data]   Package punkt is already up-to-date!\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "True"
            ]
          },
          "metadata": {},
          "execution_count": 2
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Hlf22iGB55hq"
      },
      "source": [
        "def nltk_sentence_tokenizer(text: str):\n",
        "    '''Tách đoạn văn thành các câu bằng nltk. Chưa tách được câu với dấu ...'''\n",
        "    if not text or not isinstance(text, str):\n",
        "        return ''\n",
        "    # Tách câu và loại bỏ ký tự trống ở đầu và cuối\n",
        "    return [sentence for sentence in nltk.tokenize.sent_tokenize(text)]"
      ],
      "execution_count": 3,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "McmvNVJEul2a"
      },
      "source": [
        "def nltk_arr_tokenizer(text_arr: list):\n",
        "    return [nltk_sentence_tokenizer(item) for item in text_arr]"
      ],
      "execution_count": 4,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "BCvBdwT15-Kb"
      },
      "source": [
        "def print_array(arr):\n",
        "    i = 0\n",
        "    for s in arr:\n",
        "        for ss in s:\n",
        "            print(f'{i+1}. {ss}')\n",
        "            i += 1\n",
        "        print()"
      ],
      "execution_count": 5,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "guL3YsQI6ETl"
      },
      "source": [
        "sent_1 = ['Dù đã hơn 80 tuổi nhưng những lúc rảnh rỗi, già làng A Nguyh vẫn thường xuyên đến từng hộ gia đình để tuyên truyền chủ trương của Đảng, chính sách, pháp luật của Nhà nước, vận động đồng bào tích cực ứng dụng khoa học - kỹ thuật vào sản xuất, giữ gìn vệ sinh thôn, bản, loại bỏ dần những hủ tục lạc hậu... Già làng A Nguyh còn là người đầu tiên trong thôn Kép Ram biết trồng lúa 2 vụ, biết trồng các loại cây công nghiệp như cao su, bời lời... Đến nay, gia đình già đã có 1 ha cà phê, 1 ha bời lời, 1 ha mía, 1 ha cao su và 6 sào lúa, mỗi năm thu về hơn 100 triệu đồng. Già A Nguyh cũng thường xuyên hướng dẫn đồng bào trong thôn kinh nghiệm sản xuất, từ đó cải thiện đời sống gia đình.',\n",
        "\"Bŭ lah neh rơlau 80 sơnăm mơya ală tŭ ru lơngà, kra ƀòn A Nguyh gam ờs sùm tus dơ hìu bơnhă làng yal tơng git rơndăp tăp sèng Đảng, tơng gume, gơnoăt Dà lơgar dê, boh lam làng bol lơh ngăn đòm jăt bơta git wă - lơh chài tam tơlik broă lơh, sền gàr goh niam ƀòn, ròt ơm, sang sơbì rơhời ală bơhiàn yau ờ gơ - dờp tai... Kra ƀòn A Nguyh gam lah cau sơnrờp tam ƀòn Kép Ram git tăm kòi 2 kàl, git tăm ală bơta tờm chi jŏ tơngai bè cao su, bời lời... Tus tŭ do, hìu bơnhă kra neh geh 1 lồ kơ phe, 1 lồ bời lời, 1 lồ tào, 1 lồ cao su mơ 6 sào kòi, pah năm lơh gơlik geh rơlau 100 tơlăk priă. Kra A Nguyh krung ờs sùm lam sơnđio làng bol tam ƀòn bơta git lơh chài tơlik broă lơh, bơh n'hơ\\ lơh guh pơniam rài kis hìu bơnhă.\"]\n",
        "sent_2 = ['Ngày nay, sự hòa đồng về lối sống, ảnh hưởng qua lại về phong tục, tập quán... khiến nhiều nét văn hóa cổ truyền đang bị mai một. Chính vì vậy, rất cần gìn giữ, bảo tồn và phát huy các giá trị văn hóa, trong đó có biểu tượng \"Khau cút\" của người Thái đen vùng Tây Bắc.',\n",
        "'Ngai do, bơta lơh ring ròi nùs nhơm jăt wèt sơnah kis, lơh gơtus wil war jăt bơhiàn, broă lơh ờs mờng... lơh gơtus geh niam is adăt chài rơgơi yau lam gam geh lơh roh rui. Bơh tờm bè hơ\\, kờñ ngăn sền prăp, griap gàr mơ lơh pơnjăt guh ală yòm màng adăt chài rơgơi, tam hơ\\ geh rùp lơh gŏ \"Khau cút\" cau Thái jù tiah Tây Bắc dê.']\n",
        "sent_3 = ['Theo Phòng Nông nghiệp và Phát triển nông thôn huyện Lục Ngạn, toàn huyện hiện có trên 15.000 ha vải, hầu hết được chăm sóc theo quy trình VietGAP và GlobalGAP; sản lượng vụ vải năm nay ước đạt 85.000 tấn, trong đó vải chín sớm khoảng 20.000 tấn, vải chính vụ 65.000 - 67.000 tấn. So với quả vải ở những địa phương khác, vải thiều Lục Ngạn khi chín có màu đỏ, vỏ mỏng, hạt nhỏ, cùi dày, vị ngọt đậm, giàu chất dinh dưỡng... khiến người ăn cứ muốn thưởng thức thêm và mua thật nhiều để làm quà cho gia đình và người thân.',\n",
        "'Jăt Sơnah lơh broă Tăm tùc mơ Tơng guh ƀòn ơm kơnhuàl Lục Ngạn, tam kơnhuàl tŭ do geh hơđang 15.000 vải, yơu bè jơh geh sơng ka jăt broă tơlik lơh VietGAP mơ GlobalGAP; kờp trơgòm geh oă kàl plai vải năm do pơgăp 85.000 tấn, tam hơ\\ plai vải dum gờñ dikàr 20.000 tấn, plai vải thiều lơh dikàl 65.000 - 67.000 tấn. Di pơndrờm mơ plai vải thiều hơ anih ơm ndai, plai vải Lục Ngạn tŭ dum geh gur prơhê, kơmhò lơhơ, gar dêt, să lơ - ut (mbơl), sa lơngồt, oă bơta bơkah lơnga... lơh cau sa in sùm kờñ sa tai mơ blơi oă ngăn làng lơh phan pà hìu bơnhă mơ cau kuèng in.']\n"
      ],
      "execution_count": 6,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "QwXZuI_WvU6t",
        "outputId": "c9ee9a40-60bf-4e44-8879-c999a255529a"
      },
      "source": [
        "print_array(nltk_arr_tokenizer(sent_1))\n",
        "print_array(nltk_arr_tokenizer(sent_2))\n",
        "print_array(nltk_arr_tokenizer(sent_3))"
      ],
      "execution_count": 7,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "1. Dù đã hơn 80 tuổi nhưng những lúc rảnh rỗi, già làng A Nguyh vẫn thường xuyên đến từng hộ gia đình để tuyên truyền chủ trương của Đảng, chính sách, pháp luật của Nhà nước, vận động đồng bào tích cực ứng dụng khoa học - kỹ thuật vào sản xuất, giữ gìn vệ sinh thôn, bản, loại bỏ dần những hủ tục lạc hậu... Già làng A Nguyh còn là người đầu tiên trong thôn Kép Ram biết trồng lúa 2 vụ, biết trồng các loại cây công nghiệp như cao su, bời lời... Đến nay, gia đình già đã có 1 ha cà phê, 1 ha bời lời, 1 ha mía, 1 ha cao su và 6 sào lúa, mỗi năm thu về hơn 100 triệu đồng.\n",
            "2. Già A Nguyh cũng thường xuyên hướng dẫn đồng bào trong thôn kinh nghiệm sản xuất, từ đó cải thiện đời sống gia đình.\n",
            "\n",
            "3. Bŭ lah neh rơlau 80 sơnăm mơya ală tŭ ru lơngà, kra ƀòn A Nguyh gam ờs sùm tus dơ hìu bơnhă làng yal tơng git rơndăp tăp sèng Đảng, tơng gume, gơnoăt Dà lơgar dê, boh lam làng bol lơh ngăn đòm jăt bơta git wă - lơh chài tam tơlik broă lơh, sền gàr goh niam ƀòn, ròt ơm, sang sơbì rơhời ală bơhiàn yau ờ gơ - dờp tai... Kra ƀòn A Nguyh gam lah cau sơnrờp tam ƀòn Kép Ram git tăm kòi 2 kàl, git tăm ală bơta tờm chi jŏ tơngai bè cao su, bời lời... Tus tŭ do, hìu bơnhă kra neh geh 1 lồ kơ phe, 1 lồ bời lời, 1 lồ tào, 1 lồ cao su mơ 6 sào kòi, pah năm lơh gơlik geh rơlau 100 tơlăk priă.\n",
            "4. Kra A Nguyh krung ờs sùm lam sơnđio làng bol tam ƀòn bơta git lơh chài tơlik broă lơh, bơh n'hơ\\ lơh guh pơniam rài kis hìu bơnhă.\n",
            "\n",
            "1. Ngày nay, sự hòa đồng về lối sống, ảnh hưởng qua lại về phong tục, tập quán... khiến nhiều nét văn hóa cổ truyền đang bị mai một.\n",
            "2. Chính vì vậy, rất cần gìn giữ, bảo tồn và phát huy các giá trị văn hóa, trong đó có biểu tượng \"Khau cút\" của người Thái đen vùng Tây Bắc.\n",
            "\n",
            "3. Ngai do, bơta lơh ring ròi nùs nhơm jăt wèt sơnah kis, lơh gơtus wil war jăt bơhiàn, broă lơh ờs mờng... lơh gơtus geh niam is adăt chài rơgơi yau lam gam geh lơh roh rui.\n",
            "4. Bơh tờm bè hơ\\, kờñ ngăn sền prăp, griap gàr mơ lơh pơnjăt guh ală yòm màng adăt chài rơgơi, tam hơ\\ geh rùp lơh gŏ \"Khau cút\" cau Thái jù tiah Tây Bắc dê.\n",
            "\n",
            "1. Theo Phòng Nông nghiệp và Phát triển nông thôn huyện Lục Ngạn, toàn huyện hiện có trên 15.000 ha vải, hầu hết được chăm sóc theo quy trình VietGAP và GlobalGAP; sản lượng vụ vải năm nay ước đạt 85.000 tấn, trong đó vải chín sớm khoảng 20.000 tấn, vải chính vụ 65.000 - 67.000 tấn.\n",
            "2. So với quả vải ở những địa phương khác, vải thiều Lục Ngạn khi chín có màu đỏ, vỏ mỏng, hạt nhỏ, cùi dày, vị ngọt đậm, giàu chất dinh dưỡng... khiến người ăn cứ muốn thưởng thức thêm và mua thật nhiều để làm quà cho gia đình và người thân.\n",
            "\n",
            "3. Jăt Sơnah lơh broă Tăm tùc mơ Tơng guh ƀòn ơm kơnhuàl Lục Ngạn, tam kơnhuàl tŭ do geh hơđang 15.000 vải, yơu bè jơh geh sơng ka jăt broă tơlik lơh VietGAP mơ GlobalGAP; kờp trơgòm geh oă kàl plai vải năm do pơgăp 85.000 tấn, tam hơ\\ plai vải dum gờñ dikàr 20.000 tấn, plai vải thiều lơh dikàl 65.000 - 67.000 tấn.\n",
            "4. Di pơndrờm mơ plai vải thiều hơ anih ơm ndai, plai vải Lục Ngạn tŭ dum geh gur prơhê, kơmhò lơhơ, gar dêt, să lơ - ut (mbơl), sa lơngồt, oă bơta bơkah lơnga... lơh cau sa in sùm kờñ sa tai mơ blơi oă ngăn làng lơh phan pà hìu bơnhă mơ cau kuèng in.\n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Tat-KiPAr5ld"
      },
      "source": [
        "from nltk.tokenize.punkt import PunktSentenceTokenizer, PunktLanguageVars"
      ],
      "execution_count": 8,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "8ujlk-Jtr7wX"
      },
      "source": [
        "class BulletPointLangVars(PunktLanguageVars):\n",
        "    sent_end_chars = ('.', '?', '!', '...', '…')"
      ],
      "execution_count": 9,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "7-R4QgALsN7I"
      },
      "source": [
        "tokenizer = PunktSentenceTokenizer(lang_vars = BulletPointLangVars())"
      ],
      "execution_count": 10,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "0OBMumzXxTuV"
      },
      "source": [
        "def nltk_arr_tokenizer_2(text_arr: list):\n",
        "    return [tokenizer.tokenize(item) for item in text_arr]"
      ],
      "execution_count": 11,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "YpAkmikEsRlF",
        "outputId": "81a8ab31-7169-44f5-df3b-b53ef1b16989"
      },
      "source": [
        "print_array(nltk_arr_tokenizer_2(sent_1))\n",
        "print_array(nltk_arr_tokenizer_2(sent_2))\n",
        "print_array(nltk_arr_tokenizer_2(sent_3))"
      ],
      "execution_count": 12,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "1. Dù đã hơn 80 tuổi nhưng những lúc rảnh rỗi, già làng A Nguyh vẫn thường xuyên đến từng hộ gia đình để tuyên truyền chủ trương của Đảng, chính sách, pháp luật của Nhà nước, vận động đồng bào tích cực ứng dụng khoa học - kỹ thuật vào sản xuất, giữ gìn vệ sinh thôn, bản, loại bỏ dần những hủ tục lạc hậu...\n",
            "2. Già làng A Nguyh còn là người đầu tiên trong thôn Kép Ram biết trồng lúa 2 vụ, biết trồng các loại cây công nghiệp như cao su, bời lời...\n",
            "3. Đến nay, gia đình già đã có 1 ha cà phê, 1 ha bời lời, 1 ha mía, 1 ha cao su và 6 sào lúa, mỗi năm thu về hơn 100 triệu đồng.\n",
            "4. Già A Nguyh cũng thường xuyên hướng dẫn đồng bào trong thôn kinh nghiệm sản xuất, từ đó cải thiện đời sống gia đình.\n",
            "\n",
            "5. Bŭ lah neh rơlau 80 sơnăm mơya ală tŭ ru lơngà, kra ƀòn A Nguyh gam ờs sùm tus dơ hìu bơnhă làng yal tơng git rơndăp tăp sèng Đảng, tơng gume, gơnoăt Dà lơgar dê, boh lam làng bol lơh ngăn đòm jăt bơta git wă - lơh chài tam tơlik broă lơh, sền gàr goh niam ƀòn, ròt ơm, sang sơbì rơhời ală bơhiàn yau ờ gơ - dờp tai...\n",
            "6. Kra ƀòn A Nguyh gam lah cau sơnrờp tam ƀòn Kép Ram git tăm kòi 2 kàl, git tăm ală bơta tờm chi jŏ tơngai bè cao su, bời lời...\n",
            "7. Tus tŭ do, hìu bơnhă kra neh geh 1 lồ kơ phe, 1 lồ bời lời, 1 lồ tào, 1 lồ cao su mơ 6 sào kòi, pah năm lơh gơlik geh rơlau 100 tơlăk priă.\n",
            "8. Kra A Nguyh krung ờs sùm lam sơnđio làng bol tam ƀòn bơta git lơh chài tơlik broă lơh, bơh n'hơ\\ lơh guh pơniam rài kis hìu bơnhă.\n",
            "\n",
            "1. Ngày nay, sự hòa đồng về lối sống, ảnh hưởng qua lại về phong tục, tập quán...\n",
            "2. khiến nhiều nét văn hóa cổ truyền đang bị mai một.\n",
            "3. Chính vì vậy, rất cần gìn giữ, bảo tồn và phát huy các giá trị văn hóa, trong đó có biểu tượng \"Khau cút\" của người Thái đen vùng Tây Bắc.\n",
            "\n",
            "4. Ngai do, bơta lơh ring ròi nùs nhơm jăt wèt sơnah kis, lơh gơtus wil war jăt bơhiàn, broă lơh ờs mờng...\n",
            "5. lơh gơtus geh niam is adăt chài rơgơi yau lam gam geh lơh roh rui.\n",
            "6. Bơh tờm bè hơ\\, kờñ ngăn sền prăp, griap gàr mơ lơh pơnjăt guh ală yòm màng adăt chài rơgơi, tam hơ\\ geh rùp lơh gŏ \"Khau cút\" cau Thái jù tiah Tây Bắc dê.\n",
            "\n",
            "1. Theo Phòng Nông nghiệp và Phát triển nông thôn huyện Lục Ngạn, toàn huyện hiện có trên 15.000 ha vải, hầu hết được chăm sóc theo quy trình VietGAP và GlobalGAP; sản lượng vụ vải năm nay ước đạt 85.000 tấn, trong đó vải chín sớm khoảng 20.000 tấn, vải chính vụ 65.000 - 67.000 tấn.\n",
            "2. So với quả vải ở những địa phương khác, vải thiều Lục Ngạn khi chín có màu đỏ, vỏ mỏng, hạt nhỏ, cùi dày, vị ngọt đậm, giàu chất dinh dưỡng...\n",
            "3. khiến người ăn cứ muốn thưởng thức thêm và mua thật nhiều để làm quà cho gia đình và người thân.\n",
            "\n",
            "4. Jăt Sơnah lơh broă Tăm tùc mơ Tơng guh ƀòn ơm kơnhuàl Lục Ngạn, tam kơnhuàl tŭ do geh hơđang 15.000 vải, yơu bè jơh geh sơng ka jăt broă tơlik lơh VietGAP mơ GlobalGAP; kờp trơgòm geh oă kàl plai vải năm do pơgăp 85.000 tấn, tam hơ\\ plai vải dum gờñ dikàr 20.000 tấn, plai vải thiều lơh dikàl 65.000 - 67.000 tấn.\n",
            "5. Di pơndrờm mơ plai vải thiều hơ anih ơm ndai, plai vải Lục Ngạn tŭ dum geh gur prơhê, kơmhò lơhơ, gar dêt, să lơ - ut (mbơl), sa lơngồt, oă bơta bơkah lơnga...\n",
            "6. lơh cau sa in sùm kờñ sa tai mơ blơi oă ngăn làng lơh phan pà hìu bơnhă mơ cau kuèng in.\n",
            "\n"
          ]
        }
      ]
    }
  ]
}