Merge pull request #27 from googlefonts/tokenization

Improve tokenization

scripts/tokenise.py

@@ -0,0 +1,11 @@
+import sys
+from icu import Locale, BreakIterator
+
+locale = sys.argv[1]
+bi = BreakIterator.createWordInstance(Locale(locale))
+for line in sys.stdin:
+	bi.setText(line)
+	start = bi.first()
+	for end in bi:
+		print(line[start:end])
+		start = end

src/diffenator2/data/wordlists/Arabic.txt

@@ -25436,7 +25436,6 @@
 غِنىً،
 غْرِيبْ
 غیفان
-ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
 فآثرت
 فآخر
 فآخى
@@ -44565,4 +44564,4 @@
 ﴿لا
 ﴿لَا
 ﴿وَمَا
-﴿يَا
+﴿يَا

src/diffenator2/data/wordlists/Gujarati.txt

@@ -93842,7 +93842,6 @@
 હુરન
 હુરબાઇના
 હુરિયાહ
-હુર્‍ર્‍ર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રેર્રે
 હુલડ્રીચ
 હુલમણા
 હુલરીયા
@@ -94933,4 +94932,4 @@
 ‍વિકેન્દ્રીત
 ‍વિવિધ
 ‍શીખતા
-‍‍‍‍‍‍‍યુનાઇટેડ
+‍‍‍‍‍‍‍યુનાઇટેડ