Tokenization Efficiency in Thai Language Processing: A Script-Aware Pre-Tokenization Solution

การสูญเสียประสิทธิภาพของภาษาไทยในการทำ Tokenization ของโมเดลภาษาขนาดใหญ่

Ma Long, Nara Lab Research Team | Technical Report · 2026