O‘ZBEK TILI GRAMATIKASIDAGI SO‘ZLARNI TURKUMLARIGA AJRATISHDA NLP MODELLARIDAN FOYDALANILANISH
Ключевые слова:
HMM, CRF, POS-tagging, морфология, NLP, глубокое обучение.Аннотация
Определение частей речи (POS-tagging) в грамматике узбекского языка является одной из ключевых задач обработки естественного языка (NLP). Этот процесс необходим для глубокого анализа синтаксической и морфологической структуры языка и обеспечивает правильный анализ слов. В статье рассматриваются современные модели NLP, используемые для классификации слов в узбекском языке. Основное внимание уделено моделям HMM, CRF и трансформерным архитектурам, их адаптации под узбекский язык, а также сложности морфологии, роли лексических ресурсов и свободного порядка слов. Цель статьи — осветить существующие проблемы и предложить новые подходы для совершенствования NLP-инструментов на узбекском языке.
Библиографические ссылки
1. A. Yusupova, “O‘zbek tilida tabiiy tilni qayta ishlashning asosiy masalalari”, O‘zMU Ilmiy axborotlari, 2021.
2. Lafferty, J., McCallum, A., & Pereira, F. (2001). “Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data.” In Proceedings of the 18th International Conference on Machine Learning (ICML).
3. Rabiner, L. R. (1989). “A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition.” Proceedings of the IEEE, 77(2), 257–286.
4. Sutton, C., & McCallum, A. (2012). “An Introduction to Conditional Random Fields.” Foundations and Trends in Machine Learning, 4(4), 267–373.
5. Jurafsky, D., & Martin, J. H. (2021). “Speech and Language Processing” (3rd ed.). Draft chapters. Stanford University.
6. Bird, S., Klein, E., & Loper, E. (2009). “Natural Language Processing with Python.” O‘Reilly Media.
7. S. Jo‘rayev, “Zamonaviy lingvistikada sun’iy intellekt modellarining o‘rni”, Filologiya fanlari jurnali, 2020.
8. N. Karimova, “O‘zbek tilidagi so‘z turlarini avtomatik aniqlash masalalari”, O‘zbekiston Milliy universiteti nashri, 2022.
9. Sh. Qurbonov, “Lingvistik modellashtirish: nazariya va amaliyot”, Toshkent, 2019.
10. R. Hasanov, “Morfologik tahlil va so‘z turkumlariga ajratish algoritmlari”, Ilmiy-texnik axborotlar jurnali, 2021.
11. Jurabekova M., “O‘zbek tilining kompyuter lingvistikasi uchun leksik asoslari”, 2020.
12. Nuriddinov D., “O‘zbekcha NLP modellarining rivojlanish istiqbollari”, Texnologiyalar olami, 2022.
13. S. Saidova, “O‘zbek tili morfologik analizatorlari: tahlil va istiqbol”, Ilmiy maqolalar to‘plami, 2023.
14. Hasanboyev T., “NLP asosida o‘zbek tili grammatikasini o‘rganish metodlari”, O‘zMU axborotlari, 2022.
15. Muminova S., “Sun’iy intellekt va tilshunoslik integratsiyasi”, Filologiya va amaliy tilshunoslik jurnali, 2021.
