N-GRAM INDEKSLARIDAN FOYDALANADIGAN IMLO TUZATISH ALGORITMI
Ключевые слова:
расстояние редактирования; н-грамма; триграмма; поиск строк; расстояние Левенштейна.Аннотация
Функция автоматической коррекции орфографии широко используется в различных системах. Её основная задача — выявление и исправление орфографических ошибок в тексте, что позволяет сэкономить время пользователей. Однако при наличии миллионов записей в словаре поиск наиболее подходящего совпадения может занимать много времени. Для повышения эффективности автоматической коррекции были предложены различные решения. Все эти подходы основаны на использовании соответствующих структур данных и определённых гипотез для решения проблемы. В данном исследовании рассматривается эффективность нового гибридного алгоритма коррекции орфографии, использующего языковую модель N-грамм для фильтрации неопределённых записей в словаре. Такой подход обеспечивает точность в словаре и высокую эффективность при исправлении ошибок. Эксперименты показывают, что предлагаемый алгоритм весьма эффективен для получения быстрых и точных результатов.
Библиографические ссылки
1. Jong Yong Kim and John Shawe-Taylor. ``Fast string matching using an n-gram algorithm.'' Software-Practice and Experience 24(1):79-88. January 1994.
2. Klaus U. Schulz and Stoyan Mihov “Fast string correction with Levenshtein automata” INTERNATIONAL JOURNAL ON DOCUMENT ANALYSIS AND RECOGNITION, Volume 5, Number 1, 67-85, DOI: 10.1007/s10032-002-0082- 8,2003.
3. V. Hodge and J. Austin, “A Comparison of a Novel Spell Checker and Standard Spell Checking Algorithms Pattern Recognition”, vol. 15 no. 5, pp. 1073-1081, 2003.
4. Zhao, Zuo-Peng, Yin, Zhi-Min, Wang, Qian-Pin, Xu, Xin-Zheng, Jiang, Hai-Feng and Jisuanji Yingyong “An improved algorithm of Levenshtein Distance and its application in data processing” Journal of Computer Applications. Vol. 29, no. 2, pp. 424-426. Feb. 2009 indepandant.
5. Botir Elov, Alayev Ruhillo, Abdulla Abdullayev, Narzillo Aloyev. “Yuqori N-gram modellarini o‘zbek tili matnlariga qo‘llash” Raqamli Transformatsiya va Sun’iy Intellekt ilmiy jurnali. vol. 2, pp.152-162, OCTOBER 2024.
