On the efficiency of metric recognition algorithms based on k nearest neighbor
Keywords:
Nadaraya-Watson method, decision rule, objective function, feature stabilityAbstract
The article considers a solution to a two-class recognition problem using metric al gorithms based on k-nearest neighbors. The proposed solution options are: the classical KNN algorithm based on a nonparametric estimate of the probability density function; the Nadaraya-Watson NW method for calculating the regression dependence based on the determined values of the target feature; calculating estimates in the local neighbor hood of objects and dividing their values into non-overlapping intervals with dominance of representatives of one of the two classes. The optimality criteria were the majority rule for KNN, the accuracy of dividing the values of the target feature on the numerical axis for NW and the stability of object estimates within the interval boundaries. When searching for the optimal k values for the listed options, the sliding control method was used. The results of the obtained solutions are demonstrated on the GERMAN sample from the repository based on the descriptions of 1000 objects in a heterogeneous feature space. The efficiency of choosing the k values based on the stability of object estim.
References
Игнатьев Н.А., Турсунмуротов Д.Х. Цензурирование обучающих выборок с использованием регуляризации отношений связанности объектов классов // Научно технический вестник информационных технологий, механики и оптики.– 2024.– Т. 24, №2.– С. 322-329.– doi: http://dx.doi.org/10.17586/2226-1494-2024-24-2-322-329.
Kloke J., McKean J. Nonparametric Statistical Methods Using R.– CRC Press,– 2014. С. 98-106.
Liu Z. et al. KAN: Kolmogorov-Arnold Networks // arXiv.– 2024.– arxiv.org/abs/2404. 19756.
Игнатьев Н.А., Акбаров Б.Х. Оценка близости структур отношений объектов обуча ющей выборки на многообразиях наборов латентных признаков // Вестник Томского государственного университета.Управление, вычислительная техника и информатика.– 2023.– №65.– С. 69-78.– doi: http://dx.doi.org/10.17223/19988605/65/7.
Ignatyev N.A., Madrakhimov Sh.F., Saidov D.Y. Stability of Object Classes and Selection of the Latent Features // International journal of engineering technology and sciences. 2017.– doi: http://dx.doi.org/10.15282/ijets.7.2017.1.9.1071.
Саидов Д.Ю. Нелинейной отображение наборов признаков на числовую ось и дискриминантный анализ данных // Проблемы вычислительной и прикладной математики.– 2017.– №1.– С. 18-23.
Згуральская Е.Н Устойчивость разбиения данных на интервалы в задачах распознавания и поиск скрытых закономерностей // Известия Самарского центра Российской академии наук.– 2018.– №4.– С. 826-829.
Саидов Д.Ю., Игнатьев Н.А. Вычисление сложности эффективных алгоритмов выбо ра оптимальных границ интервалов Проблемы информатики и энергетики.– 2014. №6.– С. 35-40.
Рахимова М.А., Игнатьев Н.А. Формирование и анализ наборов информативных при знаков объектов по парам классов Искусственный интеллект и принятие .– 2021.– №4.– С. 18-26.– doi: http://dx.doi.org/10.14357/20718594210402.
Саидов Д.Ю. Информационные модели на основе нелинейных преобразований призна кового пространства в задачах распознавания : дисс.... доктора философии по физ. мат. наук.– Ташкент, 2017.– 93 с.– doi: http://dx.doi.org/10.14357/20718594210402.
URL: https://archive.ics.uci.edu/dataset/144/statlog+german+credit+data
