Исследование гибридных и робастных математических методов и алгоритмов машинного обучения многослойных функциональных сетей

Руководитель:

Шибзухов Заур Мухадинович

2022

В результате проведенных исследований были получены следующие результаты:

1. Разработана новая схема для построения алгоритма градиентного бустинга с целью эффективного решения задач регрессии и классификации с использованием данных, содержащих выбросы. В качестве оценок среднего значения данный подход использует дифференцируемые усредняющие агрегирующие функции, являющиеся нечувствительными или малочувствительными к выбросам. Рассматриваемые функции применяются при построении робастного функционала эмпирического риска и дают хороший результат при нахождении искомой зависимости по данным содержащим до 40% выбросов.

2. Для получения полного множества решений не найденных нейронной сетью, но присутствующих в структуре исследуемых данных, предлагается метод построения дискретной функции по результатам анализа весов и структуры нейронной сети, адекватно отражающей все логические закономерности в данных. Её реализация предложена в качестве логических нейронных сетей, выступающих корректорами для исходных нейронных решателей. 3. Предложен подход для оптимизации структуры логического классификатора. 4. Реализован алгоритм кластеризации данных, основанный на разбиении пространства признаков. 5. Исследованы методы нейроуправления и методы настройки коэффициентов ПИД- регулятора нейросетевыми методами. 6. Проведен анализ методов оптимизации на основе роя частиц для задач управления техническими объектами.

2023

В работе в результате наглядных примеров было продемонстрировано, что предложенные робастные варианты постановки задачи поиска главных компонент (ГК) позволяют находить несмещенные варианты ГК. Этот метод также способен идентифицировать выбросы путем анализа эмпирического распределения расстояний до прямых, проходящих через центр a_0, вдоль векторов главных компонент. Показатель α в сглаженной оценке квантиля примерно соответствует доле данных, которые не являются выбросами.
Предложен метод, который является применимым в случаях, когда необходимо понять исследуемую область, выявить скрытые логические закономерности в данных и создать модель, способную корректировать работу нейросетевого метода при наличии неточных или зашумленных данных. Данная модель также может быть использована в качестве метода машинного обучения с возможностью модификации и минимизации данных для корректного решения.
Рекуррентные нейронные сети являются эффективным методом анализа контекстно зависимых данных основой для которых выступают временные последовательности. Формализация контекста в виде некоторого внутреннего состояния позволяет сопоставить функционирование такой нейронной сети с соответствующим этой сети вероятностным автоматом с переменной структурой и текущей совокупностью связей между его состояниями. Это позволяет воспользоваться преимуществами автомата с переменной структурой для решения задачи целесообразного поведения в динамических средах и построить на его основе рекуррентную нейронную сеть. Соответствие внутренней структуры рекуррентной нейронной сети и автомата с переменной структурой позволяет уже на этапе обучения высвобождать обучаемую рекуррентную нейронную сеть от избыточных нейронов и связей в ее структуре. Так как автомат с переменной структурой приближается в процессе настройки к оптимальному для данных условий автомату с линейной тактикой при нелинейных значениях скорости обучения, то это позволяет провести логический анализ структуры итоговой рекуррентной нейронной сети.
Комбинированный метод, предложенный в работе, эффективно улучшает контраст и детализацию изображений, полученных на матрице оборудования, путем редукции областей засвета и комбинации преобразований CLAHE. Он применим как к обработке 8-битных изображений, так и к изображениям с более широким динамическим диапазоном (14-бит или 16-бит). Путем регулировки глубины можно достичь различных уровней детализации, однако следует учитывать, что высокая детализация требует больше вычислительных ресурсов и может сопровождаться усилением шумов.
Применение искусственных нейронных сетей при кластеризации данных позволяет гибко разделять на кластеры линейно неразделимые объекты, выявлять скрытые закономерности данных, анализировать и сжимать размерность данных с минимальной потерей качества. Использование сигма-пи нейронной сети для кластеризации данных позволяет учитывать комбинации свойств объектов с различными весами, что значительно повышает гибкость кластеризации. Отмечается, что сигма-пи нейронная сеть с одним скрытым слоем достаточно точно выполняет кластеризацию без необходимости использования моделей с большим числом скрытых слоев.
Представленный гибридный алгоритм, основанный на сочетании двух эвристических алгоритмов PSO и Jaya, показал лучшие результаты в задаче оптимизации, чем отдельные алгоритмы PSO, Jaya и классический алгоритм обратного распространения ошибки (Backpropagation) для задачи классификации Balance scale.