Por favor, use este identificador para citar o enlazar este ítem:
http://repositorio.ufc.br/handle/riufc/63780
Tipo: | Tese |
Título : | On Correntropy-Based Machine Learning Models for Nonlinear Signal Processing: Addressing Sparsity, Recursive Estimation and Outlier-Robustness |
Autor : | Duarte, Michael Santos |
Tutor: | Barreto, Guilherme de Alencar |
Palabras clave : | Correntropia;Identificação de sistemas não-lineares;Processamento de sinais não-Gaussianos;Aprendizado de máquina online;Métodos de kernel;Esparsificação;Redes neurais recorrentes |
Fecha de publicación : | 2021 |
Citación : | DUARTE, Michael Santos. On correntropy-based machine learning models for nonlinear signal processing : addressing sparsity, recursive estimation and outlier-robustness. 2021. 168 f. Tese (Doutorado em Engenharia de Teleinformática) – Universidade Federal do Ceará, Centro de Tecnologia, Programa de Pós-Graduação em Engenharia de Teleinformática, Fortaleza, 2021. |
Resumen en portugués brasileño: | Esta tese investiga métodos de aprendizado de máquina baseados em teoria da informação, espaços de Hilbert de reprodução e redes neurais recorrentes para tratar problemas de modelagem de sistemas dinâmicos não lineares, tais como identificação de sistemas e predição de séries temporais. Argumenta-se que tais métodos são capazes de prover o correto tratamento a dados gerados por sistemas não lineares e não estacionários, muitas vezes imersos em cenários contaminados com ruído não gaussiano. Tais características conferem maior complexidade ao problema de construção do modelo preditivo, principalmente quando o processo de estimação de parâmetros deve ser executado online. Isto posto, esta tese propõe usar o conceito de correntropia, que é basilar dentro do arcabouço de aprendizado baseado em teoria da informação, em conjunção com métodos de filtragem adaptativa kernel e arquiteturas de redes neurais recorrentes para desenvolver novos algoritmos dotados da capacidade de aprendizado online e robusto em tarefas de modelagem de sistemas dinâmicos não lineares. Dentre as contribuições constantes nesta tese destacam-se as seguintes. (i) Introdução de uma variante esparsa do modelo kernel de aprendizado por correntropia (CKL, correntropy kernel learning) que melhora o modelo CKL original através da introdução do critério de esparsidade por dependência linear aproximada e pela computação recursiva de matrizes de kernel. (ii) Introdução de uma segunda variante do modelo CKL, também esparsa e online, porém agora dotado de um dicionário completamente adaptativo, ou seja, que pode crescer ou diminuir de tamanho à medida que o tempo passa. (iii) Uma nova solução do modelo CKL no primal que é baseada em características aleatórias de Fourier (random Fourier features, RFF) que são usadas como uma função de kernel definida positiva para induzir um espaço de Hilbert de reprodução de dimensão pré-definida. (iv) Proposição de um método alternativo de construção de dicionários através da divergência Kullback–Leibler, método este que é aplicado em redes regularizadas no espaço de Hilbert de reconstrução. (v) Introdução de uma nova abordagem de aprendizado online chamado estados de eco com kernel recursivo de máxima correntropia, cuja distinção se dá pelo mapeamento espaço-temporal usando computação de reservatório. (vi) Por fim, é proposta uma rede neural recorrente com algoritmo de treinamento baseado em correntropia para modelar a dinâmica de séries temporais caóticas. Todos os modelos preditivos resultantes das seis propostas são avaliados em cenários desafiadores usando uma variedade de conjunto de dados de pequena e larga escala, para diferentes níveis de contaminação por outliers. Os resultados alcançados revelam que os modelos propostos são de fato robustos a outliers, sendo capazes de manter alto poder preditivo mesmo sob regime de aprendizado online e não estacionário. |
Abstract: | This thesis investigates machine learning methods based on information theory, reproduction kernel Hilbert spaces and recurrent neural networks to address nonlinear dynamical system modeling problems, such as system identification and time series prediction. It is argued that such methods are capable of providing the correct treatment to data generated by non-linear and non-stationary systems, often immersed in scenarios contaminated with non-Gaussian noise. These characteristics make the problem of model building considerably more complex, especially when the parameter estimation process must be performed online. That said, this thesis proposes to use the concept of correntropy, which is fundamental within the informationtheoretic learning framework, in conjunction with kernel adaptive filtering methods and recurrent neural network architectures to develop new outlier-robust algorithms endowed with online learning capability to be applied to nonlinear dynamical system modeling tasks. Among the contributions in this thesis, the following ones are highlighted. (i) Introduction of a sparse variant of the kernel correntropy learning (CKL) model that improves on the original CKL model by using the approximate linear dependence sparsity criterion and recursive computation of kernel matrices. (ii) Introduction of a second variant of the CKL model, also sparse and online, but now equipped with a fully adaptive dictionary, that is, it can grow or shrink in size as time passes. (iii) A new solution of the primal CKL model that is based on random Fourier features (RFF) which are used as a positive definite kernel function to induce a reproducing kernel Hilbert space with predefined dimensionality. (iv) Proposition of an alternative method of constructing dictionaries through the Kullback–Leibler divergence, a method that is applied to regularized networks in the reproducing kernel Hilbert space. (v) Introduction of a new approach to online learning called echo states with a recursive kernel of maximum correntropy, whose distinction is to put forward a spatiotemporal mapping using reservoir computing. (vi) Finally, a recurrent neural network with a training algorithm based on correntropy is proposed to model the dynamics of chaotic time series. All predictive models resulting from the six proposals are evaluated in challenging scenarios using a variety of small and large-scale data sets, for different levels of outlier contamination. The results achieved reveal that the proposed models are in fact robust to outliers, being able to maintain high predictive power even under online and non-stationary learning. |
URI : | http://www.repositorio.ufc.br/handle/riufc/63780 |
Aparece en las colecciones: | DETE - Teses defendidas na UFC |
Ficheros en este ítem:
Fichero | Descripción | Tamaño | Formato | |
---|---|---|---|---|
2021_tese_msduarte.pdf | 5,11 MB | Adobe PDF | Visualizar/Abrir |
Los ítems de DSpace están protegidos por copyright, con todos los derechos reservados, a menos que se indique lo contrario.