Please use this identifier to cite or link to this item: http://www.repositorio.ufc.br/handle/riufc/31937
Title in Portuguese: Adaptive Kernel-based regression for robust system Identification
Author: Santos, José Daniel de Alencar
Advisor(s): Barreto, Guilherme de Alencar
Keywords: Teleinformática
Sistemas não lineares
Processamento de sinais
Identificação de sistemas
Sparsity
Outliers
Robustness
System identification
Issue Date: 22-May-2017
Citation: SANTOS, J. D. A. Adaptive Kernel-based regression for robust system Identification. 2017. 205 f. Tese (Doutorado em Engenharia de Teleinformática)–Centro de Tecnologia, Universidade Federal do Ceará, Fortaleza, 2017.
Abstract in Portuguese: O estudo de sistemas dinâmicos encontra-se disseminado em várias áreas do conhecimento. Dados sequenciais são gerados constantemente por diversos fenômenos, a maioria deles não passíveis de serem explicados por equações derivadas de leis físicas e estruturas conhecidas. Nesse contexto, esta tese tem como objetivo abordar a tarefa de identificação de sistemas não lineares, por meio da qual são obtidos modelos diretamente Os modelos de regressão por vetores-suporte via mínimos quadrados (LSSVR) e LSSVR de tamanho fixo (FS-LSSVR) são alternativas interessantes à regressão por vetores-suporte (SVR). Aqueles são derivados de funções custo baseadas em soma dos erros quadráticos (SSE) e restrições de igualdade, diferentemente do modelo SVR, cujo o problema de programação quadrática associado não apresenta bom desempenho em problemas de maior escala, além de consumir tempo considerável de processamento. Os problemas de otimização dos modelos LSSVR e FS-LSSVR tornam-se mais simples por permitir a solução de um sistema linear pelo método dos mínimos quadrados. Para o modelo LSSVR, contudo, a solução assim encontrada não é esparsa, implicando na utilização de todos os dados de treinamento como vetores-suporte. Por sua vez, a formulação do modelo FS-LSSVR é baseada no problema de otimização primal, que conduz a uma solução esparsa (i.e. uma parcela dos dados é usada pelo preditor). Entretanto, há aplicações em identificação de sistemas e processamento de sinais em que a estimação online de parâmetros é requerida para cada nova amostra. Neste sentido, a aplicação de funções de kernel a filtros lineares ajudou a estabelecer um campo de pesquisa emergente, o de filtragem adaptativa kernelizada para processamento não linear de sinais. Um algoritmo pioneiro nesse campo é o estimador de mínimos quadrados recursivo kernelizado (KRLS). Uma das contribuições desta tese consiste em utilizar o algoritmo KRLS para transformar o modelo LSSVR em um modelo adaptativo e esparso. Além da questão da esparsidade da solução, as contribuições adicionais deste trabalho foram motivadas pelo tratamento adequado de ruído não gaussiano e outliers. Assim como os modelos LSSVR e FS-LSSVR, o modelo KRLS é também construído com base em uma função de custo SSE, o que garante desempenho ótimo apenas para ruído branco gaussiano. Em outras palavras, o desempenho daqueles modelos tende a degradar-se consideravelmente quando tal condição não é observada. Isto posto, nesta tese são desenvolvidas ainda quatro abordagens robustas para os modelos LSSVR, FS-LSSVR e KRLS. O arcabouço de estimação robusta de parâmetros conhecido como estimação-M é utilizado para este fim. Para o modelo LSSVR, uma abordagem mais heurística é seguida, em que uma versão robusta, porém não esparsa, é obtida simplesmente trocando-se o método de estimação dos mínimos quadrados pelo algoritmo RLM (versão robusta do RLS). Para os modelos FS-LSSVR e KRLS, abordagens de cunho mais teórico são seguidas, em que se alteram as funções custo originais para se chegar aos modelos robustos propostos. Os desempenhos dos modelos propostos são avaliados e discutidos em tarefas de identificação robusta de sistemas com conjuntos de dados artificiais e reais em cenários com predição de k-passos a frente e simulação livre.
Abstract: The Least Squares Support Vector Regression (LSSVR) and Fixed Size LSSVR (FS-LSSVR) models are interesting alternatives to the Support Vector Regression (SVR). Those are derived from cost functions based on the sum-of-squared-errors (SSE) and equality constraints, unlike the SVR model, whose associated quadratic programming problem does not scale up well, and besides consumes considerable processing time. The optimization problems of the LSSVR and FS-LSSVR models become simpler because they rely on the ordinary least squares method to find a solution. For the LSSVR model, nevertheless, the solution thus found is non-sparse, implying the use of all training data as support vectors. In turn, the formulation of the FS-LSSVR model is based on the primal optimization problem, which leads to a sparse solution (i.e. a portion of the training data is used by the predictor). However, there are applications in system identification and signal processing in which online parameter estimation is required for each new sample. In this sense, the application of kernelization to linear filters has helped to establish an emerging field, that of kernel adaptive filtering for nonlinear processing of signals. A pioneering algorithm in this field is the Kernel Recursive Least Squares (KRLS) estimator. One of the contributions of this thesis consists in using the KRLS algorithm to transform the LSSVR model into an adaptive and sparse model. Beyond the question of the sparsity of the solution, the additional contributions of this work are motivated by the appropriate treatment of non-Gaussian noise and outliers. As the LSSVR and FS-LSSVR models, the KRLS model is also built upon an SSE cost function, which guarantees optimal performance only for Gaussian white noise. In other words, the performance of those models tend to considerably degrade when that condition is not observed. That said, four robust approaches for the LSSVR, FS-LSSVR and KRLS models are developed in this thesis. The framework of the robust parameter estimation known as the M-estimation is used for this purpose. For the LSSVR model, a more heuristic approach is followed, in which a robust, but non-sparse, is simply obtained by replacing the least squares estimation method by the RLM algorithm (a robust version of the RLS). For the FS-LSSVR and KRLS models, more theoretical approaches are developed, in which their original cost functions are changed in order to obtaining the proposed robust models. The performances of the proposed models are comprehensively discussed in robust system identification tasks with synthetic and real-world datasets in scenarios with k-steps ahead prediction and free simulation
URI: http://www.repositorio.ufc.br/handle/riufc/31937
metadata.dc.type: Tese
Appears in Collections:DETE - Teses defendidas na UFC

Files in This Item:
File SizeFormat 
2017_tese_jdasantos.pdf1,89 MBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.