| Resumo: | Modelos de aprendizado de máquina são projetados para identificar padrões e tomar decisões com base em dados. Para que apresentem bom desempenho, é necessário ajustar configurações internas denominadas hiperparâmetros (HASTIE; TIBSHIRANI; FRIEDMAN, 2009). Uma técnica comum para esse ajuste é o Grid Search, que permite testar diversas combinações possíveis de hiperparâmetros até encontrar aquela com menor erro de validação. No entanto, quando utilizado de forma excessiva, esse processo pode induzir ao fenômeno conhecido como overfitting, que ocorre quando o modelo se ajusta demais aos dados utilizados durante a validação e, por isso, perde sua capacidade de generalizar para novos dados (NG, 1997). O objetivo deste trabalho é analisar se e quando a aplicação extensiva do Grid Search em processos de seleção de modelos induz a ocorrência de overfitting. Cawley e Talbot (2010) destacam que a escolha dessas configurações com base apenas em desempenho em um mesmo conjunto de validação pode gerar estimativas de performance infladas e levar à seleção de modelos que não generalizam bem em contextos reais. Neste estudo, foi utilizado dados tabular com a inserção de ruído controlado nas variáveis, simulando variações que ocorrem em dados reais (data drift). A partir disso, foram realizados experimentos com múltiplas combinações de hiperparâmetros por meio do Grid Search. Para cada configuração, mediu-se o desempenho do modelo em dois momentos: na validação (dados separados do treino) e no teste (dados inéditos). Os resultados foram organizados em mapas de calor, que revelaram regiões em que o modelo apresentava alto desempenho na validação, mas desempenho inferior no teste, indicando que o uso intensivo do Grid Search pode levar à seleção de modelos superajustados. Conclui-se que é necessário utilizar essa técnica com cautela, considerando práticas que favoreçam a generalização e não apenas o desempenho em validação.
|
| Referência 1: | CAWLEY, Gavin C.; TALBOT, Nicola L. C. On over-fitting in model selection and subsequent selection bias in performance evaluation. Journal of Machine Learning Research v. 11, p. 2079–2107, 2010. |
| Referência 2: | HASTIE, Trevor; TIBSHIRANI, Robert; FRIEDMAN, Jerome. The elements of statistical learning: data mining, inference, and prediction. New York: Springer, 2009. |
| Referência 3: | NG, Andrew Y. Preventing “overfitting” of cross-validation data. In: Proceedings of the Fourteenth International Conference on Machine Learning. San Francisco. Disponível em: |