Variable selection through CART^∗

¹ Lycée Jules Haag, 25000 Besançon, France
m.sauve@sfr.fr
² Laboratoire Jean-Alexandre Dieudonné, CNRS UMR 6621, Université de Nice Sophia-Antipolis Parc Valrose, 06108 Nice cedex 2, France
christine.malot@unice.fr

Received: 4 December 2012
Revised: 26 December 2013

Abstract

This paper deals with variable selection in regression and binary classification frameworks. It proposes an automatic and exhaustive procedure which relies on the use of the CART algorithm and on model selection via penalization. This work, of theoretical nature, aims at determining adequate penalties, i.e. penalties which allow achievement of oracle type inequalities justifying the performance of the proposed procedure. Since the exhaustive procedure cannot be realized when the number of variables is too large, a more practical procedure is also proposed and still theoretically validated. A simulation study completes the theoretical results.

Résumé

Cet article aborde le thème de la sélection de variables dans le cadre de la régression et de la classification. Il propose une procédure automatique et exhaustive qui repose essentiellement sur l’utilisation de l’algorithme CART et sur la sélection de modèles par pénalisation. Ce travail, de nature théorique, tend à déterminer les bonnes pénalités, à savoir celles qui permettent l’obtention d’inégalité de type oracle. La procédure théorique n’étant pas implémentable lorsque le nombre de variables devient trop grand, une procédure pratique est également proposée. Cette seconde procédure demeure justifiée théoriquement. Par ailleurs, une étude par simulation complète le travail théorique.