A Characterization of Mean Squared Error for Estimator with Bagging

Auteurs : Martin Mihelich, Charles Dognin, Yan Shu, Michael Blot

arXiv: 1908.02718v1 - DOI (cs.LG)

23 pages, 8 figures

Mots clés générés par l'IA : Bagging MSE Estimateur Courbure Algorithme

Points clés générés par l'IA

⚠La licence de l'article ne nous permet pas de nous appuyer sur son contenu et les points clés sont générés à l'aide des métadonnées de l'article plutôt que de l'article complet.

Étudier théoriquement comment la méthode de bagging peut réduire l'erreur quadratique moyenne (MSE) lorsqu'elle est appliquée à un estimateur statistique.
Prouver que pour tout estimateur, augmenter le nombre d'estimateurs baggés $N$ dans la moyenne ne peut qu'améliorer la MSE.
Se concentrer sur l’estimateur standard de variance appelé variance échantillonnée non biaisée et développer une expression analytique exacte de la MSE pour cet estimateur avec le bagging.
Discuter rigoureusement du nombre d’itérations $N$ et de la taille du lot $m$ de la méthode du bagging.
Analyser que seule si la courbure de la distribution est supérieure à $\frac{3}{2}$, la MSE de l'estimateur de variance peut être réduite avec le bagging.
Proposer un algorithme générique novateur permettant d’estimer avec une grande précision la variance d’un échantillon.

Accédez également à nos autres résultats générés par IA : Résumé complet, Résumé vulgarisé, Article de type blog; ou posez des questions sur cet article à notre Assistant IA.

Résumé : Bagging can significantly improve the generalization performance of unstable machine learning algorithms such as trees or neural networks. Though bagging is now widely used in practice and many empirical studies have explored its behavior, we still know little about the theoretical properties of bagged predictions. In this paper, we theoretically investigate how the bagging method can reduce the Mean Squared Error (MSE) when applied on a statistical estimator. First, we prove that for any estimator, increasing the number of bagged estimators $N$ in the average can only reduce the MSE. This intuitive result, observed empirically and discussed in the literature, has not yet been rigorously proved. Second, we focus on the standard estimator of variance called unbiased sample variance and we develop an exact analytical expression of the MSE for this estimator with bagging. This allows us to rigorously discuss the number of iterations $N$ and the batch size $m$ of the bagging method. From this expression, we state that only if the kurtosis of the distribution is greater than $\frac{3}{2}$, the MSE of the variance estimator can be reduced with bagging. This result is important because it demonstrates that for distribution with low kurtosis, bagging can only deteriorate the performance of a statistical prediction. Finally, we propose a novel general-purpose algorithm to estimate with high precision the variance of a sample.

Soumis à arXiv le 07 Aoû. 2019

Citer cet article (BibTeX)

Posez des questions sur cet article à notre assistant IA

Vous pouvez aussi discutez avec plusieurs papiers à la fois ici.

⚠La licence de l'article ne nous permet pas de nous appuyer sur son contenu et l'assistant IA ne peut se servir que des métadonnées de l'article plutôt que de l'article complet.

Instructions pour utiliser l'assistant IA ?

Résultats du processus de synthèse de l'article arXiv : 1908.02718v1

⚠La licence de cet article ne nous permet pas de nous appuyer sur son contenu et le processus de synthèse est ici effectué avec les métadonnées de l'article plutôt qu'avec l'article en tant que tel.

Résumé Complet
Points clés
Résumé vulgarisé
Article de blog

Dans cet article, nous étudions théoriquement comment la méthode de bagging peut réduire l'erreur quadratique moyenne (MSE) lorsqu'elle est appliquée à un estimateur statistique. Nous prouvons que pour tout estimateur, augmenter le nombre d'estimateurs baggés $N$ dans la moyenne ne peut qu'améliorer la MSE. Nous nous concentrons ensuite sur l’estimateur standard de variance appelé variance échantillonnée non biaisée et développons une expression analytique exacte de la MSE pour cet estimateur avec le bagging. Cela nous permet de discuter rigoureusement du nombre d’itérations $N$ et de la taille du lot $m$ de la méthode du bagging. Notre analyse montre que seule si la courbure de la distribution est supérieure à $\frac{3}{2}$, la MSE de l'estimateur de variance peut être réduite avec le bagging. Enfin, nous proposons un algorithme générique novateur permettant d’estimer avec une grande précision la variance d’un échantillon.

Étudier théoriquement comment la méthode de bagging peut réduire l'erreur quadratique moyenne (MSE) lorsqu'elle est appliquée à un estimateur statistique.
Prouver que pour tout estimateur, augmenter le nombre d'estimateurs baggés $N$ dans la moyenne ne peut qu'améliorer la MSE.
Se concentrer sur l’estimateur standard de variance appelé variance échantillonnée non biaisée et développer une expression analytique exacte de la MSE pour cet estimateur avec le bagging.
Discuter rigoureusement du nombre d’itérations $N$ et de la taille du lot $m$ de la méthode du bagging.
Analyser que seule si la courbure de la distribution est supérieure à $\frac{3}{2}$, la MSE de l'estimateur de variance peut être réduite avec le bagging.
Proposer un algorithme générique novateur permettant d’estimer avec une grande précision la variance d’un échantillon.

Résumé: 1. La méthode de bagging peut réduire l'erreur quadratique moyenne (MSE) lorsqu'elle est appliquée à un estimateur statistique. 2. Augmenter le nombre d'estimateurs baggés $N$ dans la moyenne ne peut qu'améliorer la MSE pour tout estimateur. 3. Une expression analytique exacte de la MSE a été développée pour l’estimateur standard de variance appelé variance échantillonnée non biaisée avec le bagging. 4. Il faut discuter du nombre d’itérations $N$ et de la taille du lot $m$ de la méthode du bagging. 5. Seule si la courbure de la distribution est supérieure à $\\frac{3}{2}$, la MSE de l'estimateur de variance peut être réduite avec le bagging et un algorithme novateur permet d’estimer précisemment sa variance.

Comment le bagging peut-il réduire l'erreur quadratique moyenne?

Notre analyse montre que seule si la courbure de la distribution est supérieure à $\frac{3}{2}$, la MSE de l'estimateur de variance peut être réduite avec le bagging. Enfin, nous proposons un algorithme générique novateur permettant d’estimer avec une grande précision la variance d’un échantillon.

Conclusion

Cette recherche a montré comment le processus appelé «bagging» peut être utilisé pour améliorer les performances des estimateurs statistiques en termes d'erreur quadratique moyenne (MSE). La preuve mathématique fournie par cette étude suggère que plus vous augmentez le nombre d'itérations ($N$) et/ou plus vous augmentez les tailles des lots ($m$), meilleures seront les performances en termes MSE. De plus, il existe une condition supplémentaire qui doit être remplie afin que cette technique soit efficace: La courbure doit être supérieure à $\frac{3}{2}$.

Créé le 06 Mar. 2023

Évaluez la qualité du contenu généré par l'IA en votant

Note : 0

Le résumé précédent a été créé il y a plus d'un an et peut être réexécuté (si nécessaire) en cliquant sur le bouton Exécuter ci-dessous.

⚠La licence de cet article spécifique ne nous permet pas de nous appuyer sur son contenu et les outils de synthèse seront exécutés en utilisant les métadonnées de l'article plutôt que l'article complet. Cependant, l'outil produira quand même un bon résultat, et vous pouvez également essayer nos outils sur des papiers avec des licences plus ouvertes.