Przejdź do zawartości

Bootstrap (statystyka)

Z Wikipedii, wolnej encyklopedii

Bootstrap[1] (pol. metody samowsporne) – wprowadzone przez Bradleya Efrona metody szacowania rozkładu błędów estymacji, za pomocą wielokrotnego losowania ze zwracaniem z próby. Są przydatne szczególnie, gdy nie jest znana postać rozkładu zmiennej w populacji. Ponieważ bootstrap w podstawowej wersji nie czyni założeń co do rozkładu w populacji, może być zaliczony do metod nieparametrycznych. Metody bootstrap zalicza się do metod repróbkowania, do których należą również testy permutacyjne, sprawdzian krzyżowy i metoda jackknife[2].

Próba bootstrap

[edytuj | edytuj kod]

Próbą bootstrap (lub próbą typu bootstrap) nazywamy -elementową próbę losową z rozkładu pewnej ustalonej -elementowej próby z populacji

Innymi słowy jest to próba powstała przez losowanie ze zwracaniem elementów z

Zasada bootstrap

[edytuj | edytuj kod]

Niech będzie pewną statystyką, dającą się przedstawić jako funkcja dystrybuanty:

i w przypadku zastosowania do rozkładu empirycznego jej wynikiem jest estymator

Warunki te spełnia szeroka klasa statystyk.

Zasada bootstrap mówi, że rozkład statystyki

przy ustalonej realizacji jest bliski rozkładowi statystyki

czyli rozkładowi błędów estymacji parametru w populacji.

Metoda bootstrap

[edytuj | edytuj kod]

Zgodnie z zasadą bootstrap w celu oszacowania rozkładu błędów estymacji, należy:

  1. wielokrotnie ( razy) wylosować niezależne próby losowe bootstrap na podstawie jednej realizacji
  2. obliczyć dla nich wartości:

Otrzymany rozkład jest przybliżeniem rozkładu błędów estymacji za pomocą statystyki zastosowanej do próby -elementowej parametru w populacji.

Liczba powinna być możliwie duża (im większa tym dokładniejsze oszacowanie). W literaturze podawane są coraz większe liczby, w miarę jak rosną możliwości obliczeniowe komputerów.

Błąd standardowy typu bootstrap

[edytuj | edytuj kod]

Histogram uzyskanego rozkładu błędów można przedstawić na wykresie. Można też obliczyć dla niego rozmaite dalsze statystyki, takie jak błąd standardowy:

gdzie:

Przedziały ufności typu bootstrap

[edytuj | edytuj kod]

Najprostszą metodą stworzenia przedziału ufności estymatora za pomocą rozkładu jest przybliżenie go rozkładem normalnym. Jest to metoda bardzo prosta, poszukiwany przedział ma postać:

Metoda ta nie zawsze daje się jednak zastosować, gdyż często błąd nie ma rozkładu normalnego. Wymaga ona zatem sprawdzenia normalności rozkładu i arbitralnej decyzji, czy jest on wystarczająco normalny.

Alternatywną metodą jest percentylowy przedział ufności typu bootstrap, który może być stosowany przy dowolnej postaci rozkładu błędów:

gdzie to kwantyl rzędu z rozkładu

Jeszcze inna metoda postuluje najpierw wykonanie studentyzacji rozkładu przed wyliczeniem przedziału percentylowego. To, która metoda daje najdokładniejsze wyniki, zależy od typu rozkładu w populacji (w szczególności obecności obserwacji odstających) oraz założonej metody oceny dokładności.

Testowanie hipotez metodą bootstrap

[edytuj | edytuj kod]

Metoda bootstrap jest też używana do weryfikacji hipotez statystycznych, o ile da się tę weryfikację sprowadzić do badania błędu estymacji za pomocą statystyki spełniającej warunki bootstrapu.

Na przykład gdy hipotezą zerową jest wartość oczekiwana w populacji a w próbie uzyskaliśmy średnią wówczas wartość jest prawdopodobieństwem, że średnia z próby będzie się różniła od średniej w populacji o co najmniej Prawdopodobieństwo to można oszacować, losując próby bootstrap z i sprawdzając w jakim odsetku losowań średnia wykracza poza przedział

Odmiany metody

[edytuj | edytuj kod]

Istnieje wiele odmian bootstrapu. W jednej z nich próby bootstrap nie są losowane bezpośrednio z próby lecz z rozkładu podobnego do rozkładu z wygładzoną dystrybuantą.

Istnieją też bardziej skomplikowane procedury bootstrapu dla próbkowania bez zwracania, problemów obejmujących dwie próby, regresji, szeregów czasowych, próbkowania hierarchicznego i innych problemów statystycznych.

Odmiana bootstrapu zwana bagging jest stosowana przy konstruowaniu modeli klasyfikacyjnych i regresyjnych, ograniczając zjawisko przeuczenia (Breiman 1984).

Przypisy

[edytuj | edytuj kod]
  1. Etymologia w artykule bootstrap.
  2. Chernick, M. R. (2012). Resampling methods. „Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery”, 2(3), 255-262.

Bibliografia

[edytuj | edytuj kod]
  • Jacek Koronacki, Jan Mielniczuk: Statystyka dla studentów kierunków technicznych i przyrodniczych. Warszawa: WNT, 2001, s. 445–454. ISBN 83-204-2684-7.
  • Bradley Efron: The jackknife, the bootstrap, and other resampling plans. Philadelphia: Pa. Society for Industrial and Applied Mathematics, 1982.
  • L. Breiman, J.H. Friedman, R.A. Olshen, C.J. Stone: Classification and regression trees. Monterey, CA: Wadsworth & Brooks/Cole Advanced Books & Software, 1984.

Linki zewnętrzne

[edytuj | edytuj kod]