Skrywane rozterki badaczy. Dlaczego tak wiele zależy od analityka?

Naukowcy podejmują setki decyzji dotyczących gromadzenia, przygotowania i przetwarzania danych. Wiele z nich – zazwyczaj model i metoda estymacji – jest szczegółowo opisywanych, ale wiele z tych działań, często bardzo technicznych, jest niejako ukrytych i dostępnych tylko po analizie kodu źródłowego. Informacje nie są ukryte celowo. Po prostu publikacje naukowe mają ograniczenia dotyczące liczby stron czy słów. Częściej skupiają się na dokładnym opisaniu wniosków, a nie zagłębiają się w techniczne szczegóły.

Wiele z tych decyzji wydaje się też być nieznacząca, bo czy usunięcie kilku obserwacji z kilkutysięcznego zbioru danych może mieć wpływ na wyniki? Wyobraźmy sobie zbiór danych o mieszkańcach gminy X. Załóżmy, że chcemy zbadać, czy kobiety rzeczywiście zarabiają tam mniej niż mężczyźni. Problem pojawia się, gdy brakuje części danych, np. o edukacji. Badacz staje przed wyborem: usunąć ze zbioru osoby, o których nie ma pełnych informacji, czy też spróbować – w rozsądny sposób – samodzielnie je uzupełnić? Inna wątpliwość: w jaki sposób pogrupować lata edukacji, żeby uzyskać poziomy wykształcenia? Czy 12 lat edukacji zawsze oznacza wykształcenie średnie? A w jaki sposób zakodować odpowiedzi „Odmawiam odpowiedzi na to pytanie”? Możemy mnożyć takie wątpliwości niemal w nieskończoność.