Wiktor Razmus, Emilia Mielniczuk Błąd wspólnej metody w badaniach kwestionariuszowych

Wprowadzenie

W wielu badaniach psychologicznych pomiaru zmiennych dokonuje się z wykorzystaniem narzędzi samoopisowych (typu papier-ołówek lub internetowych). W porównaniu do innych metod i technik badawczych, pomiar taki jest bardzo ekonomiczny i prosty w stosowaniu (Drwal, 1989). Analiza literatury psychologicznej pokazuje, że samoopisowe kwestionariusze są jedną z najczęściej stosowanych metod pomiarowych, ok. 45% badań prowadzonych jest w ten właśnie sposób (Bodner, 2006). Badanie kwestionariuszowe, w dużym uproszczeniu, polega na wybraniu narzędzi pomiarowych do oceny interesujących badacza zmiennych (np. Skali Depresji Becka, Skali Samooceny Rosenberga, Kwestionariusza Osobowości Eysencka EPQ-R), a następnie dotarciu do osób badanych z prośbą o ustosunkowanie się do przedstawionych im pozycji testowych. Pomiar wszystkich zmiennych, czyli niezależnych, jak i zależnych, dokonywany jest więc z wykorzystaniem wspólnej metody pomiarowej (common method of measurement) – respondent, zwykle podczas jednej sesji, udziela odpowiedzi na pozycje testowe całego zestawu kwestionariuszy. Wśród metodologów badań społecznych toczy się dyskusja nad tym, jaki wpływ na badane zmienne i zależności pomiędzy nimi ma wykorzystanie wspólnej metody pomiarowej. Istnieje obawa, że przynajmniej niektóre kowariancje pomiędzy tymi zmiennymi będą wynikać ze specyfiki takiego pomiaru (Podsakoff, MacKenzie, Podsakoff, 2012).

Celem artykułu jest zwrócenie uwagi badaczy na problematykę wykorzystywania wspólnej metody pomiarowej w badaniach samoopisowych. Po przedstawieniu możliwych konsekwencji stosowania pomiaru z wykorzystaniem wspólnej metody, przedstawimy proceduralne sposoby mające na celu ich ograniczenie bądź całkowite wyeliminowanie. Sposoby te odnoszą się do szerokiej gamy czynności podejmowanych już w trakcie planowania badań. W dalszej kolejności omówimy najczęściej stosowane statystyczne sposoby identyfikowania i kontrolowania wpływu wspólnej metody pomiarowej na relacje pomiędzy zmiennymi.
Błąd wspólnej metody
Prowadząc badania z równoczesnym wykorzystaniem kilku kwestionariuszy badacz ma do czynienia ze zjawiskiem wariancji wspólnej metody (common method variance). Jest to systematyczna wariancja dzielona pomiędzy zmiennymi mierzonymi z wykorzystaniem wspólnej metody zbierania danych (Richardson, Simmering, Sturman, 2009). Ta wspólna wariancja może prowadzić do zaburzania relacji pomiędzy zmiennymi, co skutkuje powstaniem błędu wspólnej metody (common method bias; Jakobsen, Jensen, 2015). Błąd wspólnej metody występuje więc w sytuacji, gdy korelacje pomiędzy mierzonymi zmiennymi ulegają zniekształceniu na skutek zastosowanej metody pomiaru (Meade, Watson, Kroustalis, 2007).
Błąd wspólnej metody jest podkategorią większego zbioru błędów metody. Zbiór ten obejmuje wszystkie uchybienia wynikające z rodzaju zastosowanej metody bądź jej błędnej konstrukcji (Wilczyńska, 1989; Hornowska, 2001; Zawadzki, 2006). Natomiast błąd wspólnej metody odnosi się jedynie do błędów wynikających z zastosowania wspólnej metody pomiaru wszystkich interesujących badacza zmiennych. Oznacza to, że jego źródłem jest wariancja wyników, która nie pochodzi z badanego konstruktu, ale z metody pomiaru (Podsakoff i in., 2003). Taka wariancja może prowadzić do następujących zagrożeń: (1) zaburzenia parametrów związków pomiędzy dwiema zmiennymi – błędy pierwszego i drugiego rodzaju; (2) błędnego oszacowania wariancji konstruktów; (3) zwiększenia lub zmniejszenia trafności różnicowej konstruktów (Podsakoff, MacKenzie, Podsakoff, 2012).
Jakie są dowody na istnienie błędu wspólnej metody? Jednym z bardziej przekonujących dowodów jest metaanaliza związków pomiędzy zmiennymi pochodzącymi z dwóch rodzajów badań: (1) badań, w których pomiar zmiennych był dokonywany z wykorzystaniem wspólnej metody (osoba badana wypełniała samoopisowe kwestionariusze); (2) badań, w których zmienne mierzono z wykorzystaniem dwóch różnych metod (pomiar zmiennej niezależnej pochodził np. z samoopisu, a pomiar zmiennej zależnej – od drugiej osoby) (Podsakoff, MacKenzie, Podsakoff, 2012). Wyniki pokazują, że średnia korelacja pomiędzy np. dopasowaniem osoby i organizacji a wydajnością pracy wynosi 0,283 w przypadku, gdy pomiar dokonywany jest z wykorzystaniem wspólnej metody i tylko 0,093 w przypadku, gdy pomiar zmiennych pochodzi z różnych metod (np. dane dotyczące dopasowania osoby i organizacji pochodzą z samoopisu, a dane dotyczące wydajności pracy pochodzą od przełożonego). Oznacza to, że średnia korelacja pomiędzy tymi zmiennymi mierzonymi za pomocą wspólnej metody została zawyżona o 304% (0,283/0,093) w porównaniu do korelacji zmiennych w przypadku, gdy ich pomiar pochodził z różnych metod. Metaanaliza związków innych zmiennych (Podsakoff, MacKenzie, Podsakoff, 2012) pokazuje, że pomiar przy użyciu wspólnej metody skutkuje zawyżeniem korelacji od 148% do 304%. Jednak pomimo tak, wydawałoby się, twardych dowodów niektórzy badacze powątpiewają w istnienie błędu wspólnej metody (Spector, 2006).
Traktując błąd wspólnej metody jako jedno z potencjalnych zagrożeń, które może zaburzać wyniki badań kwestionariuszowych przyjrzymy się kolejno proceduralnym i statystycznym sposobom ograniczania prawdopodobieństwa wystąpienia tego błędu.
Proceduralne sposoby ograniczania wystąpienia błędu wspólnej metody
Proceduralne sposoby ograniczania wystąpienia błędu wspólnej metody to sposoby, które stosuje się już na etapie planowania i przeprowadzania badań. W literaturze można znaleźć wiele sugestii, jak tworzyć kwestionariusze i planować badania, aby zminimalizować błędy wynikające z użytej metody (Wilczyńska, 1989; Drwal, 1995; Hornowska 2001; Zawadzki, 2006). W tym artykule skupimy się jedynie na sposobach, które mają za zadanie ograniczyć bądź całkowicie wyeliminować możliwość pojawienia się błędu wspólnej metody. Korzystanie z wielu kwestionariuszy podczas jednego badania może prowadzić do pojawienia się przede wszystkim dwóch tendencji u osób badanych, które będą zaburzać wyniki. Po pierwsze, uczestnicy badania mogą ulegać efektowi spójności, który związany jest z potrzebą bycia postrzeganym jako osoba racjonalna i stała w swoich odpowiedziach (Salancik, Pfeffer, 1977). Badany, który uległ tej tendencji, będzie poszukiwać podobieństw między kwestionariuszami wypełnianymi podczas jednego badania, mierzącymi różne konstrukty i będzie tworzyć związki między nimi, pomimo tego, że nie występują one w życiu. Po drugie, sztuczne związki mogą powstawać, gdy osoby badane kierują się ukrytymi teoriami (implicit theories) na temat relacji między zmiennymi, które mierzone są w jednym badaniu (Staw, 1975). Takie osoby będą starały się tak uzupełniać zestaw kwestionariuszy, aby „odtworzyć” te związki, które ich zdaniem powinny się pojawić, niezależnie od tego, czy one rzeczywiście występują. 

Skutecznym rozwiązaniem służącym wyeliminowaniu wyżej opisanych tendencji jest uzyskanie danych z różnych źródeł (Podsakoff, MacKenzie, Podsakoff, 2012). Na przykład wyniki dla zmiennej niezależnej można uzyskać na podstawie samoopisu, a wyniki dla zmiennej zależnej od drugiej osoby. Innym źródłem danych może być nie tylko drugi człowiek, ale także dokumentacja (np. roczne raporty lub inne pośrednie metody ogólnie nazywane pomiarem nieinwazyjnym) (Shaughnessy, Zechmeister, Zechmeister, 2002). Niezależnie od tego czy źródłem informacji jest drugi człowiek czy są to dane pochodzące z dostępnych dokumentów, to uzyskanie pomiaru jednej ze zmiennych z innych źródeł niż sama osoba badana nie jest skuteczne w każdej sytuacji (Brannick i in., 2010). Na przykład niektórych postaw i emocji nie da się zoperacjonalizować jako widocznych zachowań, tak więc niemożliwe jest prawidłowe określenie ich nasilenia przez osoby oceniające, a dane na temat efektów leczenia czy przebiegu terapii znajdują się w dokumentach objętych szczególną ochroną prawną. Niemniej jednak pozyskanie danych z kilku źródeł eliminuje występowanie błędu wspólnej metody (Shaughnessy, Zechmeister, Zechmeister, 2002). 

Jeśli nie ma możliwości, aby pozyskać dane z kilku źródeł, dobrym sposobem na ograniczenie wpływu błędu wspólnej metody jest oddzielenie pomiarów zmiennej niezależnej i zależnej. Można to zrobić za pomocą rozdzielenia czasowego, przestrzennego lub psychologicznego (Podsakoff, MacKenzie, Podsakoff, 2012). Rozdzielenie czasowe polega na pomiarze zmiennej zależnej w innym czasie niż pomiar zmiennej niezależnej. Według Podsakoffa i jego współpracowników (2003), wspólny kontekst badania może zwiększyć prawdopodobieństwo, że odpowiedzi na pozycje testowe mierzące zmienną niezależną i zależną będą współwystępować w pamięci krótkotrwałej i wpływać na siebie wzajemnie. Co więcej, istnieje możliwość nasilonego stosowania ukrytych teorii na temat relacji pomiędzy zmienną niezależną i zależną, jeśli osoba badana takie posiada. Odstęp czasowy pomiędzy pomiarami skutecznie redukuje te zagrożenia, niwelując problem błędu wspólnej metody. Ponadto rozdzielność czasowa może dostarczyć dodatkowych korzyści. Jeśli zmienną niezależną zmierzymy wcześniej, a zmienną zależną później, to w pewnych sytuacjach taki zabieg daje możliwość wnioskowania przyczynowo-skutkowego (Windle, 2012). Niemiej jednak ten typ badań posiada także swoje wady. Jeśli odstęp czasowy pomiędzy pomiarami będzie zbyt długi, relacja między zmiennymi może nie zostać wykryta, ponieważ do tego czasu przestanie już istnieć. Ponadto badanie podłużne opiera się na założeniu, że prawdziwa relacja pomiędzy zmiennymi jest stabilna czasowo. Tymczasem niektóre związki mogą być krótkotrwałe (np. te związane z aktualnym nastrojem) (Cabanac, 2002).
Kolejny sposób odseparowania zmiennych – przestrzenny – polega na rozdzieleniu pozycji testowych, mierzących zmienne niezależne i zależne, kwestionariuszami odnoszącymi się do innych zmiennych (Podsakoff i in., 2003). Gdy liczba kwestionariuszy w jednym badaniu jest mała, osobie badanej łatwiej jest kontrolować i zapamiętywać swoje wcześniejsze odpowiedzi. Natomiast jeśli oddzielenie będzie wystarczająco duże, pozwoli to zniwelować efekt spójności oraz podążanie za ukrytymi teoriami u osób badanych. Wybór zmiennych rozdzielających konstrukty, które są przedmiotem zainteresowania badacza, powinien być dobrze przemyślany. Jeśli kwestionariusze do pomiaru konstruktów wypełniających przestrzeń pomiędzy badanymi zmiennymi nie będą wystarczająco różnić się od siebie, to w dalszym ciągu mogą one zwiększać wspólną wariancję.
Z kolei psychologiczna rozdzielność polega na ukryciu tego, co naprawdę chcemy zbadać, tak by respondenci nie rozpoznali głównego celu badania (Podsakoff, MacKenzie, Podsakoff, 2012). Można to uzyskać poprzez zakamuflowanie interesującej nas zmiennej, umieszczając ją w kontekście innych, mniej psychologicznych kwestionariuszy. Należy jednak pamiętać, aby liczba kwestionariuszy użytych w jednym badaniu nie była zbyt duża. Nadmiar pozycji, do których należy się odnieść w jednym badaniu może doprowadzić do znużenia i zniechęcenia jego uczestników. Skutkować to będzie ich mniejszą refleksyjnością, a większym automatyzmem podczas uzupełniania kwestionariuszy. Zwiększa się prawdopodobieństwo, że osoby badane zaczną je wypełniać zgodnie ze swoim dominującym stylem odpowiedzi – tendencją do nadmiernej neutralności, zgodności lub niezgodności (Lindell, Whitney, 2001). Innym sposobem na odwrócenie uwagi od głównego celu badania jest dodanie informacji o „wielości badań” (Aronson, Wilson, Brewer, 1998). Osoby badane są informowane, że kwestionariusze, które będą wypełniać to zbiór kilku niezależnych od siebie badań, które będą analizowane osobno. Warto podkreślić jednak, że efektywność tej metody zależy tylko i wyłącznie od wiarygodności podanej informacji. Po zakończeniu badań należy pamiętać o ujawnieniu uczestnikom jego prawdziwego celu. Jest to procedura tzw. debriefingu i powinna być stosowana po każdym badaniu naukowym (Asch, 1951).
Planując prowadzenie badań z wykorzystaniem wielu kwestionariuszy należy rozważyć również kolejność ich uzupełniania przez osoby badane. Niektóre kwestionariusze charakteryzują się tym, że bardzo silnie kształtują dalszy sposób wypełniania kolejnych (Podsakoff i in., 2003). Jeżeli takie kwestionariusze pojawią się na samym początku, mogą one „zaburzyć” odpowiedzi w całym badaniu. Przykładem może być sytuacja, gdy chcemy zbadać ogólną satysfakcję z życia. Zmienna ta dotyczy poziomu zadowolenia z życia, który oceniany jest wedle osobistych standardów (Juczyński, 2009). Standardy te nie są konkretnie zdefiniowane i każda osoba badana może opierać się na innych wskaźnikach oceniając swoje zadowolenie. Jeśli jednak w narzędziu pomiarowym przed pytaniem o satysfakcję z życia umieścimy skalę do pomiaru zadowolenia z życia rodzinnego, to osoby oceniając swoją ogólną satysfakcję z życia mogą zacząć brać pod uwagę także zadowolenie z życia rodzinnego, które w rzeczywistości może nie mieć dla nich aż tak dużego znaczenia przy ocenie ogólnego zadowolenia. Ponadto niektóre kwestionariusze mogą wprowadzać uczestnika w pozytywny bądź negatywny nastrój. Jeśli na początku badania umieszczonych zostanie zbyt dużo kwestionariuszy dotyczących stresu, negatywnych wydarzeń i emocji, może to wywołać u osoby negatywny afekt, który utrzymywać się będzie do końca badania, jednocześnie modyfikując wyniki.
Statystyczne sposoby identyfikacji i kontrolowania błędu wspólnej metody
Zastosowanie proceduralnych sposobów ograniczania błędu wspólnej metody nie zawsze daje pewność, że zebrane dane są wolne od tego błędu. Tylko w jednym przypadku możemy stwierdzić, że błąd wspólnej metody nie występuje – gdy pomiar zmiennej niezależnej pochodzi z innego źródła niż zmiennej zależnej. W innych sytuacjach, kierowani ciekawością poznawczą i dbałością o poprawność metodologiczną (lub prośbą recenzenta), powinniśmy zastosować statystyczne sposoby identyfikacji i kontroli błędu wspólnej metody.
Podejście statystyczne do błędu wspólnej metody koncentruje się wokół dwóch zagadnień: (1) identyfikacji i (2) kontroli błędu wspólnej metody. Niestety nie ma powszechnie akceptowanych statystycznych sposobów radzenia sobie z tymi dwoma wyzwaniami, obecnie toczy się w tej kwestii burzliwa dyskusja naukowa (Richardson, Simmering, Sturman, 2009; Williams, Mcgonagle, 2015). Przedstawimy kilka najczęściej wykorzystywanych przez badaczy technik, wraz z ich zaletami i wadami.
Test jednego czynnika Harmansa (Harman’s single factor test) jest jedną z najczęściej używanych technik do diagnozowania błędu wspólnej metody (Podsakoff i in., 2003). Zastosowanie tej techniki jest bardzo proste. Wystarczy przeprowadzić eksploracyjną analizę czynnikową z nierotowanym rozwiązaniem na pozycjach testowych ze wszystkich kwestionariuszy użytych w badaniu. Istnieją dwa warianty tej techniki. W pierwszym wariancie nie zakładamy określonej liczby czynników do wyodrębnienia. Jeżeli w analizie zostanie wyodrębniony jeden czynnik, to możemy stwierdzić istnienie błędu wspólnej metody. W wariancie drugim, częściej spotykanym, zakładamy wyodrębnienie jednego czynnika i sprawdzamy, ile procent wariancji wyjaśnia. O błędzie wspólnej metody będzie świadczyć wynik mówiący, że jeden czynnik wyjaśnia powyżej 50% wariancji wszystkich pozycji testowych (Podsakoff i in., 2003). Niektórzy badacze stosują konfirmacyjną analizę czynnikową (Confirmatory Factor Analysis, CFA) testując dopasowanie modelu jednoczynnikowego (Kooij, Van De Voorde, 2011). Brak dopasowania takiego modelu ma świadczyć o tym, że wspólna wariancja metody nie będzie znacząco wpływać na relacje pomiędzy zmiennymi. Zasadniczym ograniczeniem techniki jednego czynnika Harmansa jest fakt, że pozwala ona jedynie na diagnozę błędu wspólnej metody. Nie możemy z jej wykorzystaniem kontrolować tego błędu. Badacze zauważają również, że jest to technika mało czuła na błąd – w większości sytuacji uzyskujemy kilka czynników w eksploracyjnej analizie czynnikowej lub przy założeniu wyodrębnienia jednego czynnika procent wyjaśnionej wariancji jest niewielki. Z tego powodu powszechnym stał się pogląd, że test jednego czynnika Harmansa nie jest właściwą techniką do diagnozowania błędu wspólnej metody (Podsakoff i in., 2003). Najnowsze symulacje statystyczne pokazują jednak, że technika ta nie jest nieczuła, jak wcześniej sądzono, na wykrycie wspólnej wariancji metody. Jeżeli zastosowane skale charakteryzują się satysfakcjonującą rzetelnością, dopiero wspólna wariancja na poziomie 70% lub więcej będzie znacząco wpływać na relacje pomiędzy zmiennymi (Fuller i in., 2016). W wielu najnowszych badaniach opublikowanych w renomowanych czasopismach naukowych autorzy wciąż używają testu jednego czynnika Harmansa do identyfikacji błędu wspólnej metody (Runhaar, Sanders, Konermann, 2013; Gunasekaran i in., 2017; Razmus, Jaroszyńska, Palęga, 2017).
Technika oparta na korelacji markera (correlation-based marker variable technique) pozwala identyfikować i jednocześnie kontrolować błąd wspólnej metody (Lindell, Whitney, 2001). Jej zastosowanie polega na dodaniu do zestawu kwestionariuszy skali (kwestionariusza) do pomiaru zmiennej, która teoretycznie nie powinna korelować z innymi zmiennymi (tzw. marker). Idea tej techniki jest bardzo prosta: jeżeli uzyskamy korelację pomiędzy badanymi zmiennymi a markerem to prawdopodobnie pojawia się w naszychdanych wariancja wspólnej metody. Aby obliczyć wartość współczynnika korelacji pomiędzy badanymi zmiennymi przy kontroli błędu, należy: (1) wybrać najmniejszą korelację markera z docelowymi zmiennymi; (2) od wartości współczynnika korelacji między zmiennymi docelowymi odjąć wybraną najmniejszą wartość współczynnika korelacji markera ze zmienną i podzielić przez wartość: jeden minus wybrana najmniejsza wartość współczynnika korelacji markera ze zmienną; (3) sprawdzić, czy uzyskana korelacja jest istotna statystycznie (np. w tablicach rozkładu współczynnika korelacji r-Pearsona). Niestety i ta prosta technika posiada wiele wad. Wśród tych szczegółowo opisanych w literaturze (Podsakoff, MacKenzie, Podsakoff, 2012) warto nadmienić kilka. Technika zakłada, że błąd wspólnej metody może powodować tylko zawyżanie związków pomiędzy zmiennymi, co nie jest prawdą. Kontrola błędu wspólnej metody dokonywana jest na poziomie wyników w skalach, a nie na poziomie wyników w pozycjach testowych. Jeżeli do badań wybraliśmy marker, który teoretycznie nie powinien być skorelowany tylko ze zmienną zależną, to kontrola błędu będzie zakładać identyczny jego wpływ na wszystkie zmienne. Zarzuty wysuwane przeciwko technice opartej na korelacji markera doprowadziły do wypracowania techniki markera z zastosowaniem konfirmacyjnej analizy czynnikowej (CFA marker technique) (Williams, Hartman, Cavazotte, 2010). Technika ta polega na estymowaniu wspólnej wariancji z wykorzystaniem konfirmacyjnej analizy czynnikowej. Pomimo wdrożenia bardziej zaawansowanej analizy statystycznej, technika markera z zastosowaniem konfirmacyjnej analizy czynnikowej zdaniem badaczy dostarcza niektórych dowodów na istnienie wspólnej wariancji, ale tylko w sytuacji, gdy wybrany zostanie odpowiedni marker. W dużym stopniu o sukcesie techniki będzie więc przesądzać właściwy wybór markera, chociaż i w takich sytuacjach jej skuteczność jest na przeciętnym poziomie – w 69% sytuacji poprawnie identyfikuje ona wspólną wariancję metody (Richardson, Simmering, Sturman, 2009). Bardzo zbliżoną techniką do techniki markera z zastosowaniem konfirmacyjnej analizy czynnikowej jest technika bezpośrednio mierzonego czynnika latentnego (directly measured latent method factor technique lub measured CMV cause models) (Podsakoff, MacKenzie, Podsakoff, 2012). W tym przypadku do analiz dołączana jest nie zmienna teoretycznie niezwiązana z właściwymi zmiennymi, ale bezpośrednio odpowiedzialna za źródło wspólnej wariancji (np. aprobata społeczna). Zastosowanie techniki wymaga obliczenia kilku modeli czynnikowych przy kontroli zmiennej odpowiedzialnej za wspólną wariancję. Zainteresowanego Czytelnika odsyłamy do badań, w których została użyta ta technika (Williams, Gavin, Williams, 1996).
Technika niemierzonego czynnika latentnego (unmeasured latent method factor technique) jest jedną z najstarszych technik kontroli błędu wspólnej metody (Podsakoff, MacKenzie, Podsakoff, 2012). Wymaga ona zastosowania programów statystycznych przeznaczonych do analizy równań strukturalnych (np. Amos). Technika ta polega na dodaniu do statystycznych analiz czynnika (zmiennej latentnej), którego zmiennymi obserwowanymi są wszystkie pozycje testowe badanych konstruktów. Przedstawimy to na prostym przykładzie. Załóżmy, że chcemy zbadać związek trzech zmiennych: dwóch podstawowych wymiarów postrzegania społecznego – sprawczości i wspólnotowości (Wojciszke, 2010) (każdy mierzony przy pomocy czterech pozycji testowych) oraz narcyzmu (Żemojtel Piotrowska i in., 2016) (mierzonego z wykorzystaniem ośmiu pozycji testowych). Stosując modelowanie równań strukturalnych w pierwszej kolejności powinniśmy przetestować model pomiarowy, czyli zweryfikować pomiarowe właściwości zmiennych obserwowanych. Po sprawdzeniu dopasowania modelu do danych możemy przystąpić do testowania błędu wspólnej metody. Na tym etapie do modelu pomiarowego dodajemy zmienną latentną, wskaźnikami której są wszystkie pozycje testowe badanych konstruktów (sprawczości, wspólnotowości i narcyzmu). Na rysunku 1 zaprezentowano model pomiarowy dla omawianych zmiennych z założonym niemierzonym czynnikiem latentnym dla wszystkich zmiennych (CMB). Wariancja niemierzonego czynnika latentnego powinna być założona i wynosić 1. 

Na tym etapie możemy sprawdzić, które pozycje testowe charakteryzują się wysokim poziomem wspólnej wariancji. Dla ścisłości dodajmy, że w testowanym modelu ze wspólnym czynnikiem latentnym mamy dwa rodzaje ładunków czynnikowych: (1) ładunki czynnikowe konstruktów teoretycznych i (2) ładunki czynnikowe dla czynnika wspólnego (CMB). Pozycje testowe obarczone wspólną wariancją będą posiadały istotne statystycznie ładunki czynnikowe z czynnikiem wspólnym dla wszystkich zmiennych (CMB). Wartości tych ładunków czynnikowych podniesione do kwadratu interpretujemy jako procent wariancji dzielonej ze wspólnym czynnikiem. Wartości ładunków czynnikowych konstruków teoretycznych podniesione do kwadratu interpretujemy jako wariancję wynikającą z konstruktu.

Rysunek 1. Model pomiarowy z zastosowaniem techniki niemierzonego czynnika latentnego

Źródło: opracowanie własne.

Jeżeli wartości ładunków czynnikowych wspólnego dla wszystkich zmiennych czynnika (CMB) będą nieistotne statystycznie, to możemy stwierdzić, że dane są stosunkowo wolne od błędu wspólnej metody (Liang i in., 2007). Chcąc kontrolować wpływ wspólnej wariancji metody na wyniki analiz należy zachować niemierzony czynnik latentny dla wszystkich zmiennych w modelu strukturalnym. W modelu tym testuje się liniowe efekty zmiennych niezależnych (egzogenicznych) na zmienne zależne (endogeniczne). Weryfikowanie modelu przy jednoczesnym zachowaniu niemierzonego czynnika latentengo dla wszystkich zmiennych będzie skutkować tym, że zależności pomiędzy zmiennymi będą wolne od wpływu błędu wspólnej metody. Jeśli nie chcemy aby dalsze obliczenia statystyczne były dokonywane z wykorzystaniem analizy równań strukturalnych, to po dodaniu niemierzonego czynnika latentnego w modelu pomiarowym mamy możliwość zapisania wyników naszych zmiennych skorygowanych o wspólną wariancję¹. Wśród zalet techniki niemierzonego czynnika latentnego warto wymienić to, że pozwala ona na kontrolę błędu wspólnej metody na poziomie pozycji testowych oraz fakt, że nie zakłada, iż błąd metody będzie taki sam dla wszystkich pozycji testowych. Technika ta nie jest jednak idealnym remedium na błąd wspólnej metody. Pomimo swojej prostoty w obliczaniu, zastosowanie techniki może okazać się problematyczne ze względu na trudności z identyfikacją modelu. Model może okazać się nieidentyfikowalny, gdy liczba znanych danych wejściowych będzie niższa od liczby szacowanych parametrów. Dochodzą do tego inne mankamenty natury statystycznej (Podsakoff, MacKenzie, Podsakoff, 2012). Symulacje statystyczne pokazują, że technika niemierzonego czynnika latentnego tylko w 41% sytuacji poprawnie identyfikuje wspólną wariancję metody (Richardson, Simmering, Sturman, 2009). Niemierzony czynnik latentny może zawierać nie tylko wspólną wariancję metody, ale także wspólną wariancję spowodowaną relacjami pomiędzy zmiennymi. Może to być szczególnie widoczne, gdy jedna lub więcej zmiennych są zmiennymi wielowymiarowymi, np. samoocena mierzona Wielowymiarowym Kwestionariuszem Samooceny MSEI (Fecenec, 2008). W tym przypadku pewna część wariancji wskaźników (zmiennych obserwowanych) może wynikać z teoretycznego powiązania wymiarów ze sobą (Williams, 2014). 

^{1  W tym celu należy dokonać imputacji braków danych (w przypadku programu Amos imputacji takiej można dokonać zgodnie z lokalizacją: Analyze – Data imputation). W nowo powstałym pliku otrzymamy wyliczone wartości naszych zmiennych latentnych.}

W ostatnim czasie pojawiły się próby łączenia różnych technik w jedną wszechstronną strategię (comprehensive analysis strategy) w radzeniu sobie z wariancją wspólnej metody (Williams, Mcgonagle, 2015). Polega ona na jednoczesnym zastosowaniu trzech latentnych technik: (1) techniki markera z zastosowaniem konfirmacyjnej analizy czynnikowej; (2) techniki niemierzonego czynnika latentnego oraz (3) techniki bezpośrednio mierzonego czynnika latentnego. Biorąc pod uwagę mocne i słabe strony tych technik, strategia łączenia ich w jednym modelu wydaje się bardzo interesująca. Badacz otrzymuje możliwość kontrolowania trzech typów wariancji metody – związanej z pośrednim i bezpośrednim źródłem oraz tej związanej z niemierzonym źródłem.
Podsumowanie i rekomendacje
Przegląd najczęściej stosowanych statystycznych technik do identyfikacji i kontrolowania błędu wspólnej metody może, u bardziej zaawansowanych statystycznie badaczy, wywołać szereg wątpliwości i zastrzeżeń. Nie jest naszym celem idealizowanie którejś z technik statystycznych, wszystkie, jak staraliśmy się to zobrazować, mają swoje wady. Znajomość ich zalet i ograniczeń może okazać się konieczna, szczególnie w sytuacji prowadzenia dyskusji z recenzentami prac badawczych. Skłaniamy się ku poglądowi wyrażonemu przez Conway’a i Lance’a (2010), którzy uważają, że nie można zakładać, że relacje pomiędzy zmiennymi mierzonymi z wykorzystaniem wspólnej metody są „z góry” zniekształcone przez błąd wspólnej metody. Raportując wyniki badań powinniśmy: (1) podać argumenty wskazujące, że pomiar zmiennych w sposób samoopisowy jest właściwy; (2) pokazać dowody na trafność konstruktów, np. na podstawię analizy macierzy wielu cech – wielu metod Campbella i Fiskego (Brzeziński, 2004) lub innych wskaźników trafności zbieżnej i różnicowej (Hair i in., 2009); (3) wskazać, że pozycje testowe narzędzi badających różne konstrukty nie pokrywają się ze sobą; (4) opisać, jakie proceduralne sposoby ograniczania błędu wspólnej metody zastosowaliśmy. Każdy badacz planujący badanie kwestionariuszowe powinien przede wszystkim stosować proceduralne sposoby ograniczania wystąpienia błędu wspólnej metody. Zaprezentowane powyżej procedury planowania badań kwestionariuszowych w taki sposób, aby ograniczały one wystąpienie wspólnej wariancji metody, są mniej lub bardziej znane przez badaczy. Warto je przypominać i stosować, gdyż rutynowe podejście do kwestii pomiaru z wykorzystaniem kwestionariuszy stanowi duże zagrożenie dla nauki. Zachęcamy również badaczy do wykorzystania wybranych statystycznych sposobów identyfikacji i kontroli błędu wspólnej metody. Ich stosowanie powinno iść w parze z dużą dawką zdrowego rozsądku i sceptycyzmu. Możemy mieć nadzieję, że w niedalekiej przyszłości zostanie opracowana technika budząca mniej kontrowersji, która będzie umożliwiać jeszcze dokładniejsze kontrolowanie występowania błędu wspólnej metody.

Literatura cytowana

Aronson, E., Wilson, T.D., Brewer, M.B. (1998). Experimentation in social psychology. W: D.T. Gilbert, S.T. Fiske, G. Lindzey (red.), The handbook of social psychology (wyd. 4, t. 1-2, s. 99-142). New York: McGraw-Hill.

Asch, S.E. (1951). Effects of group pressure upon the modification and distortion of judgment. W: H. Guetzkow (red.), Groups, leadership and men (s. 177-190). Pittsburgh, PA: Carnegie Press.

Bodner, T.E. (2006). Designs, participants, and measurement methods in psychological research. Canadian Psychology, 47 (4), 263-72, doi: 10.1037/cp2006017

Brannick, M.T., Chan, D., Conway, J.M., Lance, C.E., Spector, P.E. (2010). What is method variance and how can we cope with it? A panel discussion. Organizational Research Methods, 13 (3), 407-420, doi: 10.1177/1094428109360993

Brzeziński, J. (2004). Metodologia badań psychologicznych. Warszawa: Wydawnictwo Naukowe PWN.

Cabanac, M. (2002). What is emotion? Behavioural Processes, 60 (2), 69-83, doi: 10.1016/S0376-6357(02)00078-5

Conway, J., Lance, C.E. (2010). What reviewers should expect from authors regarding common method bias in organizational research. Journal of Business and Psychology, 25, 325-334, doi: 10.1007/s10869-010-9181-6

Drwal, R.Ł. (1989). Przedmowa. W: R.Ł. Drwal (red.), Techniki kwestionariuszowe w diagnostyce psychologicznej: Wybrane zagadnienia (s. 9-13). Lublin: Wydawnictwo UMCS.

Drwal, R.Ł. (1995). Adaptacja kwestionariuszy osobowości. Warszawa: Wydawnictwo Naukowe PWN.

Fecenec, D. (2008). Wielowymiarowy kwestionariusz samooceny MSEI. Warszawa: Pracownia Testów Psychologicznych.

Fuller, C.M., Simmering, M.J., Atinc, G., Atinc, Y., Babin, B.J. (2016). Common methods variance detection in business research. Journal of Business Research, 69 (8), 3192-3198, doi:10.1016/j.jbusres.2015.12.008

Gunasekaran, A., Papadopoulos, T., Dubey, R., Wamba, S.F., Childe, S.J., Hazen, B., Akter, S. (2017). Big data and predictive analytics for supply chain and organizational performance. Journal of Business Research, 70, 308-317, doi: 10.1016/j.jbusres.2016.08.004

Hair, J., Black, W.C., Babin, B.J., Anderson, R.E. (2009). Multivariate data analysis (wyd. 7). Upper Saddle River, NJ: Prentice Hall.

Hornowska, E. (2001). Testy psychologiczne. Teoria i praktyka. Warszawa: Wydawnictwo Naukowe Scholar.

Jakobsen, M., Jensen, R. (2015). Common method bias in public management studies. International Public Management Journal, 18 (1), 3-30, doi: 10.1080/10967494.2014.

997906

Juczyński, Z. (2009). Narzędzia pomiaru w promocji i psychologii zdrowia. Warszawa: Pracownia Testów Psychologicznych. 

Kooij, D., Van De Voorde, K. (2011). How changes in subjective general health predict future time perspective, and development and generativity motives over the lifespan. Journal of Occupational & Organizational Psychology, 84 (2), 228-247, doi: 10.1111/j.2044-8325.2010.02012.x

Liang, H., Saraf, N., Hu, Q., Xue, Y. (2007). Assimilation of enterprise systems: The effect of institutional pressures and the mediating role of top management. Management Information Systems Quarterly, 31 (1), 59-87, doi: 10.2307/25148781

Lindell, M.K., Whitney, D.J. (2001). Accounting for common method variance in cross sectional research designs. Journal of Applied Psychology, 86, 114-121, doi: 10.1037//0021-9010.86.1.114

Meade, A.W., Watson, A.M., Kroustalis, C.M. (2007, April). Assessing common methods bias in organizational research. Paper presented at the 22nd Annual Meeting of the Society for Industrial and Organizational Psychology. New York.

Podsakoff, P.M., MacKenzie, S.B., Lee, J.Y., Podsakoff, N.P. (2003). Common method biases in behavioral research: A critical review of the literature and recommended remedies. Journal of Applied Psychology, 88 (5), 879-903, doi: 10.1037/ 0021-9010.88.5.879

Podsakoff, P.M., MacKenzie, S.B., Podsakoff, N.P. (2012). Sources of method bias in social science research and recommendations on how to control it. Annual Review of Psychology, 63 (1), 539-569, doi: 10.1146/annurev-psych-120710-100452 

Razmus, W., Jaroszyńska, M., Palęga, M. (2017). Personal aspirations and brand engagement in self-concept. Personality and Individual Differences, 105, 294-299, doi: 10.1016/j.paid.2016.10.018 

Richardson, H.A., Simmering, M.J., Sturman, M.C. (2009). A tale of three perspectives: Examining post hoc statistical techniques for detection and correction of common method variance. Organizational Research Methods, 12 (4), 762-800, doi: 10.1177/1094428109332834 

Runhaar, P., Sanders, K., Konermann, J. (2013). Teachers’ work engagement: Considering interaction with pupils and human resources practices as job resources. Journal of Applied Social Psychology, 43 (10), 2017-2030, doi: 10.1111/jasp.12155

Salancik, G.R., Pfeffer, J. (1977). An examination of need-satisfaction models of job attitudes. Administrative Science Quarterly, 22 (3), 427-456.

Shaughnessy, J.J., Zechmeister, E.B., Zechmeister, J.S. (2002). Metody badawcze w psychologii. Gdańsk: Gdańskie Wydawnictwo Psychologiczne.

Spector, P. (2006). Method variance in organizational research: Truth or urban legend? Organizational Research Methods, 9, 221-232, doi: 10.1177/1094428105284955 

Staw, B.M. (1975). Attribution of the „causes” of performance: A general alternative interpretation of cross-sectional research on organizations. Organizational Behavior & Human Performance, 13 (3), 414-432.

Wilczyńska, J. (1989). Czynniki zmieniające wyniki kwestionariuszy osobowości oraz sposobyich pomiaru. W: R.Ł. Drwal (red.), Techniki kwestionariuszowe w diagnostyce psychologicznej: Wybrane zagadnienia (s. 239-253). Lublin: Wydawnictwo UMCS.

Williams, L.J. (2014, August). Use of an unmeasured latent method construct (ULMC) in the presence of multidimensional method variance. W: L.J. Williams (Chair), Current issues in investigating common method variance. Presented at annual Academy of Management Conference. Philadelphia, PA.

Williams, L.J., Gavin, M.B., Williams, M.L. (1996). Measurement and nonmeasurementprocesses with negative affectivity and employee attitudes. Journal of Applied Psychology, 81, 88-101, doi: 10.1037/0021-9010.81.1.88

Williams, L.J., Hartman, N., Cavazotte, F. (2010). Method variance and marker variables: A review and comprehensive CFA marker technique. Organizational Research Methods, 13 (3), 477-514, doi: 10.1177/1094428110366036

Williams, L.J., Mcgonagle, A.K. (2015). Four research designs and a comprehensive analysis strategy for investigating common method variance with self-report measures using latent variables. Journal of Business and Psychology, 31 (3), 1-21, doi: 10.1007/s10869-015-9422-9

Windle, M. (2012). Longitudinal data analysis. W: H. Cooper,P.M. Camic, D.L. Long, A.T. Panter, D. Rindskopf, K.J. Sher (red.), APA handbook of research methods in psychology. T. 3: Data analysis and research publication (s. 245-266). American Psychological Association.

Wojciszke, B. (2010). Sprawczość i wspólnotowość. Podstawowe wymiary postrzegania społecznego. Gdańsk: Gdańskie Wydawnictwo Psychologiczne.

Zawadzki, B. (2006). Kwestionariusze osobowości. Strategie i procedura konstruowania.Warszawa: Wydawnictwo Naukowe Scholar.

Żemojtel-Piotrowska, M., Czarna, A., Piotrowski, J., Baran, T., Maltby, J. (2016). Structural validity of the Communal Narcissism Inventory (CNI): The bifactor model. Personality and Individual Differences, 90, 315-320, doi: 10.1016/j.paid.2015.11.036