Yaygın İstatistik Yanılgıları: Altı Tuzak, Altı Kısa Örnek

Sayılar bize genellikle tarafsız ve kesin görünür. Oysa aynı veri, yanlış bir açıdan bakıldığında tam tersi bir hikâye anlatabilir. Bu yanılgılar sadece öğrencilerin sınavda düştüğü tuzaklar değil; hekimlerin test sonuçlarını yorumlamasından şirketlerin yatırım kararlarına, haber başlıklarından kamu politikalarına kadar her yerde karşımıza çıkıyor. Veri kalitesi ve model değerlendirme üzerine çalışırken bunların neredeyse hepsiyle bir şekilde karşılaşıyorum. Bu yazıda en yaygın altı istatistik yanılgısını, her birini kısa bir örnekle anlatacağım.

1. Simpson paradoksu: bütün, parçaların tersini söyleyebilir#

Simpson paradoksu, gruplar ayrı ayrı incelendiğinde görülen bir eğilimin, gruplar birleştirildiğinde tersine dönmesidir.

1986’da yayımlanan ve böbrek taşı tedavilerini karşılaştıran bir çalışma bunun ders kitaplarına girmiş örneğidir:

Tedavi A, hem küçük hem büyük taşlarda daha başarılı. Ama toplamda B daha iyi görünüyor. Nasıl? A, daha zor vakalar olan büyük taşlarda çok daha sık uygulanmış. Yani “taş boyutu” hem tedavi seçimini hem de başarıyı etkileyen gizli bir değişken.

Benzer bir tablo, 1973’te Kaliforniya Üniversitesi Berkeley’deki lisansüstü başvurularında da görülmüştü: toplamda erkeklerin kabul oranı (%44) kadınlarınkinden (%35) belirgin biçimde yüksekti. Ancak bölüm bazında bakıldığında kadınlar aleyhine sistematik bir eğilim görülmedi; kadınlar daha çok, kabul oranı düşük ve rekabetçi bölümlere başvurmuştu.

Ders: Toplu bir sonuca güvenmeden önce, verinin hangi alt gruplardan oluştuğunu ve bu grupların nasıl dağıldığını sorun.

2. Taban oranı yanılgısı: nadir olan şey nadirdir#

Bir testin “çok doğru” olması, pozitif bir sonucun büyük olasılıkla doğru olduğu anlamına gelmez. Belirleyici olan, durumun toplumda ne kadar yaygın olduğu, yani taban oranıdır.

Tamamen örnek amaçlı sayılarla düşünelim: Bir hastalık 1.000 kişiden 10’unda var. Test hastaların %90’ını doğru yakalıyor, sağlıklı kişilerin ise %9’unda yanlışlıkla pozitif sonuç veriyor.

• 10 hastadan 9’u pozitif çıkar.
• 990 sağlıklı kişiden yaklaşık 89’u da pozitif çıkar.
• Toplam yaklaşık 98 pozitif sonucun sadece 9’u gerçekten hasta.

Yani pozitif sonuç alan birinin gerçekten hasta olma olasılığı yaklaşık %9. Sezgimiz bize çok daha yüksek bir sayı söyler. Araştırmalar, bilgiyi yüzdeler yerine bu örnekteki gibi “1.000 kişiden kaçı” biçiminde, yani doğal frekanslarla sunmanın hem uzmanların hem de sıradan insanların bu tür hataları azaltmasına yardım ettiğini gösteriyor.

Ders: “Test ne kadar doğru?” sorusunun yanına mutlaka “Bu durum ne kadar yaygın?” sorusunu ekleyin.

3. Hayatta kalan yanlılığı: sadece kazananları görmek#

Yalnızca bir eleme sürecinden “geçebilenlere” bakıp sonuç çıkardığımızda hayatta kalan yanlılığına düşeriz.

En bilinen örnek İkinci Dünya Savaşı’ndan: istatistikçi Abraham Wald ve Columbia Üniversitesi’ndeki İstatistik Araştırma Grubu, görevden dönen uçaklardaki hasarı inceleyerek uçakların hangi bölümlerinin daha savunmasız olduğunu tahmin etmeye çalıştı. Kilit fikir şuydu: veriler sadece geri dönebilen uçaklardan geliyordu. Dönen uçaklarda az isabet görülen bölgeler, belki de isabet aldığında uçağın hiç dönemediği bölgelerdi. (Bu hikâyenin popüler anlatımlarının zaman içinde biraz süslendiği de not edilmeli.)

Günlük hayattan örnekler: “Okulu bırakıp milyarder olanlar”ı konuşup bırakan ve başarısız olan çok daha büyük grubu görmemek; yalnızca hâlâ faaliyette olan fonların performansına bakıp kapanmış fonları unutmak.

Ders: “Bu veriye hangi örnekler girememiş olabilir?” diye sorun.

4. Ortalamaya dönüş: aşırı sonuçlar kendiliğinden yumuşar#

Bir ölçümde aşırı bir sonuç (çok iyi ya da çok kötü) alındığında, bir sonraki ölçüm büyük olasılıkla ortalamaya daha yakın olur. Bunun nedeni, aşırı sonuçlarda şansın da payının olmasıdır.

Kavramı ilk kez 19. yüzyılda Francis Galton, boy üzerine yaptığı çalışmalarda tanımladı: çok uzun ebeveynlerin çocukları ortalamada uzundu, ama ebeveynleri kadar değil. Psikolog Daniel Kahneman’ın aktardığı bir örnek ise daha gündelik: bir uçuş eğitmeni, iyi bir manevradan sonra övdüğü öğrencilerin bir sonraki denemede kötüleştiğini, azarladıklarının ise düzeldiğini gözlemleyip cezanın övgüden etkili olduğu sonucuna varır. Oysa bu, büyük ölçüde ortalamaya dönüşün etkisidir. “Spor dergisi kapağı laneti” gibi efsanelerin bir kısmı da buna bağlanır: kapağa çok iyi bir dönemin ardından çıkılır, ardından gelen daha sıradan dönem kapağa yüklenir.

Ders: Aşırı bir sonuçtan sonra gelen iyileşmeyi ya da kötüleşmeyi, bir müdahalenin etkisine bağlamadan önce kontrol grubu olup olmadığını sorun.

5. P-hacking: yeterince denerseniz bir şey “anlamlı” çıkar#

İstatistiksel testlerde yaygın olarak kullanılan p < 0,05 eşiği, gerçekte hiçbir etki yokken yaklaşık her 20 testten birinde tesadüfen “anlamlı” bir sonuç bulunabileceği anlamına gelir. Birbirinden bağımsız 20 farklı sonucu test ederseniz ve hiçbirinde gerçek bir etki yoksa, en az birinin “anlamlı” çıkma olasılığı yaklaşık %64’tür.

P-hacking, farklı analizleri, alt grupları ya da değişkenleri sonuç “anlamlı” çıkana kadar denemek ve yalnızca o sonucu raporlamaktır. Amerikan İstatistik Derneği (ASA) 2016’da yayımladığı bildiride bu soruna dikkat çekti ve altı ilke sıraladı. Bunlardan bazıları: p değeri, incelenen hipotezin doğru olma olasılığını ölçmez; bilimsel sonuçlar yalnızca p değerinin belirli bir eşiği geçip geçmediğine dayandırılmamalıdır; doğru çıkarım için tam raporlama ve şeffaflık gerekir.

Ders: Bir çalışmada kaç test yapıldığını, analiz planının önceden belirlenip belirlenmediğini ve etki büyüklüğünü sorun.

6. Küçük örneklemler: az veri, büyük dalgalanma#

Küçük örneklemlerde tesadüf, sonuçları kolayca uç noktalara taşır. Hilesiz bir parayı 10 kez attığınızda 7 ya da daha fazla tura gelme olasılığı yaklaşık %17’dir; yani hiç de şaşırtıcı değildir. 1.000 atışta 700 tura gelmesi ise pratikte imkânsızdır. “Bu yeni yöntemi deneyen 10 kişiden 7’si memnun kaldı” cümlesi, bu yüzden göründüğünden çok daha az şey söyler.

John Ioannidis’in 2005’te PLOS Medicine’de yayımlanan ve çok tartışılan makalesi de, bir alandaki çalışmalar ne kadar küçükse bulguların doğru olma olasılığının o kadar düşük olduğunu, küçük etki büyüklüklerinin ve analizdeki esnekliğin de bu riski artırdığını savunuyor.

Ders: Etkileyici bir sonuç gördüğünüzde ilk soru “kaç kişiyle?” olmalı.

Sık sorulan sorular#

Kaynaklar

• American Statistical Association – Statement on Statistical Significance and P-Values (7 Mart 2016) ↗
• Ioannidis, J. P. A. (2005) – Why Most Published Research Findings Are False, PLOS Medicine ↗
• Wikipedia – Simpson’s paradox (Bickel vd. 1975 ve Charig vd. 1986 örnekleri) ↗
• Wikipedia – Regression toward the mean ↗
• Wikipedia – Survivorship bias ↗