Brier skoru: tahminleri ölçmenin standart yolu

Tomoro Ekibi · 17 Ekim 2026 · 5 dk okuma

İki arkadaş on maçı tahmin ediyor. İkisi de yedisini biliyor. Hangisi daha iyi tahminci? İlk bakışta berabereler. Ama birinci arkadaş her maça "%95 eminim" demiş, ikincisi ise emin olduğu maçlarda yüksek, kararsız kaldıklarında düşük güven vermiş. Yanıldığı üç maçta birincisi kendinden çok emindi; ikincisi zaten tereddüt ettiğini söylemişti.

Sezgimiz ikincinin daha iyi tahminci olduğunu söyler. Bu sezgiyi bir sayıya dökmenin en bilinen yolu Brier skorudur.

Nereden çıktı?

Brier skoru, adını 1950'de hava tahminlerini değerlendirmek için bu yöntemi öneren meteorolog Glenn W. Brier'den alıyor. Hava tahmincileri "yarın yağmur yağacak" demez, "yarın yağmur ihtimali %70" der. Böyle bir tahminin iyi olup olmadığını anlamak için yalnız yağmurun yağıp yağmadığına değil, verilen yüzdeye de bakmak gerekir. Brier'in yöntemi tam olarak bunu yapar.

Nasıl hesaplanır?

Bir olay için verdiğin olasılığa p diyelim. Olay gerçekleşirse sonuç 1, gerçekleşmezse 0 sayılır. Brier skoru, tahmin ile sonuç arasındaki farkın karesidir:

Brier skoru = (p − sonuç)²

Birkaç örnek:

Skor ne kadar düşükse o kadar iyidir. Sıfır kusursuz bir tahmin, bir ise mümkün olan en kötü tahmindir. Çok sayıda tahminin ortalaması alındığında bir tahmincinin genel başarısı tek bir sayıyla özetlenebilir.

Neden kare?

Farkın karesini almak, büyük hataları küçük hatalardan çok daha ağır cezalandırır. %70 deyip yanılmak 0,49 puana mal olurken %100 deyip yanılmak 1,00 puana mal olur. Yani kendinden çok emin olup yanılmak, biraz emin olup yanılmaktan iki kat daha kötüdür.

Bunun önemli bir sonucu var: Brier skoru dürüstlüğü ödüllendirir. Gerçekte %70 olasılık gördüğün bir olaya %70 demek, uzun vadede alabileceğin en iyi skoru verir. %90 dersen bazen kazanırsın ama yanıldığın sefer kaybın daha büyük olur. %50 dersen hiçbir zaman büyük kaybetmezsin ama hiçbir zaman iyi bir skor da alamazsın. Bu tür ölçülere dürüst puanlama kuralı denir.

İki arkadaşa dönelim

Birinci arkadaş on maçın hepsine %95 vermiş, yedisini bilmiş:

• Doğru yedi maç: (0,95 − 1)² = 0,0025, yedi kez → 0,0175
• Yanlış üç maç: (0,95 − 0)² = 0,9025, üç kez → 2,7075
• Ortalama: (0,0175 + 2,7075) / 10 ≈ 0,27

İkinci arkadaş emin olduğu altı maça %85, kararsız kaldığı dört maça %60 vermiş. %85 verdiklerinin beşini, %60 verdiklerinin ikisini bilmiş; toplamda o da yedi doğru:

• %85 ile doğru beş maç: (0,15)² = 0,0225, beş kez → 0,1125
• %85 ile yanlış bir maç: (0,85)² = 0,7225
• %60 ile doğru iki maç: (0,40)² = 0,16, iki kez → 0,32
• %60 ile yanlış iki maç: (0,60)² = 0,36, iki kez → 0,72
• Ortalama: (0,1125 + 0,7225 + 0,32 + 0,72) / 10 ≈ 0,19

Aynı sayıda doğru cevap, belirgin biçimde farklı skorlar. İkinci arkadaş daha iyi tahminci, çünkü ne zaman emin olması gerektiğini biliyor.

Herkese %50 vermek işe yarar mı?

Hiçbir şeyi bilmeyen biri her soruya %50 verirse ortalama skoru tam 0,25 olur. Bu, bir tahmincinin geçmesi gereken alt çizgidir. Ortalaması 0,25'in üzerindeyse, rastgele tahminden bile kötü demektir. Bu çoğu zaman bilgisizlikten değil, aşırı güvenden kaynaklanır.

Çok şıklı sorular

Buraya kadar yalnız "oldu mu, olmadı mı" sorularına baktık. Maç gibi üç sonuçlu sorularda Brier skoru her şık için ayrı hesaplanıp toplanır. Ev sahibine %50, beraberliğe %30, deplasmana %20 verdin ve maç berabere bitti diyelim:

• Ev sahibi: (0,5 − 0)² = 0,25
• Berabere: (0,3 − 1)² = 0,49
• Deplasman: (0,2 − 0)² = 0,04
• Toplam: 0,78

Burada skor 0 ile 2 arasında değişir. Mantık aynı: gerçekleşen sonuca ne kadar yüksek, gerçekleşmeyenlere ne kadar düşük olasılık verdiysen skorun o kadar iyidir.

Skor tek başına yetmez

Brier skoru iki tahminciyi ancak aynı sorular üzerinden karşılaştırırken adil olur. Kolay sorulara cevap veren biri, zor sorulara cevap veren birinden doğal olarak daha iyi skor alır. Ev sahibinin açık ara favori olduğu maçlarda herkes iyi skor alır; dengeli maçlarda en iyi tahminci bile 0,25 civarında kalır. Bu yüzden tahmin turnuvaları herkese aynı soruları sorar ve skorları ancak öyle yan yana koyar.

Tomoro ile ilişkisi

Tomoro'nun Tahmin Gücü birebir Brier skoru değildir, ama aynı fikre dayanır: doğru cevap kadar güvenin dürüstlüğü de önemlidir. Yüksek güvenle doğru bilmek çok kazandırır, yüksek güvenle yanılmak çok kaybettirir. Formülün ayrıntılarını Tahmin Gücü nasıl hesaplanır? yazısında anlatıyoruz.

Brier skorunun öğrettiği ders Tomoro'da da geçerli: puanını en çok yükselten şey her soruya yüksek güven vermek değil, güvenini gerçek inancına eşitlemektir. Bunun pratik yollarını ne kadar emin olmalısın? yazısında bulabilirsin.

Özet

Brier skoru, verdiğin olasılık ile gerçekleşen sonuç arasındaki farkın karesidir; düşük skor iyidir. Büyük hataları ağır cezalandırdığı için aşırı güveni caydırır, gerçek inancını söylemeyi ödüllendirir. İyi tahminci yalnız çok bilen değil, ne kadar bildiğini doğru söyleyendir.