Talep tahmininde “iyi model” ne demek — ve nasıl ölçülür?

Talep tahmini çoğu şirkette geçmişe ve sezgiye dayanır: “geçen yıl bu kadardı, bu yıl biraz artırırız.” Bir model kurulduğunda ise ilk soru şu olmalı: bunun iyi bir model olduğunu nereden bileceğiz?

“İyi model” tek bir doğru rakam üreten değildir. İyi model, ne kadar yanıldığını bilinen ve bu yanılma payı karar için yeterince küçük olan modeldir. Bunu görmek için modelin ürettiği tahminler, o an bilinmeyen ama sonradan gerçekleşen değerlerle karşılaştırılır — bu karşılaştırma, geçmiş veride geriye dönük yapılır.

Yöntem şudur: elimizdeki geçmişi ikiye ayırırız. Modeli eski kısımla kurar, hiç görmediği yeni kısımda sınarız. Modelin o dönem için söylediğiyle gerçekte olan arasındaki fark, modelin gerçek performansıdır. Sınama, modelin “ezberlediği” değil, “genellediği” yerde yapılır; yoksa kâğıt üstünde kusursuz görünüp sahada tutmayan bir model çıkar.

Bir tahminin kararı ne kadar değiştirdiği de önemlidir. Stok, kapasite ve fiyat kararları belirli eşiklerle çalışır; tahminin o eşikleri doğru tarafta tutup tutmadığı, ondalık bir hata oranından daha anlamlıdır. Bu yüzden ölçüm, işin kararına bağlanır: “bu tahmin, yanlış tarafa kaç kez düşürdü?”

Miletus'ta bir tahmin motoru teslim edildiğinde, doğruluğu ölçen katman onunla birlikte gelir: geçmiş veride geriye dönük test, üretimdeyken sürekli izleme ve her tahminin dayanağının kayıtlı olması. Eşiğin altında kalan bir çıktı kullanıcıya ulaşmaz. İyi model, iyi göründüğü için değil; iyi olduğu ölçüldüğü için iyidir.