BARS Skorlama Nedir, Mülakat Değerlendirmesinde Nasıl Kullanılır?

BARS Skorlama Nedir, Mülakat Değerlendirmesinde Nasıl Kullanılır?

BARS skorlama, bir mülakat cevabını soyut bir ölçek üzerinde değil, her puan seviyesi için önceden yazılmış somut davranış tanımları üzerinden puanlayan bir değerlendirme yöntemidir. Açılımı Behaviorally Anchored Rating Scales olan yöntem Türkçeye "davranışa dayalı derecelendirme ölçekleri" olarak çevrilir. Temel farkı şudur: "İletişim: 4/5" gibi yoruma açık bir puan yerine, 4 puanın hangi davranışa karşılık geldiğini ölçeğin kendisi tanımlar.

Bu ayrımın mülakat tarafındaki karşılığı doğrudan puan tutarlılığıdır. Aynı adayı dinleyen iki değerlendirici "iyi iletişim" ifadesinden farklı şeyler anladığında ortaya çıkan puan, adayın performansından çok değerlendiricinin kendi beklentisini ve ölçeğini yansıtır.

Aşağıda BARS'ın nasıl oluşturulduğunu, STAR tekniğinden hangi noktada ayrıldığını, mülakat sürecine nasıl yerleştirildiğini ve hangi durumlarda getirdiği yükün karşılığını vermediğini ele alıyoruz.

BARS Nereden Geliyor?

Yöntem 1963'te Patricia Cain Smith ve Lorne M. Kendall tarafından Journal of Applied Psychology'de yayımlanan bir çalışmayla ortaya kondu. Çalışmada başhemşireler kendi alanlarındaki davranış örneklerini yazdı, bu örnekler yalnızca başka başhemşireler tarafından aynı boyuta yeniden atandığında ölçekte tutuldu, ardından arzu edilirlik düzeyine göre ölçeklendirildi. Smith ve Kendall çapaların "şöyle davranması beklenebilir" biçiminde yazılmasını önerdi, çünkü bir değerlendiricinin gözlemlediği davranışı ölçekteki somut bir tanımla eşleştirmesi, soyut bir sıfata puan vermesinden daha güvenilirdir.

Yöntemin çıkış noktası performans değerlendirmesiydi, ancak aynı mantık mülakat puanlamasına da taşındı. Cevapların çapalı ölçeklerle puanlanması, yapılandırılmış mülakatın en temel bileşenlerinden biri olarak tanımlanır (Campion, Palmer ve Campion, 1997).

BARS ile Klasik Derecelendirme Ölçeği Arasındaki Fark

Klasik bir ölçekte seviyeler sıfatlarla tanımlanır: zayıf, ortalama, iyi, çok iyi. Bu sıfatların içini her değerlendirici kendi deneyimiyle doldurur. BARS'ta ise her seviyenin karşılığı gözlemlenebilir bir davranıştır.

Satış rolü için hazırlanmış örnek bir yetkinlik ölçeği (müşteri itirazını yönetme) şöyle görünür:

‍

‍
Tablodaki çapalar yalnızca bir örnektir. Gerçek bir ölçekte bu tanımlar, organizasyonun kendi rollerinden toplanan yaşanmış davranış örneklerinden türetilir.

BARS Nasıl Oluşturulur?

Ölçeğin gücü, çapaların nereden geldiğinden gelir. Süreç genellikle beş adımda ilerler:

1. Kritik olayların toplanması: İşi yakından bilen kişiler, rolde gözlemledikleri çok etkili ve çok etkisiz davranış örneklerini somut biçimde yazar. Bu adım kritik olay tekniğine dayanır (Flanagan, 1954).
2. Performans boyutlarının oluşturulması: Toplanan örnekler içerik benzerliğine göre gruplanır ve her gruba bir yetkinlik adı ile tanımı verilir. Böylece yetkinlikler soyut listelerden değil, işin bizzat kendisinden çıkar.
3. Geri çeviri (retranslation): İlk gruba dahil olmayan ikinci bir uzman grubu, örnekleri boyutlara yeniden dağıtır. Yeterli uzlaşma sağlanamayan örnekler elenir. Bu adım ölçeğin ayırt ediciliğini belirlediği için atlanmamalıdır.
4. Ölçekleme: Kalan örnekler etkililik düzeyine göre puanlanır. Uzmanların verdiği puanların birbirinden belirgin biçimde ayrıştığı örnekler ölçeğe alınmaz.
5. Ölçeğin kurulması: Her yetkinlik için puan seviyelerine karşılık gelen çapa davranışlar yerleştirilir ve ölçek değerlendiricilerin kullanacağı forma dönüştürülür.

STAR ile BARS Aynı Şey Değil

İkisi sık karıştırılır, oysa mülakatın farklı aşamalarına hizmet ederler. STAR bir soru ve cevap çerçevesidir, BARS ise bir puanlama çerçevesidir.

‍

‍
Pratikte iyi çalışan kurgu ikisini birlikte kullanmaktır. STAR formatında sorulan bir soru, değerlendiricinin çapalarla eşleştirebileceği kadar somut bir davranış anlatısı ortaya çıkarır. Adayın yalnızca sonucu anlattığı, eylemi anlatmadığı bir cevap ise hangi ölçek kullanılırsa kullanılsın güvenilir biçimde puanlanamaz.

Mülakat Değerlendirmesinde BARS Nasıl Kullanılır?

• Yetkinlik sayısını sınırlı tutun: Her ölçek ayrı bir geliştirme ve kalibrasyon işi getirdiği için, rol için gerçekten ayırt edici olan az sayıda yetkinlikle başlamak daha sürdürülebilirdir.
• Çapaları kendi organizasyonunuzdan türetin: Hazır yetkinlik sözlüklerinden alınan genel tanımlar, ölçeği yeniden soyutlaştırır. Çapanın işe yaraması için değerlendiricinin "bunu daha önce gördüm" diyebileceği bir davranışı tarif etmesi gerekir.
• Puanlama birimine karar verin: Puanlar ya her soru için ayrı ayrı ya da mülakatın tamamında yetkinlik düzeyinde verilir. Soru bazlı puanlama daha ayrıntılı veri üretir, yetkinlik bazlı puanlama ise değerlendiriciler için daha hızlıdır.
• Not tutmayı sürecin parçası yapın: Puanın hangi cevaba dayandığı kaydedilmediğinde, ölçek ne kadar iyi tasarlanırsa tasarlansın sonradan denetlenemez hale gelir.
• Kalibrasyon yapın: Aynı kaydı birden fazla değerlendiricinin bağımsız olarak puanlayıp sonuçları karşılaştırması, çapaların gerçekten aynı anlaşılıp anlaşılmadığını gösteren en pratik kontroldür.

BARS'ın Sınırları

BARS her durumda doğru tercih değildir ve literatür bunu açıkça söyler.

• Maliyet ve Zaman: Çapalı ölçeklerin yapılandırılmış mülakat puanlarının güvenilirliğini ve yordama geçerliliğini artırma eğiliminde olduğu belirtilir, ancak BARS oluşturmak için gereken zaman ve emek çoğu zaman yüksektir. Her rol için ayrı ölçek gerekmesi bu yükü çoğaltır.
• Güncellik: Roller, ürünler ve çalışma biçimleri değiştikçe çapalar eskir. Beş yıl önce yazılmış bir davranış tanımı bugünkü işi tarif etmiyorsa ölçek tutarlılık değil, yanlış yönde tutarlılık üretir.
• Kapsam: Adayın anlattığı davranış hiçbir çapaya tam oturmadığında değerlendirici yine yorum yapmak zorunda kalır. BARS yorumu ortadan kaldırmaz, yorumun hareket alanını daraltır.
• Önyargı (Bias) Çözümü Değildir: Ölçeğin sağladığı şey, farklı adayların aynı tanımlar üzerinden puanlanmasıdır. Kimin hangi yetkinlikten sorumlu tutulduğu, hangi davranışın "etkili" sayıldığı ve kararın nasıl verildiği hâlâ insan tercihidir.

Düşük hacimli işe alımlarda veya kapsamı sık değişen rollerde, tam bir BARS geliştirmek yerine ortak soru seti ve basit bir yapılandırılmış puanlama rehberi çoğu zaman daha gerçekçi bir başlangıçtır.

Yapılandırma Neden Bu Kadar Önemli?

Sackett, Zhang, Berry ve Lievens'in 2022'de yayımladığı yeniden değerlendirmede, yapılandırılmış mülakatların geçerlilik tahmini .42 olarak revize edildi. Aynı çalışmada yapılandırılmamış mülakatların tahmini .19 düzeyinde kaldı. Bu aradaki fark, mülakatın kendisinden çok mülakatın nasıl kurgulandığından geliyor.

Tek bir sayıya fazla yaslanmamak gerekir. Uygulamanın kalitesi sonucu belirliyor ve BARS da bu kalite bileşenlerinden biri olarak devreye giriyor.

Yapay Zeka Destekli Mülakatlarda Değerlendirme Çerçevesi

Yapay zeka destekli mülakat araçlarının tamamı aynı puanlama yöntemini veya geleneksel BARS'ı kullanmaz. Bu alanda birbirinden oldukça farklı yaklaşımlar var: Bazı sistemler cevapları serbest metin özetine dönüştürür, bazıları önceden tanımlı bir rubrik üzerinden puanlar, bazıları ise davranış çapalı ölçek yapısına yakın bir puanlama kurar. "Yapay zeka mülakatı" ifadesi tek başına puanlamanın nasıl yapıldığı hakkında bilgi vermez.

Puanlama yönteminden bağımsız olarak, değerlendirmenin kalitesi toplanan cevabın zenginliğine bağlıdır. Adayın yalnızca yüzeysel bir yanıt verdiği bir mülakat, hiçbir ölçekle derinleşmez. Coensio'nun sunduğu mülakat formatları bu noktada ayrışır: Yapay Zeka Etkileşimli Mülakat ve Yapay Zeka Sesli Mülakat adayın cevabına göre konuyu derinleştiren takip soruları sorar. Asenkron Video Mülakat ise önceden belirlenmiş sabit sorulardan oluşur ve süreci bu sınırlar içinde tutar.

Coensio'nun AI destekli mülakatlarında maliyetli ve katı BARS yapıları yerine, role ve seviyeye özel oluşturulan yapılandırılmış rubrikler (structured rubrics) kullanılır. Değerlendirme kriterleri ve rapor yapısı önceden tanımlıdır ve her adaya aynı objektif biçimde uygulanır.

En önemlisi, Coensio yapay zekası değerlendirme yaparken adayın ses tonunu, mimiklerini, kıyafetini veya arka planını kesinlikle analiz etmez ve skorlamaya katmaz. Bu görsel ve işitsel unsurlar, yapay zekanın analizini etkilemez; yalnızca işe alım uzmanı süreci veya mülakat kaydını manuel olarak incelemek isterse kendi inisiyatifiyle değerlendirebileceği verilerdir. Sistem, eğitilebilir ve önyargıya açık bir model üzerine kurulu olmadığı için şirketin geçmiş (ve potansiyel olarak yanlı) işe alım kararlarından öğrenmez. Mülakat sonrasındaki nihai işe alım kararı, toplanan objektif verilere dayanarak şirket kültürüne ve hedeflerine uygun olarak işe alım ekibine aittir.

Coensio'nun sunduğu mülakat formatları bu noktada ayrışır: Yapay Zeka Etkileşimli Mülakat ve Yapay Zeka Sesli Mülakat adayın cevabına göre konuyu derinleştiren takip soruları sorar. Mülakat sonrasındaki nihai işe alım kararı, toplanan objektif verilere dayanarak şirket kültürüne ve hedeflerine uygun olarak işe alım ekibine aittir. Sistemimizin güvenliği ve önyargısız değerlendirme standartları hakkında detaylı bilgi için Coensio Trust Center sayfamızı inceleyebilirsiniz.

Sık Sorulan Sorular

BARS ile yetkinlik bazlı mülakat aynı şey mi?
‍Hayır. Yetkinlik bazlı mülakat hangi yetkinliklerin ölçüleceğini belirler, BARS ise bu yetkinliklerin nasıl puanlanacağını tanımlar. İkisi birbirini tamamlayacak şekilde birlikte kullanılır.

Ölçek kaç puanlı olmalı?
‍Puan sayısından çok, her seviyenin diğerlerinden ayırt edilebilir bir davranışla tanımlanmış olması önemlidir. İki seviye arasındaki farkı değerlendiriciler açıklayamıyorsa, ölçeği genişletmek yerine mevcut çapaları netleştirmek gerekir.

Küçük ekipler için BARS gerekli mi?
‍Az sayıda ve birbirinden farklı pozisyonlar için işe alım yapan ekiplerde tam bir BARS geliştirmenin maliyeti karşılığını vermeyebilir. Bu durumda ortak soru seti, yapılandırılmış ortak bir puanlama rehberi (rubrik) ve not tutma disiplini benzer tutarlılık kazancının önemli bir bölümünü sağlar.

‍