Araştırmalar, otomatik puanlamanın, bir kişinin İngilizceustalığını değerlendirirken insan denetçilerden daha güvenilir ve objektif sonuçlar verebileceğini göstermiştir. Bunun nedeni, otomatik bir puanlama sisteminin, sınava giren kişinin görünümü veya beden dili gibi alakasız faktörlerden etkilenebilen insanlardan farklı olarak tarafsız olmasıdır. Ek olarak, otomatik puanlama, daha aşina oldukları aksanları tercih edebilecek insan sınav görevlilerinin aksine, bölgesel aksanları eşit şekilde ele alır. Otomatik puanlama aynı zamanda sözlü veya yazılı bir test sorusu yanıtının bireysel özelliklerinin birbirinden bağımsız olarak analiz edilmesine olanak tanır, böylece dilin bir alanındaki zayıflık diğer alanların puanlamasını etkilemez.
, daha doğru, objektif, güvenli ve ilgili bir İngilizcetesti talebine yanıt olarak oluşturulmuştur. Otomatik puanlama sistemimiz, sınavın merkezi bir özelliğidir ve sınava giren kişi kim olursa olsun veya sınava nerede girilirse girilsin doğru, objektif ve ilgili sonuçların sunulmasını sağlamak için hayati önem taşır.
Doğruluğu sağlamak için puanlama sisteminin geliştirilmesi ve doğrulanması
PTE Academic'in otomatik puanlama sistemi, kapsamlı araştırma ve saha testlerinden sonra geliştirilmiştir. Bir prototip test geliştirildi ve 158 farklı ülkeden 126 farklı ana dil konuşan 10.000'den fazla test katılımcısından oluşan bir örneğe uygulandı. Bu veriler toplandı ve hem yazılı hem de sözlü PTE Academic öğeleri için otomatik puanlama motorlarını eğitmek için kullanıldı.
Bunu yapmak için, birden fazla eğitimli insan işaretleyici her cevabı değerlendirir. Bu sonuçlar, Google Arama veya Apple'ın Siri'si gibi sistemler tarafından kullanılanlara benzer şekilde makine öğrenimi algoritmaları için eğitim materyali olarak kullanılır. Model, her yanıtın alması gereken puanlarla ilgili ilk tahminlerde bulunur, daha sonra nasıl olduğunu iyi görmek için gerçek puanlara başvurur, kendini birkaç yönde ayarlar, ardından eğitim setini tekrar tekrar gözden geçirir, maksimum doğru bir çözüme ulaşana kadar ayarlar ve geliştirir - ideal olarak insan derecelendirme kümesini tahmin etmeye çok yaklaşan bir çözüm.
Bu model, eÄŸitildikten ve yüksek düzeyde performans gösterdikten sonra, tıpkı insan iÅŸaretleyicilerin yapacağı gibi yeni yanıtlar alabilen bir iÅŸaretleme algoritması olarak kullanılır. Bu sistem tarafından verilen puanlar ile eÄŸitilmiÅŸ insan belirteçleri arasındaki korelasyonlar oldukça yüksektir. ÃÛÌÒapp'ın sistemi ile bir insan deÄŸerlendirici arasındaki standart ölçüm hatası, bir insan deÄŸerlendirici ile diÄŸeri arasındaki hatadan daha azdır - baÅŸka bir deyiÅŸle, makine puanları bir çift insan puanlayıcı tarafından verilenlerden daha doÄŸrudur, çünkü önyargı ve güvenilmezliÄŸin çoÄŸu onlardan sıkılmıştır. Genel olarak, bir makine puanlama sistemini, insan derecelendirmelerinden en iyi ÅŸeyleri alan ve ardından idealize edilmiÅŸ bir insan iÅŸaretleyici gibi davranan bir sistem olarak düşünebilirsiniz.
ÃÛÌÒapp, makine puanlarının yetenekli insan puanlayıcılar tarafından verilen puanlarla tutarlı bir ÅŸekilde karşılaÅŸtırılabilir olmasını saÄŸlamak için puanlama doÄŸrulama çalışmaları yürütür. Burada, yeni bir dizi test alıcısı yanıtı (makine tarafından asla görülmez) hem insan puanlayıcılar hem de otomatik puanlama sistemi tarafından puanlanır. AraÅŸtırmalar, PTE Academic altında yatan otomatik puanlama teknolojisinin, dikkatli insan uzmanlardan elde edilenlerle karşılaÅŸtırılabilir puanlar ürettiÄŸini göstermiÅŸtir. Bu, otomatik sistemin, test katılımcılarının dil becerilerini deÄŸerlendirirken bir insan deÄŸerlendirici gibi "hareket ettiÄŸi", ancak bunu bir makinenin hassasiyeti, tutarlılığı ve nesnelliÄŸi ile yaptığı anlamına gelir.
ÃÛÌÒapp'ın Ordinate teknolojisi ile konuÅŸma yanıtlarını puanlama
PTE Academic konuÅŸulan kısmı, ÃÛÌÒapp'ın Ordinate teknolojisi kullanılarak otomatik olarak puanlanır. Ordinat teknolojisi, konuÅŸma tanıma, istatistiksel modelleme, dilbilim ve test teorisi alanlarında yıllarca süren araÅŸtırmalardan kaynaklanmaktadır. Teknoloji, akıcı ve ikinci dil konuÅŸan Ä°ngilizce konuÅŸmacılardan gelen konuÅŸmaları analiz etmek ve otomatik olarak puanlamak için özel olarak tasarlanmış tescilli bir konuÅŸma iÅŸleme sistemi kullanır. Ordinate puanlama sistemi, sınava girenlerin sözlü yanıtlarından sadece hız, zamanlama ve ritim gibi kelimelerin yanı sıra seslerinin gücü, vurgusu, tonlaması ve telaffuz doÄŸruluÄŸu gibi yüzlerce bilgi toplar. Biraz yanlış telaffuz edilen kelimeleri bile tanımak için eÄŸitilmiÅŸtir ve yanıtın içeriÄŸini, alaka düzeyini ve tutarlılığını hızlı bir ÅŸekilde deÄŸerlendirir. Özellikle, sözlü yanıtın anlamı deÄŸerlendirilir ve bu modellerin söylenenlerin yüksek bir puanı hak edip etmediÄŸini deÄŸerlendirmesini mümkün kılar.
Intelligent Essay Assessor™ (IEA) ile yazma yanıtlarını puanlama
PTE Academic yazılı kısmı, ÃÛÌÒapp'ın son teknoloji Bilgi Analizi Teknolojileriâ„¢ (KAT) motoru tarafından desteklenen otomatik bir puanlama aracı olan Intelligent Essay Assessorâ„¢ (IEA) kullanılarak puanlanır. 20 yılı aÅŸkın araÅŸtırma ve geliÅŸtirmeye dayanan KAT motoru, bir öğrenci tarafından belirli bir komut istemine yanıt olarak yazılan bir makale gibi metnin anlamını otomatik olarak deÄŸerlendirir. KAT motoru, Gizli Anlamsal Analiz (LSA) olarak bilinen matematiksel yaklaşımın tescilli bir uygulamasını kullanarak yazmayı yetenekli insan puanlayıcılar kadar doÄŸru bir ÅŸekilde deÄŸerlendirir. LSA, ilgili metnin büyük gövdelerini ve anlamlarını analiz ederek dilin anlamını deÄŸerlendirir. Bu nedenle, LSA kullanarak, KAT motoru metnin anlamını bir insan gibi anlayabilir.
PTE Academic İngilizce hangi yönlerini değerlendiriyor?
