Bilgisayarlar sınavları gerçekten işaretleyebilir mi? ELT otomatik değerlendirmelerinin avantajları

app Languages
Sembollerle bir dizüstü bilgisayarda yazan eller

Yapay Zeka (AI) kullanımı da dahil olmak üzere otomatik değerlendirme, en yeni eğitim teknolojisi çözümlerinden biridir. Sınav işaretleme sürelerini hızlandırır, insan önyargılarını ortadan kaldırır ve en az insan sınav görevlileri kadar doğru ve güvenilirdir. Yenilikler devam ettikçe, bu öğretmenler ve öğrenciler için gerçek bir oyun değiştiricidir.

Bununla birlikte, anlaşılır bir şekilde ELT topluluğunda birçok soru ve bazen şüpheyle karşılandı - bilgisayarlar konuşma ve yazma sınavlarını gerçekten doğru bir şekilde işaretleyebilir mi?

Cevap kocaman bir evet. Dünyanın her yerinden öğrenciler zaten yapay zeka dereceli sınavlara giriyor. ve Versantsınavları, sınava girenlerin nerede yaşadıklarına veya aksanlarının veya cinsiyetlerinin ne olduğuna bakılmaksızın konuşma ve yazma sınavları için tarafsız, adil ve hızlı otomatik puanlama sağlar.

Bu makale, yapay zeka otomatik puanlamasında yer alan ana süreçleri açıklayacak ve yapay zeka teknolojilerinin tutarlı uzman insan yargılarının temelleri üzerine inşa edildiğine dikkat çekecektir. Öyleyse, otomatik puanlama ve yapay zeka konusundaki kafa karışıklığını giderelim ve hem öğretmenlere hem de öğrencilere nasıl yardımcı olabileceğini inceleyelim.

Yapay zeka ve geleneksel otomatik puanlama

Her şeyden önce, geleneksel otomatik puanlama ile yapay zeka arasında ayrım yapalım. Otomatik puanlama hakkında konuştuğumuzda, genellikle, çoktan seçmeli veya cloze öğeleri olan öğeleri puanlamayı kastediyoruz. Cümleleri yeniden sıralamanız, açılır listeden seçim yapmanız, eksik bir kelimeyi eklemeniz gerekebilir - bu tür şeyler. Bu soru türleri, belirli becerileri test etmek için tasarlanmıştır ve otomatik puanlama, her seferinde hızlı ve doğru bir şekilde işaretlenebilmelerini sağlar.

Bunun gibi otomatik olarak puanlanan öğeler, dinleme ve okuduğunu anlama gibi alıcı becerileri değerlendirmek için kullanılabilirken, yazma ve konuşmanın üretken becerilerini işaretleyemezler. Her öğrencinin yazılı ve sözlü öğelerdeki tepkisi farklı olacaktır, peki bilgisayarlar bunları nasıl işaretleyebilir?

Yapay zekanın devreye girdiği yer burasıdır.

Yapay zekanın, örneğin tıbbi teşhiste olduğu gibi, büyük miktarda yapılandırılmamış veriyle etkili ve %100 doğru bir şekilde başa çıkmaya ihtiyaç duyulan alanlarda nasıl giderek daha fazla kullanıldığı hakkında çok şey duyuyoruz. Dil testinde AI, yazılı ve sözlü testleri derecelendirmek için özel bilgisayar yazılımı kullanır.

Yapay zeka, konuşma sınavlarını puanlamak için nasıl kullanılır?

İlk adım, her dil için konuşmayı tanıyabilen ve onu dalga biçimlerine ve metne dönüştürebilen bir akustik model oluşturmaktır. Bu teknoloji eskiden çok sıra dışı olsa da, akıllı telefonlarımızın çoğu artık bunu yapabiliyor.

Bu akustik modeller daha sonra bir testteki her bir istemi veya öğeyi puanlamak için eğitilir. Bunu, önce öğeleri puanlamak için çift işaretleme kullanarak insan uzman puanlayıcıları kullanarak yapıyoruz. Her madde için yüzlerce sözlü yanıt alırlar ve bu 'Standartlar' daha sonra motoru eğitmek için kullanılır.

Daha sonra, insan tarafından işaretlenmiş çok daha fazla öğeyi besleyerek eğitilmiş motoru doğrularız ve makine puanlarının insan puanlarıyla çok yüksek oranda ilişkili olup olmadığını kontrol ederiz. Herhangi bir öğe için bu gerçekleşmezse, insan işaretleyiciler tarafından belirlenen standartla eşleşmesi gerektiğinden onu kaldırırız. .95-.99 arasında bir korelasyon bekliyoruz. Bu, testlerin %95-99 arasında, insan tarafından işaretlenmiş numunelerle tamamen aynı şekilde işaretleneceği anlamına gelir.

Bu, insan işaretli konuşma testlerinin güvenilirliğine kıyasla inanılmaz derecede yüksektir. Özünde, AI motorunu eğitmek için bir grup son derece uzman insan değerlendirici kullanıyoruz ve ardından standartları defalarca kopyalanıyor.

Yapay zeka, yazma sınavlarını puanlamak için nasıl kullanılır?

AI yazma puanlamamız, adı verilen bir teknoloji kullanır. LSA, yalnızca yüzeysel özelliklerine değil, kelimelerin arkasındaki anlama dayalı olarak yazmayı analiz edebilen ve puanlayabilen bir doğal dil işleme tekniğidir.

Konuşma tanıma akustik modellerimize benzer şekilde, önce dile özgü bir metin tanıma modeli kuruyoruz. Sisteme büyük miktarda metin besliyoruz ve LSA, kelimelerin birbirleriyle nasıl ilişkili olduğunu ve örneğin İngilizce dilinde nasıl kullanıldığını öğrenmek için yapay zeka kullanıyor.

Dil modeli oluşturulduktan sonra, motoru bir testteki her yazılı öğeyi puanlamak için eğitiriz. Konuşan maddelerde olduğu gibi, bunu da önce öğeleri puanlamak için insan uzman puanlayıcıları kullanarak, çift işaretleme kullanarak yapıyoruz. Her bir madde için yüzlerce yazılı yanıt alırlar ve bu 'Standartlar' daha sonra motoru eğitmek için kullanılır.

Daha sonra, insan tarafından işaretlenmiş çok daha fazla öğeyi besleyerek eğitilmiş motoru doğrularız ve makine puanlarının insan puanlarıyla çok yüksek oranda ilişkili olup olmadığını kontrol ederiz.

Ölçüt her zaman uzman insan puanlarıdır. Yapay zeka sistemimiz insan işaretleyiciler tarafından verilen puanlarla yakından eşleşmiyorsa, insan işaretleyiciler tarafından belirlenen standartla eşleşmesi çok önemli olduğundan öğeyi kaldırırız.

AI'nın birden fazla özelliği işaretleme yeteneği

İnsan belirteçlerinin konuşma ve yazılı öğeleri puanlamada karşılaştıkları zorluklardan biri, tek bir öğe üzerinde birçok özelliği değerlendirmektir. Örneğin, konuşmayı değerlendirirken ve puanlarken, içerik, akıcılık ve telaffuz için ayrı puanlar vermeleri gerekebilir.

Yazılı yanıtlarda, işaretleyicilerin kelime dağarcığı, stil ve dilbilgisi için bir yazı parçasını puanlaması gerekebilir. Etkili bir şekilde, her bir öğeyi en az üç kez, belki de daha fazla işaretlemeleri gerekebilir. Bununla birlikte, AI sistemlerini konuşma ve yazmadaki her özellik puanı konusunda eğittikten sonra, herhangi bir sayıda özellikteki öğeleri anında ve hatasız olarak işaretleyebilirler.

Yapay zekanın önyargı eksikliği

Herhangi bir test için temel bir öncül, herhangi bir adaya hiçbir avantaj veya dezavantaj verilmemesi gerektiğidir. Başka bir deyişle, olumlu veya olumsuz önyargı olmamalıdır. İnsan işaretli konuşma ve yazılı değerlendirmelerde bunu başarmak çok zor olabilir. Aslında, adaylar genellikle bir başkası onları duymuş veya çalışmalarını okumuş olsaydı farklı bir puan alabileceklerini düşünürler.

Yapay zeka sistemlerimiz önyargı sorununu ortadan kaldırıyor. Bu, konuşma ve yazma yapay zeka sistemlerimizin çok çeşitli insan aksanları ve yazma türleri üzerinde eğitilmesini sağlayarak yapılır.

Motorlarımızı eğitmek için mükemmel anadili aksanları veya yazı stilleri istemiyoruz. Dünyanın dört bir yanından yerel olmayan temsili örnekler kullanıyoruz. Konuşma ve yazma puanlaması için yapay zeka sistemlerimizi ilk kurduğumuzda, öğelerimizi denedik ve milyonlarca öğrenci yanıtını kullanarak motorlarımızı eğittik. Yeni öğeler geliştirildikçe bunu yapmaya devam ediyoruz.

Yapay zeka otomatik değerlendirmesinin avantajları

Ev ödevi testlerini ve sınavlarını elle işaretlemekte yanlış bir şey yoktur. Aslında, öğretmenlerin öğrencilerini tanımaları ve kişisel geri bildirim ve tavsiyelerde bulunmaları çok önemlidir. Bununla birlikte, günlük veya haftalık yüzlerce testi manuel olarak düzeltmek tekrarlayıcı, zaman alıcı, her zaman güvenilir olmayabilir ve sınıfta öğrencilerle birlikte çalışmaktan zaman alabilir. Biçimlendirici ve özetleyici değerlendirmelerde yapay zekanın kullanılması, öğrenciler için değerlendirilen uygulama süresini artırabilir ve öğretmenler için not yükünü azaltabilir.

Dil öğrenimi yüksek yeterlilik seviyelerine ilerlemek zaman alır, çok zaman alır. Yapay zekanın karma kullanımı şunları yapabilir:

  • Kişiselleştirilmiş öğrenme ve tanısal değerlendirme geri bildirimi sağlamak için biçimlendirici değerlendirmeninartan önemini ele alın

  • Öğrencilerin tahsis edilen öğretim süresi içinde ve dışında pratik yapmalarına ve anında geri bildirim almalarına izin verin

  • Öğretmenlerin iş yükü sorununu ele alın

  • İnsanların en iyi yaptığı ve makinelerin en iyi yaptığı şeylerden yararlanarak insanlar ve makineler arasında erdemli bir kombinasyon oluşturun.

  • Yüksek riskli testlerde adil, hızlı ve tarafsız özetleyici değerlendirme puanları sağlayın.

Umarız bu makale, yapay zekanın dil testlerimizde konuşma ve yazmayı değerlendirmek için nasıl kullanıldığına dair birkaç önemli soruyu yanıtlamıştır. Google'ın Baş Bilim İnsanı ve Stanford Profesörü Fei-Fei Li'den ilginç bir alıntı, yapay zekayı şöyle tanımlıyor:

"Öğrencilerime sık sık 'yapay zeka' adıyla yanıltılmamalarını söylüyorum - bunda yapay bir şey yok; Yapay zeka insanlar tarafından yapılır, insanlar gibi davranması ve nihayetinde insan yaşamlarını ve insan toplumunu etkilemesi amaçlanır."

Biçimlendirici ve özetleyici değerlendirmelerde yapay zeka asla öğretmenlerin rolünün yerini almayacaktır. Yapay zeka öğretmenleri destekleyecek, öğrencilerin kendilerini geliştirmeleri için sonsuz fırsatlar sunacak ve yavaş, güvenilmez ve genellikle adil olmayan yüksek riskli değerlendirmelere bir çözüm sunacaktır.

ELT'de yapay zeka değerlendirmelerine örnekler

app'da, yapay zeka teknolojisini kullanarak bir dizi değerlendirme geliştirdik.

Versant

Versant testleri, herhangi bir okulda, kuruluşta veya işletmede dil yeterlilik ölçütleri oluşturmaya yardımcı olacak harika bir araçtır. Öğrenci için uygun seviyeyi belirlemek için yerleştirme testleri için özel olarak tasarlanmıştır.

PTE Academic

, bir üniversiteye yerleşmek, iş bulmak veya vize almak için İngilizce düzeylerini kanıtlaması gerekenlere yöneliktir. Testleri puanlamak için yapay zekayı kullanır ve sonuçlar beş gün içinde hazır olur.

app English International Certificate (PEIC)

app English International Certificate (PEIC) ayrıca otomatik değerlendirme teknolojisini kullanır. Evde veya okulda (veya güvenli bir test merkezinde) isteğe bağlı olarak iki saatlik bir test ile. Gelişmiş konuşma tanıma ve sınav notlandırma teknolojisi ile dünya çapındaki profesyonel ELT sınav işaretleyicilerinin uzmanlığının bir kombinasyonunu kullanan patentli yazılımımız, İngilizce dil becerisini ölçebilir.

Öğrenme ve testlerimizde yapay zeka kullanımı hakkında daha fazla bilgiyi buradan okuyun veya öğrencileriniz için hangi İngilizce testinin doğru olduğunu merak ediyorsanız, 'Öğrencilerim için hangi sınav doğru?' yazımıza göz atmayı unutmayın.

Eğitim yazılımımızı ve sınavlarımızı keşfedin

app'dan daha fazla blog

  • Two people sat togther with phones smiling

    Don't give up when it comes to learning English

    By Steffanie Zazulak
    Okuma zamanı: 2 minutes

    We love sharing stories of English learners and educators whose lives have been positively transformed by the language. One such inspiring story comes from Rodrigo Tadeu in São Paulo, Brazil. Discover why he holds a special appreciation for mastering English.

    Motivations for learning English?

    Rodrigo grew up speaking Portuguese in South America. As a child, he never thought about learning another language. However, when he became an adultand began aspiring to a career, he realized that expanding his language abilities would help him achieve these dreams.

    "I worked as an accountant for an American company," he said. "So, to communicate and achieve professional success, I had to learn English!"

    Rodrigo has changed jobs since then. And even though he’s no longer required to speak English with his new company, he still feels a responsibility to himself to continue his education.

    The road to English fluency

    There are many tools that you can use to improve your English language skills, and Rodrigo used several – some he’s still using to this day. First, he started learning English formally by taking classes in high school. However, his shy disposition made it difficult for him to practice because he was afraid of failing in front of others. At the time, he didn't havecareer goals motivating him to learn the language either.

    Later, however, our adventurous accountant decided to learn English in earnest, so he traveled to Canada to study and become aconfident speaker. When he returned to Brazil, he kept studying and continues to do so. Reading books and articles, listening to podcasts and copying other English speakers have also helped develop his conversational skills. Among his favorite podcasts are "English as a Second Language" and "Freakonomics".

    English learning is not without challenges

    Rodrigo noted that he struggles with pronunciation most.“The way English speakers say words is very different than the way you would say something in Portuguese.”

    He thinks the issue is the same for Spanish speakers as well."In Portuguese or Spanish, if you know the words,you can basically speak exactly what you read. In English, it's totally different. You cannot speak the words that you are reading. So you have to know about this!"

    This might be the most challenging part of learning the language for Rodrigo, but he assured us that he’s not giving up.

    English for enjoyment

    Rodrigo may have initially studied English as a way to progress his career, but the language quickly became something he enjoyed.And instead of being content with the skill that he has now, Rodrigo dreams of continuing his English-speaking education so he can travel and further enjoy his life.

    "These days, English has become fun!" he said. "Now it's better to watch movies and TV in English."

    He also mentioned that he eventually would like to visit Europe. But when asked about his dream destination, Rodrigo said that:“I’d like to move back to Canada, maybe live in Vancouver for a year or two!”

    Advice for English language learners

    After working hard for years to learn English, Rodrigo now offers advice to fellow Brazilians (and others) who wish to speak another language:

    "You have to be confident, and don’t give up. You have to keep your dreams. It's difficult to ... speak one language that's not your mother language ... If you can imagine, you can achieve, and you can do. So 'don't give up' is the perfect phrase."

  • College students sat together at a table smiling

    Practical tips for supporting neurodivergent learners in the classroom

    By Charlotte Guest
    Okuma zamanı: 7 minutes

    Educators need to meet the needs of all students, including those who are neurodivergent. Neurodivergence refers to variations in the human brain and cognition, including dyslexia, ADHD, and autism. Among these, dyslexia is one of the most common learning differences, affecting how individuals process written and spoken language. Although each student’s needs are unique, there are several practical, research-backed strategies educators can employ to support and empower these learners.

    Let’s look at some tips for teachers, which cover everything from font choice and classroom environment to presentation of information and assessment design. Although these are designed to support neurodivergent students, they will in fact help fostera more inclusive, accessible, and positive learning experience for all learners.

  • Students sat together in a classroom working together

    Exploring the four Cs: Using future skills to unlock young learners’ potential

    By Annie Altamirano
    Okuma zamanı: 5 minutes

    What do we mean by future skills?

    The skills students will need in their future studies and careers are dramatically different from those required previously. Times are changing rapidly and educational institutions and teachers have a critical role to play in developing those skills in our young learners so that they are able to fulfill their potential and have bright futures ahead of them.

    These skills are referred to as future skills. There is no common consensus on how to define these skills but, broadly speaking, they can be grouped into four categories:

    1. Ways of thinking

    Skills in this category include critical thinking, creativity, innovation, problem solving, metacognition and learning skills.

    2. Ways of working

    Here, we’re talking about the skills of communication and collaboration.

    3. Tools for working

    Information literacy is an important 21st-century skill, as well as ICT literacy and citizenship, both global and local.

    4. Life skills

    The final category covers life and career skills, and is all about personal and social responsibility.

    One way you can encourage young learners to build these skills is through STEAM subjects (that’s science, technology, engineering, arts and math), which will equip them with functional skills such as organizing, planning, cognitive flexibility and self-regulation.

    The four Cs

    The four Cs refer to four important skills for young learners to master: communication, collaboration, critical thinking and creativity. These are essential, not just in an educational context, but in everyday life.

    Falling into the first two categories of future skills (ways of thinking and ways of working), these can help children build confidence and self-esteem. They also encourage healthy emotional development.

    So let’s take a closer look at the theory behind them.

    1. Communication

    We usually think of communication as speaking and listening, but it’s actually much broader than that. Communication encapsulates telling stories, reading, sharing ideas and experiences, body language, facial expression, eye contact and tone. Children learn to decipher the world around them by learning and practicing these skills.

    Strong communication skills, developed early, are directly related to their literacy success. These skills allow children to articulate their thoughts and ideas effectively, and listen to decode meaning. Students then begin to use communication for a range of purposes, and communicate effectively in diverse environments. Furthermore, developing strong patterns of verbal and non-verbal communication also fosters self-esteem and social skills.

    2. Collaboration

    Collaboration is how young children begin to build friendships with others. At first, young children will watch what others do and say, before moving on to playing together. As they get older, they become aware of other children’s feelings and ideas. Friendships become motivating and they learn how to make compromises and respect each other’s perspectives and skills.

    Collaboration is enhanced through group work and project-based activities, sharing time with peers. Children thrive when they feel valued by the people around them, not just adults but their peers too.