Bilgisayarlar sınavları gerçekten işaretleyebilir mi? ELT otomatik değerlendirmelerinin avantajları

app Languages
Sembollerle bir dizüstü bilgisayarda yazan eller

Yapay Zeka (AI) kullanımı da dahil olmak üzere otomatik değerlendirme, en yeni eğitim teknolojisi çözümlerinden biridir. Sınav işaretleme sürelerini hızlandırır, insan önyargılarını ortadan kaldırır ve en az insan sınav görevlileri kadar doğru ve güvenilirdir. Yenilikler devam ettikçe, bu öğretmenler ve öğrenciler için gerçek bir oyun değiştiricidir.

Bununla birlikte, anlaşılır bir şekilde ELT topluluğunda birçok soru ve bazen şüpheyle karşılandı - bilgisayarlar konuşma ve yazma sınavlarını gerçekten doğru bir şekilde işaretleyebilir mi?

Cevap kocaman bir evet. Dünyanın her yerinden öğrenciler zaten yapay zeka dereceli sınavlara giriyor. ve Versantsınavları, sınava girenlerin nerede yaşadıklarına veya aksanlarının veya cinsiyetlerinin ne olduğuna bakılmaksızın konuşma ve yazma sınavları için tarafsız, adil ve hızlı otomatik puanlama sağlar.

Bu makale, yapay zeka otomatik puanlamasında yer alan ana süreçleri açıklayacak ve yapay zeka teknolojilerinin tutarlı uzman insan yargılarının temelleri üzerine inşa edildiğine dikkat çekecektir. Öyleyse, otomatik puanlama ve yapay zeka konusundaki kafa karışıklığını giderelim ve hem öğretmenlere hem de öğrencilere nasıl yardımcı olabileceğini inceleyelim.

Yapay zeka ve geleneksel otomatik puanlama

Her şeyden önce, geleneksel otomatik puanlama ile yapay zeka arasında ayrım yapalım. Otomatik puanlama hakkında konuştuğumuzda, genellikle, çoktan seçmeli veya cloze öğeleri olan öğeleri puanlamayı kastediyoruz. Cümleleri yeniden sıralamanız, açılır listeden seçim yapmanız, eksik bir kelimeyi eklemeniz gerekebilir - bu tür şeyler. Bu soru türleri, belirli becerileri test etmek için tasarlanmıştır ve otomatik puanlama, her seferinde hızlı ve doğru bir şekilde işaretlenebilmelerini sağlar.

Bunun gibi otomatik olarak puanlanan öğeler, dinleme ve okuduğunu anlama gibi alıcı becerileri değerlendirmek için kullanılabilirken, yazma ve konuşmanın üretken becerilerini işaretleyemezler. Her öğrencinin yazılı ve sözlü öğelerdeki tepkisi farklı olacaktır, peki bilgisayarlar bunları nasıl işaretleyebilir?

Yapay zekanın devreye girdiği yer burasıdır.

Yapay zekanın, örneğin tıbbi teşhiste olduğu gibi, büyük miktarda yapılandırılmamış veriyle etkili ve %100 doğru bir şekilde başa çıkmaya ihtiyaç duyulan alanlarda nasıl giderek daha fazla kullanıldığı hakkında çok şey duyuyoruz. Dil testinde AI, yazılı ve sözlü testleri derecelendirmek için özel bilgisayar yazılımı kullanır.

Yapay zeka, konuşma sınavlarını puanlamak için nasıl kullanılır?

İlk adım, her dil için konuşmayı tanıyabilen ve onu dalga biçimlerine ve metne dönüştürebilen bir akustik model oluşturmaktır. Bu teknoloji eskiden çok sıra dışı olsa da, akıllı telefonlarımızın çoğu artık bunu yapabiliyor.

Bu akustik modeller daha sonra bir testteki her bir istemi veya öğeyi puanlamak için eğitilir. Bunu, önce öğeleri puanlamak için çift işaretleme kullanarak insan uzman puanlayıcıları kullanarak yapıyoruz. Her madde için yüzlerce sözlü yanıt alırlar ve bu 'Standartlar' daha sonra motoru eğitmek için kullanılır.

Daha sonra, insan tarafından işaretlenmiş çok daha fazla öğeyi besleyerek eğitilmiş motoru doğrularız ve makine puanlarının insan puanlarıyla çok yüksek oranda ilişkili olup olmadığını kontrol ederiz. Herhangi bir öğe için bu gerçekleşmezse, insan işaretleyiciler tarafından belirlenen standartla eşleşmesi gerektiğinden onu kaldırırız. .95-.99 arasında bir korelasyon bekliyoruz. Bu, testlerin %95-99 arasında, insan tarafından işaretlenmiş numunelerle tamamen aynı şekilde işaretleneceği anlamına gelir.

Bu, insan işaretli konuşma testlerinin güvenilirliğine kıyasla inanılmaz derecede yüksektir. Özünde, AI motorunu eğitmek için bir grup son derece uzman insan değerlendirici kullanıyoruz ve ardından standartları defalarca kopyalanıyor.

Yapay zeka, yazma sınavlarını puanlamak için nasıl kullanılır?

AI yazma puanlamamız, adı verilen bir teknoloji kullanır. LSA, yalnızca yüzeysel özelliklerine değil, kelimelerin arkasındaki anlama dayalı olarak yazmayı analiz edebilen ve puanlayabilen bir doğal dil işleme tekniğidir.

Konuşma tanıma akustik modellerimize benzer şekilde, önce dile özgü bir metin tanıma modeli kuruyoruz. Sisteme büyük miktarda metin besliyoruz ve LSA, kelimelerin birbirleriyle nasıl ilişkili olduğunu ve örneğin İngilizce dilinde nasıl kullanıldığını öğrenmek için yapay zeka kullanıyor.

Dil modeli oluşturulduktan sonra, motoru bir testteki her yazılı öğeyi puanlamak için eğitiriz. Konuşan maddelerde olduğu gibi, bunu da önce öğeleri puanlamak için insan uzman puanlayıcıları kullanarak, çift işaretleme kullanarak yapıyoruz. Her bir madde için yüzlerce yazılı yanıt alırlar ve bu 'Standartlar' daha sonra motoru eğitmek için kullanılır.

Daha sonra, insan tarafından işaretlenmiş çok daha fazla öğeyi besleyerek eğitilmiş motoru doğrularız ve makine puanlarının insan puanlarıyla çok yüksek oranda ilişkili olup olmadığını kontrol ederiz.

Ölçüt her zaman uzman insan puanlarıdır. Yapay zeka sistemimiz insan işaretleyiciler tarafından verilen puanlarla yakından eşleşmiyorsa, insan işaretleyiciler tarafından belirlenen standartla eşleşmesi çok önemli olduğundan öğeyi kaldırırız.

AI'nın birden fazla özelliği işaretleme yeteneği

İnsan belirteçlerinin konuşma ve yazılı öğeleri puanlamada karşılaştıkları zorluklardan biri, tek bir öğe üzerinde birçok özelliği değerlendirmektir. Örneğin, konuşmayı değerlendirirken ve puanlarken, içerik, akıcılık ve telaffuz için ayrı puanlar vermeleri gerekebilir.

Yazılı yanıtlarda, işaretleyicilerin kelime dağarcığı, stil ve dilbilgisi için bir yazı parçasını puanlaması gerekebilir. Etkili bir şekilde, her bir öğeyi en az üç kez, belki de daha fazla işaretlemeleri gerekebilir. Bununla birlikte, AI sistemlerini konuşma ve yazmadaki her özellik puanı konusunda eğittikten sonra, herhangi bir sayıda özellikteki öğeleri anında ve hatasız olarak işaretleyebilirler.

Yapay zekanın önyargı eksikliği

Herhangi bir test için temel bir öncül, herhangi bir adaya hiçbir avantaj veya dezavantaj verilmemesi gerektiğidir. Başka bir deyişle, olumlu veya olumsuz önyargı olmamalıdır. İnsan işaretli konuşma ve yazılı değerlendirmelerde bunu başarmak çok zor olabilir. Aslında, adaylar genellikle bir başkası onları duymuş veya çalışmalarını okumuş olsaydı farklı bir puan alabileceklerini düşünürler.

Yapay zeka sistemlerimiz önyargı sorununu ortadan kaldırıyor. Bu, konuşma ve yazma yapay zeka sistemlerimizin çok çeşitli insan aksanları ve yazma türleri üzerinde eğitilmesini sağlayarak yapılır.

Motorlarımızı eğitmek için mükemmel anadili aksanları veya yazı stilleri istemiyoruz. Dünyanın dört bir yanından yerel olmayan temsili örnekler kullanıyoruz. Konuşma ve yazma puanlaması için yapay zeka sistemlerimizi ilk kurduğumuzda, öğelerimizi denedik ve milyonlarca öğrenci yanıtını kullanarak motorlarımızı eğittik. Yeni öğeler geliştirildikçe bunu yapmaya devam ediyoruz.

Yapay zeka otomatik değerlendirmesinin avantajları

Ev ödevi testlerini ve sınavlarını elle işaretlemekte yanlış bir şey yoktur. Aslında, öğretmenlerin öğrencilerini tanımaları ve kişisel geri bildirim ve tavsiyelerde bulunmaları çok önemlidir. Bununla birlikte, günlük veya haftalık yüzlerce testi manuel olarak düzeltmek tekrarlayıcı, zaman alıcı, her zaman güvenilir olmayabilir ve sınıfta öğrencilerle birlikte çalışmaktan zaman alabilir. Biçimlendirici ve özetleyici değerlendirmelerde yapay zekanın kullanılması, öğrenciler için değerlendirilen uygulama süresini artırabilir ve öğretmenler için not yükünü azaltabilir.

Dil öğrenimi yüksek yeterlilik seviyelerine ilerlemek zaman alır, çok zaman alır. Yapay zekanın karma kullanımı şunları yapabilir:

  • Kişiselleştirilmiş öğrenme ve tanısal değerlendirme geri bildirimi sağlamak için biçimlendirici değerlendirmeninartan önemini ele alın

  • Öğrencilerin tahsis edilen öğretim süresi içinde ve dışında pratik yapmalarına ve anında geri bildirim almalarına izin verin

  • Öğretmenlerin iş yükü sorununu ele alın

  • İnsanların en iyi yaptığı ve makinelerin en iyi yaptığı şeylerden yararlanarak insanlar ve makineler arasında erdemli bir kombinasyon oluşturun.

  • Yüksek riskli testlerde adil, hızlı ve tarafsız özetleyici değerlendirme puanları sağlayın.

Umarız bu makale, yapay zekanın dil testlerimizde konuşma ve yazmayı değerlendirmek için nasıl kullanıldığına dair birkaç önemli soruyu yanıtlamıştır. Google'ın Baş Bilim İnsanı ve Stanford Profesörü Fei-Fei Li'den ilginç bir alıntı, yapay zekayı şöyle tanımlıyor:

"Öğrencilerime sık sık 'yapay zeka' adıyla yanıltılmamalarını söylüyorum - bunda yapay bir şey yok; Yapay zeka insanlar tarafından yapılır, insanlar gibi davranması ve nihayetinde insan yaşamlarını ve insan toplumunu etkilemesi amaçlanır."

Biçimlendirici ve özetleyici değerlendirmelerde yapay zeka asla öğretmenlerin rolünün yerini almayacaktır. Yapay zeka öğretmenleri destekleyecek, öğrencilerin kendilerini geliştirmeleri için sonsuz fırsatlar sunacak ve yavaş, güvenilmez ve genellikle adil olmayan yüksek riskli değerlendirmelere bir çözüm sunacaktır.

ELT'de yapay zeka değerlendirmelerine örnekler

app'da, yapay zeka teknolojisini kullanarak bir dizi değerlendirme geliştirdik.

Versant

Versant testleri, herhangi bir okulda, kuruluşta veya işletmede dil yeterlilik ölçütleri oluşturmaya yardımcı olacak harika bir araçtır. Öğrenci için uygun seviyeyi belirlemek için yerleştirme testleri için özel olarak tasarlanmıştır.

PTE Academic

, bir üniversiteye yerleşmek, iş bulmak veya vize almak için İngilizce düzeylerini kanıtlaması gerekenlere yöneliktir. Testleri puanlamak için yapay zekayı kullanır ve sonuçlar beş gün içinde hazır olur.

app English International Certificate (PEIC)

app English International Certificate (PEIC) ayrıca otomatik değerlendirme teknolojisini kullanır. Evde veya okulda (veya güvenli bir test merkezinde) isteğe bağlı olarak iki saatlik bir test ile. Gelişmiş konuşma tanıma ve sınav notlandırma teknolojisi ile dünya çapındaki profesyonel ELT sınav işaretleyicilerinin uzmanlığının bir kombinasyonunu kullanan patentli yazılımımız, İngilizce dil becerisini ölçebilir.

Öğrenme ve testlerimizde yapay zeka kullanımı hakkında daha fazla bilgiyi buradan okuyun veya öğrencileriniz için hangi İngilizce testinin doğru olduğunu merak ediyorsanız, 'Öğrencilerim için hangi sınav doğru?' yazımıza göz atmayı unutmayın.

app'dan daha fazla blog

  • Children sat at desks in a classroom, with one in the middle smiling with her hand up

    Teaching young learners: all just fun and games?

    By Jill Leighton
    Okuma zamanı: 5 minutes

    We want lots of fun in our lessons, with a good balance of activities and games with strong educational value. But in my opinion, today’s young learners need more than just fun and games to stay motivated. Fun and games can quickly become meaningless and boring for some students.

    How do we create fun and engaging lessons for young learners aged 6-14?

    • Have a strong relationship with your students. Know about their natural talents, their weaker points and where they are in their development.
    • Encourage them to be active learners and engage them in learning that is meaningful to all of them. E.g. through project work.
    • Provide opportunities for students to use technology and develop success skills. E.g. collaboration, communication, critical thinking, creativity and self-learning.

    Most teachers agree that we have to assume the responsibility of preparing students for life as well as helping them to acquire a language – and this is what I aim to demonstrate in this blog. Using , I want to demonstrate how you can learn more about your students and care for individual needs in one classroom.

    The students will also learn about themselves and their classmates. They will acquire vocabulary and language (at their level) in a dynamic way and create a project to explore their interests and demonstrate their talents. They will use technology and develop their success skills. Assessment will be fun and engaging. I hope you will be able to adapt the ideas and put them into practice with children aged 6-14.

    Howard Gardner’s Model of Multiple Intelligences

    prompts us to ask: How is this child intelligent? He identified eight different types of intelligence which guide the way students learn:

    • Verbal-Linguistic Intelligence (Word Smart)
    • Logical-Mathematical Intelligence (Maths Smart)
    • Spatial Intelligence (Picture Smart)
    • Musical Intelligence (Music Smart)
    • Bodily-Kinesthetic Intelligence (Body Smart)
    • Naturalistic-Environmentalist Intelligence (Nature Smart)
    • Interpersonal Intelligence (People Smart)
    • Intrapersonal Intelligence (Self-Smart)
    • (He later went on to identify Existential Intelligence – Life Smart, and Pedagogical Intelligence -Teacher Smart)

    Lesson 1: Outline the student’s learning goals

    Explain to the students that they are going to learn about Howard Gardner’s Model of Multiple Intelligences and that you want them to achieve learning goals on completion of the project. Write the goals on a poster and discuss them with your students. Take a digital photo of the poster to use during the assessment.

    Student learning goals – you will be able to:

    • Identify different intelligences and what they mean. Name eight different intelligences you have
    • Communicate ideas clearly through a project to demonstrate your talents and interests
    • Use your success skills more effectively.

    Tip: Video parts of lesson 1, especially discussion of the learning goals, to use as part-assessment and reflection on completion of the project.

    What do you know about the Multiple Intelligences? How are you smart?

    • Ask children what they know about multiple intelligences. Teach key language and vocabulary as necessary, depending on level.
    • Ask, “What does it mean be intelligent?” (They will probably say, good grades, be good at maths, English, reading, writing, computers...)
    • Tell them being intelligent or smart (get the younger children to repeat the word smart several times) isn’t only about getting good grades. Ask them to think of more ways to be smart.
    • Elicit the eight ways to be smart according to Gardner. (You may need to mime). E.g. mime playing the piano or clap a rhythm to elicit Music Smart.
    • Discuss what the different intelligences mean. (E.g. Word Smart (Linguistic Intelligence): you like reading, writing or speaking, you are probably good at languages…)
    • Teach career vocabulary associated with the different intelligences. (E.g. Word Smart: journalist, teacher, lawyer, editor, TV announcer, web editor.)

    Lesson 2: Find out your smarts quiz

    Tell students they are going to do a quiz to discover how they are smart. Model each stage of the activity and do the quiz with them to find out about your own strengths. Give each student a piece of paper.

    • Take your paper and show the students how to fold it into eight sections, then unfold it and draw lines along the folds to make a grid.
    • Write the different smarts in each section. (Use small handwriting to leave room to illustrate each smart with a picture).
    • Give a picture dictation to illustrate each smart. Here are some examples:

    Word Smart:Draw a dictionary and children reading, writing and speaking.

    Logic/Number Smart: Draw sums on a computer, a scientist with test tube.

    Music Smart: Draw children singing and playing musical instruments.

    Body Smart: Draw children playing a sport, dancing or cooking.

    Nature Smart:Draw trees, animals, insects, child watering a plant.

    Spatial/Picture Smart: Draw children drawing, painting or taking photos and a pilot in a plane.

    People Smart:Draw a child helping or leading a group or a group of children holding hands.

    Self-Smart: Draw children keeping a journal, researching on a computer, or meditating.

    Encourage students to order their smarts from 1-8. For example, if you love music, write number 1 in the Music Smart section and continue to 8 in order of preference. (You may wish to model this first and order your smarts from 1-8 and then encourage the children to order their smarts.)

    After the quiz

    • Encourage students to compare and discuss their results. Collect the papers and make notes about each student’s results. This will help you reach all your students when planning activities.
    • Explain that we have all the intelligences in different degrees and that all of the intelligences are equal (no intelligence is better than another). Also point out that it is important to know our strengths in order to help in all subjects. (E.g. a music smart student who finds maths challenging may want to sing multiplication tables). Remind students that we usually use several intelligences to do something and we can explore and develop all our smarts.

    Tip: Video lesson 2 to use as part of assessment.

    Lesson 3: Beginning the project

    Encourage the students to create a project for enjoyment. Explain that you want them to collaborate in groups that share the same smarts and interests and using their creativity you want them come up with an interesting topic to explore. (Remind students to concentrate on developing their success skills when they are working with others and mention that you will also be monitoring this as part of the assessment).

    Organize the students into groups of no more than five students in each. Give students time to brainstorm in their groups and come up with the best topic for the project, using their critical thinking skills. (E.g. Picture Smart students may decide to create a project about a famous artist, such as Salvador Dali).

    You may wish to give each student a (Know, Want-to-know, and Learned) to complete during the project process, asking questions such as: What do you know? What do you want to know? What have you learned?

    Lesson 4: Planning the project

    Inform students about the timing of the project. Encourage each group to make a project mind map, which will encourage them to be more creative and organized.

    Remind all the groups to keep the following questions in mind:

    • What are you going to do/make? (Presentation, PowerPoint, website, video, posters.)
    • How will you research it? (Internet, tech tools, library.)
    • How will you delegate responsibilities?
    • How will you check that your audience has understood the message of your project? What questions will you ask?

    Decide on how many lessons are needed to prepare the project and how much will be done in school or at home, depending on the age groups and timing.

    Encourage the students to share their work with the rest of the class (or in assembly.)

    Tip: Video the different groups sharing their work.

    Can assessment also be fun and engaging?

    Yes, it can; here are some tips and suggestions.

    • Show the videos you have recorded and ask the students to compare and contrast their knowledge in Lesson 1 and how it developed over the lessons. Encourage them to observe and comment on their success skills.
    • Display the photo of the Student Learning Goals poster from Lesson 1. Get the students to self-assess and decide whether they have achieved the goals that were set in Lesson 1. (You may wish to give the students three small pieces of colored paper: red to represent I understand quite well, orange to represent I understand well and green to represent I understand very well). Ask: Can you identify the different intelligences and say what they mean? Encourage the students to hold up a colored piece of paper according to their understanding. (Make a mental note of all red pieces of paper to be ready to give extra help to those students). Check understanding by getting several students to answer the question.
    • Get the children to reflect on the learning experience. What have they learned about the different intelligences? How can they develop weaker points using their strengths to help them? Can they use all eight intelligences inside and outside school? Did they manage to get along well with their classmates? Did they communicate the message of their project so that the audience understood?
    • Give individual feedback to each student. E.g. congratulate them on their attitude and effort or identify areas for improvement: “You managed to use vocabulary and language effectively when you shared your project, we understood your message perfectly.” Or “You need to work on being more collaborative.” “You weren’t on task during the project.” “How do you think you can improve that?”
    • Ask students to give you feedback on the activities they enjoyed. Get them to draw happy and sad face cards. Go through all the activities and get the students to show a happy or sad face according to whether or not they liked the activity. E.g. say “Did you like the ‘Find out your smarts’ quiz?” and ask them to hold up the happy or sad face depending on whether they liked the activity or not.

    Create fun lessons to engage all your students keeping this model in mind: traditional activities such as short fun activities and games + Howard Gardner’s model of Multiple Intelligences + PBL (Project Based Learning) + success skills + meaningful assessment. Enjoy the results with your students.

    How the Global Scale of English can help

    TheGlobal Scale of English (GSE) Learning Objectives for provides ready-made learning objectives that can help with planning curriculums and lesson and benchmarking learners’ progress. They are great for young learners because they describe language functions in a granular way, enabling educators to give their learners credit for small achievements. They also clearly show the language functions to target next in order to take learners to the next level.