準(zhǔn)備考試的時(shí)候除了做真題，背單詞，語法，練習(xí)寫作、聽力等，還需要一些策略，比如知道如何閱卷評(píng)分的。
那么今天就來說說ETS如何進(jìn)行算分。從以下幾個(gè)方面來為大家進(jìn)行揭秘。
1. ETS是全球統(tǒng)一閱卷么?
ETS在整個(gè)試卷的制作過程中，非常關(guān)注Fairness這樣一個(gè)核心要素。而公平原則其中非常重要的一個(gè)體現(xiàn)就是確保全球的做題結(jié)果都是由統(tǒng)一的閱卷人來進(jìn)行批改。尤其是ETS將托福改革成iBT之后，更是加速了利用網(wǎng)絡(luò)進(jìn)行統(tǒng)一閱卷評(píng)分的進(jìn)程。
2. 閱卷評(píng)分人員都是ETS的官方人員么?
ETS管理著諸多考試項(xiàng)目，僅僅是托福項(xiàng)目在中國每年就有超過20萬人報(bào)考，這也意味著僅是從閱卷評(píng)分這個(gè)層面就需要投入大量的人力。但是從ETS總部有限的辦公區(qū)域來看，我們可以料想到它是不可能去配備那么多官方人員來閱卷的。
ETS的評(píng)分員并非僅限于ETS官方人員，而是面向美國本土的人員通過特定的流程進(jìn)行招募的。只要是在美國本土工作的人員都可以申請(qǐng)成為評(píng)分員，他們不需要在ETS辦公，甚至可以在家里閱卷，但是為了確保評(píng)分的科學(xué)性和準(zhǔn)確性，所有的評(píng)分人員都必須參與評(píng)分培訓(xùn)，并且最終通過認(rèn)證測(cè)試。申請(qǐng)人通過資質(zhì)審核后，會(huì)先進(jìn)入到線上培訓(xùn)環(huán)節(jié)成為一名Train rater。
當(dāng)培訓(xùn)者熟練掌握所有的評(píng)分標(biāo)準(zhǔn)之后，就會(huì)進(jìn)入線上評(píng)分環(huán)節(jié)，培訓(xùn)者必須利用大量的模板文章進(jìn)行對(duì)比式評(píng)分，直至自己的打分和目標(biāo)打分完全一致方能通過測(cè)試，成為一名Certify rater。而在整個(gè)過程中，ETS的官方評(píng)分員充當(dāng)?shù)木褪且粋€(gè)裁判和導(dǎo)師的角色，也正是利用這樣的模式才確保了專業(yè)人員的高效利用，同時(shí)也確保了評(píng)分的科學(xué)性和準(zhǔn)確性。
3. ETS仍然在使用電腦評(píng)分么?電腦評(píng)分是否會(huì)計(jì)入真實(shí)成績?
其實(shí)電腦評(píng)分這個(gè)概念，很早就已經(jīng)運(yùn)用于寫作考試中，這并非什么新興產(chǎn)物。自從2010年1月開始，iBT的寫作評(píng)分系統(tǒng)就進(jìn)行了調(diào)整。由原來的2個(gè)評(píng)分員評(píng)分，取算術(shù)平均分作為raw score原始分，改為1個(gè)評(píng)分員和1個(gè)電腦評(píng)分系統(tǒng)(e-Rater)評(píng)分，取算術(shù)平均分作為原始分的方式。盡管之后也有很多出題機(jī)構(gòu)也學(xué)習(xí)了這種評(píng)分方式，但是最終都因?yàn)樵u(píng)分效果不理想而最終放棄，這也正是很多人猜測(cè)ETS現(xiàn)今的考試中是否還繼續(xù)使用電腦評(píng)分的原因所在。
可以說在ETS的培訓(xùn)中，幾乎每一位ETS的官方人員都會(huì)不斷地提及Human Scoring & Automated Scoring的概念。想必大家也能猜想到結(jié)果了，ETS對(duì)于利用電腦評(píng)分的操作是樂此不疲的，而且對(duì)于評(píng)分的結(jié)果是極度信任的。
其實(shí)來到ETS之前，對(duì)電腦評(píng)分這件事情也是心存顧慮的，總擔(dān)心這樣的評(píng)分方式不夠智能，會(huì)過于機(jī)械化地得出結(jié)果。但是當(dāng)聽完專家的講解后，我明白了ETS利用電腦評(píng)分的意義所在。一方面，我們之前對(duì)于電腦評(píng)分的認(rèn)識(shí)并不夠全面，總是覺得僅僅是利用一些具有糾錯(cuò)功能的軟件來進(jìn)行評(píng)分。而真正意義上的e-Rater更像是一個(gè)基于強(qiáng)大數(shù)據(jù)系統(tǒng)支持的一個(gè)運(yùn)算系統(tǒng)，它能夠?qū)⑤斎氲奈恼聝?nèi)容和數(shù)據(jù)庫里面的內(nèi)容進(jìn)行比照式批閱，這樣就極大地增強(qiáng)了閱卷評(píng)分的靈活度和廣泛度。
而ETS作為全球最大的測(cè)試服務(wù)機(jī)構(gòu)，他有著得天獨(dú)厚的優(yōu)勢(shì)，那就是它每年都能夠積累大量的文章數(shù)據(jù)，而且能夠不斷進(jìn)行更新迭代，這能使得他的電腦評(píng)分系統(tǒng)的智能化不斷地提升。相比而言，其他測(cè)試機(jī)構(gòu)的電腦評(píng)分系統(tǒng)卻虛有其表，沒有大量數(shù)據(jù)內(nèi)核作為支持，所以自然無法得到一個(gè)理想的評(píng)分效果。
另一方面，電腦評(píng)分有著它獨(dú)特的優(yōu)勢(shì)，那就是具備足夠的客觀性。它不存在閱卷的疲憊度，永遠(yuǎn)能夠關(guān)注每一個(gè)評(píng)分標(biāo)準(zhǔn)，考慮到文章中的每一個(gè)細(xì)節(jié)和每一個(gè)特征;它沒有情緒，所以也就不存在主觀映像，對(duì)于同一篇文章永遠(yuǎn)只會(huì)給出一個(gè)不變的分?jǐn)?shù);它能對(duì)于每一篇文章所給出的分?jǐn)?shù)都能給出具體的解釋，這是人為評(píng)分無法做到的。
對(duì)于托?？荚嚩?，關(guān)于語言輸出部分的口語和寫作兩個(gè)項(xiàng)目都會(huì)涉及到電腦評(píng)分，而且評(píng)分結(jié)果是計(jì)入到真實(shí)成績的。只不過算分方法并不是機(jī)械地將評(píng)分員評(píng)分和電腦評(píng)分進(jìn)行求平均計(jì)算。我們其實(shí)可以更形象地把他們理解成為分工協(xié)作，聯(lián)合判分。
首先，E-Rater負(fù)責(zé)Linguistic的部分，關(guān)注的是文章的邏輯、語法、用法、架構(gòu)、詞匯等要素，而人工負(fù)責(zé)內(nèi)容和含義的理解，他們?cè)谠u(píng)分目標(biāo)上各有分工。其次，閱卷人和電腦是獨(dú)立判分，他們彼此看不到對(duì)方的分?jǐn)?shù)。當(dāng)兩者的分差介于動(dòng)態(tài)區(qū)間值時(shí)分?jǐn)?shù)有效，判分結(jié)束;當(dāng)兩者的分差大于動(dòng)態(tài)區(qū)間值時(shí)，人工評(píng)分和電腦評(píng)分均無效，將會(huì)引入新的判分組進(jìn)行重新評(píng)分。如果仍然判分無效，將會(huì)指定給ETS官方閱卷人主管直接判分，但這種情況很少出現(xiàn)。
以上僅僅是本次ETS之行的一個(gè)側(cè)影，也希望能夠通過這樣的一些體驗(yàn)?zāi)軌蜃尨蠹覍?duì)這個(gè)神秘的出題機(jī)構(gòu)有進(jìn)一步的了解。相信同行的老師還將從其他層面來為大家解讀ETS的各項(xiàng)考試。
