lpi考試的題目是按下列方法開發(fā)的:1.考試結(jié)構(gòu)確定 在考試發(fā)展的第一階段,任務(wù)就是建立一個被認(rèn)證者能做到什么的總體觀念。當(dāng)他們獲得了認(rèn)證之后,他們能從事什么工作?誰是目標(biāo)市場?在總的認(rèn)證計劃中,用什么區(qū)分不同級別的認(rèn)證?當(dāng)1998年秋和1999年初我們考慮認(rèn)證的不同模型和不同工作描述時,這樣的問題產(chǎn)生了。通過討論,我們列出了一個三級考試的計劃。一級將是初學(xué)者或初級linux系統(tǒng)管理者。二級將是高級管理者,而三極將是一非常高級的系統(tǒng)管理者。你可以將一個三級者看成是專家或linux領(lǐng)頭羊。注意:不同級別研究資料之一是由system administrator's guild (sage)建立起來的系統(tǒng)管理器工作描述。我們的考試不直接與這些工作描述相連,但是我們的1,2和3級考試都與sage的2,3和4級相似。2.工作分析 以前有一對特定考試的工作描述(或構(gòu)成一個級別認(rèn)證的一組考試),下一步就是有目的性地和科學(xué)地決定適于這一工作的實際技能,任務(wù)和知識領(lǐng)域。 這里的問題就是,任何人都能提出他們認(rèn)為一個linux管理者應(yīng)該能執(zhí)行的任務(wù)目錄。但是如果你問10 個不同的linux系統(tǒng)管理員,一個初級管理者應(yīng)該做什么,你將得到10 不同的答案。誰能說一個目錄比另一個更正確呢? 事實就是,在10份不同的目錄中,將有所有目錄共有的任務(wù)。因此解決之法就是去詢問linux系統(tǒng)管理員,然后按照你能找到最一般和最重要問題的方法編輯這些答復(fù)。 在大多數(shù)與專業(yè)工作相連的測試程序,這一程序涉及工作分析調(diào)查和工作任務(wù)分析。工作分析的目的是確定在職者執(zhí)行什么任務(wù)和每一任務(wù)有什么重要性。lpi對linux系統(tǒng)管理者進(jìn)行了大量的工作分析。 工作分析調(diào)查的第二目的就是合法保護(hù)考試目標(biāo)的有效性。特別是在美國,當(dāng)有可能在像認(rèn)證這樣的證書的基礎(chǔ)上確定雇用決定時,就會有人控告認(rèn)證團(tuán)體,他們的考試有偏見且建立在不公平的基礎(chǔ)上。工作分析十分關(guān)鍵,它能證明考試目標(biāo)的法律保護(hù)能力和阻止任何偏見的批評。 3.前期調(diào)查 在調(diào)查之前,第一步是關(guān)于與一些sme‘s一起合作,編輯一份冗長的,他們認(rèn)為認(rèn)證目標(biāo)群隨時都將執(zhí)行的任務(wù)的目錄。(lpi一級認(rèn)證初級linux系統(tǒng)管理者)這一階段在1999年三月完成。4.工作分析概況 我們把在前期調(diào)查中收集的任務(wù)組合到工作分析概況中。這一調(diào)查要求linux管理者用不同尺度來估價每一任務(wù)。尺度包括頻率(他們多久執(zhí)行些任務(wù)),重要性(執(zhí)行這一任務(wù)對管理者有多重要),還有級別。有 1,400人 通過網(wǎng)絡(luò)參加了調(diào)查。這一調(diào)查在1999年4月完成。 數(shù)據(jù)分析 接著,我們對工作調(diào)查的答復(fù)作出了統(tǒng)計分析。我們平均地計算了統(tǒng)計顯示,答復(fù)者估價每一任務(wù)有多重要。這一步于1999年4 月完成。 5.目標(biāo)發(fā)展 下一步重要發(fā)展是使用從工作分析研究得到的結(jié)果來建立實際考試目標(biāo)。目標(biāo)表明了專業(yè)系統(tǒng)管理者所能做的特定的事情。每一目標(biāo)都分配有一目標(biāo)重值,表明了它們相對于其它目標(biāo)的重量性。
前期目標(biāo)草擬 作為發(fā)展目標(biāo)的第一步,一組有l(wèi)inux技能和心理測驗學(xué) 原則知識的人,在工作分析調(diào)查的基礎(chǔ)上草擬了一組測試目標(biāo)。這一步于1999年4月完成。 6.目標(biāo)審查和修改 在草擬目標(biāo)產(chǎn)生以后,它們被提交公眾審查和評論。一個叫poms 的網(wǎng)站被作此用。這一系統(tǒng)通過考試的內(nèi)容來組織目標(biāo),顯示目標(biāo)本身及與之相連的文件。使用網(wǎng)絡(luò)的形式收集了公眾對目標(biāo)的意見。管理人員審查了這些意見,并作了必要的修改。目標(biāo)于1999年6 月初確定。 作為此程序lpi一級的一部分,目標(biāo)被分開到101和 102號考試。本來,打算這些目標(biāo)的大部分都只放入一個考試,但是很明顯,要測試所有的目標(biāo)將超出it認(rèn)證考試一般所允許的60-90。為了進(jìn)一步與工業(yè)標(biāo)準(zhǔn)保持一致,這些目標(biāo)被分到兩個考試。關(guān)于這一點,發(fā)行者和課件開發(fā)者能開始為lpi一級考試者制作培訓(xùn)和教育材料。 7.目錄發(fā)展 隨著目標(biāo)的確定,下一步就是寫出將在考試中出現(xiàn)的問題。(注意:在考試發(fā)展界中,一個問題被稱作一個目錄) 不像其它主要發(fā)展階段中的步驟,目錄發(fā)展中的步驟是平行的。那就是,目錄進(jìn)入以后,就從一個步驟流到另一步驟。安全是目錄發(fā)展中的主要焦點。所有目錄盡可能的保密是十分重要的。因此,參加這一步驟的每一個人都被要求不要向任何人泄露目錄內(nèi)容,并簽訂不泄露協(xié)議。也采取了其它的安全防衛(wèi)措施。8.目錄編寫 大多數(shù)it認(rèn)證考試目錄發(fā)展程序都是將一組主題專家集中到某一地點一個星期或更久,培訓(xùn)他們?nèi)绾尉帉懩夸,然后讓他們熱情地?chuàng)建必要的目錄庫。由于花費(fèi)巨大,及廣泛包含的愿望,我們選擇不這樣為考試1 編寫目錄。而在1999年8 月在網(wǎng)上公開呼吁目錄編寫員。每一個有興趣和有知識的人都被鼓勵來編寫目錄。一個叫做tips的網(wǎng)絡(luò)界面被用來收集大多數(shù)的目錄。目錄編寫者為每一目標(biāo)編寫目錄。每一目標(biāo)所需的目錄數(shù)是由它的目標(biāo)重量值決定的。我們一收集到足夠覆蓋一目標(biāo)的目錄時,我們就關(guān)閉這一目標(biāo),防止向這一目標(biāo)提交更多的目錄。當(dāng)這一目錄收集方法起作用時,我們有70 人提交了目錄以供考慮,大增長了這一階段。對于接下來的二級和三級,我們將象以前一樣提出公開界面,但同時也會尋找一組主題專家以更快地發(fā)展考試。9.目錄篩選 一旦目錄被提出來,所有的目錄都要由考試發(fā)展管理者篩選,篩選集中在三個標(biāo)準(zhǔn):冗余:與以前提出來的目錄很相同的目錄受到排斥。大體上講,目的是保證每一目錄都有不同的內(nèi)容。
短語:那些用混淆的或不合適方法表達(dá)的目錄將被排斥或重述。同時也注意保證讓非英語母語的人也能理解
準(zhǔn)確:管理者不是對所有l(wèi)inux領(lǐng)域都很專業(yè),但是他們能反對或重述那些明顯技術(shù)性不準(zhǔn)確的目錄。
在目錄篩選階段,每一個目錄:反對,完全接受,或重述后接受目錄技術(shù)審查,那些在篩選階段中被接受的目錄提交linux專家組作技術(shù)審查。我們與10名linux專家志愿組簽了約,讓他們審查目錄。
在審查階段估價目錄的基本標(biāo)準(zhǔn)是:
正確性:審查者確保主要正確答案確實正確。
錯誤選擇的適當(dāng)性(多項選擇目錄):審查者確保錯誤選擇答案是錯誤的,而不是似是而非的。
短語:審查者確保目錄用合適的語言敘述。
與目標(biāo)的相關(guān)性:審查者確保目標(biāo)與它準(zhǔn)備度量的目標(biāo)緊密相關(guān)。
預(yù)見困難
每一目錄至少由兩名專家審查。每一個專家將每一個目錄分為:
同意,反對,或其它(審查者可能建議重述或者拒絕估價)。
考試發(fā)展管理者收集審查。
在這一階段,每個目錄:
一致同意接受:如果審查者認(rèn)為目錄應(yīng)該被接受,管理者一般都會接受它。
一致反對:如果審查者認(rèn)為目錄應(yīng)該被排斥,管理者一般都有會排斥它。
進(jìn)一步審查后接受:如果審查者對某目錄達(dá)不成一致意見,管理者將在其它審查者的意見基礎(chǔ)上同意它。
進(jìn)一步審查后反對:如果審查者對某一目錄達(dá)不成一致意見,管理者將在其它審查者的意見基礎(chǔ)上它,或者:
修改后接受:在某些情況下,審查者可能會建議重述某一目錄,管理者將在重述后接受它。
--------------------------------------------------------------------------------
10.創(chuàng)建考試
在所有目錄都被收集和審查后,下一步就是把目錄組裝成考試并廣泛地展開它。 生動的創(chuàng)建形式首先,我們選擇那些包含每一目標(biāo)的目錄,并把它們放到完整的測試形式。每一測試將有兩種版本。每種版本將由60-100個目錄組成,選自所有的測試目標(biāo)。當(dāng)一考生考試時,他或她將得到兩種版本中的一種。如果他們考試失敗而重考,他們將得到另一版本。(如果他們都失敗了,他們第三次將得到第一種版本)
注意:當(dāng)考生考試時,考試中心將隨意安排題目。如果考試中心鄰座的兩名考生得到了同一版本,問題的安排仍然是隨意的,他們就不會按同樣的順序來閱卷。
11.前期考試公布 一旦lpi心理測驗學(xué)人員決定了版本成份,考試將由文本目錄形式轉(zhuǎn)換成實際考試文件模式,通過 測試中心網(wǎng)絡(luò)將被廣泛地傳播。對這一點,我們使用在utah的galton technologies的服務(wù)。galton為很多的it認(rèn)證程序提供這些服務(wù)。scott murry,lpi的考試開發(fā)主任,與galton一起工作,把我們的目錄變成所需要的形式。在最終產(chǎn)品交給之前,要進(jìn)行幾級審查。在轉(zhuǎn)變之后,要取得考試文件和做進(jìn)一步工作,保證考試運(yùn)行正常。最后,一級認(rèn)證的兩個考試都有用?荚101于2000年1月11日,102于4月10日應(yīng)用。
12.beta考試時期 考試現(xiàn)在進(jìn)入了前期測試時期,最終目標(biāo)是要決定題目是否正確運(yùn)行和是否度量了它們要度量的技巧和能力。在測試行業(yè)中,這一時期經(jīng)常叫做初始期,引導(dǎo)期或測試研究期。然而在it認(rèn)證行業(yè)中,這一時期被稱作beta測試期。在這一時期,應(yīng)試者能報考這些測試,并在本地測試中心完成它們。他們參加這些考試也得到信任。beta考試與最終考試不同之處在于,應(yīng)試者不能馬上得到考試分?jǐn)?shù)。 事實上,在beta考試期間,所有的考試都是由lpi心理測試學(xué)人員親手閱卷的,并由郵寄發(fā)送到應(yīng)試者手上的。 但是在考試得分送出之前,要設(shè)置評分標(biāo)準(zhǔn)。這本身就是一個復(fù)雜的程序。這時就有幾個同時運(yùn)行的程序。
a.獲得足夠的考試 設(shè)置評分標(biāo)準(zhǔn)的首要條件就是要獲得足夠的考試結(jié)果。目標(biāo)是每一考試版本都有100份結(jié)果供設(shè)置。因此,由于我們每一考試有兩個版本,101和102都要有200份考試結(jié)果。我們公布了一個激勵的計劃,提供折扣,還使用linux business expo測試中心來獲得必要的考試結(jié)果。 作為beta考試程序的一部分,我們也收集了參加考試的人的統(tǒng)計。(他們使用linux多久了?他們是否每天都進(jìn)行系統(tǒng)管理?他們準(zhǔn)備得怎么樣了?)我們希望有大量的與我們的目標(biāo)工作描述相似的人來參加考試。當(dāng)測試心理學(xué)人員在審查題目時,他們就考慮到了進(jìn)行統(tǒng)計。
b.審查題目 當(dāng)考試結(jié)果出來時,測試心理學(xué)人員就開始檢查這些資料。有每個人都答對的問題嗎?有每個人都答錯的問題嗎?(這兩種情況都顯示了考試題目可能出錯了。)考生有什么樣的意見? 我們確實安裝了參考的人能發(fā)表意見的設(shè)備,就像你能從有較強(qiáng)意見的人(經(jīng)常打字很快的人)那里能得到的一樣,我們得到了大量的意見。真的,大量的意見。 因此這一時期的部分工作就是檢閱這些意見,強(qiáng)調(diào)問題,增加關(guān)心。盡管有冗長的,全面的審查程序,還是有一些技術(shù)問題漏掉了,并出現(xiàn)在beta考試中。有一些題目需要丟棄。這些問題中的一些是考生提交的意見發(fā)現(xiàn)的。
c.修改了的-angoff調(diào)查 當(dāng)心理測試學(xué)人員在審查交來的資料時,一些獨立的由主題專家同時也在進(jìn)行一個叫modified-angof的調(diào)查。它的目標(biāo)是要為測試心理學(xué)人員提供附加的資料,以使問題有效和幫助設(shè)置評分標(biāo)準(zhǔn)。 程序基本上是sme‘s接到每一考試版本的復(fù)本。他們檢查每一道題(獨立地和相互切磋),決定那些最小滿足說明中描述的要求的人,怎樣能正確回答問題。sme’s被要求從那些技能較差的人執(zhí)行任務(wù)的觀點出發(fā),來考慮問題。sme‘s用他們對有多少人能答對一道題的計算來估價題目,并且記住,在做多項選擇時,多少人單憑猜測就能答對。 以下就是這一資料的用法。例如,有一問題,sme‘s的判斷比較強(qiáng)硬,他們認(rèn)為考生只30%能答對。如果考試結(jié)果出來后有90%的考生答對了,那么就要檢查是否題目的答案被泄露了。(或者是答案出現(xiàn)在本考試中的其它題目中了。) 相反地,如果有一問題sme‘s認(rèn)為所有考生都知道,將有95%答對。而當(dāng)考試結(jié)果出來后,只有10%的人答對了,那就要檢查目錄是否它的描述方法出錯了或是有一些其它的問題。 理想地,angoff調(diào)查的結(jié)果應(yīng)該與beta時期的考試結(jié)果有些相同。 除了有效的目錄執(zhí)行,angoff調(diào)查的結(jié)果同樣也被用來為考試建立評分標(biāo)準(zhǔn)。例如,打個比方說,angoff調(diào)查結(jié)果說所有的問題都太難了,某一版本的平均正確率為30%。這一信息告訴測試心理學(xué)家,他們應(yīng)該把評分標(biāo)準(zhǔn)設(shè)得更低些,因為考試問題實在是太難了。
d.發(fā)送得分結(jié)果 在所有的資料收集,分析和angoff調(diào)查之后,測試心理學(xué)人員設(shè)置評分標(biāo)準(zhǔn),并且為在beta 時期內(nèi)進(jìn)行的考試手動評分。然后用郵件把得分發(fā)送給每一位考生。
13.考試發(fā)行 在beta時期所有工作之后,評分標(biāo)準(zhǔn)建立了,考試可以發(fā)行了。
14.考試再發(fā)行 隨著時間的推移, 每次考題更新, 以上一程序都會又包含了一次又一次的審查和重復(fù),要一個月或更長才能完成。