認知教育成果元素和有關交互式報告總結的歸一化和累積分析的製作方法

2023-08-05 19:13:11

認知教育成果元素和有關交互式報告總結的歸一化和累積分析的製作方法
【專利摘要】系統、方法和關聯的設備以電子方式收集、報告和生成多個不同教育輸入的歸一化教育成果總結，包括說教、體驗式和問題解決事件和/或評估。
【專利說明】認知教育成果元素和有關交互式報告總結的歸一化和累積分析
[0001]相關申請
該非臨時專利申請要求保護2011年3月22日提交的名稱為「NORMALIZATION ANDCUMULATIVE ANALYSIS OF ⑶GNITIVE EDUCATIONAL OUTCOME ELEMENTS AND RELATEDINTERACTIVE REPORT SUMMARIES」的美國臨時專利申請61/466，207的優先權，通過參考將其公開整體合併於此。
[0002]版權保護的材料
該專利文檔的一部分公開內容包含服從版權保護的材料。版權所有者美國北卡羅來納州的East Carolina University of Greenville不反對任何人對該專利文檔或專利公開內容的複製，就如其在專利和商標局專利文件或記錄中出現那樣，然而在其他方面卻無論如何都保留所有版權權利。
【技術領域】
[0003]本發明涉及教育評估系統，其可以評價學生在與教育主題、概念或領域有關的不同子主題中的能力和/或評價與積極和消極認知測試成果相關聯的組群因素。
【背景技術】
[0004]在過去，教育和測試系統被設計成主要基於以說教為基礎的測試來評價學生。為了對這樣的評價進行自動化，已經提出將微能力代碼用於說教主題的課程映射。其他還已將MeSH (醫學題目標題)代碼用於某些類型的醫學課程教育評價。然而，這些代碼尚未產生一種尤其以可考慮其他類型的輸入的方式評價學生的實用方式。確實，這些現有的方法僅能夠針對在說教環境中提出的主題來評價學生。
[0005]許多教育規劃應當需要對知識、技能和跨學科問題解決的證明。然而，難以縱向地評估這些不同的教育成果。例如，在牙科和醫學教育中，以及在其他教育領域中，認為更大程度的學生能力應當基於其他因素，例如超過60%的學生能力應當在臨床環境中測得。
[0006]仍存在對可提供改進的基於能力的評估的替換評價系統的需要。

【發明內容】

[0007]本發明的一些實施例涉及一種用於提供用於評價學生能力的數據的方法。這樣的方法可以包括針對至少一個學生生成評價網格。該網格可以包括多個不同微能力、與所述不同微能力中的對應的一些微能力相關聯的多個得分，所述得分與至少一個說教事件、至少一個體驗式事件和至少一個討論事件相對應。一些實施例提供:使用至少一個計算機處理器來執行生成評價網格。
[0008]在一些實施例中，針對所述不同微能力中的對應的一些微能力的得分中的一些是相對教育價值(RVU)得分，並且用於生成相應得分的至少一個說教事件、至少一個體驗式事件和至少一個討論事件中的每一個與元數據代碼相關聯，所述元數據代碼標識與不同微能力中的一些和RVU得分相對應的主題代碼。在一些實施例中，使用元數據代碼來執行生成評價網格。
[0009]一些實施例還包括:隨時間累積對於與相應學生相關的不同說教事件、體驗式事件和討論事件的RVU得分；以及基於所累積的RVU得分來更新評價網格。在一些實施例中，以基本上規則的周期性間隔來更新網格。一些實施例提供:基本上規則的周期性間隔為至少每周一次的間隔，以便反映與多個不同微能力中的一些相對應的學生得分的改變。
[0010]在一些實施例中，來自每個事件的RVU得分是時間歸一化的得分，並且說教和體驗式RVU得分基於測試和體驗式事件的二元表徵。一些實施例提供:體驗式環境RVU得分基於對困難的預定義評估和所估計的完成相應體驗式任務的時間，並且該體驗式任務與對應於不同微能力中的一些的多於一個主題代碼相關聯。
[0011]一些實施例提供:討論環境RVU得分基於在評價學生在線討論之後分配的針對學生的用戶定義的RVU得分。
[0012]在一些實施例中，該網格是交互式網格。一些實施例還包括允許用戶選擇網格中的單元來展示相應微能力和/或學生的潛在支持數據。
[0013]一些實施例包括以具有與所定義的狀態相關聯的顏色的相應微能力來顯示具有單元的網格。在一些實施例中，所定義的狀態對應於學生在包括該學生的多個學生中的多個其他學生當中的相對表現。一些實施例提供:所述相對表現基於所述多個學生的RVU得分的標準差，並且使用與被標識為低於統計定義的最小值的得分相對應的第一顏色、與高於統計定義的最小值且低於統計定義的優秀閾值的得分相對應的第二顏色、以及與高於統計定義的優秀閾值的得分相對應的第三顏色來顯示處於相應微能力的網格中的單元。在一些實施例中，使用與被標識為低於除統計定義的最小值之外的非統計定義的最小值的得分相對應的第一顏色來顯示處於相應微能力的網格中的單元。一些實施例提供:使用與高於除統計定義的優秀閾值之外的非統計定義的優秀閾值的得分相對應的第三顏色來顯示處於相應微能力的網格中的單元。
[0014]本發明的一些實施例包括提供用於評價學生在主題中的能力的數據的方法。這樣的方法可以包括通過隨時間以電子方式標識對於多個不同微能力的多個元數據代碼中的關聯的一些元數據代碼來獲得對於不同的所定義的微能力的相對教育價值單位(RVU)得分，所述多個不同微能力與來自說教、體驗式和討論環境的學生標識符相關。方法還可以包括與支持報告相關聯地存儲所獲得的RVU得分。
[0015]一些實施例包括基於RVU得分來生成累積分析網格。在一些實施例中，生成累積分析網格包括:將來自對於多個不同微能力中的相應一些微能力的說教、體驗式和討論環境中的每一個的RVU得分進行數學求和；以及基於後續獲得的對於相應學生的累積數據來更新累積分析網格。
[0016]在一些實施例中，說教RVU得分基於測試事件的二元表徵，並且體驗式RVU得分基於體驗式事件的二元表徵。
[0017]一些實施例提供:獲得相對教育價值單位(RVU)得分包括接收與每個說教事件相對應的考試數據文件，該考試數據文件包括唯一學生標識符、測試項目標識符、與測試項目相對應的微能力代碼和二元答案選擇值。一些實施例包括:修改所接收到的考試數據文件以包括規劃標識符、考試日期和科目標識符中的至少一個；以及存儲經過修改的考試數據文件。
[0018]一些實施例還包括通過將經過修改的考試數據文件中的內容與考試數據文件的內容進行比較來以編程方式確證該經過修改的考試數據文件。一些實施例還包括顯示考試數據文件的內容以便由用戶進行確證。
[0019]一些實施例還包括:接收提交輸入；以及響應於接收到提交輸入，將來自經過修改的考試數據文件的數據轉換成通過微能力而相關的總結數據以提供與主題相關聯的結果。一些實施例還包括:接收指示通過微能力而相關的總結數據被批准的確證輸入；以及響應於接收到確證輸入，生成將與總結數據相對應的RVU得分同對應的學生相關聯的聚合數據。一些實施例包括:接收指示聚合數據被批准的提交輸入；將與聚合數據、總結數據和/或經過修改的考試數據相對應的文件加標籤為已提交；以及基於聚合數據中的RVU得分來更新累積分析網格。
[0020]本發明的一些實施例包括一個或多個電路，其被配置成生成與學生的認知能力相關聯的多個所定義的教育主題的交互式累積網格。
[0021]本發明的一些實施例包括用於提供基於能力的學生評價的電腦程式產品。這樣的電腦程式產品可以包括非瞬變計算機可讀存儲介質，在該介質中體現有計算機可讀程序代碼。在一些實施例中，該計算機可讀程序代碼包括基於對與所定義的關聯微能力主題代碼相關聯的說教測試事件的評價和相對教育價值單位生成總結性分級輸出的計算機可讀程序代碼。實施例可以包括:基於對與所定義的關聯微能力主題代碼相關聯的體驗式個體體驗元素的評價和相對教育價值單位生成總結性分級輸出的計算機可讀程序代碼；以及基於對與所定義的關聯微能力主題代碼相關聯的個體討論事件的評價和相對教育價值單位生成總結性分級輸出的計算機可讀程序代碼。實施例還可以包括生成使用總結性分級輸出的累積分析學生評價網格的計算機可讀程序代碼。
[0022]在一些實施例中，使用總結性分級輸出的累積分析學生評價網格包括以具有與所定義的狀態相關聯的顏色的相應微能力顯示的網格中的單元。一些實施例提供:所定義的狀態與學生在包括該學生的多個學生中的多個其他學生當中的相對表現相對應，所述相對表現基於所述多個學生的相對教育價值單位的標準差、與所述多個其他學生無關地定義的非統計定義的最小值、以及與所述多個其他學生無關地定義的非統計定義的優秀閾值。
[0023]本發明的一些實施例包括教育分析系統，其包括利用至少一個伺服器的至少一個基於網絡的服務，所述至少一個伺服器被配置成接受來自教授/教師和學生的電子輸入以與基於網絡的服務進行通信來交互地參與同學生和學生組的定時討論事件，並且其中該系統被配置成提供輸入窗口以允許教授/教師針對參與討論事件的每個學生和每個學生組輸入對於相應討論事件的微能力代碼和相對教育價值單位得分。
[0024]在一些實施例中，所述至少一個基於網絡的服務還被配置成使用元數據代碼來使所定義的個體體驗式事件與微能力代碼中的關聯的一個微能力代碼和相對教育價值單位中的至少一個相對教育價值單位有關。
[0025]如本領域技術人員將根據上面的討論認識到的那樣，本發明可以被體現為方法、系統和/或電腦程式產品或其組合。此外，要注意，關於一個實施例描述的本發明的方面可以被合併到不同實施例中，儘管沒有關於此具體描述。也就是說，可以以任何方式和/或組合來組合所有實施例和/或任何實施例的特徵。 申請人:保留了改變任何原始提交的權利要求或相應地提交任何新權利要求的權利，包括能夠將任何原始提交的權利要求修改為依賴於任何其他權利要求的任何特徵和/或合併任何其他權利要求的任何特徵的權利，儘管最初沒有以這種方式要求保護。在下面闡述的說明書中詳細解釋本發明的這些和其他目的和/或方面。
【專利附圖】

【附圖說明】
[0026]專利或申請文件包含以彩色方式執行的至少一幅附圖。在請求並且支付必要費用時將由專利局提供帶有彩色附圖的該專利或專利申請公開的副本。
[0027]圖1是根據本發明的一些實施例的評價系統/方法的示意圖示。
[0028]圖2是根據本發明的一些實施例的具有附加分析平臺的與圖1中所示的系統/方法類似的示意圖示系統/方法。
[0029]圖3是圖示了根據本發明的一些實施例的示例性討論事件輸入的圖形用戶界面中的顯示屏的框圖。
[0030]圖4是圖示了根據本發明的一些實施例的示例性討論事件輸入的顯示屏的框圖。
[0031]圖5是根據本發明的一些實施例的討論線程和關聯的CSV文件的示例的屏幕截圖。
[0032]圖6是根據本發明的一些實施例的示例性交互式(顏色編碼的)評價網格的部分屏眷截圖。
[0033]圖7A和7B是根據本發明的一些實施例的關聯微能力的兩個相應集合的能力網格列表。
[0034]圖8是根據本發明的實施例的具有基於用戶簡檔/類型的受限視圖的儀錶板的示意圖示。
[0035]圖9是根據本發明的一些實施例的可被執行的示例性操作的流程圖。
[0036]圖10是根據本發明的一些實施例的基於網絡的系統的一個示例的示意圖示。
[0037]圖11是根據本發明的一些實施例的數據處理系統的框圖。
[0038]圖12是根據本發明的一些實施例的子組群管理器的圖形用戶界面的屏幕截圖。
[0039]圖13是根據本發明的一些實施例的分級後的總結性報告的圖形用戶界面的屏幕截圖。
[0040]圖14是根據本發明的一些實施例的在數據被遞交到網格之前的布告驗證報告的圖形用戶界面的屏幕截圖。
[0041]圖15是根據本發明的一些實施例管理所遞交的報告的圖形用戶界面的屏幕截圖。
[0042]圖16是根據本發明的一些實施例的被解析以顯示單個解剖系統的示例性交互式評價網格的部分屏幕截圖。
[0043]圖17是根據本發明的一些實施例的管理在其中呈現多個網格以進行編輯的交互式評價網格的圖形用戶界面的部分屏幕截圖。
[0044]圖18是根據本發明的一些實施例的被解析以按照單個學科來分析數據的示例性交互式評價網格的部分屏幕截圖。
[0045]圖19是根據本發明的一些實施例的包括允許選擇性地查看一個或多個模態並且定義分析數據範圍的交互式評價網格的組件的圖形用戶界面的部分屏幕截圖。
[0046]圖20是根據本發明的一些實施例的確定哪些學生和教師被包括在特定組群中的組群管理器的圖形用戶界面的屏幕截圖。
[0047]圖21是根據本發明的一些實施例的管理在其中能力包括微能力代碼的交互式評價網格的圖形用戶界面的屏幕截圖。
[0048]圖22是圖示了根據本發明的一些實施例的在項目分析已經被執行之後單個學生的原始導入的考試數據的圖形用戶界面的屏幕截圖。
[0049]圖23是根據本發明的一些實施例的在確證的準備時驗證原始數據報告的圖形用戶界面的屏幕截圖。
[0050]圖24是圖示了根據本發明的一些實施例的在提交數據之前的RVU提交總結屏幕的圖形用戶界面的屏幕截圖。
[0051]圖25是圖示了根據本發明的一些實施例的通過不同學生的微能力代碼收集且合併的數據的圖形用戶界面的屏幕截圖。
[0052]圖26是圖示了根據本發明的一些實施例的通過微能力代碼收集且合併並且被驗證以向所有學生提供正確得分的數據的圖形用戶界面的屏幕截圖。
[0053]圖27是圖示了根據本發明的一些實施例的包括準備好提交到網格的一個或多個資料庫的RVU得分的RVU提交總結屏幕的圖形用戶界面的屏幕截圖。
【具體實施方式】
[0054]現在將在下文中參考在其中示出本發明的優選實施例的附圖更充分地描述本發明。然而，本發明以許多不同形式體現並且不應當被理解成限於本文中所闡述的實施例。
[0055]自始至終，相似的數字指代相似的元素。在圖中，為了清楚起見，可能誇大了層、區域或組件。虛線圖示了可選的特徵或操作，除非以其他方式指定。
[0056]本文中所使用的術語僅用於描述特定實施例的目的並且不意圖限制本發明。如本文中所使用的那樣，單數形式「一」、「一個」和「該」意圖也包括複數形式，除非上下文以其他方式清楚地指示。還將理解，當在本說明書中使用時，術語「包括」和/或「包含」指定所闡述的特徵、整數、步驟、操作、元素和/或組件的存在，但是不排除一個或多個其他特徵、整數、步驟、操作、元素、組件和/或其組的存在或添加。如本文中所使用的那樣，術語「和/或」包括關聯的所列項目中的一個或多個的任何和所有組合。如本文中所使用的那樣，諸如「在X和Y之間」和「在約X和Y之間」之類的短語應當被解釋為包括X和Y。如本文中所使用的那樣，諸如「在約X和Y之間」之類的短語意指「在約X和約Y之間」。如本文中所使用的那樣，諸如「從約X到Y」之類的短語意指「從約X到約Y」。
[0057]除非以其他方式定義，本文中所使用的所有術語(包括技術和科學術語)具有與本發明所屬領域的普通技術人員通常理解的含意相同的含意。將進一步理解，術語(諸如在通常使用的詞典中定義的那些)應當被解釋成具有與它們在本說明書和相關領域的上下文中的含意相一致的含意，而不應當在理想化或過度正式的意義上解釋，除非在本文中明確地如此定義。為了簡潔和/或清楚起見，可能未詳細地描述公知的功能或構造。
[0058]將理解，當元素被稱為「在」另一元素「上」、「附著到」另一元素、「連接到」另一元素、與另一元素「耦合」、「接觸」另一元素等等時，其可以直接在另一元素上、附著到另一元素、連接到另一元素、與另一元素耦合或接觸另一元素，或者還可以存在居間元素。相反，當元素被稱為例如「直接在」另一元素「上」、「直接附著到」另一元素、「直接連接到」另一元素、與另一元素「直接耦合」或「直接接觸」另一元素時，不存在居間元素。本領域技術人員還將認識到，對「鄰近」另一特徵部署的結構或特徵的參考可以具有與該鄰近特徵重疊或位於其下方的部分。
[0059]將理解，儘管術語第一、第二等等可以在本文中用來描述各種元素、組件、區域、特徵、步驟、層和/或段，但是這些元素、組件、特徵、步驟、區域、層和/或段不應當由這些術語限制。這些術語僅被用來將一個元素、組件、特徵、步驟、區域、層或段與另一區域、層或段進行區分。因此，在不偏離本發明的教導的情況下，下面討論的第一元素、組件、區域、層、特徵、步驟或段可以被稱為第二元素、組件、區域、層、特徵、步驟或段。操作(或步驟)的順序不限於在權利要求或圖中提出的次序，除非以其他方式具體指示。
[0060]術語「學生」指代要被評價的(一個或多個)個體。如本文中所使用的那樣，術語「基本上實時」包括在討論或測試期間在站點之間接收和/或傳送數據，其計及作為所採用的路由、業務、傳輸路線和/或系統通信鏈路(其可以阻止傳遞以使得發生微小的延遲)的結果的、站點之間的遠程傳輸中的系統延遲，所述系統延遲可以在長度上處於秒或更小的量級或者潛在地處於分鐘的量級。
[0061]術語「自動的」意指如此描述的基本上所有或所有操作可以在不需要人類操作員的協助和/或手動輸入的情況下被執行。術語「電子的」意指系統、操作或設備可以使用任何適當的電子介質來進行通信並且通常採用以編程方式控制使用計算機網絡的參與者之間的通信。
[0062]術語「以編程方式」意指經由電腦程式代碼來引導動作。
[0063]術語「集線器」意指控制和/或託管使用計算機網絡的不同用戶站點之間的數據交換的節點和/或(一個或多個)控制站點。術語「FERPA」指代在美利堅合眾國的法律下的家庭教育權利和隱私權法案(FERPA )。
[0064]術語「形成性評價」指代在其中向個體提供指導以改進表現的橫斷面(cross-sectional)事件。不需要針對等級或點數而遞交形成性評價。
[0065]術語「總結性評價」指代在其中以點數或等級的形式向個體給出表現的評價的橫斷面事件。
[0066]術語「成果元素」是作為總結性評價的一部分而定義的教育成果的單位。成果元素可以包含下面的數據:唯一標識符、學生唯一標識符、總結性評估標識符、評價類型、和/或及格/不及格。一些實施例提供:及格/不及格可以是二元值。當被歸一化時，成果元素可以包含(一個或多個)微能力代碼和(一個或多個)相對教育價值單位。歸一化元素可以忽略不及格的項目並可以僅針對及格的項目給出學分。
[0067]術語「累積評價」指代許多(通常全部)總結性評價的解析集合以便提供規劃、課程和/或能力中的學生表現的平衡分析(如果不是完全分析的話)。
[0068]術語「累積分析引擎」指代下述電子電路:其可以隨時間以電子方式分析來自不同教育評價環境中的至少一個並且通常三個或更多教育評價環境(例如除了其他之外，說教、體驗式和討論)的學生總結性評價數據輸入，以便生成組群表現關於能力定義的表示。
[0069]表現的教育評價可以使關於課程標準集合的形成性和總結性評價。一些實施例提供:這可以利用被平均以給出等級的關於考試的基本得分來完成。在複雜的成果環境中，簡單的等級可能不提供足夠的信息來校正具體的不足。術語「能力」已經被用來給出執行綜合任務(除了其他之外，諸如與醫學、工程和/或法律相對應的那些任務)所需的技能和知識的更精確定義。一些實施例可以特別適合於使用與說教分級、體驗式分級和討論環境分級相關聯的歸一化輸入對學生進行能力評價。本發明的一些實施例可以用於基於學生能力得分來評估複雜課程的有效性。任何能力都可以用聲明和/或定義來表示以及/或者可以由多個子組件來表示。如本文中所使用的那樣，與能力相對應的子主題可以被稱為「微能力」，並且將在後面的章節中對其進行詳述。
[0070]在一些實施例中，系統/方法未被配置成定義相關技能之間的客觀差異。學生對陣(encounter)可以通常並且更典型地完全是二元的。這樣，說教環境可以被限於報告正確回答的元素(但是可以針對已知的假否定丟棄或給出學分)。體驗式(例如臨床)環境可以報告成功完成的技能。討論環境可以報告在其中做出的布告。這些報告被定義為認知評價，這意味著可以不使用個體測量的相對質量。可以利用其他技術來評價非認知主觀價值。
[0071]在基於能力的課程中，可能存在用於遞送教導的三種不同模態，並且因此，存在用於評價的三種不同環境。根據一些實施例，用於評價的三種不同環境可以被集成到可擴展能力電子評價平臺中。用於評價的環境可以是說教模態、體驗式模態和討論模態。將在本文檔的分開的章節中詳述每一個。不是所有教育領域都使用用於評價的所有模態。
[0072]「歸一化」和術語「歸一化的」指代所定義的用於測量不同因素的相關標準。例如，被分配給各個測試或測試問題的點數價值、在臨床中或在體驗式任務上花費的時間、被分配給批判性思維鍛鍊的值等等。根據一些實施例，當可用時，可以整理(digest)來自許多不同環境的總結性報告。各個經過整理的總結性報告中的結果可以被歸一化成公共格式。所有總結性報告可以被組合成公共數據集，並且，可以在累積分析網格中提供數據的圖形表示。一些實施例提供:歸一化可以包括:基於所花費的教育時間來定義點數的相對價值；對所教導的可能主題(微能力)進行分類；以及定義個體、個體的子組群和可被累積地評價的個體的組群。
[0073]術語「相對價值的最小時間」(T)可以指代針對任何成果事件分配學分的基本單位。T是基本時間並可以進一步乘以其他因子以分配事件學分。可以使用相對價值的最小時間(T)來對不同輸入進行歸一化。例如，測試問題可以基於預測典型學生可能需要多長時間以評價和回答該問題而具有數字輸出「I」或「2」。可以以由特定機構和/或基於標準而定義的時間等同物來分配數字，諸如「I」代表15分鐘等同物(因此「2」可以與以「30分鐘」計劃的響應時間定級的問題相關聯)。如果學生正確地回答問題，則答案接收所定義的(歸一化得分)。對於比如醫學或牙科的臨床實踐之類的體驗，執行任務所花費的實際時間和該任務的相對複雜度可以被給予關於15分鐘的歸一化值。例如，拔牙的平均時間可以是15分鐘，因此，給予I個價值單位。從歸一化基礎來說，這使在說教考試中解決問題等同於臨床中的拔牙。類似地，對於基於討論的環境，有可能給出個體對基於問題的學習討論的響應的部分點。
[0074]術語「相對教育價值單位」(RVU)是對與時間和複雜度有關的技能評估的可能學分的表達。例如，假設說教測試項目等於I RVU，則體驗式過程或討論體驗可以被映射至附加的時間或複雜度。RVU可以被表達為等於基本時間間隔(T)，在多於一個時間間隔與任務或討論相關聯時乘以T的遞增量。另外，可以針對複雜度來調整RVU:ΤΧη (Τ的倍_XC(複雜度乘數)。RVU可以提供與被歸一化成時間單位(T)的不同教育因素(例如測試得分、測試答案、臨床或其他體驗式任務或小時、基於討論的問題解決技能得分等等)相關聯的相對價值得分。因此，使用RVU進行分級是時間等同歸一化的並可以被用於不同類別的測試/評價的總結性成果評價。
[0075]術語「微能力代碼」對應於微能力，並指代在基於能力的教育課程期間可能供學生體驗的不同主題的層級表達。例如，多個微能力與特定課程的總體能力相關聯。不是所有代碼都有必要在課程中被表達，但是微能力是可能遇到的內容的超集。另外，儘管在本文中通常以複數形式的「微能力」使用，但是其中也包括單數形式的「微能力」。
[0076]術語「主題」指代所定義的教育概念、領域或題目。術語「主題代碼」指代與所定義的主題相關的標識符。術語「標識符」指代字符(通常地，數字和/或字母數字字符)的唯一集合。標識符可以具有針對跨越多個電子評價平臺的標準化而定義的格式。微能力被表達為與一個或多個所定義的主題代碼的子主題相對應的個體微能力的所定義的層級集合。即，一個微能力可以與多於一個主題代碼相關聯。主題代碼通常包括多個關聯的微能力，並對於一些能力主題可以包括約10到100之間的數目，儘管該範圍不進行限制。例如，本文中的一些實施例提供:更多或更少的微能力可以與不同主題相關聯，並且不同主題可以具有不同數目的微能力。微能力可以被提供有足夠的數目以便允許特定主題內的不同子概念的顆粒狀評價。微能力本身可以與多個子微能力代碼有關。特定教育評估系統可以具有幾百個主題代碼和幾千個微能力。微能力可以被唯一地編碼，例如利用數字碼，但是可以使用其他代碼類型。代碼可以標識層級內主題的關係和/或位置。「能力」可以被定義為不同微能力代碼的組合。此外，相同的微能力可以出現在多個不同能力評價中。
[0077]術語「組群」指代使用相同的所標識的組件、元素或因素和/或能力和/或微能力評價的學生組。除了其他之外，組群的一些示例可以包括由班級成組的學生、教授、關聯的機構(例如大學或研究生院)和/或針對班級分配的教育資源(例如元編碼書)。另外，討論模態可以保證可通過定義子組群而解決的另一成組因素。例如，學生的子集可以被分配給遇到討論的小組。另外，一些實施例提供:組群中的每個個體也是他們自己的子組群的成員。在討論模態章節中解釋該過程的細節。
[0078]術語「說教模態」指代基於教室講授、課本和家庭作業對學生學習的評價。
[0079]術語「問題元素」(QE)指代包括題幹、一個或多個幹擾項答案、一個正確答案或選擇的組合且具有等於T的相對價值的單個說教模態問題。例如，問題元素可以包括簡單的考試問題。
[0080]術語「問題組」(qgroup)是在公共微能力下各個說教問題的集合的表達。在創建點處和/或在作為測試事件報告遞交給系統時，可以將說教模態問題映射至微能力。
[0081]術語「測試事件」(TE)是創建組群或子組群的形成性評價的問題元素的組合。注意，子組群的說教評價可以導致累積分析中的非代表性結果。
[0082]術語「測試事件報告」(TER)表達對測試事件的組群表現。
[0083]術語「項目分析」涉及為了識別因較差的問題構造或較差的學生表現而應當被移除的TE而對TER的數學評價。這些工具可以根據機構和/或測試機制而大範圍地改變。在一些實施例中，項目分析涉及評價與組群有關的個體。[0084]術語「說教模態總結性報告」(DMSR)是在項目分析已經被完成並且已經從TER中消除特定TE之後每個個體對組群內的每個TE的表現的列表。
[0085]術語「說教模態歸一化總結性報告」是來自由RVU通過微能力聚合的DMSR的每個個體的表現的列表。可以依照DMSR來驗證該報告，並且然後，可以將該報告遞交給累積數據存儲裝置以通過各種分析網格進行分析。
[0086]術語「體驗式模態」指代與微能力代碼有關的臨床和/或其他「親自實踐」類型的體驗。
[0087]術語「過程錨代碼」(PAC)是可針對臨床設定中的技能評估而競爭的經編碼的過程的表達。在健康科學的實例中，它們是對於醫學過程的I⑶-10代碼和對於牙科過程的⑶T代碼。實際上，一些實施例提供:過程錨代碼被表示並可以被後續映射至微能力的子集。
[0088]術語「體驗元素」(EE)指代執行與實際技能有關的任務的個體。
[0089]術語「體驗組」(EGroup)是在公共微能力下過程/體驗的集合的表達。在創建點處和/或在作為體驗事件報告遞交給系統時，可以將體驗模態過程映射至一個或多個微能力。「體驗事件報告」(EER)表達在特定時間範圍和/或預定義時間間隔期間對測試事件的組群表現。例如，一些實施例提供:體驗事件報告可以包括來自一個或多個其他系統的日常?艮告。
[0090]術語「體驗模態歸一化總結性報告」(EMSR)是來自由RVU通過微能力聚合的EMSR的每個個體的表現的列表。可以用微能力及其有關RVU來代替PAC。可以依照EMSR來驗證該報告，並且然後，可以將該報告遞交給累積數據存儲裝置以通過各種分析網格進行分析。[0091 ] 術語「討論模態」指代與微能力代碼有關的問題解決或討論論壇，其中，表明熟練度和/或理解以及批判性思維 的、學生解決所定義的問題和/或提供所定義的討論元素的詳細討論的能力能夠被給予等級。該討論模態可以是在線環境、基於紙的環境和/或可以是教室環境。一些實施例提供:以接受用戶響應且能夠由教師、教授、教師助理和/或其他教育評價者(交互式地)監視和/或評估的在線格式提供討論模態。為了促進測試完整性，可以使用攝像機模式和/或可以使用生物計量輸入來確證響應者是學生。在其他實施例中，可以使用用於測試的專用測試站點並且在對該站點的訪問時可以確證學生身份。
[0092]「個體討論事件」(IDE)是個體在討論環境中做出評論。存在許多不同類型的IDE並且它們的價值對於不同類型和/或內容的評論可能不同。
[0093]如在本文中所使用的那樣，「討論子組群」是促進討論教育體驗的總組群的子集。在一些實施例中，整個組群可以是討論子組群和/或個體可以是討論子組群。一些示例實施例提供:典型的討論子組群是5-10個個體，然而，這樣示例是非限制性的，其中子組群可以是少於5個或多於10個個體。
[0094]「討論子組群總結性報告」(DSSR)表達在具體時間範圍和/或時間間隔期間對討論事件的討論子組群表現。在一些實施例中，DSSR可以包括來自一個或多個其他系統的每周的報告。可以將DSSR直接發送到系統以便分配微能力和RVU。不同於其他兩個環境，在所討論的主題發生之後它們可能限於加標籤。
[0095]「討論子組群歸一化總結性報告」是來自由RVU通過微能力聚合的DSSR的每個個體的表現的列表。可以在該報告內做出關於子組群的哪些成員將接收到針對討論的學分的決定。整個組可以作為團隊而被給予相等的學分，或者個體可以單獨地被給予學分。可以將歸一化數據遞交給累積數據存儲裝置以通過各種分析網格進行分析。
[0096]如本文中所使用的那樣，術語「累積網格」(也被稱為「網格」)指代對於一個或多個學生的(例如微能力、微能力組和/或0E)與能力有關的得分的總結。該網格可以是顏色編碼的以便示出能力的程度，諸如，學生是否滿足不同微能力和/或子微能力中定義的能力閾值水平。該網格可以是交互式的和/或可解析的，以允許用戶訪問與所報告的得分相關聯的支持數據，其可以以各種方式電子地組織學生數據以便分析與不同班級、學生和學生組以及不同學生的公共因素相關聯的積極和消極趨勢。
[0097]術語「交互式網格」指代包括下述元素的網格:該元素可以由用戶(經由UI，諸如GUI)選擇以便然後電子地展示支持該元素的潛在數據。因此，當若干學生被標識為低於所定義的能力(例如，由一個微能力、微能力組、一個或多個子微能力和/或子微能力組針對主題而定義的能力)的最小值時，本文中公開的一些實施例可以允許用戶訪問和/或詢問(例如，在框上點擊)網格來標識各種子能力中的個體定級以及公共因素，諸如，除了其他之夕卜，教授、學校、上課時間、課本、(臨床)體驗或任務和/或執行了任務的位置。該組群或關聯的數據可以允許教育者或學校調整課程來解決例如標識了不足的學生需要。
[0098]術語「註冊的」意指用戶是通常使用密碼和登錄和/或授權門戶識別的系統在線參與者。術語「管理用戶」指代不具有訪問學生記錄的許可的用戶。不同類型的管理用戶可以具有對系統的不同訪問級別。一些參與者/用戶可以在沒有任何學生標識符的情況下訪問與學生及格相關的組群數據。術語「基於網絡的」意指服務使用至少一個伺服器來通過一個或多個網絡(除了其他之外，包括例如全球資訊網(例如，網際網路)，使用例如超文本傳輸協議(HTTP))與不同用戶進行通信。
[0099]可以使用任何社交網絡服務(典型地，可提供適當安全或私用(或半私用)通信的社交網絡服務)來實施本發明的實施例或方面。術語「Yammer?」指代在2008年9月由加利福尼亞州的舊金山的Yammer，Inc.發起的企業社交網絡服務。與已知用於將消息廣播給公眾的Twitter?不同,Yammer?被用於組織內的或組織成員和預指定的組之間的私用通信，從而使其成為企業社交軟體的示例。可以想到，可以使用其他適當的企業社交軟體/系統/服務來實施本發明的方面。
[0100]如圖1和2中所示，本發明的實施例包括分析10的系統和方法，該分析10包括來自下述一個、兩個或所有三個不同環境的數據:說教模態20、體驗式模態40和討論模態80。每個模態20、40和80能夠生成相應的總結性評價28、48、88，其與包括微能力主題代碼16、RVU 17、個體(學生專用)代碼和組群(例如班級、教授、書本、學習機構等等)代碼18的元數據代碼15相關聯。構成每個報告和/或成果元素的基礎的數據可以被電子地存儲，以用於作為表現的證據未來容易地檢索到和/或用於課程或其他評價。
[0101]儘管未被限於此，但是可以想到，本文中所描述的一些實施例也可以結合許可系統(除了其他之外，諸如用於對於律師的國家律師資格考試和/或對於醫生或獸醫的執照考試)使用。
[0102]還可以想到，本文中公開的一些實施例可以利用其豐富的潛在組群數據來評價累積成果數據，以便基於多個學生並且在多個州中的通過率、各種微能力的主題專用實現等等來向教育機構、圖書出版社等等提供反饋。該數據分析可以允許這樣的機構或其他組織來對學校排名、對教授和/或班級排名、評價課本(注意針對特定主題提供最佳學生成果的那些課本和/或產生較差結果的那些課本)、獎勵一個或多個主題的最佳成果教育者、和/或基於這樣的組群數據和認知成果結果來對班級或課程做出其他改變。
[0103]還可以想到，該系統/方法可以被用來評價繼續教育，CLE評價可以僅評價三個環境中的一個或子集。第一，說教環境使用問題和答案提供內容的直接遞送和相對簡單的評估。第二，臨床環境提供技能的表現和技能表現的相對簡單的評估。第三，討論環境提供需要研究和綜合的所聲明的場景的遞送和問題解決行為和技能的相對複雜的評估。
_4] 說教模態。
[0105]仍參考圖1，說教模態20可以包括成果元素28，該成果元素28基於個體測試元素(框21)，利用關聯的微能力和RVU來以電子方式對該個體測試元素(預先)加標籤(框22)，然後將該個體測試元素成組為用於相應個體測試元素總結性評價的考試(框23)。該成組可以利用得分(使用RVU而歸一化)(框23)來對個體測試元素21的集合進行成組，用於總結性評價XN (框24)。因此，可以通過作為二元評價的可擴展成果元素項目分析(框25)，利用在被遞交之前和/或被用於成果元素總結性分級28和數據存儲裝置90以及電子累積分析100的項目分析後總結報告(框26)，來過濾針對考試的學生對陣。
[0106]說教模態20可以基於利用一個或多個關聯的微能力和對應的RVU以電子方式預先加標籤的個體測試元素來提供總結性評價28。換句話說，考試問題與主題和點數相關聯，然後被收集到考試中以供學生測試其知識。
[0107]對於許多教育環境，基於具有單個正確響應的簡單問題、針對知識來評價個體。這些問題通常作為測試和考試以集合給出。表現可以基於正確響應的相對百分比。總結性分析的閾值可以相對簡單。下面描述對於該評價的關聯步驟的示例:
步驟1.將題幹與被加標籤為正確或幹擾項的響應相關聯。這些是問題元素。每個問題元素與唯一標識符相關聯。每個問題元素被給予值為I的RVU。假設在一個項目上理解材料以得到正確答案所花費的時間量等於相對價值的最小時間(T)。正確答案的解釋可以被提供以供後續使用。一些實施例提供:題幹可以包括圖像。
[0108]在一些實施例中，題幹與被加標籤為正確或幹擾項的響應相關聯。這些是問題元素。每個問題元素可以與唯一標識符相關聯。
[0109]步驟2.利用一個或多個微能力代碼(微能力)來對問題元素加標籤。這可以以兩種方式來完成。在一些實施例中，每個問題元素可以包括代碼可關聯的元標籤。在一些實施例中，生成問題組(QGroup )並且然後將問題元素放在適當的QGroup下。
[0110]步驟3.將問題元素按順序排列成測試事件。每個測試事件可以與總結性分析代碼相關聯。在大多數情況下，這可以與科目有關。測試事件可以包括與一個或多個微能力和RVU相關聯的問題元素。因此，可以生成形成性報告以便關聯與通過/不及格閾值有關的、與組群中的其他個體有關的和/或按照題目內容的個體表現。
[0111]使用學習管理系統，個體的組群遇到測試事件，並且，對涉及個體對每個問題元素的實現的數據進行記錄。可以生成未經調整的測試事件報告。
[0112]步驟5.在所有個體已完成測試事件之後，可以針對項目質量來分析每個項目。在過程中的這個時刻，組群的效果可以是重要的。每個學生必須遇到總結性評價，所以，可以對原始結果執行評價後的項目分析。在一些實施例中，機構可以決定不執行項目分析來生成歸一化的總結性報告，但是優選地，排除組群推測的編寫得較差的一個或多個問題。[0113]要注意，項目分析可以包括許多統計，其可以提供用於改進多選或是/非項目(問題)的質量和準確性的有用信息。這些統計中的一些包括項目難度，其可以被確定為正確回答該項目的學生的百分比。該過程可以在學習管理系統內和/或通過本文中公開的操作和方法來執行。項目分析的一個功能是移除整個組群表現較差的較差地構造的一個或多個問題。機構可以針對該過程設計多種方法。該公開未提供項目分析的具體機制，但是它提供了在總結性報告被發送以用於分析之前執行該操作。
[0114]步驟6.基於問題元素項目分析，可以從報告中消除個體問題元素。在一些實施例中，可以以每次一個項目的方式刪除項目，這是因為如果問題元素被刪除，則可以提供更高的考試可靠性係數，並且重新運行項目總統計報告以確保我們不降低考試的總α。
[0115]步驟7.在排除有缺陷的問題元素之後，可以生成說教模態總結性報告以便除了其他之外還向個體給出他們的經過調整的得分(%正確)、班級平均分、個體班級排名、和/或未答對的項目的解釋。機構可以選擇在科目上對這些報告求平均以便給出傳統的等級。該過程不是唯一的並且在本文中不進行詳細描述。
[0116]可替換的步驟7.作為對上述操作的替換，在排除有缺陷的問題元素之後，可以生成說教模態總結性報告以便除了其他之外還向個體給出他們的經過調整的得分(％正確)、班級平均分、個體班級排名、和/或未答對的項目的解釋。可以利用一個或多個微能力代碼(微能力)來對問題元素加標籤。
[0117]步驟8.可以創建說教模態歸一化總結性報告。該數據可以由測試專家驗證為完整的，並可以被發送到累積分析引擎(電子電路和(一個或多個)資料庫)。以這種方式，可以用RVU通過每個個體的微能力的聚合來代替與個體問題相關聯的RVU以遞交給累積分析網格。
[0118]步驟9.可以依照總結性評價報告來驗證說教模態歸一化總結性報告，以確保個體接收到與組群有關的相同點數。這對於該過程可以是重要的。如果該過程的總體目標是查看個體學生關於主題哪裡強或哪裡弱，則相同組群中的不同學生可以獲得相同百分比的點數，但是他們在不同的微能力區域中已做得較好或較差。該驗證步驟確保在歸一化過程期間傳遞相同的點數。
[0119]步驟10.可以將經過驗證的歸一化總結性報告遞交給累積分析網格，並且可以驗證學生接收到對適當微能力來說適當的點數。
[0120]步驟11.可以將經過驗證的歸一化總結性報告存檔為「已提交」以用於審計目的。
[0121]體駘式樽傑。
[0122]仍參考圖1和圖2，對於成果元素，體驗式模態40也可以與元數據代碼15相關聯。體驗式模態40可以採用使用(預先)加標籤的特定技能(例如「個體體驗元素」或「ΙΕΕ」)形式化的成果元素。個體體驗元素(框41)以電子方式與相應的微能力16、微能力組和/或子微能力和RVU 17 (框42)相關聯。每個學生可能在不同時間遇到一個或多個個體體驗元素(技能)41，並且事件的數目(N)(框43)可以逐個學生地變化。技能的熟練程度提供二元判定(框44)，該二元判定由事件後總結性報告45使用以遞交用於累積分析100和/或電子能力評估平臺IOOp的成果元素48。
[0123]將主題元標籤(比如微能力代碼)置於特定科目組件允許機構使特定主題在哪裡教課可見於課程的授課時間表上。從實踐的觀點來看，可以以15分鐘的遞增量來映射時間單位，然而，本公開不限於此。說教環境是最可預測的並且最接近於標準化。例如，15分鐘的講授或演示實驗室體驗(屍體實驗室、組織學實驗室)是15分鐘，而不管題目內容是什麼。因此，這對大多數教師來說基本上可知且可定量，以便同意該定義，從而進行報告。
[0124]對於體驗式模態40，可以關於與特定教育課程的體驗式環境(例如對於健康科學的臨床、外科或實驗室系統和在學校中用於教師課程的觀察或教導的實踐)相關聯的各種動作、研討會、參與或觀看事件和過程來預定義微能力代碼。在所定義的時間基礎上(例如每天、每周等等)，可以生成電子報告(例如以CSV格式)，其標識學生、RVU、提供者標識代碼和相應的微能力。可以每天地生成這些報告，並且這些報告可以在每個學生的學術生活上(以及其之外)累積。按照慣例針對學生標識符(或者允許數據輸入的解碼機)提供數據，並且系統可以被自動化為創建、評價每個報告並將其遞交給網格數據儲存庫和分析電路。
[0125]在健康科學中，實際臨床過程中的表現對於適當地評價個體表現來說是重要的。個體將這些事件記錄到電子患者記錄系統中。利用現有的過程錨代碼(PAC)來對每個過程加標籤，所述過程錨代碼(PAC)通常與任務的成功表現的財務報酬相關聯。在醫學中，這些是I⑶-10代碼。在牙科中，這些是⑶T代碼。下面描述個體體驗元素評價步驟的示例。
[0126]步驟1.將每個PAC與適當的微能力代碼相匹配。所有評估報告將替代對於PAC的微能力。
[0127]步驟2.針對RVU來評價由PAC表示的每個過程。如上文所提到的那樣，RVU測量每個過程的相對教育價值。為了對基於體驗(臨床)和討論的教育環境的成果評估進行歸一化，RVU可以基於三個組件。第一組件是下述時間:該時間可以是執行臨床任務所花費的物理時間。在其中一個考試問題的歸一化價值是教育投資的15分鐘的實施例中，15分鐘等於
IRVU。第二組件是實驗室時間，因為許多牙科過程涉及學生的實驗室時間。可以估計學生將執行與同患者的臨床接觸分離的實驗室任務的時間量。第三組件是更高的專門知識。例如，一些過程(比如複雜的口腔外科)將涉及學生的較高級別的興趣或要在醫生前設定中執行的較高級別的專業指示。一些實施例提供:可以使用值為3的乘數，儘管在其他實施例中乘數可以是不同於3的值。一些代碼是「觀察的」，其中，學生實際上將不執行該過程並因此僅得到被涉及的學分。
[0128]在下面的體驗式(例如牙科臨床)示例中，CDT代碼的列表被呈現給教師成員的組以供他們估計每個代碼的RVU。「T」先前被定義為等於15分鐘，所以15分鐘等於「I個單位」。使用下面的公式:
RVU =(臨床時間+實驗室時間)X複雜度乘數(等式I)。
[0129]對於每個機構，存在應用於所有牙科的CDT代碼的核心列表，並且存在對教育環境來說唯一的特定過程。例如，每個「房間代碼」具有所分配的RVU。在臨床前科目中教導特定實驗室技能，並且可以向其給予PAC作為導出的⑶T代碼。以這種方式，該機構可以使用臨床系統來跟蹤實驗室成果。具有所分配的RVU和關聯的MC的臨床體驗的示例是:
PAC-D0421—基因測試口腔疾病一36.00，基於2小時的臨床時間(12 RVU), I小時的實驗室時間，具有HE乘數。MC-01.02.09.01基因測試；
PAC-D7287—細胞學樣本收集一2.00，基於30分鐘的臨床時間。MC-01.08.01.08—細菌培養；
PAC-D1310—營養諮詢一8.00，基於I小時的臨床時間，I小時的實驗室時間。MC-01.07.02.05—營養評估。
[0130]步驟3.每天在體驗式課程中，個體可以執行過程。可以通過適當的權威機構將學分給予成功嘗試。在一些實施例中，組群中的所有個體執行作為日常課程事件的一部分的過程。這被稱為體驗事件報告。
[0131]步驟4.從體驗式平臺生成體驗模態歸一化總結性報告，以對於每一個關聯的微能力給出過程和RVU的個體產生。以與說教環境類似的方式創建體驗模態歸一化總結性報告。該數據由成果專家驗證為完整的，並被發送到累積分析引擎。一些實施例提供:該過程用RVU通過每個個體的微能力的聚合來代替與個體過程相關聯的RVU以遞交給累積分析網格。
[0132]步驟5.依照體驗事件報告來驗證體驗模態歸一化總結性報告，以確保個體接收到與組群有關的相同點數。以這種方式，可以確定個體學生的與主題有關的強和/或弱的區域，即使相同組群中的不同學生可能獲得相同百分比的點數。可以通過確定學生在不同微能力區域中已做得較好或較差來標識強和/或弱的區域。該驗證步驟確保在歸一化過程期間可以傳遞相同的點數。
[0133]步驟6.將經過驗證的體驗模態歸一化總結性報告遞交給累積分析網格，並且可以驗證學生接收到對適當能力來說適當的點數。
[0134]步驟7.將經過驗證的體驗模態歸一化總結性報告存檔為「已提交」以用於審計目的。
[0135]討論樽傑。
[0136]仍參考圖1和圖2，討論模態80可以在學生(或其他測試主體)對陣之後利用微能力16和RVU 17來以電子方式 對學生討論(例如文本或多媒體)布告加標籤(框84)。在一些實施例中，討論題目可以與所定義的(預先加標籤的)微能力16相關聯，但是通常可以在該事實之後基於學生知識、響應和/或熟練程度來生成RVU。可以定義個體討論元素(IDE)(框81)。例如，如下面參考圖4更詳細討論的那樣，可以提供討論事件輸入屏以便標識、提供和/或定義個體討論元素。可以將IDE成組為總結性討論(框82)。一些實施例提供:討論模態80可以是學生或其他測試主體可以對給定的難題、問題或其他提示做出響應的交互式電子(例如在線)環境論壇。
[0137]在複雜教育環境中，從實例或問題的實際討論中解決問題的能力可能難以評價和追蹤。認證團體可以將大量的價值置於應用知識的能力上。因為討論本身可以跨越多個主題並可以涉及不同級別的複雜度，所以通常可以針對與事件本身分離的教育價值來對討論事件加標籤。
[0138]儘管本文中公開的實施例想到了基於文本的發布將是提供討論論壇的可行手段，但是還可以想到，在線多媒體通信也可以用於討論模態80。也可以使用這些類型的討論格式的組合。一些實施例提供:可以以電子方式將多媒體視頻的視頻流與累積分析的評價總結一起存儲。可以由第三方在線多媒體通信服務提供商來提供與在線多媒體通信有關的服務，所述第三方在線多媒體通信服務提供商可以是例如消費者視頻會議服務提供商，除了其他之外，諸如 Skype、Microsoft Live Messenger、Yahoo! Messenger、America OnlineInstant Messenger、和 / 或 Apple iChat。
[0139]在一些實施例中，討論模態80可以使用由學生在時間發布的情況下登錄的線程式討論而實施和/或包括該線程式討論。討論布告可以利用RSS (真正簡單聚合)客戶端來增強基本博客技術。RSS允許內容的訂閱、管理和發布以使博客系統安全。以這種方式，用戶可以在不啟動瀏覽器的情況下向博客進行發布。當前RSS客戶端是二元應用的有用模型，以便引起被具體設計為滿足基於實例的教育的複雜需要的適當設計的應用。
[0140]然而，可以編寫可更適合於更大學校/執業者實現的用於編寫、管理和參與實例的計算機應用。使用實例應用套件，可以促進多個學校、實踐和程序的實現(登載(on-boarding)到中央系統中或者在分立的獨立系統中使用)。
[0141]本發明的一些實施例力求給參與教育者提供用於基於實例的教育的實現策略，該實現策略實際上可以被擴縮以滿足教導批判性思維和問題解決的教育使命。從教育哲學觀點來看，教育者可以對實例的數目、實例的深度、教導者的角色和個體實現的成果評估持不同意見。從技術觀點來說，系統可以足夠強大以在足夠簡單以鼓勵使用的同時促進教育使命O
[0142]對於討論模態80，可以期望包括提供真實的事實模式、提升現實性並產生執業者和/或教育者可關聯到學生的強烈學習體驗的實例。除了招收「非傳統」實例之外，用於編寫實例組件、附著有關內容和創建學習目標的技術可以是一致的。教師資源可以限制在學校內的時間以便重新格式化每個執業者實例，並且替換方案是限制執業者遞交的數目。對於一些學科(例如牙科和醫學)，為了充分地評估能力，相信應當存在對學生來說可用的幾百個(如果不是幾千個的話)討論實例。編寫應用的優選實例應當提供用於創建組件、重新編輯組件的簡單處理工具，並且然後應當對作為結果的實例進行包裝，這樣，部件就不能不更改。
[0143]管理實例可以是與編寫不同的體驗。對於實例，每所學校可以具有不同的角色。對於學生和教師成組，每所學校可以具有不同的理論。對於成果測量，每所學校也可以具有不同的觀點。在一些實施例中，本文中公開的系統和方法可以被配置成接受來自實例編寫工具的實例包裝並允許科目指導員分配學生和教師，以便除了其他之外還確定發布時間和決議日期和/或設計適當的分級準則。實際上，該應用環境將適配各個實例以滿足更大的課程目標。參與實例應當相對簡單。一旦管理應用將實例分配給學生或教師，用於討論環境的參與工具就應當:就該分配提醒用戶；通過簡單的訂閱將發布「推送」到客戶端；允許直接發布；以及監視時間組件和分級問題。
[0144]相信，將存在參與工具的許多用戶、實例編寫工具的較少用戶以及實例管理工具的非常少的用戶。執業者可以提議或遞交其他執業者可針對CE學分而採用的實例。學生可以針對其他學生編寫實例。當前約束實例的學校和規劃使用(諸如實例的數目和教師的數目)的問題可能減少，如果沒有消除的話。
[0145]在一些實施例中，評價與討論模態80相對應的表現可以包括如在下面的步驟中提供的示例性操作。
[0146]步驟1.利用一個或多個個體來創建討論組。該組的所有個體都將接收到與每個個體相同的學分。個體參與到集體中。組群可以並通常被分成子組群以促進討論。在當前實施方式中，典型的子組群具有5-10個學生。可以生成討論子組群總結性報告(框83)。可以利用包括微能力16和RVU 17的元數據代碼來對個體討論元素81加元標籤(框84)。例如，典型地，至少RVU由分級者定義並加標籤(按照指導方針，主觀的)。也可以在該時刻處應用微能力，但是也可以基於所定義的主題而不是「思維流」類型討論來更早地生成微能力。可以生成成果組群的定義(框85)以及元素分析後總結性報告(框86)。總結性評價88的成果元素可以被遞交給累積成果存儲數據收集100。
[0147]步驟2.可以利用問題或提示來發起討論。在該線程內，個體可以對提示和組中的其他個體的參與做出響應。
[0148]步驟3.除了其他之外，個體討論事件可以包括唯一項目標識符、唯一線程標識符、發布的時間戳(包括日期和時間)、唯一用戶標識符和/或發布的團體。
[0149]步驟4.討論可以由時間來限制。基於適當報告間隔內的所有IDE的討論的時間戳，可以生成討論子組群總結性報告以用於評估。討論子組群總結性報告可以被驗證並被發送以通過討論評價工具進行格式化。該過程可以針對第三方評價來呈現討論。
[0150]討論子組群總結性報告可以被遞交以進行「分級」，這會將對應的微能力和RVU附著到每個布告。評價者、分級者、主機、其他提示和/或其他學生可以與(一個或多個)測試學生進行交互以便評估知識的深度、問題解決技能等等。RVU可以部分地基於主觀準則並且部分地基於客觀標準(例如關鍵字、文本的長度、討論時間等等)。該系統可以接受討論後總結性報告，該報告將討論的分級總結與討論文本本身附著，以用於未來檢索。主觀權重可以通過交互的人對學生/測試者或學生組進行「分級」而提供，並且通常在基於15分鐘的時間遞增量和困難的預定義範圍內。在一些實施例中，簡單的布告可以值至少0.1 RVU。
[0151]現在對圖3進行簡要的參考，圖3是在其中布告被分級的用戶界面的屏幕截圖80s。該屏幕截圖80s包括對下述各項的表格格式總結:以姓名表示的布告作者(或者學生標識符)、輸入的類型(例如學生布告內容、學生布告物流、學生布告其他，或者如果是教師顧問的話，教師布告實例、教師指導或教師其他)、與每個發布內容和物流相對應的微能力等等，以及關聯的RVU和評論。學生總結窗口 80w可以包括對每個學生的布告數目和總RVU以及IDE總體的總結。一旦IDE在RVU和微能力的情況下完整，就可以使用評價者「遞交」輸入將數據遞交給評價電路。
[0152]現在對圖5進行簡要的參考，圖5是來自Yammer?討論的CSV文件的示例。可以通過動態調查來促進討論內容的評價和加標籤。可以想到，報告(舉例來說，例如從Yammer?生成)可以用於使用所定義的調查工具來創建動態「調查」，以供教師成員或其他所定義的人對討論事件分級。如上文所指出的那樣，報告可以針對布告的主體提供字數統計。
[0153]現在對圖4進行參考，圖4圖示了可用於討論模態80以允許評價者針對對於學生和發布類型的IDE 81 (圖1)以電子方式分配微能力和關聯的RVU的用戶界面的屏幕截圖80m。可以生成並顯示字數統計。例如，如所圖示的那樣，字數統計是75/100。可以包括到完成主題(潛在地，具有時間剩餘提醒)輸入和評論輸入部分的進度。可以提供諸如「下一個」和/或「遞交」之類的用戶輸入，以供評價者或其他用戶繼續到下一步驟或遞交數據。可以提供「總覽」用戶輸入，以供用戶切換到總覽屏幕。在所有布告都已被分級之後，可以生成討論子組群歸一化總結性報告。所有微能力代碼可以被驗證為有效，但是不存在驗證所依照的原始數據。
[0154]在這個時刻，子組群信息可以非常有用。組群的每個子組群針對RVU點數分配提供多個機會。與說教環境不同，每個子組群具有唯一的討論和布告。成果專家可以做出決定以基於他們個人的布告將他們自己的等級給予每個個體和/或將針對每個人的參與來對所有子組群參與者給予學分。這是可基於討論環境和課程需要而做出的選擇。在所有布告(文本或多媒體)的結尾處，可以存在用於通過/未通過的「組等級」的地方。在學生/用戶的姓名旁邊，還可以存在通過/未通過的個體等級的地方。
[0155]經過驗證的討論子組群歸一化總結性報告可以被遞交給累積分析網格，並驗證了學生接收到對適當能力來說適當的點數。然後，可以將經過驗證的討論子組群歸一化總結性報告存檔為「已提交」以用於審計目的。
[0156]對於每個布告，分級者可以評價下面各項中的一個或多個:
(O發布類型:從下拉菜單，存在多個可能性，
下面被示為六個可能的選擇:
「教師布告實例」
「教師布告指導」
「教師布告其他」
「學生布告內容」
「學生布告物流」
「學生布告其他」。
[0157](2)(一個或多個)微能力代碼:輸入可以包括多個欄位，例如3個欄位，其中，可以錄入與布告相關聯的微能力(用戶然後必須挑選3個最接近的微能力，系統可以提供布告的關鍵字搜索並建議可適當的微能力)。
[0158](3)相對價值單位:該輸入通常由範圍0-10來限制，諸如例如可由用戶經由具有數字(例如I到5)的下拉菜單實現或選擇的欄位限制。
[0159](4)評論:假設沒有評論的欄位，但是其中，可以錄入消息/段落。
_0] 累積成果存儲。
[0161]在一些實施例中，系統10可以被配置成使得在所有模態和/或環境中使用學生的公共命名和編碼，以及/或者使得適當的翻譯器被用來在各種系統和/或累積分析引擎之間導入和/或交換數據。
[0162]在使用所有三個環境(模態20、40、80)的情況下，來自所有模態的所有經過驗證的歸一化總結性報告28、48、88 (具有成果元素)可以被遞交給至少一個數據儲存庫90 (例如，存檔的學生教育歷史伺服器)。典型地，報告(例如成果元素)可以在它們被生成或完成時被提供，但是也可以在基於時間的輸入上被提供(上傳或其他數據傳遞)。
[0163]被存儲在公共數據儲存庫中的每一個成果元素可以包括下面的欄位:
唯一元素ID
唯一規劃ID 唯一學生ID 日期
說教、臨床、討論 初級、補習 微能力 RVU。
[0164]該欄位不必按照特定的次序，只要源文件可以映射到這些元素欄位即可。[0165]分析網格。
[0166]累積分析模塊100 (圖1、2)可以被配置成隨時間或者在特定期望時間針對相應學生分析來自與模態20、40、80相對應的一個、兩個或所有環境的數據。因此，如圖6中所示，該系統/方法可以生成累積評價網格200，也被稱為累積分析或能力網格。該累積分析模塊100可以被託管在一個伺服器或主機中或者可以是分布式的。另外，可以使用分布式計算資源(諸如例如基於雲的數據存儲和/或處理)來提供累積分析模塊100和/或數據儲存庫90。
[0167]數據橫斷面是困難數據的基本表達。具體地，來自教育成果的數據可能難以表達。可以基於能力本身的概念來實現來自本文公開的方法和系統的優點。「能力」或「能力聲明」是有關技能或主題的綜合聚合。能力可通過定義而擴展。任何規劃基於它們本身的概念和方案來定義這些可擴展的概念。網格200是來自方法中的所有源的數據的表達，其示出與組群中的所有學生有關且與表示該組群的能力的有關主題有關的個體學生數據。
[0168]教育可能是困難且複雜的。每個學生錄入具有先前知識和不同能力的新教育體驗。學科內的每個規劃嘗試提供被設計為訓練學生以變得能夠成為特定勞動力的成員的體驗。這可以是化學家、作家、牙科醫生、工程師或者其他各種各樣專業人員中的任一個。
[0169]教育規劃向學生呈現一系列體驗(被稱為課程)，並利用許多不同的度量來評價表現。本文中公開的系統和方法創建了一種用於對課程評價的各種輸出進行「歸一化」以簡化該數據的視覺呈現的方式。
[0170]在先前的討論中，提出了用於創建網格數據表達的系統/方法。在該章節，數據被操控成更好地用圖形表示教育決策進行的結果。
[0171]處於學生和能力的橫斷面處的是「網格單元」。每個網格單元201對於該網格和該組群來說是唯一的。根據所允許的數據，網格單元201計算該學生對於針對該能力而定義的相應微能力的表現。所有點數和部分點數的總和以一個數字表示，所述一個數字可以被表達為例如十分之一小數位。可以基於個體網格單元201來計算兩個分開的事件。首先，可以針對組群中的每個學生計算總學生表現。其次，可以針對各種排名來分析特定能力的學生數據。當前可以利用特定鍵的組合來獲得每個網格單元201的細節。
[0172]可以利用O以及利用具體著色的背景來表示未檢測到要顯示的數據的網格單元201，以表示缺少數據。例如，一些實施例提供:灰色背景可以表示缺少數據。在網格單元201內未示出數據在課程的早期部分中並不罕見，然而，訓練的較後階段中的缺口可能示出課程不足。
[0173]在一些實施例中，所有網格單元201的總和可以以數字求和到所定義的精度，例如，如在單獨的列中示出到十分之一小數位。行可以是利用在組群內對學生排名的結果從最大數字到最小數字自動排序的。在添加新內容的情況下，該行可以自動排序並產生新排名。
[0174]然後可以針對每個能力來垂直地評價網格單元201。一些實施例提供:來自所有網格單元201的數據可以在數學上被分類成三個到七個標準差。一些實施例提供:該數據被分類成五個標準差。最高標準差值可以用對於有關網格單元201的金色背景來表示。最低標準差可以用對於有關網格單元201的紅色背景來表示。第二、第三和第四標準差可以由綠色的陰影來表示，例如分別從最淺到最深。結果是允許管理者看到學生如何基於網格200內的特定主題進行排名的圖形顯示。另外，學生的特別弱的區域以紅色「亮起來」，並且特別強的區域以金色示出。這允許規劃將對特別弱的補習以及對特別強的認識作為目標。本文中公開的顏色經由非限制性示例的方式，其中，在本發明的精神和範圍內可以使用其他顏色。
[0175]兩個附加特徵可以更改標準差顏色編碼。這些可以被稱為「硬地板」和「玻璃天花板」。管理者可以將數字值放在網格200中以表示勝任所需的最小值。該「硬地板」將設置下述值:低於該值，數字將被表示為紅色，而不管標準差如何。這可以用於針對必須完成的過程的數目設置最小標準。玻璃天花板手動指定是下述數字:高於該數字，所有網格單元201將被指定為金色。該「玻璃天花板」允許管理者確定表示優秀的閾值，而不管標準差如何。以這種方式，學生可以超過該數字，並且整個組群可以獲得該優秀級別。
[0176]在一些實施例中，高(金色)截止和低(紅色)截止可以預設為標準差，除非由管理者具體錄入。網格200可以自動計算Student High (學生高)、Student Low (學生低)和每個微能力列的Average (平均值)。
[0177]網格200可以關於具有多個關聯微能力的單個主題或基於感興趣的其他主題或分類器。網格的每個單元201表示學生與通過具體包括的微能力且通過所包括的環境過濾的其表現(RVU)的交叉。網格單元201中沒有值可以被表示為等於零RVU或者可以保留為空白。為了統計目的，空白值可以等於零RVU。一些實施例提供:單元的行可以表示組群中的相應學生，並且單元的列可以表示相應微能力，然而，這樣的布置是非限制性的。
[0178]網格200可以隨提供輸入的頻率而改變。例如，一些實施例提供:如果每日地提供輸入，則網格200可以每日地自動更新。例如，來自體驗式環境的每日報告將提供與將隨時間累積到網格的微能力相關聯的點數。相同的微能力可以在多個區域中示出。類似地，對於說教輸入，考試報告可以從說教考試提供歸一化的點數並可以被提供以用於累積分析。對於說教和體驗式輸入二者，一些實施例提供:可以使用美國俄勒岡州的Axium XTS, Inc.的AXIUM?項目管理軟體。相信AXIUM?具有可適配於微能力代碼以避免使用翻譯器的被稱為「類別」的可擴展元標籤，其可以減少潛在實現誤差。
[0179]如上文所指出的那樣，網格200可以是交互式的。可以利用Π (用戶界面)(諸如⑶I (圖形用戶界面))將網格200呈現在顯示器上，Π允許用戶選擇學生以展示與該學生相關聯的更多數據，選擇微能力以電子自動地展示各種子主題和關聯的得分。以這種方式，用戶可以分析學生數據的趨勢，例如搜索學生不及格的公共因素、處於優等範圍中的學生等等。因此，例如，如果被標識為不及格的更多數目的學生處在相同的班級中，則這可能指示該班級存在問題。
[0180]交互式網格200可以被配置成允許用戶點擊和拖動表格以便針對單元專用信息導航和ctrl點擊、選擇和/或觸摸(接觸或觸摸手勢)單元201。例如，學生ID號和能力得分單元可以被點擊以示出用於創建所選單元的內容的數據點數。
[0181]用戶可以往下深入以針對不同準則(例如規劃中的年份、性別等等)示出學生組。網格200可以包括單元信息彈出式評論，並且在用戶選擇(例如ctrl點擊)單元時可訪問和/或示出的信息可以由訪問該網格的用戶的類型定義。
[0182]評價中的累積數據可以標識其他公共因素，以允許課程、教育資源中和/或學生的積極主動調整。[0183]在網格200的一些實施例中，說教環境總結性分級輸入可以具有比體驗式或討論環境分級輸入中的任一個小得多的、累積評價中的相關性權重。例如，與針對體驗式總結性分集的大約40-60%和針對討論總結性分級的30%-50%相比，針對特定微能力的總體認知評估得分的大約10%可以基於說教總結性分級。
[0184]網格200允許將「能力」可擴展地定義為微能力的子集。隨著數據累積到數據儲存庫，網格可以從所有三個環境動態計算表現。如上文中所指出的那樣，可以對最小閾值和表現獎勵加標籤。
[0185]如上文簡要地討論的那樣，使用公共主題邏輯(被稱為微能力)進行映射的元素可以提供針對主題的層級編號標貼。在一些實施例中，存在由合法編號時段分開的該層級的4個級別。示例如下:
02-指定身體系統
02.08-指定腸胃系統
02.08.07-指定臨床牙科
02.08.07.13-指定樹脂修復
01-指定泛系(Pan-systemic)學科
01.06-指定人類免疫學
01.06.08-指定免疫作用
01.06.08.01-指定疫苗。
[0186]一些實施例提供:不是所有的主題都具有4級細節。例如，一些成果可能充分地將第三級別作為組進行測試。在編號方案中，00可以被添加到代碼的第四級別中。
[0187]課程規劃內的不同教育者可以具有不同的學生評價需要，因此，需要成果總主體的不同視圖。「能力網格」可以定義用於同時查看的有關主題。舉例來說，可能存在對看到學生在人體解剖學中如何表現的需要 。可以創建用於表示所有解剖微能力的網格。可以通過由系統進行的解剖來解析數據。在該示例中，解剖學是網格的基礎，每個系統表示可擴展的能力，並且該系統的解剖學的微能力定義了將在網格200的網格單元201中表示的學生表現。
[0188]出於網格200的目的，每個能力的定義可以是管理者所考慮以定義需要顯示的內容的代碼的簡單列表。心血管系統的解剖學的示例如下:
CVAS-正常發展和結構
02.06.01.00
02.06.01.01
02.06.01.02
02.06.01.03
02.06.02.00
02.06.02.01
02.06.02.02
02.06.02.03
02.06.02.04
02.06.03.0002.06.03.01
02.06.03.02
02.06.03.03
02.06.03.04
02.06.03.05
02.06.03.06
02.06.03.07
02.06.03.08
02.06.03.09
02.06.03.10
02.06.03.11
02.06.03.12
02.06.03.13
02.06.03.14
02.06.03.15。
[0189]一旦定義了代碼，在網格單元201內過濾表達的第二因素就是數據源。如先前所描述的那樣，存在來自討論環境、說教環境和臨床環境的數據。任何網格200可以在網格單元201中顯示來自從任何一個數據源或數據源的組合指定的微能力的數據。可以製作用於示出所有數據或僅來自說教考試的數據的網格。
[0190]實際上，一些學生在考試中比他們在臨床中更好。這將在經過過濾的網格200的表達中示出。如上所述，不同的管理者和教育利益相關者可能需要來自課程的不同報告。特定網格的創建允許這些定製的視圖。
[0191]類似於數據源過濾的 是對補習元素的包括。每個數據源元素也可以被指定為初級或補習。初級數據可以表示每個學生所體驗的成果元素。補習數據可以表示以針對特定的不足重新測試特定學生作為目標的成果元素。以這種方式，管理者可以創建僅將初級用於整個組群的評價的網格。這允許製作用於示出向特定學生給予的附加工作的特定網格。這提供了:將允許補習的表達的網格可以在網格中包括「硬地板」指定以示出學生何時已實現所定義的能力水平。
[0192]特定網格被製作以給出完整課程的非常寬的分析。實踐中，這可能導致倍增誤差。例如，如果管理者不仔細，則在相同網格中可能以多個能力表示相同微能力。最佳實踐示例是具有系統和學科二者被表示的網格。如果相同微能力處於多個能力中，並且該微能力具有若干個成果，則將存在不正確地影響學生排名的倍增效應誤差。特定微能力中的實現或不足將相對於單個微能力而混合。在一些實施例中，這可能是期望的，但是可以預期數據表達的偏差(skewing)。
[0193]對圖7A和7B進行簡要的參考，圖7A和7B圖示了具有關聯的微能力代碼的示例性列表的兩個層級能力列表(其可以用於能力網格)。00.01及以下的列表用於「定量方法」，而00.02及以下的列表用於「基本遺傳學和胚胎形成」。以這種方式，可以提供用於評價負責定義能力的課程的質量的可擴展機制。另外，可以同時評價所有三種類型的教育技術。歸一化過程允許每個採納者如期望的那樣定製其分析。此外，每個機構可以定製評價工具，例如取代15分鐘時間歸一化，可以使用更短或更長的標準，例如5分鐘或30分鐘。當在機構之間進行比較時，每個機構然後可以生成可被進一步歸一化的不同微能力。
[0194]現在對圖8進行簡要的參考，圖8是約束可向不同用戶示出的數據的類型的儀錶板300的示意圖示。系統10的一些實施例可以基於誰登錄到儀錶板300中來約束信息/功能。最初，用戶可以被表徵為將訪問該儀錶板的三種類型的用戶中的一種。在創建附加的儀錶板元素(Yammer?分級和微能力管理)時，儀錶板(或門戶)可以定義更多的特定訪問權限。根據一些實施例的用戶類型的示例包括:
用戶:(教師，教授301)
?訪問所有信息和功能，
教育(大學)管理者302
?僅可以查看能力網格(不能訪問微能力管理或yammer區域)；
? FERPA:遵照FERPA，可以根據需要省略學生ID列，
學生303
?僅可以查看他們在能力網格200中的得分。能力網格200可以被定製成僅示出學生數據，但是網格200還可以示出學生高分和班級平均分。
[0195]除了其他之外，其他用戶304可以包括教學助理、全體人員、顧問、教育資源(提供更好學生成果的標識材料或者需要改進的標識材料)、教師評價功能(用於獎勵或校正的幫助)、認證服務和/或執照委員會的公布者。再一次，如遵守隱私權、勞動法等等所需要的那樣，可以控制給不同用戶 呈現的數據的類型。
[0196]本文中公開的一些實施例可以特別適用於評價健康科學學生、學校、班級、教育材料(例如書本)和/或課程。然而，其他實施例可以被用於評價其他學生、學校、課程、教師、班級、資料書等等。術語「健康科學」指代與醫學有關的教育領域，包括護理、牙科、藥學、醫師、獸醫、精神病醫生、心理醫生、物理治療師、其他治療師和執業者，特別是需要委員會出具證明來在特定領域中執業的那些健康/科學領域。
[0197]許多教育規劃可能需要知識、技能和學科間問題解決的證明。一些實施例提供了用於連續地(隨時間)且可選地基本上同時分析來自集中於說教、基於技能和基於問題的環境的表現的系統和過程。教育成果可以被預測，並且可以以積極主動的方式標識認知成功。
[0198]參考圖2，系統10可以包括電子能力評估平臺ΙΟΟρ。術語「能力評估平臺」指代可從用於在基於能力的教育環境中分析認知成果的不同系統和所定義的變量的組合接受數據和/或整合該組合的模塊、電路和/或處理器，所述基於能力的教育環境與所定義的一個或多個同一個或多個能力區域有關的微能力集合有關。能力評估平臺IOOp可以創建對如由形成性和總結性評價組件定義的能力的持續的基本上恆定(例如隨時間更新，但不必實時)的累積分析。
[0199]本文中公開的一些實施例想到來自所有平臺的基本上所有成果都構建能力。因此，如果所有事件都使用相同準則，則所有形成性報告可以被聚合到公共分析中。例如，可以向每個個體給予每事件、每微能力的特定點數的學分。如果能力的認知成果可以被表示為微能力的聚合，則可以從相同數據集生成無限數目的累積分析。下面總結可被用於累積分析步驟的一些步驟的示例:
步驟1.將累積數據存儲裝置定義為針對個體的每個成果事件的一個或多個數據儲存庫。不論源平臺(說教、臨床或討論)如何，都可以向個體給予針對每個微能力相關聯的點數的學分。數千個這些事件可以隨時間、平臺和評估而累積。
[0200]步驟2.如本文中公開的累積分析映射可以提供一種具有定義將如何聚合原始數據以用於顯示和分析的能力的機構。能力是機構所使用以評價表現的內容的子集的聲明。映射允許該機構按照微能力的不同組合來定義能力。一些實施例提供:可以存在不同細節的多個映射。每個能力可以通過將每個微能力的表現進行組合來聚合個體的表現。所假設的交叉參考是組成組群的個體的集合。映射允許該機構確定什麼個體組成組群。
[0201]步驟3.可以評估附加的交叉組群數據並將其置於相同網格中。例如，最大表現、最小表現、組群平均值、最小可實現級別和其他感興趣的項目可以被評估並且置於網格中。
[0202]步驟4.可以定義要在顯示網格200或多個網格中示出的期望數據。
[0203]本發明的一些實施例可以使用計算架構，在其中用戶界面、應用處理邏輯和/或(一個或多個)潛在數據集可以被封裝在邏輯上分離的過程中。在利用這種類型的計算架構的任何給定應用中，層數可以根據特定應用的需求而變化；因此，這樣的應用通常被描述為米用 η 層架構。例如參見 Exforsys.com、N-Tier Client-Server Architecture。舉例來說，本發明的一些實施例可以採用2層架構，通稱為客戶端-伺服器架構，其中諸如網絡瀏覽器之類的客戶端應用對網絡伺服器發出請求，網絡伺服器處理該請求並返回期望的響應(在這種情況下，網頁)。本發明的其他實施例可以被構造成端對端或3層或其他更大的多層架構。對於後者，網絡伺服器通過生成網絡瀏覽器所請求的網頁來提供用戶界面，網絡瀏覽器接收代碼並以認識的語言(諸如動態HTML (超文本標記語言))顯示代碼；在應用伺服器上執行的中間件處理業務邏輯；並且資料庫伺服器管理數據函數。通常，業務邏輯層可以被改善為進一步分離的層以增強可管理性、可擴縮性和/或安全性。
[0204]相應地，在一些基於網絡的聽證服務中，網絡應用可以使用具有呈現層、業務邏輯層和學生記錄數據層的3層架構。網絡應用層可以被實現在單個應用伺服器上，或者可以被分布在多個應用伺服器上。例如，呈現層可以使用網頁來提供討論模態80，該網頁允許用戶請求學生響應並允許學生和教育者(例如教師或教授)之間的通信。呈現層可以通過訪問由其他應用層中的一個或多個或者由第三方服務提供商提供的可用組件或網絡服務來與該應用中的其他層(諸如業務邏輯層和/或學生記錄數據層)通信。呈現層可以與另一層通信以允許授權用戶訪問學生記錄數據和/或資料庫存儲的微能力代碼、過程、指令或協議。業務邏輯層可以通過處理命令、約束用戶訪問和評價數據來協調應用的功能。可以通過例如使用網絡服務來使業務邏輯層的功能對其他應用層來說可訪問。業務邏輯層還可以提供可對用戶進行分離和區分的邏輯、指令或安全性。同時，學生數據記錄層可以保持私有的學生記錄數據並封裝這種記錄以防未經批准的各方查看，以便遵守FERPA或其他隱私規貝U。學生記錄數據層可以通過例如可由網絡服務訪問的例如所存儲的過程、邏輯、指令等來使數據可用。
[0205]圖9是可根據本發明的實施例實施以便以基於能力的方式評價學生認知進展的方法步驟的示例。如所示的那樣，將與學生和微能力相關的對於說教測試事件的RVU傳送到學生數據記錄儲存庫(例如具有存儲器的資料庫，諸如一個或多個伺服器)並且由該學生數據記錄儲存庫收集該RVU (框208、225)。類似地，將與學生和微能力相關的對於體驗式事件的RVU傳送到學生數據記錄儲存庫並且由該學生數據記錄儲存庫收集該RVU (框210、225)。將與學生和微能力相關的對於討論事件的RVU傳送到學生數據記錄儲存庫並且由該學生數據記錄儲存庫收集該RVU (框220、225)。可以使用相同或不同的儲存庫，例如對於不同學生、學校、不同類型的學生記錄等等的不同儲存庫。可以通過按照微能力將所收集的RVU相加來針對相應的學生生成累積分析報告(框230)。可以隨時間(例如每日、每周、每月)和/或在請求時自動生成該報告。針對特定主題(例如微能力)建立滿意的認知的最小閾值可以由所定義的用戶(不是學生)隨時間改變以計及教育進展。根據如上文所討論的基於用戶的訪問特權，報告可以被定製成阻止數據或者僅呈現所限定的數據領域。報告(特別地，學生標識符存在於其中)可以被發送到電子郵件帳戶或者置於安全的(受約束的)門戶網站上。學生可以在登錄或設置時定義多久接收這樣的報告(或者這樣的報告可以基於預設動作)，或者學生可以通過訪問門戶網站來請求報告。當累積總結性報告指示一個或多個微能力得分在該時間點處低於期望閾值時，一些系統可以自動向學生發送報告。
[0206]如本領域技術人員將認識到的那樣，本發明的實施例可以被體現為方法、系統、數據處理系統或電腦程式產品。相應地，本發明可以採用整個軟體實施例或者將軟體和硬體方面(本文中通常都被稱為「電路」或「模塊」)進行組合的實施例的形式。此外，本發明可以採用將計算機可用程序代碼嵌入其中的計算機可用存儲介質上的電腦程式產品的形式。可以利用任何適當的計算機可讀介質，包括硬碟、CD ROM、光學存儲設備、傳輸介質(諸如支持網際網路或內聯網的傳輸介質)或者磁或其他電子存儲設備。
[0207]用於實施本發明的操作的電腦程式代碼可以以面向對象的程式語言(諸如Java、Smalltalk、C#或C++)編寫。然而，用於實施本發明的操作的電腦程式代碼也可以以傳統過程式程式語言(諸如「C」程式語言)或面向視覺的編程環境(諸如Visual Basic)編寫。
[0208]特定程序代碼可以整體在一個或多個用戶計算機上、部分在用戶計算機上作為獨立的軟體包裝、部分在用戶計算機上且部分在遠程計算機上、或整體在遠程計算機上執行。在後一種場景中，遠程計算機可以通過區域網(LAN)或廣域網(WAN)連接到用戶計算機，或者，可以與外部計算機進行連接(例如使用網際網路服務提供商、通過網際網路)。典型地，一些程序代碼在至少一個網絡(集線器)伺服器上執行並且一些可以在至少一個網絡客戶端上執行，並且其中，使用網際網路在(一個或多個)伺服器和客戶端之間進行通信。
[0209]下面部分地參考根據本發明的實施例的方法、系統、電腦程式產品和數據和/或系統架構結構的流程圖和/或框圖來描述本發明。將理解，可以由電腦程式指令來實現示圖的每個框和/或框的組合。這些電腦程式指令可以被提供給通用計算機、專用計算機或其他可編程數據處理裝置的處理器以產生機器，使得經由計算機或其他可編程數據處理裝置的處理器執行的指令創建用於實現在該一個或多個框中指定的功能/動作的裝置。
[0210]這些電腦程式指令還可以被存儲在計算機可讀存儲器或存儲裝置中，該存儲器或存儲裝置可以引導計算機或其他可編程數據處理裝置以特定方式工作，以使得被存儲在計算機可讀存儲器或存儲裝置中的指令產生包括實現在該一個或多個框中指定的功能/動作的指令裝置的製造品。
[0211]電腦程式指令還可以被加載到計算機或其他可編程數據處理裝置上，以使得在計算機或其他可編程裝置上執行一系列操作步驟以便產生計算機實現的過程，使得在計算機或其他可編程裝置上執行的指令提供用於實現在該一個或多個框中指定的功能/動作的步驟。可以經由具有對網際網路的訪問的任何期望設備來訪問網際網路，所述期望設備包括無線或硬連線通信系統(諸如蜂窩電話)、PDA、臺式或可攜式計算機(包括膝上型或手持計算機、筆記本計算機)等等。
[0212]參考圖10，在一些實施例中，系統10包括至少一個網絡伺服器310 (其可以由諸如Yammer?之類的在線通信提供商提供)和多個網絡客戶端3351-3352。儘管被圖示為2個網絡客戶端，但是網絡客戶端的數目可以顯著多於2並可以根據機構(參與的學生、管理者和教師/教授或其他教育者的數目)而變化，典型地，對於相應的機構，在100到10，000之間，或者甚至更多，與註冊用戶的數目相對應。一些用戶可以經由具有網站瀏覽能力的任何適當的設備來與系統10通信，所述適當的設備包括例如PDA和/或如圖10中所示的蜂窩電話3353。因此，例如，教授用戶可以在討論事件期間經由網際網路300、使用PDA(個人數字助理)筆記本或具有網絡瀏覽能力的蜂窩電話(或者掌上、膝上型或臺式計算機)來與學生用戶通信。
[0213]該至少一個網絡伺服器310可以包括單個網絡伺服器作為控制節點(集線器)，或者可以包括提供門戶網站310p的多個伺服器(未示出)。系統10還可以包括路由器(未示出)。例如，路由器可以協調關於數據交換或訪問的隱私規則。在使用多於一個伺服器的情況下，不同伺服器(和/或路由器)可以執行不同任務或者可以共享任務或部分任務。例如，系統10可以包括以下各項中的一個或多於一個的組合:安全管理伺服器、註冊參與者/用戶目錄伺服器、學生記錄管理伺服器等等。系統10可以包括防火牆和其他安全連接和通信協議。對於基於網際網路的應用，伺服器310和/或至少一些關聯的網絡客戶端35可以被配置成使用SSL (安全套接層)和高級別的加密來操作。此外，給定網際網路的普通存在的性質，網絡訪問設備可以容易地從站點移動到站點。另外，還可以提供附加的安全功能。例如，支持SSL通信或虛擬專用網(VPN)技術(諸如網際網路協議安全性架構(IPSec))的伺服器和客戶端處的通信協議堆棧的結合可以提供學生站點和其他站點之間的安全通信，由此確保私
LU O
[0214]伺服器310可以提供集中式監管和管理應用。伺服器310可以被配置成提供會話管理、跟蹤和登錄系統管理、工作負荷管理和成員服務。伺服器310可以包括多個資料庫或者與該多個資料庫進行通信，所述資料庫包括參與者/用戶簡檔、安全目錄、路由安全規則和學生記錄。伺服器310可以包括要集成到網絡系統中的若干個子伺服器，諸如但不限於網絡應用伺服器(WAS)，其可以包括IBM WebSphere應用伺服器、目錄伺服器(諸如LDAP目錄伺服器)，並可以包括匿名全球患者標識符(AGPI)伺服器、DB2伺服器和簡單郵件傳輸協議(SMTP)伺服器。注意，儘管本文中被描述為「伺服器」，但是可以使用其他適當的計算機配置。伺服器310可以被配置有在門戶站點處出現的網絡應用功能。伺服器310可以包括和/或被配置為Web Sphere業務集成(WBI)伺服器。網絡伺服器310可以包括基於網絡的監管應用。網絡應用可以被用於:允許用戶註冊為參與者、管理訪問控制列表(ACL)、使用通用ID或密碼訪問進行登錄、登出，定義簡檔偏好、搜索、參與討論事件等等。
[0215]網絡客戶端3351-3352可以與不同用戶和不同用戶類別或類型相關聯。每個類別或類型可以具有對與系統10相關聯的動作或數據的不同「特權」或訪問級別。例如，系統10可以包括學生用戶、管理者用戶和教師/教授用戶，他們中的每一個都可以具有對系統所允許的數據和/或動作的不同訪問級別或約束。
[0216]網絡客戶端3351、3352可以被分布在不同時區和州或者甚至國家中的不同地理位置處。在其他實施例中，網絡客戶端35可以處於單個教育中心。不同用戶類型可以處於不同地理位置。
[0217]如上文中所指出的那樣，客戶端可以包括網絡攝影機或攝像機，以便例如允許在某些討論或某些體驗式事件期間進行多媒體通信。
[0218]圖11圖示了可被包括在根據本發明的一些實施例操作的設備中的示例性數據處理系統或資料庫環境。如圖11中所示，可用於實施或引導集線器和/或網絡應用(例如包括管理伺服器)的操作的數據處理系統116包括處理器138、存儲器136和輸入/輸出電路146。該數據處理系統可以被合併到例如個人計算機、伺服器、路由器或具有網絡訪問/功能的其他設備中的一個或多個中。處理器138經由地址/數據總線148與存儲器136通信並且經由地址/數據總線149與輸入/輸出電路146通信。該輸入/輸出電路146可以用於使用例如網際網路協議(IP)連接來在存儲器(存儲器和/或存儲介質)136和另一計算機系統或網絡之間傳遞信息。這些組件可以是傳統組件(諸如在許多傳統數據處理系統中使用的傳統組件)，其可以被配置成如本文中所述的那樣操作。
[0219]特別地，處理器138可以是可商售的或定製的微處理器、微控制器、數位訊號處理器等等。存儲器136可以包括任何包含用於實現根據本發明的實施例使用的功能電路或模塊的軟體和數據的存儲器設備和/或存儲介質。存儲器136可以包括但不限於以下類型的設備:高速緩存、R0M、PR0M、EPR0M、EEPR0M、快閃記憶體、SRAM、DRAM和磁碟。在本發明的一些實施例中，存儲器136可以是內容可尋址存儲器(CAM)。
[0220]如圖11中進一步圖示的那樣，存儲器(和/或存儲介質)136可以包括在數據處理系統中使用的若干類別的軟體和數據:作業系統152、應用程式154、輸入/輸出設備驅動器158和數據156。應用程式可以包括用戶註冊模塊120、微能力累積分析模塊124、學生數據記錄模塊125等等。該數據156可以包括具有所定義的訪問級別的用戶簡檔126。該用戶簡檔126可以附加地或可替換地包括應用程式。
[0221 ] 數據處理系統116可以包括趨勢分析模塊(其可以是類似於上文關於圖11所討論的模塊的應用程式)，該趨勢分析模塊可以訪問電子存儲的學生測試記錄和潛在組群數據並生成測試趨勢的曲線圖的視覺輸出/顯示。趨勢可以以電子方式生成並示出在與客戶端35 (例如管理者、教授/教師或學生)相關聯的顯示器上。該趨勢可以以圖形形式存在並可以指示不及格的風險或對至少部分地基於結果而在課程中的幹預或調整的需要。系統10可以被配置成生成「標誌」，其在學生(或者學生組或特定班級)被標識為低於最小值的情況下增加報告頻率。系統10還可以被配置成經由電子郵件、郵寄郵件和/或使用文本消息或其他適當的通信協議來警示學生、顧問、教授/教師，以通知一個或多個微能力中的負面趨勢或「不及格」中的一個或多個。
[0222] 如本領域技術人員將認識到的那樣，作業系統152可以是適合於與數據處理系統一起使用的任何作業系統，諸如但不限於來自Microsoft, Inc.(Windows)、AppleComputer, Inc.(MacOS)> Wind River (Vxfforks)> RedHat (Linux)、LabView 的那些作業系統或者專有作業系統。輸入/輸出設備驅動器158通常包括由應用程式154通過作業系統152訪問以與諸如輸入/輸出電路146和特定存儲器136組件之類的設備進行通信的軟體例程。應用程式154示意了實現根據本發明的一些實施例的電路和模塊的各種特徵的程序。最後，數據156表不由應用程式154、作業系統152、輸入/輸出設備驅動器158和可駐留於存儲器136中的其他軟體程序使用的靜態和動態數據。
[0223]儘管參考圖11中的應用程式120、124、125圖示了本發明，但是如本領域技術人員將認識到的那樣，其他配置落入本發明的範圍內。例如，不是作為應用程式154，這些電路和模塊也可以被合併到作業系統152或數據處理系統的其他這樣的邏輯分類中。此外，儘管應用程式120、124、125( 122)被圖示為單個數據處理系統中的模塊，但是如本領域技術人員將認識到的那樣，這樣的功能可以被分布在一個或多個數據處理系統上。因此，本發明不應當被理解成限於圖11中圖示的配置，而是可以由數據處理系統之間的功能的其他布置和/或分類來提供。例如，儘管圖11被圖示為具有各種電路和模塊，但是在不偏離本發明的範圍的情況下，可以將這些電路或模塊中的一個或多個進行組合。
[0224]典型地，在「登載」或客戶設置期間，客戶端35被帶入到網絡或系統10中，並基於法律或組織權利而被分配有一個或多個隱私級別，以便發送和/或接收特定類型(和/或內容)的數據。組織可以包括一個或多個網絡客戶端35，每一個具有一個或多個所分配的不同隱私級別。該隱私級別可以定義該實體或與該實體相關聯的人可以接收、發送或訪問什麼數據。
[0225]現在對圖12進行簡要的參考，圖12是根據本發明的一些實施例的子組群管理器的圖形用戶界面的屏幕截圖。如所圖示的那樣，可以通過包括或排除特定個體來創建和/或修改學生組。如所圖示的那樣，沒有個體被示出為從示例子組群中排除。在一些實施例中，學生組可以用於定義交互式評價網格200的網格行(圖16，202)。
[0226]現在對圖13進行參考，圖13是根據本發明的一些實施例的在分級之後總結性報告的圖形用戶界面的屏幕截圖。注意，從該屏幕截圖編輯在「Post Auther (布告作者)」列中列出的具體布告作者。報告中的每條線都對應於在討論事件中做出的單個布告。對於每個布告，可以列出布告的類型(例如Student Post Logistics (學生布告物流)、StudentPost Content (學生布告內容)、Faculty Post Guidance (教師布告指導)、Student PostOther (學生布告其他)等等)、任何適用微能力的標識以及對應的RVU。此外，提供了評論欄位以便接收和記錄對於每個布告的任何評論。
[0227]現在對圖14進行參考，圖14是根據本發明的一些實施例的在數據被遞交給網格之前的布告驗證報告的圖形用戶界面的屏幕截圖。該布告驗證報告可以提供RVU CommitSummary(RVU提交總結)部分,其總結討論事件中的學生和對應的RVU。另外,Student Post(學生布告)部分可以提供討論事件中的每個學生以及在其中贏得的微能力和對應的RVU的詳細報告。另外，Group Overview Portion (組總覽部分)可以提供在討論事件中贏得的組總微能力和對應的RVU的詳細報告。
[0228]現在對圖15進行參考，圖15是根據本發明的一些實施例的管理遞交報告的圖形用戶界面的屏幕截圖。該用戶界面可以包括「committed (已提交)」狀態指示符以及對於所提交的討論事件中的每一個的日期、科目標識符、組標識符和分級總結的列。
[0229]現在對圖16進行參考，圖16是根據本發明的一些實施例的被解析以顯示單個系統的示例性交互式評價網格200的部分屏幕截圖。如上文所討論的那樣，因為評價網格是交互式的，所以它還可以被稱為圖形用戶界面。如所圖示的那樣，經過解析的網格表示與肌肉骨骼系統相對應的網格數據。從該屏幕編輯學生標識符(Student #)，但是該學生標識符被理解成與不同學生相對應的唯一標識符，其與網格中的行相對應。網格中的列與肌肉骨骼系統中的和/或同肌肉骨骼系統有關的子主題相對應。可以提供肌肉骨骼系統內的總點數以及與每個子主題相對應的高、低和平均點數。
[0230]現在對圖17進行參考，圖17是根據本發明的一些實施例的管理交互式評價網格的圖形用戶界面的部分屏幕截圖。網格管理器可以列出當前定義的網格中的每一個。以這種方式，單個界面屏幕可以提供多個網格被呈現以進行編輯的選擇和訪問。
[0231]現在對圖18進行參考，圖18是根據本發明的一些實施例的被解析以按照學科來分析數據的示例性交互式評價網格的部分屏幕截圖。如所圖示的那樣，經過解析的網格表示與解剖學學科相對應的網格數據。從該屏幕編輯學生標識符(Student #)，但是該學生標識符被理解成與不同學生相對應的唯一標識符，其與網格中的行相對應。網格中的列與解剖學學科中的和/或同解剖學學科有關的子主題相對應。可以提供解剖學學科內的總點數以及與每個子主題相對應的高、低和平均點數。
[0232]對圖19進行簡要的參考，圖19是根據本發明的一些實施例的圖形用戶界面的部分屏幕截圖。該用戶界面的一些實施例包括交互式評價網格的組件，其允許選擇性地查看一個或多個模態並提供對分析時間間隔的定義。例如，可以通過標識開始和停止時間和/或期望間隔的日期來選擇分析時間間隔。
[0233]對圖20進行簡要的參考，圖20是根據本發明的一些實施例的組群管理器的圖形用戶界面的屏幕截圖。如所圖示的那樣，組群管理器可以被用來確定哪些學生和教師被包括在該組群中。例如，可以選擇學生或教師姓名並且將其從被排除的窗口移動到所包括的窗口以標識組群的成員。
[0234]現在對圖21進行參考，圖21是根據本發明的一些實施例的管理交互式評價網格的圖形用戶界面的部分屏幕截圖。如所圖示的那樣，在其中，能力(諸如例如「03 AnatomyDiscipline (03解剖學學科)」可以由多個微能力定義以及/或者與多個微能力相對應，所述多個微能力可以被列出並顯示在關聯的可滾動窗口中。
[0235]現在對圖22進行參考，圖22是圖示了根據本發明的一些實施例的在項目分析已經被執行之後的原始導入的考試數據的圖形用戶界面的屏幕截圖。說教考試是給測試者呈現以使得他們可以進行二元選擇的一系列二元事件。如本文中所公開的學習管理系統與特定組群所完成的考試的結果不相關。在一些實施例中，考試的結果是簡單的定界文件，其包括對於每個測試項目的下列數據:唯一學生標識符、測試項目標識符；微能力代碼；二元選擇(O代表不正確，I代表正確)；以及相對價值單位。對於具有針對10個學生的100個問題的考試，結果文件將具有針對這4列數據的1000行。一些實施例提供:當導入文件時，可以添加三個附加項目，即:規劃標識符(學校、大學等等);考試日期；以及科目標識符。一旦原始數據被整理到數據源環境中，就將該原始數據精確地列出為原始導入文件，作為確證的第一次檢驗。如所圖示的那樣，原始導入的考試數據包括對於每個測試項目標識符的行。在一些實施例中，每個行可以包括學生的姓名(或標識符)、測試項目標識符(即，哪個考試問題)、關聯的微能力和所贏得的RVU。一旦原始數據被整理到數據源環境中，就將該原始數據精確地列出為原始導入文件，作為確證的第一次檢驗。可以以人工方式或以編程方式進行與原始定界文件的比較。[0236]對圖23進行簡要的參考，圖23是根據本發明的一些實施例的在確證的準備時檢驗原始數據報告的圖形用戶界面的部分屏幕截圖。與分級總結(其列出多少行處於原始導入顯示中)的比較可以在與考試數據相對應的數據的欠包括和/或過包括中進行識別時有用。
[0237]這時，管理者「提交」原始數據以用於從二元呈現轉換成微能力呈現。利用通過微能力的點數的總結來表示每個學生。一個考試中的多個問題可以具有相同的微能力指定。然後，依照學習管理系統以二元呈現計算出的原始點數來驗證總點數(RVU)。這樣，該步驟將各個測試項目轉換成與主題相關聯的結果。
[0238]對圖24進行簡要的參考，圖24是圖示了根據本發明的一些實施例的在提交數據之前的RVU提交總結屏幕的圖形用戶界面的屏幕截圖。注意，在數據被提交之前(如由狀態「Not Committred (未提交)」指示)，RVU提交總結中的RVU被顯示為0.0。
[0239]現在對圖25進行參考，圖25是圖示了根據本發明的一些實施例的由微能力代碼收集且合併的數據的圖形用戶界面的部分屏幕截圖。學生得分被顯示以供管理者或其他評價者提交數據。對於每個學生，指示了總RVU，並且列出了對於每個微能力的RVU。一些實施例提供了批准界面，諸如例如按鈕或複選框。作為分開的步驟，管理者利用檢驗步驟來人工確證RVU的數字是正確的。
[0240]現在對圖26進行參考，圖26是圖示了根據本發明的一些實施例的由微能力代碼收集且合併並且已被驗證以向所有學生提供正確得分的數據的圖形用戶界面的屏幕截圖。注意，每一個學生複選框都被選擇，指示數據已經被驗證。另外，參考圖27，圖27是圖示了根據本發明的一些實施例的包括準備好提交到網格的得分的RVU提交總結屏幕的圖形用戶界面的部分屏幕截圖，當數據被檢驗時，其將點數移動到提交總結數據頁面以用於一個其餘的檢驗。
[0241]在確證之後，將每個數據元素隨唯一標識符一起存儲到公共數據儲存庫。可以基於特定網格的規則來在網格中表示該數據。例如，該考試數據可以在考試數據應當被顯示在其中的網格中解析。
[0242]必須認識到確證步驟的重要性。作為結果的網格依賴於微能力代碼向考試項目的正確分配以及用於表示的該數據的聚合。可以基於網格數據來做出關於學生弱和強的重要決定。聚合數據頁面將學生點數與特定學生相關聯。當管理者對數據是正確的感到滿意時，他們會將等級報告「提交」給網格以用於顯示。導入文件被加標籤為「已提交」，並且遇到下一文件。
[0243]前述內容示意了本發明並不應被理解成對本發明的限制。儘管已經描述了本發明的幾個示例性實施例，但是本領域技術人員將容易地認識到，在實質上不偏離本發明的新穎教導和優點的情況下，在示例性實施例中許多修改是可能的。相應地，所有這樣的修改意圖被包括在如權利要求中所限定的本發明的範圍內。在權利要求中，這裡所使用的裝置加功能條款意圖覆蓋本文中被描述為執行所記載的功能的結構，以及不僅結構等同物而且還有等同結構。因此，應當理解，前述內容示意了本發明並且不應被理解成限於所公開的特定實施例，並且對所公開的實施例以及其他實施例的修改意圖被包括在所附權利要求的範圍內。本發明由下面的權利要求限定，其中權利要求的等同物被包括在其中。
【權利要求】
1.一種用於提供用於評價學生能力的數據的方法，包括: 針對至少一個學生生成評價網格，該網格包括多個不同微能力、與所述多個不同微能力中的對應的一些微能力相關聯的多個得分，所述多個得分與至少一個說教事件、至少一個體驗式事件和至少一個討論事件相對應， 其中生成評價網格是使用至少一個計算機處理器來執行的。
2.根據權利要求1所述的方法， 其中對於所述多個不同微能力中的對應的一些微能力的多個得分中的一些是相對教育價值(RVU)得分， 其中用於生成相應得分的所述至少一個說教事件、所述至少一個體驗式事件和所述至少一個討論事件中的每一個與標識與所述多個不同微能力中的一些微能力和RVU得分相對應的主題代碼的元數據代碼相關聯；以及 其中生成評價網格是使用所述元數據代碼來執行的。
3.根據權利要求1所述的方法，還包括: 隨時間累積與相應學生相關的不同說教事件、體驗式事件和討論事件的RVU得分；以及 基於所累積的RVU得分來更新所述評價網格。
4.根據權利要求3所述的方法，其中以基本上規則的周期性間隔來自動地以電子方式更新所述網格。
5.根據權利要求4所述的方法，其中基本上規則的周期性間隔是至少每周一次的間隔，以便反映與所述多個不同微能力中的一些微能力相對應的學生得分的變化.其中來自每個事件的RVU得分是時間歸一化的得分；以及 其中說教和體驗式RVU得分基於測試和體驗事件的二元表徵.
6.權利要求6缺失。
7.根據權利要求2所述的方法， 其中體驗式環境RVU得分基於對困難的預定義評估和所估計的完成相應體驗式任務的時間，以及 其中體驗式任務與對應於所述多個不同微能力中的一些微能力的多於一個主題代碼相關聯.
8.根據權利要求2所述的方法，其中討論環境RVU得分基於在評價學生在線討論之後分配的學生的用戶定義的RVU得分.
9.根據權利要求1所述的方法，其中所述網格是交互式網格，所述方法還包括允許用戶在所述網格中選擇用於展示相應微能力和/或學生的潛在支持數據的單元.
10.根據權利要求1所述的方法，還包括以具有與所定義的狀態相關聯的顏色的相應微能力顯示具有單元的網格.
11.根據權利要求10所述的方法，其中所定義的狀態與學生在包括該學生的多個學生中的多個其他學生當中的相對表現相對應.
12.根據權利要求11所述的方法，其中所述相對表現基於所述多個學生的RVU得分的標準差，其中使用與被標識為低於統計定義的最小值的得分相對應的第一顏色、與高於統計的得分相對應的第二顏色、與高於統計定義的優秀閾值的得分相對應的顏色來顯示處於相應微能力的網格中的單元.
13.根據權利要求12所述的方法，其中使用與被標識為低於除統計定義的最小值之外的非統計定義的最小值的得分相對應的第一顏色來顯示處於相應微能力的網格中的單元.
14.根據權利要求12所述的方法，其中使用與高於除統計定義的優秀閾值之外的非統計定義的優秀閾值的得分相對應的第三顏色來顯示處於相應微能力的網格中的單元.
15.一種提供用於評價學生在主題中的能力的數據的方法，該方法包括: 通過隨時間以電子方式標識對於多個不同微能力的多個元數據代碼中的關聯的一些元數據代碼來獲得對於不同的所定義的微能力的相對教育價值單位(RVU)得分，所述多個不同微能力與來自說教、體驗式和討論環境的學生標識符相關；以及與支持報告相關聯地存儲所獲得的RVU得分， 其中獲得RVU得分和存儲RVU得分中的至少一個是使用至少一個處理器來執行的.
16.根據權利要求15所述的方法，還包括基於RVU得分來生成累積分析網格.
17.根據權利要求16所述的方法，其中生成累積分析網格包括: 將對於多個不同微能力中的相應的一些微能力的來自說教、體驗式和討論環境中的每一個的RVU得分進行數學求和；以及對於相應學生的累積數據.
18.根據權利要求15所述的方法， 其中說教RVU得分基於測試事件的二元表徵，以及 其中體驗式RVU得分基於體驗式事件的二元表徵.
19.根據權利要求15所述的方法，其中獲得相對教育價值單位(RVU)得分包括: 接收與每個說教事件相對應的考試數據文件，該考試數據文件包括唯一學生標識符、測試項目標識符、與測試項目相對應的微能力代碼和二元答案選擇值.
20.根據權利要求19所述的方法，還包括: 將所接收到的考試數據文 件修改為包括規劃標識符、考試日期和科目標識符中的至少一個；以及 存儲經過修改的考試數據文件.
21.根據權利要求20所述的方法，還包括: 通過將經過修改的考試數據文件中的內容與考試數據文件的內容進行比較來以編程方式確證該經過修改的考試數據文件.
22.根據權利要求20所述的方法，還包括顯示考試數據文件的內容以供用戶確證.
23.根據權利要求20所述的方法，還包括: 接收提交輸入；以及 響應於接收到提交輸入，將來自經過修改的考試數據文件的數據轉換成通過微能力而相關的總結數據以提供與主題相關聯的結果.
24.根據權利要求23所述的方法，還包括: 接收指示通過微能力而相關的總結數據被批准的確證輸入；以及響應於接收到確證輸入，生成將與總結數據相對應的RVU得分同對應的學生相關聯的聚合數據.
25.根據權利要求24所述的方法，還包括: 接收指示聚合數據被批准的提交輸入；將與聚合數據、總結數據和/或經過修改的考試數據相對應的文件加標籤為已提交；以及 基於聚合數據中的RVU得分來更新累積分析網格.
26.—種電路，被配置成基於與來自說教、體驗式和討論環境的學生標識符相關的多個不同微能力來隨時間生成與學生的認知能力相關聯的多個所定義的教育主題的交互式累積網格.
27.一種用於提供基於能力的學生評價的電腦程式產品，該電腦程式產品包括: 非瞬變計算機可讀存儲介質，在該介質中體現有計算機可讀程序代碼，該計算機可讀程序代碼包括: 基於對與所定義的關聯微能力主題代碼相關聯的說教測試事件的評價和相對教育價值單位來生成總結性分級輸出的計算機可讀程序代碼； 基於對與所定義的關聯微能力主題代碼相關聯的體驗式個體體驗元素的評價和相對教育價值單位來生成總結性分級輸出的計算機可讀程序代碼； 基於對與所定義的關聯微能力主題代碼相關聯的個體討論事件的評價和相對教育價值單位；以及 生成使用總結性分級輸出的累積分析學生評價網格的計算機可讀程序代碼.
28.根據權利要求27所述的電腦程式產品，其中使用總結性分級輸出的累積分析學生評價網格包括以具有與所定義的狀態相關聯的顏色的相應微能力顯示的網格中的單元.
29.根據權利要求28所述的方法，其中所定義的狀態與學生在包括該學生的多個學生中的多個其他學生當中的相對表現相對應，所述相對表現基於所述多個學生的相對教育價值單位的標準差、與所述多個其他學生無關地定義的非統計定義的最小值、以及與所述多個其他學生無關地定義的非統計定義的優秀閾值.
30.一種教育分析系統,包括: 利用至少一個伺服器 的至少一個基於網絡的服務，所述至少一個伺服器被配置成接受來自教授/教師和學生的電子輸入以與基於網絡的服務進行通信來交互地參與同學生和學生組的定時討論事件，並且其中該系統被配置成提供輸入窗口以允許教授/教師針對參與討論事件的每個學生和每個學生組輸入對於相應討論事件的微能力代碼和相對教育價值單位得分.
31.根據權利要求30所述的教育分析系統，其中所述至少一個基於網絡的服務還被配置成使用元數據代碼來使所定義的個體體驗式事件與微能力代碼中的關聯的一個微能力代碼和相對教育價值單位中的至少一個相對教育價值單位有關.計算機，包括: 處理器，其被配置成執行電腦程式代碼；以及 顯示設備，其被配置成針對學生顯示交互式累積能力網格。
【文檔編號】G06Q50/20GK103477362SQ201280014075
【公開日】2013年12月25日 申請日期:2012年3月22日 優先權日:2011年3月22日
【發明者】R.T.小沃特金斯 申請人:東卡羅萊娜大學