在線課程用戶作業互評智能分發、評價方法與系統與流程

2023-05-14 16:03:31

本發明涉及一種在線課程用戶作業互評智能分發、評價方法與系統。
背景技術：
：目前，主流的在線課程教學平臺的作業互評系統設計均為基於功能性的實現，即互評流程的實現，主要包含兩個部分：隨機分發模塊、最終成績評定。例如，coursera平臺採用隨機分發，取中位數作為最終成績的方案。中國大學mooc平臺採用隨機分發，將在同伴所評定的分數中取中位數或者平均數，作為該份作業的最終成績。好大學在線平臺同樣採用隨機分發，去除掉同伴所評分數中的最高分和最低分，再取平均分作為該份作業的最終成績。在線課程教學平臺的作業互評分發和評價模型，一方面作業採取隨機分配，每份作業被分配到的同伴各自批改能力不同，難以保證同伴互評的公平性；另一方面取平均值或者中位數作為作業成績，每份作業的評價結果可能過高或者過低，難以保證作業互評結果的準確性。鑑於上述的缺陷，本設計人積極加以研究創新，以期創設一種在線課程用戶作業互評智能分發、評價方法與系統，使其更具有產業上的利用價值。技術實現要素：為解決上述技術問題，本發明的目的是提供一種提高作業分配結果的公平性，並且減少作業互評結果的誤差，提高準確度的在線課程用戶作業互評智能分發、評價方法與系統。本發明在線課程用戶作業互評智能分發、評價方法，包括：若干用戶分在同一各評分組，獲取該評分組中每一個用戶對作業的批改記錄；基於所述批改記錄，通過用戶批改能力值算法，得到每個用戶的批改能力評估值；向用戶分配待批改作業，其中待批改作業的分配原則為：用戶不批改自己的待批改作業，以及一份待批改作業對應所有評分用戶的批改能力值之和與另一份待批改作業對應所有評分用戶的批改能力值之和之間的差值的絕對值不大於設定的閾值；結合各用戶的批改能力評估值和對該批改作業的評分值，得到該作業的最終分數。進一步地，還包括存儲待批改作業的詳細信息，所述待作業的詳細信息至少包括：作業的布置人、作業要求、作業的開始時間、作業的結束時間、用戶提交作業的時間、用戶提交作業的次數、用戶每次提交作業的內容。進一步地，所述用戶批改能力值算法具體包括：利用sigmoid函數來定義批改能力值，其中，sigmoid函數的輸入值為用戶對作業的評分與標準得分之間差的絕對值，該函數的數學表達為：其中，x為用戶打分與標準值之間偏差的絕對值，rank則為輸出的用戶批改能力值；如果用戶沒有批改記錄，則該用戶批改能力值初始值為該批改組內其他有批改記錄的用戶的批改能力值的平均值。進一步地，所述預定閾值的計算公式如下：其中，n為每一位用戶需要批改的待批改作業份數，μmax，μmin分別為一份待批改用戶對應的用戶的批改能力評估值中的最大值和最小值。進一步地，通過各評分用戶的批改能力評估值和對該作業的評分值，得到改作業的最終分數，具體包括：獲取對被評分作業進行評分的各評分用戶的批改能力評估值，對每一位評分用戶的批改能力評估值進行歸一化，其中歸一化公式如下：μi為第i個評分用戶的批改能力評估值，為所有評分用戶的批改能力評估值之和；採用如下公式得到最終被評分作業的得分，其中τi為第i個評分用戶的歸一化批改能力評分值，hi為第i個評分用戶對該作業的評分值。本發明在線課程用戶作業互評智能分發、評價系統，包括：作業批改記錄獲取模塊，用於獲取評分用戶對作業的批改記錄；批改能力評估模塊，用於基於所述批改記錄，通過用戶批改能力值算法，得到各評分用戶的批改能力評估值；批改分配模塊，用於將作業分配給預訂的評分用戶進行評分，分配原則為：用戶不批改自己的待批改作業，以及一份待批改作業對應所有評分用戶的批改能力值之和與另一份待批改作業對應所有評分用戶的批改能力值之和之間的差值的絕對值不大於設定的閾值；評分結果輸出模塊，用於將評分結果進行輸出。進一步地，批改能力評估模塊，包括sigmoid函數運行單元以及平均算法運行單元，所述sigmoid函數運行單元，用於輸入值為用戶對作業的評分與標準得分之間差的絕對值，該函數的數學表達為：其中，x為用戶打分與標準值之間偏差的絕對值，rank則為輸出的用戶批改能力值；所述平均算法運行單元，用於在用戶沒有批改記錄時，計算該批改組內其他有批改記錄的用戶的批改能力值的平均值為該用戶批改能力值初始值。進一步地，評分結果輸出模塊包括歸一化處理單元、結果輸出單元，所述歸一化處理單元，用於獲取對被評分作業進行評分的各評分用戶的批改能力評估值，對每一位評分用戶的批改能力評估值進行歸一化，其中歸一化公式如下：μi為第i個評分用戶的批改能力評估值，為所有評分用戶的批改能力評估值之和；結果輸出單元，用於採用如下公式得到最終被評分作業的得分，其中τi為第i個評分用戶的歸一化批改能力評分值，hi為第i個評分用戶對該作業的評分值。藉由上述方案，本發明在線課程用戶作業互評智能分發、評價方法與系統至少具有以下優點：1、與隨機分配方案相比，本發明基於貪心策略的作業分配方案的標準差要小很多，即分配結果的穩定性上效果顯著，分配結果更加公平。2、本發明通過採用sigmoid模型建立的用戶批改能力值進行線性加權得到的作業分數誤差優於常規的平均值法和中位數法，即作業互評結果更準確。上述說明僅是本發明技術方案的概述，為了能夠更清楚了解本發明的技術手段，並可依照說明書的內容予以實施，以下以本發明的較佳實施例並配合附圖詳細說明如後。附圖說明圖1是本發明在線課程用戶作業互評智能分發、評價系統框圖；圖2是本發明在線課程用戶作業互評智能分發、評價方法與系統的絕對差分配圖；圖3是本發明在線課程用戶作業互評智能分發、評價方法與系統的sigmoid函數曲線圖；圖4是本發明在線課程用戶作業互評智能分發、評價方法與系統的能力值分配圖。具體實施方式下面結合附圖和實施例，對本發明的具體實施方式作進一步詳細描述。以下實施例用於說明本發明，但不用來限制本發明的範圍。本發明作業分配算法作業互評分配算法的目標與條件約束表述為：所有用戶都參與互評操作，而且每位用戶批改的作業數相同，每份作業被批改的次數也相同，並儘量使得對於不同的作業，其中每份作業所有批改者的批改能力值之和接近。為了達到設定的目的，我們通過採用一種貪心策略來趨近最優值：評分用戶本人在不會批改自己的作業的前提下，每一次進行作業分配都讓能力值最高的用戶去批改當前批改能力值之和最小的作業。同時滿足每個人批改作業數不超過設定值，每份作業被批改數不超過設定值。模擬實驗假設共有1000份作業要批改(即共有1000名用戶)，每份作業被批改5次，用該算法分配評閱人，評閱人的平均打分能力的標準差可以大幅度減小。算法的模擬實驗結果如下：算法對打分誤差的均值沒有明顯提高，對標準差的提高很明顯，即提高了作業分配結果的公平性。實施例1本實施例在線課程用戶作業互評智能分發、評價方法，包括：獲取評分用戶對作業的批改記錄；基於所述批改記錄，通過用戶批改能力值算法，得到各評分用戶的批改能力評估值；基於所述批改記錄，通過作業質量估計算法，得到作業的質量；建立用戶批改能力值與作業的質量估計結合，進行作業分配。在保證評分用戶本人不會批改自己的作業的前提下，採用預定的作業分配算法分配作業進行評分，保證每份作業所有的評分用戶的批改能力值之和接近，讓能力值最高的用戶去批改當前批改能力值之和最小的作業。所述用戶批改能力值算法具體包括：利用sigmoid函數來定義批改能力值，其中，sigmoid函數的輸入值為用戶對作業的評分與標準得分之間差的絕對值，該函數的數學表達為：其中，x為用戶打分與標準值之間偏差的絕對值，rank則為輸出的用戶批改能力值。獲取對被評分作業進行評分的各評分用戶的批改能力評估值，對每一位評分用戶的批改能力評估值進行歸一化，其中歸一化公式如下：μi為第i個評分用戶的批改能力評估值，為所有評分用戶的批改能力評估值之和。採用如下公式得到被評分作業的得分，其中τi為第i個評分用戶的歸一化批改能力評分值，hi為第i個評分用戶對該作業的評分值。輸入：700份作業，2183條互評記錄，其中400份作業有課程老師批改的成績。輸出：採用sigmoid模型建立用戶批改能力值的分布情況，以及在其支配下作業互評的誤差分析。共144名參與作業互評的用戶數據，統計用戶評分與教師標準評分之間的差異。81.25％的用戶評分與教師標準評分誤差的絕對值在15％以內，這部分用戶的誤差絕對值中位數約為6.25％。引入sigmoid函數將誤差絕對值映射入[0，1]區間內，使得在誤差絕對值在中位數6.25的位置上，用戶的批改能力值為0.5，建立用戶批改能力值定義為：其特徵曲線如圖3所示。基於該模型對數據集中的144位用戶進行批改能力值評估，採用sigmoid模型建立的用戶批改能力值的分布更為合理，有較好的區分度。以上述sigmoid模型建立的用戶批改能力值作為權重，對數據集中的每份作業通過線性加權計算其得分值。對於任意一份作業h，假設參與批改的用戶總數n，評分值分別為{h1，h1......，hn}，n位用戶的批改能力值分別為{μ1，μ2，...，μn}，則對每一位用戶的批改能力值進行歸一化：該份作業的得分為：當sigmoid函數在自變量取值[0，5]內時，能力值＞0.5；當sigmoid函數在自變量取值在[5，10]內時，能力值＜0.5。用戶對作業的評分與標準得分之間差的絕對值，除兩個異常點外，大部分都落入[0，10]區間內。對計算得到的作業最終得分集合，以原始評分中的平均值和中位數作為對照組，進行均方誤差mse與平均絕對百分誤差mape的分析。誤差分析指標平均值組中位數組能力值線性加權組mse124.9167.6447.94mape8.84％7.76％6.19％通過採用sigmoid模型建立的用戶批改能力值進行線性加權得到的作業分數誤差優於常規的平均值法和中位數法。實施例2本實施例在線課程用戶作業互評智能分發、評價系統，包括：作業批改記錄獲取模塊，用於獲取評分用戶對作業的批改記錄；批改能力評估模塊，用於基於所述批改記錄，通過用戶批改能力值算法，得到各評分用戶的批改能力評估值；批改分配模塊，用於將作業分配給預訂的評分用戶進行評分，分配原則為：用戶不批改自己的待批改作業，以及一份待批改作業對應所有評分用戶的批改能力值之和與另一份待批改作業對應所有評分用戶的批改能力值之和之間的差值的絕對值不大於設定的閾值；評分結果輸出模塊，用於將評分結果進行輸出。批改能力評估模塊，包括sigmoid函數運行單元以及平均算法運行單元，所述sigmoid函數運行單元，用於輸入值為用戶對作業的評分與標準得分之間差的絕對值，該函數的數學表達為：其中，x為用戶打分與標準值之間偏差的絕對值，rank則為輸出的用戶批改能力值；所述平均算法運行單元，用於在用戶沒有批改記錄時，計算該批改組內其他有批改記錄的用戶的批改能力值的平均值為該用戶批改能力值初始值。評分結果輸出模塊包括歸一化處理單元、結果輸出單元，所述歸一化處理單元，用於獲取對被評分作業進行評分的各評分用戶的批改能力評估值，對每一位評分用戶的批改能力評估值進行歸一化，其中歸一化公式如下：μi為第i個評分用戶的批改能力評估值，為所有評分用戶的批改能力評估值之和；結果輸出單元，用於採用如下公式得到最終被評分作業的得分，其中τi為第i個評分用戶的歸一化批改能力評分值，hi為第i個評分用戶對該作業的評分值。本實施例在具體應用中的應用，採用本方案只需要教師在交互英語平臺上布置互評作業，學生在平臺上提交作業後評價系統分配的同伴作業即可。布置互評作業教師登陸交互英語平臺後，在作業模塊下，選擇布置寫作作業、上傳作業、口語作業中的任一種，填寫作業的名稱、作業要求，選擇參與作業的班級以及學生互評方式評價作業，設置互評作業的提交開始時間、互評開始時間和評價截止時間。學生提交作業學生登陸交互英語平臺後，在作業模塊下，點擊作業名稱後查看作業要求並提交作業。學生評價作業作業評價日期開始後，學生登陸交互英語平臺，在作業模塊下，點擊作業名稱，即可查看自己的作業評價情況，評價系統分配到的同伴作業。作業互評結束後，學生可以查看同伴給自己作業的評價結果。以上所述僅是本發明的優選實施方式，並不用於限制本發明，應當指出，對於本
技術領域：
的普通技術人員來說，在不脫離本發明技術原理的前提下，還可以做出若干改進和變型，這些改進和變型也應視為本發明的保護範圍。當前第1頁12