同儕審查

同儕審查（peer review）是磨課師很重要的一個機制，因為修課人數很多，不可能讓老師或助教親自改作業，透過同儕審查的方式讓學員回答與互相批改開放式問題。另外，所謂教學相長，透過同儕互評機制也可以讓學生學習更多。

本章分兩部分解說。第一部分介紹開放式問題評分，第二部分介紹其使用的步驟。

一、開放式問題評分

開放式問題評分(Open Response Assessment，ORA)能夠讓教師在未提供明確答案的問題中，由學生自行批改自己的作答內容，或是批改其他學生的作答內容。因此，此方式可分成自我評分（self assessment）與同儕評分（peer assessment）。自我評分是指學生依據您建立的評分準則（rubric），自行給分。同儕評分則是學生依據您建立的評分準則（rubric），批改其他同學的作答內容。此題型能夠提交文字答案、或圖片與文字答案。請留意，學生必須提交作答內容後，才能夠開始評分。

在開放式問題評分當中，學生通常只能看到自己的答案與同儕評分時所評估的同儕答案。您也可以允許學生查看同儕當中所得最高分的答案。

建立開放式問題評分的相關說明，請參閱以下步驟：

ORA 的組成元件

• 問題描述
• 評分準則
• 一個或多個評分步驟，可以包含學生訓練、同儕評分與自我評分。

注意 如果您加入了學生訓練評分，您也必須要加入同儕評分項目，而學生訓練評分將會成為第一個評分項目。

問題描述

此題型的步驟稍微繁瑣，請依照平台指引的步驟，完成建立此題型。 首先，請撰寫問題。您希望學生回答的 問題描述 或問題將會顯示在最上方，接下來的空格是學生寫入答案的區塊。

注意：如果學生需要上傳圖片，則圖片檔案類型必須為JPG或PNG格式，檔案大小必須小於5MB。

當您撰寫問題時，可以包含一些幫助訊息，例如學生提交答案後可能預期的情況或是回答問題的基本字數。（一個答案不可超過10,000個字元）

若要求學生上傳圖片作為一部份的答案，請注意以下事項：

• 目前您無法強制規定學生上傳圖片，只能開放圖片上傳的功能。
• 所有的答案都必須包含文字，學生不能只上傳一張圖片作為答案。
• 學生一次只能上傳一張圖片作為答案。

注意:目前情況下，學生上傳的圖片無法在課程群組中顯示。而圖片在課程組件中的作業區塊也是不可見的，並且也不包含在課程資料。

評分準則

問題撰寫完畢後，接下來要所設定評分準則 (criteria)。同樣的評分準則（Rubric）能夠用於同儕與自我評分。評分準則會在學生開始評分時出現，學生必須根據此準則批改同儕的答案。

評分準則是由評分標準(評分項目與項目說明)與 分數選項 組成。

• 每一個評分準則都包含評分名稱(criterion name)、項目說明和一至多個分數選項。
• 評分名稱用來作為評分標準的項目名稱，例如＂見解＂或＂內容＂。評分名稱通常以名詞表示，而且必須是唯一的，因為平台採用評分名稱做為成績識別。也就是說，當學生完成同儕評分時，評分名稱不會出現於評分規則，而是顯示於學生的最終成績頁面。
• 項目說明用來描述各個評分名稱的意涵。
• 分數選項為適合各個作答內容的分數程度。

• 每一個選項都包含 名稱、說明文字與分數。

同一個問題中不同的評分標準可以有不同數量的評分選項。如上圖，第一個評分標準有三個選項而第二個評分標準有四個選項。

注意：您也可以提供沒有評分選項的評分標準，但必須包含一個使學生輸入回饋意見的欄位。

您可以看到下圖，您存取個別學生的分數訊息時，顯示的評分準則名稱與選項名稱。

當您建立您的評分準則時，需要決定每個評分選項所取得的分數，並且確保每個評分選項的說明文字盡可能的具體。例如，一個評分標準與評分選項的設定可能如下。

評分標準

評分標準描述在一個準則下不同的作答的給分建議。

評分標準名稱：出處

問題描述：此答案是否解釋百年戰爭的起源？（五分）

評分選項

評分步驟

在您的問題中，您可以指定評分步驟。您可以設定學生訓練、同儕評分和自我評分。

當您查看問題時，可以看到評分的類型與順序。如下的範例顯示，學生提交答案後，須完成學生訓練項目（學習評分答案）、評估其他學生的答案以完成同儕評分項目（評分同儕），最後是完成自我評分項目（評分您自己的答案）。

如果您設定了一個學生訓練評分項目，您也必須設定一個同儕評分項目。並且學生訓練評分項目必須於同儕與自我評分項目之上。

學生訓練步驟

當您建立一個同儕評分項目時，您可以包含一或多個學生訓練步驟，以幫助學生學習履行自己的評估義務。一個學生訓練步驟包含一或多個您所設定的範例答案，再加上您所給予答案的分數。學生檢閱這些答案並嘗試按照您評分的方式給分。

如果您設定了一個學生訓練步驟，您也必須設定一個同儕評分。並且學生訓練必須於同儕與自我評分之上。

在學生訓練步驟中，學生提交答案後，會立即出現學習評分答案的步驟。學生會看到您所建立的範例答案並伴隨著評分準則，而您所給予的答案分數將不會顯示。另外學生也能看到他（或她）所必須評分的範例答案數量。

學生為每一個評分標準選擇一個評分選項，之後點擊比較您與教師之間的選項按鈕。如果學生所選擇的選項與教師的選擇完全相符，則下一個範例答案將會自動開啟。

若學生的選擇有任一個與教師選擇不同，則學生需要再次檢閱範例答案，範例答案上方會出現以下訊息：

學習評分答案 您對答案的評估與教師不同。請檢視答案並思考為何教師的評估方式不同，然後再試著評估一次。

對於每一個評分標準，取決於是否該學生的選擇與教師的相符，學生可以看到以下兩種訊息之一：

code-block:: xml

選取的選項不同 您所選擇的選項與教師所選擇的並不相同。

code-block:: xml

選取的選項相同 您所選擇的選項與教師所選擇的相同。

如下圖，這個學生選擇了一個正確的選項和一個不正確的選項。

此學生需繼續嘗試評分範例答案直到所有評分標準的評分選項與教師的相同。

同儕評分項目步驟

在同儕評分步驟中，學生檢閱其他學生的答案，並按照您所設定的評分準則，為每個評分標準選擇評分選項。學生也能夠對同儕答案提供文字回饋或意見評論。

需評數與被評數

• 當您設定一個同儕評分項目時，您需設定每個學生需要評分同儕答案的數量與學生答案需要被多少同儕評分的數量。
• 部分學生可能提交答案後不進行同儕評分的步驟，導致部分答案不會收到所需的被評數。為了增加所有答案接收到所需被評數的機率，您必須將學生的需評數設定高於被評數。例如，如果您需要每個答案收到三個同儕評分，則您能夠將學生需評估的數量設定為五個同儕答案。
• 如果所有的答案都被同儕評分過，但仍有部分學生未完成需評分的數量，他們可以評估已被同儕評分過的答案。學生可以在查看他的分數時看見額外的同儕評分，但這並不列入答案的分數計算。

回饋選項

預設情況下，學生可以在整個評分準則下方看到一個備註欄。您也可以為一至多個評分標準設定個別的備註欄。此備註欄最多包含300個字元。

備註欄將會出現於評分標準的下方。如下圖所示，兩個評分標準皆含有一個備註欄，而最下方也有對於整體答案的備註欄。

同儕評分方式

同儕評分是以評分標準所給分的，單一評分標準的分數是每位同儕評分者給分的平均。例如，評分標準的"理念"項目從第一位同儕評分接收到10分、第二位同儕接收到7分、第三位8分，則該評分標準的得分為8。

一位學生同儕評分項目最終的分數為各個評分標準平均數的總和。

例如，一個答案可能收到的同儕評分如下：

• 評分標準名稱
  • 同儕 1
  • 同儕 2
  • 同儕 3
  • 平均
• 理念（最高10分）
  • 10
  • 7
  • 8
  • 8
• • 內容（最高10分）
  • 7
  • 9
  • 8
  • 8
• • 文法（最高5分）
  • 4
  • 4
  • 5
  • 4

計算最終分數，每個評分準則的平均數相加：

理念平均(8/10) + 內容平均(8/10) + 文法平均(4/5) = 最終分數(20/25)

評分額外的答案

學生可以評分超過需評分的數量。學生完成同儕評分步驟時，該項目會＂摺疊＂，只有標題評量同儕是可見的。

若學生點擊評量同儕標題，則項目展開，學生能夠點擊繼續評量同儕按鈕。

自我評分步驟

在自我評分步驟中，學生可以看到自己的答案與您設定的評分標準。與同儕評分相同，學生根據評分準則，為每個評分標準選擇選項以評估自己的答案。

若您同時設定了同儕與自我評分，我們建議您將同儕評分項目設置於自我評分項目之前。

高分的回覆

您可以設置高分的回覆欄位，顯示此問題中學生所提交獲得最高分的答案。學生完成此問題的每個步驟後，高分的回覆欄位將會顯示於學生成績信息之下方。

您可以允許高分的回覆欄位顯示1至100個答案。但是請記住，列表中的每個答案至多只有300像素的高度。（對於更長的答案，學生可以捲動以觀看整體答案）我們建議您設定顯示20個或更少的答案以防止頁面過於冗長。

高分的回覆可能需要長達一小時才會出現於高分的回覆列表。

二、步驟

建立一個開放式問題評分的步驟：

1. 建立組件：再進階的地方選擇開放式評分組件。
2. 新增問題描述：描述你的問題，例如「請申論暖化所帶來的影響」。
3. 新增評分準則：例如資料的正確性、文章的條理、資料的完整性等。
4. 設定同儕評分組件：例如繳交的時間、評分的時間等。
5. 測試問題：

步驟 1. 建立組件

要建立開放式問題評分組件你必須:

1. 在Studio，建立一個單元以建立開放式評分組件。
2. 在 新增組件, 點擊 問題, 點擊 進階 分頁, 在點擊同儕互評.
3. 再出現的問題組件中, 點擊 編輯.

步驟 2. 新增問題描述

要新增問題描述你必須:

1. 在開放式問題評分組件中, 點擊問題描述 分頁.
2. 新增問題描述在文字編輯欄位中。取代其中的預設文字。

新增格式化的文字或圖片在問題描述

目前，你無法新增格式化的文字或圖片在問題描述中。 如果你想要新增格式化的文字或圖片在你的問題描述中，你可以新增HTML組件並寫上你的文字再將他放在同儕評分組件上並把問題描述 分頁之文字刪除.關於同儕評分的描述將會以HTML組件的形式出現在 您的回覆 之上.

允許學生回應圖片(可選的)

為了允許學生回應圖片你必須:

1. 在組件編輯器中，點擊 設定分頁.
2. 並在允許影像回覆, 選擇 是.

注意

• 此問題檔案必須為 .jpg 或 .png檔, 並寫它必須小於5 MB.
• 目前, 課程員工不能夠查看任何學生上傳的圖片。圖片是不可以在課程組件上查看的，並且它們也不會被包含在課程資料中。
• 你可以允許學生上傳圖片，但是你不能要求學生上傳圖片。
• 學生只能上傳一個圖片。所有回覆都必須有文字。學生不能只上傳圖片。

步驟 3. 新增評分準則

在這個步驟, 你將要新增你的評分準則並且提供你的學生回饋選擇。

在以下步驟中，你必須將以你的文字取代預設的文字。

注意 所有的開放式問題評分包含一個回饋欄位在評分準則下面，以讓學生可以在評分後提供回饋。你也可以允許或是要求學生去提供回饋。 請參考以下的步驟 2.4。

為了增加評分準則你必須:

• 在組件編輯器中，點擊 評分準則分頁.
• 在第一個 評分標準 部分中, 輸入名稱和描述文字以成為你的第一個評分標準。
• 在第一個 評分選項 部分中, 輸入名稱和說明文字與分數以成為你的第一個評分選項。
• 在下一個 評分選項 部分中，輸入名稱和說明文字與分數以成為你的這個評分選項。重複步驟4 為每個評分選項. 如果你需要新增評分選項點及增加評分選項.

• 下一步在此評分標準的回饋,選擇你想要的選項。

  • 如果你不需要學生提供此評分標準的回饋，選擇 無.
  • 如果你認為學生需要提供此評分標準的回饋，選擇 需要.
  • 如果你允許學生提供此評分標準的回饋，但是不是必須的選擇 可選擇的.

• 如果你需要加入更多的評分表準，點擊，在評分標準之後的 增加評分標準。並依照步驟2-6的指示以加入其餘的評分標準。

步驟4. 設定同儕評分組件

設定組件名稱與回應日期

要設定組件名稱與回應的開始與結束日期你必須:

• 在元件編輯器，點擊 設定 分頁。
• 在 顯示名稱, 輸入此評分元件的名稱。
• 在 回覆開始日期 和 回覆開始時間, 輸入你要讓學生可以開始回答問題的時間與日期。 注意:所有的時間都是以(UTC)為準。
• 在回覆截止日期 和回覆截止時間, 輸入你要讓學生必須在之前回答問題的時間與日期。 注意:所有的時間都是以(UTC)為準。

注意

• 我們建議你設定回覆截止日期與時間在同儕評分截止日期與時間之前至少兩天。 如果回覆截止時間和同儕評分截止時間太靠近，當學生送出的回答的時間接近截止日期，其將沒有足夠時間以完成同儕評分。

選擇評分階段

開放式問題評分可以包括學生訓練，同儕評分，和 自我評分步驟。 你能夠在自我評分之前加入同儕評分，反之亦然。

如果你加入學生訓練步驟，你必須加入一個同儕評分步驟。你也可以只加入一個自我評分步驟。 學生訓練步驟必須放在同儕評分與自我評分步驟之前。

要在問題中加入評分步驟必須:

• 在組件編輯器中點設定 分頁.
• 捲動頁面到高分的回覆 欄位之後.

• 找到下面標題:

  • 步驟: 學生練習
  • 步驟: 同儕互評
  • 步驟: 自我評量
  • 再複選框中選擇你想要的評分步驟。

• (可選的) 如果你想改變評分步驟的順序，拖拉步驟到你想要的順序。如果包含學生練習步驟，請確保他在第一個步驟。

指定步驟設定

當你選擇你想要的步驟後，你必須指定這些步驟的設定。

注意

• 如果你改變了步驟設定，並且你又取消了此步驟的複選框，則此步驟將被取消並且你所做的設定將不會被儲存。

學生訓練

在學生訓練步驟，你將要輸入你所建立的一個或多個回答，之後選擇為這些問題的每個評分標準選擇其選項。

注意

• 當你為學生訓練步驟選擇其評分選項之前，你必須輸入完整的評分準則在 評分準則 分頁。如果你改變了評分標準或評分選項，你將必須更新學生訓練步驟。
• 要加入並且為學生訓練回答評分你必須:
  • 找到 步驟 : 學生練習 之下的回覆與回覆評分 區域.
  • 在 回覆 區域, 輸入你的範例回答。
  • 在 回覆評分，選擇每個評分準則之選項。

同儕評分

在同儕評分步驟，你將要指定每個學生必須評分的數目，與每個學生之回答所必須被評分的數目，以及開始與結束的日期，所有的欄位都是必填的。

為了指定同儕評分之設定你必須:

• 找到 步驟 : 同儕互評 區域。
• 在 必需評分數, 輸入每個學生必須評分的數目。
• 在 被評價數, 輸入每個學生之回答所必須被評分的數目。
• 在 開始日期 and 開始時間,輸入學生可以開始進入同儕評分階段之時間與日期。 所有的時間都是以(UTC)為準。
• 在 截止日期 and 截止時間,輸入學生必須在之前完成同儕評分階段之時間與日期。 所有的時間都是以(UTC)為準。

自我評分

在自我評分步驟，你將要指定開始與結束的日期

• 找到 步驟 : 自我評分 區域。
• 在 開始日期 and 開始時間,輸入學生可以開始進入自我評分階段之時間與日期。 所有的時間都是以(UTC)為準。
• 在 截止日期 and 截止時間,輸入學生必須在之前完成自我評分階段之時間與日期。 所有的時間都是以(UTC)為準。

顯示高分的回覆

要允許學生看到高分的問題回覆，你必須指定這個數字在 設定 分頁。

• 在組件編輯器中點設定 分頁.
• 在 高分的回覆 欄位， 指定出現在學生最終成績之下的高分回覆區域，你想讓學生看到的高分回覆數目 。如果你不想讓此區域險是給學生看，將其設為0。最高數為100。

注意 應為每個回覆被設為 300 pixels高度，我們建議你設這個數字在20之下，以防止頁面變得過長。

步驟 5. 測試問題

為了測試你的問題，將你的問題模組建立在你的課程上，並將章節或小節之發佈日期設為未來的，並且以課程團隊的帳號去發出問題回覆並且對這些回覆評分。 這些測試可以讓你了解你的問題與評分準則是否能夠被理解，或是此問題有錯誤。