1月，明尼蘇達大學法學院的Jon Choi教授和賓夕法尼亞大學沃頓商學院的Christian Terwiesch教授分別讓ChatGPT「做」了自己課程的期末試題。結果ChatGPT還真的都通過了！

這意味著讓ChatGPT再進化一會兒，以後我們就不需要人類律師和管理者了嗎？還是，這是一聲敲響的警鐘，提醒教育者們不要再把人類教得像AI一樣了？

及格的背後：老師「放水」，是全班墊底

在考過的兩個科系裡，ChatGPT在法學院考的成績比在商學院的差一點，前者平均得分C+，後者則能達到B-到B的成績。

具體來說，ChatGPT在沃頓完成的是MBA（工商管理學碩士）「營運管理」科目的試題，每道題目都需寫出「推演過程」。測試時，Terwiesch教授把考試的原題輸入到ChatGPT 中，並對ChatGPT生成的回答評分。

ChatGPT在回答基礎分析題時表現都很不錯；數學則不太行，可能突然就會算錯一個小學難度的算數；而相對複雜的分析題，就基本沒轍。

例如，第一題考的就是對「管理瓶頸」概念的理解，並簡單比較「生產過程」中哪個步驟效率最低，找出「瓶頸」。對於這題，ChatGPT的推演過程雖然是錯的，但卻「完美繞過」錯誤推論，撞中了答案。

在算「接收站（receiving station）」效率時，ChatGPT得出的結果是「300桶/小時」。這個數雖然是錯的，但以這個數字來說，它的確也是分析過程中算出來效率最低的一環。

誰想到，ChatGPT卻「自己都不信自己」，沒把這一環選為「瓶頸」，而是選了算出來效率為「600桶/小時」的「乾燥機（dryer）」環節為「瓶頸」──選了個正確答案。

雖然Terwiesch教授最後給ChatGPT的分數有B級，但他也有點「放水」了。當ChatGPT回答出現錯誤時，Terwiesch會向ChatGPT提供針對性的提醒，然後再讓它輸出一次回答，並以這個「優化」結果來評分。

至於法學院的考試，ChatGPT做了憲法、員工福利法、稅法和侵權法這四個課程的期末考題。主導這次測試的Jon Choi教授表示，在「盲改」的情況下，ChatGPT這四科都及格了，但成績基本都是全班墊底。

雖然ChatGPT的簡答題比選擇題做得更好，但簡答題的回答品質卻極為不穩定──有時候答得可能比一般學生好（大多是法律條文默寫和案例複述），然而一錯起來（通常是要求學生用具體理論分析案例的題），分數通常都「錯出新低」：