期末レポートの採点の日だった。教員の机に、30本のレポートが積んであった。
30本とも、見出しが整っていた。
誤字は、ゼロ。
教員は、赤ペンを置いた。点の差をどこで付けるかに、迷ったからだ。
出来が良いのに、採点できない。整ったレポートの、どこに問題があるのか。
体温計とレポートに共通する、物差しの正体
体温計は、体温を目盛りの数字で示す。数字は表に出ている。
熱は、体の内側にある。表に出たもので内側を推し量る物差しを、代理指標と呼ぶ。
大学のレポートは長く、学生の頭の中の思考を文章で示す物差しだった。
測りたいものは、思考。測っているものは、文章。
二つがずれても、物差しは黙ったままだ。
前提とは、根拠に当てて結論を導く解釈の枠である。教員は、整った文章という根拠に、一つの前提を当ててきた。
書く手間と考える手間は比例する、という前提だ。結論は、学生はよく考えた、になる。
書く手間と考える手間の比例は、長いあいだおおむね当たっていた。
生成AIは、何を消したのか
生成AIを使えば、考える手間がゼロのまま、整った文章が出てくる。書く手間と考える手間は、別々に動き出した。
崩れたのは、評価の前提である。
提出されたレポートから、学生の思考を推し量れる。そんな前提だ。
奈良工業高等専門学校の研究は、情報工学科の2年生10人を二つの組に分けた。2024年の発表である。
生成AIを使う組と、教科書を使う組である。
生成AIの組は、課題を早く終えた。後の理解度テストの点数の差は、統計上はっきりしなかった。
点数のばらつきは、生成AIの組のほうが大きかった。
成果物が仕上がる速さと、理解の深さは、別の物差しで測るものだ。
河合塾は2023年5月、教員などの教育関係者139人に調査を行った。
学生の生成AIの利用について、約6割が一部の制限か禁止を求めた。理由には、思考力の低下への懸念が挙がった。
懸念の核は、評価の前提にある
教員の懸念は、中身で三つの層に分かれる。
技術の層は、もっともらしい誤りや、著作権のリスク。組織の層は、大学の方針が揺れたまま、意思決定を現場の教員に任せる懸念だ。
核は、本質の層にある。学生が考える過程を省いてしまう懸念である。
思考力の低下の懸念も、本質の層に入る。
学生が学ぶ機会を失ったかどうか。教員が知る手段は、長いあいだほぼ提出物だけだった。
本質の懸念は、突き詰めると評価の懸念になる。
前提は、二つの条件で選んで問い直す。結論への影響が大きいこと。確かめる手段が乏しいこと。
評価の前提は、二つの条件を両方とも満たす。
確かめる過程を省くと、欠陥が不正に変わる
生成AIは、架空の論文を示すことがある。著者名も題名も、本物らしく並ぶ。
学生が確かめずに引用すれば、参考文献の捏造という重い不正になる恐れがある。
学生に悪意がゼロでも、捏造は捏造だ。
誤字ゼロの30本を見ても、架空の文献が混じっているかは分からない。整った見た目は、確かめた証拠にならない。
京都大学は、AIによる自動作成には「リサーチ」という検証の過程が欠けていると注意を促す。
仙台大学のチームは2024年3月、学生と教員に全国調査を行った。有効回答は6,939人。
生成AIを使う学生の27.8%が、出力をコピー＆ペーストして提出した経験があると答えた。
貼って出せば通る課題は、学生の誠実さを試す前に、課題の設計の穴をさらしている。
穴の正体は、成果物だけを採点する評価の前提である。
思考の差は、確かめる過程で表に出る
採点の日の30本は、成果物では横一列に並んだ。
AIの答えを確かめる過程なら、学生ごとの思考の差が表に出る。
手順は三つ。
-
複数のAIの答えを、論理と偏りの違いで比べる考察を書かせる。
-
AIが書いた平凡な下書きを、欠点を指摘したうえで書き直させる。
-
口頭試問と、下書きや修正履歴を見る作業を、評価に組み込む。
二つ目の手順の下書きは、AIに作らせる。次の文面のかっこの中を、自分の授業に書き換えて使える。
（例：地方の人口減少への対策）について、大学1年生が書いたような平凡なレポートの下書きを、800字で書いてください。
条件：（例：根拠の弱い主張を二つ、出典のあいまいな数字を一つ）を混ぜてください。
用途：学生が欠点を指摘し、書き直す演習に使います。混ぜた欠点の一覧は、教員用として別に付けてください。赤ペンを置いた教員が、次に見るもの
確かめる過程を採点すれば、30本は横一列に並ばない。
赤ペンを置いた教員が次に見るべきなのは、30本の文章ではない。文章の手前にある、確かめる過程だ。
この記事の考え方は、拙著『ChatGPT 誰でも1時間でできる！ はじめてのGPTsのつくり方』の2章4節「AIファースト思考」に書きました。この節を読むと、AIに先に聞くことが考えるのを手放すことなのか、考える出発点が変わるだけなのかを、自分の仕事で考えられるようになります。
自分の仕事に効くAIは、誰が作るべきか。
『ChatGPT 誰でも1時間でできる！ はじめてのGPTsのつくり方』
要件を日本語で書き出せば、それがそのままAIを動かす。現場の知識を持つ人が自分で作り、育てる、内製化のための本です。
読み終えたとき、手元に残るもの
- 目的、役割、入力、出力をそろえる要件定義の型
- 評価基準と判断基準を持たせる考えるGPTの作り方
- テスト用のダミーデータで直していく手順
- 複数のGPTを分業と協業でつなぐ設計
画面や機能の記述は2024年時点のものです。仕事を分解し、基準を言葉にする考え方は今も変わりません。