プログラミング教育論文解説

プログラミング課題の自動採点：最新AIモデル18種の比較でわかったこと

2026-08-30 ✍️ ADVANCE 講師 ⏱️ 約10分で読めます

📌 この記事の結論

AIモデルによって採点スタイルが大きく異なり、厳格なものから寛容なもの、中間点を多用するものまで多様なパターンが存在します。
同じベンダーのモデルは採点傾向が類似し、特定のグループに分類されることが明らかになりました。
人間（教師）の採点との一致度は限定的で、最も優れたモデルでも「中程度」の信頼性に留まりました。
小型の「mini」や「nano」モデルは、大型モデルに比べて一貫性が低い傾向にあり、採点品質とコストのトレードオフが示唆されました。

1. プログラミング教育におけるAIの可能性と課題

近年の大規模言語モデル（LLM）の登場は、教育分野に大きな変革をもたらしています。特にプログラミング教育において、AIによる自動課題評価（自動採点）は、教師の負担軽減や学生への即時フィードバック提供といった点で、非常に期待されています。

しかし、どのAIモデルを使っても同じ結果が得られるわけではありません。モデルのアーキテクチャやベンダーによって、採点行動にどのような違いがあるのか、人間（教師）の採点とどの程度一致するのかは、教育現場でAIを導入する上で非常に重要な問題です。

今回は、この疑問に答えるべく、最新のLLMを大規模に比較した論文をご紹介します。この研究は、AIによる採点システムを教育現場で活用するための貴重な示唆を与えてくれます。

2. 紹介する論文の概要

📄 論文情報

タイトル	A systematic comparison of Large Language Models for automated assignment assessment in programming education: Exploring the importance of architecture and vendor
著者	Marcin Jukiewicz
掲載誌	Computers and Education Open
研究対象	プログラミング教育における自動課題評価のための大規模言語モデル（LLM）計18モデルの採点行動
研究期間	2025年後半にリリースされた最新モデルを含む、複数年にわたる学生データを使用

研究の目的

本研究の主な目的は、プログラミング課題の自動採点において、さまざまな大規模言語モデル（LLM）が実際にどのように採点するかを体系的に比較することでした。具体的には、以下の点を明らかにしようとしました。

異なるLLMが同じ課題を採点する際に、採点パターンに違いがあるのか。
モデル間の採点の一貫性はどの程度か。
採点傾向に基づいて、モデルを意味のあるグループにクラスタリングできるのか。
モデルのアーキテクチャやベンダーが採点行動に影響を与えるのか。

研究の方法

この研究では、以下の方法でLLMの採点行動を分析しました。

データ収集：入門プログラミングコースで4年間にわたって収集された、6000件以上の学生のプログラミング課題提出物を使用しました。
対象モデル：Anthropic (claude-3-5-haiku, claude-opus-4-1, claude-sonnet-4)、DeepSeek (deepseek-chat, deepseek-reasoner)、Google (gemini-2.0-flash-lite, gemini-2.0-flash, gemini-2.5-flash-lite, gemini-2.5-flash, gemini-2.5-pro)、OpenAI (gpt-4.1-mini, gpt-4.1-nano, gpt-4.1, gpt-4o-mini, gpt-4o, gpt-5-mini, gpt-5-nano, gpt-5) の計18種類の最新LLMを評価しました。これには軽量版（mini, nano, lite）とフルスケール版が含まれます。
プロンプト戦略：すべてのモデルに対し、Chain-of-Thought (CoT) プロンプトを適用しました。これは、モデルがまず問題に対する自身の解答を作成し、次に学生の提出物と比較して採点とフィードバックを行うように指示するものです。
採点スケール：学生の提出物は「正しい (1点)」「ほぼ正しい (0.5点)」「誤っている (0点)」の3段階で評価されました。
統計分析：モデル間の採点分布、平均スコア、標準偏差を分析しました。さらに、Spearman順位相関、Cohenのκ係数を用いた合意度分析、Friedmanテスト、クラスター分析（k-meansおよび階層的クラスター）を実施しました。

3. 研究結果のポイント3つ

この研究から、LLMの自動採点において、以下の3つの重要なポイントが明らかになりました。

✅ ポイント1：AIモデルによって採点スタイルが大きく異なる

モデルごとに採点結果の分布が大きく異なり、採点の厳格さや寛容さに明確な違いが見られました。

「寛容な」モデル：gpt-4oやclaude-haiku-3.5は、最大スコア（1点）を頻繁に与える傾向がありました。まるで「頑張ったね！」と褒めてくれる先生のようです。
「厳格な」モデル：deepseek-reasonerやgpt-4.1-nanoは、不合格点（0点）を多くつける傾向があり、非常に厳しい評価を下します。まるで間違いを一切許さないロボットのようです。
「バランスの取れた」モデル：claude-sonnet-4やgemini-2.0-flash-liteは、中間点（0.5点）を多く使用し、部分的な正しさを認める傾向がありました。

この多様性は、どのLLMを選択するかによって、学生の成績やモチベーションに大きく影響する可能性を示しています。

✅ ポイント2：ベンダーごとに採点パターンがまとまる

モデル間の相関分析とクラスター分析の結果、同じベンダーから提供されているモデルは、非常に似た採点パターンを示すことが明らかになりました。例えば、OpenAIのGPT-5ファミリーやGoogleのGeminiファミリーのモデルは、それぞれ高い相関性を示しました。

この研究では、LLMは採点スタイルに基づいて以下の6つの主要なクラスターに分類できることが示されました。

GPT-5クラスター: 高いスコアをつけがち。
GPT-4クラスター: 中程度から高いスコアのバランスが良い。
Geminiクラスター: 比較的寛容で高得点が多い。
DeepSeekクラスター: 中間点（0.5点）を頻繁に利用し、慎重な評価。
Claudeクラスター: 高得点が多い傾向（一部例外を除く）。
異端クラスター: gpt-4.1-nano（非常に厳格）とclaude-haiku-3.5（0.5点を多用し1点を避ける）のように、他とは異なる採点スタイルを持つモデル。

この結果は、LLMのアーキテクチャやトレーニング方法が、その採点行動を体系的に形成していることを強く示唆しています。

✅ ポイント3：人間（教師）の採点との一致は限定的

最も重要な発見の一つは、LLMによる採点と人間（教師）による採点の一致度（ICC値）が非常に限定的であったことです。最も一致度が高かったclaude-haiku-3.5でも、ICC値はわずか0.470で、「中程度」の信頼性レベルに分類されます。これは一般的に「良い」と見なされる信頼性レベル（ICC ≧ 0.75）をはるかに下回ります。

教師はAIより寛容：教師の平均採点（0.726）は、どのLLMよりも高かったことから、人間の方が学生に対して寛容であるか、あるいはLLMが見逃すような文脈的要因や部分的な正しさを評価している可能性が示唆されました。
小規模モデルの性能差：「mini」や「nano」といった小規模モデルは、通常、フルスケールのモデルに比べて一貫性が低いことが示されました（例：gpt-4.1-nanoはICC 0.204と非常に低い）。ただし、claude-haiku-3.5のように軽量ながら高い一致度を示すモデルもあり、専門的なファインチューニングの重要性が浮き彫りになりました。
モデル間の高い一貫性：驚くべきことに、LLM間の採点結果を比較すると（モデル群のコンセンサスを基準とした場合）、多くのモデルで非常に高い一致度（ICC > 0.8）が確認されました。これはモデル間の内部的な一貫性が非常に高いことを示しますが、同時に同じ種類の系統的エラーを共有している可能性も示唆しています。

4. ADVANCEの現場から見た実感

堺市南区のプログラミングスクールADVANCEで実際にプログラミングを教えている講師としての意見は以下の三つです

🎮 現場で感じる3つの変化

採点基準の明確化の重要性

論文で示されたように、LLMの採点スタイルは多様です。これは、教師がAIを活用する際に、PythonやJavaScriptのようなテキストベースのプログラミング言語における採点基準を、これまで以上に明確にする必要があることを意味します。例えば、「変数名のつけ方」「関数の分割」「コメントの適切性」など、詳細なルーブリック（評価基準）をAIに与えることで、採点の一貫性と正確性を高めることができるでしょう。

AIと人間の役割分担の最適化

論文の「人間（教師）の採点との一致度は限定的」という結果は、現在のLLMが、学生の学習意図や思考プロセスといった人間ならではの評価要素を完全に捉えきれていないことを示唆します。ScratchやRoblox Studioを使ったゲーム制作では、コードの正しさだけでなく、「どのように工夫したか」「なぜこの表現を選んだか」といった点が重要です。AIは定型的なコードの正誤判定や、初歩的なエラーの指摘に効率を発揮し、教師はより高度な思考力、創造性、問題解決能力といった育成に注力できる、というヒューマン・イン・ザ・ループ（human-in-the-loop）の仕組みが不可欠です。

コストと品質のバランス

論文では、小規模モデル（mini, nano）が大規模モデルに比べて採点品質が劣る傾向にあることが指摘されています。教育機関は予算の制約がある中で、安価なモデルの導入を検討することもあるでしょう。しかし、採点品質が低下すれば、学生の学習成果やモチベーションに悪影響を及ぼす可能性があります。例えば、Unity（C#）で複雑なゲームを制作する課題では、より高度なLLMの判断が求められます。ADVANCEでは、コスト効率と採点精度の両方を考慮し、慎重なモデル選定と継続的な評価が必要だと考えています。

ADVANCEでは、最新の研究知見を取り入れつつ、AIのメリットを最大限に活かし、教師が持つ人間的な指導の強みを組み合わせることで、子どもたちがプログラミング学習で最大限の成長を遂げられるよう努めています。

5. 保護者の方へ：家庭でできること

今回の研究結果から、ご家庭でお子さんのプログラミング学習をサポートするためにできることがいくつかあります。

🏠

AIのフィードバックを一緒に確認する

お子さんがAI採点ツールを使っている場合、AIから提供されるフィードバックを、ただの「間違い」としてだけでなく、「どうすればもっと良くなるか」という視点で一緒に読んであげてください。例えば、Pythonのコードでエラーが出たとき、「AIはこう言っているけれど、君はどうしてそう書いたの？」と尋ねることで、批判的思考力を育むことができます。

📅

「中間点」も褒めてあげる

AIは厳格な採点をすることもありますが、論文にもあったように「ほぼ正しい」（0.5点）という評価をするモデルもあります。お子さんの作品が完璧でなくても、「ここまでできたね！」「この部分はとても良いアイデアだね！」と部分的な成功を具体的に褒めてあげることが大切です。Scratchでアニメーションを作った時、まだ動きがぎこちなくても、その創造性を評価してあげましょう。これにより、失敗を恐れずに挑戦し続ける意欲を育めます。

👏

AIの評価と先生の評価のバランスを理解する

AIは高速で客観的な採点が可能ですが、人間の先生はお子さんの個性や成長過程を考慮した、よりきめ細やかな評価をしてくれます。AIの評価だけに一喜一憂せず、学校やプログラミングスクールの先生との対話を大切にし、総合的な視点でお子さんの学習進捗を理解するよう心がけてください。例えば、Unityでの3Dゲーム制作では、コードの完璧さだけでなく、デザインの意図やユーザー体験も重要な評価点となります。

🎮 ADVANCEで一緒にプログラミングを始めませんか？

堺市南区のプログラミングスクールADVANCEでは、Scratchからはじめて、Roblox、Unity(C#)まで段階的に学べます。

研究で効果が実証されたプログラミング教育を、ゲーム制作を通じて楽しく体験できます。

🕹️ ▶ ぼうけんをはじめる無料体験会に申し込む！ 🎮

6. 参考文献

Jukiewicz, M. (2026). A systematic comparison of Large Language Models for automated assignment assessment in programming education: Exploring the importance of architecture and vendor. Computers and Education Open, 10, 100364.
Jukiewicz, M., & Wyrwa, M. (2026). Can chatgpt replace the teacher in assessment? a review of research on the use of large language models in grading and providing feedback. Appl Sci, 16(2), 680.
Hackl, V., Müller, A. E., Granitzer, M., & Sailer, M. (2023). Is GPT-4 a reliable rater? Evaluating consistency in GPT-4’s text ratings. Frontiers in Education, 8, 1272229.
Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: uses in assessing rater reliability. Psychological bulletin, 86(2), 420.
Pathak, A., Gandhi, R., Uttam, V., Ramamoorthy, A., Ghosh, P., Jindal, A. R., ... & Khatri, C. (2025). Rubric is all you need: Improving LLM-based code evaluation with question-specific rubrics. In Proceedings of the 2025 ACM conference on international computing education research (Vol. 1, pp. 181-195).

メニュー