教育における生成系AIの活用と対策

• 東京電機大学 工学部第二部 情報通信工学科
• ネットワークシステム研究室
• 20NC043 冨吉 慶祐
• 指導教員 坂本 直志

1. はじめに

1.1. 研究背景と研究目的

現在、性能の向上した生成系AIの登場により、生徒が内容を理解していなくとも授業で出された課題をこなすことが出来るようになってしまった．これは、生成系AIが課題の解答や回答を提供することで、生徒たちが単に課題をこなすだけの作業に集中し、問題の本質や背景を理解する機会を逸してしまう可能性がある．生徒が実際に問題を理解する必要がなくなってしまうような状況は、授業課題が本来持つべき学修成果が損なわれてしまっていると考えられる．したがって、教育者や学術機関は、生成系AIが生徒の学習に与える影響を慎重に考慮し、生徒が深い理解と問題解決能力を養うための適切な教育環境を提供する必要がある．具体的には、生成系AIの得意な領域と苦手な領域を把握し、それを活かした授業課題を設計することが重要であると考える．そのため本研究は、生成系AIの使用を禁止にするという選択をしなくとも、授業課題を生徒に解いてもらうことが可能になり、生成系AIの使用を禁止にするという選択が減ることへの効果が期待できる．

2. 用語

2.1. 深層学習

深層学習(ディープラーニング)とは、人間の神経細胞の仕組みを再現したニューラルネットワークを用いた機械学習の手法の1つであり、多層構造のニューラルネットワークを用いることが特徴である．現在では画像認識や音声認識、翻訳などさまざまな分野で大きな成果を生み出している．深層学習の仕組みを使って画像認識や音声認識などを行うには、まずラベル付けされたデータ（教師データ）を用いて学習させる必要がある．たとえば手書きの数字をAIによって認識させたいといった場合、手書きした数字の画像と、その画像に書かれた正しい数字を示したラベルをセットにした教師データを用意し、多層構造のニューラルネットワークに入力する．この教師データを使って自動的に学習を行い、手書き数字を認識できるようになるという仕組みである．ただし、認識精度を高めるためには膨大な量の学習データが必要であり、従来はそれを用意することが困難だった．しかし現在はインターネットの普及などによって膨大なデータを用意することが可能になっている．また学習には膨大な計算を行う必要があるが、これもコンピューターの進化によって短時間で学習できる環境を整えられるようになった．このように環境が整備されたことも、深層学習が進化した大きな要因である．

2.2. ニューラルネットワーク

「ニューラルネットワーク（Neural Network:NN）」とは、人間の脳内にある神経細胞（ニューロン）とそのつながり、つまり神経回路網を人工ニューロンという数式的なモデルで表現したものである．ニューラルネットワークは、人間の脳の働きを模した方法でデータを処理するようにコンピュータに教える人工知能の一手法である．これは、深層学習と呼ばれる一種の機械学習プロセスであり、人間の脳に似た層状構造で相互接続されたノードやニューロンを使用する．そこから適応型システムが作成され、コンピューターはそれを使用して過ちから学び、継続的に改善することができる．

2.3. 機械学習

機械学習とは、データを分析する方法の１つで、データから、「機械」（コンピューター）が自動で「学習」し、データの背景にあるルールやパターンを発見する方法．近年では、学習した成果に基づいて「予測・判断」することが重視されるようになった．

2.4. 推測

物事の状態・性質や将来を、部分的・間接的に知り得た事柄や数値から、おしはかること．

2.5. 大規模言語モデル（Large Language Models、LLM）

大規模言語モデル（Large Language Models、LLM）とは、非常に巨大なデータセットとディープラーニング技術を用いて構築された言語モデルである．ここでいう「大規模」とは、従来の自然言語モデルと比べ、後述する3つの要素「計算量」「データ量」「パラメータ数」を大幅に増やして構築されていることに由来します．大規模言語モデルは、人間に近い流暢な会話が可能であり、自然言語を用いたさまざまな処理を高精度で行える．

2.6. Transformer

Transformerとは、2017年に発表された"Attention Is All You Need"という自然言語処理に関する論文の中で初めて登場した深層学習モデルである．それまで主流だったCNN、RNNを用いたエンコーダ・デコーダモデルとは違い、エンコーダとデコーダをAttentionというモデルのみで結んだネットワークアーキテクチャである．

2.7. 畳み込みニューラル ネットワーク (CNN または ConvNet)

畳み込みニューラル ネットワーク (CNN または ConvNet) とは、データから直接学習するディープラーニングのためのネットワーク アーキテクチャです．CNN は、オブジェクト、クラス、カテゴリを認識するために画像の中からパターンを検出するのに特に有効です．音声、時系列、信号データを分類する際にも非常に有効な手法です．

2.8. リカレントニューラルネットワーク (RNN)

リカレントニューラルネットワーク (RNN) は、時系列データまたはシーケンシャルデータを用いた予測を行うディープラーニングのネットワーク アーキテクチャです．RNNは、さまざまな長さのシーケンシャルデータを使用して、自然信号の分類、言語処理、動画解析などの問題を解く場合に特に効果的である．

2.9. シーケンシャルデータ

シーケンシャルデータとは、時間や順序に基づいて並んでいるデータのことである．具体的には、時間順に並んでいる時系列データや、順序が重要な系列データなどがこれに該当する．例えば、テキスト文書、音声、動画、センサーデータ、DNA配列などがシーケンシャルデータの例として挙げられる．シーケンシャルデータは、その特性から様々な分野で利用されている．例えば、自然言語処理では文章の解析や機械翻訳、音声認識では音声データの解析、金融データでは時系列データの分析などに応用されている．シーケンシャルデータを解析する際には、その時間的なパターンや順序の関係性を考慮する必要がある．

2.10. オートエンコーダー

オートエンコーダ（自己符号化器, autoencoder）とは、ニューラルネットワークを利用した教師なし機械学習の手法の一つです．次元削減や特徴抽出を目的に登場したが、近年では生成モデルとしても用いられている．オートエンコーダの学習は、入力データと一致するデータを出力することを目的とする教師なし学習である（後述のように教師あり学習とすることもできる）．オートエンコーダのネットワークは、入力したデータの次元数をいったん下げ、再び戻して出力するという構造になっている．このため、入力から出力への単なるコピーは不可能でである．オートエンコーダの学習過程では、入出力が一致するように各エッジの重みを調整していく．この学習を通して、データの中から復元のために必要となる重要な情報だけを抽出し、それらから効率的に元のデータを生成するネットワークが形成される．こうしてオートエンコーダの前半部分は次元削減、特徴抽出の機能を獲得し、後半部分は低次元の情報をソースとするデータ生成機能を獲得する．前半部分をエンコーダ、後半部分をデコーダと呼ぶ．学習後、この2つのネットワークは別々に使うことができる．すなわち、エンコーダは特徴抽出器、デコーダは生成器として独立に用いることができる．

2.11. VAE（変分オートエンコーダ）

深層学習（ディープラーニング）による生成モデルの一つで、教師データを利用せず学習データの特徴を捉えた「学習データに似たデータ」を生成する．つまり、元の学習用の画像データの特徴を学習することで、似たような画像を生成できる生成モデルである．

2.12. GAN

GANとは「敵対的生成ネットワーク」（Genera tive Adversarial Networks）である．GANは生成モデルの一種であり、データから特徴を学習することで、実在しないデータを生成したり、存在するデータの特徴に沿って変換できる．GANは、正解データを与えることなく特徴を学習する「教師なし学習」の一手法として注目されている．

2.13. テキストコーパス

テキストコーパスは、自然言語処理（NLP）や機械学習の研究において使用される大規模なテキストデータの集合体である．これらのデータセットには、様々なソースから収集された文章が含まれます．例えば、ウェブページ、ニュース記事、書籍、雑誌、ユーザー生成コンテンツなどがある．テキストコーパスは、言語モデルのトレーニングやテスト、または言語処理タスクの評価に使用される．言語モデルをトレーニングする際には、大規模なテキストコーパスを用いてモデルが言語のパターンや文脈を学習することが求められる．また、特定のタスクにおいてモデルの性能を評価する際にも、テキストコーパスが利用される．テキストコーパスのサイズや内容は、研究目的やタスクに応じて異なる．一般的には、より大規模で多様なデータセットが、より汎用性の高い言語モデルのトレーニングに貢献する．

2.14. データセット

データセットは、特定の目的のために収集された、構造化されたデータの集合体である．これらのデータは、通常、共通のテーマや属性を持つ一連の観測やサンプルから成り立つ．データセットには、さまざまな形式や種類のデータが含まれることがあり、一般的には表形式（テーブル）、画像、音声、テキストなどが該当する．データセットは、機械学習やデータ分析の研究や開発において重要な役割を果たす．これらの分野では、データセットを使用してモデルをトレーニングしたり、モデルの性能を評価することに利用する．例えば、分類や回帰などの予測モデルを構築する際には、ラベル付きのデータセットが必要である．画像認識や音声認識のモデルを構築する際には、画像や音声データのデータセットが必要となる．データセットは、公開されたものや自分で収集したもの、または第三者から購入したものなど、さまざまな方法で入手することが可能である．機械学習の研究者やデータサイエンティストは、適切なデータセットを選択し、データの前処理や特徴エンジニアリングなどの作業を行って、モデルのトレーニングや評価を行う．

2.15. 事前学習済みモデル

事前学習済み言語モデルは、大規模なテキストコーパスを用いて事前にトレーニングされた自然言語処理（NLP）モデルのことを指す．これらのモデルは、様々な自然言語理解タスクにおいて高度な性能を発揮するために設計されている．事前学習済み言語モデルのトレーニングプロセスでは、巨大なテキストコーパス（例えば、ウェブページ、ニュース記事、書籍、ソーシャルメディアの投稿など）を用いて、モデルが言語のパターンや構造を理解するように学習を行う．この学習は、大量のデータと計算リソースが必要であり、通常は複数のGPUやTPU（Tensor Processing Unit）を使用して行われる．

そして、事前学習済み言語モデルは一般的に大規模なトランスフォーマーアーキテクチャに基づいており、例えばBERT（Bidirectional Encoder Representations from Transformers）、GPT（Generative Pre-trained Transformer）、XLNet、RoBERTaなどがある．これらのモデルは、言語の文脈を理解し、単語や文章の意味を表現するための多層のニューラルネットワークを含んでいる．

更に、事前学習済み言語モデルはファインチューニングと呼ばれるプロセスを通じて特定のタスクに適用される．ファインチューニングでは、特定のデータセットやタスクに合わせてモデルが微調整され、例えば感情分析、質問応答、文書要約、翻訳などのさまざまな自然言語処理タスクに適用される．これにより、一般的な言語理解能力を持つモデルをさまざまな特定のタスクに適応させることができる．

3. 生成系AIの仕組みと特徴

3.1. AIとは

AIとは、「Artificial Intelligence（アーティフィシャル・インテリジェンス）」の略称であり、日本語では「人工知能」を意味する．AIは一般的に、人間の言葉の理解や認識、推論などの知的行動をコンピュータに行わせる技術を指す．人工知能の概念は1950年頃から存在していたが、「AI」という言葉を用いたのはダートマス大学の計算機科学者、ジョン・マッカーシー教授である．1956年に同大学で行われた研究会において、初めて公に「AI」という言葉が使用されたと言われている．

3.2. 生成系AI

生成系AI（または生成AI）とは、「Generative AI」とも呼ばれ、さまざまなコンテンツを生成できるAIのことである.従来のAIが決められた行為の自動化が目的であるのに対し、生成系AIはデータのパターンや関係を学習し、新しいコンテンツを生成することを目的としている.従来のAIとの違いとしては、決められた行為の自動化が目的であったが、生成系AIは新しい形で創造が行えていると考えられている．

3.3. テキスト生成AI

テキスト生成AIは、自然言語処理（NLP）の一分野であり、統計 的なモデルを用いて大規模なテキストデータセットを学習し、与 えられた文脈に基づいて次の単語や文を予測し、「それらしい応 答」を生成する．この技術の背後には、Transformerアーキテク チャなどのニューラルネットワークが利用されている．

Transformerは、2017年にGoogleによって提案されたニューラルネット ワークアーキテクチャであり、Attention Mechanism（注意機構）を用 いて文の間の長距離の依存関係をキャプチャする．このAttention Mechanism（注意機構）は、自然言語処理（NLP）や機械翻訳などのタス クで使用されるニューラルネットワークの一部であり、特に長い文や文 書を処理する際に有用である．このメカニズムは、入力された文の各単 語やトークンが処理される際に、他の単語やトークンに注意を払うこと を可能にする．具体的には、Attention Mechanismは、入力文の各単語 に重みを割り当てる．これにより、入力の異なる部分に異なる程度の重 要性を付与し、重要な情報に重点を置くことができる．例えば、翻訳タ スクでは、文の意味を理解する際に、翻訳される文の特定の単語に重点 を置く必要がある．この注意機構は、Transformerアーキテクチャなど のモデルに広く使用されており、特に長い文を処理する場合に優れた性 能を発揮します．Attention Mechanismによって、モデルは文脈をより 正確に理解し、より適切な応答や翻訳を生成することが可能となる．

また、テキスト生成AIにおける最新の進歩の一つは、事前学習済み言語 モデルの使用である．これは、大規模なテキストコーパスを用いて事前 に訓練されたモデルを指します．例えば、OpenAIのGPT（Generative Pre-trained Transformer）シリーズやGoogleのBERT（Bidirectional Encoder Representations from Transformers）などがあります．これ らのモデルは、膨大なデータセットを用いて文の言語構造や意味を獲得 し、ファインチューニングによって特定のタスクに適応させることがで きる．

さらに、テキスト生成AIの性能向上には、教師あり学習や教師なし学習 などの機械学習手法が活用される．教師あり学習では、正解ラベル付き のデータを用いてモデルを訓練し、教師なし学習では、ラベルが付与さ れていないデータからパターンを見つけ出すことでモデルを学習させる． これらの技術の組み合わせにより、テキスト生成AIは、与えられた文脈 や条件に基づいて高度な応答を生成することが可能となる．

本研究で注目する特徴としては、ある単語や文章の次に来る単語や文章を推測し、「統計的にそれらしい応答」を生成しているという部分に注目する．

3.4. 画像生成AI

画像生成系AIとは、主に完成形のイメージや雰囲気をテキストで与えるだけで、自動的にAIが画像を生成できるサービス・ソフトウェアの総称である．例えば、「ネコ、昼寝」という情報を与えれば、昼寝をしているネコの写真を撮影したような画像やイラストが生成される．主に画像生成AIは、入力されたテキストから学習済みのデータを基に特徴を探し、一致する特徴から画像を生成する仕組みとなっている．^[12] 本研究で注目する特徴としては、「一致する特徴から画像を生成する仕組み」となっている部分に注目する．

3.5. ChatGPT(OpenAI)

ChatGPTは、OpenAIが開発した自然言語処理（NLP）モデルの一種であり、Transformerアーキテクチャが採用されている．Transformerは、Attention Mechanism（注意機構）を用いて文脈を理解し、複雑な言語パターンを学習することができるニューラルネットワークの一種である．ChatGPTは、大規模なテキストデータセットを用いて事前に訓練されている．この訓練プロセスでは、モデルは文脈を理解し、言語の構造や意味を獲得するために、膨大な量のテキストを通じて学習する．例えば、ウェブ上の文章や書籍、ニュース記事などのテキストが利用され、これらのデータを通じてChatGPTは言語の構造や意味を獲得する．このような事前訓練により、ChatGPTは様々な自然言語理解タスクにおいて優れた性能を発揮できるようになる．さらに、ChatGPTは転移学習を通じて、特定のタスクやドメインにおいて高度な性能を発揮できるようにファインチューニングを行う．特に対話型タスクにおいては、ChatGPTは入力されたテキストの文脈を理解し、応答文を生成する際にその文脈を適切に考慮する．これにより、自然で流暢な応答を生成することが可能となる．また、対話の流れや談話の一貫性を維持することも重視されており、モデルが会話のコンテキストを適切に把握し、一貫性のある応答を生成することが求められる．このように、ChatGPTはTransformerアーキテクチャを基盤として、大規模なテキストデータセットを用いて事前に訓練され、対話型タスクに特に適した能力を持つ自然言語処理モデルとして注目されている．

3.6. BingAI(Microsoft)

BingAIとは、Microsoftが開発したAI搭載の検索エンジンである．BingAIは、自然言語での検索やチャット、コンテンツの要約や作成など、さまざまな機能を提供している．BingAIは、GPT-4という強力なAIモデルを利用しており、高度な自然言語理解と生成能力を持つ．BingAIは、Microsoft Edgeのサイドバーに組み込まれており、ブラウザから簡単にアクセスできる．BingAIは、ChatGPTという別のAIチャットモードとは異なり、検索結果やウェブページのコンテキストに基づいて回答や要約を行うことができる．BingAIは、ユーザーの生活や仕事に役立つAIパートナーとして機能することを目的としている．

3.7. Bard(Google)

Bardは、Googleが開発した最先端の大規模言語モデル（LLM）である．2023年5月に発表され、2023年10月に一般公開された．Bardは、膨大なテキストとコードのデータセットで訓練されており、質問応答、文章生成、翻訳、要約、コード生成、質問作成、文章校正のような様々なタスクを実行することができる．Bardは、以下の技術を基盤として構築されている．Transformerモデル: Transformerモデルは、Google Researchが2017年に開発したニューラルネットワークアーキテクチャである．従来のRNNモデルと比べて、長距離依存関係を効率的に処理できるため、自然言語処理タスクにおいて高い精度を実現することを目指している．

4. 生成系AIと授業課題の関係性

4.1. 文部科学省からの提示

文部科学省は初等中等教育段階における生成AIの利用に関する暫定的なガイドラインを発表した．以下はその中の一文である．「生成系AIは黎明期にあり、技術革新やサービス開発が飛躍的なスピードで進展している．こうした中、教育現場においても、様々な活用のメリットを指摘する声がある一方、子供がAIの回答を鵜呑みにするのではないか等、懸念も指摘されている．その一方で、児童生徒や教師を含め、社会に急速に普及しつつある現状もあり、一定の考え方を国として示すことが必要である．」^[4]このように生成系AIは教育現場において様々な活用のメリットが指摘されているが、一方で生徒への悪影響も懸念されている．そして文部科学省から提示されているガイドラインは未だ暫定的な物であり、今後、教育者の生成系AIとの付き合いについて深く検討されるものと推測さできる．

4.2. 生成系AIの性能が向上したことによる教育活動への影響

生成系AIの性能向上は教育活動に対し大きな影響があると考えられる．良い影響としては教材作成やテスト作成、採点などの作業の補助として生成系AIの利用が出来るのではないかと考えられており、教師の負担軽減に繋がることが期待できる．他にも生徒の自学習の際、の補助ツールとしての利用なども期待されている．逆に、悪い影響も考えられる．一つ目は、生成系AIには差別的な表現や偏った情報を生成する可能性があると考えられており、生徒はその偏った情報を学習してしまう恐れがある．二つ目は、生徒が生成系AIに依存してしまう可能性があげられる．生成系AIに依存してしまうと学習者の思考力や問題解決能力が低下する可能性がある．生成系AIはあくまで学習の補助ツールとして位置づけ、適切な使い方を指導する必要がる．三つ目は、生成系AIによって生成されたコンテンツの著作権は、誰が所有するのかといった問題がある．また、生成系AIの学習物が他者の著作物を学習元にしている可能性もあり、意図せずして著作権侵害をしてしまう可能性が潜んでいる．四つ目は、教師のAIに対する知識不足があげられる．すべての教師が生成系AIについて詳しいということは無く、教師がどの様な場面で生成系AIを活用し、どのような場面で生成系AIを活用することが望ましくないというような判断は現状の課題である．文部科学省から暫定的なガイドラインは出ているものの、それだけでは十分とは言えないだろう．その為、本研究では生成系AIの得意な領域と苦手な領域を把握し、それを活かした授業課題を設計する手法を検討する．

5. 評価

5.1. 実際の影響を確認

生成系AIの進歩により、生徒が内容を理解していなくとも授業で出された課題をこなすことが出来るようになってしまったのではないかと危惧されているが、その危惧が正しいかを確認する必要があると考えた．その為今回は情報Ⅰの教科書を実際に生成系AIに解かせ実際の影響を確認した．

5.2. 条件

実際に高等学校情報Ⅰの教科書^[11]を生成系AIに解かせた．利用した生成系AIはChatGPT(OpenAI)、BingAI(Microsoft)、Bard(Google)の3つであり、解かせた問題は教科書の章末問題と巻末問題である．テキストで問題文を与えられる問題が119問、画像の読み取りが必要な問題が33問である．以下に章ごとの問題数を表 1として示す．

問題の内容ごとに正答率が変わることが考えられるため、以下に教科書の章ごとの内容を表 2として示す．

5.3. テキストを読む問題全体

教科書のテキストを読む問題を生成系AIに解かせた際の正答率を、章、生成系AIの種類に分けてまとめたものを以下に図 1として示す．

図１を見ると、どの生成系AIも90%以上の正答率はなく、逆に50%以下の正答率もない．そして、表 2　教科書の章ごとの内容の教科書の章ごとの内容と合わせてみると、生成系AIごとに問題内容の得意不得意があることが読み取れる．特に3章と４章、巻末問題は生成系AIごとの正答率の差が大きい．

5.4. テキストを読み込む問題で生成系AIの誤りが多かった問題

テキストを読み込む問題で生成系AIの誤りが多かった問題は、生成系AIが苦手としている問題形式である可能性が高いと考えられる．その為、生成系AIが誤った内容を返したいくつかの問題を詳しく見ていく．

第1章[2]

著作物の保護と活用について説明した(1)～(5)の文章のうち，下線部が正しいものには〇で答え，誤っているものは訂正するといった内容の問題である．以下に第1章[2]の生成系AIの回答を表 3として示す．教科書の回答と比べ誤りであると判断した内容には黄色でセルを強調表示している．

この問題はテキスト形式で生成系AIに取り込んだ．その為、下線部は消えてしまう．その為生成系AIには「下線部が正しいもの」が認識できなかった可能性がある．しかし、この問題は著作物の保護と活用について説明した文章の正誤判定である．その為、「下線部」が分からずとも問題の正誤は判別できると考える．しかし、生成系AIはすべてにおいて誤った回答を示した．次に誤っているものは訂正するように問題文は書かれているが、生成系AIは「×」と示しただけで訂正を行わなかった．これは問題文の内容を正しく理解できていないことを示す． 生成系AIは学習元データに無い物は正確に答えられないという性質もあるため、このような正しいかどうかを判別するのは苦手なのではないかとも考えられる．

第1章[4]

以下に第1章[4]の問題文を示す．この問題は各選択肢の文章を読み、パスワードのパターンがより多い方を答える問題である．以下に第1章[4]の生成系AIの回答を表 4として示す．教科書の回答と比べ誤りであると判断した内容には黄色でセルを強調表示している．

この問題は文字列のパターン数を考え、よりパターンが多い方を答える問題である．一般的に大きな数の計算はコンピュータの方が得意とされているが、今回生成系AIは誤った回答を示した．これは問題文を計算式に起こしなおして問題を解いていないと予想できる．

第2章[6]

この問題は問題文を読み、データ量を求める問題である．以下に第2章[6]の生成系AIの回答を表 5として示す．教科書の回答と比べ誤りであると判断した内容には黄色でセルを強調表示している．

この問題はデータ量を求める問題である．一般的に大きな数の計算はコンピュータの方が得意とされているが、今回生成系AIは誤った回答を示した．これは問題文を計算式に起こしなおして問題を解いていないと予想できる．理由としては(1)の「RGB各色256階調では，何通りの色を扱えるか答えなさい．」という問題には正解していることから推測できる．この問題はRGBの各色が256段階ある事から計算しなくとも学習元データに16777216通りあるという内容が学習されている可能性が高い．逆にその他の問題は、学習元に無いデータである可能性の高い細かな指定のある問題である．さらに、どの段階で四捨五入をするかの判断も重要であり、丸め誤差が発生しているとも考えられる．教科書のこの問題は人間にとってはある程度解きやすいような数字が選ばれているが、それを生成系AIが理解できている可能性は低いと考える．

第3章[2]

この問題は問題文を読み、（ ）に適切な数字や記号を入れる問題である．以下に第3章[2]の生成系AIの回答を表 6として示す．教科書の回答と比べ誤りであると判断した内容には黄色でセルを強調表示している．

この問題は（ ）に適切な数字や記号を入れる問題である．生成系AIの回答を見るとBardがこの問題を苦手としていることがわかる．ChatGPTとBingAIを見るとChatGPTは③と⑦を誤っており、BingAIは④と⑦を誤っている．逆にすべての生成系AIは⑤を正解している．③は「①と②を加算した結果を桁数5ビットであらわす」という問題であり、①と②の結果を代入しなければ解けない問題である．⑦は④と⑤の結果を代入して求めた⑥を代入して解く問題である．

第3章[4]

この問題は各選択肢の文章を読み、文章で回答する問題である．以下に第3章[4]の生成系AIの回答を表 7として示す．教科書の回答と比べ誤りであると判断した内容には黄色でセルを強調表示している．

この問題モデル化についての問題である．[4]1、[4]2は正誤入り交じっているが、[4]3、[4]4はすべての生成系AIが誤った内容を返している．[4]1、[4]2はモデル化についての基礎知識の確認を行う問題である．[4]3、[4]4は実際に問題文の内容でモデル化を行い、シミュレーション行う問題である．この結果より、生成系AIはモデル化がどのようなものであるかという内容は回答が可能であると考えられるが、逆にモデル化を行い、シミュレーションを行えていないことが読み取れる．

巻末問題[3]

この問題は各選択肢の文章を読み、正しい場合は〇、誤っている場合は×で答える問題である．以下に巻末問題[3]の生成系AIの回答を表 8として示す．教科書の回答と比べ誤りであると判断した内容には黄色でセルを強調表示している．

この問題は著作権利用について各選択肢の文章を読み、正しい場合は〇、誤っている場合は×で答える問題である．この問題は法の絡む問題であり、生成系AIが正答することが難しい問題であると予想していた．生成系AIは8問中２問ずつ誤った回答を示している．

巻末問題[5]

この問題は各選択肢の文章を読み、その問題位がします内容とその並び替えを行う問題である．以下に巻末問題[5]の生成系AIの回答を表 9として示す．教科書の回答と比べ誤りであると判断した内容には黄色でセルを強調表示している．

この問題は音声のデジタル化に関する内容の各選択肢の文章を読み、その問題位がします内容とその並び替えを行う問題である．ChatGPTの回答は並べ替えをした番号は正しいが、選択肢の問題への回答が誤っている．次にBingAIとBardは選択肢の内容への回答は正しいが、並べ替えをした内容に誤りがある．

巻末問題[13]

以下に巻末問題[13]の問題文を示す．この問題は各選択肢の文章を読みその並び替えを行う問題である．以下に巻末問題[13]の生成系AIの回答を表 10として示す．教科書の回答と比べ誤りであると判断した内容には黄色でセルを強調表示している．

この問題は選択肢の並べ替えである．電子署名をして文書を送付する手順についてであるが、生成系AIは誤った回答を示した．並べ替え問題であるため、一つでも並べ替え間違いがあれば×とした．

5.5. 画像を読む問題

教科書の画像を読む問題を生成系AIに解かせた際の正答率を、章、生成系AIの種類に分けてまとめたものを以下に図 2として示す．なお、ChatGPTは現状で画像取り込み機能がなかったため、正答なしとしている．図2を見ると最大でも70％程度の正答率であり、3章と1章のBard以外の正答率は30％程度となっている．図１のテキストを読む問題の生成系AIの正答率と比べると、正答率が大きく下がっていることが分かる．また、3章の内容は生成系AIが得意な内容の問題が多かったと考えられる．

5.6. 画像を読み込む問題で生成系AIの誤りが多かった問題

画像を読み込む問題で生成系AIの誤りが多かった問題は、生成系AIが苦手としている問題形式である可能性が高いと考えられる．その為、生成系AIが誤った内容を返したいくつかの問題を詳しく見ていく．

第１章[6]

この問題は各選択肢の文章を読み、正しい選択肢を答える問題である． 以下に第1章[6]の生成系AIの回答を表 11として示す．教科書の回答と比べ誤りであると判断した内容には黄色でセルを強調表示している．

この問題は各選択肢の文章を読み、正しい選択肢を答える問題である．選択肢は画像から読み取る必要がある．画像は在校生の席取り行為が原因で保護者や来場者が着席できない問題について，解決策をロジックツリーにまとめたものである．選択肢ア～オはそれぞれWhen,Where,Who,What,Howに該当する内容となっている．BingAIは[6]2に回答できなかった．

第2章[4]

この問題は各選択肢の文章を読み、正しい選択肢を答える問題である．

第2章[4]1：この問題で読み取る必要のある図は圧縮形式の種類とその代表的なデータを埋める空欄で構成された表である．第2章[4](1)は可逆圧縮と非可逆圧縮の代表的なデータ３つを埋める問題である．

第2章[4]2：この問題は各選択肢の文章を読み、正しい選択肢を答える問題である．以下に第2章[4]の生成系AIの回答を表 12として示す．教科書の回答と比べ誤りであると判断した内容には黄色でセルを強調表示している．

この問題はデータ量に関する問題である． [4]1は教科書の問題文の表の空欄を埋める問題である．内容としては可逆圧縮と非可逆圧縮の代表的なデータ３つを埋めるという物である．その為、表の内容を読み取り、空欄に何を入れる必要があるかを読み解く必要がある．図 3　第2章[4](1)BingAI回答を見ると、「生活の質感代表的なケース立て(3つ)正常な状態()()()非常に悪化()()()」と言う文章で始まっており、表の内容を読み取れていないことが分かる．読み取れているのは、「代表的な」と言う文言と「(3つ)」と言う文言、そして２つの要素があり、それぞれ３つのカッコを埋める必要があるということを読み取れている．

次に図 4を見ると、可逆圧縮と非可逆圧縮の代表的なデータを３つずつ回答している．つまり、表の内容は読み取れていることが分かる．図 4を見るとBardの回答は以下の通りである．「可逆圧縮：ZIP、LZH、RAR、非可逆圧縮：JPEG、PNG、MP3」と回答している．ZIP、LZH、RARファイルは可逆圧縮であり、正しい．JPEG、MP3は非可逆圧縮で正しいがPNGは可逆圧縮であるため不正解となる．

第2章[5]

この問題は表の空欄を埋める問題と表を読み問題に回答する問題である．以下に第2章[5]の生成系AIの回答を表 13として示す．教科書の回答と比べ誤りであると判断した内容には黄色でセルを強調表示している．

この問題は表の空欄を埋める問題と表を読み問題に回答する問題である．教科書の図はCDとハイレゾ音源のサンプリング周波数と量子化ビット数をまとめたものである．CDのサンプリング周波数と量子化ビット数は空欄のカッコがあり、第2章[5]1はその空欄を埋める問題である．生成系AIの回答はBingAI、Bardそれぞれ図 5、図 6である．図 5は教科書の図のCDとハイレゾ音源のサンプリング周波数と量子化ビット数の表のカッコを埋めた内容となっており、その答えは「サンプリング周波数：44.1kHz、量子化ビット数：16ビット」となっており、正しい．図 6　第2章[5](1)Bard回答は文字「A,B,C,D,E」の出現率、符号、符号長について書かれており、教科書の表が読み取れていないと分かる．

次に第2章[5]2は教科書の図の表のハイレゾ音源の項目「サンプリング周波数：192kHz、量子化ビット数：24ビット」を参照し、CDのデータ量と比べて約何倍大きいか答える問題である．この問題は本来第2章[5]1が正しいうえで生徒が求められる問題であるが、BingAI、Bard共に正解している．これはCDのデータ量を検索、もしくは学習元に正しいデータを持っていることによるものであると考えられる．次に第2章[5]2は教科書の図の表のハイレゾ音源の項目「サンプリング周波数：192kHz、量子化ビット数：24ビット」を参照し、CDのデータ量と比べて約何倍大きいか答える問題である．この問題は本来第2章[5]1が正しいうえで生徒が求められる問題であるが、BingAI、Bard共に正解している．これはCDのデータ量を検索、もしくは学習元に正しいデータを持っていることによるものであると考えられる．

第4章[7]

この問題は教科書の表を読み取り、各問題に対し適切なグラフを作成する問題である．以下に第4章[7]の生成系AIの回答を表 14として示す．教科書の回答と比べ誤りであると判断した内容には黄色でセルを強調表示している．

この問題は教科書の表を読み取り、各問題に対し適切なグラフを作成する問題であるが、表 14を見ると生成系AIは適切なグラフを作成せずに、教科書の表を読み取り、適切なグラフの名称を答えるにとどまっている．

第4章[7](1)は「各商品種別の売上個数が最も多い時間帯を調べる．」に適したグラフの作成をするという問題である．正答としては棒グラフせ作成された図が望ましい．生成系AIの解答は、BingAIは棒グラフや円グラフ、Bardは折れ線グラフとテキストでだけ回答しており、どちらも望ましくない．

第4章[7](2)は「各時間帯に売れたおにぎりの個数の割合を調べる．」に適したグラフの作成をするという問題である．正答としては円グラフで作成されている事が望ましい．生成系AIの解答は両方円グラフとテキスト回答しており、グラフの種類の選択は正しい．

第4章[7](3)は「各時間帯の弁当類の売上総数と，各商品種別の売上個数の内訳を調べる．」に適したグラフの作成をするという問題である．正答としては棒グラフで作成されていることが望ましい．生成系AIの解答は両方棒グラフとテキストで回答しており、グラフの種類の選択は正しい．更に、生成系AIはグラフの種類のみを回答しているが、グラフの種類は問題のテキスト部分のみで回答可能である．その為教科書の表を読み取っていない可能性もある．更に今回生成系AIがグラフを作成しなかった理由の一つとして、「表計算ソフトウェアを用いて．適切なグラフを作成しなさい」という記述が存在するため、表計算ソフトウェアを使用できないので適切なグラフの種類を答えた可能性も考えられる．

巻末問題[12]

この問題は教科書の表を読み取り、答える問題である．以下に巻末問題[12]の生成系AIの回答を表 15　巻末問題[12]の生成系AIの回答として示す．教科書の回答と比べ誤りであると判断した内容には黄色でセルを強調表示している．

この問題は教科書の表を読み取り、答える問題である．教科書の表は表1から表3で構成されるコンビニエンスストアのPOSシステムに蓄積されたデータの一部を取り出したものである．表1は顧客と商品コードと数量を紐づけたデータの表である．表2は商品コード、メーカー、商品名、価格、分類を紐づけたデータの表である．表3は顧客、性別、購入日、購入時間を紐づけたデータの表である．

巻末問題[12](1)は2023/10/20の午前中に売れた商品の個数を答える問題である．しかし、BingAIは「2023年10月20日の午前中に売れた商品の個数は、表1のデータから計算できます．午前中に売れた商品の個数を合計すると、6個です．」と回答している．これは誤りである．次にBardは「午前中に売れた商品の個数は合計で 16個」と回答しており、誤りである．

巻末問題[12](2)は教科書の表のテーブルに示された期間のうち，売れていない商品の商品価格を答える問題である．しかしBingAIは「売れていない商品の商品価格は、表2のデータを調べて特定します．売れていない商品は、表2の「商品名」列に該当するもので、その商品の「商品価格」を確認します．」と回答しており、誤りである．次にBardは「炭酸水: 138円　おにぎり(しゃけ): 130円　サンドイッチ(ハム): 227円　からあげ弁当: 520円」と回答しており、誤りである．

巻末問題[12](3)は弁当類の売り上げの合計個数と総額を答える問題である．しかしBingAIは「弁当類の売り上げの合計個数と総額は、表1と表2のデータを組み合わせて計算できます．弁当類の商品コードを特定し、それに対応する個数と商品価格を合計します．」と回答しており、誤りである．尚、参照すべき表と計算の手法自体は正しい．次にBardは「弁当類の売り上げは合計で 5個、総額は 2,200円」と回答しており、誤りである．

巻末問題[12](4)はヨーグルトが売れた個数を性別ごとに答える問題である．しかしBingAIは「ヨーグルトが売れた個数を性別ごとには、表2の「性別」列を参照して、ヨーグルトの個数を男性と女性で分けて計算します．」と回答しており、誤りである．次にBardは「ヨーグルトの売り上げは、男性が 2個、女性が 2個」と回答しており、誤りである．BingAIの解答に注目すると問題の解き方は提示しているが、回答しようとしていない様に読み取れる．

6. 検討

6.1. テキストを読む問題全体の正答率

図１を見ると、どの生成系AIも90%以上の正答率はなく、逆に50%以下の正答率もない．そして、表2教科書の章ごとの内容と合わせてみると、生成系AIごとに問題内容の得意不得意があることが読み取れた．特に3章と４章、巻末問題は生成系AIごとの正答率の差が大きい．生成系AIの正答率はおよそ7割程度である事からも分かるように、現状の教科書の問題は3割ほど生成系AIでは回答が難しい問題が存在することがわかる．その為その生成系AIでは回答が難しい問題を生徒に解いてもらうことによって単に課題をこなすだけの作業にはならず、生徒に問題の本質や背景を理解する機会を逸してしまう可能性が低いと考える．

6.2. テキストを読む問題で生成系AIの回答に誤りがあった問題

生成系AIの回答に誤りがあった問題はいくつかの特徴を持っていることが分かった．

6.2.1.法などの絡む正誤判定問題

今回の教科書の問題で言う、第1章[2]、巻末問題[3]などがこれに該当する．法などの絡む正誤判定問題の正答率が低い理由は、大規模言語モデルが法などのデータで学習を行っていない可能性があり、その為内容の正誤判定が出来ない可能性があるからである．また、法に関する問題は非常に複雑な日本語で説明されていたり、細かな条件によって判定が変わるケースがある．例えば自身が購入した本を私的利用であればPDF化しても問題ないが、他人から借りた本である場合は著作権法違反をしていると言える．このように細かな条件が正誤判定に影響するため、あくまでも次の単語や文を予測するテキスト生成AIでは正答率に影響が出ると考えられる．

6.2.2.文章を式などに置きなおして解くような問題

今回の教科書の問題で言う、第2章[6]、第3章[2]、第3章[4]などがこれに該当する．文章を式などに置きなおして解くような問題の正答率が低い理由としては、テキスト生成系AIに利用されている言語モデルが再帰処理に弱いことに起因していると考えられる．自然言語処理には再帰的ニューラルネットワークが利用されているが、問題を解いた結果を再度代入して次の問題を解く必要があるとき、より多くの再帰処理が求められる．そもそも生成系AIは常に正しい回答をするわけではなく、どうしてもあいまいな部分が出てしまう．今回はテキストを処理するためにテキスト生成系AIを利用しているが、あくまでも次の単語や文を予測するテキスト生成AIではすべての処理に置いて正しい回答を出力することは難しい．その為問題を解いた結果を再度代入して次の問題を解く際に、代入した回数だけ誤りを含む可能性が上がると考えられる．その為、文章を式などに置きなおして解くような問題は生成系AIが苦手としていると考えられる．

6.2.3.正しい順番に並べ替える問題

今回の教科書の問題で言う、巻末問題[5]、巻末問題[13]などがこれに該当する．これも文章を式などに置きなおして解くような問題と同様にテキスト生成系AIに利用されている言語モデルが再帰処理に弱いことに起因していると考えられる．並び替えを行うためにはまず並び替え対象が何をしなくてはならないかを理解する必要がある．次に、並び替え対象の正しい順番というものを取得し、それに対応するよう紐づけて回答する必要がある．これはテキスト生成AIの次の単語や文を予測するという仕組みでは解決が難しい．ただし、並び替え対象の正しい順番を説明するだけであるのであれば、テキスト生成AＩは得意としていると考えられる．なぜなら順を追って作業を説明するということは、ある動作の次につながる確率の高い動作をつなげる行為だからである．あくまでも生成系AIが苦手とするのは並べ替えであると考える．

6.3. 画像を読む問題全体の正答率

5.5.でも述べたように、図2を見ると最大でも70％程度の正答率であり、3章と1章のBard以外の正答率は30％程度となっている．さらに、図１のテキストを読む問題の生成系AIの正答率と比べると、正答率が大きく下がっていることが分かる．その為、6.1.のテキストを読む問題よりも正答率の低い画像を読み込むような問題はより生成系AIが苦手な問題形式であると考えられる．そして、生徒たちが単に課題をこなすだけの作業に集中し、問題の本質や背景を理解する機会を逸してしまう可能性が低いと考えられる．

6.4. 画像を読む問題で生成系AIの回答に誤りがあった問題

生成系AIの回答に誤りがあった問題はいくつかの特徴を持っていることが分かった．

6.4.1.画像からの特定情報の抽出する問題

今回の教科書の問題で言う、第1章[6]、第2章[4]、第2章[5]、巻末問題[12]などがこれに該当する．画像からの特定情報の抽出する問題の正答率が下がる要因としては、画像からの特定情報の抽出する問題は画像生成AIとテキスト生成AIの二つを利用して問題を解く必要があるからである．解き方としては画像生成AIが画像の要素をテキストに起こす．これは画像生成AIの一致する特徴から画像を生成する仕組みを逆に動作させて、画像から一致する特徴を抽出している．その後、その抽出した画像の要素をテキスト生成AIに渡し、別途与えられていた問題文と複合して処理する．つまり、最初からテキストですべての問題を与えられている問題よりも、画像から必要な要素を抽出する必要があるためどうしても少し精度が落ちる．その為、画像からの特定情報の抽出する問題は生成系AIが苦手とする問題の一つであると考えられる．

6.5. 総評

6.1.～6.4.を通して生成系AIが苦手な内容が分かった．まず、問題を解く際に何かしらの画像を参照した上で問題を解くような問題である場合、生成系AIの正答率は落ちる．そのような問題を解く場合は画像生成AIとテキスト生成AIの二つを利用して問題を解くため、生成系AIの出力回数が増え精度が下がる．同様に、「正しい順番に並べ替える問題」や「文章を式などに置きなおして解くような問題」も生成系AIの出力回数が増え精度が下がっていると言える．何故なら、誤った答えを出力する可能性を秘めいているテキスト生成AIの回答を利用してテキスト生成AIが出力を行うため、生成系AIの出力回数が増え精度が下がっていると言える．そして、出力回数が増えれば増えるほど精度が下がると考えられる．これらの生成系AIでは回答が難しい問題を生徒に解いてもらうことによって単に課題をこなすだけの作業にはならず、生徒に問題の本質や背景を理解する機会を逸してしまう可能性が低いと考える．更に、これらの生成系AIでは回答が難しい問題を解く技能はこの先生徒が社会人になっていくにあたって必要な技能が集まっていると考える．なぜなら現状の生成系AIであっても自動化できない内容であるということは、自動化できない高度な判断力や技能がないと解けない問題であるということだからである．生成系AIはそれらの高度な課題解決を行う際のツールとして良く利用できることを望む．

7. まとめ

生成系AIが苦手な事と得意な事に注目し、授業課題を解く際に必要な要素と比較することによって、授業課題が本来持つべき学修成果が損なわれていない授業課題を検討することが出来ると考える．そして、授業課題が本来持つべき学修成果が損なわれていないため、生成系AIの使用を禁止にするという選択をしなくとも、授業課題を生徒に解いてもらうことが可能であると考える．本研究は、あくまでも2023年度の生成系AIの仕組みに着目し得た結論であるが、生成系AIが苦手な事と得意な事に注目し、授業課題を解く際に必要な要素と比較するという手法を利用すれば、今後生成系AI進歩したとしても、授業課題が本来持つべき学修成果が損なわれていない授業課題を検討することが出来ると考える．

8. 参考文献

1. 学修成果とその可視化, https://www.mext.go.jp/content/1417855_002.pdf ,(2024/01/11)
2. 資料5 - 文部科学省, https://www.mext.go.jp/content/20200114-mxt_daigakuc03-000003869_9.pdf ,(2024/01/11)
3. 生成系AI | 用語解説 | 野村総合研究所(NRI), https://www.nri.com/jp/knowledge/glossary/lst/sa/generative_ai ,(2024/01/11)
4. 生成系AIの利用について, https://www.mext.go.jp/a_menu/other/mext_02412.html ,(2024/01/11)
5. ChatGPT – OpenAI, https://openai.com/chatgpt ,(2024/01/11)
6. BingAI, https://www.bing.com/search ,(2024/01/11)
7. Gemini, https://gemini.google.com/app ,(2024/02/20)
8. 解説③ 学修成果と内部質保証について, https://www.jihee.or.jp/seminar/pdf/seminar/seminar31_program_slide03.pdf ,(2024/01/11)
9. 初等中等教育段階における生成系AIに関する暫定的なガイドライン, https://www.mext.go.jp/content/20230710-mxt_shuukyo02-000011649_001.pdf ,(2024/01/11)
10. 人工知能入門　編著：豊田秀樹　出版：東京都書2023/12/25第1版
11. 情報Ⅰ　編：黒上晴夫、堀田龍也、村井純　出版：日本文教出版,2022/01/15
12. 画像生成aiとは？ 仕組みや人気ツールなどを解説, https://www.hitachi-sliutions-create.co.jp/cliumn/technliogy/image-generation-ai.html ,(2024/02/20)

9. 生成系AIの回答

9.1. 第1章

9.2. 第2章

9.3. 第3章

9.4. 第4章

9.5. 巻末問題

1 import random

2 data = []

3 for i in range(100):

4  data.append(random.randint(1, 999))
            

"import random

# 配列 data を初期化
data = []

# 100回繰り返してランダムな整数を配列に追加
for i in range(100):
    data.append(random.randint(1, 999))

# 配列 data の中身を表示
print(data)"
            

import random

data = []

for i in range(100):

  data.append(random.randint(1, 999))
            

import random

　data = []
　
　for i in range(100):
　
　    data.append(random.randint(1,999))
            

5 atai = 70

6 for i in range(len(data)):

7     if data[i] == atai:

8         print("見つかりました")

9         break

10 for i in range(len(data) - 1):

11     for j in range(i + 1, len(data)):

12         if data[i] > data[j]:

13             tmp = data[i]

14             data[i] = data[j]

15             data[j] = tmp

16 print(data)
        

"import random

# 配列 data を初期化
data = []

# 100回繰り返してランダムな整数を配列に追加
for i in range(len(data)):
    data.append(random.randint(1, 999))

# 配列 data の中身を表示
print(data)"

        

5行目の atai = 70 を atai = int(input("探したい数値を入力してください：")) に変更します。13行目の j < len(data) - 1 を j < len(data) - 2 に変更します。

        

　atai = 70
　for i in range(len(data)):
　    if data[i] == atai:
　        print("見つかりました")
　        break
　for i in range(0, len(data)-1,1):
　    for j in range(i+1, len(data),1):
　        if data[i] > data[j]:
　            tmp = data[i]
　            data[i] = data[j]
　            data[j] = tmp
　print(data)
        

import    pandas as pd 
from sklearn.linear_model import LinearRegression 

# データの読み込み 
train = pd.read_csv('train.csv') 

# 平日のデータを抽出 
weekday_data = train[train['days'] == '平日'] 

# 説明変数と目的変数を設定 
X = weekday_data['days'].values.reshape(-1, 1) 
y = weekday_data['y'] 

# 線形回帰モデルを作成 
model = LinearRegression() 
model.fit(X, y) 

# 回帰直線の係数と切片を取得 
a = model.coef_[0] 
b = model.intercept_ 

# 回帰直線の式 
regression_equation = f"y = {a:.1f}x + {b:.1f}" 
print("回帰直線の式:", regression_equation)