(1) GA生成実験と評価方法について
本プロジェクトの実験方法
本プロジェクトでは，生成AIによるGA自動生成の可能性を検証するため，3種類のプロンプトを設計し，それぞれ評価しました。
以下では，各プロンプトの内容と狙い，評価の手順について説明します。
Pro① シンプルな方法
「次の記述の主なポイントを視覚的に表現した画像を作成してください」 ＋ 英文Abstract
狙い：最低限の入力でどの程度の品質が得られるかを検証する
Pro② 要約を加えた方法
１．「以下の文書の主なポイントを約20単語程度で要約してください」 ＋ 英文Abstract
２．「次の記述の主なポイントを視覚的に表現した画像を作成してください」 ＋ 1の要約文
狙い：情報を圧縮することで，より焦点を絞ったGAが得られるかを検証する
Pro③ 細かな要件を加えた方法
「以下の科学論文のAbstractを読み，研究で最も重要なポイントを1つ選び，それを象徴するイラストを作成して下さい。イラストは単純で視覚的に印象深いデザインとし，シンプルなスタイルに仕上げてください。
要件：
- 主題を中心：Abstractから最も重要な1つのポイントに集中する
例：発見された新しいプロセス，目立つメカニズム，または重要な成果 - 簡素なデザイン：イラストは1つの主要なビジュアル要素を中心に捉え，背景や装飾を最小限に抑える
- 洗練されたスタイル：シンプルで直感的な形状，適切な配色，ミニマリストなデザインを採用する
- ラベルや説明文を使用しない：イラストだけで視覚的にメッセージを伝える
＋英文Abstract
狙い：AIに明確な構造や表現指示を与えることで，精度や一貫性を高められるか検証する
以下では，これらのプロンプトを用いた実験における評価手順について説明します。
評価の方法
本プロジェクトでは，生成AIによるGAの有効性を，以下の2つの観点から評価しています。
- 内容推測度：GAを見て論文内容をどの程度推測できるか
- 関心喚起度：GAを見て論文にどの程度興味を持つか
評価対象
・論文：4名の研究者による各5編，合計20編（うち2名はコンピュータ理工（CS）学科教員）
・被験者：山梨大学CS学科／コースの学生10名（卒研生5名＋修士院生5名）
評価手順（各論文ごと）
- 書誌情報のみを提示し，「内容推測度」を5点で評価
- 3種類のGAを提示し，「関心喚起度」を5点で評価
- 再度「内容推測度」を5点で評価
下記は，実際に評価に使用したスライドの例です。
各スライドには，対象論文の書誌情報や生成されたGAが表示され，学生は内容推測度や関心喚起度を評価します。
スライドの順序やGAの表示順はランダムに設定しており，最初の1編は最後に再評価することで，評価の安定性も確認しています。
（※以下のスライドは，実験時はアニメーション形式として，クリックで順に閲覧するように提示しました。）
以上の手順で実験を実施しました。次はその結果について説明します。