Scholar Evaluation

Scholar Evaluation は、affaan-m の ECC プロジェクトに収録されている、構造化された学術レビュー用の Skill です。研究論文、研究計画書、文献レビュー、学位論文の章、技術レポートなどを、一貫した評価基準に沿って評価できます。

曖昧なフィードバックを返すのではなく、明確な評価項目ごとに内容を確認し、該当項目を1〜5で採点します。重要な弱点を特定し、実際の修正につながる優先順位まで整理します。

主な機能

1. 研究の質を評価
   研究課題、リサーチクエスチョン、貢献、対象範囲、前提条件が明確に定義され、適切に整合しているかを確認します。

2. 先行研究と背景を評価
   関連する先行研究が十分にカバーされているか、適切に整理・統合されているか、研究ギャップの根拠として機能しているかを確認します。

3. 方法論をレビュー
   研究デザイン、変数、データセット、参加者、使用材料、再現可能性、そして選択された手法が研究課題に適しているかを評価します。

4. 根拠と分析を確認
   データの質、サンプルの範囲、前処理の判断、バイアスのリスク、分析手法、ベースライン、対照条件、ロバスト性を確認します。

5. 結果と解釈を評価
   結果が明確に提示されているか、また結論が実際に得られた証拠の範囲を超えていないかを確認します。

6. 限界と妥当性をレビュー
   内的妥当性、外的妥当性、構成概念妥当性、結論妥当性に関する弱点を特定し、研究の限界が具体的に説明されているかを確認します。

7. 文章と構成を評価
   明確さ、構成、用語、論理展開、学術文書として適切な文体になっているかを確認します。

8. 引用の妥当性を確認
   引用文献が実際に該当する主張を裏付けているか、一次資料、レビュー論文、プレプリントが適切に扱われているかを確認します。

対応するレビュー対象

Scholar Evaluation は、以下のような学術文書に使用できます。

• 実証研究論文
• 理論論文
• 技術レポート
• システマティックレビュー
• ナラティブレビュー
• 研究計画書
• 修士論文・博士論文の章
• 学会要旨
• 短い学術論文

評価モード

総合レビュー

フルルーブリックを使って、該当するすべての評価項目を確認します。

フォーカスレビュー

以下のような1〜2項目に絞って評価できます。

• 方法論
• 根拠の質
• 引用
• 分析
• 文章
• 限界

比較レビュー

複数の論文や研究成果を同じ評価基準でレビューし、それぞれの強みと弱みを一貫した形で比較できます。

採点基準

該当する各項目を 1〜5 で評価します。

• 5 — 優れている： 明確かつ厳密で、出版可能な水準
• 4 — 良い： 全体として強く、軽微な改善のみ必要
• 3 — 十分： 利用可能だが、重要な改善点がある
• 2 — 弱い： 大幅な修正が必要
• 1 — 不十分： 妥当性または明確さに重大な問題がある
• N/A： 該当しない評価項目に使用

スコアだけで判断するのではなく、それぞれの評価には根拠と修正提案が添えられます。

使用例

• 投稿前に研究論文をレビューする
• 学位論文の中で最も弱い部分を特定する
• 方法論が研究課題に適しているかを評価する
• 主要な主張が引用文献によって裏付けられているか確認する
• 2本の論文を同じ基準で比較する
• 文献レビューの網羅性や統合の質を確認する
• 不足している限界や妥当性上の問題を特定する
• 抽象的な学術フィードバックを具体的な修正タスクに変える
• 指導教員や審査委員会に提出する前に研究計画書をレビューする

主な入力例

以下のような内容を入力できます。

• 研究論文
• 論文原稿
• 研究計画書
• 文献レビュー
• 修士論文・博士論文の章
• 方法論セクション
• 学会論文や要旨
• 比較したい複数の論文
• 「方法論と引用だけを重点的に評価してほしい」といった具体的なレビュー依頼

より的確なフィードバックを得たい場合は、特に重視したい評価項目を指定することもできます。

主な出力例

Scholar Evaluation では、タスクに応じて以下のような結果を返します。

• 総合評価
• 各評価項目の1〜5スコア
• 各スコアの根拠
• 対応が必要な重大な問題
• 修正の優先順位
• 具体的な修正提案
• 追加確認が必要な根拠
• 評価の信頼度

一般的な評価では、以下の項目を含む構造化されたスコア表を作成します。

• 研究課題とリサーチクエスチョン
• 先行研究と背景
• 方法論
• データと根拠
• 分析
• 結果と解釈
• 限界
• 文章と構成
• 引用

仕組み

この Skill は、構造化されたレビュー手順に沿って評価を進めます。

まず、対象となる学術文書の種類と評価範囲を特定します。その後、主張されている貢献、方法論、根拠、結果、引用文献を確認し、該当する各評価項目を採点します。

レビューでは、重大な問題と通常の修正提案を分けて提示します。これにより、研究そのものの信頼性に影響する問題と、主に明確さや表現を改善するための修正を区別できます。

最終的な出力では、単なるスコアではなく、次に何を直すべきかが具体的に分かる形でフィードバックをまとめます。

レビューの基本方針

Scholar Evaluation は、学術レビューでよくある以下のような誤りを避けるよう設計されています。

• 引用数の多さを研究の質そのものとはみなしません。
• 有名な学会・ジャーナルや著名な著者だからといって、内容が優れているとは判断しません。
• 研究の対象外となる評価項目について、不当に減点しません。
• アブストラクトに書かれているという理由だけで、その主張を正しいものとして扱いません。
• 根拠に基づく結論と、裏付けのない推測的な主張を区別します。

出典

affaan-m の ECC プロジェクトに収録されている Scholar Evaluation Skill をベースにしています。