The Papers

ガイド

ChatGPTがPDFの数字を間違えるのはなぜですか?

ChatGPTがPDFの数字を間違えるのは、PDFが保存しているのは配置されたテキストと画像であり、意味を伴った値の表ではないからです。グラフ、スキャン、複雑なレイアウトの中にある数値は、読み飛ばされたり、結合されたり、誤った期間・通貨・行に結び付けられたりします。対策は、ラベルや補足条件のすぐ横に構造化されたテキストとして数字をAIに渡すことです。理想的には、すべてのAIがPDFから抽出し直すのではなく読み取る、忠実性チェック済みでテキストベースのドキュメントのバージョンを1つ用意します。

PDFが実際にAIに渡しているもの

PDFは印刷用のフォーマットです。各文字、線、画像をページのどこに描くかをビューアに伝えるだけで、「このセルはユーロ建てのQ3売上で、未監査」とは書かれていません。ファイルを読むAIは位置情報からその意味を組み立て直す必要があり、組み立て直すたびに推測が入ります。

OpenAIのヘルプセンターによれば、ChatGPTは画像ベースの表、スキャンしたファイル、複雑なビジュアルレイアウトから正確な値を確実に抽出できない場合があり、正確な値が重要なときはスプレッドシートやテキストファイルのアップロードを推奨しています。また、PDF内のグラフや画像の読み取り(ビジュアル検索)は特定の環境でのみ提供され、それ以外ではテキスト層だけが使われるとしています。グラフや画像の中にしかない数字は、まったく見えないこともあります。

ドキュメントの種類別によくある誤り

ドキュメント何が起きるか原因
年次・四半期報告書前年度の数値が当年度として引用される複数列の表が抽出時に列見出しを失う
銀行・取引明細書入金と出金が入れ替わり、残高がずれる金額が明示的なラベルなしで列に配置されている
価格表・仕様書価格が別の製品やバリエーションに結び付く行が折り返され、結合セルで行の順序が崩れる
財務サマリー予測値が実績として報告される補足条件が数字から離れた脚注にある
スキャンした契約書・請求書数字の読み間違い(8と3、1と7)テキストがテキスト層ではなくOCRから得られている
画像の多い長いレポートセクションが無視される、または曖昧に要約される大きなファイルは完全には分析されない場合がある

本当の問題は単位・期間・補足条件

「間違った数字」の多くは、数字そのものは正しく、意味が間違っています。「4.2」は「百万ドル」「FY2025」「未監査」がなければ役に立ちません。PDFではこれらが表の見出し、キャプション、脚注に分散していることが多く、抽出では数字だけが残り、文脈が失われます。

  • 桁:千単位か百万単位かが見出しで一度だけ示されている(「単位:千ドル」)。
  • 期間:「2025 / 2024」のような列見出しが、表が平坦化されると消える。
  • 通貨:列の上部に記号が1つあるだけで、値の横にはない。
  • 補足条件:予測、プロフォーマ、未監査、「最大」、一時的要因を除く、など。たいてい小さな文字で書かれています。
  • 定義:売上かGMVか受注額か、総額か純額か。

PDF側で自分で直せること

  • 元のアプリケーションから書き出し、テキストを選択可能なまま保ちます。スキャンや「画像として印刷」は避けます。
  • 単位と期間は、ページタイトルだけでなく各列の見出しに入れます。
  • 重要な数値は、完全な文脈とともに一度文章で示します:「売上 FY2025:$4.2M、未監査」。
  • すべてのグラフにデータラベルを付けるか、下に小さな数値表を添えます。
  • 結合セルや、ページをまたいで分割される表は避けます。
  • 精度が重要なら、OpenAIの推奨どおり、PDFと一緒にスプレッドシートやCSVを共有します。
  • ChatGPTに質問するときは、ファイル全体ではなく特定のページやセクションを指定します。OpenAIはセクション単位で質問するか、大きなファイルを分割することを提案しています。

自分のプロンプトを改善するだけでは足りない理由

ChatGPTの回答は自分で確認できます。しかし、読み手が受け取る回答は確認できません。投資家、顧客の調達チーム、規制当局はそれぞれ自分のアシスタントにPDFをアップロードし、そのたびに数字が異なる方法で抽出されます。訂正版を公開した後も、古いコピーは出回り続けます。

持続的な解決策は、恒久的なアドレスに置いた、正規でテキストベースのドキュメントのバージョンを1つ用意し、すべてのAIがレイアウトから推測するのではなくそれを読むようにすることです。

The Papers による解決方法

The Papers は、PDF(またはPowerPoint、Excel、Word)を恒久的なURL上の忠実性チェック済みAIバージョンに変換します。Webページに加え、MarkdownとJSONも提供します。公開前に、すべての数値、通貨、日付、期間が原本と完全に一致するかを確認し、原本にない数値が現れることは認めません。予測、未監査、プロフォーマといった補足条件は値に結び付いたまま残り、各値は原本のページへの参照を保持します。

原本が曖昧な場合、たとえばある数値が売上なのかGMVなのかが分からない場合は、あなたに確認し、その回答は「オーナー確認済み」として記録されます。ドキュメントにはAIレディネスのスコアが付き、「忠実性チェック済み」になるには重大な未解決事項がゼロである必要があります。ドキュメントを更新してもリンクは変わりません。

よくある質問

スキャンしたPDFは書き出したPDFより悪いのですか?
通常はそうです。スキャンにはテキスト層がないため値はOCRから得られ、OpenAIもスキャンしたファイルや画像ベースの表は確実に抽出できない場合があると述べています。可能な限り元のアプリケーションから書き出してください。
より優れたモデルなら解決しますか?
一部は解決します。優れたモデルほどレイアウトをうまく読めますが、それでもPDFには、ある数字にどの期間・通貨・補足条件が対応するかが書かれていません。構造化されたテキストなら、どのモデルでも推測が不要になります。
代わりにスプレッドシートを送ればよいのでは?
生データについてはそのとおりです。OpenAIも正確な値が重要なときはスプレッドシートやテキストファイルを推奨しています。ただし読み手には説明の文章も必要で、スプレッドシートだけではそれが失われます。忠実性チェック済みAIバージョンなら両方を保持できます。
The Papers は数字が正しいかどうかを確認しますか?
いいえ。確認するのは、AIバージョンが原本に忠実であること、つまり同じ数値、期間、補足条件であることです。内容そのものが真実であることを証明するものではありません。

PDFの忠実性チェック済みAIバージョンを1つ公開し、すべてのアシスタントが同じ数字を読むようにしましょう。

出典

関連ガイド