マルチモーダルAI（画像とテキストを同時に処理できるAI）は、従来のOCR（光学文字認識）では対応できなかった非定型帳票の読み取りや、図面・写真からの情報抽出を可能にし、バックオフィス業務の自動化領域を大きく広げています。本記事では、OCR代替・図面解析・レシート処理という3つの実務ユースケースを取り上げ、具体的な活用方法とプロンプト設計のポイントを解説します。
マルチモーダルAIとは何か
マルチモーダルAIとは、画像・テキスト・音声など複数の異なる種類（モダリティ）の情報を統合的に理解し、推論できるAIモデルを指します。代表例としてGPT-4V、Gemini、Claude 3のVision機能などがあり、画像を入力するだけで「何が写っているか」を説明するだけでなく、「この帳票の合計金額はいくらか」といった文脈理解を伴う質問応答が可能です。
従来のOCRは文字の位置とパターンを認識する技術であり、レイアウトが変わると精度が落ちやすいという弱点がありました。マルチモーダルAIはレイアウトの意味を理解した上でテキストを抽出できるため、非定型書類にも柔軟に対応できます。
ユースケース1：OCR代替としての活用
請求書や契約書など、フォーマットが取引先ごとに異なる書類は、従来のテンプレートベースOCRでは都度チューニングが必要でした。マルチモーダルAIを使えば、フォーマットを事前定義せずとも項目抽出が可能です。
- 請求書番号・発行日・金額・振込先などの項目をJSON形式で出力させる
- 手書き文字が混在する書類でも文脈から推測して補完できる
- 複数ページにまたがる情報を統合して1つの構造化データにまとめられる
プロンプト例は以下のようになります。
この請求書画像から以下の項目を抽出し、JSON形式で出力してください。
- 発行日
- 請求元企業名
- 合計金額（税込）
- 振込先口座情報
不明な項目は null としてください。ユースケース2：図面解析
建築図面や機械の設計図には、寸法線・記号・注記など専門的な情報が密集しています。マルチモーダルAIは図面全体の構造を理解しつつ、特定のシンボルや寸法値を抽出するタスクに応用できます。
- 配管図から機器記号（バルブ・ポンプ等）の種類と数量をリストアップ
- 建築図面から部屋の面積や用途を読み取り、台帳データと突合
- 過去図面と現行図面を比較し、変更箇所をテキストで説明させる
図面解析では、画像解像度が低いと細かい記号の誤認識が起きやすいため、可能な限り高解像度でスキャンし、必要に応じて図面を分割して入力することが精度向上のポイントです。
ユースケース3：レシート・領収書処理
経費精算業務では、レシートの店舗名・日付・金額・品目を手入力するケースがまだ多く残っています。マルチモーダルAIを使うことで、以下のような処理が自動化できます。
- 感熱紙レシートのかすれや折れによる部分的な文字欠損を文脈から補完
- 軽減税率対象品目とそれ以外を自動で分類
- 複数枚のレシート画像を一括で処理し、経費精算システム向けCSVに変換
以下のレシート画像を解析し、次の形式で出力してください。
店舗名, 購入日, 品目名, 単価, 税率区分(8%/10%), 合計金額導入時に押さえておきたいポイント
精度検証のプロセスを設計する
マルチモーダルAIは高い柔軟性を持つ一方、出力が毎回完全に一致するとは限りません。導入初期は人手によるダブルチェック体制を設け、誤読パターンを蓄積してプロンプトを改善するサイクルが重要です。
個人情報・機密情報の取り扱い
レシートや契約書には氏名・口座番号などの個人情報が含まれることが多いため、利用するAIサービスのデータ取り扱いポリシーを事前に確認し、必要であればマスキング処理を挟む運用にすることが望ましいです。
既存システムとの連携
抽出結果をそのまま業務に活かすには、RPAやAPI連携を通じて基幹システムやスプレッドシートに自動反映させる仕組みが必要です。抽出精度だけでなく、後工程まで含めた業務フロー全体の設計が成功の鍵となります。
まとめ
マルチモーダルAIは、非定型書類の読み取りや図面のような専門性の高い画像解析において、従来のOCRやルールベースのシステムでは難しかった柔軟な情報抽出を実現します。OCR代替・図面解析・レシート処理の各ユースケースを参考に、まずは小規模なPoC（概念実証）から着手し、精度検証と業務フロー設計をセットで進めることをおすすめします。