- 実在の個人情報を使わずに、評価に使える合成の請求書類と正解データを作る。
- 項目ごと・誤りの方向ごとに精度を出し、「分からない」と答えて人に渡す設計を評価に組み込む。
- 抽出した値の根拠(書類上の位置)が正しいかを測り、査定担当者が確かめられる形で報告する。
1. 業務のどこに抽出が入るか、お金とどうつながるか
医療関係の給付金の請求では、診断書(入院・手術等の証明書)や、診断書を省略できる場合の領収書・診療明細書が提出されます。生命保険協会は「診断書様式作成にあたってのガイドライン」で、各社の様式の質問の仕方や選択肢をそろえる取組みを進めてきましたが、様式の完全な統一には至らず、実際の様式は各社の商品に応じて決められています。様式が会社ごと・書類ごとに違うことが、抽出を難しくする理由の1つです。
生命保険会社の給付金は2024年度に5兆697億円でした(生命保険協会)。入院日数・手術日・手術の有無のような項目の読み違いは、そのまま支払額の誤りにつながります。少ない方向の誤りは正当な支払を削ることになるため、全体の正解率とは別に数えます。抽出の結果で支払可否を決めるのは査定担当者で、エンジニアの責任は値と根拠の正確さです(責任範囲の解説)。
2. データの規律:合成の書類だけを使う
- 実在の診断書・請求書類・個人情報は使わない。病歴は個人情報保護法の要配慮個人情報にあたり、取得や第三者提供に原則として本人の同意が必要です。練習に持ち出してよいものではありません。
- 氏名・住所・医療機関名・医師名は、明らかに架空と分かる記号(例:「請求者A-001」「架空病院B」)にする。実在の人名・病院名に似せない。
- 傷病名は「疾病カテゴリ1」のような記号でよい。演習の目的は書類の読み取りの評価で、医学的な判断ではありません。
- 生成のプログラムと乱数の種を残し、だれでも同じ書類と正解を再現できるようにする。
3. 合成書類の作り方
- 様式を3種類つくる:表形式の証明書、自由記述が多い証明書、領収書+診療明細書の組み合わせ。項目の位置と言い回しを変える(「入院期間」「入院日〜退院日」など)。
- 正解データを先に作る:1枚ごとに、入院開始日、退院日、入院日数、手術の有無、手術日、支払った医療費の金額の6項目を表で持つ。
- 書類に描く:正解データから書類の画像・PDFを作り、各項目の位置(ページと座標)も正解として保存する。
- 難しさを足す:和暦と西暦の混在、全角・半角、手書き風の文字、傾き・かすれ、項目の欠落、訂正印のような重ね書き。
- 矛盾を混ぜる:入院日数と日付が合わない、手術日が入院期間の外にある書類を一部に入れる。正解は「矛盾あり・人に渡す」。
- 分けて使う:作り方の調整に使う書類と、最終評価に使う書類を分け、最終評価用は最後まで見ない。
入院日数の数え方(入院日と退院日を両方数えるか等)は約款・商品によって異なります。演習では「入院日と退院日を含めて数える」など自分で定義し、報告書に明記してください。実際の商品の定義の解説ではありません。
4. 評価の設計
| 指標 | 定義 | 理由 |
|---|---|---|
| 項目別の正解率 | 項目ごとに、正解と一致した割合(日付は正規化してから比較) | 平均では重要な項目の誤りが隠れる |
| 回答した中での正解率 | 「分からない」と答えた分を除いた正解率 | 答えた値がどれだけ信用できるか |
| 「分からない」の割合 | 人に渡した項目の割合 | 多すぎると効率が出ない。少なすぎると誤りが流れる |
| 方向別の誤り | 支払額を少なくする方向/多くする方向の誤りの件数 | 少ない方向は正当な支払を削る |
| 根拠の一致率 | 正しく抽出した値のうち、示した位置が正解の位置と重なる割合 | 担当者が確かめられるか |
| 矛盾の検出 | 矛盾を入れた書類のうち「人に渡す」とできた割合 | 書類の不備・誤記を拾えるか |
5. 計算例【架空例】
以下は説明用の架空の数字です。実在の製品・企業の実績ではありません。
最終評価用の合成書類200枚×6項目=1,200項目で評価したとします。
| 集計 | 件数 | 割合 |
|---|---|---|
| 正解と一致 | 1,128 | 94.0%(1,128÷1,200) |
| 誤った値を回答 | 36 | 3.0%(36÷1,200) |
| 「分からない」として人に渡した | 36 | 3.0%(36÷1,200) |
| 回答した中での正解率 | 1,128÷1,164 | 96.9% |
| 根拠の位置が正解と一致(正解1,128件中) | 1,083 | 96.0%(1,083÷1,128) |
次に、誤った36件を項目と方向に分けます。
| 項目 | 誤り | 支払額を少なくする方向 | 多くする方向 | 支払額に影響しない |
|---|---|---|---|---|
| 入院日数 | 8 | 5 | 3 | 0 |
| 入院開始日・退院日 | 14 | 2 | 1 | 11 |
| 手術の有無・手術日 | 4 | 3 | 1 | 0 |
| 医療費の金額 | 10 | 0 | 0 | 10 |
| 合計 | 36 | 10 | 5 | 21 |
前提【架空例】: この演習の架空の商品では、給付額は入院日数と手術の有無で決まり、医療費の金額は給付額に影響しないと置いた。日付の誤り14件のうち11件は、入院日数を別の欄から正しく取れており給付額に影響しない誤り(年の表記だけの取り違えなど)とした。
全体の正解率94.0%より、支払額を少なくする方向の誤りが10件あることのほうが、査定担当者にとって重要な情報です。改善は、この10件の原因(例:手書きの「1」と「7」の読み違い、和暦の年の取り違え)に絞って行い、「入院日数と日付が合わなければ人に渡す」チェックで拾えるかを確かめます。
6. 判定のルールを先に決める
評価の数字は「何を正解とみなすか」で大きく変わります。測る前に、次のルールを文書にしておきます。後から都合のよい判定に変えると、報告の信頼性がなくなります。
| 論点 | 決め方の例 |
|---|---|
| 日付の一致 | 和暦・西暦、区切り記号の違いは正規化してから比べる。年・月・日のどれか1つでも違えば誤り |
| 数値の一致 | 全角・半角、桁区切りは正規化。金額は1円単位で一致を求める |
| 手術の有無 | 「有・無・記載なし」の3値で比べる。「記載なし」を「無」と答えたら誤りとして数える |
| 根拠の一致 | 示した領域と正解の領域が一定以上重なれば一致(重なりの基準は報告書に明記)。ページ違いは不一致 |
| 「分からない」 | 誤りには数えないが、件数と割合を必ず報告する。人が確認する手間として効率の評価に入れる |
| 矛盾のある書類 | 値を正しく読めても、矛盾を指摘して人に渡さなければ「矛盾の見逃し」として別に数える |
「記載なし」と「無」の区別は、実務では支払の可否に関わりうる違いです。値を埋めることより、書類に書かれていることを正確に区別することを優先する判定にしておくと、査定担当者にとって使える評価になります。
7. 進め方(1〜2週間の目安)
- 合成書類の生成プログラムを作り、正解データと位置情報を出力する。
- 基準線を作る:単純なOCR+キーワードの近くの値を取る方法で、4節の指標をすべて出す。
- 改善版を作る:様式ごとの位置の手がかり、日付の正規化、項目間の整合チェック、確信度による「分からない」の判定を加える。
- 調整用の書類で改善し、最終評価用の書類で一度だけ測る。
- 方向別の誤りを分析し、原因と対策を書く。
- 報告書を書く(A4で2枚):結論、指標、方向別の誤り、人に渡す条件、限界、次に確かめること。
報告書の構成例
- 結論:例「支払額を少なくする方向の誤りは10件。うち7件は日付と日数の整合チェックで人に渡せる。残る3件は手書き数字の読み違いで、確信度の基準を見直す」
- 評価の条件:合成書類の枚数、様式の種類、難しさの条件、判定ルール(6節)、入院日数の数え方などの自分で置いた定義
- 結果:4節の指標の表と、方向別の誤りの表
- 人に渡す条件:条件ごとの件数と、条件を変えたときに誤りと「分からない」の割合がどう動くか
- 限界:合成書類と実際の書類の違い(紙の質、押印、様式の多さ)、評価していない項目
- 次に確かめること:権限のある環境で実際の書類に近い条件で並行稼働するときに測る項目
結論を「正解率94%」で始めないことがポイントです。査定担当者と支払部門の責任者が知りたいのは、どの誤りが支払額に影響し、どの仕組みでそれを人の確認に回せるかです。
8. 成果物の評価基準
| 観点 | 合格の目安 | よくある不合格 |
|---|---|---|
| データ | 合成書類のみ。生成手順と乱数の種で再現できる | 実在の書類や、出所の分からない画像を使う |
| 評価の分け方 | 調整用と最終評価用を分け、最終評価は1回 | 評価用で何度も調整して高い値を報告 |
| 指標 | 項目別・方向別の誤り、「分からない」の割合を報告 | 全体の正解率だけ |
| 根拠 | 値ごとに位置を返し、一致率を測る | 値だけを返す |
| 人への引継ぎ | 矛盾・低確信度で人に渡す条件を定義し、効果を測る | すべて自動で値を埋める |
| 責任分界 | 「抽出結果は査定担当者が確認して使う」と明記 | 「自動で査定できる」と書く |
| 定義の明記 | 入院日数の数え方など、自分で置いた定義を書く | 定義を書かず、実在商品の解釈のように書く |
9. 失敗・注意点
- 実データで練習したくなる:手元にある書類でも、練習に使うのは個人情報の目的外利用になりえます。合成書類で十分に評価の力はつきます。
- 生成AIに値を「埋めさせる」:書類にない値をもっともらしく補うことがあります。根拠の位置が示せない値は「分からない」とする設計にします。
- 易しい合成書類で高得点を出す:実際の難しさ(手書き・様式の違い・矛盾)を混ぜないと、業務では通用しません。難しさの条件も報告します。
- 不正の判定に話を広げる:この演習は書類の読み取りの評価です。不正の疑いの判定や手口の再現は扱いません。