特開 2024-33315 情報処理装置及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024033315

(43)【公開日】2024-03-13

(54)【発明の名称】情報処理装置及び情報処理プログラム

(51)【国際特許分類】

   H04N 1/00 20060101AFI20240306BHJP

【ＦＩ】

H04N1/00 Z

H04N1/00 127B

H04N1/00 127A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022136831

(22)【出願日】2022-08-30

(71)【出願人】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】宮田 千恵美

(72)【発明者】

【氏名】佐藤 弘一

(72)【発明者】

【氏名】高橋 透

【テーマコード（参考）】

5C062

【Ｆターム（参考）】

5C062AA02

5C062AA05

5C062AA12

5C062AA13

5C062AA14

5C062AA35

5C062AA37

5C062AB02

5C062AB20

5C062AB23

5C062AB38

5C062AB40

5C062AB42

5C062AC05

5C062AC22

5C062AC34

5C062AE15

(57)【要約】

【課題】本開示の技術は、ユーザが記入漏れの有無を確認することを支援できる情報処理装置、及び情報処理プログラムを提供することを目的とする。
【解決手段】情報処理装置は、プロセッサを含み、前記プロセッサは、記入項目を含む書類を記入する側から撮影した映像を取得し、前記映像における前記書類の未記入の前記記入項目である未記入項目を出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

プロセッサを含み、
前記プロセッサは、
記入項目を含む書類を記入する側から撮影した映像を取得し、
前記映像における前記書類の未記入の前記記入項目である未記入項目を出力する
情報処理装置。

【請求項2】

前記プロセッサは、
前記書類の前記記入項目を特定するフォーマットを受け付け、
前記映像における前記書類の前記フォーマットが特定する前記記入項目を出力する
請求項１に記載の情報処理装置。

【請求項3】

前記プロセッサは、
前記フォーマットを特定する情報を表す識別表記を撮影した映像を受け付け、
撮影した前記識別表記から特定されるフォーマットを前記書類に適用する
請求項２に記載の情報処理装置。

【請求項4】

前記プロセッサは、
ユーザによる前記記入項目の指定を受け付け、
指定された前記記入項目を特定するための情報を前記フォーマットに関連付ける
請求項２に記載の情報処理装置。

【請求項5】

前記プロセッサは、
前記映像からユーザが記入した前記記入項目を特定するための情報を前記フォーマットに関連付ける
請求項２に記載の情報処理装置。

【請求項6】

前記プロセッサは、
前記未記入項目の領域を前記映像に重畳して表示する
請求項１に記載の情報処理装置。

【請求項7】

前記プロセッサは、
前記未記入項目の種別に応じて、前記未記入項目の領域の表示態様を変更する
請求項６に記載の情報処理装置。

【請求項8】

前記プロセッサは、
遮蔽物が前記未記入項目の領域に重なって撮影された場合、前記遮蔽物に重畳して前記未記入項目の領域を表示する
請求項６に記載の情報処理装置。

【請求項9】

前記プロセッサは、
全ての前記記入項目が記入済みの場合、スキャンの実行を指示する
請求項１に記載の情報処理装置。

【請求項10】

記入項目を含む書類を記入する側から撮影した映像を取得し、
前記映像における前記書類の未記入の前記記入項目である未記入項目を出力する
ことをプロセッサに実行させるための情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の技術は、情報処理装置及び情報処理プログラムに関する。

【背景技術】

【0002】

画像処理装置の使用において、ユーザを支援する技術がある。
特許文献１には、情報入力装置であって、複数の記入欄が設定される帳票の特徴点と、それぞれの記入欄にユーザが使用すべき物体の種別とを対応づけて帳票情報を登録する登録手段と、特定の画像を投影する投影手段と、載置される帳票を読み取る読取手段と、ユーザの操作に対応する距離画像を取得する取得手段と、読み取られる帳票の画像の解析から抽出される特徴点と、登録された帳票の特徴点とを照合して載置された帳票と、当該帳票に印刷された複数の記入欄を認識する第１の認識手段と、前記取得手段が取得する距離画像を解析してユーザが操作する物体と、当該物体の種別とを認識する第２の認識手段と、前記第２の認識手段で認識するユーザが操作する物体の種別が変化することに応じて、前記第１の認識手段で認識された前記複数の記入欄のうち、ユーザが使用すべき物体の種別に対応づけられた前記帳票の記入欄に対して、前記特定の画像を投影するように前記投影手段を制御する制御手段と、を備えることを特徴とする情報入力装置、が開示されている。

【0003】

特許文献２には、イメージを生成する方法であって、イメージされる領域の動作をモニターし、当該領域における動作の停止のモニターに反応して、当該領域のイメージの取込をトリガーすることを特徴とするイメージ生成方法、が開示されている。

【0004】

特許文献３には、画像読み込み装置で読み込んだ原稿において所定の記入領域に記入されている内容を確認する確認部と、確認の結果、前記記入領域に記入されている内容に基づき前記読み込んだ原稿を送信して良いか否かを判断する判断部と、を備えることを特徴とする画像処理装置、が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１７－０３３４５４号公報

【特許文献2】特開２００７－０１３９７２号公報

【特許文献3】特開２０１６－０１２７５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

各種手続き等において、ユーザは、書類の記入項目に必要事項を記入し、手続きの申請等を行う。

【0007】

ここで、記入項目の多さ等の諸般の事由から、記入項目への記入漏れが発生する場合がある。

【0008】

本開示の技術は、ユーザが記入漏れの有無を確認することを支援できる情報処理装置、及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

第１態様に係る情報処理装置は、プロセッサを含み、前記プロセッサは、記入項目を含む書類を記入する側から撮影した映像を取得し、前記映像における前記書類の未記入の前記記入項目である未記入項目を出力する。

【0010】

第２態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記プロセッサは、前記書類の前記記入項目を特定するフォーマットを受け付け、前記映像における前記書類の前記フォーマットが特定する前記記入項目を出力する。

【0011】

第３態様に係る情報処理装置は、第２態様に係る情報処理装置において、前記プロセッサは、前記フォーマットを特定する情報を表す識別表記を撮影した映像を受け付け、撮影した前記識別表記から特定されるフォーマットを前記書類に適用する。

【0012】

第４態様に係る情報処理装置は、第２態様に係る情報処理装置において、前記プロセッサは、ユーザによる前記記入項目の指定を受け付け、指定された前記記入項目を特定するための情報を前記フォーマットに関連付ける。

【0013】

第５態様に係る情報処理装置は、第２態様に係る情報処理装置において、前記プロセッサは、前記映像からユーザが記入した前記記入項目を特定するための情報を前記フォーマットに関連付ける。

【0014】

第６態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記プロセッサは、前記未記入項目の領域を前記映像に重畳して表示する。

【0015】

第７態様に係る情報処理装置は、第６態様に係る情報処理装置において、前記プロセッサは、前記未記入項目の種別に応じて、前記未記入項目の領域の表示態様を変更する。

【0016】

第８態様に係る情報処理装置は、第６態様に係る情報処理装置において、前記プロセッサは、遮蔽物が前記未記入項目の領域に重なって撮影された場合、前記遮蔽物に重畳して前記未記入項目の領域を表示する。

【0017】

第９態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記プロセッサは、全ての前記記入項目が記入済みの場合、スキャンの実行を指示する。

【0018】

第１０態様に係る情報処理プログラムは、プロセッサに、記入項目を含む書類を記入する側から撮影した映像を取得し、前記映像における前記書類の未記入の前記記入項目である未記入項目を出力する、ことを実行させる。

【発明の効果】

【0019】

第１態様及び第１０態様によれば、ユーザが記入漏れの有無を確認することを支援できる。

【0020】

第２態様によれば、記入項目を特定する精度を向上できる。

【0021】

第３態様によれば、撮影した識別表記に基づいてフォーマットを適用できる。

【0022】

第４態様によれば、ユーザの操作に基づいてフォーマットを更新できる。

【0023】

第５態様によれば、ユーザの記入に基づいてフォーマットを更新できる。

【0024】

第６態様によれば、未記入項目の位置を視認しやすい。

【0025】

第７態様によれば、記入が必要な項目の種別を判別しやすい。

【0026】

第８態様によれば、遮蔽物により記入項目を見落とすことを防止できる。

【0027】

第９態様によれば、記入漏れがある書類のスキャンの実行を防止できる。

【図面の簡単な説明】

【0028】

【図1】本実施形態に係る画像処理装置の全体的な構成の一例を示す斜視図である。

【図2】本実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。

【図3】本実施形態に係る画像処理装置の支援処理の流れを示すフローチャートである。

【図4】原稿台に載った書類及び識別表記を示す一例である。

【図5】表示部に表示される書類表示領域の一例である。

【図6】記入項目の指定を受け付ける表示部の一例である。

【図7】原稿台に載った書類を示す一例である。

【図8】表示部に表示される書類表示領域の一例である。

【図9】原稿台に載った書類を示す一例である。

【図10】スキャンを実行している間の表示部の一例である。

【図11】原稿台に載った書類を示す一例である。

【図12】遮蔽物が未記入項目に重複する場合の表示部の一例である。

【発明を実施するための形態】

【0029】

以下、本発明の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0030】

図１は、本開示の画像処理装置１０の全体的な構成の一例を示す斜視図である。本開示の技術の情報処理装置は、役所、オフィス、学校又は家庭等に設けられ、かつ、書画カメラを有する画像処理装置１０を対象として適用した場合の形態例について説明する。

【0031】

画像処理装置１０は、上面に原稿である書類が置かれる原稿台３０、各種情報の表示や各種情報の入力を行うユーザインタフェース部４０及び書画カメラ７０を備えている。

【0032】

原稿台３０は、ユーザが書類を配置し、書類に必要事項を記入するための作業台である。

【0033】

ユーザインタフェース部４０は、入力を受け付ける入力部１５、及び液晶ディスプレイ等により構成された表示部１６を備えている。ユーザインタフェース部４０は、タッチパネルを用いることにより、入力部１５及び表示部１６が一体となった構成であってもよい。画像処理装置１０は、書画カメラ７０が撮影した映像を表示部１６に表示する。

【0034】

書画カメラ７０は、原稿台３０の上面側を撮影可能に構成されている。例えば、書画カメラ７０は、一端部が原稿台３０の奥手側に固定されたアームの他端部に設けられており、その撮影画角が、原稿台３０における原稿配置領域３２にほぼ一致するように位置決めされている。なお、書画カメラ７０の代わりにカメラを構成に含むスマートフォン又はタブレット型端末等を用いてもよい。この場合、画像処理装置１０は、スマートフォン又はタブレット型端末等から撮影した映像を受け付ける。

【0035】

図２は、画像処理装置１０のハードウェア構成を示すブロック図である。画像処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６、通信インタフェース（通信Ｉ／Ｆ）１７、画像形成ユニット１８及び書画カメラ７０の各構成を有する。各構成は、バス１９を介して相互に通信可能に接続されている。

【0036】

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記録されているプログラムにしたがって、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、ユーザが記入漏れの有無を確認することを支援する情報処理プログラムが格納されている。

【0037】

ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

【0038】

入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。

【0039】

表示部１６は、たとえば、液晶ディスプレイであり、各種の情報を表示する。

【0040】

ユーザインタフェース部４０は、入力部１５及び表示部１６を含む。ユーザインタフェース部４０は、液晶ディスプレイにタッチパネル方式を採用して、入力部１５及び表示部１６が一体となった構成であってもよい。

【0041】

通信インタフェース１７は、データベース等の他の機器と通信するためのインタフェースであり、たとえば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

【0042】

画像形成ユニット１８は、受け付けた映像を紙等の記録媒体に形成するものである。画像を形成する方式としては、トナー方式やインクジェット方式等が採用される。画像形成ユニット１８は、例えば、コピー機能、スキャナ機能及び印刷機能等を有する。

【0043】

次に、画像処理装置１０の作用について説明する。
図３は、画像処理装置１０による支援処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から支援プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、支援処理が行なわれる。

【0044】

ステップＳ１０１では、ＣＰＵ１１は、書類を検知したか否かを判断する。すなわち、ＣＰＵ１１は、原稿台３０の原稿配置領域３２内に書類が配置されているか否かを検知する。書類を検知したと判断した場合（ステップＳ１０１：ＹＥＳ）、ＣＰＵ１１は、ステップＳ１０２へ移行する。書類を検知していないと判断した場合（ステップＳ１０１：ＮＯ）、ＣＰＵ１１は、書類を検知するまで待機する。

【0045】

ステップＳ１０２では、ＣＰＵ１１は、書類１を記入する側から撮影した映像を取得する。書類を記入する側から撮影した映像とは、書類１の記入面の上方に設置した書画カメラ７０を用いて撮影した映像又はスマートフォン若しくはタブレット型端末等を用いて記入項目を撮影した映像等である。ＣＰＵ１１は、ステップＳ１０３へ移行する。

【0046】

ステップＳ１０３では、ＣＰＵ１１は、フォ―マットを検知したか否かを判断する。フォ―マットを検知したと判断した場合（ステップＳ１０３：ＹＥＳ）、ＣＰＵ１１は、ステップＳ１０４へ移行する。フォ―マットを検知していないと判断した場合（ステップＳ１０３：ＮＯ）、ＣＰＵ１１は、ステップＳ１０７へ移行する。

【0047】

ここで、図４は、原稿台３０に載った書類１及び識別表記２を示す一例である。ユーザは、例えば、記入項目を含む書類１へ住所の記載、署名及び捺印を行う。書類１は、例えば、契約書又は各種申請書等である。識別表記２は、フォーマットを特定する情報を表す識別子である。識別表記２は、例えば、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）及び識別番号等の文字列又は二次元コードが記載された用紙又はマーカ等であってもよい。識別表記２は、書類１に記載されていてもよい。フォーマットは、記入項目を特定する予め作成された雛形である。画像処理装置１０は、原稿配置領域３２に書類１がある場合、書類を検知する。画像処理装置１０は、原稿配置領域３２に識別表記２がある場合、識別表記２を検知する。すなわち、画像処理装置１０は、識別表記２を検知することにより、識別表記２により特定されるフォーマットを検知する。

【0048】

ステップＳ１０４では、ＣＰＵ１１は、フォーマットを受け付ける。ＣＰＵ１１は、例えば、識別表記２を撮影した映像を受け付け、識別表記２から特定されるフォーマットを取得する。また、ＣＰＵ１１は、例えば、入力部１５からフォーマットの指定を受け付けてもよい。ＣＰＵ１１は、ステップＳ１０５へ移行する。

【0049】

ステップＳ１０５では、ＣＰＵ１１は、フォーマットを書類１に適用する。なお、ＣＰＵ１１は、原稿配置領域３２に複数の書類１が配置された場合、書類１ごとにそれぞれフォーマットを適用してもよいし、１つのフォーマットを複数の書類１に適用してもよい。ＣＰＵ１１は、ステップＳ１０６へ移行する。

【0050】

ステップＳ１０６では、ＣＰＵ１１は、フォーマットが特定する記入項目を出力する。ＣＰＵ１１は、ステップＳ１１０へ移行する。

【0051】

ここで、図５は、表示部１６に表示される書類表示領域３の一例である。書類表示領域３は、撮影された映像における書類１を表示する領域である。図５は、図４における書類１に対応する書類表示領域３の表示である。換言すれば、画像処理装置１０は、書画カメラ７０が撮影した書類１を書類表示領域３に表示する。書類表示領域３は、項目表示領域４を含む。項目表示領域４は、例えば、項目であることを表現する領域である。画像処理装置１０は、フォーマットが特定する記入項目に対して、項目表示領域４を重畳して表示する。また、画像処理装置１０は、署名開始ボタン５０が選択された場合に、ユーザによる記入を受け付けるようにしてもよい。
また、画像処理装置１０は、項目表示領域４の表示態様をハイライト表示又は点滅表示等にしてもよい。画像処理装置１０は、項目表示領域４の表示態様を記入項目の種別に応じて変更してもよい。記入項目の種別は、例えば、記入項目の記入対象が文字である文字形式か記入対象が画像である画像形式かによる分類である。記入項目の種別は、例えば、文字形式として、記述式若しくは選択式の形式、住所若しくは電話番号等の形式又は文字のみ若しくは数字のみの形式等である。記入項目の種別は、例えば、画像形式として、捺印、証明写真、切手又は各種印紙等の形式である。画像処理装置１０は、図５において、住所、会社名／氏名を記入する欄を、文字形式の項目表示領域４Ａとし、捺印をする欄を図形形式の項目表示領域４Ｂとして表現している。

【0052】

ステップＳ１０７では、ＣＰＵ１１は、外部装置へ映像を送信する。ＣＰＵ１１は、例えば、書類１に詳しいオペレータが操作する端末装置へ映像を送信する。ＣＰＵ１１は、ステップＳ１０８へ移行する。

【0053】

ステップＳ１０８では、ＣＰＵ１１は、記入項目の指定を受け付ける。ＣＰＵ１１は、例えば、記入しているユーザ又は外部装置を操作するオペレータによる指定を受け付ける。ＣＰＵ１１は、ステップＳ１０９へ移行する。

【0054】

ここで、図６は、記入項目の指定を受け付ける表示部１６の一例である。画像処理装置１０は、表示部１６に、ポインタ５、フリーテキストボタン５１、画像ボタン５２、送信先登録ボタン５３及びフォーマット登録ボタン５４を表示する。ポインタ５は、ユーザが入力部１５を用いて指定する表示部１６の座標である。
画像処理装置１０は、フリーテキストボタン５１が選択された場合に、ポインタ５が指定する範囲の記入項目の種別を、記述式の形式であるフリーテキストに設定する。
画像処理装置１０は、画像ボタン５２が選択された場合に、ポインタ５が指定する範囲の記入項目の種別を、画像形式に設定する。
画像処理装置１０は、送信先登録ボタン５３が選択された場合に、送信先を登録するための画面を表示部１６に表示する。画像処理装置１０は、フォーマットに送信先を関連付けてもよい。
画像処理装置１０は、フォーマット登録ボタン５４が選択された場合に、フォーマットを登録する。すなわち、画像処理装置１０は、設定した記入項目の種別又は関連付けた連絡先をフォーマットに設定する。

【0055】

ステップＳ１０９では、ＣＰＵ１１は、フォーマットを作成する。すなわち、ＣＰＵ１１は、上述した図６のフォーマット登録ボタン５４を選択することにより、フォーマットを作成する。ＣＰＵ１１は、指定された記入項目を特定するための情報を作成したフォーマットに関連付ける。ＣＰＵ１１は、ステップＳ１０６へ移行する。

【0056】

ステップＳ１１０では、ＣＰＵ１１は、ユーザによる記入があるか否かを判断する。ユーザによる記入があると判断した場合（ステップＳ１１０：ＹＥＳ）、ＣＰＵ１１は、ステップＳ１１１へ移行する。ユーザによる記入がないと判断した場合（ステップＳ１１０：ＮＯ）、ＣＰＵ１１は、ユーザによる記入があるまで待機する。

【0057】

ステップＳ１１１では、ＣＰＵ１１は、ユーザが記入した記入項目を特定するための情報をフォーマットに関連付ける。すなわち、ＣＰＵ１１は、ユーザが記入した項目を記入項目として認識するようにフォーマットを更新する。ＣＰＵ１１は、ステップＳ１１２へ移行する。

【0058】

ステップＳ１１２では、ＣＰＵ１１は、未記入項目を検出する。すなわちＣＰＵ１１は、映像における書類の未記入の記入項目である未記入項目を検出する。例えば、ＣＰＵ１１は、ステップＳ１０２の時刻における映像と現在の時刻における映像とを比較し、これらに差異がない記入項目を未記入項目として検出する。例えば、ＣＰＵ１１は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）によりテキストを検出できない記入項目を未記入項目として検出する。ＣＰＵ１１は、ステップＳ１１３へ移行する。

【0059】

ステップＳ１１３では、ＣＰＵ１１は、フォーマットが特定する記入項目のうち未記入項目を出力する。ＣＰＵ１１は、例えば、未記入項目の領域を映像に重畳して表示する。ＣＰＵ１１は、例えば、未記入項目の項目名の表示又は音声読み上げにより、未記入項目を出力してもよい。ＣＰＵ１１は、ステップＳ１１４へ移行する。

【0060】

ここで、図７及び図８は、ユーザにより一部の記入項目に記入がされた場合の処理の一例である。図７は、原稿台３０に載った書類１を示す一例である。図７における書類１は、図４における書類１から住所の記載及び署名がされており、捺印はされていない。

【0061】

図８は、図７における書類１に対応する書類表示領域３の表示であり、表示部１６に表示される書類表示領域３の一例である。図８における書類表示領域３は、図５における表示部１６の表示から項目表示領域４Ａが削除され、項目表示領域４Ｂが表示されている。画像処理装置１０は、未記入項目が記入されることにより未記入項目ではなくなった場合、項目表示領域４を削除すること等により、表示態様を変更する。

【0062】

ステップＳ１１４では、ＣＰＵ１１は、全ての記入項目が記入済みか否かを判断する。全ての記入項目が記入済みと判断した場合（ステップＳ１１４：ＹＥＳ）、ＣＰＵ１１は、ステップＳ１１５へ移行する。未記入項目があると判断した場合（ステップＳ１１４：ＮＯ）、ＣＰＵ１１は、ステップＳ１１０へ移行する。

【0063】

ステップＳ１１５では、ＣＰＵ１１は、スキャンの実行を指示する。すなわち、ＣＰＵ１１は、画像形成ユニット１８を用いてスキャンを実行する。ＣＰＵ１１は、ステップＳ１１６へ移行する。

【0064】

ここで、図９及び図１０は、ユーザにより全ての記入項目に記入がされた場合の処理の一例である。図９は、原稿台３０に載った書類１を示す一例である。図９における書類１は、図７における書類１から捺印がされており、全ての記入項目に記入がされている。
図１０は、図９における書類１に対応する書類表示領域３の表示であり、表示部１６に表示される書類表示領域３の一例である。図１０における書類表示領域３は、図８における表示部１６の表示から項目表示領域４Ｂが削除されており、項目表示領域４が１つも表示されていない。画像処理装置１０は、書類１の全ての記入項目が記入済みの場合、書類のスキャンの実行を指示する。画像処理装置１０は、中止ボタン５５が選択された場合に、スキャンの実行を中止する。

【0065】

ステップＳ１１６では、ＣＰＵ１１は、スキャンデータを送信先へ送信する。ＣＰＵ１１は、例えば、フォーマットに関連付いた送信先へスキャンデータを送信する。ＣＰＵ１１は、支援処理を終了する。

【0066】

以上、上述したステップＳ１０１からステップＳ１１３の処理により、ＣＰＵ１１は、記入項目を含む書類を記入する側から撮影した映像を取得し、映像における書類の未記入項目を出力する。

【0067】

［変形例］
以上、本実施形態の画像処理装置１０について説明してきた。しかし、本開示は、上記実施形態に限定されない。種々の改良または改変が可能である。

【0068】

本実施形態は、情報処理装置が画像処理装置１０である場合について説明した一方で、これに限定しない。すなわち、情報処理装置は、画像処理装置と一体となった形態でもよく、画像処理装置と分離した形態であってもよい。例えば、情報処理装置は、カメラを備えたスマートフォン又はタブレット型端末等であって、カメラで撮影した映像に基づいて未記入項目を出力してもよい。

【0069】

本実施形態に係る画像処理装置１０は、フォーマットを検知した場合であっても、ユーザによる記入項目の指定を受け付けてもよい。すなわち、図３のステップＳ１０３の処理において、ＣＰＵ１１は、フォーマットを検知した場合に、ステップＳ１０４及びステップＳ１０５の処理に加え、ステップＳ１０７からステップＳ１０９の処理を実行してもよい。この場合、ＣＰＵ１１は、ステップＳ１０９の処理として、検知したフォーマットを更新する処理を実行する。

【0070】

本実施形態に係る画像処理装置１０は、従来技術を用いて記入項目を検出するようにしてもよい。例えば、画像処理装置１０は、映像における書類１から、矩形の抽出及び項目名の抽出を行うことにより、当該矩形が記入項目であると判定してもよい。

【0071】

本実施形態に係る画像処理装置１０は、遮蔽物６が未記入項目の領域に重なって撮影された場合、遮蔽物に重畳して未記入項目の領域を表示してもよい。図１１及び図１２は、遮蔽物が未記入項目の領域に重なった場合の処理の一例である。図１１は、原稿台に載った書類を示す一例である。図１１は、書画カメラ７０が撮影する映像において、遮蔽物６である鉛筆が書類１の未記入項目にあるため、未記入項目の一部が表示されていない様子を示す。
図１２は、図１１における書類１に対応する書類表示領域３の表示であり、表示部１６に表示される書類表示領域３の一例である。画像処理装置１０は、項目表示領域４Ａを遮蔽物６である鉛筆に重畳するように表示する。

【0072】

本実施形態に係る画像処理装置１０は、記入項目に関する補足情報を出力してもよい。図３のステップＳ１１３において、ＣＰＵ１１は、未記入項目に関して、記入項目、記入内容又は記入方法のヘルプ情報を表示部１６に表示する。

【0073】

上記の処理は、専用のハードウェア回路によっても実現することもできる。この場合には、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。

【0074】

上記実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ： Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、等）や、専用のプロセッサ（例えばＧＰＵ： Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ： Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ： Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

【0075】

また上記実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

【0076】

また、画像処理装置１０を動作させるプログラムは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピュータ読み取り可能な記録媒体に記録されたプログラムは、通常、メモリ又はストレージ等に転送され記憶される。また、このプログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、画像処理装置１０の一機能としてその各装置のソフトウェアに組み込んでもよい。

【0077】

［付記］
以下に、本開示の好ましい形態について付記する。

【0078】

（（（１）））
プロセッサを含み、
前記プロセッサは、
記入項目を含む書類を記入する側から撮影した映像を取得し、
前記映像における前記書類の未記入の前記記入項目である未記入項目を出力する
情報処理装置。

【0079】

（（（２）））
前記プロセッサは、
前記書類の前記記入項目を特定するフォーマットを受け付け、
前記映像における前記書類の前記フォーマットが特定する前記記入項目を出力する
（（（１）））に記載の情報処理装置。

【0080】

（（（３）））
前記プロセッサは、
前記フォーマットを特定する情報を表す識別表記を撮影した映像を受け付け、
撮影した前記識別表記から特定されるフォーマットを前記書類に適用する
（（（２）））に記載の情報処理装置。

【0081】

（（（４）））
前記プロセッサは、
ユーザによる前記記入項目の指定を受け付け、
指定された前記記入項目を特定するための情報を前記フォーマットに関連付ける
（（（２）））又は（（（３）））に記載の情報処理装置。

【0082】

（（（５）））
前記プロセッサは、
前記映像からユーザが記入した前記記入項目を特定するための情報を前記フォーマットに関連付ける
（（（２）））から（（（４）））の何れか１つに記載の情報処理装置。

【0083】

（（（６）））
前記プロセッサは、
前記未記入項目の領域を前記映像に重畳して表示する
（（（１）））から（（（５）））の何れか１つに記載の情報処理装置。

【0084】

（（（７）））
前記プロセッサは、
前記未記入項目の種別に応じて、前記未記入項目の領域の表示態様を変更する
（（（６）））に記載の情報処理装置。

【0085】

（（（８）））
前記プロセッサは、
遮蔽物が前記未記入項目の領域に重なって撮影された場合、前記遮蔽物に重畳して前記未記入項目の領域を表示する
（（（６）））又は（（（７）））に記載の情報処理装置。

【0086】

（（（９）））
前記プロセッサは、
全ての前記記入項目が記入済みの場合、スキャンの実行を指示する
（（（１）））から（（（８）））の何れか１つに記載の情報処理装置。

【0087】

（（（１０）））
記入項目を含む書類を記入する側から撮影した映像を取得し、
前記映像における前記書類の未記入の前記記入項目である未記入項目を出力する
ことをプロセッサに実行させるための情報処理プログラム。

【0088】

以下に、付記の構成による効果について記載する。

【0089】

（（（１）））又は（（（１０）））の情報処理装置によれば、ユーザが記入漏れの有無を確認することを支援できる。

【0090】

（（（２）））の情報処理装置よれば、記入項目を特定する精度を向上できる。

【0091】

（（（３）））の情報処理装置よれば、撮影した識別表記に基づいてフォーマットを適用できる。

【0092】

（（（４）））の情報処理装置よれば、ユーザの操作に基づいてフォーマットを更新できる。

【0093】

（（（５）））の情報処理装置よれば、ユーザの記入に基づいてフォーマットを更新できる。

【0094】

（（（６）））の情報処理装置よれば、未記入項目の位置を視認しやすい。

【0095】

（（（７）））の情報処理装置よれば、記入が必要な項目の種別を判別しやすい。

【0096】

（（（８）））の情報処理装置よれば、遮蔽物により記入項目を見落とすことを防止できる。

【0097】

（（（９）））の情報処理装置よれば、記入漏れがある書類のスキャンの実行を防止できる。

【符号の説明】

【0098】

１ 書類
２ 識別表記
３ 書類表示領域
４、４Ａ、４Ｂ 項目表示領域
５ ポインタ
６ 遮蔽物
１０ 画像処理装置
３０ 原稿台
３２ 原稿配置領域
５０ 署名開始ボタン
５１ フリーテキストボタン
５２ 画像ボタン
５３ 送信先登録ボタン
５４ フォーマット登録ボタン
５５ 中止ボタン
７０ 書画カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】