特許 6738008 携帯端末と、その処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6738008

(24)【登録日】2020年7月21日

(45)【発行日】2020年8月12日

(54)【発明の名称】携帯端末と、その処理方法及びプログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20200730BHJP

   G03B 7/091 20060101ALI20200730BHJP

【ＦＩ】

   G06Q50/10

   G03B7/091

【請求項の数】7

【全頁数】26

(21)【出願番号】特願2015-257220(P2015-257220)

(22)【出願日】2015年12月28日

(65)【公開番号】特開2017-120565(P2017-120565A)

(43)【公開日】2017年7月6日

【審査請求日】2018年12月21日

【前置審査】

(73)【特許権者】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(73)【特許権者】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】瀧澤 正泰

【審査官】 関 博文

(56)【参考文献】

【文献】 特開２０１０−１４８０５２（ＪＰ，Ａ）

【文献】 特開２００９−０７１３４４（ＪＰ，Ａ）

【文献】 特開２００８−１３１２０４（ＪＰ，Ａ）

【文献】 特開２００８−２３６１４１（ＪＰ，Ａ）

【文献】 特開２００９−１５３０８５（ＪＰ，Ａ）

【文献】 特開２０１２−０１５９４９（ＪＰ，Ａ）

【文献】 特開２０１５−０６５６５２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０１３９６６７（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００−９９／００

Ｇ０３Ｂ ７／０９１

(57)【特許請求の範囲】

【請求項1】

第１の撮像部と、前記第１の撮像部により得られる画像を表示する表示部側に第２の撮像部を備える携帯端末であって、
前記第１の撮像部による撮影を実行する撮影実行手段と、
前記第２の撮像部より得られる画像を用いて顔認識をする顔認識手段と、
前記顔認識手段による顔認識結果に基づいて、前記撮影実行手段による撮影方法を切り替える切替手段と
を備え、
前記撮影実行手段は、前記第１の撮像部により得られた被写体が、第１の撮影条件である被写体の四隅が予め設定されたガイドに沿った位置にあることを満たす場合、及び、当該第１の撮影条件を満たさない場合であって、第２の撮影条件である被写体の三隅が予め設定されたガイドに沿った位置にあることを満たし、かつ、前記顔認識手段による顔認識結果に基づき撮影可能な場合に、第1の撮影方法を用いて撮影を実行することを特徴とする携帯端末。

【請求項2】

前記切替手段は、前記第１の撮像部により得られた被写体が前記第1の撮影条件を満たす場合、及び、当該被写体が前記第１の撮影条件を満たさず前記第2の撮影条件を満たし、かつ、前記顔認識手段による顔認識結果に基づき撮影可能な場合に、前記第１の撮影方法に切り替え、当該被写体が前記第１の撮影条件および前記第２の撮影条件を満たさない場合、及び、当該被写体が前記第１の撮影条件を満たさず前記第2の撮影条件を満たし、かつ、前記顔認識手段による顔認識結果に基づき撮影可能でない場合には、第２の撮影方法に切り替えることを特徴とする請求項１に記載の携帯端末。

【請求項3】

前記第１の撮影方法は前記第1の撮像部を用いた自動撮影であり、前記第2の撮影方法は、前記第１の撮像部を用いた手動撮影であることを特徴とする請求項２に記載の携帯端末。

【請求項4】

前記第１の撮影方法による撮影と、前記第２の撮影方法による撮影とによって撮影された画像のチェック処理を切り替えるチェック処理切替手段を更に備えることを特徴とする請求項３に記載の携帯端末。

【請求項5】

前記顔認識手段は、前記第１の撮像部により撮影される画像を表示部に表示する場合に、前記第２の撮像部により得られる画像を用いて顔認識をすることを特徴とする請求項１乃至４のいずれか１項に記載の携帯端末。

【請求項6】

第１の撮像部と、前記第１の撮像部により得られる画像を表示する表示部側に第２の撮像部を備える携帯端末の処理方法であって、
前記第１の撮像部による撮影を実行する撮影実行ステップと、
前記第２の撮像部より得られる画像を用いて顔認識をする顔認識ステップと、
前記顔認識ステップによる顔認識結果に基づいて、前記撮影実行ステップによる撮影方法を切り替える切替ステップを含み、
前記撮影実行ステップは、前記第１の撮像部により得られた被写体が、第１の撮影条件である被写体の四隅が予め設定されたガイドに沿った位置にあることを満たす場合、及び、当該第１の撮影条件を満たさない場合であって、第２の撮影条件である被写体の三隅が予め設定されたガイドに沿った位置にあることを満たし、かつ、前記顔認識ステップによる顔認識結果に基づき撮影可能な場合に、第1の撮影方法を用いて撮影を実行するステップであることを特徴とする処理方法。

【請求項7】

第１の撮像部と、前記第１の撮像部により得られる画像を表示する表示部側に第２の撮像部を備える携帯端末を、
前記第１の撮像部による撮影を実行する撮影実行手段と、
前記第２の撮像部より得られる画像を用いて顔認識をする顔認識手段と、
前記顔認識手段による顔認識結果に基づいて、前記撮影実行手段による撮影方法を切り替える切替手段として機能させ、
前記撮影実行手段を、前記第１の撮像部により得られた被写体が、第１の撮影条件である被写体の四隅が予め設定されたガイドに沿った位置にあることを満たす場合、及び、当該第１の撮影条件を満たさない場合であって、第２の撮影条件である被写体の三隅が予め設定されたガイドに沿った位置にあることを満たし、かつ、前記顔認識手段による顔認識結果に基づき撮影可能な場合に、第1の撮影方法を用いて撮影を実行する手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影画像を用いた記入チェックを行う携帯端末とその処理方法及びプログラムに関する。

【背景技術】

【0002】

従来より、利用者端末から帳票サーバに帳票データを送信して、帳票サーバ側で記入内容に不備が無いかをチェックし、利用者端末にチェック結果を返す仕組みがある。

【0003】

特許文献１には、利用者端末から送信された帳票データの内容判定、オペレータの操作によるエラー修正、修正結果のメッセージを付与した処理結果の作成などの処理すべてを帳票サーバ側で行う電子処理システムの技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平６−２８２７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１のシステム構成では、記入不備チェックを行うためには、必ず帳票サーバに帳票データを送らなければならず、帳票サーバと通信が困難な環境では記入不備チェックができない。また、記入漏れなどの些細な不備チェックでさえ、利用者端末と帳票サーバ間の通信が発生し、不備の無い帳票が完成するまでに時間が掛かってしまうという課題があった。

【0006】

そこで、利用者端末（例えば、タブレット端末などの携帯端末）で記入不備チェックを行うことが考えられるが、携帯端末で帳票を撮影した場合、スキャナなどとは違い、所定の大きさでの撮影、或いは精度の高い画像での撮影（手振れが少ない、歪みの少ない撮影）をすることが難しいという課題がある。
そのため、撮影時のガイドを表示するなどして、適切な状態になった場合に撮影を実行することが求められる。

【0007】

適切な状態とは、例えば、ガイドに沿い画像が得られるという条件に合致した場合であるが、携帯端末の角度を変えたり、携帯端末を帳票から離したり近づけたりして、適切な状態にするには操作の慣れが必要であり、うまく撮影状態にならない場合があった。特に、操作を簡便化するため、条件に合致したら自動撮影することが望まれている関係上、適切な状態にならない場合には撮影が実行されず、使い勝手が悪くなってしまうことが発生する。

【0008】

そこで、本発明の目的は、顔認識により撮影方法を切り替え、携帯端末での撮影を容易にする仕組みを提供ことである。

【課題を解決するための手段】

【0009】

本発明の目的を達成するための、撮像部を備える携帯端末であって、前記撮像部から得られた文書に対応する画像から撮影条件に一致したか否かを判定する撮影判定手段と、前記撮影判定手段により撮影条件に一致した場合には、自動撮影を実行する自動撮影実行手段と、前記撮影判定手段により撮影条件に一致しない場合には、手動撮影に切り替える切替手段と、前記自動撮影実行手段により実行された撮影により得られた画像を用いて、当該携帯端末で記入チェックを行うチェック手段と、前記切替手段により切り替えられた手動撮影の撮影により得られた画像をサーバでチェックすべく、当該画像を送信する送信手段とを備えることを特徴とする携帯端末。

【0010】

また、文書を撮影する第１の撮像部と、前記第１の撮像部により得られる画像を表示する表示部側の第２の撮像部を備える携帯端末であって、前記第１の撮像部から得られた文書に対応する画像から撮影条件に一致したか否かを判定する撮影判定手段と、前記撮影判定手段により撮影条件に一致した場合には、自動撮影を実行する自動撮影実行手段と、前記第２の撮像部より得られる画像を用いて顔認識をする顔認識手段とを備え、前記自動撮影実行手段は、前記撮影判定手段により撮影条件に一致しない場合であって、前記顔認識手段により顔認識された場合に、自動撮影を実行することを特徴とする。

【発明の効果】

【0011】

本発明によれば、顔認識により撮影方法を切り替え、携帯端末での撮影を容易にすることができる。

【図面の簡単な説明】

【0012】

【図1】本発明の帳票システム１００の構成の一例を示す図

【図2】情報処理装置１０１のハードウエア構成の一例を示す図

【図3】情報処理装置１０１およびサーバ１０２の一例を示す機能ブロック図

【図4A】情報処理装置１０１で記入不備のチェック結果を取得してサーバ１０２に送信する全体処理の一例を示すフローチャート

【図4B】情報処理装置１０１で撮影処理の一例を示すフローチャート

【図5】情報処理装置１０１で行う記入不備チェック処理の一例を示すフローチャート

【図6】サーバ１０２で申込書の撮影画像、付帯画像、記入不備チェックフラグ、ログインユーザ名、フォーム名を受信する処理の一例を示すフローチャート

【図7】サーバ１０２で受信した申込書一覧を表示する処理の一例を示すフローチャート

【図8】情報処理装置１０１で申込書の撮影画像に付帯する画像を追加する処理の一例を示すフローチャート

【図9】情報処理装置１０１で申込書の記入不備のチェックを目視で分かりやすく確認するために申込書に被せる不備確認カバーシートの一例を示す図

【図10】情報処理装置１０１で記入不備チェックを目視で容易にするために申込書撮影画像に不備確認カバーシートを被せて表示する画面の一例を示す図

【図11】情報処理装置１０１で記入不備チェック結果を表示する画面の一例を示す図

【図12】サーバ１０２および情報処理装置１０１で帳票フォームと不備確認カバーシートを管理するテーブルの一例を示す図

【図13】サーバ１０２で受信した申込書の送信時間と送信者と帳票ＩＤと記入不備チェックフラグを管理するテーブルの一例を示す図

【図14】図１４で管理されたテーブルをサーバ１０２で表示する画面の一例を示す図

【図15】サーバ１０２で受信した申込書を表示する画面の一例を示す図

【図16】フォームごとの記入不備チェック認識領域および不備チェック方法を管理するテーブルの一例を示す図

【図17】情報処理装置１０１で送信する申込書の画像の確認表示を行う画面の一例を示す図

【図18】情報処理装置１０１で送信する申込書の付帯画像の確認表示を行う画面の一例を示す図

【図19】情報処理装置１０１で予め設定する情報設定を行う画面の一例を示す図

【図20】サーバ１０２のハードウエア構成の一例を示す図

【図21】情報処理装置１０１での撮影時の状態の一例を示すイメージ図

【図22】情報処理装置１０１での撮影時の手動撮影切替状態の一例を示すイメージ図

【図23】撮影条件に用いる設定（マーク画像など）の一例を示す図

【発明を実施するための形態】

【0013】

以下、図面を参照して本発明の実施形態を詳細に説明する。
なお、本実施形態の特徴的な処理は、以下のフローチャートを用いて説明するが、その中でも特に特徴的な処理は図４Ｂである。

【0014】

図１に示すように、本実施形態に帳票システム１００（情報処理システム）は、情報処理装置１０１（携帯端末）、およびサーバ１０２が、ネットワーク１０３により通信可能に接続された構成をとる。情報処理装置１０１は、カメラ等を用いて帳票の画像を取り込み、帳票の記入不備チェックを行う。サーバ１０２は、帳票の記入不備チェックに必要な記入内容の認識領域と認識条件を帳票フォーム識別情報ごとに管理している。情報処理装置１０１は、携帯電話、スマートフォン、タブレット端末およびＰＤＡ端末などの持ち運び可能な端末であって、ブラウザまたは帳票システムのアプリケーションがインストールされており、無線通信によりネットワーク１０３を介して、サーバ１０２と通信可能である。なお、サーバ１０２は、汎用的なコンピュータであってもよいことは言うまでもない。

【0015】

以下、図２を用いて、図１に示した情報処理装置１０１に適用可能なハードウエア構成の一例について説明する。
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０３あるいは外部メモリ２１２には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な各種プログラム等が記憶されている。

【0016】

２０２はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１２からＲＡＭ２０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

【0017】

また、２０５は入力コントローラで、タッチセンサ２１０からの入力を制御する。２０６はビデオコントローラで、ディスプレイ２１１等の表示器への表示を制御する。なお、図２では、ディスプレイ２１１と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて情報処理装置１０１のユーザが使用するものである。

【0018】

２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１２へのアクセスを制御する。

【0019】

２０８は通信Ｉ／Ｆコントローラで、ネットワーク１０３を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

【0020】

なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１１上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１１上のタッチセンサ２１０におけるユーザのタッチ操作指示を受付けることを可能とする。

【0021】

本発明を実現するための後述する各種プログラムは、外部メモリ２１２に記録されており、必要に応じてＲＡＭ２０２にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイルや地図データ等も、外部メモリ２１２に格納されており、これらについての詳細な説明も後述する。

【0022】

２０９は撮影画像入力コントローラで、撮影画像入力処理部２１４を介してカメラ２１５からの入力を制御する（撮影手段に相当）。カメラ２１５から入力された撮影画像を認識することが可能となっている。カメラ２１５は、前面となるディスプレイ側に１つ、背面となるディプレイと反対側に１つ備えている。背面のカメラ２１５で申込書などの帳票を撮影し、前面のカメラ２１５で撮影者の顔認識を行う。また、それぞれのカメラ２１５に対応して撮影画像入力処理部２１４があり、それぞれのカメラの画像の入力を受ける。また、自動や手動での撮影実行時には、本実施形態における記入不備チェックアプリが背面のカメラの撮影を実行する指示（シャッターＯＮ）をオペレーティングシステムに要求することで実現する。具体的には、カメラ１（背面）、カメラ２（前面）という識別情報を有しているため、シャッターを切る方のカメラの識別情報を含む要求を行うことで、任意のカメラに対してシャッターを切ることができる。
次に、図２０を用いて、図１に示したサーバ１０２に適用可能な情報処理装置のハードウエア構成について説明する。

【0023】

図２０において、２００１はＣＰＵで、システムバス２００４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２００２あるいは外部メモリ２０１１には、ＣＰＵ２００１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

【0024】

２００３はＲＡＭで、ＣＰＵ２００１の主メモリ、ワークエリア等として機能する。ＣＰＵ２００１は、処理の実行に際して必要なプログラム等をＲＯＭ２００２あるいは外部メモリ２０１１からＲＡＭ２００３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

【0025】

また、２００５は入力コントローラで、キーボード（ＫＢ）２００９や不図示のマウス等のポインティングデバイス等からの入力を制御する。２００６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２０１０等の表示器への表示を制御する。なお、図２０では、ＣＲＴ２０１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。

【0026】

２００７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶するハードディスク（ＨＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ、データベース等の外部メモリ２０１１へのアクセスを制御する。

【0027】

２００８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示した１０３）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

【0028】

なお、ＣＰＵ２００１は、例えばＲＡＭ２００３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２０１０上での表示を可能としている。また、ＣＰＵ２００１は、ＣＲＴ２０１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

【0029】

本発明を実現するための後述する各種プログラムは、外部メモリ２０１１に記録されており、必要に応じてＲＡＭ２００３にロードされることによりＣＰＵ２００１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２０１１に格納されている。

【0030】

図３は、情報処理装置１０１（携帯端末）の機能構成の一例を示すブロック図である。情報処理装置１０１は、撮像部を備える携帯端末として説明する。あるいは、文書を撮影する第１の撮像部と、第１の撮像部により得られる画像を表示する表示部側の第２の撮像部を備える携帯端末として説明する。

【0031】

撮影判定部３０１は、撮像部から得られた文書に対応する画像から撮影条件に一致したか否かを判定する機能部である。撮影条件は、文書の画像における所定の複数の箇所が、予め登録されている画像と一致するか否かを判定する撮影条件である。また、撮影条件は、文書の画像の四隅に係る箇所が一致するか否かの条件である。また、撮影判定部３０１は、予め登録されている画像と一致するか否かを判定する機能部である。

【0032】

自動撮影実行部３０２は、撮影条件に一致した場合には、自動撮影を実行する機能部である。また、予め登録されている画像と一致する場合に、自動撮影を実行する機能部である。また、四隅に係る箇所が予め登録されている画像と一致する場合、又は三隅に係る箇所が予め登録されている画像と一致する場合に、自動撮影を実行する機能部である。さらに、三隅に係る箇所が予め登録されている画像と一致し、顔認識部３０８により顔認識された場合に、自動撮影を実行する機能部である。
切替部３０３は、撮影条件に一致しない場合には、手動撮影に切り替える機能部である。
チェック部３０４は、実行された自動撮影により得られた画像を用いて、当該携帯端末で記入チェックを行う機能部である。
送信部３０５は、切り替えられた手動撮影の撮影により得られた画像をサーバでチェックすべく、当該画像を送信する機能部である。
特定部３０６は、文書の画像の三隅に係る箇所が予め登録されている画像と一致する場合に、残る隅に係る箇所の点を特定する機能部である。

【0033】

補正部３０７は、四隅に係る箇所が予め登録されている画像と一致して自動撮影が実行された場合には、四隅に係る箇所に応じて得られる点を用いて、自動撮影により得られた画像を補正し、三隅に係る箇所が予め登録されている画像と一致して自動撮影が実行された場合には、三隅に係る箇所に応じて得られる点と特定部３０６により特定された点を用いて、自動撮影により得られた画像を補正する機能部である。
顔認識部３０８は、第２の撮像部より得られる画像を用いて顔認識をする機能部である。

【0034】

図４Ａは、情報処理装置１０１で記入不備のチェック結果を取得してサーバ１０２に送信する全体処理（以下、記入不備チェック結果取得・送信処理）の一例を示すフローチャートである。

【0035】

また、図１９は、情報処理装置１０１で予め設定する情報設定を行う画面の一例である。初期設定画面１９０１では、販売店名、担当者、電話番号を入力してＯＫボタンを押下すると、情報が情報処理装置１０１に保存される。なお、初期設定画面１９０２のように、予め撮影する申込書のフォームが決まっている場合には、文字認識するための帳票フォーム定義情報やカバーシートを特定するためのフォームＩＤを入力する構成であってもよい。この初期設定は、記入不備チェックアプリで設定するものである。

【0036】

ステップＳ４０１において、情報処理装置１０１で記入不備チェックアプリを起動し、ログインする。記入不備チェックアプリを起動した際に、初期設定ボタン（不図示）を押下することで、上述初期設定画面を表示し初期設定をユーザの操作により適宜実行するものとする。

【0037】

ステップＳ４０２において、申込書撮影ボタン（不図示）の押下を検知すると、カメラ２１５を起動して記入不備チェックを行う申込書の撮影を実行する。ここで、申込書等の帳票の四隅を検出し、フォーカスがあった場合に撮影が実行される。この実行により申込書に対応する撮影画像を取得する。この四隅検出による撮影について、図４Ｂを用いて説明する。この４Ｂが本実施形態における特徴的な処理である。

【0038】

ここで、図４Ｂは撮影処理の一例を示すフローチャートである。なお、各ステップはＣＰＵ２０１が実行するものとする。

【0039】

ステップＳ４３０では、前面（ディスプレイ側）のカメラ２１５（第１の撮像部）と背面（ディスプレイと反対側）のカメラ２１５（第２の撮像部）を起動する。ＣＰＵ２０１は、背面のカメラ２１５の画像を、撮影画像入力コントローラ２０９を介して、受け付けた画像をディスプレイ２１１に表示する。または、ＣＰＵ２０１は、前面のカメラ２１５の画像を、撮影画像入力コントローラ２０９を介して、ＲＡＭ２０２に蓄積する。前面のカメラ２１５の画像は次の画像を受信したらメモリから削除する。この蓄積された画像を用いて顔認識する。

【0040】

ここでディスプレイ２１１には、図２１の２１００のように表示される。撮影者が被写体となる申込書を撮影しやすいようにガイドが表示されており、図２３に登録されているマークを２３０１に表示する。このマークに合わせて被写体のマークを合わせることにより、自動撮影が行いやすくなる。なお、２１０２は背面のカメラ２１５から取得した画像を表示している。この状態はまだ撮影画像を記録していない状態である。この状態をライブビューともいい、イメージセンサー（ＣＣＤ）で得られた画像を用いて、撮影する映像を表示する技術である。
ステップＳ４３１では、マークの検出数を特定するためのＣｏｕｎｔｅｒの値を０に設定し、ＲＡＭ２０２に記憶する。

【0041】

ステップＳ４３２では、オートフォーカス技術を用いて、被写体（本実施形態では、申込書等の帳票）に対するフォーカスが合ったか否かを判定する。フォーカスが合った場合には、ステップＳ４３３へ処理を移し、フォーカスが合うまで処理を繰り返す。なおフォーカスが合ったことの検知は、オペレーティングシステムから、記入不備チェックアプリが受け取ることで判定する。

【0042】

ステップＳ４３３では、隅Ａに対する画像認識を行い、隅Ａに所定のマークがあるか否かを判定する。具体的には、図２３の設定情報２３００に登録されている認識領域（所定範囲の座標）を用いて、背面のカメラ２１５から取り込まれた画像の隅Ａ（左上）の画像と、設定情報２３００の値として登録されている画像２３０１（マーク：黒丸）とを比較する。画像認識技術は既知の技術を用いて実現するものとするが、例えば画像同士のパターンマッチング等を用いて実現する。
隅Ａでマークが検出できた場合には、ステップＳ４３４へ処理を移す。また、隅Ａでマークが検出できなかった場合には、ステップＳ４３５へ処理を移す。
ステップＳ４３４では、隅Ａでマークが検出されたため、Ｃｏｕｎｔｅｒをプラス１してＲＡＭ２０２に記憶する。

【0043】

ステップＳ４３５では、隅Ｂに対する画像認識を行い、隅Ｂに所定のマークがあるか否かを判定する。具体的には、図２３の設定情報２３００に登録されている認識領域（所定範囲の座標）を用いて、背面のカメラ２１５から取り込まれた画像の隅Ｂ（右上）の画像と、設定情報２３００の値として登録されている画像２３０２（マーク：黒三角）とを比較する。画像認識技術は既知の技術を用いて実現するものとするが、例えば画像同士のパターンマッチング等を用いて実現する。
隅Ｂでマークが検出できた場合には、ステップＳ４３６へ処理を移す。また、隅Ｂでマークが検出できなかった場合には、ステップＳ４３７へ処理を移す。
ステップＳ４３６では、隅Ｂでマークが検出されたため、Ｃｏｕｎｔｅｒをプラス１してＲＡＭ２０２に記憶する。

【0044】

ステップＳ４３７では、隅Ｃに対する画像認識を行い、隅Ｃに所定のマークがあるか否かを判定する。具体的には、図２３の設定情報２３００に登録されている認識領域（所定範囲の座標）を用いて、背面のカメラ２１５から取り込まれた画像の隅Ｃ（右下）の画像と、設定情報２３００の値として登録されている画像２３０３（マーク：黒四角）とを比較する。画像認識技術は既知の技術を用いて実現するものとするが、例えば画像同士のパターンマッチング等を用いて実現する。
隅Ｃでマークが検出できた場合には、ステップＳ４３８へ処理を移す。また、隅Ｃでマークが検出できなかった場合には、ステップＳ４３９へ処理を移す。
ステップＳ４３８では、隅Ｃでマークが検出されたため、Ｃｏｕｎｔｅｒをプラス１してＲＡＭ２０２に記憶する。

【0045】

ステップＳ４３９では、隅Ｄに対する画像認識を行い、隅Ｄに所定のマークがあるか否かを判定する。具体的には、図２３の設定情報２３００に登録されている認識領域（所定範囲の座標）を用いて、背面のカメラ２１５から取り込まれた画像の隅Ｄ（左下）の画像と、設定情報２３００の値として登録されている画像２３０３（マーク：黒星）とを比較する。画像認識技術は既知の技術を用いて実現するものとするが、例えば画像同士のパターンマッチング等を用いて実現する。
隅Ｄでマークが検出できた場合には、ステップＳ４４０へ処理を移す。また、隅Ｄでマークが検出できなかった場合には、ステップＳ４４１へ処理を移す。
ステップＳ４４０では、隅Ｄでマークが検出されたため、Ｃｏｕｎｔｅｒをプラス１してＲＡＭ２０２に記憶する。
なお、マークは一例であり、認識できるマークで、四隅で異なるものであればよい。

【0046】

ステップＳ４４１では、ＲＡＭ２０２に記憶しているＣｏｕｎｔｅｒの値を取得して、値が「４」か否かを判定する。すなわち、４点（四隅）が検出できたか否かを判定する。値が「４」の場合、ステップＳ４２２へ処理を移す。値が「４」でない場合、ステップＳ４３３へ処理を移す。

【0047】

ステップＳ４４２では、自動撮影を実行する。この自動撮影は、オートシャッター技術を用いて実行する。この自動撮影により得られた撮影画像を内部メモリに記憶する。自動撮影された場合のイメージは図２１の２１１０である。

【0048】

なお自動撮影により得られた撮影画像であることを示すフラグを付与して管理する。また、撮影時に得られた４点の座標を基に、撮影画像を補正する。例えば、台形補正を行う。その他、申込書自体の歪みを既知の補正技術を用いて補正する。この補正された画像を用いて、以降の不備チェック処理に用いるものとする。また、後述する三隅が認識でき、４点目が得られない場合に、推定された４点目と、三隅による３点とを用いて、画像を補正する。すなわち、四隅に係る箇所が予め登録されている画像と一致して自動撮影が実行された場合には、前四隅に係る箇所に応じて得られる点を用いて、自動撮影により得られた画像を補正し、三隅に係る箇所が予め登録されている画像と一致して自動撮影された場合には、三隅に係る箇所に応じて得られる点と特定された点（推定の４点目）を用いて、自動撮影により得られた画像を補正する処理の一例を示すステップである。

【0049】

ステップＳ４４３では、所定時間又は所定回数繰り返し行われたか否かを判定する。所定時間又は所定回数、ステップＳ４３１〜ステップＳ４４１を繰り返している場合には、４点の画像認識がうまくいかな状態であるため、ステップＳ４４４へ処理を移す。所定時間又は所定回数に達していない場合には、ステップＳ４３１へ処理を移す。なお、ステップＳ４４３の処理は、ステップＳ４４４でＮＯの場合に実行してもよい。すなわち、所定時間又は所定回数に達したかの判定は、いずれのタイミングで実行してもよい。

【0050】

ステップＳ４４４では、取得したＣｏｕｎｔｅｒの値が「３」か否かを判定する。すなわち、４点（四隅）が検出できないが、３点から４点目が推定できる状態か否かを判定する。タブレット端末を用いて、テーブルに置いた申込書などの帳票を背面のカメラで撮影する場合、撮影方向（帳票に対するタブレットの角度）や帳票とタブレット端末との距離により、ガイドに上手くはまらないことが発生する。これは実際に起こりえる課題であり、撮影者が撮影に慣れていないと、帳票の画像部分が台形になるなど歪んで、上手くガイドに一致しないことが発生する。その場合、画像に対する補正が必要になるため、４点が推定できる状態かを特定する必要がある。特に、自動で記入不備チェックを行う、或いは、図９の不備確認カバーシートを用いるためには、画像補正が必須であり、４点が推定できるかが重要である。４点が推定できる場合には、自動での記入不備チェック、或いは、不備確認カバーシートを用いた不備チェックが可能であるため、自動撮影に処理を移行する。

【0051】

すなわち、Ｃｏｕｎｔｅｒの値が「３」の場合には、ステップＳ４２５へ処理を移す。Ｃｏｕｎｔｅｒの値が「３」でない場合、すなわち「０」「１」「２」の場合には、ステップＳ４４７へ処理を移す。

【0052】

ステップＳ４３２〜ステップＳ４４１、ステップＳ４４３、ステップＳ４４４は、撮像部から得られた文書に対応する画像から撮影条件に一致したか否かを判定する処理の一例を示すステップである。撮影条件とは、文書の画像における所定の複数の箇所（例えば、四隅）が、予め登録されている画像（図２３の２３０１〜２３０４）と一致するか否かを判定する撮影条件である。

【0053】

また、ステップＳ４４２は、撮影条件に一致した場合には、自動撮影を実行する処理の一例を示すステップである。また、予め登録されている画像と一致する場合に、自動撮影を実行する処理の一例を示すステップである。また、四隅に係る箇所が予め登録されている画像と一致する場合、又は三隅に係る箇所が予め登録されている画像と一致する場合に、自動撮影を実行する処理の一例を示すステップである。

【0054】

ステップＳ４４５では、前面のカメラ２１５から取得した画像で顔認識があるか否かを判定する。すなわち、第２の撮像部より得られる画像を用いて顔認識をする処理の一例を示すステップである。

【0055】

顔認識技術は既知の技術であるため説明を省略するが、顔認識を検知する領域は２３０５の設定に応じて、映像の中央部とする。２３０５のイメージは、図２３に示す通り、撮影領域より内側となる領域である。ここで顔認識を検知するのは、実際の撮影操作で、ガイドに上手く合わないため自動撮影がされない（基本の撮影は自動撮影）場合、撮影者はディスプレイを正面から見ながら撮影する。撮影者の顔を認識することで、撮影者がうまく撮影できないことを判定することができる。なお、顔を認識できない場合には（横顔であってもよい）、ディスプレイを見て操作をしていないことになり、単によそ見をしていることが考えられるため自動撮影には移行せず、手動撮影に移行する。

【0056】

設定された領域で顔認識があったと判定された場合には、ステップＳ４４５へ処理を移す。設定された領域で顔認識がないと判定された場合には、ステップＳ４４７へ処理を移す。すなわち、三隅に係る箇所が予め登録されている画像と一致し、顔認識された場合に、自動撮影を実行する処理（ステップＳ４４２）へ移行する処理の一例を示すステップである。

【0057】

ステップＳ４４６では、認識した３点（三隅）を基に、４点目を特定する。４点目の推定の仕方は、例えば隅Ａ、隅Ｂ、隅Ｃの点の座標が特定できている場合、隅Ａと隅Ｂの点を結んだベクトル１を生成する。また、隅Ｂと隅Ｃの点を結んだベクトル２を生成する。ベクトル１を隅Ｃに適用し（ベクトル１Ｃ）、ベクトル２を隅Ａに適用して（ベクトル２Ａ）、このベクトル１Ｃとベクトル２Ａの交わる点を４点目とする。

【0058】

すなわち、ステップＳ４４４により文書の画像の三隅に係る箇所が予め登録されている画像と一致する場合に、残る隅に係る箇所の点を特定する処理の一例を示すステップである。

【0059】

ステップＳ４４７では、自動撮影から手動撮影に切り替える。カメラの設定をオートから手動に設定を切り替えることで実現する。この手動設定に切り替える場合には、図２２の２２００のように手動撮影に切り替えるか否かを通知する。手動撮影切替ボタンが押下された場合に手動切替を行い、自動撮影継続ボタンが押下された場合には、ステップＳ４３１へ処理を移し、再度四隅検知を行う。手動撮影に切り替えた場合には、ステップＳ４４８へ処理を移す。すなわち、撮影条件に一致しない場合には、手動撮影に切り替える処理の一例を示すステップである。

【0060】

ステップＳ４４８では、撮影者による撮影指示がされたか否かを判定する。具体的には、手動撮影に切り替えると、図２２の２２１０のように撮影ボタンが表示されるため、撮影ボタンが押下されたことを検知する。撮影指示がされた場合には、ステップＳ４４９へ処理を移す。撮影指示がされない場合には、指示待ちとする。

【0061】

ステップＳ４４９では、撮影指示に従って、撮影を実行する。撮影画像を内部メモリに保存する。この撮影画像は、ガイドに沿った撮影でないため、自動での記入不備チェック、或いは、不備確認カバーシートを用いた不備チェックが可能でない。よって、自動撮影の画像とは異なり、サーバ１０２に撮影画像を送り、目視チェックに移行する。
これにより、携帯端末での撮影を容易にし、画像を用いた記入チェックを効率化することができる。

【0062】

図４Ａのフローチャートに戻り処理の説明を続ける。
ステップＳ４０２ー１では、自動撮影がされたか否かを判定する。自動撮影がされた場合には、ステップＳ４０３へ処理を移す。また、手動撮影された場合には、ステップＳ４０２ー２へ処理を移す。自動撮影された場合は、ガイドに沿って撮影されているので、自動での記入不備チェック、或いは、不備確認カバーシートを用いた不備チェックが可能である。そのため自動撮影がされた場合には、ステップＳ４０３に移行する。また、自動での記入不備チェック、或いは、不備確認カバーシートを用いた不備チェックが難しいため、ステップＳ４０２ー２へ移行する。

【0063】

ステップＳ４０２ー２では、手動撮影された撮影画像をサーバ１０２へ送信する。すなわち、手動撮影の撮影により得られた画像をサーバでチェックすべく、当該画像を送信する送信処理の一例を示すステップである。

【0064】

この時、手動撮影がされたことを示すフラグを合わせてサーバ１０２に送り、サーバ１０２のチェック者に手動撮影を認識させ、チェックを容易にする。サーバ側では、手動撮影であり、携帯端末である情報処理装置１０１で不備チェックがされないことをサーバ側と接続されるクライアント端末で表示する。

【0065】

ステップＳ４０３において、撮影画像に合致するフォームがあるか否かを判定する。合致するフォームがあるかは、ローカルのフォームテーブル１２００（図１２）のデータ順に撮影画像とフォーム画像を帳票認識技術などを用いて比較し、合致するフォームを特定する。なお、上述の通り、予め帳票ＩＤが設定されている場合には、そのフォームＩＤがフォームテーブルにあるか否かで判定してもよい。また、撮影画像の所定の領域からフォームＩＤを抽出してフォームを特定してもよい。ステップＳ４０３で合致するフォームがないと判定された場合には、ステップＳ４０４へ処理を移し、合致するフォームがあると判定された場合には、ステップＳ４０６へ処理を移す。

【0066】

ステップＳ４０４において、合致するフォームテーブルがなければ、ステップＳ４０５で撮影した申込書は不備チェック対応フォームではない旨のエラーメッセージを表示してアプリケーションを終了する。なお、対応フォームでない場合には、エラーメッセージを表示後、再撮影する処理に移行してもよい。合致するフォームテーブルがあれば、ステップＳ４０６において帳票とフォームテーブル（図１２）を参照して、撮影した申込書に対応するカバーシート（画像）を外部メモリ２１２から取得する。なお、フォームテーブル１２００と、対応する画像（フォーム画像、カバーシート）は外部メモリ２１２に記憶されている。すなわち、撮影により得られた第１の画像に対応する、カバーシートである記入チェック箇所が視認可能なように透過された第２の画像を取得する処理の一例を示すものである。

【0067】

ステップＳ４０７において、撮影された申込書の撮影画像と、ステップＳ４０４で取得した撮影した申込書に対応する不備確認用のカバーシート（図９）をオーバレイして、チェック用画像を生成する。すなわち、第１の画像と、第２の画像とを用いて、記入チェック用の第３の画像を生成する処理の一例を示すものである。

【0068】

この生成された画像を記入不備チェック中画面（図１０ー１）に表示する。すなわち、ユーザに記入チェックさせるべく、生成された第３の画像を表示する表示する処理の一例を示すものである。
このカバーシートには、ユーザがチェックをしやすいように、チェック箇所の説明を含めるカバーシートであってもよい。

【0069】

図９のカバーシートは、チェック箇所が透過処理されており、撮影した撮影画像と重ねあわせると記入不備チェックを行いたい箇所の記入が容易に確認できるようになっている。なお、チェック箇所以外の部分も透過させるようにしてもよいが、チェック箇所をユーザに視認しやすくさせるために、チェック箇所より透過率を低くする、あるいは色を変える（例えば、グレーに設定する）ようにする画像にすることが望ましい。

【0070】

ステップＳ４０８において、不備チェック処理の初期化のため、記入不備チェック完了フラグをＯＦＦに、ＯＫボタンフラグ・キャンセルボタンフラグをＯＦＦにする。

【0071】

ステップＳ４０９において記入不備チェック処理フロー（図５で後述）を行う。この記入不備チェック処理は、図１０ー１の記入不備チェック中画面を表示しているバックグラウンドで処理が実行される。すなわち、実行された撮影により得られた画像を用いて、当該携帯端末で記入チェックを行うチェック処理の一例を示すものである。また、第３の画像の表示のバックグラウンドで、第１の画像と定義情報とに基づく認識処理の実行の一例を示すものである。

【0072】

ステップＳ４１０において、認識結果である記入不備チェックフラグ、ＯＫボタンフラグ、キャンセルボタンフラグを取得する。記入不備チェック処理フロー（図５）でＯＫボタンフラグがＯＮになっているかを確認し、ＯＮになっていればステップＳ４２２の付帯画像追加処理フロー（図８で後述）に遷移する。なお、ＯＫボタンフラグがＯＮになっている場合とは、図１０ー１の記入不備チェック中画面で、オーバレイされた画像を用いて目視での不備チェックを行い、不備チェックを完了した場合である。ステップＳ４２２の処理が完了すれば、ステップＳ４２３で情報処理装置１０１から申込書の撮影画像、付帯画像、フォーム名、ログインユーザ名、不備チェック完了フラグＯＦＦをサーバ１０２に送信して処理を終了する。

【0073】

ステップＳ４１０において記入不備チェック処理フロー（図５）でＯＫボタンフラグがＯＮになっているかを確認してＯＦＦであれば、ステップＳ４１１でキャンセルボタンフラグがＯＮになっているかを確認する。キャンセルボタンがＯＮになっていればアプリを終了する。

【0074】

ステップＳ４１１でキャンセルボタンフラグがＯＦＦであれば、ステップＳ４１２で図１０ー１に記入不備チェックが完了した旨と確認ボタンを表示（認識結果情報の表示）して、記入不備チェック完了画面（図１０ー２）に変更する。キャンセルボタンフラグがＯＦＦの場合は、記入不備チェック完了フラグがＯＮになっている。つまり、バックグラウンドで、目視ではなくシステムによる認識により、記入不備チェックが完了した場合である。

【0075】

言い換えると、第１の画像と定義情報とに基づき認識された結果を取得し、認識されて結果を取得した場合に、第３の画像とともに認識した結果が得られたことを示す情報（例えば、確認ボタン）を表示する処理の一例を示すものである。

【0076】

ステップＳ４１３では記入不備チェック完了画面（図１０ー２）でＯＫボタン、キャンセルボタン、確認ボタンのどのボタンが押されたかを判定する。キャンセルボタンが押されたらアプリを終了する。ＯＫボタンが押されたら、ステップＳ４２２において付帯画像追加処理フロー（図８で後述）に遷移する。ステップＳ４２２の処理が完了すれば、ステップＳ４２４で情報処理装置１０１から申込書の撮影画像、付帯画像、フォーム名、ログインユーザ名、不備チェック完了フラグＯＮをサーバ１０２に送信して処理を終了する。なお、不備があった場合には、確認ボタンを押下して確認させたうえで、送信を実行させるように制御する。確認ボタンが押されたらステップＳ４１４に遷移する。

【0077】

ステップＳ４１４において、情報処理装置１０１は、ステップＳ４０３で特定した撮影画像のフォームＩＤを検索キーとして、記入不備チェックテーブル１６１０を検索し、取得した全レコードのチェックＩＤ＝ｉの結果カラム１６１１に、ＲＡＭ２０２に記憶されている変数ｒｅｓｕｌｔ［ｉ］の値をそれぞれ登録する。本実施形態においては、記入不備チェックテーブル１６１０のフォームＩＤ＝１０００の５レコードの結果カラム１６１１にフォームＩＤ＝１０００のチェック結果を示す変数ｒｅｓｕｌｔ［ｉ］＝［ＯＫ、ＮＧ、ＯＫ、ＮＧ、ＯＫ］の値が登録される。

【0078】

ステップＳ４１５において、情報処理装置１０１は、ディスプレイ２１１から記入不備チェック完了画面（図１０ー２）を閉じて、記入不備チェック結果画面（図１１）上に撮影画像表示撮影画像を表示する。すなわち、確認ボタンの押下により、認識された結果を表示する指示があった場合に、第３の画像から、第１の画像と認識された結果に従って生成された認識結果画像に切り替えて表示する処理の一例を示すものである。
ステップＳ４１６において、情報処理装置１０１は、変数ｒｅｓｕｌｔ［ｉ］にＮＧが存在するか判定する。

【0079】

ＮＧが存在しない場合は、ステップＳ４１７において、情報処理装置１０１は、「記入不備はありませんでした。」のメッセージが記された記入不備チェック結果画面（不備なし）１１１０を表示する。

【0080】

ＮＧが存在する場合は、ステップＳ４１８において、情報処理装置１０１は、「記入不備があります。」のメッセージが記された記入不備チェック結果画面（不備あり）１１２０を表示する。

【0081】

ステップＳ４１９において、情報処理装置１０１は、フォームＩＤ＝撮影画像のフォームＩＤ、結果カラム１６１１＝ＮＧを検索キーとして、記入不備チェックテーブル１６１０を検索し、記入不備チェック認識領域の起点座標（Ｘ、Ｙ）と終点座標（Ｘ、Ｙ）を取得する。

【0082】

ステップＳ４２０において、情報処理装置１０１は、取得した記入不備チェック認識領域の起点座標（Ｘ、Ｙ）と終点座標（Ｘ、Ｙ）を対角とする矩形を撮影画像上に描き、赤で塗りつぶす（１１２１）。この時矩形は透過設定されている。これにより、記入不備の領域を識別可能に表示することができる。

【0083】

ステップＳ４２１において、記入不備チェック結果画面でどのボタンが押されたかを判定する。キャンセルボタンが押されていればアプリを終了し、ＯＫボタンが押されていれば

【0084】

ステップＳ４２２の付帯画像追加処理（図８で後述）を実施する。ステップＳ４２２の後、ステップＳ４２４で情報処理装置１０１から申込書の撮影画像、付帯画像、フォーム名、ログインユーザ名、不備チェック完了フラグＯＮをサーバ１０２に送信して処理を終了する。すなわち、第３の画像の表示後、出力指示があった場合に、記入チェックに係る情報と第１の画像を出力する処理の一例を示すものである。また、付帯画像があった場合には、第１の画像と、付帯画像とを合わせて出力する処理の一例を示すものである。付帯画像がない場合には、付帯画像は送信されないことはいうまでもない。

【0085】

送信は、１申込書ごとにおこなってもよいし、サーバ１０２と通信ができない場合には、情報処理装置１０１に記憶させて、通信ができる状態になった場合に、複数の申込書に係るデータを送信する構成であってもよい。

【0086】

図５は、情報処理装置１０１で行う記入不備チェック処理の一例を示すフローチャートである。
また、図１６は、フォームごとの記入不備チェック認識領域および不備チェック方法を管理するテーブルの一例である。

【0087】

記入不備チェックテーブル１６１０にはフォームＩＤ、チェック箇所につけられたチェックＩＤ、記入不備チェックの認識条件、記入不備チェック認識領域の起点座標（Ｘ、Ｙ）と終点座標（Ｘ、Ｙ）が記憶されている。すなわち、第１の画像から記入内容を認識するための認識領域と認識条件を含む定義情報を記憶するものの一例である。

【0088】

なお、「記入不備チェックテーブル１６１０」には記入不備チェック処理結果を記憶するための結果カラム１６１１が存在するが、図５の記入不備チェック処理において、結果カラム１６１１はまだ使用しないため、この時点ではｎｕｌｌである。

【0089】

ステップＳ５０１において、ステップＳ４０４で特定した撮影画像のフォームＩＤを検索キーとして、記入不備チェックテーブル１６１０を検索し、記入不備チェックレコードを取得する。
ステップＳ５０２において、変数ｉに１を代入し、ＲＡＭ２０２に記憶する。

【0090】

ステップＳ５０３において、記入不備チェックレコードのｉ番目から、記入不備チェック認識領域の起点（Ｘ座標、Ｙ座標）と終点（Ｘ座標、Ｙ座標）と記入不備チェック認識条件を取得する。
ステップＳ５０４において、記入不備チェック認識条件の値について判定する。

【0091】

記入不備チェック認識条件が「必須」の場合は、入力必須の項目であるため、ステップＳ５０５において、撮影画像のチェック認識領域に文字や記号が記入されているか否かを判定する。なお、この判定処理は、ＯＣＲ等による解析技術を用いるが、既知の技術であるため、説明は省略する。
文字や記号が記入されている場合は、ステップＳ５０６において、チェック結果をＲＡＭ２０２に記憶する変数ｒｅｓｕｌｔ［ｉ］に「ＯＫ」を代入する。
文字や記号が記入されていない場合は、ステップＳ５０７において、変数ｒｅｓｕｌｔ［ｉ］に「ＮＧ」を代入する。

【0092】

記入不備チェック認識条件が「丸囲み」の場合は、複数の選択肢のうち１つを丸印で囲む項目であるため、ステップＳ５０８において、撮影画像のチェック認識領域に丸印が記入されているか否かを判定する。この判定処理は、ＯＣＲ等による解析技術を用いるが、既知の技術であるため、説明は省略する。なお、本実施例では丸印の存在有無を判定しているが、丸印に限定するものではなく、レ点やその他の図形の判定であってもよい。

【0093】

また、上記において、丸印の数を「１つ」としたが、記入不備チェックテーブル１６１０に「上限値」や「チェック数」カラムを設け、上限値を超えた場合「ＮＧ」、印の個数が「チェック数」以外の場合「ＮＧ」と判定するとしてもよい。また、記入不備チェックテーブル１６１０に「桁数」カラムを設け、記入された文字が許可された桁数であれば「ＯＫ」、許可されていない桁数であれば「ＮＧ」と判定してもよい。また、記入不備チェックテーブル１６１０に「文字属性」カラムを設け、記入された文字の属性、例えば「数字」「ひらがな」「カタカナ」「英数字」などによって、ＯＫ・ＮＧの判定をしてもよい。

【0094】

また、ＯＣＲ等による解析結果で、記入された文字を認識できなかった場合、「ＮＧ」と判定するとしてもよい。また、変数ｒｅｓｕｌｔ［ｉ］の値は、「ＯＫ」「ＮＧ」の２つに限定するものではなく、「不明瞭」「認識不可」「矛盾」などの値を持つとしてもよい。
丸印が記入されている場合は、ステップＳ５０９において、変数ｒｅｓｕｌｔ［ｉ］に「ＯＫ」を代入する。
丸印が記入されていない場合は、ステップＳ５１０において、変数ｒｅｓｕｌｔ［ｉ］に「ＮＧ」を代入する。

【0095】

ステップＳ５１１において、次の領域の不備チェックをするために、変数ｉをインクリメントする。ステップＳ５１２において、チェックＩＤ＝ｉの記入不備チェックレコードが存在するか否かを判定する。存在しない場合は、ステップＳ５１７で記入不備チェック完了フラグをＯＮにして、この記入不備チェック処理を終了する。存在する場合はステップＳ５１３で、記入不備チェック中画面（図１０ー１）においてＯＫボタンが押されたかどうかを判定して、ＯＫボタンが押されていたらステップＳ５１５でＯＫボタンフラグをＯＮにして、図４Ａの（１）に戻る。ＯＫボタンが押されていなければステップＳ５１４に遷移する。なお、ＯＫボタンやキャンセルボタンの押下はユーザにより任意のタイミングにより押下されるため、押下されたタイミングでステップＳ５１３、ステップＳ５１４の判定を行うものとする。

【0096】

ステップＳ５１４では、記入不備チェック中画面（図１０ー１）においてキャンセルボタンが押されたかどうかを判定して、キャンセルボタンが押されていたらステップＳ５１６でキャンセルボタンフラグをＯＮにして、図４Ａの（１）に戻る。キャンセルボタンが押されていなければ、ステップＳ５０３に戻って引き続き記入不備チェックを行う。キャンセルボタンが押下された場合とは、記入不備チェックを終了する場合である。

【0097】

以上で、図５の記入不備チェック処理の説明を終了する。この処理によって、撮影画像のフォームＩＤに対応する記入不備チェックレコードについてのチェック結果が変数ｒｅｓｕｌｔ［ｉ］に記憶されたことになる。具体的には、本実施例では、変数ｒｅｓｕｌｔ［ｉ］には、［ＯＫ、ＮＧ、ＯＫ、ＮＧ、ＯＫ］の値が格納されている。

【0098】

図６は、ステップＳ４２４で情報処理装置１０１から送信される画像と属性情報を、サーバ１０２で受信するフローの一例である。
ステップＳ６０１では、サーバ１０２は申込書の画像、付帯画像、記入不備チェック完了フラグ（ＯＦＦ，ＯＮ）、ログインユーザ名、フォーム名を受信する。

【0099】

ステップＳ６０２では、受信した画像（記入不備チェック済みの申込書の画像）と付帯画像を所定のフォルダに格納し、受信申込書一覧テーブル１３００（図１３）に受信日時、フォーム名、ログインユーザ名、記入不備チェック完了フラグ（ＯＦＦ・ＯＮ）のレコードを追加する。これにより、情報処理装置１０１で記入不備チェックした情報が登録される。その後、サーバ１０２側のオペレータが詳細なチェックを行い、さらに不備があればログインユーザ名に対応する担当者へ電話等を行うものとする。電話は例えば、受信した画像のヘッダに入力されている電話番号を用いるものとする。

【0100】

図７は、サーバ１０２で情報処理装置１０１から受信した画像と属性情報を表示し、オペレータにより記入漏れがないか確認するフローの一例である。

【0101】

ステップＳ７０１では、受信申込書一覧テーブル（図１３）を読み込み受信申込書一覧画面（図１４）を表示する。この時、サーバ１０２側で、所定時間内に所定数を超える申込書を受信した場合（例えば、５分内で、２０件以上の申込書の画像を受信した場合）に、申込書システムによる不備チェックがない申込書を優先させて表示すると決定し、受信申込書一覧画面１４２０を表示する。また、所定時間内に所定数以下の申込書を受信している場合には、受信申込書一覧画面１４１０を表示する。不備チェックがない申込書を優先して表示するモードの場合には、サーバ１０２では、不備チェックが「未完了」でソートしたリストを生成して、受信申込書一覧画面に表示する。

【0102】

ステップＳ７０２では、受信申込書一覧画面（図１４）で終了ボタンがクリックされたかを判定し、終了ボタンが押されれば申込書の確認処理を終了する。終了ボタンがクリックされていなければステップＳ７０３でフォーム名がクリックされたかを判定する。

【0103】

ステップＳ７０３でフォーム名がクリックされたかを判定し、クリックされていなければステップＳ７０２に戻る。フォーム名がクリックされていれば、ステップＳ７０４で受信した申込書を受信申込書確認画面（図１５）に表示し、サーバ側のオペレータが目視で記入不備のチェックを行う。

【0104】

このとき受信申込書一覧画面（図１４）で不備チェック完了の申込書がクリックされていれば、受信申込書確認画面（記入不備チェック済み）１５１０を表示し、不備チェック未完了の申込書がクリックされていれば、受信申込書確認画面（記入不備チェック未完了）１５１１を表示する。よって、サーバ側のオペレータは既にシステムで記入不備チェックが行われた申込書かどうかを容易に確認することができる。
ステップＳ７０５ではサーバ側のオペレータが申込書に記入不備箇所があるかの判定を行う。

【0105】

記入不備があれば、申込書の画像のヘッダに記載されている送信者（ログインユーザ）に記入不備箇所を通知し、記入後に申込書の撮影・再送を実施することを伝え、ステップ７０８に遷移する。記入不備がなければ、申込書のヘッダに記載されている送信者（ログインユーザ）に記入不備なしを通知し、ステップ７０８に遷移する。

【0106】

尚、ヘッダには一例として電話番号を記載しているため、本実施例では送信者に電話で連絡をとることを想定しているが、ヘッダにメールアドレスやシステムのＵＲＬなど送信者への別の連絡手段を記載するようにしても構わない。また、図１５の受信申込書確認画面で、不備連絡ボタン（不図示）を押下すると、不備内容を記入できるウィンドウ（テキストボックス等を含む画面）が表示され、不備内容を入力すると、送信者（担当者）の情報処理装置１０１に送信する構成をとることも可能である。

【0107】

ステップＳ７０８で受信申込書確認画面（図１５）で完了ボタンを押下して画面を閉じると、ステップＳ７０９では受信申込書一覧テーブル（図１３）からステップ７０４で表示した申込書のレコードを削除する。なお、削除せず、確認済みとして完了フラグを設定して管理してもよい。

【0108】

図８は、情報処理装置１０１で申込書の撮影画像に付帯する付帯画像を追加する処理フローの一例である。
ステップＳ８０１では、送信画像確認画面（図１７）を表示し、付帯画像番号、付帯画像枚数を０に設定する。

【0109】

ステップＳ８０２では、初期設定画面（図１９）で設定した販売店名、担当者名、担当者電話番号、付帯画像枚数、記入不備チェックテーブル１６１０の結果カラムに基づく記入不備チェック完了状況など（これらをヘッダ情報と称する）を取得する。この取得した情報を基に、申込書の撮影画像にヘッダ画像として追加して表示する。具体的には、取得した販売店名、担当者名、担当者電話番号、付帯画像枚数、記入不備チェック完了状況に基づいて、所定のサイズで画像化し、申込書の画像の上部に挿入する。すなわち、第１の画像とともに、撮影により得られた第１の画像の付帯画像の枚数を表示する処理の一例を示すものである。また、記入チェックに係るチェック者情報を含むヘッダ情報を取得して、ヘッダ情報を含む第１の画像を生成する処理の一例を示すものである。
このヘッダ情報を含む画像を記入不備チェック済み画像としてサーバ１０２へ送信する。

【0110】

尚、ヘッダに追加する情報は、任意の項目を追加可能であり、上記の情報に限定されるものではない。また、サーバ１０２のオペレータから送信者に連絡を取るための手段の一例として電話番号を記載しているが、ヘッダにメールアドレスやシステムのＵＲＬなど送信者への別の連絡手段を記載するようにしても構わない。

【0111】

ステップＳ８０３では、送信画像確認画面（図１７）でどのボタンが押されたかを判定する。キャンセルボタンが押されれば図４Ａの（２）に戻って、ステップＳ４０２で申込書の再撮影処理を行う。送信ボタンが押され、付帯画像があれば各付帯画像のヘッダに付帯画像番号／付帯画像枚数情報を付与して本処理フローを終了する。

【0112】

付帯書類画像撮影ボタンが押されれば、ステップＳ８０４で申込書に必要な免許証などの付帯画像を撮影する。撮影された付帯画像をメモリに記憶する。すなわち、ユーザによる付帯画像の撮影指示があった場合に、撮影により得られた付帯画像を記憶する処理の一例を示すものである。
ステップＳ８０５では、ステップＳ８０４で撮影した付帯画像を付帯画像確認画面（図１８）に表示して、付帯画像枚数を＋１する。
ステップＳ８０６では、撮影した付帯画像の付帯画像番号に付帯画像枚数を入れる。
ステップＳ８０７では、付帯画像確認画面（図１８）でどのボタンが押されたかを判定する。ＯＫボタンが押されれば送信画像確認画面（図１７）に戻る。

【0113】

キャンセルボタンが押されればステップＳ８０８で付帯画像枚数をー１し、
撮影した付帯画像の付帯画像番号をクリアして送信画像確認画面（図１７）に戻る。

【0114】

再撮影ボタンが押されればステップＳ８０９で付帯画像枚数をー１し、
撮影した付帯画像の付帯画像番号をクリアして付帯画像の再撮影を行うためにステップＳ８０４に戻る。
以上が申込書の撮影画像に付帯する画像を撮影して追加する処理フローの一例である。

【0115】

以上、本実施形態によれば、携帯端末での撮影を容易にし、画像を用いた記入チェックを効率化することができる。

【0116】

また、画像認識による記入チェックの処理が完了する時間までに簡易的に記入チェックができ、利便性を高めることが可能となる。カバーシートを用いた簡易的な記入チェックを可能とすることで、多数の申込書の作業を効率よく進めることが可能となる。

【0117】

さらに、カバーシートを用いた簡易的な記入チェック（目視チェック）で不安な場合はシステムの記入不備チェックを待ってから行うことも可能であり、チェック者（ユーザ）によってどちらにするかを選択することができるため、より利便性が高く、業務の効率化を向上することができる。

【0118】

また、申込書および付帯画像にヘッダ情報としてエンドユーザーの連絡先をつけておくことで、サーバ側のオペレータが記入不備を発見して、チェック者に簡単に連絡することも可能である。

【0119】

さらにサーバ側のオペレータが送られてきた申込書が既にシステムで不備チェックされたものかどうかを把握することができるため、システムで不備チェックしていないものから優先的に記入不備の確認を実施することができる。

【0120】

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

【0121】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

【0122】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤーＲＯＭ、ＣＤーＲ、ＤＶＤーＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

【0123】

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0124】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0125】

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0126】

上記プログラムの形態は、オブジェクトコード、インタプリタにより実行されるプログラムコード、ＯＳ（オペレーティングシステム）に供給されるスクリプトデータ等の形態から成ってもよい。

【0127】

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ１０２、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

【符号の説明】

【0128】

１００ 帳票システム
１０１ 情報処理装置
１０２ サーバ
１０３ ネットワーク

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】