特許 6708935 情報処理装置、その処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6708935

(24)【登録日】2020年5月26日

(45)【発行日】2020年6月10日

(54)【発明の名称】情報処理装置、その処理方法及びプログラム

(51)【国際特許分類】

   G06K 9/20 20060101AFI20200601BHJP

   H04N 1/00 20060101ALI20200601BHJP

   G06F 3/048 20130101ALI20200601BHJP

   G06K 9/03 20060101ALI20200601BHJP

【ＦＩ】

   G06K9/20 340C

   H04N1/00 127Z

   G06F3/048

   G06K9/03 J

【請求項の数】9

【全頁数】25

(21)【出願番号】特願2017-204841(P2017-204841)

(22)【出願日】2017年10月24日

(65)【公開番号】特開2018-77838(P2018-77838A)

(43)【公開日】2018年5月17日

【審査請求日】2018年12月21日

(31)【優先権主張番号】特願2016-213509(P2016-213509)

(32)【優先日】2016年10月31日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(73)【特許権者】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】野呂 大

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２０１５−２２２５５６（ＪＰ，Ａ）

【文献】 特開２００１−１６９０６９（ＪＰ，Ａ）

【文献】 特開２０１６−１２６７６３（ＪＰ，Ａ）

【文献】 特開２０１３−０４１４１３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８− ３／０４８９

Ｇ０６Ｋ ９／００ − ９／８２

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０６Ｔ １１／６０ −１３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００ −１９／２０

Ｈ０４Ｎ １／００

Ｈ０４Ｎ ５／２２２− ５／２５７

(57)【特許請求の範囲】

【請求項1】

撮像装置を備える情報処理装置であって、
前記撮像装置を用いて取込まれた電子データから得られた、撮像されたオブジェクトの識別情報に基づき、前記電子データから読取る項目を決定する読取項目決定手段と、
前記電子データに基づく画像の表示を行いつつ、当該電子データから前記読取項目決定手段により決定した項目を読取る項目読取手段と、
前記項目読取手段により読取られた項目の値の正常又は異常を判定する条件を管理する管理手段と、
前記管理手段により管理されている条件に基づき、前記項目読取手段により読取られた値が異常と判定された項目があった場合、前記オブジェクトの全体を撮像した電子データを取込むか、前記オブジェクトのうち当該異常と判定された項目に関する部分を拡大して撮像した電子データを取込むかの選択を受け付ける指示受付手段と
を備えることを特徴とする情報処理装置。

【請求項2】

前記撮像装置を用いてオブジェクトを撮像することにより電子データとして取込む取込手段と、
前記取込手段により取込まれた電子データから、前記オブジェクトを識別する識別情報を特定するオブジェクト識別情報特定手段と、
前記管理手段により管理されている条件に基づき、前記項目読取手段により読取られた値が正常又は異常を判定する値判定手段と、を有し、
前記項目読取手段は、前記値判定手段により異常と判定された項目を読取ることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記撮像装置を用いてオブジェクトを再撮像することにより電子データとして取込む再取込手段と、
前記取込手段により取込まれた電子データに含まれるオブジェクトと、前記再取込手段により取込まれた電子データに含まれるオブジェクトとが、同一オブジェクトであるか否かを判定する同一オブジェクト判定手段と
を更に備え、
前記項目読取手段は、
前記同一オブジェクト判定手段により同一オブジェクトであると判定された場合に、前記再取込手段により取込まれた電子データから前記読取項目決定手段により決定した項目を読取ること
を特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記値判定手段により異常と判定された項目を撮像するためのガイドを表示するガイド表示手段
を備えることを特徴とする請求項２又は３に記載の情報処理装置。

【請求項5】

前記ガイド表示手段は、
前記値判定手段により異常と判定された項目のうち、まだ撮像されていない項目を撮像するためのガイドを表示すること
を備えることを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記ガイド表示手段は、前記電子データに基づく画像の表示を行いつつ、前記値判定手段により異常と判定された項目を撮像するためのガイドを表示すること
を特徴とする請求項４又は５に記載の情報処理装置。

【請求項7】

前記オブジェクト識別情報特定手段によりオブジェクトの識別情報が特定された後、前記オブジェクト識別情報特定手段により当該識別情報とは異なる識別情報が特定された場合、ユーザにエラーを通知する通知手段と
を更に備えることを特徴とする請求項２乃至６のいずれか１項に記載の情報処理装置。

【請求項8】

撮像装置を備える情報処理装置における処理方法であって、
前記情報処理装置が、
前記撮像装置を用いて取込まれた電子データから得られた、撮像されたオブジェクトの識別情報に基づき、前記電子データから読取る項目を決定する読取項目決定ステップと、
前記電子データに基づく画像の表示を行いつつ、当該電子データから前記読取項目決定ステップにより決定した項目を読取る項目読取ステップと、 前記項目読取ステップにより読取られた項目の値の正常又は異常を判定する条件を管理する管理ステップと、
前記管理ステップにより管理されている条件に基づき、前記項目読取ステップにより読取られた値が異常と判定された項目があった場合、前記オブジェクトの全体を撮像した電子データを取込むか、前記オブジェクトのうち当該異常と判定された項目に関する部分を拡大して撮像した電子データを取込むかの選択を受け付ける指示受付ステップと
を実行することを特徴とする処理方法。

【請求項9】

撮像装置を備える情報処理装置で実行可能なプログラムであって、
前記情報処理装置を、
前記撮像装置を用いて取込まれた電子データから得られた、撮像されたオブジェクトの識別情報に基づき、前記電子データから読取る項目を決定する読取項目決定手段と、
前記電子データに基づく画像の表示を行いつつ、当該電子データから前記読取項目決定手段により決定した項目を読取る項目読取手段と、
前記項目読取手段により読取られた項目の値の正常又は異常を判定する条件を管理する管理手段と、
前記管理手段により管理されている条件に基づき、前記項目読取手段により読取られた値が異常と判定された項目があった場合、前記オブジェクトの全体を撮像した電子データを取込むか、前記オブジェクトのうち当該異常と判定された項目に関する部分を拡大して撮像した電子データを取込むかの選択を受け付ける指示受付手段
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オブジェクトに含まれる項目を読取る情報処理装置、その処理方法及びプログラムに関する。

【背景技術】

【0002】

従来より、利用者端末から帳票サーバに帳票データを送信して、帳票サーバ側で記入内容に不備が無いかをチェックし、利用者端末にチェック結果を返す仕組みがある。

【0003】

特許文献１には、利用者端末から送信された帳票の記入内容の判定、オペレータの操作によるエラー修正、修正結果のメッセージを付与した処理結果の作成などの処理すべてを帳票サーバ側で行う電子処理システムの技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平６−２８２７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１のシステム構成では、利用者端末から送信された帳票が記入内容によりエラーとなった場合、帳票全体のデータを再送信しなければならない。

【0006】

一方、撮像装置を用いて帳票を撮像した撮像画像について記入不備チェックを行う場合、撮像画像の不鮮明さ、文字や記号の潰れ、かすれ、重なり、用紙汚れ、ゴミ等が原因で、文字や記号を正しく読み取れず、“読取エラー”が発生することがある。この“読取エラー”は、帳票全体を再撮像しても解消されにくく、エラー箇所を拡大して再撮像すると解消されることがある。ただし、この場合、エラー箇所を拡大して再撮像するが故に、帳票全体ではなく一部分を撮像することになるため、どの帳票を撮像しているか特定できないという課題がある。

【0007】

そこで、本発明の目的は、撮像対象のオブジェクトを識別した後、オブジェクトに含まれる項目を読取る仕組みを提供することである。

【課題を解決するための手段】

【0008】

本願発明は、撮像装置を備える情報処理装置であって、前記撮像装置を用いて取込まれた電子データから得られた、撮像されたオブジェクトの識別情報に基づき、前記電子データから読取る項目を決定する読取項目決定手段と、前記電子データに基づく画像の表示を行いつつ、当該電子データから前記読取項目決定手段により決定した項目を読取る項目読取手段と、前記項目読取手段により読取られた項目の値の正常又は異常を判定する条件を管理する管理手段と、前記管理手段により管理されている条件に基づき、前記項目読取手段により読取られた値が異常と判定された項目があった場合、前記オブジェクトの全体を撮像した電子データを取込むか、前記オブジェクトのうち当該異常と判定された項目に関する部分を拡大して撮像した電子データを取込むかの選択を受け付ける指示受付手段とを備えることを特徴とする。

【発明の効果】

【0009】

本発明によれば、撮像対象のオブジェクトを識別した後、オブジェクトに含まれる項目を読取る仕組みを提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の帳票システム１００の構成の一例を示す図

【図2】情報処理装置１０１のハードウエア構成の一例を示す図

【図3】情報処理装置１０１の機能構成の一例を示すブロック図

【図4】帳票システム１００における記入不備チェック処理の一例を示すフローチャート

【図5】帳票システム１００における全体記入不備チェック処理の一例を示すフローチャート

【図6】帳票システム１００における部分記入不備チェック処理の一例を示すフローチャート

【図7】情報処理装置１０１において表示する送信画像確認画面の一例を示す図

【図8】情報処理装置１０１において表示する記入不備チェック結果画面（記入不備なし）の一例を示す図

【図9】情報処理装置１０１において表示する記入不備チェック結果画面（記入不備あり）の一例を示す図

【図10】情報処理装置１０１において表示する不備箇所再撮像画面の一例を示す図

【図11】帳票システム１００において帳票フォームを管理するテーブルの一例を示す図

【図12】帳票システム１００においてフォームごとの記入不備チェック認識領域およびチェック方法を管理するテーブルの一例を示す図

【図13】帳票システム１００における記入不備チェック処理の結果リストの一例を示す図

【図14】第２の実施形態の帳票システム１００における記入不備チェック処理の一例を示すフローチャート

【発明を実施するための形態】

【0011】

以下、図面を参照して本発明の実施形態を詳細に説明する。
〔第１の実施形態〕
図１に示すように、本実施形態に帳票システム１００は、情報処理装置１０１およびサーバ１０２が、ネットワーク１０３により通信可能に接続された構成をとる。

【0012】

情報処理装置１０１は、カメラ等を用いて帳票の画像を取り込み、サーバ１０２に送信する。サーバ１０２は、受信した帳票画像の記入不備チェックするために必要な、記入内容の認識領域と認識条件を帳票フォーム識別情報（以下、フォームＩＤと記す）毎に管理している。

【0013】

なお、この実施形態においては、サーバ１０２において記入不備チェックを行うとしたが、これに限定するものではなく、情報処理装置１０１がサーバ１０２から認識領域と認識条件を受信し、情報処理装置１０１において記入不備チェックを行うとしてもよい。

【0014】

情報処理装置１０１は、携帯電話、スマートフォン、タブレット端末、ノートＰＣ、およびＰＤＡ端末などの持ち運び可能な端末であって、ブラウザまたは帳票システムのアプリケーションがインストールされており、無線通信によりネットワーク１０３を介して、サーバ１０２と通信可能である。

【0015】

以下、図２を用いて、図１に示した情報処理装置１０１に適用可能なハードウエア構成の一例について説明する。

【0016】

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０３あるいは外部メモリ２１２には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な各種プログラム等が記憶されている。

【0017】

２０２はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１２からＲＡＭ２０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

【0018】

また、２０５は入力コントローラで、タッチセンサ２１０からの入力を制御する。２０６はビデオコントローラで、ディスプレイ２１１等の表示器への表示を制御する。なお、図２では、ディスプレイ２１１と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて情報処理装置１０１のユーザが使用するものである。

【0019】

２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１２へのアクセスを制御する。

【0020】

２０８は通信Ｉ／Ｆコントローラで、ネットワーク１０３を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

【0021】

なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１１上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１１上のタッチセンサ２１０におけるユーザのタッチ操作指示を受付けることを可能とする。

【0022】

本発明を実現するための後述する各種プログラムや各種テーブルは、外部メモリ２１２に記録されており、必要に応じてＲＡＭ２０２にロードされ、ＣＰＵ２０１によって実行されるものである。

【0023】

２０９は撮像画像入力コントローラで、撮像画像入力処理部２１４を介してカメラ２１５からの入力を制御する。カメラ２１５から入力された撮像画像を認識し、撮像することが可能となっている。

【0024】

図３は、情報処理装置１０１とサーバ１０２の機能構成の一例を示すブロック図である。

【0025】

取込部３０１は、帳票を撮像装置で撮像することにより電子データとして取込む機能部である。

【0026】

管理部３０２は、帳票の認識領域と認識条件とを含む帳票フォーム定義情報を管理する機能部である。

【0027】

記入不備判定部３０３は、管理部３０２により管理されている認識領域と認識条件とを用いて、取込部３０１により取込まれた電子データに含まれる、認識領域に記入された内容が正常またはエラーを判定する機能部である。

【0028】

再取込部３０４は、記入不備判定部３０３によりエラーと判定された場合、帳票を撮像装置で再撮像することにより電子データとして取込む機能部である。

【0029】

同一帳票判定部３０５は、取込部３０１により取込まれた電子データに含まれる帳票と、再取込部３０４により取込まれた電子データに含まれる帳票とが、同じ帳票であるか否かを判定する機能部である。
を備え、
記入不備判定部３０３は、同一帳票判定部３０５により同じ帳票であると判定された場合に、再取込部３０４により取込まれた電子データに含まれる記入不備判定部３０３によりエラーと判定された認識領域に記入された内容が正常またはエラーを判定する機能部である。

【0030】

再取込部３０４は、同一帳票判定部３０５により同じ帳票であることを判定するために必要な帳票の全体若しくは部分、並びに管理部３０２により管理されている認識領域のうちエラーと判定された認識領域を含む動画を撮像することにより電子データとして取込む機能部である。

【0031】

ガイド表示部３０６は、動画を撮像すべく、帳票の全体若しくは部分並びにエラーと判定された認識領域を撮像するためのガイドを表示する機能部である。

【0032】

撮像判定部３０７は、ガイド表示部３０６により表示されたガイドに従って、帳票の全体若しくは部分並びにエラーと判定された認識領域が撮像されたか否かを判定する機能部である。

【0033】

ガイド表示部３０６は、撮像判定部３０７により撮像されたと判定された場合、まだ撮像されていない帳票の全体若しくは部分並びにエラーと判定された認識領域を撮像するためのガイドを順次表示する機能部である。

【0034】

一枚帳票判定部３０８は、再取込部３０４により動画撮像された帳票が１枚の帳票であるか否かを判定する機能部である。

【0035】

通知部３０９は、一枚帳票判定部３０８により１枚の帳票でないと判定された場合は、再取込部３０４による再撮像をやり直させることまたはエラーをユーザに通知する機能部である。

【0036】

指示受付部３１０は、記入不備判定部３０３によりエラーと判定された場合、当該エラーと判定された認識領域を含む領域を当該帳票の撮像時よりも拡大した動画を撮像するかまたは当該帳票の全体を撮像するかの選択を受け付ける機能部である。

【0037】

取込部３１１は、撮像装置を用いてオブジェクトを撮像することにより電子データとして取込む機能部である。

【0038】

オブジェクト識別情報特定部３１２は、取込部３１１により取込まれた電子データから、オブジェクトを識別する識別情報を特定する機能部である。

【0039】

読取項目決定部３１３は、オブジェクト識別情報特定部３１２により特定されたオブジェクトの識別情報に基づき、電子データから読取る項目を決定する機能部である。

【0040】

項目読取部３１４は、取込部３１１により取込まれた電子データに基づく画像の表示を行いつつ、当該電子データから読取項目決定部３１３により決定した項目を読取る機能部である。

【0041】

再取込部３１５は、撮像装置を用いてオブジェクトを再撮像することにより電子データとして取込む機能部である。

【0042】

同一オブジェクト判定部３１６は、取込部３１１により取込まれた電子データに含まれるオブジェクトと、再取込部３１５により取込まれた電子データに含まれるオブジェクトとが、同一オブジェクトであるか否かを判定する機能部である。

【0043】

項目読取部３１４は、同一オブジェクト判定部３１６により同一オブジェクトであると判定された場合に、再取込部３１５により取込まれた電子データから読取項目決定部３１３により決定した項目を読取る機能部である。

【0044】

管理部３１７は、項目読取部３１４により読取られた項目の値が正常又は異常を判定する条件を管理する機能部である。

【0045】

値判定部３１８は、管理部３１７により管理されている条件に基づき、項目読取部３１４により読取られた値が正常又は異常を判定する機能部である。

【0046】

項目読取部３１４は、値判定部３１８により異常と判定された項目を読取る機能部である。

【0047】

ガイド表示部３１９は、値判定部３１８により異常と判定された項目を撮像するためのガイドを表示する機能部である。

【0048】

ガイド表示部３１９は、値判定部３１８により異常と判定された項目のうち、まだ撮像されていない項目を撮像するためのガイドを表示する機能部である。

【0049】

指示受付部３２０は、値判定部３１８により異常と判定された項目があった場合、オブジェクトの全体を撮像した電子データを取込むか又はオブジェクトのうち当該異常と判定された項目を拡大して撮像した電子データを取込むかの選択を受け付ける機能部である。

【0050】

通知部３２１は、オブジェクト識別情報特定部３１２によりオブジェクトの識別情報が特定された後、オブジェクト識別情報特定部３１２により当該識別情報とは異なる識別情報が特定された場合、ユーザにエラーを通知する機能部である。

【0051】

図４は、帳票システム１００における記入不備チェック処理の一例を示すフローチャートである。

【0052】

また、図８の記入不備チェック結果画面（記入不備なし）８００は、情報処理装置１０１において表示する記入不備チェック結果画面の一例で、記入不備がないケースである。画面上部に「記入不備はありませんでした。」を表示し、その下に撮像した帳票画像を表示する。

【0053】

また、図９の記入不備チェック結果画面（記入不備あり）９００は、情報処理装置１０１において表示する記入不備チェック結果画面の一例で、記入不備があるケースである。画面上部に「○箇所の記入不備があります。」を表示し、その下に撮像した帳票画像の記入不備箇所（９０２、９０３）を赤で塗りつぶした画像を表示する。

【0054】

なお、記入不備箇所９０２、９０３の表示は、赤による塗りつぶしに限定するものではなく、赤以外の色による塗りつぶし、枠による囲み、点滅、拡大、反転表示など、ユーザによる識別が可能となる表示であればよい。また、表示による識別方法に限定するものではなく、音声による記入不備箇所の読み上げなど音声による識別方法であってもよい。

【0055】

また、図１１は、帳票システム１００において帳票フォームを管理するテーブルの一例を示す図である。フォームテーブル１１００は、サーバ１０２の外部メモリ２１２に記憶され、サーバ１０２で管理する帳票フォームについて、「フォームＩＤ」「フォーム名」「フォーム画像のファイル名」を管理する。

【0056】

なお、フォームテーブル１１００のレコードは、帳票システム１００のシステム管理者が登録し、システム管理者がメンテナンス画面（不図示）を用いてメンテナンスを行う。具体的には、帳票フォームが新規作成された場合は、フォームテーブル１１００に新規レコードを登録する。また、帳票のレイアウト変更や文言変更によってフォーム画像ファイルが変更された場合は、フォームテーブル１１００のフォーム画像の値を変更後のフォーム画像ファイルに更新する。

【0057】

図４の記入不備チェック処理について、説明する。

【0058】

ステップＳ４０１において、情報処理装置１０１は、帳票システムのユーザによって行われる帳票システムへのログインを受け付ける。なお、この記入不備チェック処理において、ユーザインターフェースとなる帳票アプリケーションは、情報処理装置１０１にインストールされたアプリケーションであってもよいし、ブラウザに表示されるＷｅｂアプリケーションなどのアプリケーションであってもよい。

【0059】

ステップＳ４０２において、情報処理装置１０１は、カメラ２１５を用いて記入不備チェックを行う記入済帳票を撮像し、撮像された画像（以下、撮像画像）を外部メモリ２１２に記憶する。すなわち、ステップＳ４０２は、帳票を撮像装置で撮像することにより電子データとして取込む処理の一例を示すステップである。また、ステップＳ４０２は、撮像装置を用いてオブジェクトを撮像することにより電子データとして取込む処理の一例を示すステップである。なお、この実施形態においては、情報処理装置１０１のカメラ２１５を用いて撮像画像を得るとしたが、デジタルカメラなどを用いて撮像された画像やスキャナーなどを用いてスキャンされた画像を情報処理装置１０１に取り込むとしてもよい。

【0060】

ステップＳ４０３において、情報処理装置１０１は、変数「フォームＩＤ」＝ＮＵＬＬ、変数「グループＩＤ」＝“０”とし、ＲＡＭ２０２に記憶する。なお、「グループＩＤ」は、帳票を再撮像した場合、帳票のどの部分を拡大して再撮像されたかを示す変数である。

【0061】

ステップＳ４０４において、情報処理装置１０１は、「撮像画像」「フォームＩＤ」「グループＩＤ」をサーバ１０２に送信する。

【0062】

具体的には、サーバ１０２に送信する前に、情報処理装置１０１は、送信画像確認画面７００（図７）を表示し、送信ボタン７０４の押下を受け付けると、「撮像画像７０１」「フォームＩＤ」「グループＩＤ」を送信する。なお、この実施例においては、筆圧が弱い、撮像時に光が反射してきれいに撮像できなかった等の理由によって、記入内容が不鮮明と判定されてしまう箇所があったとする（図７の７０２、７０３）。

【0063】

なお、後述するステップＳ４２７またはステップＳ４２９の次にこのステップＳ４０４を実行する場合は、後述するステップＳ４２５またはステップＳ４２８にて再撮像した撮像画像を送信するため、撮像画像の「フォームＩＤ」は後述するステップＳ４０７にて特定されている。よって、「フォームＩＤ」にはステップＳ４１３にて受信した記入不備チェック結果リストに含まれる「フォームＩＤ」の値を設定してサーバ１０２に送信する。

【0064】

ステップＳ４０５において、サーバ１０２は、「撮像画像」「フォームＩＤ」「グループＩＤ」を受信する。なお、後述するステップＳ４２７で説明するが、再撮像を動画にて行った場合、「グループＩＤ」はリスト形式の場合もある。

【0065】

ステップＳ４０６において、サーバ１０２は、グループＩＤの値を判定し、“０”の場合はステップＳ４０７に進み、“０”以外の場合はステップＳ４０９に進む。

【0066】

ステップＳ４０７において、サーバ１０２は、撮像画像の帳票のフォームＩＤを特定する。すなわち、ステップＳ４０７は、取込まれた電子データから、オブジェクトを識別する識別情報を特定する処理の一例を示すステップである。具体的には、フォームテーブル１１００の全レコードを検索し、「フォーム画像」カラムに記憶されているファイルパスを用いて外部メモリ２１２から取り出したフォーム画像と撮像画像とを比較することで、記入不備チェックを行う帳票フォームのフォームＩＤを特定する。外部メモリ２１２から取り出したフォーム画像と撮像画像を比較し、所定の値以上の割合で画像が一致した場合、撮像画像は外部メモリ２１２から取り出したフォーム画像の帳票フォームであると判定し、撮像した帳票のフォームＩＤは、画像比較で一致したフォーム画像に対応するフォームＩＤであると特定する。

【0067】

なお、この画像比較に用いる２つの画像は未加工のまま画像を比較してよいし、画像比較の精度を上げるために、輪郭を抽出するなどの画像加工を施した後に画像比較を行うとしてもよい。

【0068】

なお、この実施形態においては、撮像画像とサーバ１０２で管理するフォーム画像とを比較することで、記入不備チェックを行う帳票フォームの特定を行ったが、この方法に限定するものではなく、フォームＩＤを示すバーコードや番号を帳票に記しておき、撮像時の読み取りまたは撮像画像の解析から帳票のフォームＩＤを特定する方法などであってもよい。本実施例においては、撮像画像からフォームＩＤ＝ＦＯＲＭ０１の「ショッピングクレジット申込書」が特定されたとする。

【0069】

ステップＳ４０８において、サーバ１０２は、全体記入不備チェック処理（図５）を行う。すなわち、ステップＳ４０８は、管理されている認識領域と認識条件とを用いて、取込まれた電子データに含まれる、認識領域に記入された内容が正常またはエラーを判定する処理の一例を示すステップである。

【0070】

ここで、図５について説明しておく。

【0071】

図５は、帳票システム１００における全体記入不備チェック処理の一例を示すフローチャートである。

【0072】

また、図１２は、帳票システム１００においてフォームごとの記入不備チェック認識領域およびチェック方法を管理するフォーム定義テーブルの一例を示す図である。フォーム定義テーブル１２００は、サーバ１０２の外部メモリ２１２に記憶され、「フォームＩＤ」「（複数の認識領域をまとめたグループを識別する）グループＩＤ」「（記入不備チェックにおいて認識領域を識別する）チェックＩＤ」「（記入不備チェックの）認識条件」「（認識領域の）起点座標（X、Y)）」と「終点座標（X、Y）」を管理する。

【0073】

すなわち、フォーム定義テーブル１２００は、帳票の認識領域と認識条件とを含む帳票フォーム定義情報を管理する手段の一例である。また、フォーム定義テーブル１２００は、読取られた項目の値が正常又は異常を判定する条件を管理する手段の一例である。

【0074】

なお、この実施形態においては、サーバ１０２においてフォームテーブル１１００およびフォーム定義テーブル１２００を管理し、サーバ１０２において記入不備チェックを行うとしたが、これに限定するものではなく、情報処理装置１０１においてフォームテーブル１１００およびフォーム定義テーブル１２００を管理し、情報処理装置１０１において記入不備チェックを行うとしてもよい。

【0075】

図５の全体記入不備チェック処理について説明する。

【0076】

ステップＳ５０１において、サーバ１０２は、ステップＳ４０７にて特定された「フォームＩＤ」を検索キーとして、フォーム定義テーブル１２００を検索し、フォーム定義情報リストを取得する。すなわち、ステップＳ５０１は、特定されたオブジェクトの識別情報に基づき、電子データから読取る項目を決定する処理の一例を示すステップである。

【0077】

ステップＳ５０２において、サーバ１０２は、変数ｉに1を代入し、ＲＡＭ２０２に記憶する。

【0078】

ステップＳ５０３において、サーバ１０２は、ステップＳ５０１にて取得したフォーム定義情報リストのレコード数だけ、ステップＳ５０４〜ステップＳ５０９を繰り返す。

【0079】

ステップＳ５０４において、サーバ１０２は、フォーム定義情報リストのi番目のレコードから、認識領域の起点（X座標、Y座標)と終点（X座標、Y座標）と認識条件を取得する。

【0080】

ステップＳ５０５において、サーバ１０２は、取得した認識条件の値について判定する。認識条件＝“必須”の場合はステップＳ５０６に進み、認識条件＝“丸囲み”の場合はステップＳ５０７に進む。

【0081】

ステップＳ５０６において、サーバ１０２は、撮像画像の認識領域が記入必須項目に該当するため、文字や記号が記入されているか否かを判定する。文字や記号が記入されている場合は“ＯＫ”と判定しステップＳ５０９に進み、文字や記号が記入されていない場合は“ＮＧ”と判定しステップＳ５０８に進む。なお、この判定処理は、ＯＣＲ等による解析技術を用いるが、既知の技術であるため説明を省略する。

【0082】

ステップＳ５０７において、サーバ１０２は、撮像画像の認識領域が複数の選択肢のうち１つを丸印で囲む項目に該当するため、丸印が記入されているか否かを判定する。丸印が記入されている場合は“ＯＫ”と判定しステップＳ５０９に進み、丸印が記入されていない場合は“ＮＧ”と判定しステップＳ５０８に進む。なお、この判定処理は、ＯＭＲ等による解析技術を用いるが、既知の技術であるため説明を省略する。なお、本実施例では丸印の有無を判定しているが、丸印に限定するものではなく、レ点やその他の図形などの判定であってもよい。

【0083】

なお、上記において、丸印の数を「１つ」としたが、「１つ」に限定するものではなく、フォーム定義テーブル１２００に、「チェック上限数」や「チェック数」などのカラムを設け、丸印の数が「チェック上限数」を超えた場合は“ＮＧ”、丸印の数が「チェック数」以外の場合は“ＮＧ”と判定するとしてもよい。

【0084】

なお、この実施形態においては、認識条件は、“必須”および“丸囲み”の２種類としたが、これに限定するものではなく、“桁数”や“文字属性”などとしてもよい。その場合、フォーム定義テーブル１２００に「桁数」カラムを設け、記入された文字が許可された桁数であれば“ＯＫ”、許可されていない桁数であれば“ＮＧ”と判定するとしてもよい。

【0085】

また、フォーム定義テーブル１２００に「文字属性」カラムを設け、記入された文字の属性、例えば「数字」「ひらがな」「カタカナ」「英数字」などによって、“ＯＫ”または“ＮＧ”と判定するとしてもよい。

【0086】

また、ＯＣＲ等による解析結果で、記入された文字を認識できなかった場合、“ＮＧ”と判定するとしてもよい。

【0087】

また、認識領域が認識条件に適合しているかの判定結果は、“ＯＫ”および“ＮＧ”の２つに限定するものではなく、“矛盾”、“不鮮明”、“認識不可”などの値を持つとしてもよい。

【0088】

ステップＳ５０８において、サーバ１０２は、記入不備チェック結果リスト１３００（図１３）にフォーム定義情報リストのi番目のレコードを挿入する。図１３の記入不備チェック結果リスト１３００は、記入不備チェックの結果＝“ＮＧ”となったフォーム定義情報レコードを要素に持つリストである。

【0089】

なお、記入不備チェック結果リスト１３００には、図１３のように「エラー詳細」項目を持ち、“必須”、“丸囲み”、“矛盾”、“不鮮明”、“認識不可”など、記入不備チェックの結果＝“ＮＧ”と判定された理由を記録する。「エラー詳細」＝ＮＵＬＬであるレコード１３０３、１３０４については、ステップＳ４１１の説明にて後述する。

【0090】

以上から、ステップＳ５０５〜ステップＳ５０７は、管理されている条件に基づき、読取られた値が正常又は異常を判定する処理の一例を示すステップである。

【0091】

ステップＳ５０９において、サーバ１０２は、変数ｉの値をインクリメントする。

【0092】

ステップＳ５１０において、ステップＳ５０１にて取得したフォーム定義情報リストのレコードが残っている場合、ステップＳ５０４〜ステップＳ５０９を繰り返す。

【0093】

以上で、図５の全体記入不備チェック処理の説明を終了する。図５の全体記入不備チェック処理によって、記入不備チェック結果リスト１３００には、記入不備チェックの結果＝“ＮＧ”となったフォーム定義情報レコードが登録されていることになる。

【0094】

図４の記入不備チェック処理の説明に戻る。

【0095】

ステップＳ４０９において、サーバ１０２は、部分記入不備チェック処理（図６）を行う。すなわち、ステップＳ４０９は、同じ帳票であると判定された場合に、取込まれた電子データに含まれるエラーと判定された認識領域に記入された内容が正常またはエラーを判定する処理の一例を示すステップである。また、ステップＳ４０９は、異常と判定された項目を読取る処理の一例を示すステップである。ここで、図６について説明しておく。

【0096】

図６は、帳票システム１００における部分記入不備チェック処理の一例を示すフローチャートである。図５の全体記入不備チェック処理のフローチャートを部分記入不備チェック処理用に置き換え、図５のステップと同じ処理については、同じステップ番号を付与し説明を省略する。図６の処理により、再撮像された部分帳票の記入不備チェックを行う。

【0097】

ステップＳ６０１において、サーバ１０２は、ステップＳ４０５にて取得した「グループＩＤ」の数だけ、ステップＳ６０２〜ステップＳ５１０を繰り返す。

【0098】

ステップＳ６０２において、サーバ１０２は、ステップＳ４０５にて受信した「フォームＩＤ」と、ステップＳ６０１で対象とした「グループＩＤ」を検索キーとして、フォーム定義テーブル１２００を検索し、フォーム定義情報リストを取得する。すなわち、ステップＳ６０２は、特定されたオブジェクトの識別情報に基づき、電子データから読取る項目を決定する処理の一例を示すステップである。

【0099】

以降のステップＳ５０２〜ステップＳ５１０は、図５の説明と同様である。

【0100】

ただし、ステップＳ５０６〜ステップＳ５０７の認識領域は、撮像画像に含まれるガイド枠画像からの距離に従って決定する。具体的には、グループＩＤ＝２の認識領域を拡大した撮像画像の場合、撮像画像に含まれるガイド枠に囲まれた矩形は、フォーム定義テーブル１２００のフォーム定義レコード１２０１から起点座標（１００、１００)と終点座標（４５０、３００）の２点を対角とする矩形であると捉えることができる。

【0101】

また、ガイド枠に囲まれた矩形の大きさがヨコ＝３５００ピクセル、タテ＝２０００ピクセルであって、グループＩＤ＝２、チェックＩＤ＝８のチェックを行う場合、認識領域はフォーム定義テーブル１２００のレコード１２０３から起点座標（２２５、２５０)と終点座標（３５０、３００）であるため、ステップＳ５０６の認識領域は、ガイド枠に囲まれた矩形画像の左上から、
起点（（２２５−１００）＊３５００／（４５０−１００）、（２５０−１００）＊２０００／（３００−１００）＝（１２５０ピクセル、１５００ピクセル）、
終点（（３５０−１００）＊３５００／（４５０−１００）、（３００−１００）＊２０００／（３００−１００）＝（２５００ピクセル、２０００ピクセル）
の距離だけ離れた２点を対角とする矩形となる。

【0102】

これにより、再撮像された画像を受信した１０２サーバが、帳票のどの部分が拡大された画像なのかを特定できず、記入内容の判定ができないという課題を解決することができる。つまり、帳票のどの部分が拡大された画像かを特定することができるため、再撮像された画像を用いて、記入不備チェックを行うことができるようになる。

【0103】

なお、この実施形態においては、拡大して再撮像された撮像画像に含まれるガイド枠画像からの距離に従って認識領域を決定するとしたが、これに限定するものではなく、例えば、再撮像時の拡大率を記憶しておき、その拡大率を用いて認識領域を決定する方法、認識領域のグループで再撮像するのではなく、不備箇所のみを再撮像しその再撮像画像全体を認識領域とする方法などであってもよい。

【0104】

ステップＳ５０６において、サーバ１０２は、撮像画像の認識領域が記入必須項目に該当するため、文字や記号が記入されているか否かを判定する。文字や記号が記入されている場合は“ＯＫ”と判定しステップＳ５０９に進み、文字や記号が記入されていない場合は“ＮＧ”と判定しステップＳ５０８に進む。なお、この判定処理は、ＯＣＲ等による解析技術を用いるが、既知の技術であるため説明を省略する。

【0105】

以上で、図６の部分記入不備チェック処理の説明を終了する。図６の部分記入不備チェック処理によって、再撮像された部分帳票の記入不備チェックを行い、記入不備チェック結果リスト１３００には、再撮像された部分帳票の記入不備チェックの結果＝“ＮＧ”となったフォーム定義情報レコードが登録されていることになる。図４の記入不備チェック処理の説明に戻る。

【0106】

ステップＳ４１０において、サーバ１０２は、後述するステップＳ４２５にて再撮像するために必要となるガイド枠座標を取得する。具体的には、ステップＳ４０５にて受信したまたはステップＳ４０７にて特定した「フォームＩＤ」と、ステップＳ４０８またはステップＳ４０９にて生成した記入不備チェック結果リスト１３００に含まれる「グループＩＤ」と、「チェックＩＤ」＝ＮＵＬＬとを検索キーとして、フォーム定義テーブル１２００を検索し、認識領域グループの座標を取得する。

【0107】

ここでは、「フォームＩＤ」＝“ＦＯＲＭ０１“と、図１３の記入不備チェック結果リスト１３００から「グループＩＤ」＝２，３と、「チェックＩＤ」＝ＮＵＬＬとを検索キーとして、フォーム定義テーブル１２００を検索することで、フォーム定義レコード１２０１および１２０２を取得する。

【0108】

ステップＳ４１１において、サーバ１０２は、ステップＳ４１０にて取得したガイド枠座標を記入不備チェック結果リスト１３００に追加する。ここでは、ステップＳ４１０にて取得したフォーム定義レコード１２０１および１２０２を、記入不備チェック結果リスト１３００に追加する（１３０３と１３０４）。

【0109】

ステップＳ４１２において、サーバ１０２は、記入不備チェック結果リスト１３００を情報処理装置１０１に送信する。

【0110】

ステップＳ４１３において、情報処理装置１０１は、記入不備チェック結果リスト１３００を受信する。

【0111】

ステップＳ４１４において、情報処理装置１０１は、記入不備チェックにて不備が検出されたか否かを判定する。具体的には、記入不備チェック結果リスト１３００にレコードが存在するか否かによって判定する。不備が無いと判定された場合はステップＳ４１５に進み、不備が有ると判定された場合はステップＳ４１６に進む。

【0112】

ステップＳ４１５において、情報処理装置１０１は、記入不備チェック結果画面（記入不備なし）８００（図８）を表示する。具体的には、ステップＳ４０２にて撮像した撮像画像８０１をディスプレイ２１１に表示し、「記入不備はありませんでした。」のメッセージを重畳させ、図４の記入不備チェック処理を終了する。

【0113】

ステップＳ４１６において、情報処理装置１０１は、記入不備チェック結果画面（記入不備あり）９００（図９）を表示する。具体的には、ステップＳ４０２にて撮像した撮像画像９０１をディスプレイ２１１に表示し、「記入不備があります。」のメッセージを重畳させ、記入不備領域を識別して表示する（図９の９０２、９０３）。なお、記入不備領域の識別表示は、ステップＳ４１３で取得した記入不備チェック結果リスト１３００にレコード（１３０１、１３０２）から、「認識領域」の起点座標（X、Y)と終点座標（X、Y）を取得し、その２点を対角とする矩形を撮像画像上に描き、赤く塗りつぶすことで行う。これにより、記入不備のあった領域を識別可能に表示することができる。

【0114】

また、記入不備チェック結果画面（記入不備あり）９００には、「全体を再撮像するボタン９０４」と「不備箇所を再撮像する（動画）ボタン９０５」を表示し、記入不備チェックの内容によって、ユーザが再撮像の方法を選択できるようにする。

【0115】

ステップＳ４１７において、情報処理装置１０１は、ユーザによる操作を受け付ける。「全体を再撮像するボタン９０４」が押下された場合はステップＳ４２８に進み、「不備箇所を再撮像する（動画）ボタン９０５」場合はステップＳ４１８に進む。

【0116】

すなわち、ステップＳ４１７は、エラーと判定された場合、当該エラーと判定された認識領域を含む領域を当該帳票の撮像時よりも拡大した動画を撮像するかまたは当該帳票の全体を撮像するかの選択を受け付ける処理の一例を示すステップである。また、ステップＳ４１７は、異常と判定された項目があった場合、オブジェクトの全体を撮像した電子データを取込むか又はオブジェクトのうち当該異常と判定された項目を拡大して撮像した電子データを取込むかの選択を受け付ける処理の一例を示すステップである。

【0117】

具体的には、誤記など帳票への記入内容が原因でエラーが発生したとユーザが判断した場合、記入内容を修正した後、ユーザは「全体を再撮像するボタン９０４」を押下する。撮像画像が不鮮明であることが原因でエラーが発生した、つまり拡大して再撮像すればエラーは解消されるとユーザが判断した場合、ユーザは「不備箇所を再撮像する（動画）ボタン９０５」を押下する。これにより、帳票を再撮像する場合、上記のようにエラー部分を拡大して再撮像するか、エラー部分を記入し直したため帳票全体を再撮像するか、をユーザが自由に選択できないという課題を解決することができる。

【0118】

なお、この実施形態においては、「全体を再撮像する」か「不備箇所を再撮像する」かをユーザが選択するとしたが、これに限定するものではなく、記入不備チェック結果リスト１３００の「エラー詳細」の値が“必須”、“丸囲み”、“矛盾”の場合は、誤記など記入内容がエラーの原因と捉え、帳票を修正するようメッセージを表示して全体を再撮像させ、「エラー詳細」の値が“不鮮明”、“認識不可”の場合は、撮像がエラーの原因と捉え、不備箇所のみを拡大して再撮像させるなど、記入不備チェック結果リスト１３００に含まれる値に従って、情報処理装置１０１が「全体を再撮像する」か「不備箇所を再撮像する」かを決定するとしてもよい。

【0119】

ステップＳ４１８において、情報処理装置１０１は、不備箇所再撮像画面１０１０（図１０）を表示する。

【0120】

なお、図１０の不備箇所再撮像画面１０１０に表示されている帳票の画像は、カメラ２１５が捉えた帳票の画像をリアルタイムに表示したものである。

【0121】

ステップＳ４１９において、情報処理装置１０１は、動画による撮像を開始する。すなわち、ステップＳ４１９は、撮像装置を用いてオブジェクトを再撮像することにより電子データとして取込む処理の一例を示すステップである。

【0122】

ステップＳ４２０において、情報処理装置１０１は、帳票全体を再撮像するためのガイド枠１０１１またはガイドメッセージ１０１２を表示する。すなわち、ステップＳ４２０は、動画を撮像すべく、帳票の全体若しくは部分並びにエラーと判定された認識領域を撮像するためのガイドを表示する処理の一例を示すステップである。これにより、ユーザは帳票をどの部分を再撮像すればよいかわからないという課題を解決することができる。

【0123】

ステップＳ４２１において、情報処理装置１０１は、ステップＳ４２０にて表示されたガイドに従って撮像された画像を、ステップＳ４０２にて撮像された撮像画像と比較し、同一の帳票か否かを判定する。同一帳票と判定された場合はステップＳ４２２に進み、異なる帳票であると判定された場合は「記入不備チェックした帳票と異なります」などのエラーメッセージを表示してステップＳ４２０に戻る。

【0124】

すなわち、ステップＳ４２１は、取込まれた電子データに含まれる帳票と、取込まれた電子データに含まれる帳票とが、同じ帳票であるか否かを判定する処理の一例を示すステップである。また、ステップＳ４２１は、先に取込まれた電子データに含まれるオブジェクトと、後に取込まれた電子データに含まれるオブジェクトとが、同一オブジェクトであるか否かを判定する処理の一例を示すステップである。また、ステップＳ４２１は、同一オブジェクトであると判定された場合に、取込まれた電子データから項目を読取ること処理の一例を示すステップである。

【0125】

なお、本実施形態においては、ステップＳ４２０にて帳票全体を再撮像し、ステップＳ４０２にて撮像された撮像画像と比較したが、この方法に限定するものではなく、例えば、ステップＳ４２０にて「お申込者」欄を拡大して再撮像し、ステップＳ４０２にて撮像された撮像画像の「お申込者」欄の画像と比較してもよい。また、ステップＳ４２０にて帳票を特定する通し番号などを撮像することで、ステップＳ４０２にて撮像された撮像画像の通し番号部分と比較してもよい。つまり、同一帳票と判断することができるものであれば、帳票の全体であっても部分であってもよい。

【0126】

これにより、エラー箇所を拡大して再撮像した場合、先に記入不備チェックを行った帳票と同じ帳票かどうかがわからないという課題を解決することができ、記入不備チェック後における再撮像を好適に行う仕組みを提供することができる。

【0127】

ステップＳ４２２において、情報処理装置１０１は、不備のあった認識領域グループの数だけ、ステップＳ４２３〜ステップＳ４２５を繰り返すグループの数だけ、ステップＳ４２３〜ステップＳ４２５を繰り返す。具体的には、ステップＳ４１３にて受信した記入不備チェック結果リスト１３００に含まれる重複を省いた「グループＩＤ」の個数だけ繰り返す。ここでは、図１３の記入不備チェック結果リスト１３００のレコード１３０１、１３０２から、「グループＩＤ」＝｛２，３｝の２つであるため、「グループＩＤ」＝２と３について、ステップＳ４２３〜ステップＳ４２５をそれぞれ行う。

【0128】

ステップＳ４２３において、情報処理装置１０１は、帳票が変更されたか否かを検知し、変更されたことを検知した場合はステップＳ４２０に戻り、変更されたことを検知しなかった場合はステップＳ４２４に進む。つまり、動画撮像している間に、帳票が変更されて（すり替えられて）いないかを判定する。

【0129】

すなわち、ステップＳ４２３は、動画撮像された帳票が１枚の帳票であるか否かを判定する処理の一例を示すステップである。また、ステップＳ４２３は、オブジェクトの識別情報が特定された後、当該識別情報とは異なる識別情報が特定された場合、ユーザにエラーを通知する処理の一例を示すステップである。

【0130】

具体的には、帳票の罫線や文字などを目印にして、その目印が撮像画像内をスムーズ（連続的）に移動していれば、帳票が変更されていないと判定し、その目印が撮像画像内から突然消えたり、（ジャイロ機能やＧＰＳ機能を用いて）情報処理装置１０１の移動とは別の方向から撮像画像内に帳票画像が侵入してきたり、撮像中の画像が帳票のどの範囲の画像かを認識し、帳票の端に達したはずなのに更に帳票画像が続いていたりした場合は、動画撮像中に帳票が変更された（すり替えられた）と判定する。

【0131】

なお、本実施形態においては、帳票が変更されたことを検知した場合は、ステップＳ４２０に戻り、動画撮像をやり直すこととしたが、これに限定するものではなく、「動画撮像中に帳票が変更されました。１枚の帳票をゆっくり撮像してください。」などエラーメッセージを表示するとしてもよい。すなわち、ステップＳ４２３は、１枚の帳票でないと判定された場合は、再撮像をやり直させることまたはエラーをユーザに通知する処理の一例を示すステップである。

【0132】

ステップＳ４２４において、情報処理装置１０１は、記入不備のあった記入領域グループのみを再撮像するためのガイド枠１０２１またはガイドメッセージ１０２２を表示する。すなわち、ステップＳ４２４は、動画を撮像すべく、帳票の全体若しくは部分並びにエラーと判定された認識領域を撮像するためのガイドを表示する処理の一例を示すステップである。また、ステップＳ４２４は、まだ撮像されていない帳票の全体若しくは部分並びにエラーと判定された認識領域を撮像するためのガイドを順次表示する処理の一例を示すステップである。また、ステップＳ４２４は、異常と判定された項目を撮像するためのガイドを表示する処理の一例を示すステップである。また、ステップＳ４２４は、異常と判定された項目のうち、まだ撮像されていない項目を撮像するためのガイドを表示する処理の一例を示すステップである。

【0133】

なお、このガイド枠は、ステップＳ４１３にて受信した記入不備チェック結果リスト１３００に含まれる「チェックＩＤ」＝ＮＵＬＬのレコード（１３０３、１３０４）の起点座標（X、Y)と終点座標（X、Y）の縦横比率を保持したまま、ディスプレイ２１１に収まる程度に拡大して表示する。これにより、ユーザは帳票をどの部分をどの程度拡大して再撮像すればよいかわからないという課題を解決することができる。

【0134】

例えば、「グループＩＤ」＝２（「（２）お申込者」欄）の場合は、記入不備チェック結果リスト１３００のレコード１３０３の起点座標（１００、１００)と終点座標（４５０、３００）の縦横比率を保持したまま、ディスプレイ２１１に収まる程度に拡大して、不備箇所再撮像画面１０２０にガイド枠１０２１を表示する。また、「グループＩＤ」＝３（「（３）お勤め先」欄）の場合は、記入不備チェック結果リスト１３００のレコード１３０４の起点座標（１００、４００)と終点座標（４５０、７００）の縦横比率を保持したまま、ディスプレイ２１１に収まる程度に拡大して、不備箇所再撮像画面１０２０にガイド枠１０２１を表示する。

【0135】

なお、図１０の不備箇所再撮像画面１０２０に表示されている帳票の画像は、カメラ２１５が捉えた帳票の画像をリアルタイムに表示したものである。

【0136】

ステップＳ４２５において、情報処理装置１０１は、不備箇所を含む認識領域グループを動画により再撮像する。すなわち、ステップＳ４２５は、取込まれた電子データに基づく画像の表示を行いつつ、当該電子データから項目を読取る処理の一例を示すステップである。

【0137】

なお、この実施形態においては、動画により不備箇所を含む認識領域グループを再撮像するとしたが、動画に限定するものではなく、例えば、カメラ２１５が捉えた帳票の画像を解析し、不備箇所を含む認識領域グループがガイド枠内に収まったと判定したことをトリガーにして、情報処理装置１０１が自動で静止画撮像する方法や、帳票に認識領域グループ毎にマークを印刷しておき、カメラ２１５が捉えた帳票の画像を解析し、そのマークの大きさを測定することによって、不備箇所を含む認識領域グループが所定の大きさに拡大されたと判定したことをトリガーにして、情報処理装置１０１が静止画撮像する方法などの方法であってもよい。

【0138】

すなわち、ステップＳ４２５は、エラーと判定された場合、帳票を撮像装置で再撮像することにより電子データとして取込む処理の一例を示すステップである。また、ステップＳ４２５は、表示されたガイドに従って、帳票の全体若しくは部分並びにエラーと判定された認識領域が撮像されたか否かを判定する処理の一例を示すステップである。

【0139】

また、再撮像は、ステップＳ４２４にて表示したガイド枠１０２１も含めて撮像する。これにより、利用者端末から送信された帳票が記入内容の判定によりエラーとなった場合、帳票全体の記入内容を再撮像、再送信しなければならないという課題を解決することができる。また、撮像画像の不鮮明さ、文字や記号の潰れ、かすれ、重なり、用紙汚れ、ゴミ等が原因で、文字や記号を正しく読み取れず発生した“読取エラー”は、帳票全体を再撮像しても解消されにくいという課題を解決することができる。

【0140】

不備のあった認識領域グループの数だけ、ステップＳ４２３〜ステップＳ４２５を繰り返す。すなわち、ステップＳ４１９〜ステップＳ４２６は、同じ帳票であることを判定するために必要な帳票の全体若しくは部分、並びに管理されている認識領域のうちエラーと判定された認識領域を含む動画を撮像することにより電子データとして取込む処理の一例を示すステップである。

【0141】

ステップＳ４２６において、情報処理装置１０１は、動画による撮像を終了し、撮像した動画を電子データとして外部メモリ２１２に記憶する。なお、本実施形態においては、撮像した動画を外部メモリ２１２に記憶し、その後の記入不備チェック（ステップＳ４０９）で利用するとしたが、この方法に限定するものではなく、撮像した動画からエラー箇所の撮像画像を静止画として抜き出し、その静止画を外部メモリ２１２に記憶し、その静止画を記入不備チェックに利用するとしてもよい。

【0142】

ステップＳ４２７において、情報処理装置１０１は、グループＩＤに再撮像したグループＩＤのリストを設定する。例えば、再撮像した「グループＩＤ」＝｛２，３｝の場合は、グループＩＤ＝｛２，３｝となる。

【0143】

ステップＳ４２８において、情報処理装置１０１は、帳票全体を再撮像する（不図示）。

【0144】

ステップＳ４２９において、情報処理装置１０１は、グループＩＤ＝“０”を設定する。

【0145】

以上で、図４の記入不備チェック処理の説明を終了する。

【0146】

なお、この実施形態においては、不備箇所を含む認識領域グループを再撮像するとしたが、これに限定するものではなく、不備箇所のみを再撮像する方法、不備箇所を含む認識領域グループを再撮像するが不備箇所の認識領域のみにトリミングする方法などであってもよい。

【0147】

以上により、エラー箇所を拡大して再撮像した場合、先に記入不備チェックを行った帳票と同じ帳票かどうかがわからないという課題を解決することができ、記入不備チェック後における再撮像を好適に行う仕組みを提供することができる。また、この動画撮像を用いて、同一帳票を判定する箇所およびエラー箇所を一連の動画により撮像することにより、先に記入不備チェックを行った帳票と同じ帳票を撮像した画像であることを保証することができる。

【0148】

また、エラー箇所を拡大して再撮像した場合にも、帳票の特定を行っているため、どの帳票を撮像しているか特定できないという課題を解決することができ、撮像対象のオブジェクトを識別した後、オブジェクトに含まれる項目を読取る仕組みを提供することができる。

【0149】

なお、本実施形態においては、動画で再撮像するとしたが、この方法に限定するものではなく、動画による再撮像ではなく、撮像装置によって取得した画像がガイド枠に収まったときに静止画を撮像することで、帳票の全体または部分並びにエラー箇所を再撮像する方法であってもよい。

【0150】

また、撮像した動画を記憶することは必須ではなく、例えば、カメラ２１５が捉えた画像を外部メモリ２１２に記憶せず、当該画像に基づいて、認識領域がガイド枠内に収まったと判定したこと等をトリガーにして、リアルタイムに当該画像を解析して、文字認識及びチェック処理を行う方法であってもよい。この際、カメラ２１５が捉えた画像は、ディスプレイ２１１に表示しなくてもよいが、どこを撮像・解析しているかがわかるため表示する方が好ましい。

【0151】

また、カメラ２１５が捉えた画像をディスプレイ２１１に表示する場合、ディスプレイ２１１に表示している画像と、文字認識及びチェック処理を行っている画像とが同一の画像でなくてもよい。つまり、カメラ２１５が捉えた画像をディスプレイ２１１に表示し、少し遅れたタイミングでその画像を用いて文字認識及びチェック処理を行うとしてもよい。逆に、カメラ２１５が捉えた画像を用いて文字認識及びチェック処理を行い、少し遅れたタイミングでその画像をディスプレイ２１１に表示するとしてもよい。また、カメラ２１５が捉えた画像を用いて文字認識及びチェック処理を行い、その画像にガイドやメッセージ等を重畳した画像をディスプレイ２１１に表示するとしてもよい。

【0152】

〔第２の実施形態〕
第１の実施形態は、帳票を識別する箇所および文字認識を行う箇所を撮像することにより、文字認識後の再撮像を好適に行う仕組みであり、第２の実施形態は、帳票を識別する箇所および文字認識を行う箇所を撮像することにより、撮像対象の帳票を識別した後、帳票に含まれる項目を読取る仕組みである。つまり、第１の実施形態はエラー箇所の再撮像時に項目を拡大して撮像するユースケースであり、第２の実施形態は再撮像に限らず、項目を拡大して撮像するユースケースである。

【0153】

図１４は、第２の実施形態の帳票システム１００における記入不備チェック処理の一例を示すフローチャートである。なお、第２の実施形態では、第１の実施形態における図４のフローチャートを図１４に置き換え、第１の実施形態のステップと同じ処理については、同じステップ番号を付与し説明を省略する。

【0154】

なお、第２の実施形態は簡単のため、情報処理装置１０１がサーバ１０２から認識領域と認識条件を受信し、図５、図６の記入不備チェックは情報処理装置１０１が行うとする。

【0155】

ステップＳ１４０１において、情報処理装置１０１は、ユーザによる操作を受け付ける。「全体を再撮像するボタン９０４」が押下された場合はステップＳ４０２に戻り、「不備箇所を再撮像する（動画）ボタン９０５」場合はステップＳ４１９に進む。

【0156】

ステップＳ１４０２において、情報処理装置１０１は、ステップＳ４１９にて撮像された画像（動画又は動画から切り出した静止画等）を、ステップＳ４０２にて撮像された撮像画像と比較し、同一の帳票か否かを判定する。同一帳票と判定された場合はステップＳ４０９に進み、異なる帳票であると判定された場合は「記入不備チェックした帳票と異なります」などのエラーメッセージを表示してステップＳ４１９に戻る。すなわち、ステップＳ１４０２は、取込まれた電子データに含まれる帳票と、取込まれた電子データに含まれる帳票とが、同じ帳票であるか否かを判定する処理の一例を示すステップである。

【0157】

なお、本実施形態においては、ステップＳ４０２にて撮像された画像とステップＳ４１９にて撮像された画像とを比較することで、同一帳票か否かの判定を行ったが、この方法に限定するものではなく、フォームＩＤを示すバーコードや番号を帳票に記しておき、撮像時の読み取りまたは撮像画像の解析から帳票のフォームＩＤを特定して同一帳票か否かを判定する方法などであってもよい。

【0158】

図１４のステップＳ４０２は、撮像装置を用いてオブジェクトを撮像することにより電子データとして取込む処理の一例を示すステップである。

【0159】

図１４のステップＳ４０７は、取込まれた電子データから、オブジェクトを識別する識別情報を特定する処理の一例を示すステップである。

【0160】

図１４のステップＳ４０９（正確には、図６のステップＳ６０２）は、特定されたオブジェクトの識別情報に基づき、電子データから読取る項目を決定する処理の一例を示すステップである。

【0161】

図１４のステップＳ４０９（正確には、図６のステップＳ５０６及びステップＳ５０７）は、取込まれた電子データに基づく画像の表示を行いつつ、当該電子データから項目を読取る処理の一例を示すステップである。

【0162】

以上で、図１４の説明を終了する。

【0163】

なお、本実施形態においては、撮像する対象を帳票としたが、帳票に限定するものではなく、文書、伝票、印刷物、チラシ、ポスター、看板、答案用紙、アンケート、メニュー、表、商品、商品パッケージ、動物、植物、生物、風景、自然、天体、建物、写真、物体、画像、動画等、カメラを用いて撮像できる対象物（オブジェクト）であればよい。

【0164】

以上により、撮像対象のオブジェクトを識別した後、オブジェクトに含まれる項目を読取る仕組み提供することができる。

【0165】

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

【0166】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

【0167】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

【0168】

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0169】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0170】

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0171】

上記プログラムの形態は、オブジェクトコード、インタプリタにより実行されるプログラムコード、ＯＳ（オペレーティングシステム）に供給されるスクリプトデータ等の形態から成ってもよい。

【符号の説明】

【0172】

１００ 情報処理システム
１０１ 情報処理装置
１０２ サーバ
１０３ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】