特開 2024-129516 視覚情報認識システム、視覚情報認識装置、視覚情報認識方法、及び、視覚情報認識プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024129516

(43)【公開日】2024-09-27

(54)【発明の名称】視覚情報認識システム、視覚情報認識装置、視覚情報認識方法、及び、視覚情報認識プログラム

(51)【国際特許分類】

   G06Q 30/0601 20230101AFI20240919BHJP

【ＦＩ】

G06Q30/0601 340

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023038768

(22)【出願日】2023-03-13

(71)【出願人】

【識別番号】000001432

【氏名又は名称】グローリー株式会社

(74)【代理人】

【識別番号】110001818

【氏名又は名称】弁理士法人Ｒ＆Ｃ

(72)【発明者】

【氏名】菅井 香織

(72)【発明者】

【氏名】小沼 剛

(72)【発明者】

【氏名】篠田 怜子

【テーマコード（参考）】

5L030

5L049

【Ｆターム（参考）】

5L030BB72

5L049BB72

(57)【要約】      （修正有）

【課題】帳票に記載された視覚情報を容易に取得可能な視覚情報認識システム、視覚情報認識装置、視覚情報認識方法及び視覚情報認識プログラムを提供する。
【解決手段】視覚情報認識システムは、視覚情報を表示する帳票を撮像可能なカメラ１と、カメラ１によって撮像された帳票を示す画像データを取得するデータ取得部３と、データ取得部３により取得した画像データに基づいて視覚情報を取得可能な視覚情報取得部４と、視覚情報取得部の取得対象として撮像するべき視覚情報の項目を操作者に報知する報知部８と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

視覚情報を表示する帳票を撮像可能な撮像部と、
前記撮像部によって撮像された前記帳票を示す画像データを取得するデータ取得部と、
前記画像データに基づいて前記視覚情報を取得可能な視覚情報取得部と、
前記視覚情報取得部の取得対象として撮像するべき前記視覚情報の項目を操作者に報知する報知部と、が備えられている視覚情報認識システム。

【請求項2】

前記報知部は、前記視覚情報取得部が前記画像データに基づいて前記視覚情報の取得に失敗した前記項目を報知する請求項１に記載の視覚情報認識システム。

【請求項3】

前記報知部で報知された複数の前記項目から前記視覚情報取得部の取得対象として撮像する前記項目を選択する前記操作者の選択操作を受け付ける操作受付部が備えられている請求項１または２に記載の視覚情報認識システム。

【請求項4】

前記報知部は、複数の前記項目に対応して各別の撮像を前記操作者に促すように報知する請求項１または２に記載の視覚情報認識システム。

【請求項5】

前記報知部は、前記視覚情報取得部が前記視覚情報の取得に成功した前記項目を第一視覚形態で報知し、前記視覚情報取得部が前記視覚情報の取得に失敗した前記項目を第二視覚形態で報知する請求項１または２に記載の視覚情報認識システム。

【請求項6】

前記画像データのうち予め設定された第一取得範囲から前記視覚情報取得部に前記視覚情報を取得させる第一取得モードと、前記第一取得範囲よりも狭い範囲に予め設定された第二取得範囲から前記視覚情報取得部に前記視覚情報を取得させる第二取得モードと、にモードを切替可能な制御部が備えられている請求項１または２に記載の視覚情報認識システム。

【請求項7】

前記データ取得部は、前記モードが前記第一取得モードであるときに前記画像データのうち前記第一取得範囲の部分を前記視覚情報取得部へ送信し、前記モードが前記第二取得モードであるときに前記画像データのうち前記第二取得範囲の部分を前記視覚情報取得部へ送信する請求項６に記載の視覚情報認識システム。

【請求項8】

前記撮像部が撮像している撮像画像を表示する表示部が備えられ、
前記表示部は、前記モードが前記第二取得モードであるとき、前記撮像画像に前記第二取得範囲を重畳表示する請求項６に記載の視覚情報認識システム。

【請求項9】

視覚情報を表示する帳票を撮像可能な撮像部と、
前記撮像部によって撮像された前記帳票を示す画像データを取得するデータ取得部と、
前記画像データに基づいて前記視覚情報を取得可能な視覚情報取得部と、
前記視覚情報取得部の取得対象として撮像するべき前記視覚情報の項目を操作者に報知する報知部と、が備えられている視覚情報認識装置。

【請求項10】

視覚情報を表示する帳票を撮像する撮像ステップと、
撮像された前記帳票を示す画像データを取得するデータ取得ステップと、
前記画像データに基づいて前記視覚情報を取得する視覚情報取得ステップと、
取得対象として撮像するべき前記視覚情報の項目を操作者に報知する報知ステップと、を備える視覚情報認識方法。

【請求項11】

視覚情報を表示する帳票を撮像する撮像機能と、
撮像された前記帳票を示す画像データを取得するデータ取得機能と、
前記画像データに基づいて前記視覚情報を取得する視覚情報取得機能と、
取得対象として撮像するべき前記視覚情報の項目を操作者に報知する報知機能と、をコンピュータに実行させる視覚情報認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視覚情報認識システム、視覚情報認識装置、視覚情報認識方法、及び、視覚情報認識プログラムに関する。

【背景技術】

【0002】

例えば小売店舗（いわゆるショッピングモール等）に入居するテナントの賃料は、売上高に応じて変動する歩合制が採用されている場合が多い。特許文献１に開示された視覚情報認識システムにおいては、テナント端末に搭載された撮像部（カメラ）で帳票（文献では「レシート」）を撮像し、ＯＣＲ（オプティカル・キャラクタ・レコグニション）機能を利用して帳票に記載の視覚情報を認識して、売上報告表が生成される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許６８９４６１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、帳票には多数の視覚情報（文字、記号、バーコード等）が記載されているが、撮像が不要な項目が含まれる場合がある。また、撮像時の手ぶれや見切り等により視覚情報の認識に失敗した場合には、全項目の再撮影は不要である。これらの点に鑑みて、従来のシステム等には改善の余地がある。

【0005】

本発明の目的は、帳票に記載された視覚情報の取得作業の効率化が可能な視覚情報認識システム等を提供することにある。

【課題を解決するための手段】

【0006】

本発明における視覚情報認識システムでは、視覚情報を表示する帳票を撮像可能な撮像部と、前記撮像部によって撮像された前記帳票を示す画像データを取得するデータ取得部と、前記画像データに基づいて前記視覚情報を取得可能な視覚情報取得部と、前記視覚情報取得部の取得対象として撮像するべき前記視覚情報の項目を操作者に報知する報知部と、が備えられていることを特徴とする。

【0007】

本発明によると、報知部が、操作者に対して、撮像するべき視覚情報の項目を報知する。このため、操作者は、取得の対象である項目を狙って撮像操作を行い易くなる。また、撮像に要する時間が短縮され得る。これにより、帳票に記載された視覚情報の取得作業の効率化が可能な視覚情報認識システムが実現される。

【0008】

本発明の特徴は、視覚情報認識装置にも適用可能である。その視覚情報認識装置では、視覚情報を表示する帳票を撮像可能な撮像部と、前記撮像部によって撮像された前記帳票を示す画像データを取得するデータ取得部と、前記画像データに基づいて前記視覚情報を取得可能な視覚情報取得部と、前記視覚情報取得部の取得対象として撮像するべき前記視覚情報の項目を操作者に報知する報知部と、が備えられていることを特徴とする。

【0009】

本発明の特徴は、視覚情報認識方法にも適用可能である。その視覚情報認識方法では、視覚情報を表示する帳票を撮像する撮像ステップと、撮像された前記帳票を示す画像データを取得するデータ取得ステップと、前記画像データに基づいて前記視覚情報を取得する視覚情報取得ステップと、取得対象として撮像するべき前記視覚情報の項目を操作者に報知する報知ステップと、を備えることを特徴とする。

【0010】

本発明の特徴は、視覚情報認識プログラムにも適用可能である。その視覚情報認識プログラムでは、視覚情報を表示する帳票を撮像する撮像機能と、撮像された前記帳票を示す画像データを取得するデータ取得機能と、前記画像データに基づいて前記視覚情報を取得する視覚情報取得機能と、取得対象として撮像するべき前記視覚情報の項目を操作者に報知する報知機能と、をコンピュータに実行させることを特徴とする。

【0011】

本発明において、前記報知部は、前記視覚情報取得部が前記画像データに基づいて前記視覚情報の取得に失敗した前記項目を報知すると好適である。

【0012】

本構成であれば、視覚情報取得部が全ての項目を一度に正しく取得できなかった場合であっても、報知部は、再取得を要する視覚情報の項目を操作者へ報知可能となる。これにより、操作者は、再取得の対象である項目に撮像部の焦点を合わせて撮像操作を行い易くなり、操作者が煩わしさを一層感じ難くなる。

【0013】

本発明において、前記報知部で報知された複数の前記項目から前記視覚情報取得部の取得対象として撮像する前記項目を選択する前記操作者の選択操作を受け付ける操作受付部が備えられていると好適である。

【0014】

本構成であれば、操作者は、視覚情報の取得を試みる際に、項目を選択できる。このため、操作者は、自身の段取りに合わせて視覚情報の取得を行える。

【0015】

本発明において、前記報知部は、複数の前記項目に対応して各別の撮像を前記操作者に促すように報知すると好適である。

【0016】

本構成であれば、報知部が必要な項目に関する視覚情報の撮像を操作者に促すため、操作者が、必要な項目に関する視覚情報を、忘れることなく撮影できる。

【0017】

本発明において、前記報知部は、前記視覚情報取得部が前記視覚情報の取得に成功した前記項目を第一視覚形態で報知し、前記視覚情報取得部が前記視覚情報の取得に失敗した前記項目を第二視覚形態で報知すると好適である。

【0018】

本構成によって、操作者は、視覚情報の取得に失敗した項目を、容易に確認できる。

【0019】

本発明において、前記画像データのうち予め設定された第一取得範囲から前記視覚情報取得部に前記視覚情報を取得させる第一取得モードと、前記第一取得範囲よりも狭い範囲に予め設定された第二取得範囲から前記視覚情報取得部に前記視覚情報を取得させる第二取得モードと、に前記モードを切替可能な制御部が備えられていると好適である。

【0020】

本構成によると、視覚情報取得部は、前記モードが第二取得モードのとき、第一取得モードの場合よりも狭い取得範囲で視覚情報を取得する。このため、視覚情報取得部は、前記モードが第一取得モードの場合と同じ取得範囲で視覚情報を取得する構成と比較して、視覚情報の取得に要する時間を削減できる。

【0021】

本発明において、前記データ取得部は、前記モードが前記第一取得モードであるときに前記画像データのうち前記第一取得範囲の部分を前記視覚情報取得部へ送信し、前記モードが前記第二取得モードであるときに前記画像データのうち前記第二取得範囲の部分を前記視覚情報取得部へ送信すると好適である。

【0022】

本構成によると、データ取得部は、前記モードが第二取得モードのとき、視覚情報取得部が第一取得モードの場合よりも小さな範囲の部分だけの画像データを視覚情報取得部へ送信する。このため、データ取得部から視覚情報取得部へ画像データをデータ転送する際に、転送サイズが小さくなり、データ取得部と視覚情報取得部との間のデータ通信のレイテンシーが短くなる。

【0023】

本発明において、前記撮像部が撮像している撮像画像を表示する表示部が備えられ、前記表示部は、前記モードが前記第二取得モードであるとき、前記撮像画像に前記第二取得範囲を重畳表示すると好適である。

【0024】

本構成によって、操作者は、視覚情報を取得する対象の項目に撮像部の焦点を合わせて、的確な撮像操作を行える。

【図面の簡単な説明】

【0025】

【図1】視覚情報認識システムの一例を示すブロック図である。

【図2】表示部に表示される画面の一例を示す図である。

【図3】視覚情報認識システムにおける処理の一例を示すフローチャート図である。

【図4】画面における第一取得範囲を示す図である。

【図5】画面における第二取得範囲、再取得項目マーク、及び、選択マークを示す図である。

【発明を実施するための形態】

【0026】

〔視覚情報認識システムの構成〕
図１に示すように、本実施形態の視覚情報認識システムに、カメラ１と、操作受付部２と、データ取得部３と、視覚情報取得部４と、制御部５と、表示部６と、記憶部７と、報知部８と、が備えられている。カメラ１と、操作受付部２と、データ取得部３と、表示部６と、報知部８と、は例えばスマートフォンやモバイルコンピュータ、タブレットコンピュータ等の携帯情報端末や、据え置き型の装置（デスクトップパソコンやＰＯＳ装置）に組み込まれる。また、視覚情報取得部４と、制御部５と、記憶部７と、は例えば管理コンピュータに組み込まれる。視覚情報取得部４を有する管理コンピュータは、当該携帯情報端末と当該据え置き型の装置との少なくとも一方とインターネット回線を介して通信可能である。カメラ１は、特許請求の範囲に記載の『撮像部』に相当する。カメラ１は、白黒カメラであっても良いし、カラーカメラであっても良い。

【0027】

カメラ１は、例えばレシートや売上伝票等の帳票１０（図２参照）を撮像可能に構成されている。帳票１０には視覚情報（文字、記号、及び、バーコード等）が表示（記載）されている。

【0028】

操作受付部２は、視覚情報認識システムに対する操作者の人為操作を受け付ける。

【0029】

データ取得部３は、カメラ１によって撮像された静止画像をデータとして入力する。カメラ１からデータ取得部３へ入力されたデータを、『静止画像データ』と称する。静止画像データは、特許請求の範囲に記載の『画像データ』に相当する。

【0030】

視覚情報取得部４は、静止画像データに存在する視覚情報を取得するように構成されている。換言すると、視覚情報取得部４は、静止画像データに基づいて視覚情報を取得する。すなわち、視覚情報取得部４は、帳票１０の記載内容を認識して取得する。視覚情報のうち、特に文字情報の取得には、いわゆる公知のＯＣＲ（オプティカル・キャラクタ・レコグニション）機能と、人工知能を活用したＡＩ－ＯＣＲ機能と、が用いられる。例えば、文字情報の取得処理にＯＣＲ機能が用いられ、取得された文字情報に誤認識があるか否かの比較処理がＡＩ－ＯＣＲ機能を用いて行われる。このことから、視覚情報取得部４を有する管理コンピュータは、例えばＯＣＲサーバであっても良い。

【0031】

詳細に関しては後述するが、視覚情報認識システムは複数のモードに切替え可能に構成されている。モードの切替は、制御部５によって行われる。視覚情報認識システムは、視覚情報を取得するためのモードとして、少なくとも、第一取得モードと第二取得モードとを有する。視覚情報取得部４は、第一取得モードのとき、静止画像データのうち予め設定された第一取得範囲Ｃ１（図４参照）から視覚情報を取得する。視覚情報取得部４は、第二取得モードのとき、静止画像データのうち予め設定された第二取得範囲Ｃ２（図５参照）から視覚情報を取得する。第二取得範囲Ｃ２は第一取得範囲Ｃ１よりも狭い。

【0032】

つまり、制御部５は、静止画像データのうち予め設定された第一取得範囲Ｃ１から視覚情報取得部４に視覚情報を取得させる第一取得モードと、第一取得範囲Ｃ１よりも狭い範囲に予め設定された第二取得範囲Ｃ２から視覚情報取得部４に視覚情報を取得させる第二取得モードと、にモードを切替可能なように構成されている。

【0033】

表示部６は、例えば、上述の携帯情報端末や据え置き型装置が備える液晶表示装置やＯＬＥＤ表示装置である。このため、本実施形態における操作受付部２は、液晶表示装置やＯＬＥＤ表示装置に装着されたタッチパネルであって、具体的には画面Ｄ（図２参照）に表示される撮像ボタン１３である。つまり、タッチパネルディスプレイが、表示部６と操作受付部２とを兼ねている。なお、このタッチパネルディスプレイは、表示部６と報知部８とを兼ねても良いし、表示部６と操作受付部２と報知部８とを兼ねても良い。

【0034】

表示部６は、カメラ１が撮像している撮像画像を表示可能なように構成されている。また、表示部６は、カメラ１からデータ取得部３へ入力された静止画像データを表示可能なように構成されている。

【0035】

図２に、表示部６に表示される画面Ｄを示す。画面Ｄには、画像表示部１１と、複数の項目表示部１２と、撮像ボタン１３と、が表示される。画像表示部１１には、カメラ１が撮像している現状の動画像が表示される。図２において、画像表示部１１には、帳票１０が写されている。複数の項目表示部１２には、帳票１０の視覚情報が項目ごとに表示される。帳票１０の視覚情報には、例えば、売上高、ＶＡＴ（Ｖａｌｕｅ Ａｄｄｅｄ Ｔａｘ、日本国の消費税であっても良い）、総合計、商品区分やサービス区分ごとの売り上げ、商品価格、サービス価格、割引額、等の複数の項目が存在する。これらの項目が各別に区分され、複数の項目表示部１２の夫々に表示される。

【0036】

記憶部７は、取得の必要な項目を記憶する。これらの項目が項目表示部１２に表示され、視覚情報取得部４で取得すべき項目として設定される。

【0037】

報知部８は、視覚情報取得部４の取得対象として撮像するべき視覚情報の項目を操作者に報知するように構成されている。本実施形態では、報知部８は、表示部６に記号やメッセージ等を表示させることによって、撮像するべき視覚情報の項目を操作者に報知する。なお、報知部８は、例えば、音声案内やブザーで操作者に報知する構成であっても良い。

【0038】

〔視覚情報取得の流れについて〕
図３に基づいて、本実施形態の視覚情報認識システムを用いて視覚情報を取得する処理の流れを説明する。最初に、制御部５によって視覚情報認識システムのモードが第一取得モードに設定される（ステップ＃０１）。そして、操作者が、表示部６の画像表示部１１に帳票１０が写し出された状態で、表示部６に表示された撮像ボタン１３をタッチすると、カメラ１によって帳票１０が撮像される（ステップ＃０２、撮像ステップ）。

【0039】

図４に示すように、第一取得モードで視覚情報の取得が行われるとき、画面Ｄの画像表示部１１には第一取得範囲Ｃ１が表示される。図示例では、第一取得範囲Ｃ１が、一点鎖線の矩形で示されている。そして、帳票１０に表示された視覚情報のうち、取得するべき必要な項目が第一取得範囲Ｃ１の内側に写された状態で、操作者は、撮像ボタン１３を押す。これにより、ステップ＃０２の処理に基づいて、帳票１０を示す静止画像データの取得が行われる。

【0040】

カメラ１によって撮像された帳票１０の静止画像データは、データ取得部３へ送られる。データ取得部３は、帳票１０を示す静止画像データのうち第一取得範囲Ｃ１の部分を取得する（ステップ＃０３、データ取得ステップ）。

【0041】

ステップ＃０３の処理が完了すると、帳票１０の全領域の撮像が完了したか否かの判定が行われる（ステップ＃０４）。帳票１０の全領域の撮像が完了したか否かの判定処理は、例えば、カメラ１が撮像した複数の静止画像データに基づいて、帳票１０の外枠部分が存在するか否か（帳票１０が見切れているか否か）を確認する手法によって行われる。帳票１０の全領域の撮像が完了したか否かの判定処理は、データ取得部３によって行われる。なお、帳票１０の全領域とは、帳票１０における全ての領域に限定されない。帳票１０の全領域とは、例えば、取得されるべき必要な項目の視覚情報が表示されている領域だけであっても良い。帳票１０の全領域の撮像が完了していなければ（ステップ＃０４：Ｎｏ）、上述のステップ＃０２～ステップ＃０３の処理が繰り返される。なお、ステップ＃０４の判定は、操作者が撮像完了の操作を行うことによって、Ｙｅｓの判定が行われる構成であっても良い。この構成であれば、例えば操作者が帳票１０において必要な領域の撮像が完了したと判断したときに、人為操作でステップ＃０５へ進ませることが可能となる。

【0042】

データ取得部３は、操作者の端末に組み込まれている。このため、データ取得部３は、帳票１０の全領域の撮像が完了すると（ステップ＃０４：Ｙｅｓ）、第一取得範囲Ｃ１で撮像された複数の静止画像データを、インターネット回線を介して、管理コンピュータ（例えばＯＣＲサーバ）の視覚情報取得部４へ送信する。つまり、データ取得部３は、視覚情報認識システムのモードが第一取得モードであるときに画像データのうち第一取得範囲Ｃ１の部分を視覚情報取得部４へ送信する。

【0043】

視覚情報取得部４は、第一取得範囲Ｃ１に帳票１０が写された静止画像データに基づいて視覚情報を取得する（ステップ＃０５、視覚情報取得ステップ）。視覚情報取得部４による取得結果のデータは、管理コンピュータ（例えばＯＣＲサーバ）から操作者の端末へ、インターネット回線を介して送信される。

【0044】

ステップ＃０５の処理が完了すると、視覚情報取得部４が視覚情報の中から必要な項目の取得にすべて成功したかが判定される（ステップ＃０６）。この判定処理は、視覚情報取得部４によって行われても良いし、管理コンピュータ等における別のモジュールによって行われても良い。つまり、記憶部７に記憶された項目の夫々に対応する視覚情報が全て取得されたか否かが判定される。視覚情報取得部４が視覚情報の中から必要な項目の取得に全て成功していた場合（ステップ＃０６：Ｙｅｓ）、視覚情報を取得する処理は終了する。必要な項目の中から視覚情報取得部４が視覚情報を取得できていない項目が存在する場合（ステップ＃０６：Ｎｏ）、下記のステップ＃１１～ステップ＃１６の処理が行われる。

【0045】

ステップ＃０６でＮｏの判定となった後、報知部８は、帳票１０における視覚情報のうち、視覚情報取得部４による視覚情報の取得に失敗した項目を報知する（ステップ＃１１、報知ステップ）。つまり、報知部８は、視覚情報取得部４が静止画像データに基づいて視覚情報の取得に失敗した項目を報知する。

【0046】

本実施形態では、報知部８は、視覚情報の取得に失敗したことを示す再取得項目マークＶ１（図５参照）を、画面Ｄにおける複数の項目表示部１２のうち、該当する項目表示部１２に重畳表示することによって、視覚情報の取得の失敗を操作者に報知する。図示例では、再取得項目マークＶ１は、二点鎖線による矩形の枠である。

【0047】

図５に示すように、第二取得モードで視覚情報の取得が行われるとき、画面Ｄの画像表示部１１には第二取得範囲Ｃ２が表示される。図示例では、第二取得範囲Ｃ２が、一点鎖線の矩形で示されている。つまり、表示部６は、視覚情報認識システムのモードが第二取得モードであるとき、画像表示部１１に表示された撮像画像に、第二取得範囲Ｃ２を重畳表示する。

【0048】

画面Ｄにおける複数の項目表示部１２のうち、視覚情報の取得に成功した項目に該当する項目表示部１２に関しては、再取得項目マークＶ１は表示されない。再取得項目マークＶ１が重畳表示されていない項目表示部１２に関しては、『第一視覚形態』と称する。再取得項目マークＶ１が重畳表示されている項目表示部１２に関しては、『第二視覚形態』と称する。つまり、報知部８は、視覚情報取得部４が視覚情報の取得に成功した項目を第一視覚形態で報知し、視覚情報取得部４が視覚情報の取得に失敗した項目を第二視覚形態で報知する。

【0049】

操作受付部２は、操作者による項目表示部１２のタッチを受け付ける（ステップ＃１２）。換言すると、操作受付部２は、第二視覚形態で報知された複数の項目から、操作者が撮像対象として選択するための選択操作を受け付ける。操作者が、視覚情報の取得に失敗した項目に対応する項目表示部１２、即ち、再取得項目マークＶ１が重畳表示された項目表示部１２をタッチすると、その項目に係る視覚情報を再取得するための処理が行われる。つまり、報知部８は、複数の項目に対応して各別の撮像を操作者に促すように報知する。このとき、制御部５によって視覚情報認識システムのモードが第二取得モードに設定される（ステップ＃１３）。また、操作者がタッチした項目表示部１２に、選択されたことを示す選択マークＶ２が、項目表示部１２に重畳表示される（図５参照）。図５に示す例では、選択マークＶ２は、着色された矩形の領域である。つまり、再取得項目マークＶ１が重畳表示された項目表示部１２を操作者がタッチすると、選択されたことを示す選択マークＶ２が項目表示部１２に重畳表示される。このとき、報知部８は、第二取得範囲Ｃ２の枠で囲まれた領域に帳票１０の撮像対象が写り込むように、音声案内と画面表示案内との少なくとも一方を用いて操作者にガイダンスする構成であっても良い。

【0050】

そして、操作者が、表示部６の画像表示部１１に帳票１０の撮像対象が写し出された状態で、表示部６に表示された撮像ボタン１３をタッチすると、カメラ１によって帳票１０が撮像される（ステップ＃１４、撮像ステップに含まれても良い）。つまり、帳票１０のうち、選択された項目が第二取得範囲Ｃ２の内側に写された状態で、操作者は、撮像ボタン１３を押す。

【0051】

カメラ１によって撮像された帳票１０の静止画像データは、データ取得部３へ送られる。データ取得部３は、静止画像データのうち第二取得範囲Ｃ２の部分を取得する（ステップ＃１５、データ取得ステップに含まれても良い）。データ取得部３は、第二取得範囲Ｃ２の静止画像データを、インターネット回線を介して、管理コンピュータ（例えばＯＣＲサーバ）の視覚情報取得部４へ送信する。つまり、データ取得部３は、視覚情報認識システムのモードが第二取得モードであるときに画像データのうち第二取得範囲Ｃ２の部分を視覚情報取得部４へ送信する。

【0052】

視覚情報取得部４は、第二取得範囲Ｃ２に帳票１０が写された静止画像データから視覚情報を取得する（ステップ＃１６、視覚情報取得ステップに含まれても良い）。視覚情報取得部４による取得結果のデータは、管理コンピュータ（例えばＯＣＲサーバ）から操作者の端末へ、インターネット回線を介して送信される。

【0053】

第二取得範囲Ｃ２は第一取得範囲Ｃ１よりも狭い。また、データ取得部３が操作者の端末に組み込まれ、視覚情報取得部４が管理コンピュータに組み込まれる構成であれば、第一取得範囲Ｃ１の静止画像データがデータ取得部３から視覚情報取得部４へ送られる構成と比較して、携帯情報端末と管理コンピュータとのデータ通信サイズが小さくなる。また、第二取得範囲Ｃ２の静止画像データに含まれる視覚情報は、第一取得範囲Ｃ１の静止画像データに含まれる視覚情報よりも少ない。このため、視覚情報取得部４が第一取得範囲Ｃ１の静止画像データから視覚情報を取得する構成と比較して、視覚情報の取得処理に要する時間が短縮される。

【0054】

ステップ＃１７では、取得された視覚情報が再取得の対象として選択された項目の視覚情報であるか否かの判定が行われる。再取得する対象として選択された項目の視覚情報が正しく撮像されておらず、適切な視覚情報が取得されていなければ（ステップ＃１７：Ｎｏ）、ステップ＃１１～ステップ＃１６の処理が繰り返される。再取得する対象として選択された項目の視覚情報が正しく撮像されており、適切な視覚情報が取得されていれば（ステップ＃１７：Ｙｅｓ）、ステップ＃０６に戻り、再取得の対象となる項目が無くなるまで、ステップ＃１１～ステップ＃１７の処理が繰り返される。

【0055】

〔別実施形態〕
本発明は、上述の実施形態に例示された構成に限定されるものではなく、以下、本発明の代表的な別実施形態を例示する。

【0056】

（１）上述の実施形態では、画面Ｄにおける複数の項目表示部１２のうち、視覚情報の取得に成功した項目に該当する項目表示部１２に関しては、再取得項目マークＶ１のようなマークは表示されない。この実施形態に限定されず、視覚情報の取得に成功した項目に該当する項目表示部１２に関しては、再取得項目マークＶ１とは別のマークが表示されても良い。つまり、報知部８は、視覚情報取得部４が視覚情報の取得に成功した項目を第一視覚形態で報知し、視覚情報取得部４が視覚情報の取得に失敗した項目を第二視覚形態で報知する。

【0057】

（２）上述の実施形態では、操作受付部２は、タッチパネルである。この実施形態に限定されず、操作受付部２は、例えばタクタイルスイッチであっても良いし、キーボードであっても良いし、マウスのクリックボタンであっても良いし、レバーであっても良い。

【0058】

（３）上述の実施形態では、ステップ＃０６でＹｅｓの判定になった後、視覚情報を取得する処理が完了する。この実施形態に限定されず、例えば、ステップ＃０６でＹｅｓの判定になった後、各項目における数値の合計と、総合計の項目における数値と、が整合か否かを判定する処理があっても良い。そして、各項目における数値の合計と、総合計の項目における数値と、が整合しない場合、報知部８が、各項目と、総合計の項目と、の不整合を報知する構成であっても良い。もちろん、各項目における数値の合計と、総合計の項目における数値と、が整合すれば、報知部８は何も報知せず、視覚情報を取得する処理が完了しても良い。

【0059】

（４）上述の実施形態では、第二取得範囲Ｃ２は第一取得範囲Ｃ１よりも狭い。この実施形態に限定されず、例えば、第一取得範囲Ｃ１と第二取得範囲Ｃ２とが画像表示部１１において同じ範囲で示されても良い。

【0060】

（５）上述の実施形態では、視覚情報取得部４は、帳票１０が写された静止画像データに基づいて視覚情報を取得する。この実施形態に限定されず、例えば視覚情報取得部４は、帳票１０が写された動画像データに基づいて視覚情報を取得する構成であっても良い。すなわち、特許請求の範囲に記載の『画像データ』が、動画像データであっても良い。

【0061】

（６）上述の実施形態では、カメラ１と、操作受付部２と、データ取得部３と、表示部６と、報知部８と、が携帯情報端末や据え置き型の装置に組み込まれ、視覚情報取得部４が管理コンピュータに組み込まれる構成を例示した。この実施形態に限定されず、カメラ１と、操作受付部２と、データ取得部３と、視覚情報取得部４と、表示部６と、報知部８と、の全てが携帯情報端末または据え置き型の装置に組み込まれ、視覚情報認識装置として構成されても良い。

【0062】

（７）上述の実施形態では、最初にステップ＃０１～ステップ＃０５の処理に基づいて、帳票１０における視覚情報の取得が行われ、その後、ステップ＃１１～ステップ＃１７の処理に基づいて、帳票１０における視覚情報の取得が行われる。この実施形態に限定されず、例えば、ステップ＃０１～ステップ＃０５の処理が無い構成であっても良い。この場合、ステップ＃０６、ステップ＃１１～ステップ＃１７の処理が繰り返され、視覚情報が項目単位で各別に取得される構成であっても良い。つまり、視覚情報認識システムは、最初から、第一取得モードではなく、第二取得モードで視覚情報を取得する構成であっても良い。このとき、ステップ＃１１の処理において報知部８は、視覚情報取得部４の取得対象として撮像するべき視覚情報の項目を操作者に報知する。例えば報知部８は、ステップ＃１１の処理において、図２、図４及び図５に示される項目表示部１２を上から順番に報知し、操作者に項目を順番に撮像させるようにナビゲートする構成であっても良い。また、第一取得モードから処理を行うか、第二取得モードで処理を行うかを操作者が選択可能な構成であっても良い。つまり、ステップ＃０１～ステップ＃０５の処理が行われてからステップ＃０６、ステップ＃１１～ステップ＃１７の処理が繰り返される構成と、ステップ＃０１～ステップ＃０５の処理が行われずにステップ＃０６、ステップ＃１１～ステップ＃１７の処理が繰り返される構成と、が選択可能な構成であっても良い。また、例えば、視覚情報認識システムのモードが第一取得モードであるときに、操作者が項目表示部１２をタッチすると、制御部５によって視覚情報認識システムのモードが第二取得モードに切替えられる構成であっても良い。

【0063】

（８）図４に基づいて上述した実施形態では、第一取得範囲Ｃ１は、カメラ１から送られた静止画像データのうち、予め設定された範囲に設定され、第二取得範囲Ｃ２は第一取得範囲Ｃ１よりも狭く設定されている。そして、データ取得部３は、第一取得範囲Ｃ１または第二取得範囲Ｃ２の静止画像データを、インターネット回線を介して、管理コンピュータ（例えばＯＣＲサーバ）の視覚情報取得部４へ送信する。この実施形態に限定されず、データ取得部３は、視覚情報認識システムのモードが少なくとも第一取得モードのときに、カメラ１から送られた静止画像データを、全範囲に亘ってそのまま取得し、そのまま管理コンピュータの視覚情報取得部４へ送信しても良い。あるいは、データ取得部３は、視覚情報認識システムのモードが第二取得モードのときに、当該全範囲よりも狭く、かつ、第二取得範囲Ｃ２よりも広い範囲のデータを視覚情報取得部４へ送信する構成であっても良い。そして視覚情報取得部４は、視覚情報認識システムのモードが第一取得モードのときに第一取得範囲Ｃ１の視覚情報を取得し、視覚情報認識システムのモードが第二取得モードのときに第二取得範囲Ｃ２の視覚情報を取得する構成であっても良い。つまり、データ取得部３は、視覚情報取得部４が必要とする範囲よりも大きな範囲の静止画像データを送信し、かつ、視覚情報取得部４は、受け取った静止画像データから必要な範囲だけを取得する構成であっても良い。

【0064】

（９）上述の視覚情報認識システムは、視覚情報認識プログラムとして構成されても良い。この場合、上述のカメラ１とステップ＃０２（撮像ステップ）との少なくとも一つは、コンピュータに撮像機能を実行させるものであっても良い。上述のデータ取得部３とステップ＃０３（データ取得ステップ）との少なくとも一つは、コンピュータにデータ取得機能を実行させるものであっても良い。上述の視覚情報取得部４とステップ＃０４（視覚情報取得ステップ）との少なくとも一つは、コンピュータに視覚情報取得機能を実行させるものであっても良い。上述の報知部８とステップ＃１１（報知ステップ）との少なくとも一つは、コンピュータに報知機能を実行させるものであっても良い。加えて、視覚情報認識プログラムは、表示部６に、カメラ１が撮像している撮像画像を表示させる表示機能を有しても良い。

【0065】

（１０）図５に基づいて上述した実施形態において、報知部８は、項目表示部１２に再取得項目マークＶ１を重畳表示することによって、視覚情報の取得に失敗した項目を第二視覚形態で報知する。この実施形態に限定されず、例えば報知部８は、第二視覚形態で報知する構成として、視覚情報の取得に失敗した項目を一覧表示する構成であっても良い。

【0066】

（１１）図３のステップ＃１１～ステップ＃１７に基づいて上述した実施形態において、操作者が再取得する項目を選択すると、制御部５によって視覚情報認識システムのモードが第二取得モードに設定される（ステップ＃１３）。この実施形態に限定されず、例えば、ステップ＃０６でＮｏの判定となって、ステップ＃１１に移行したときから、制御部５によって視覚情報認識システムのモードが第二取得モードに設定される構成であっても良い。このとき、視覚情報認識システムは、ステップ＃１１～ステップ＃１７の処理と、ステップ＃１７でＹｅｓの判定となった後のステップ＃０６の処理と、に亘って、第二取得モードに設定され続ける構成であっても良い。

【0067】

（１２）図３のステップ＃１１～ステップ＃１７に基づいて上述した実施形態において、操作者がカメラ１で第二取得範囲Ｃ２の内側に写された帳票１０の該当項目を撮像した後（ステップ＃１４～ステップ＃１７）、他にも視覚情報の取得に失敗した項目が残っていると（ステップ＃０６：Ｎｏ）、操作者が別の項目を選択する構成となっている（ステップ＃１２）。この実施形態に限定されず、例えば、操作者がカメラ１で第二取得範囲Ｃ２の内側に写された帳票１０の該当項目を撮像する毎に、自動的に次の項目に遷移して、報知部８が次の項目を撮像するように、操作者にガイダンスする構成であっても良い。この構成であれば、操作者は視覚情報の取得に失敗した項目を順番に撮像するだけで、必要な項目の撮像を完了できる。

【0068】

（１３）上述の実施形態では、視覚情報認識システムは、視覚情報を取得するためのモードを有する。このモードは、視覚情報取得部４が画像データから視覚情報を取得するモードであっても良いし、データ取得部３が画像データを管理コンピュータ等へ送信するモードであっても良いし、カメラ１の撮像モードであっても良い。また、このモードは、管理コンピュータが処理するためのモードであっても良いし、携帯情報端末が処理するためのモードであっても良い。

【0069】

なお、上述の実施形態（別実施形態を含む、以下同じ）で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能である。また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。

【産業上の利用可能性】

【0070】

本発明は、視覚情報認識システム、視覚情報認識装置、視覚情報認識方法、及び、視覚情報認識プログラムに適用可能である。

【符号の説明】

【0071】

１ ：カメラ（撮像部）
２ ：操作受付部
３ ：データ取得部
４ ：視覚情報取得部
５ ：制御部
６ ：表示部
８ ：報知部
１０ ：帳票
Ｃ１ ：第一取得範囲
Ｃ２ ：第二取得範囲

【図1】

【図2】

【図3】

【図4】

【図5】