IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ フリー株式会社の特許一覧

特開2023-109651プログラム、システム、端末装置、方法及び情報処理装置
<>
  • 特開-プログラム、システム、端末装置、方法及び情報処理装置 図1
  • 特開-プログラム、システム、端末装置、方法及び情報処理装置 図2
  • 特開-プログラム、システム、端末装置、方法及び情報処理装置 図3
  • 特開-プログラム、システム、端末装置、方法及び情報処理装置 図4
  • 特開-プログラム、システム、端末装置、方法及び情報処理装置 図5
  • 特開-プログラム、システム、端末装置、方法及び情報処理装置 図6
  • 特開-プログラム、システム、端末装置、方法及び情報処理装置 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023109651
(43)【公開日】2023-08-08
(54)【発明の名称】プログラム、システム、端末装置、方法及び情報処理装置
(51)【国際特許分類】
   G06V 30/14 20220101AFI20230801BHJP
   G06V 30/24 20220101ALI20230801BHJP
   G06V 30/412 20220101ALI20230801BHJP
   G06T 7/00 20170101ALI20230801BHJP
【FI】
G06K9/20 320J
G06K9/62 620D
G06K9/20 340C
G06K9/20 320C
G06T7/00 600
【審査請求】有
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2022011328
(22)【出願日】2022-01-27
(71)【出願人】
【識別番号】513056101
【氏名又は名称】フリー株式会社
(74)【代理人】
【識別番号】110002815
【氏名又は名称】IPTech弁理士法人
(72)【発明者】
【氏名】孝橋 麻衣
【テーマコード(参考)】
5B029
5B064
5L096
【Fターム(参考)】
5B029AA01
5B029BB02
5B029BB16
5B029BB17
5B029CC15
5B029CC20
5B029CC23
5B029CC26
5B064AA01
5B064AB02
5B064BA01
5B064EA08
5B064EA29
5L096AA02
5L096AA06
5L096BA17
5L096CA02
5L096DA02
5L096FA15
5L096FA66
5L096MA01
(57)【要約】
【課題】証憑読取のためのシステムにおいて、端末装置を用いたOCR処理をより適切に行わせることを可能にする技術について説明する。
【解決手段】プロセッサを備えるコンピュータによって実行されるプログラムであって、プログラムは、プロセッサに、証憑画像を取得するステップと、証憑画像を解析するステップと、解析した結果を、証憑画像とともにユーザに提示するステップと、解析結果に基づいて、証憑画像に含まれる文字情報を読み取るステップと、を実行させる、プログラム。
【選択図】図7
【特許請求の範囲】
【請求項1】
プロセッサを備えるコンピュータによって実行されるプログラムであって、
前記プログラムは、前記プロセッサに、
証憑画像を取得するステップと、
前記証憑画像を解析するステップと、
前記解析した結果を、前記証憑画像とともにユーザに提示するステップと、
前記解析した結果に基づいて、前記証憑画像に含まれる文字情報を読み取るステップと、を実行させる、プログラム。
【請求項2】
前記解析した結果を、前記証憑画像とともにユーザに提示するステップにおいて、前記プログラムは、
前記証憑画像の解析結果に基づいて算出される、前記証憑画像に含まれる文字情報の読取精度に対するスコアの値を前記ユーザに提示する、請求項1に記載のプログラム。
【請求項3】
前記証憑画像に含まれる文字情報の読取精度に対するスコアの値は、読取原稿の傾き、読取原稿の文字間隔、読取原稿の文字列の向き、読取原稿の文字への特殊処理、読取原稿のしわ、から成る群から選択される少なくとも1つの要素を、基準となる要素それぞれと比較して数値化したものである、請求項2に記載のプログラム。
【請求項4】
前記解析した結果を、前記証憑画像とともにユーザに提示するステップにおいて、前記プログラムは、
前記証憑画像に含まれる文字情報を読み取るステップにおいて許容される前記スコアの範囲を前記ユーザに提示する、請求項2または3に記載のプログラム。
【請求項5】
前記プログラムは、前記プロセッサに、さらに、
前記解析した前記証憑画像のデータを取得するための前記ユーザからの操作を受け付けるステップを実行させ、
前記スコアが、許容される前記スコアの範囲外である場合、前記ユーザからの操作を受け付けない、請求項2から4のいずれかに記載のプログラム。
【請求項6】
前記解析した結果を、前記証憑画像とともにユーザに提示するステップにおいて、前記プログラムは、
前記証憑画像に含まれる複数の項目ごとに、前記スコアを前記ユーザに提示する、請求項2から5のいずれかに記載のプログラム。
【請求項7】
前記プログラムは、前記プロセッサに、さらに、
複数の前記証憑画像を、ユーザが使用する端末装置に備えられている撮像装置を介して取得する場合に、
第1の前記証憑画像の四隅を認識することに応答して、前記第1の前記証憑画像を取得するステップと、
前記第1の前記証憑画像を取得したのち、再び証憑画像の四隅を認識した場合に、当該証憑画像を第2の前記証憑画像として認識するステップと、
前記第2の前記証憑画像を、前記ユーザからの操作を受け付けずとも取得するステップと、を実行させる、請求項2から6のいずれかに記載のプログラム。
【請求項8】
前記プログラムは、前記プロセッサに、さらに、
前記解析した複数の前記証憑画像のうち、許容される前記スコアの範囲内の前記証憑画像に含まれる複数の項目を、前記ユーザに提示するステップを実行させる、請求項7に記載のプログラム。
【請求項9】
前記プログラムは、前記プロセッサに、さらに、
前記スコアが所定の範囲外であった場合に、前記ユーザに対し、前記証憑画像の再取得を促すステップと、
前記再取得した前記証憑画像を再解析するステップと、を実行させる、請求項2から8のいずれかに記載のプログラム。
【請求項10】
前記コンピュータは、記憶部に、
前記証憑画像に含まれる複数の項目ごとに、画像取得におけるポイントを少なくとも1つ以上保持しており、
前記解析した結果を、前記証憑画像とともにユーザに提示するステップにおいて、前記プログラムは、
許容される前記スコアの範囲外の証憑画像に関して、前記証憑画像に含まれる項目ごとに、前記ポイントを前記ユーザに提示する、請求項2から9のいずれかに記載のプログラム。
【請求項11】
ユーザが使用する、端末装置と、サーバ装置と、を備えたシステムであって、
前記端末装置の第1プロセッサが、
証憑画像を取得するステップと、
前記証憑画像を解析するステップと、
前記解析した結果を、前記証憑画像とともにユーザに提示するステップと、
前記解析した結果の情報に基づいて、前記証憑画像をサーバ装置に送信するステップと、を実行し、
前記サーバ装置の第2プロセッサが、
受信した、前記証憑画像に含まれる文字情報を読み取るステップを実行する、システム。
【請求項12】
ユーザが使用する、端末装置と、サーバ装置と、を備えたシステムにおける端末装置であって、
証憑画像を取得するステップと、
前記証憑画像を解析するステップと、
前記解析した結果を、前記証憑画像とともにユーザに提示するステップと、
前記解析した結果の情報に基づいて、前記サーバ装置が前記証憑画像に含まれる文字情報を取得するための前記証憑画像を送信するステップと、を実行する、端末装置。
【請求項13】
プロセッサを備えるコンピュータによって実行される方法であって、
前記方法は、前記プロセッサが、
証憑画像を取得するステップと、
前記証憑画像を解析するステップと、
前記解析した結果を、前記証憑画像とともにユーザに提示するステップと、
前記解析した結果に基づいて、前記証憑画像に含まれる文字情報を読み取るステップと、を実行する、方法。
【請求項14】
制御部を備える情報処理装置であって、
前記制御部が、
証憑画像を取得するステップと、
前記証憑画像を解析するステップと、
前記解析した結果を、前記証憑画像とともにユーザに提示するステップと、
前記解析した結果に基づいて、前記証憑画像に含まれる文字情報を読み取るステップと、を実行する、情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、プログラム、システム、端末装置、方法及び情報処理装置に関する。
【背景技術】
【0002】
端末装置等に備えられている撮像装置により証憑画像を取得し、証憑に記載された文字等をOCR(光学認識処理:Optical Character Recognition)で読み取るシステムが知られている。
【0003】
特許文献1には、OCR処理を行なうサーバに対して文字認識処理が行えない文書画像データの送信を抑制し、かつサーバにおけるOCR処理による負荷を低減させるOCR用画像取得システムについての技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2021-157249号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1の技術では、ユーザ端末で撮像した画像がOCRサーバで処理する形式に適合しているかを事前にユーザ端末内で判断し、形式を満たした画像のみをサーバに送信する技術が記載されている。しかし、特許文献1の技術は、OCRサーバにて処理可能な画像をサーバに送信するのみで、読取精度が低く、OCR処理が困難な画像に対してはユーザに何かしらの通知を行わない。そのため、ユーザは画像のどの部分を改善すればよいのかを正確に把握できず、適切にOCR処理を行えないおそれがある。
【0006】
そこで、本開示では、端末装置で取得した画像を用いたOCR処理をより適切に行わせることが可能にする技術について説明する。
【課題を解決するための手段】
【0007】
本開示の一実施形態によると、プロセッサを備えるコンピュータによって実行されるプログラムであって、プログラムは、プロセッサに、証憑画像を取得するステップと、証憑画像を解析するステップと、解析した結果を、証憑画像とともにユーザに提示するステップと、解析結果に基づいて、証憑画像に含まれる文字情報を読み取るステップと、を実行させる、プログラムが提供される。
【発明の効果】
【0008】
本開示によれば、端末装置で取得した画像を用いたOCR処理をより適切に行わせることができる。
【図面の簡単な説明】
【0009】
図1】実施の形態1の証憑読取システム1の全体の構成を示す図である。
図2】実施の形態1の証憑読取システム1を構成する端末装置10の機能的な構成を示すブロック図である。
図3】実施の形態1の証憑読取システム1を構成するサーバ20の機能的な構成を示す図である。
図4】実施の形態1の証憑読取システム1を構成するサーバ20が記憶するユーザ情報データベース2021のデータ構造の例を示す図である。
図5】実施の形態1の証憑読取システム1による証憑の読み取りに係る処理の一例を示すフローチャートである。
図6】実施の形態1の証憑読取システム1において証憑画像を取得する際の画面例を示す図である。
図7】実施の形態1の証憑読取システム1において取得した証憑画像の解析結果をユーザに提示する際の画面例を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称及び機能も同じである。従って、それらについての詳細な説明は繰り返さない。
【0011】
<概要>
以下、本開示に係る証憑読取システムについて説明する。この証憑読取システムは、例えば会計システムを利用するユーザに対して、端末装置に備えられた撮像装置により証憑画像を取得し、OCR処理により証憑画像に含まれる文字情報を取得するサービスを提供するためのシステムである。昨今、証憑の読取に際し、スキャナ等の装置ではなく、スマートフォンなどの端末装置を用いることが浸透してきている。しかし、スマートフォン等の端末装置に備えられている端末装置で証憑を撮影すると、スキャナによる読み取り等と異なる、紙面のシワ、光の当たり方等で正確にOCR処理ができないおそれがある。また、うまくOCR処理ができなかった際、どの点を改善すればよいかユーザは把握しきれず、OCR処理が煩雑になりがちであった。そのため、適切にOCR処理を行わせるシステムの確立が必要とされている。そこで、本開示では、証憑読取のためのシステムにおいて、端末装置で取得した画像を用いたOCR処理をより適切に行わせることを可能とする技術を提供する。
【0012】
そこで、本開示に係る証憑読取システムにおけるプログラムは、プロセッサを備えるコンピュータによって実行されるプログラムであって、プログラムは、プロセッサに、証憑画像を取得するステップと、証憑画像を解析するステップと、解析した結果を、証憑画像とともにユーザに提示するステップと、解析結果に基づいて、証憑画像に含まれる文字情報を読み取るステップと、を実行させる。
【0013】
<第1の実施の形態>
以下、第1の実施の形態の証憑読取システム1について説明する。以下の説明では、例えば、端末装置10がサーバ20へアクセスすることにより、サーバ20が、端末装置10で画面を生成するための情報を応答する。端末装置10は、サーバ20から受信した情報に基づいて画面を生成し表示する。
【0014】
<1 証憑読取システム1の全体構成>
図1は、第1の実施の形態の証憑読取システム1の全体の構成を示す図である。図1に示すように、証憑読取システム1は、複数の端末装置(図1では、端末装置10A及び端末装置10Bを示している。以下、総称して「端末装置10」ということもある)と、サーバ20とを含む。端末装置10とサーバ20とは、ネットワーク80を介して相互に通信可能に接続されている。ネットワーク80は、有線または無線ネットワークにより構成される。
【0015】
端末装置10は、各ユーザが操作する装置である。ここで、ユーザとは、端末装置10を使用して証憑読取システム1の機能である証憑の読み取り等を行う者であり、例えば法人(企業)の経営者、従業員等をいう。端末装置10は、例えば移動体通信システムに対応したタブレットや、スマートフォン等の携帯端末であっても、据え置き型のPC(Personal Computer)、ラップトップPC等であってもよい。
また、本開示において、端末装置10は、ユーザから受け付けた証憑の画像データの解析などの処理を管理する。
【0016】
端末装置10は、ネットワーク80を介してサーバ20と通信可能に接続される。端末装置10は、4G、5G、LTE(Long Term Evolution)等の通信規格に対応した無線基地局81、IEEE(Institute of Electrical and Electronics Engineers)802.11等の無線LAN(Local Area Network)規格に対応した無線LANルータ82等の通信機器と通信することにより、ネットワーク80に接続される。図1に端末装置10Bとして示すように、端末装置10は、通信IF(Interface)12と、入力装置13と、出力装置14と、メモリ15と、記憶部16と、プロセッサ19とを備える。
【0017】
通信IF12は、端末装置10がサーバ20などの外部の装置と通信するため、信号を入出力するためのインタフェースである。入力装置13は、ユーザからの入力操作を受け付けるための入力装置(例えば、キーボードや、タッチパネル、タッチパッド、マウス等のポインティングデバイス等)である。出力装置14は、ユーザに対し情報を提示するための出力装置(ディスプレイ、スピーカ等)である。メモリ15は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばDRAM(Dynamic Random Access Memory)等の揮発性のメモリである。記憶部16は、データを保存するための記憶装置であり、例えばフラッシュメモリ、HDD(Hard Disc Drive)である。プロセッサ19は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。
【0018】
サーバ20は、証憑読取に係る一連の処理におけるOCR処理を管理する装置である。サーバ20は、記憶部にユーザの情報等を登録させており、記憶部に登録されている各種情報から、証憑を読み取った後に作成する会計資料に必要な各種情報を取得する。
【0019】
サーバ20は、ネットワーク80に接続されたコンピュータである。サーバ20は、通信IF22と、入出力IF23と、メモリ25と、ストレージ26と、プロセッサ29とを備える。
【0020】
通信IF22は、サーバ20が外部の装置と通信するため、信号を入出力するためのインタフェースである。入出力IF23は、ユーザからの入力操作を受け付けるための図示しない入力装置、及び、ユーザに対し情報を提示するための図示しない出力装置とのインタフェースとして機能する。メモリ25は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばDRAM(Dynamic Random Access Memory)等の揮発性のメモリである。ストレージ26は、データを保存するための記憶装置であり、例えばフラッシュメモリ、HDD(Hard Disc Drive)である。プロセッサ29は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。
【0021】
<1.1 端末装置10の構成>
図2は、第1の実施の形態の証憑読取システム1を構成する端末装置10の機能的な構成を示すブロック図である。図2に示すように、端末装置10は、複数のアンテナ(アンテナ111、アンテナ112)と、各アンテナに対応する無線通信部(第1無線通信部121、第2無線通信部122)と、操作受付部130(タッチ・センシティブ・デバイス1301及びディスプレイ1302を含む)と、音声処理部140と、マイク141と、スピーカ142と、撮像装置150と、記憶部170と、制御部180(第1プロセッサ)とを含む。端末装置10は、図2では特に図示していない機能及び構成(例えば、電力を保持するためのバッテリー、バッテリーから各回路への電力の供給を制御する電力供給回路等)も有している。図2に示すように、端末装置10に含まれる各ブロックは、バス等により電気的に接続される。
【0022】
アンテナ111は、端末装置10が発する信号を電波として放射する。また、アンテナ111は、空間から電波を受信して受信信号を第1無線通信部121へ与える。
【0023】
アンテナ112は、端末装置10が発する信号を電波として放射する。また、アンテナ112は、空間から電波を受信して受信信号を第2無線通信部122へ与える。
【0024】
第1無線通信部121は、端末装置10が他の無線機器と通信するため、アンテナ111を介して信号を送受信するための変復調処理等を行う。第2無線通信部122は、端末装置10が他の無線機器と通信するため、アンテナ112を介して信号を送受信するための変復調処理等を行う。第1無線通信部121と第2無線通信部122とは、チューナー、RSSI(Received Signal Strength Indicator)算出回路、CRC(Cyclic Redundancy Check)算出回路、高周波回路等を含む通信モジュールである。第1無線通信部121と第2無線通信部122とは、端末装置10が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部180(第1プロセッサ)へ与える。
【0025】
操作受付部130は、ユーザの入力操作を受け付けるための機構を有する。具体的には、操作受付部130は、タッチスクリーンとして構成され、タッチ・センシティブ・デバイス1301と、ディスプレイ1302とを含む。タッチ・センシティブ・デバイス131は、端末装置10のユーザの入力操作を受け付ける。タッチ・センシティブ・デバイス131は、例えば静電容量方式のタッチパネルを用いることによって、タッチパネルに対するユーザの接触位置を検出する。タッチ・センシティブ・デバイス1301は、タッチパネルにより検出したユーザの接触位置を示す信号を入力操作として制御部180(第1プロセッサ)へ出力する。
【0026】
ディスプレイ1302は、制御部180(第1プロセッサ)の制御に応じて、画像、動画、テキストなどのデータを表示する。ディスプレイ132は、例えばLCD(Liquid Crystal Display)、または有機EL(Electro-Luminescence)ディスプレイによって実現される。
【0027】
音声処理部140は、音声信号の変復調を行う。音声処理部140は、マイク141から与えられる信号を変調して、変調後の信号を制御部180(第1プロセッサ)へ与える。また、音声処理部140は、音声信号をスピーカ142へ与える。音声処理部140は、例えば音声処理用のプロセッサによって実現される。マイク141は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部140へ与える。スピーカ142は、音声処理部140から与えられる音声信号を音声に変換して当該音声を端末装置10の外部へ出力する。
【0028】
撮像装置150は、ユーザが提示した証憑を読み取り、画像データとして取得する。撮像装置150は、スマートフォン等の端末装置10に備えられているカメラであってよい。撮像装置150は、撮像センサとレンズから構成されており、レンズを通した光を撮像センサにて結像することにより、外部の画像を取得する。端末装置10は、後述する証憑画像取得部1805により画像データを取得する処理を実行する。
【0029】
記憶部170は、例えばフラッシュメモリ等のメモリ15、記憶部16により構成され、端末装置10が使用するデータ及びプログラムを記憶する。ある局面において、記憶部170は、ユーザ情報1701、読取精度参照データベース1702等を記憶する。
【0030】
ユーザ情報1701は、端末装置10を使用して証憑読取システム1の機能である証憑画像の読み取り等を行うユーザの情報である。ユーザ情報としては、ユーザを識別する情報(ユーザID)、ユーザの名称に関する情報等が含まれる。
【0031】
読取精度参照データベース1702は、端末装置10を使用して証憑読取システム1の機能である証憑の画像データに含まれる文字情報の認識精度を判定する際に参照されるデータベースの情報である。データベースが保持する各種レコードについては後述する。
【0032】
制御部180(第1プロセッサ)は、例えばプロセッサ19により構成され、記憶部170に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、端末装置10の動作を制御する。制御部180(第1プロセッサ)は、例えば予め端末装置10にインストールされている(記憶部170に格納されている)アプリケーションであるプログラムに従って動作することにより、入力操作受付部1801と、送受信部1802と、データ処理部1803と、報知制御部1804と、証憑画像取得部1805と、証憑画像解析部1806と、解析結果提示部1807としての機能を発揮する。
【0033】
入力操作受付部1801は、タッチ・センシティブ・デバイス131等の入力装置に対するユーザの入力操作を受け付ける処理を行う。入力操作受付部1801は、タッチ・センシティブ・デバイス131に対してユーザが指などを接触させた座標の情報に基づき、ユーザの操作がフリック操作であるか、タップ操作であるか、ドラッグ(スワイプ)操作であるか等の操作の種別を判定する。
【0034】
送受信部1802は、端末装置10が、サーバ20等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。
【0035】
データ処理部1803は、端末装置10が入力を受け付けたデータに対し、プログラムに従って演算を行い、演算結果をメモリ等に出力する処理を行う。
【0036】
報知制御部1804は、ユーザに対し情報を提示する処理を行う。報知制御部1804は、表示画像をディスプレイ1302に表示させる処理、音声をスピーカ142に出力させる処理等を行う。
【0037】
証憑画像取得部1805は、証憑読取システム1を使用するユーザから、証憑の画像データを取得する処理を制御する。具体的には、証憑画像取得部1805は、ユーザが利用する端末装置10等に備えられている撮像装置150を介して撮影された、撮像装置を構成するレンズの前に提示された証憑の画像データを取得する。
このとき、証憑の画像データの取得に際しては、撮像装置150のシャッターが切られることに応答して取得してもよいし、レンズの前に証憑をかざすことにより取得してもよい。ここで、かざして画像データを取得する処理に関しては、レンズを介して端末装置10のディスプレイ1302等に画像が表示されている際に、例えば、撮影ガイド等を表示している場合にはその内部に画像が表示されており、かつ、当該証憑画像の四隅をエッジ検出処理等により認識した時等に、自動的に当該証憑の画像データを取得する処理をいう。
その他、証憑画像取得部1805が画像データを取得する手段については限定されず、既存のあらゆる手段であってもよい。
証憑画像取得部1805は、取得した画像データを証憑画像解析モジュール2035に送信する。
【0038】
ある局面において、端末装置10は、複数の証憑の画像データを同時に取得してもよい。ここで、「同時に」とは、連続的にディスプレイ1302に証憑画像が表示され、それらの画像データを取得する場合でも良いし、同じディスプレイの表示画面に複数の証憑画像が表示されており、それらの画像データを取得する場合でも良い。
このとき、ユーザが使用する端末装置10に備えられている撮像装置150を介して当該証憑の画像データを取得する場合に、ディスプレイ1302等に表示されている第1の証憑画像の四隅を認識することに応答して、第1の証憑の画像データを取得し、第1の証憑の画像データを取得したのち、再び証憑画像の四隅を認識した場合に、当該証憑画像を第2の証憑の画像として認識し、画像データを取得してもよい、このとき、第2の証憑の画像データは、ユーザからの操作を受け付けずとも取得することとしてもよい。
これにより、ユーザは、都度証憑の画像データを取得するための操作(シャッターを切る、データを取得するための所定のボタンを操作する等)を行わずとも、複数の証憑の画像データを端末装置10に取得させることができる。
【0039】
証憑画像解析部1806は、証憑読取システム1を使用するユーザから取得した証憑の画像データを解析する処理を制御する。具体的には、証憑画像解析部1806は、証憑画像取得部1805が取得した証憑の画像データに含まれる文字情報の読み取り精度に関する情報を解析する。例えば、端末装置10は記憶部170に各種フォントの情報(形状等)を記憶しており、証憑画像解析部1806は、証憑の画像データに含まれる文字情報を認識したのち、当該フォントの情報を参照し、取得した証憑の画像データに含まれる文字情報の読み取り精度を解析する。例えば、証憑画像解析部1806は、後述する読取精度参照データベース2022に保持されている各種文字情報と、その形状等により紐づけられている、読取精度のスコアの値を参照することで、証憑の画像データに含まれる文字情報の読み取り精度を判定しスコアを算出してもよい。
このとき、端末装置10は辞書ツール等に含まれるフォントの情報だけでなく、予め複数のユーザが作成した手書き文字の情報を記憶部170に保持していてもよい。そのほか、フォントの情報等はサーバ20の記憶部202に保持されていてもよく、端末装置10は、解析の都度、サーバ20にアクセスし、当該フォント等の情報を取得または参照することで、解析を行ってもよい。
証憑画像解析部1806は、取得した証憑の画像データに含まれる文字情報の形状と参照したフォント等の形状とを比較し、類似度を判定することで、証憑の画像データに含まれる文字情報の読取精度のスコアを算出する。
ここで、読取精度のスコアは、フォント等の情報との比較結果に限られない。読取精度のスコアは、例えば、下記の情報に基づいて算出されてよい。
・読取原稿の傾き
・読取原稿における文字間隔
・読取原稿の色
・読取原稿における文字列の向き
・読取原稿の文字への特殊処理(環境依存、かけあみなど)
・紙面のしわ
・紙面の明るさ
このとき、端末装置10は、記憶部170に、基準となる文字情報との乖離度合による認識精度に基づいたスコアのデータを保持しておき、証憑の画像データを取得した際に、当該データに基づいてスコアを算出してもよい。
例えば、端末装置10は、基準となる文字情報との乖離度が0、すなわち一致している場合のスコアを100、乖離度が100、すなわち一致していない場合のスコアを0として乖離度に応じて段階的にスコアを特定したデータを保持しておき、取得した証憑の画像データと、当該データとに基づいて、読取精度のスコアを算出捨てもよい。
また、証憑画像解析部1806は、証憑に含まれる複数の項目ごとに解析を行い、スコアを算出してもよい。
このとき、証憑に含まれる複数の項目は例えば、下記を含む。
・証憑の種類
・取引先
・取引日時
・品目
・金額、価格
証憑画像解析部1806は、証憑の画像データを解析した結果を、解析結果提示部1807に送信する。
【0040】
解析結果提示部1807は、証憑読取システム1を使用するユーザに対し、証憑の画像データの解析結果を提示する処理を制御する。具体的には、解析結果提示部1807は、証憑画像解析部1806から受信した証憑の画像データと、解析結果とを、端末装置10のディスプレイ1302等にともに表示することにより、ユーザに当該結果を提示する。
このとき、解析結果提示部1807は、証憑の画像データに含まれる文字情報を読み取る際に許容されるスコアの範囲を同時にユーザに提示してもよい。
【0041】
また、ある局面において、証憑画像解析部1806は、読取精度のスコアが所定の範囲外であった場合に、ユーザに対し、証憑の画像データの再取得を促し、再取得した証憑の画像データを再解析してもよい。
また、端末装置10は、記憶部170に、証憑に含まれる複数の項目ごとに、画像取得におけるポイントを少なくとも1つ以上保持していてもよい。
画像取得におけるポイントは、例えば、下記を含む。
・読取原稿の傾き
・読取原稿における文字間隔
・読取原稿の色
・読取原稿における文字列の向き
・読取原稿の文字への特殊処理(環境依存、かけあみなど)
・紙面のしわ
・紙面の明るさ
【0042】
解析結果提示部1807は、解析した結果を、証憑の画像データとともにユーザに提示する際、許容されるスコアの範囲外の証憑の画像データに関して、証憑に含まれる項目ごとに、ポイントをユーザに提示してもよい。
これにより、ユーザは、証憑のどの項目に関する画像データが読取に適していなかったのかを適切に把握することができる。
【0043】
また、ある局面において、証憑画像解析部1806は、複数取得した証憑の画像データの解析を同時に行ってもよい。解析結果提示部1807は、解析した複数の証憑の画像データのうち、許容されるスコアの範囲内にある証憑画像の情報を、ユーザに提示してもよい。
これにより、ユーザは、複数の証憑の画像データを解析した場合に、読取精度のスコアが許容範囲内のもののみ確認することができる。また、このとき、解析結果提示部1807は、スコアが許容範囲外の複数の証憑画像について、読取精度のスコアの情報を、証憑の各項目の改善点とともにユーザに提示してもよい。
【0044】
<1.2 サーバ20の機能的な構成>
図3は、第1の実施の形態の証憑読取システム1を構成するサーバ20の機能的な構成を示す図である。図3に示すように、サーバ20は、通信部201と、記憶部202と、制御部203(第2プロセッサ)としての機能を発揮する。
【0045】
通信部201は、サーバ20が外部の装置と通信するための処理を行う。
【0046】
記憶部202は、例えばメモリ25、ストレージ26により構成され、サーバ20が使用するデータ及びプログラムを記憶する。記憶部202は、ユーザ情報データベース2021、読取精度参照データベース2022等を記憶する。
【0047】
ユーザ情報データベース2021は、証憑読取システム1において、証憑の読み取り等を行うユーザに関する各種情報を保持するためのデータベースである。詳細は後述する。
【0048】
読取精度参照データベース2022は、証憑読取システム1において、ユーザから受け付けた証憑の画像データの読取精度を判定しスコアを算出する際に参照するためのデータベースである。詳細は後述する。
【0049】
制御部203(第2プロセッサ)は、例えばプロセッサ29により構成され、このプロセッサ29がプログラムに従って処理を行うことにより、各種モジュールとして受信制御モジュール2031、送信制御モジュール2032、ユーザ情報取得モジュール2033、文字情報読取モジュール2034に示す機能を発揮する。
【0050】
受信制御モジュール2031は、サーバ20が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。
【0051】
送信制御モジュール2032は、サーバ20が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。
【0052】
ユーザ情報取得モジュール2033は、証憑読取システム1を使用するユーザの端末装置10から、ユーザに関する各種情報であるユーザ情報1701等の情報を取得する処理を制御する。ユーザに関する各種情報とは、ユーザが証憑読取システム1を使用する際に必要な情報であり、例えば、ユーザのID、氏名等の情報を含む。ユーザ情報取得モジュール2033は、取得したユーザに関する情報を、ユーザ情報データベース2021へ格納する。
【0053】
文字情報読取モジュール2034は、証憑読取システム1を使用するユーザの端末装置10から受け付けた操作に応答して、証憑の画像データに含まれる文字情報を読み取る処理を制御する。具体的には、文字情報読取モジュール2034は、解析結果提示部1807がユーザに証憑の画像データの解析結果を提示したのち、当該ユーザから文字情報を読み取るための入力操作を受け付けると、端末装置10から送信された証憑の画像データに含まれる文字情報を読み取る処理を実行させる。サーバ20の制御部203(第2プロセッサ)は、読み取った文字情報のデータを記憶部202等に格納してもよい。
制御部203(第2プロセッサ)は、記憶部202に格納した文字情報のデータを、証憑読取システム1と連携するシステム、例えば、会計システム等を備える端末装置に送信してもよい。連携する会計システムは、受信した文字情報のデータを、会計ソフトにインポートする等により利用してもよい。
これにより、ユーザは、証憑の読み取りから会計処理に至るまでの処理を簡便に行うことができる。
【0054】
上記、本開示における一連の処理について、一部を端末装置10が、一部をサーバ20が実行する場合を例示したが、本開示の実施形態はこれに限られない。例えば、端末装置10の制御部180(第1プロセッサ)が、文字情報読取モジュール2034に相当する文字情報読取部(図示せず)の機能を備え、文字情報読取部が証憑の画像データに含まれる文字情報を読み取る処理を行ってもよい。
また、サーバ20が一連のすべての処理を実行してもよい。例えば、サーバ20の制御部203(第2プロセッサ)が、証憑画像取得部1805に相当する証憑画像取得モジュール、証憑画像解析部1806に相当する証憑画像解析モジュール、解析結果提示部1807に相当する解析結果提示モジュール(それぞれ図示せず)の機能を備え、上記に例示した処理を実行してもよい。
【0055】
<2 データ構造>
図4は、サーバ20が記憶するユーザ情報データベース2021、および読取精度参照データベース2022のデータ構造の例を示す図である。
【0056】
図4に示すように、ユーザ情報データベース2021のレコードのそれぞれは、項目「ユーザID」と、項目「氏名」と、項目「年齢」と、項目「部署」と、項目「備考」等を含む。
【0057】
項目「ユーザID」は、証憑読取システム1にて管理するユーザそれぞれを識別する情報である。
【0058】
項目「氏名」は、証憑読取システム1にて管理するユーザの氏名を示す情報である。
【0059】
項目「年齢」は、証憑読取システム1にて管理するユーザの所属部署を示す情報である。
【0060】
項目「備考」は、証憑読取システム1にて管理するユーザに関して、特記事項などがある場合に保持される情報である。
【0061】
上記、ユーザ情報について例示したが、これに限られない。他にも、連携する会計システムにおいて会計処理に必要な各種情報等を含んでいてもよい。
【0062】
図4に示すように、読取精度参照データベース2022のレコードのそれぞれは、項目「参照文字ID」と、項目「文字」と、項目「参照画像」と、項目「読取スコア」と、項目「備考」等を含む。
【0063】
項目「参照文字ID」は、証憑読取システム1にて読取精度の判定時に参照する文字情報それぞれを識別する情報である。
【0064】
項目「文字」は、証憑読取システム1にて読取精度の判定時に参照する文字の情報である。具体的には、例えば、当該文字は「あ」、「い」等の単独の語句であってもよいし、証憑に含まれる項目(「取引先」、「品名」等の語句)であってもよい。
【0065】
項目「参照画像」は、証憑読取システム1にて読取精度の判定時に参照する文字の画像データを示す。具体的には、サーバ20は、各語句において、種々の態様の画像データを保持していてもよい。例えば、文字の一部が崩れている画像、かすれている画像等の画像データを保持していてもよい。また、保持している画像データが、単独の語句でなく、証憑に含まれる項目に関する語句であった場合、文章であった場合等は、文字間隔が狭い、広い画像データ等を保持していてもよい。
【0066】
項目「読取スコア」は、証憑読取システム1にて読取精度の判定時に参照する文字の画像データごとに紐づけられた読取精度のスコアに関する情報を示す。具体的には、サーバ20は、予めユーザから各文字の画像データに対し、読取精度のスコアの値を紐づけて記憶させていてもよい。
ある局面において、サーバ20は、上記文字の画像データとスコアの紐づけに基づいた学習済みモデルを学習してもよい。これにより、ユーザから取得した証憑の画像データと、読取精度参照データベース2022とに基づいて、サーバ20は、文字情報の読み取り精度のスコアを算出することができる。
【0067】
項目「備考」は、証憑読取システム1にて読取精度の判定時に参照する文字情報に特記事項などがある場合に保持される情報である。例えば、文字情報が辞書ツール等のフォント情報ではなく、手書き文字の情報である場合等に、当該情報が保持されてもよい。
【0068】
<3 動作>
以下、図5を参照しながら、第1の実施の形態における証憑読取システム1による一連の処理について説明する。
【0069】
図5は、実施の形態1の証憑読取システム1による証憑の読み取りに係る処理の一例を示すフローチャートである。
【0070】
ステップS501において、端末装置10の制御部180(第1プロセッサ)は、撮像装置150を介して証憑画像を取得する。
具体的には、例えば、制御部180(第1プロセッサ)の証憑画像取得部1805は、ユーザが利用する端末装置10等に備えられている撮像装置150を介して撮影された、撮像装置を構成するレンズの前に提示された証憑の画像データを取得する。このとき、証憑画像取得部1805は、端末装置10のディスプレイ1302等に証憑画像を取得するためのガイド等を表示し、ユーザから撮像装置150を介した証憑画像取得のための入力操作を受け付けることで、証憑の画像データを取得してもよい。
【0071】
ステップS502において、端末装置10の制御部180(第1プロセッサ)は、ステップS501で取得した証憑の画像データを解析する。具体的には、例えば、制御部180(第1プロセッサ)の証憑画像解析部1806は、証憑画像取得部1805が取得した証憑の画像データに含まれる文字情報の読み取り精度に関する情報を解析する。
【0072】
ステップS503において、端末装置10の制御部180(第1プロセッサ)は、証憑の画像データを解析した結果を、証憑画像とともにユーザに提示する。
【0073】
ステップS504において、端末装置10は、ユーザから、提示した証憑の画像データに含まれる文字情報を読み取るための入力操作を受け付けると、当該情報をサーバ20に送信する。
【0074】
ステップS551において、サーバ20の制御部203(第2プロセッサ)は、ユーザの操作に応答して、証憑画像に含まれる文字情報を読み取る。具体的には、文字情報読取モジュール2034は、解析結果提示部1807がユーザに証憑の画像データの解析結果を提示したのち、当該ユーザから文字情報を読み取るための入力操作を受け付けると、証憑の画像データに含まれる文字情報を読み取る処理を実行させる。
【0075】
<4 画面例>
以下、図6を参照しながら、証憑読取システム1の画面例について説明する。
【0076】
図6は、実施の形態1の証憑読取システム1において証憑画像を取得する際の画面例を示す図である。
【0077】
図6に示すように、端末装置10のディスプレイ1302には、ステータス表示画面601と、撮像画面602と、解析実行ボタン603とが表示されている。
ステータス表示画面601において、端末装置10の制御部180(第1プロセッサ)は、証憑読取システム1におけるユーザの現在のステータスを表示する。
このとき、制御部180(第1プロセッサ)は、例えば、ユーザが端末装置10の撮像装置150を介して証憑から証憑の画像データを取得する場合に、どのような点に留意して証憑を撮像装置の前にかざすと良いか、アドバイス等を表示してもよい。
【0078】
撮像画面602において、端末装置10の制御部180(第1プロセッサ)は、ユーザが証憑を撮像装置150を介して撮影する際の(図6では図示しない)ガイドを表示する。このとき、制御部180(第1プロセッサ)は、ユーザから撮影する証憑の種類(例えば、契約書、納品書、領収書、レシート等)を選択する操作を受け付けてもよい。制御部180(第1プロセッサ)は、受け付けた証憑の種類に応じ、撮像画面602に表示するガイドのサイズ等を変更して表示してもよい。
【0079】
解析実行ボタン603において、端末装置10の制御部180(第1プロセッサ)は、ユーザから証憑画像の解析を実行するための操作を受け付ける。
【0080】
図7は、実施の形態1の証憑読取システム1において取得した証憑画像の解析結果をユーザに提示する際の画面例を示す図である。
図7に示すように、端末装置10のディスプレイ1302には、ステータス表示画面701と、詳細表示画面702と、ユーザ操作ボタン703とが表示されている。
ステータス表示画面701において、端末装置10の制御部180(第1プロセッサ)は、図6のステータス表示画面601と同様に、証憑読取システム1におけるユーザの現在のステータスを表示する。
【0081】
詳細表示画面702において、端末装置10の制御部180(第1プロセッサ)は、取得した証憑画像の解析結果を表示する。具体的には、例えば、制御部180(第1プロセッサ)は、ディスプレイ1302に、下記の情報を表示する。
・証憑の取得日時
・証憑の金額
・証憑の勘定科目
端末装置10の制御部180(第1プロセッサ)が詳細表示画面702に表示する情報は、これに限られない。ある局面において、端末装置10の制御部180(第1プロセッサ)は、詳細表示画面702に、下記の情報を表示してもよい。
・証憑の種別(レシート、領収書、契約書、納品書等)
・証憑の項目(取引先・店名、日時、品目、金額・価格、小計等)
・解析した文字情報
・読取精度(例えば、〇×△等の表示であってもよいし、良好・不良等の表示であってもよい)
・読取精度のスコア
・改善点
また、制御部180(第1プロセッサ)は、解析した証憑の画像データが読取に適さない場合に、詳細表示画面702に、その旨を通知する表示を示してもよい。
加えて、制御部180(第1プロセッサ)は、詳細表示画面702に、証憑の各項目における推奨スコア等を表示してもよい。
これにより、ユーザは、証憑の画像データのどの部分が読取に適さなかったのか、どの部分を改善すればよいのかを直感的に把握することができる。
【0082】
ユーザ操作ボタン703において、端末装置10の制御部180(第1プロセッサ)は、解析した証憑の画像データの文字情報を読み取る処理を実行するためのボタンを表示する。このとき、端末装置10の制御部180(第1プロセッサ)は、条件を変更して再度解析するかを選択するボタンを表示してもよい。
ある局面において、制御部180(第1プロセッサ)は、読取精度のスコアを詳細表示画面702に表示させている場合に、当該読取精度のスコアが許容される範囲外であった場合には、文字情報を読み取るボタンを非アクティブ化させ、ユーザからの操作を受け付けないこととしてもよい。
これにより、ユーザは、その後の利用(会計ソフトなどでの利用)に適さない文字情報を取得することを防止することができる。
【0083】
<小括>
以上のように、本実施形態によると、端末装置10は、ユーザから証憑を受け付け、証憑の画像データを取得する。次に端末装置10は、取得した証憑の画像データを解析する。端末装置10は、証憑の画像データの解析結果をユーザに提示する。端末装置10は、証憑の画像データに含まれる文字情報を読み取る。
これにより、端末装置10を用いたOCR処理をより適切に行わせることが可能となる。
【0084】
以上、開示に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換及び変更を行なって実施することができる。これらの実施形態及び変形例ならびに省略、置換及び変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。
【0085】
<付記>
以上の各実施形態で説明した事項を、以下に付記する。
【0086】
(付記1)
プロセッサ29を備えるコンピュータ20によって実行されるプログラムであって、プログラムは、プロセッサ29に、証憑画像を取得するステップ(S501)と、証憑画像を解析するステップ(S502)と、解析した結果を、証憑画像とともにユーザに提示するステップ(S503)と、解析した結果に基づいて、証憑画像に含まれる文字情報を読み取るステップ(S551)と、を実行させる、プログラム。
【0087】
(付記2)
解析した結果を、証憑画像とともにユーザに提示するステップ(S503)において、プログラムは、証憑画像の解析結果に基づいて算出される、証憑画像に含まれる文字情報の読取精度に対するスコアの値をユーザに提示する、付記1に記載のプログラム。
【0088】
(付記3)
証憑画像に含まれる文字情報の読取精度に対するスコアの値は、読取原稿の傾き、読取原稿の文字間隔、読取原稿の文字列の向き、読取原稿の文字への特殊処理、読取原稿のしわ、から成る群から選択される少なくとも1つの要素を、基準となる要素それぞれと比較して数値化したものである、付記2に記載のプログラム。
【0089】
(付記4)
解析した結果を、証憑画像とともにユーザに提示するステップ(S503)において、プログラムは、証憑画像に含まれる文字情報を読み取るステップ(S551)において許容されるスコアの範囲をユーザに提示する、付記2または3に記載のプログラム。
【0090】
(付記5)
プログラムは、プロセッサに、さらに、解析した証憑画像のデータを取得するためのユーザからの操作を受け付けるステップを実行させ、スコアが、許容されるスコアの範囲外である場合、ユーザからの操作を受け付けない、付記2から4のいずれかに記載のプログラム。
【0091】
(付記6)
解析した結果を、証憑画像とともにユーザに提示するステップ(S503)において、プログラムは、証憑画像に含まれる複数の項目ごとに、スコアをユーザに提示する、付記2から5のいずれかに記載のプログラム。
【0092】
(付記7)
プログラムは、プロセッサに、さらに、複数の証憑画像を、ユーザが使用する端末装置10に備えられている撮像装置150を介して取得する場合に、第1の証憑画像の四隅を認識することに応答して、第1の証憑画像を取得するステップと、第1の証憑画像を取得したのち、再び証憑画像の四隅を認識した場合に、当該証憑画像を第2の証憑画像として認識するステップと、第2の証憑画像を、ユーザからの操作を受け付けずとも取得するステップと、を実行させる、付記2から6のいずれかに記載のプログラム。
【0093】
(付記8)
プログラムは、プロセッサ29に、さらに、解析した複数の証憑画像のうち、許容されるスコアの範囲内の証憑画像に含まれる複数の項目を、ユーザに提示するステップを実行させる、付記7に記載のプログラム。
【0094】
(付記9)
プログラムは、プロセッサ29に、さらに、スコアが所定の範囲外であった場合に、ユーザに対し、証憑画像の再取得を促すステップと、再取得した証憑画像を再解析するステップと、を実行させる、付記2から8のいずれかに記載のプログラム。
【0095】
(付記10)
コンピュータ20は、記憶部202に、証憑画像に含まれる複数の項目ごとに、画像取得におけるポイントを少なくとも1つ以上保持しており、解析した結果を、証憑画像とともにユーザに提示するステップ(S503)において、プログラムは、許容されるスコアの範囲外の証憑画像に関して、証憑画像に含まれる項目ごとに、ポイントをユーザに提示する、付記2から9のいずれかに記載のプログラム。
【0096】
(付記11)
ユーザが使用する、端末装置10と、サーバ装置20と、を備えたシステム1であって、端末装置10の第1プロセッサ180が、証憑画像を取得するステップ(S501)と、証憑画像を解析するステップ(S502)と、解析した結果を、証憑画像とともにユーザに提示するステップ(S503)と、解析した結果の情報に基づいて、証憑画像をサーバ装置20に送信するステップと、を実行し、サーバ装置20の第2プロセッサ203が、受信した、証憑画像に含まれる文字情報を読み取るステップ(S551)を実行する、システム1。
【0097】
(付記12)
ユーザが使用する、端末装置10と、サーバ装置20と、を備えたシステム1における端末装置10であって、証憑画像を取得するステップ(S501)と、証憑画像を解析するステップ(S502)と、解析した結果を、証憑画像とともにユーザに提示するステップ(S503)と、解析した結果の情報に基づいて、サーバ装置20が証憑画像に含まれる文字情報を取得するための証憑画像を送信するステップ(S551)と、を実行する、端末装置10。
【0098】
(付記13)
プロセッサ29を備えるコンピュータ20によって実行される方法であって、方法は、プロセッサ29が、証憑画像を取得するステップ(S501)と、証憑画像を解析するステップ(S502)と、解析した結果を、証憑画像とともにユーザに提示するステップ(S 503)と、解析した結果に基づいて、証憑画像に含まれる文字情報を読み取るステップ(S551)と、を実行する、方法。
【0099】
(付記14)
制御部203を備える情報処理装置20であって、制御部203が、証憑画像を取得するステップ(S501)と、証憑画像を解析するステップ(S502)と、解析した結果を、証憑画像とともにユーザに提示するステップ(S503)と、解析した結果に基づいて、証憑画像に含まれる文字情報を読み取るステップ(S551)と、を実行する、情報処理装置20。
【符号の説明】
【0100】
10 端末装置、20 サーバ、80 ネットワーク、130 操作受付部、1301 タッチ・センシティブ・デバイス、1302 ディスプレイ、140 音声処理部、141 マイク、142 スピーカ、150 撮像装置、170 記憶部、1701 ユーザ情報、1702 読取精度参照データベース、180 制御部、1801 入力操作受付部、1802 送受信部、1803 データ処理部、1804 報知制御部、1805 証憑画像取得部、1806 証憑画像解析部、1807 解析結果提示部、22 通信IF、23 入出力IF、25 メモリ、26 ストレージ、29 プロセッサ、201 通信部、202 記憶部、2021 ユーザ情報データベース、2022 読取精度参照データベース、203 制御部、2031 受信制御モジュール、2032 送信制御モジュール、2033 ユーザ情報取得モジュール、2034 文字情報読取モジュール。
図1
図2
図3
図4
図5
図6
図7