特開 2023-32857 画像判定方法、画像判定装置および文字認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023032857

(43)【公開日】2023-03-09

(54)【発明の名称】画像判定方法、画像判定装置および文字認識方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230302BHJP

   G06V 30/412 20220101ALI20230302BHJP

   G06V 30/196 20220101ALI20230302BHJP

【ＦＩ】

G06T7/00 Q

G06K9/20 340C

G06K9/68 B

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021139202

(22)【出願日】2021-08-27

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】松本 健太郎

【テーマコード（参考）】

5B029

5B064

5L096

【Ｆターム（参考）】

5B029AA01

5B029BB02

5B029BB17

5B029CC13

5B029CC26

5B029EE19

5B064AA01

5B064AB02

5B064BA01

5B064CA15

5B064DA14

5B064DA29

5B064EA07

5B064EA27

5B064EA39

5B064FA05

5B064FA13

5L096AA03

5L096AA06

5L096BA08

5L096BA17

5L096CA14

5L096DA02

5L096FA02

5L096FA03

5L096FA06

5L096FA14

5L096FA32

5L096FA39

5L096FA59

5L096FA70

5L096GA07

5L096GA51

5L096MA01

(57)【要約】

【課題】認識対象が記載された読取対象の撮像において、撮像された撮像画像のボケをより効果的に検知できる。
【解決手段】画像判定方法は、所定のフォーマットに文字が記載された対象物を撮像可能なカメラを備える端末装置が行う画像判定方法であって、カメラにより対象物を撮像し、撮像された対象物の撮像画像から文字認識領域外であり所定のフォーマットの少なくとも一部であるボケ判定箇所を検出し、検出されたボケ判定箇所に基づいて、撮像画像がボケ画像であるか否かを判定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定のフォーマットに文字が記載された対象物を撮像可能なカメラを備える端末装置が行う画像判定方法であって、
前記カメラにより前記対象物を撮像し、
撮像された前記対象物の撮像画像から文字認識領域外であり前記所定のフォーマットの少なくとも一部であるボケ判定箇所を検出し、
検出された前記ボケ判定箇所に基づいて、前記撮像画像がボケ画像であるか否かを判定する、
画像判定方法。

【請求項2】

検出された前記ボケ判定箇所のエッジ強度を算出し、
算出された前記ボケ判定箇所の前記エッジ強度に基づいて、前記撮像画像が前記ボケ画像であるか否かを判定する、
請求項１に記載の画像判定方法。

【請求項3】

算出された前記エッジ強度に基づいて、前記エッジ強度の統計量をさらに算出し、
算出された前記統計量が第１閾値未満であると判定した場合、前記撮像画像が前記ボケ画像であると判定する、
請求項２に記載の画像判定方法。

【請求項4】

検出された前記ボケ判定箇所から前記ボケ判定箇所上の第１輝度と、前記ボケ判定箇所近傍の第２輝度とを算出し、
算出された前記第１輝度と前記第２輝度との輝度差が第２閾値未満であると判定した場合、前記撮像画像が前記ボケ画像であると判定する、
請求項１に記載の画像判定方法。

【請求項5】

取得された前記撮像画像の画像サイズを縮小し、縮小された撮像画像から文字認識領域外の前記所定のフォーマットの少なくとも一部である前記ボケ判定箇所を検出する、
請求項１に記載の画像判定方法。

【請求項6】

複数の前記撮像画像を撮像し、
撮像された前記複数の撮像画像からそれぞれ前記ボケ判定箇所を検出し、
複数の前記ボケ判定箇所のうち最もボケが小さいボケ判定箇所が検出された撮像画像を、前記ボケ画像でないと判定する、
請求項１に記載の画像判定方法。

【請求項7】

前記撮像画像が前記ボケ画像であると判定した場合、前記対象物の再撮像を実行し、
再撮像された撮像画像から前記ボケ判定箇所を再検出し、
再検出された前記ボケ判定箇所に基づいて、前記再撮像された撮像画像が前記ボケ画像であるか否かを再判定する、
請求項１に記載の画像判定方法。

【請求項8】

撮像された前記撮像画像から前記ボケ判定箇所を検出し、検出された前記ボケ判定箇所に基づいて、前記撮像画像が前記ボケ画像であるか否かを判定する第１処理と、前記カメラによる前記対象物の再撮像する第２処理とを並行して実行し、
前記撮像画像が前記ボケ画像でないと判定された場合、並行して実行されている前記第２処理を中止する、
請求項１に記載の画像判定方法。

【請求項9】

前記所定のフォーマットに含まれるすべての直線のそれぞれの太さ情報を記憶し、
前記ボケ判定箇所として少なくとも１本の直線を検出して前記直線の太さを計測し、
検出された前記直線に対応する直線の太さ情報を取得し、
計測された前記太さが取得された前記太さの所定倍数以上であると判定した場合、前記撮像画像が前記ボケ画像であると判定する、
請求項１に記載の画像判定方法。

【請求項10】

前記ボケ判定箇所は、前記所定のフォーマットに含まれる所定のマークである、
請求項１に記載の画像判定方法。

【請求項11】

所定のフォーマットに文字が記載された対象物を撮像可能なカメラと、
前記カメラにより撮像された前記対象物の撮像画像から文字認識領域外であり前記所定のフォーマットの少なくとも一部であるボケ判定箇所を検出する検出部と、
検出された前記ボケ判定箇所に基づいて、前記撮像画像がボケ画像であるか否かを判定する判定部と、を備える、
画像判定装置。

【請求項12】

所定のフォーマットに文字が記載された対象物を撮像可能なカメラを備える端末装置が行う文字認識方法であって、
前記カメラにより前記対象物を撮像し、
撮像された前記対象物の撮像画像から文字認識領域外であり前記所定のフォーマットの少なくとも一部であるボケ判定箇所を検出し、
検出された前記ボケ判定箇所に基づいて、前記撮像画像がボケ画像であるか否かを判定し、
前記撮像画像が前記ボケ画像であると判定した場合、第１文字認識モデルを用いて前記文字認識領域内に記載された文字認識を実行し、
前記撮像画像が前記ボケ画像でないと判定した場合、第２文字認識モデルを用いて前記文字認識領域内に記載された前記文字の認識を実行し、
前記認識された文字情報を出力する、
文字認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像判定方法、画像判定装置および文字認識方法に関する。

【背景技術】

【0002】

特許文献１には、画像を撮影対象とする通常モードと、文字又はバーコードを撮影対象とするＯＣＲ機能モードと、を設定可能な撮影対象設定手段と、撮像画像を表示する表示手段と、ＯＣＲ機能モードにおいて撮像された文字又はバーコードの合焦状態を判定する合焦状態判定手段と、撮像された文字又はバーコードの認識を行う認識手段と、認識手段によって得られた認識結果を記憶する認識結果記憶手段とを備える携帯電話機が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６－１８０４７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、上述した従来の事情に鑑みて案出され、認識対象が記載された読取対象の撮像において、撮像された撮像画像のボケをより効果的に検知する画像判定方法、画像判定装置および文字認識方法を提供することを目的とする。

【課題を解決するための手段】

【0005】

本開示は、所定のフォーマットに文字が記載された対象物を撮像可能なカメラを備える端末装置が行う画像判定方法であって、前記カメラにより前記対象物を撮像し、撮像された前記対象物の撮像画像から文字認識領域外であり前記所定のフォーマットの少なくとも一部であるボケ判定箇所を検出し、検出された前記ボケ判定箇所に基づいて、前記撮像画像がボケ画像であるか否かを判定する、画像判定方法を提供する。

【0006】

また、本開示は、所定のフォーマットに文字が記載された対象物を撮像可能なカメラと、前記カメラにより撮像された前記対象物の撮像画像から文字認識領域外であり前記所定のフォーマットの少なくとも一部であるボケ判定箇所を検出する検出部と、検出された前記ボケ判定箇所に基づいて、前記撮像画像がボケ画像であるか否かを判定する判定部と、を備える、画像判定装置を提供する。

【0007】

また、本開示は、所定のフォーマットに文字が記載された対象物を撮像可能なカメラを備える端末装置が行う文字認識方法であって、前記カメラにより前記対象物を撮像し、撮像された前記対象物の撮像画像から文字認識領域外であり前記所定のフォーマットの少なくとも一部であるボケ判定箇所を検出し、検出された前記ボケ判定箇所に基づいて、前記撮像画像がボケ画像であるか否かを判定し、前記撮像画像が前記ボケ画像であると判定した場合、第１文字認識モデルを用いて前記文字認識領域内に記載された文字認識を実行し、前記撮像画像が前記ボケ画像でないと判定した場合、第２文字認識モデルを用いて前記文字認識領域内に記載された前記文字の認識を実行し、前記認識された文字情報を出力する、文字認識方法を提供する。

【発明の効果】

【0008】

本開示によれば、認識対象が記載された読取対象の撮像において、撮像された撮像画像のボケをより効果的に検知できる。

【図面の簡単な説明】

【0009】

【図1】実施の形態１に係る文字認識システムのユースケースを説明する図

【図2】実施の形態１における端末装置の内部構成例を示すブロック図

【図3】第１読取対象が撮像された撮像画像の一例を示す図

【図4】第１読取対象における文字認識領域の一例を示す図

【図5】第２読取対象が撮像された撮像画像の一例を示す図

【図6】ボケ画像および正常画像の一例を比較する図

【図7】文字認識結果画面の一例を示す図

【図8】再撮像選択画面の一例を示す図

【図9】実施の形態１における端末装置の第１動作手順例を示すフローチャート

【図10】実施の形態１における端末装置の第２動作手順例を示すフローチャート

【図11】端末装置の第１画像処理手順例を説明する図

【図12】端末装置の第２画像処理手順例を説明する図

【発明を実施するための形態】

【0010】

（本開示に至る経緯）
従来の携帯電話機は、認識対象である文字またはバーコードを撮像した撮像画像を表示画面に表示したり、撮像画像の合焦（以降、「ボケ」と表記）状態を表示画面に表示したりする。これにより、携帯電話機は、良好な状態（つまり、ボケていない）で撮像された撮像画像を用いて、認識対象の認識を実行できる。ここで、近年、スマートフォン、タブレット端末等を用いて、伝票等に記載された文字を認識したいという要望がある。しかし、伝票等に記載された文字は、任意の筆記用具等を用いて書かれた手書き文字、任意の印刷機により印刷された印刷文字、あるいはスタンプを用いて押印されたスタンプ文字等であったりするため、文字の大きさ、太さ、インク等が不定である。このため、携帯電話は、認識対象である文字自体のボケ状態の判定が困難となり、記載された文字の認識に失敗することがあった。よって、ユーザは、伝票を持ち帰り、伝票に記載された文字を目視確認しながら手入力で他の端末に入力する作業が発生し、手間だった。

【0011】

また、撮像画像から文字を検出する処理は、一般的に負荷が重い。このため、携帯電話機は、伝票等のように手書き、印刷、あるいはスタンプ等を用いて記載された文字を検出し、さらに、検出された文字のボケを検知する処理を実行する場合、たいへん処理が重く、大きな負荷がかかっていた。

【0012】

以下、適宜図面を参照しながら、本開示に係る画像判定方法、画像判定装置および文字認識方法の構成および作用を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0013】

（実施の形態１）
図１を参照して、実施の形態１に係る文字認識システムのユースケースについて説明する。図１は、実施の形態１に係る画像判定システムのユースケースを説明する図である。

【0014】

なお、図１に示す端末装置Ｐ１は一例であってこれに限定されない。例えば、端末装置Ｐ１は、カメラ１３（図２参照）を備えてネットワークＮＷ（図２参照）を介したデータの送受信が可能な端末装置であればよく、例えばタブレット端末、ノートＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等であってよい。また、本実施の形態１における読取対象ＴＧは、一例として運輸される荷物の伝票である例について説明するが、これに限定されない。例えば、読取対象ＴＧは、問診票、申込書、注文票等のように、所定のフォーマットと、文字が記載される所定の領域とを有するものであればよい。

【0015】

端末装置Ｐ１は、カメラ１３（図２参照）を備え、読取対象ＴＧが撮像された撮像画像に画像処理を実行し、撮像画像（具体的には、撮像画像に映る読取対象ＴＧ）からボケを検知し、撮像画像がボケ画像であるか否かを判定（以降、「ボケ判定」と表記）する。端末装置Ｐ１は、ボケ判定結果に基づいて、撮像画像にＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ／Ｒｅａｄｅｒ）処理（以降、「文字認識処理」と表記）を実行し、読取対象ＴＧに記載された文字を認識する。端末装置Ｐ１は、ネットワークＮＷ（図２参照）を介して外部端末の一例であるサーバＳ１（図２参照）に文字認識結果を送信する。なお、端末装置Ｐ１は、ボケ判定結果に基づいて、撮像画像がボケていないと判定された撮像画像（以降、「正常画像」と表記）を、サーバＳ１に送信してもよい。

【0016】

読取対象ＴＧは、所定のフォーマットと、文字が記載される文字記載領域とを有する。読取対象ＴＧは、読取対象ＴＧが有する所定のフォーマットに含まれる文字と異なる手書き、印刷、あるいは押印された文字が記載される。例えば、読取対象ＴＧが運輸にされる荷物の伝票である場合、読取対象ＴＧは、運輸先（配達先）に関する情報、荷物の配送を依頼する依頼主に関する情報等が手書き、印刷、あるいは押印により記載されている。

【0017】

なお、読取対象ＴＧに手書き、印刷、あるいは押印等により記載された文字は、使用されたインク、インク量、読取対象ＴＧの素材、あるいは、記載時の環境（例えば、低湿度、高湿度等）によって文字に滲みが発生したり、輪郭が不明瞭となったりする場合がある。また、読取対象ＴＧに手書き、印刷、あるいは押印等により記載された文字は、文字の大きさ、線の太さ等が文字ごとに異なる場合がある。

【0018】

図２を参照して、端末装置Ｐ１の内部構成について説明する。図２は、実施の形態１における端末装置Ｐ１の内部構成例を示すブロック図である。なお、図２に示す端末装置の台数は一台であるが、２台以上の端末装置がネットワークＮＷを介してサーバＳ１との間でデータの送受信可能に接続されてもよい。

【0019】

端末装置Ｐ１は、ネットワークＮＷを介してサーバＳ１との間で無線通信可能に接続される。ここでいう無線通信は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（登録商標）などの近距離無線通信、またはＷｉ－Ｆｉ（登録商標）などの無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介した通信である。端末装置Ｐ１は、撮像された読取対象ＴＧの撮像画像にボケ判定処理を実行する。端末装置Ｐ１は、ボケ判定結果に基づいて、読取対象ＴＧに記載された文字に文字認識処理を実行し、文字認識処理により認識された文字認識結果（つまり、認識された文字情報）をサーバＳ１に送信して記憶させる。端末装置Ｐ１は、通信部１０と、制御部１１と、メモリ１２と、カメラ１３と、入力部１４と、表示部１５と、を含んで構成される。なお、入力部１４と表示部１５とは、例えばタッチパネル等のように一体的に構成されてもよい。

【0020】

通信部１０は、ネットワークＮＷとの間で無線通信可能に接続され、ネットワークＮＷを介してサーバＳ１との間でデータの送受信を実行する。通信部１０は、制御部１１から出力された正常画像（つまり、読取対象ＴＧの撮像画像）をサーバＳ１に送信したり、制御部１１から出力された読取対象ＴＧの文字認識結果と読取対象ＴＧの撮像画像とを対応付けてサーバＳ１に送信したりする。なお、文字認識結果と対応付けて送信される読取対象ＴＧの撮像画像は、ボケていると判定された撮像画像（以降、「ボケ画像」と表記）であってもよいし、正常画像であってもよい。

【0021】

制御部１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成され、端末装置Ｐ１の各部の動作を制御する。制御部１１は、メモリ１２と協働して、各種の処理および制御を統括的に行う。具体的には、制御部１１は、メモリ１２に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。なお、ここでいう各部は、画像処理部１１Ａである。

【0022】

検出部および判定部の一例としての画像処理部１１Ａは、カメラ１３から出力された撮像画像に画像処理を実行し、撮像画像に映る読取対象ＴＧにボケ判定処理を実行する。実施の形態１における画像処理部１１Ａは、撮像画像に映る読取対象ＴＧから１本以上の直線のそれぞれ、または認識マーク（例えば、図３に示す認識マークＲＧ１、図４に示す認識マークＲＧ２等）の検出を実行し、検出された１本以上の直線のそれぞれ、または検出された認識マークに基づいて、撮像画像がボケ画像であるか否か（つまり、撮像画像に映る読取対象ＴＧがボケているか否か）の判定を実行する。なお、ここで検出される直線の本数は、１本に限定されず、２本以上であってよい。画像処理部１１Ａは、検出される直線の数を増やすことで、読取対象ＴＧに映る撮像画像のボケをより高精度に判定できる。

【0023】

まず、１本以上の直線に基づいて、ボケ判定処理を実行する例について説明する。ここでいう直線は、例えば、読取対象ＴＧの所定のフォーマットを形成する枠線、所定のフォーマットに含まれ、文字の記入を支援するための罫線等である。

【0024】

画像処理部１１Ａは、読取対象ＴＧの撮像画像をハフ変換し、ハフ変換により検出された複数の直線のそれぞれのうち任意の１本以上の直線を検出する。なお、本実施の形態１ではハフ変換を実行することで直線を検出する例を挙げるが、直線の検出方法はこれに限定されず、他の公知技術が用いられてよい。また、ここで検出される直線は、異なる線種（例えば、実線、破線、一点鎖線等）であってよいし、異なる線の太さであってもよいし、同一の太さであってもよい。画像処理部１１Ａは、検出された１本以上の直線の周囲の領域をそれぞれ切り出し、各直線のそれぞれのエッジを抽出して、抽出された直線ごとのエッジ強度を算出する。

【0025】

ここでいうエッジ強度は、直線のエッジ（縁）と、この直線の周囲との間の境目の濃淡変化の度合いを示す。エッジ強度は、エッジ強度が強いほど境目の濃淡の変化が大きく、直線と直線の周囲との区別がより明瞭であることを示し、エッジ強度が弱いほど境目の濃淡の変化が小さく、直線と直線の周囲との区別がより不明瞭であることを示す。

【0026】

画像処理部１１Ａは、算出された直線ごとのエッジ強度のそれぞれに基づいて、エッジ強度の統計量を算出する。なお、ここでいう統計量は、算出された直線ごとのエッジ強度のそれぞれのうち最大値あるいは最小値であってもよいし、算出された直線ごとのエッジ強度のそれぞれの平均値であってもよい。画像処理部１１Ａは、算出されたエッジ強度の統計量に基づいて、カメラ１３から出力された撮像画像がボケ画像であるか否か（つまり、撮像画像がボケているか否か）を判定する。

【0027】

ここで、ボケが生じている時の直線の太さは、ボケが生じていない時の直線の太さよりも大きくなる。したがって、画像処理部１１Ａは、エッジ強度の代わりに、検出された直線の太さを算出し、メモリ１２に事前に記憶された直線の太さと算出された直線の太さとを比較することでボケ画像であるか否かを判定してもよい。例えば、画像処理部１１Ａは、算出された直線の太さがメモリ１２に事前に記憶された直線の太さの所定倍数（例えば、１倍以上であって１．２倍、１．５倍、２倍等）以下であるか否かを判定し、所定倍数以下であると判定した場合、ボケ画像でないと判定してもよい。

【0028】

さらに、ボケが生じている場合、直線上の任意の点（位置）と直線の近傍位置（つまり、近傍の任意の点（位置））との間のコントラストは、小さくなる。画像処理部１１Ａは、エッジ強度の代わりに、検出された直線の輝度と、直線の近傍位置の輝度とをそれぞれ算出する。画像処理部１１Ａは、算出された直線上の任意の点の輝度の最大値と、この直線に対応する近傍位置の輝度の最小値との差分（輝度差）、または、算出された直線上の任意の点の輝度の最小値と、この直線に対応する近傍位置の輝度の最大値との差分（輝度差）に基づいて、ボケ画像であるか否かを判定してもよい。例えば、画像処理部１１Ａは、算出された輝度差が所定値以上でないと判定した場合、ボケ画像であると判定してもよい。なお、ここで、所定値は、読取対象ＴＧの直線色と背景色とに基づいて、任意の値が設定されてよい。

【0029】

次に、認識マークに基づいて、ボケ判定処理を実行する例について説明する。ここでいう認識マークは、例えば、読取対象ＴＧの所定のフォーマットであって、ロゴ、マーク、任意の図形等である。

【0030】

画像処理部１１Ａは、読取対象ＴＧの撮像画像から認識マークを検出する。画像処理部１１Ａは、検出された認識マークを含む周囲の領域を切り出し、認識マークのエッジを抽出して、抽出された認識マークのエッジ強度を算出し、算出されたエッジ強度をエッジ強度の統計量とする。ここでいうエッジ強度は、認識マークのエッジと、この認識マークの近傍位置との間の境目の濃淡変化の度合いを示す。

【0031】

画像処理部１１Ａは、算出されたエッジ強度の統計量に基づいて、カメラ１３から出力された撮像画像がボケ画像であるか否かを判定する。

【0032】

なお、画像処理部１１Ａは、エッジ強度の代わりに、検出された認識マークの大きさ（面積）を算出し、メモリ１２に事前に記憶された認識マークの大きさ（面積）と算出された認識マークの大きさ（面積）とを比較することでボケ画像であるか否かを判定してもよい。例えば、画像処理部１１Ａは、算出された認識マークの大きさ（面積）がメモリ１２に事前に記憶された認識マークの大きさ（面積）の所定倍数（例えば、１倍以上であって１．２倍、１．５倍、２倍等）以下であるか否かを判定し、所定倍数以下であると判定した場合、ボケ画像でないと判定してもよい。

【0033】

さらに、画像処理部１１Ａは、エッジ強度の代わりに、検出された認識マークの輝度と、直線の近傍位置の輝度とをそれぞれ算出する。画像処理部１１Ａは、算出された直線の輝度の最大値と、この認識マークに対応する近傍位置の輝度の最小値との差分（輝度差）、または、算出された直線の輝度の最小値と、この認識マークに対応する近傍位置の輝度の最大値との差分（輝度差）に基づいて、ボケ画像であるか否かを判定してもよい。例えば、画像処理部１１Ａは、算出された輝度差が所定値以上でないと判定した場合、ボケ画像であると判定してもよい。なお、ここで、所定値は、読取対象ＴＧの認識マーク色と背景色とに基づいて、任意の値が設定されてよい。

【0034】

画像処理部１１Ａは、撮像画像がボケ画像であると判定した場合、端末装置Ｐ１のユーザに読取対象ＴＧの再撮像を促す画面（再撮像選択画面ＳＣ５、図８参照）を生成して表示部１５に出力したり、ボケ画像である旨を通知するメッセージＭＳＧ４（図７参照）を含む文字認識結果画面ＳＣ４（図７参照）を生成して表示部１５に出力したりする。また、ここで、画像処理部１１Ａは、ボケ画像を用いて文字認識処理を実行する場合には、メモリ１２に記憶されたボケ画像用認識モデル（第１文字認識モデルの一例）を用いて文字認識処理を実行する。

【0035】

一方、画像処理部１１Ａは、撮像画像がボケ画像でない（つまり、正常画像である）と判定した場合、メモリ１２に記憶された正常画像用認識モデル（第２文字認識モデルの一例）を用いて文字認識処理を実行し、文字認識結果画面を生成して表示部１５に出力する。

【0036】

なお、画像処理部１１Ａは、算出されたエッジ強度の統計量または輝度差に基づいて、撮像画像のボケ度合い（指標）を評価してもよい。このような場合、画像処理部１１Ａは、ボケ画像用認識モデルおよび正常画像用認識モデルのそれぞれを用いた文字認識処理をそれぞれ実行した各文字認識結果に、評価されたボケ度合いに基づく重み付け処理を実行することにより、文字認識領域の文字認識結果を取得する。また、画像処理部１１Ａは、評価されたボケ度合いに対応する認識モデルを用いて文字認識処理を実行することにより、文字認識領域の文字認識結果を取得してもよい。

【0037】

画像処理部１１Ａは、入力部１４から出力された制御指令に基づいて、文字認識結果と文字認識処理が実行された撮像画像とを対応付けて、メモリ１２に記憶するとともに、通信部１０に出力して、サーバＳ１に送信させる。

【0038】

また、画像処理部１１Ａは、カメラ１３から出力された撮像画像のサイズを縮小し、縮小された撮像画像にハフ変換を実行して直線を検出してもよい。このような場合、画像処理部１１Ａは、読取対象ＴＧの撮像画像の全域のうち文字認識処理を実行する各文字認識領域（つまり、文字認識処理の対象である文字が記載された領域）を切り出して、切り出された文字認識領域のそれぞれに文字認識処理を実行する。このように、画像処理部１１Ａは、縮小された撮像画像を用いてボケ判定処理を実行することで、ボケ判定処理に要する処理負荷を低減したり、文字検出処理を実行することで、文字検出に要する処理不可を低減したりできる。これにより、画像処理部１１Ａは、ボケ判定処理および文字検出処理のそれぞれをより高速化できる。また、画像処理部１１Ａは、撮像画像のうち切り出された各文字認識領域を切り出し、切り出された文字認識領域ごとに文字認識処理を実行することで、文字認識処理に要する処理負荷を低減するとともに、より高速化できる。

【0039】

メモリ１２は、例えば制御部１１の各処理を実行する際に用いられるワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、制御部１１の動作を規定したプログラムおよびデータを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを有する。ＲＡＭには、制御部１１により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、制御部１１の動作を規定するプログラムが書き込まれている。メモリ１２は、正常画像と判定された撮像画像に記載された文字を認識するための正常画像用認識モデルと、ボケ画像であると判定された撮像画像に記載された文字を認識するためのボケ画像用認識モデルとを記憶する。なお、画像処理部１１Ａにより文字認識処理が正常画像と判定された場合にのみ実行される場合、メモリ１２は、ボケ画像用認識モデルを記憶していなくてもよい。また、メモリ１２は、読取対象ＴＧごとのフォーマット情報、線の太さごとの本数、識別マーク情報、各文字認識領域情報（例えば、座標等）、ボケ判定処理に用いられる各種閾値，所定値、撮像画像のボケ度合いに対応して文字を認識するための複数の認識モデルのそれぞれ等を記憶していてもよい。

【0040】

カメラ１３は、少なくともレンズ（不図示）とイメージセンサ（不図示）とを有して構成される。イメージセンサは、例えばＣＣＤ（Ｃｈａｒｇｅｄ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。カメラ１３は、入力部１４を介したユーザ操作に基づいて、読取対象ＴＧを撮像し、撮像された読取対象ＴＧの撮像画像を制御部１１の画像処理部１１Ａに出力する。

【0041】

入力部１４は、例えばタッチパネル、キーボード、マウス等を用いて構成されたユーザインタフェースである。入力部１４は、受け付けられた配信者ＴＣ操作を電気信号（制御指令）に変換して、制御部１１に出力する。なお、入力部１４は、表示部１５と一体的に構成されたタッチパネルであってもよい。

【0042】

表示部１５は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）等のディスプレイを用いて構成される。表示部１５は、制御部１１から出力された読取対象ＴＧの撮像画像、文字認識結果画面ＳＣ４（図７参照）、再撮像選択画面ＳＣ５（図８参照）等を表示する。

【0043】

ネットワークＮＷは、端末装置Ｐ１とサーバＳ１との間をデータ送受信可能に接続する。

【0044】

サーバＳ１は、ネットワークＮＷを介して端末装置Ｐ１との間で無線通信可能に接続される。サーバＳ１は、端末装置Ｐ１から送信された読取対象ＴＧの撮像画像、あるいは文字認識結果と、この文字認識結果に対応する読取対象ＴＧの撮像画像とを対応付けて、端末装置Ｐ１ごとに保存して、管理したりする。

【0045】

なお、サーバＳ１は、端末装置Ｐ１から読取対象ＴＧの撮像画像のみが送信された場合、端末装置Ｐ１が備える画像処理部１１Ａと同様に文字認識処理を実行可能であってよい。

【0046】

図３を参照して、第１読取対象ＴＧ１から検出される直線あるいは認識マークＲＧ１等について説明する。図３は、第１読取対象ＴＧ１の撮像画像ＩＭＧ１の一例を示す図である。図３に示す第１読取対象ＴＧ１は、一例として伝票である例を示すが、これに限定されないことは言うまでもない。同様に、図３を参照して説明する直線あるいは認識マークＲＧ１のそれぞれは、一例であってこれに限定されないことは言うまでもない。

【0047】

第１読取対象ＴＧ１は、運輸サービスを利用する顧客が所定の筆記用具を用いて手書きされた伝票である。なお、文字の記載方法は、手書きに限定されず、印刷、スタンプを用いた押印等であってもよい。認識マークＲＧ１は、読取対象の認識あるいは識別のために付与されたマークであって、例えばロゴ、マーク、任意の図形等であってよい。画像処理部１１Ａは、撮像画像ＩＭＧ１から認識マークＲＧ１を検出し、検出された認識マークＲＧ１に基づいて、検出された認識マークＲＧ１とメモリ１２に記憶された複数の認識マークのそれぞれとを照合してもよい。画像処理部１１Ａは、照合結果に基づいて、読取対象が第１読取対象ＴＧ１であると判定した場合、メモリ１２に記憶された第１読取対象ＴＧ１に関する情報（例えば、フォーマット情報（検出された１本以上の直線の位置情報と、この直線に対応する線の太さ情報等）、各文字認識領域の位置情報、ボケ画像判定に用いられる各種閾値、所定値等の情報等）を取得したり、第１読取対象ＴＧ１と、第１読取対象ＴＧ１に関連する他の読取対象（例えば、第１読取対象ＴＧ１に記入された文字の複写シートである第２読取対象ＴＧ２等）とを識別したりする。なお、第１読取対象ＴＧ１と、第１読取対象ＴＧ１に関連する他の読取対象との識別は、第１読取対象ＴＧ１のフォーマットが有するすべての直線の太さ、線種、本数等に基づいて、実行されてもよいし、第１読取対象ＴＧ１のフォーマットをパターンマッチングすることで実行されてもよい。

【0048】

例えば、図３に示す第１読取対象ＴＧ１は、運輸サービスにより届けられるお届け先に関する情報として郵便番号「ＸＸＸ－ＹＹＹＹ」、電話番号「０１２３－４５６－７８９」、お届け先住所「Ａ県Ａ市Ｃ ＸＹＺ番地」、お届け先氏名「○○○ △△」、配達日「１（月） ５（日）」等が手書きで記載されている。また、第１読取対象ＴＧ１は、運輸サービスを利用するご依頼主（つまり、顧客）に関する情報として郵便番号「ＸＸＸ－ＹＸＹＹ」、電話番号「１１１１－２２２－３３３」、依頼主住所「Ａ県Ｄ市Ｆ ＺＺＺ号室」、依頼主先氏名「××× □□」等が手書きで記載されている。

【0049】

第１読取対象ＴＧ１は、端末装置Ｐ１が備えるカメラ１３により撮像される。画像処理部１１Ａは、撮像された第１読取対象ＴＧ１の撮像画像ＩＭＧ１にハフ変換を実行し、１本以上の直線ＬＮ１１，ＬＮ１２，ＬＮ１３，ＬＮ１４，ＬＮ２１，ＬＮ２２のそれぞれを検出する。ここで、画像処理部１１Ａは、第１読取対象ＴＧ１の撮像画像ＩＭＧ１のサイズを縮小した後に、１本以上の直線ＬＮ１１，ＬＮ１２，ＬＮ１３，ＬＮ１４，ＬＮ２１，ＬＮ２２のそれぞれを検出してもよい。４本の直線ＬＮ１１～ＬＮ１４のそれぞれは、２本の直線ＬＮ２１～ＬＮ２２のそれぞれよりも太い直線である。画像処理部１１Ａは、検出されたこれらの直線に基づいて、撮像画像ＩＭＧ１がボケ画像であるか否かを判定する。

【0050】

また、画像処理部１１Ａは、撮像された第１読取対象ＴＧ１から認識マークＲＧ１を検出し、検出された認識マークＲＧ１に基づいて、撮像画像ＩＭＧ１がボケ画像であるか否かを判定してもよい。このような場合、画像処理部１１Ａは、上述したハフ変換処理、１本以上の直線の検出処理等を省略する。

【0051】

図４を参照して、第１読取対象ＴＧ１の文字認識領域ＡＲ１の一例について説明する。図４は、第１読取対象ＴＧ１における文字認識領域ＡＲ１の一例を示す図である。なお、図４に示す第１読取対象ＴＧ１の文字認識領域ＡＲ１のそれぞれは、一例であってこれに限定されない。

【0052】

第１読取対象ＴＧ１は、顧客により文字が記入（記載）される記入箇所（領域）である少なくとも１つの文字認識領域ＡＲ１，ＡＲ２のそれぞれを有する。画像処理部１１Ａは、撮像された撮像画像ＩＭＧ１から顧客により記載された文字（手書き文字、印刷文字、スタンプ文字等）を検出し、検出されたこれらの領域を文字認識領域ＡＲ１であると判定する。画像処理部１１Ａは、判定あるいは特定された複数の文字認識領域ＡＲ１のそれぞれを抽出し、文字認識処理を実行する。

【0053】

また、画像処理部１１Ａは、検出された第１読取対象ＴＧ１のフォーマットに基づくパターンマッチング、フォーマットに含まれる１本以上の直線の照合、あるいは認識マークＲＧ１の照合等を実行し、メモリ１２に記憶された第１読取対象ＴＧ１を特定して、第１読取対象ＴＧ１のフォーマット情報（つまり、すべての文字認識領域のそれぞれの位置情報）を参照することでメモリ１２に記憶された第１読取対象ＴＧ１の少なくとも１つの文字認識領域のそれぞれの位置（座標）情報を取得してもよい。画像処理部１１Ａは、取得された第１読取対象ＴＧ１の文字認識領域のそれぞれの位置（座標）情報と、撮像画像ＩＭＧ１に映る第１読取対象ＴＧ１の位置とを照合し、文字認識領域ＡＲ１，ＡＲ２のそれぞれの位置（座標）を特定してもよい。画像処理部１１Ａは、判定あるいは特定された複数の文字認識領域ＡＲ１，ＡＲ２のそれぞれを抽出し、抽出された複数の文字認識領域ＡＲ１，ＡＲ２のそれぞれに記載された文字に対して文字認識処理を実行する。なお、ここで画像処理部１１Ａは、すべての文字認識領域ＡＲ１、ＡＲ２のそれぞれのうち文字が記載されていない文字認識領域ＡＲ２の検出処理を実行した後に、文字が記載されている文字認識領域ＡＲ１のみに文字認識処理を実行してもよい。

【0054】

図５を参照して、第２読取対象ＴＧ２の文字認識領域ＡＲ２の一例について説明する。図５は、第２読取対象ＴＧ２が撮像された撮像画像ＩＭＧ２の一例を示す図である。

【0055】

図５に示す第２読取対象ＴＧ２は、第１読取対象ＴＧ１に記入された文字を複写する複写用紙である。第２読取対象ＴＧ２は、例えば、第１読取対象ＴＧ１が有する顧客による文字の記入を補助するための複数の罫線ＤＬＮ１，ＤＬＮ２のそれぞれが省略されたフォーマットを有する。また、第２読取対象ＴＧ２が有する認識マークＲＧ２は、第１読取対象ＴＧ１が有する認識マークＲＧ１と異なる。

【0056】

画像処理部１１Ａは、第２読取対象ＴＧ２が撮像された撮像画像ＩＭＧ２にハフ変換を実行し、すべての直線ＬＮ３１，ＬＮ４１のそれぞれを検出する。画像処理部１１Ａは、検出されたすべての直線のそれぞれを線の太さあるいは線種ごとに分類する。例えば、画像処理部１１Ａは、線の太さが第１太さである直線ＬＮ３１が１０本、線の太さが第１太さよりも細い第２太さである直線ＬＮ４１が２本であると分類する。画像処理部１１Ａは、分類結果（つまり、第１太さの直線が１０本、第２太さの直線が２本であるフォーマット情報）とメモリ１２に記憶されたすべての読取対象のそれぞれのフォーマット情報とを照合し、読取対象の特定を実行する。

【0057】

また、画像処理部１１Ａは、第２読取対象ＴＧ２が撮像された撮像画像ＩＭＧ２から認識マークＲＧ２を検出し、検出された認識マークＲＧ２と、メモリ１２に記憶されたすべての読取対象のそれぞれが有する認識マークとを照合し、読取対象の特定を実行してもよいし、第２読取対象ＴＧ２のフォーマットに基づくパターンマッチングにより、読取対象の特定を実行してもよい。

【0058】

このように、画像処理部１１Ａは、第１読取対象ＴＧ１と第２読取対象ＴＧ２とをそれぞれ特定することにより、第１読取対象ＴＧ１が撮像された撮像画像ＩＭＧ１と、第２読取対象ＴＧ２が撮像された撮像画像ＩＭＧ２と、これらの撮像画像ＩＭＧ１，ＩＭＧ２のそれぞれの文字認識結果とを対応付けることができる。これにより、画像処理部１１Ａは、サーバＳ１に１台以上の端末装置から送信され、記憶された読取対象の撮像画像と文字認識結果との管理を支援できる。

【0059】

なお、上述した複数の読取対象のそれぞれの撮像画像と文字認識結果との対応付けは、必須でなく省略されてもよい。このような場合、端末装置Ｐ１は、読取対象の特定処理、および読取対象の識別処理等を省略する。

【0060】

図６を参照して、ボケ判定処理ついてより具体的に説明する。図６は、ボケ画像および正常画像の一例を比較する図である。なお、図６に示す例では、説明を分かり易くするために１本の直線の検出結果について詳細に説明する。

【0061】

撮像画像ＳＣ３１は、端末装置Ｐ１における画像処理部１１Ａによりボケ画像であると判定された撮像画像である。また、撮像画像ＳＣ３２は、画像処理部１１Ａにより正常画像であると判定された撮像画像である。

【0062】

画像処理部１１Ａは、撮像画像ＳＣ３１から直線ＬＮ３１１を検出し、直線ＬＮ３１１の周囲を含む領域ＡＲ３１１を切り出す。画像処理部１１Ａは、切り出された領域ＡＲ３１１から直線ＬＮ３１１のエッジを抽出し、エッジ強度を算出する。画像処理部１１Ａは、算出された１本以上の直線のエッジ強度に基づいて、エッジ強度の統計量を算出する。画像処理部１１Ａは、メモリ１２を参照して、撮像画像ＳＣ３１に映る読取対象に対応するボケ画像判定用の閾値を取得し、算出されたエッジ強度の統計量が閾値未満であるか否かを判定する。ここで、画像処理部１１Ａは、エッジ強度の統計量が閾値未満であると判定し、撮像画像ＳＣ３１がボケ画像であると判定する。

【0063】

同様に、画像処理部１１Ａは、撮像画像ＳＣ３２から直線ＬＮ３１２を検出し、直線ＬＮ３１２の周囲を含む領域ＡＲ３１２を切り出す。画像処理部１１Ａは、切り出された領域ＡＲ３１２から直線ＬＮ３１２のエッジを抽出し、エッジ強度を算出する。画像処理部１１Ａは、算出された１本以上の直線のエッジ強度に基づいて、エッジ強度の統計量を算出する。画像処理部１１Ａは、算出されたエッジ強度の統計量が閾値未満であるか否かを判定する。ここで、画像処理部１１Ａは、エッジ強度の統計量が閾値未満でないと判定し、撮像画像ＳＣ３２が正常画像であると判定する。

【0064】

次に、抽出された直線の太さに基づいてボケ画像であるか否かを判定する例について説明する。

【0065】

画像処理部１１Ａは、抽出された直線ＬＮ３１１のエッジに基づいて、直線ＬＮ３１１の線の太さＷ１を計測する。画像処理部１１Ａは、メモリ１２を参照して、撮像画像ＳＣ３１に映る読取対象の線の太さの情報を取得し、計測された線の太さＷ１が取得された線の太さの所定倍数（例えば、１倍以上であって、１．２倍、１．５倍、２倍等）以上であるか否かを判定する。ここで、画像処理部１１Ａは、計測された線の太さＷ１が取得された線の太さの所定倍数以上であると判定し、撮像画像ＳＣ３１がボケ画像であると判定する。

【0066】

同様に、画像処理部１１Ａは、抽出された直線ＬＮ３１２のエッジに基づいて、直線ＬＮ３１２の線の太さＷ２を計測する。画像処理部１１Ａは、計測された線の太さＷ２が取得された線の太さの所定倍数以上であるか否かを判定する。ここで、画像処理部１１Ａは、計測された線の太さＷ２が取得された線の太さの所定倍数以上でないと判定し、撮像画像ＳＣ３２が正常画像であると判定する。

【0067】

次に、抽出された直線上の任意の点（位置）の輝度と直線の近傍位置の輝度との輝度差に基づいて、ボケ画像であるか否かを判定する例について説明する。

【0068】

画像処理部１１Ａは、抽出された直線ＬＮ３１１上の任意の点（位置）の輝度と、切り出された直線ＬＮ３１１近傍である領域ＡＲ３１１の任意の点（位置）の輝度とをそれぞれ算出する。画像処理部１１Ａは、算出された直線ＬＮ３１１上の輝度と、直線ＬＮ３１１付近の領域ＡＲ３１１の輝度との輝度差（差分）を算出する。画像処理部１１Ａは、メモリ１２を参照して、この読取対象に対応する輝度差に関する閾値（所定値）を取得し、算出された輝度差が所定値以上であるか（つまり、検出された直線がボケているか）否かを判定する。ここで、画像処理部１１Ａは、算出された輝度差が所定値以上でないと判定し、撮像画像ＳＣ３１がボケ画像であると判定する。

【0069】

画像処理部１１Ａは、抽出された直線ＬＮ３１２上の任意の点（位置）の輝度と、切り出された直線ＬＮ３１２近傍であるの領域ＡＲ３１２の輝度とをそれぞれ算出する。画像処理部１１Ａは、算出された直線ＬＮ３１２上の輝度と、直線ＬＮ３１２付近の領域ＡＲ３１２の輝度との輝度差（差分）を算出する。画像処理部１１Ａは、算出された輝度差が所定値以上であるか（つまり、検出された直線がボケているか）否かを判定する。ここで、画像処理部１１Ａは、算出された輝度差が所定値以上であると判定し、撮像画像ＳＣ３２が正常画像であると判定する。

【0070】

なお、画像処理部１１Ａは、直線ＬＮ３１１，ＬＮ３１２近傍位置の輝度として、領域ＡＲ３１１，ＡＲ３１２のうち少なくとも１箇所の任意の位置（例えば、図６に示す位置ＰＴ３１，ＰＴ３２等）の輝度を算出してもよいし、領域ＡＲ３１１全域の輝度の平均値を算出してもよい。また、画像処理部１１Ａは、領域ＡＲ３１１，ＡＲ３１２全域の輝度を算出し、直線ＬＮ３１１上の輝度に基づいて、算出された領域ＡＲ３１１，ＡＲ３１２全域の輝度のうち輝度の最大値または最小値のいずれかを選定してもよい。具体的に、画像処理部１１Ａは、直線ＬＮ３１１，ＬＮ３１２の色が黒色（低輝度）であって、直線ＬＮ３１１，ＬＮ３１２近傍の色が白色（高輝度）等である場合には、算出された領域ＡＲ３１１，ＡＲ３１２全域の輝度のうち輝度の最大値を選択し、直線ＬＮ３１１の色が白色（高輝度）であって、直線ＬＮ３１１，ＬＮ３１２近傍の色が黒色（低輝度）等である場合には、算出された領域ＡＲ３１１，ＡＲ３１２全域の輝度のうち輝度の最小値を選択してよい。

【0071】

次に、図７を参照して、文字認識結果画面ＳＣ４について説明する。図７は、文字認識結果画面ＳＣ４の一例を示す図である。

【0072】

画像処理部１１Ａは、切り出された文字認識領域の切出画像ＩＭＧ４１に文字認識処理を実行し、文字認識領域に記載された文字「０８０１２３４」を認識する。画像処理部１１Ａは、文字認識処理の結果、認識された文字情報「０８０１２３４」に基づいて、文字認識結果画面ＳＣ４を生成して、表示部１５に出力する。

【0073】

文字認識結果画面ＳＣ４は、文字認識処理が実行された切出画像ＩＭＧ４１と、文字認識処理により認識された文字認識結果である文字情報ＯＣＲ４１「０８０１２３４」を含む文字認識結果ＤＰ４１と、ボタンＢＴ４１，ＢＴ４２のそれぞれとを含んで生成される。なお、図７に示す文字認識結果画面ＳＣ４は、１つの切出画像ＩＭＧ４１（つまり、１つの文字認識領域）と、この切出画像ＩＭＧ４１に対応する文字認識結果ＤＰ４１とを含んで生成される例を示すが、文字認識領域が複数ある場合には、複数の切出画像と、複数の切出画像のそれぞれに対応する文字認識結果とを含んで生成されてもよいことは言うまでもない。

【0074】

また、図７に示す文字認識結果画面ＳＣ４は、ボケ画像と判定された撮像画像を用いて、文字認識処理を実行した場合の画面例を示す。画像処理部１１Ａは、ボケ画像と判定された撮像画像を用いて、文字認識処理を実行した場合、撮像画像がボケ画像であったことを示す「撮像画像がボケています よく確認してください」等のメッセージＭＳＧ４を生成し、生成されたメッセージＭＳＧ４を含む文字認識結果画面ＳＣ４を生成する。これにより、端末装置Ｐ１は、撮像画像がボケ画像である旨をユーザに通知できるとともに、文字認識結果の文字認識精度の低下を示唆したり、文字認識結果に対するより注意深い確認をユーザに促したりできる。

【0075】

さらに、画像処理部１１Ａは、ボケ画像と判定された撮像画像を用いて、文字認識処理を実行した場合、文字認識結果ＤＰ４１あるいは文字情報ＯＣＲ４１を所定の色（例えば、赤色、青色、緑色等）を有する枠線で囲って強調表示する。これにより、端末装置Ｐ１は、より注意深く確認すべき文字認識結果（文字情報）を強調できるため、ユーザにより注意深く確認すべき文字認識結果（文字情報）を可視化できる。

【0076】

ボタンＢＴ４１は、切出画像ＩＭＧ４１に映る文字と、文字情報ＯＣＲ４１とが一致していると判断された場合に、ユーザ操作により選択（押下）される。具体的に、入力部１４は、ユーザによるボタンＢＴ４１の選択（押下）操作に基づいて、切出画像ＩＭＧ４１に映る文字と、文字情報ＯＣＲ４１とが一致していることを示す制御指令を生成して、制御部１１における画像処理部１１Ａに出力する。画像処理部１１Ａは、入力部１４から出力された制御指令に基づいて、読取対象ＴＧの撮像画像と、文字情報ＯＣＲ４１とを対応付けて、通信部１０を介してサーバＳ１に送信する。

【0077】

ボタンＢＴ４２は、切出画像ＩＭＧ４１に映る文字と、文字情報ＯＣＲ４１とが一致していないと判断された場合に、ユーザ操作により選択（押下）される。具体的に、入力部１４は、ユーザによるボタンＢＴ４１の選択（押下）操作に基づいて、切出画像ＩＭＧ４１に映る文字と、文字情報ＯＣＲ４１とが一致していないことを示す制御指令を生成して、制御部１１における画像処理部１１Ａに出力する。画像処理部１１Ａは、入力部１４から出力された制御指令に基づいて、現在の文字認識結果（文字情報ＯＣＲ４１）を、ユーザ操作（手入力）により修正可能な画面（不図示）を生成して表示部１５に出力したり、読取対象ＴＧの撮像および文字認識処理を再度実行したりしてもよい。

【0078】

図８を参照して、再撮像選択画面ＳＣ５について説明する。図８は、再撮像選択画面ＳＣ５の一例を示す図である。なお、図８に示す再撮像選択画面ＳＣ５は、一例であってこれに限定されない。

【0079】

再撮像選択画面ＳＣ５は、撮像画像がボケ画像であると判定された場合に、画像処理部１１Ａによって生成されて表示部１５に出力され、表示される。再撮像選択画面ＳＣ５の表示処理は、例えば、図９に示すステップＳｔ２１の処理で端末装置Ｐ１により実行される。なお、再撮像選択画面ＳＣ５の生成は必須でなく、事前に撮像画像がボケ画像であると判定した場合に再撮像を行う設定が行われている場合にのみ実行されてよい。また、この設定は、ユーザにより行われてよい。

【0080】

再撮像選択画面ＳＣ５は、ユーザに読取対象ＴＧの再撮像を促す「撮像画像がボケています もう一度撮像しますか？」等のメッセージＭＳＧ５と、複数のボタンＢＴ５１，ＢＴ５２のそれぞれとを含んで生成される。

【0081】

ボタンＢＴ５１は、読取対象ＴＧの再撮像を行う場合に、ユーザ操作により選択（押下）される。具体的に、入力部１４は、ユーザによるボタンＢＴ５１の選択（押下）操作に基づいて、読取対象ＴＧの再撮像を要求する制御指令を生成して、制御部１１に出力する。制御部１１は、入力部１４から出力された制御指令に基づいて、読取対象ＴＧの再撮像可能にカメラ１３を駆動させる。

【0082】

ボタンＢＴ５２は、読取対象ＴＧの再撮像を行わない場合に、ユーザ操作により選択（押下）される。具体的に、入力部１４は、ユーザによるボタンＢＴ５１の選択（押下）操作に基づいて、読取対象ＴＧの再撮像を省略する制御指令を生成して、制御部１１における画像処理部１１Ａに出力する。画像処理部１１Ａは、入力部１４から出力された制御指令に基づいて、ボケ画像であると判定された撮像画像から少なくとも１つの文字認識領域の抽出処理と、ボケ画像用認識モデルを用いた文字認識処理のそれぞれを実行する。なお、画像処理部１１Ａは、入力部１４から出力された制御指令に基づいて、文字認識処理を終了してもよい。

【0083】

次に、図９を参照して、端末装置Ｐ１により実行される第１動作手順について説明する。図９は、実施の形態１における端末装置Ｐ１の第１動作手順例を示すフローチャートである。

【0084】

入力部１４は、受け付けられた配信者ＴＣ操作を電気信号（制御指令）に変換して、制御部１１に出力する。制御部１１は、入力部１４から出力された制御指令をカメラ１３に出力して読取対象ＴＧである伝票を撮像させる。カメラ１３は、読取対象ＴＧを撮像し、撮像された読取対象ＴＧの撮像画像を制御部１１における画像処理部１１Ａに出力する（Ｓｔ１１）。

【0085】

画像処理部１１Ａは、カメラ１３から出力された撮像画像の画像サイズを縮小する（Ｓｔ１２）。画像処理部１１Ａは、例えば、画像サイズが３０００×２０００である場合、６００×４００等のより小さい画像サイズに縮小する。なお、ステップＳｔ１２の処理は必須でなく、省略されてもよい。

【0086】

画像処理部１１Ａは、撮像された撮像画像、あるいは縮小後の撮像画像から複数の直線のそれぞれを検出する（Ｓｔ１３）。画像処理部１１Ａは、検出された複数の直線のそれぞれの周囲を切り出し、複数の直線のそれぞれのエッジを抽出する（Ｓｔ１４）。

【0087】

画像処理部１１Ａは、抽出された複数の直線のそれぞれのエッジからエッジ強度をそれぞれ算出し、これらのエッジ強度に基づいて、この撮像画像のエッジ強度の統計量を算出する（Ｓｔ１５）。

【0088】

なお、ステップＳｔ１５の処理において、画像処理部１１Ａは、エッジ強度の代わりに、検出された１本以上の直線の太さを算出してもよいし、検出された直線上の輝度の最大値と、直線の近傍位置の輝度の最小値とをそれぞれ算出してもよい。

【0089】

ここで、画像処理部１１Ａは、撮像画像に映る複数の直線のそれぞれの配置パターン、あるいは直線太さごとに分類された直線の本数と、メモリ１２に記憶された読取対象ＴＧごとのフォーマット（つまり、複数の直線のそれぞれの配置パターン、線種あるいは太さごとに分類された直線の本数等）とを照合して、読取対象ＴＧの識別を実行する（Ｓｔ１６）。また、画像処理部１１Ａは、読取対象ＴＧの撮像画像から認識マーク（例えば、運輸会社のロゴ、マーク、任意の図形等）を検出し、検出された認識マークとメモリ１２に記憶された読取対象ＴＧごとの認識マークとの照合により、読取対象ＴＧの識別を実行してもよい。なお、ステップＳｔ１６の処理は、必須でなく省略されてもよいし、ステップＳｔ１２の後等の他のタイミングで実行されてもよい。

【0090】

画像処理部１１Ａは、算出されたエッジ強度の統計量が閾値未満であるか否かに基づいて、撮像画像がボケ画像であるか否かを判定する（Ｓｔ１７）。

【0091】

画像処理部１１Ａは、ステップＳｔ１７の処理において、エッジ強度の統計量が閾値未満であり、撮像画像がボケ画像であると判定した場合（Ｓｔ１８，ＹＥＳ）、撮像画像に映る読取対象ＴＧから文字認識処理を実行する少なくとも１つの文字認識領域を抽出する（Ｓｔ２０）。画像処理部１１Ａは、メモリ１２に記憶されたボケ画像用認識モデルを用いて、抽出された文字認識領域のそれぞれに文字認識処理を実行して、記載された文字を認識する（Ｓｔ２３）。

【0092】

ここで、画像処理部１１Ａは、事前あるいはユーザ設定等により正常画像である場合にのみ文字認識処理を実行する旨の設定が行われており、かつ、ステップＳｔ１７の処理において、エッジ強度の統計量が閾値未満であり、撮像画像がボケ画像であると判定した場合には（Ｓｔ１８，ＹＥＳ）、事前に読取対象ＴＧの再撮像の設定がされているか否かを判定する（Ｓｔ１９）。

【0093】

画像処理部１１Ａは、ステップＳｔ１９の処理において、事前に読取対象ＴＧの再撮像の設定がされていると判定した場合（Ｓｔ１９，ＹＥＳ）、ステップＳｔ２１の処理に移行し、ユーザに読取対象ＴＧの再撮像を促す（要求する）ための再撮像選択画面ＳＣ５（図８参照）を生成して、表示部１５に出力して表示させてもよい（Ｓｔ２１）。これにより、画像処理部１１Ａは、文字認識処理による文字認識精度を向上させることができる。一方、画像処理部１１Ａは、ステップＳｔ１９の処理において、事前に読取対象ＴＧの再撮像の設定がされていないと判定した場合（Ｓｔ１９，ＮＯ）、撮像画像に映る読取対象ＴＧから文字認識処理を実行する少なくとも１つの文字認識領域を抽出する（Ｓｔ２０）。

【0094】

一方、画像処理部１１Ａは、ステップＳｔ１７の処理において、エッジ強度の統計量が閾値未満でなく、撮像画像がボケ画像でないと判定した場合（Ｓｔ１８，ＮＯ）、撮像画像に映る読取対象ＴＧから文字認識処理を実行する少なくとも１つの文字認識領域を抽出する（Ｓｔ２０）。ここで、画像処理部１１Ａは、ステップＳｔ１２の処理を実行した場合には、元（つまり、縮小前）の撮像画像を用いて、ステップＳｔ２０の処理を実行する。画像処理部１１Ａは、メモリ１２に記憶された正常画像用認識モデルを用いて、抽出された文字認識領域のそれぞれに文字認識処理を実行して、記載された文字を認識する（Ｓｔ２２）。なお、ここでいう正常画像用認識モデルは、正常画像と判定された場合に使用される

【0095】

画像処理部１１Ａは、正常画像用認識モデルまたはボケ画像用認識モデルを用いた文字認識処理による文字認識結果（つまり、文字認識領域ごとの文字情報）を取得する。画像処理部１１Ａは、取得された文字認識結果と抽出された文字認識領域の切出画像とを含む文字認識結果画面ＳＣ４（図７参照）を生成して、表示部１５に出力して表示させる（Ｓｔ２４）。なお、文字認識結果画面ＳＣ４は、文字認識結果のみを含んで生成されてもよい。

【0096】

なお、上述した第１動作手順における画像処理部１１Ａは、ボケ画像認識用モデルまたは正常画像用認識モデルのいずれか一方の認識モデルを用いて文字認識処理を実行する例について説明したが、ボケ画像認識用モデルと正常画像用認識モデルとを用いて文字認識処理を実行してもよい。

【0097】

このような場合、画像処理部１１Ａは、ステップＳｔ１７の処理において、算出されたエッジ強度の統計量に基づいて、撮像画像のボケ度合い（指標）を評価する。また、画像処理部１１Ａは、ステップＳｔ２０の処理で抽出された文字認識領域に対して、ボケ画像用認識モデルを用いた文字認識処理と、正常画像用認識モデルを用いた文字認識処理とを実行する。画像処理部１１Ａは、ステップＳｔ１７の処理で評価されたボケ度合いに基づいて、ボケ画像用認識モデルおよび正常画像用認識モデルを用いたそれぞれの文字認識結果に重み付けを実行し、文字認識領域の文字認識結果を取得する。例えば、画像処理部１１Ａは、ボケ度合いが３０％であると評価した場合、ボケ画像用認識モデルを用いた文字認識結果に３０％、正常画像用認識モデルを用いた文字認識結果に７０％の重み付けをそれぞれ実行して、文字認識領域の文字認識結果を取得する。

【0098】

さらに、画像処理部１１Ａは、評価されたボケ度合いに対応する認識モデルを用いて、抽出された少なくとも１つの文字認識領域に対する文字認識処理を実行してもよい。例えば、画像処理部１１Ａは、ボケ度合いが３０％であると評価した場合、このボケ度合いに対応する認識モデルを用いて文字認識領域に対する文字認識処理を実行し、文字認識領域の文字認識結果を取得する。

【0099】

これにより、画像処理部１１Ａは、撮像画像のボケ度合いに基づいて、文字認識処理に用いる認識モデルをより適応的に選択できるとともに、ボケ度合いにより適した文字認識処理を実行することで文字認識精度を向上させることができる。

【0100】

次に、図１０を参照して、端末装置Ｐ１により実行される第２動作手順について説明する。図１０は、実施の形態１における端末装置Ｐ１の第２動作手順例を示すフローチャートである。図１０に示す第２動作手順は、読取対象ＴＧが撮像された撮像画像がボケ画像でないと判定されるまで（つまり、正常画像が取得されるまで）、読取対象ＴＧの撮像を繰り返し実行する動作手順である。

【0101】

入力部１４は、受け付けられた配信者ＴＣ操作を電気信号（制御指令）に変換して、制御部１１に出力する。制御部１１は、入力部１４から出力された制御指令をカメラ１３に出力して読取対象ＴＧである伝票を撮像させる。カメラ１３は、読取対象ＴＧを撮像し、撮像された読取対象ＴＧの撮像画像を制御部１１における画像処理部１１Ａに出力する（Ｓｔ３１）。

【0102】

画像処理部１１Ａは、撮像された撮像画像あるいは縮小後の撮像画像から複数の直線のそれぞれを検出する（Ｓｔ３２）。画像処理部１１Ａは、検出された複数の直線のそれぞれの周囲を切り出し、複数の直線のそれぞれのエッジを抽出する（Ｓｔ３３）。

【0103】

画像処理部１１Ａは、抽出された複数の直線のそれぞれのエッジからエッジ強度をそれぞれ算出し、これらのエッジ強度に基づいて、この撮像画像のエッジ強度の統計量を算出する（Ｓｔ３４）。なお、ステップＳｔ３４の処理において、画像処理部１１Ａは、エッジ強度の代わりに、検出された１本以上の直線の太さを算出してもよいし、検出された直線上の輝度の最大値と、直線の近傍位置の輝度の最小値とをそれぞれ算出してもよい。

【0104】

ここで、画像処理部１１Ａは、撮像画像に映る複数の直線のそれぞれの配置パターン、あるいは直線太さごとに分類された直線の本数と、メモリ１２に記憶された読取対象ＴＧごとのフォーマット（つまり、複数の直線のそれぞれの配置パターン、線種あるいは太さごとに分類された直線の本数等）とを照合して、読取対象ＴＧの識別を実行する（Ｓｔ３５）。また、画像処理部１１Ａは、読取対象ＴＧの撮像画像から認識マーク（例えば、運輸会社のロゴ、マーク、任意の図形等）を検出し、検出された認識マークとメモリ１２に記憶された読取対象ＴＧごとの認識マークとの照合によって読取対象ＴＧの識別を実行してもよい。なお、ステップＳｔ１６の処理は、必須でなく省略されてもよいし、ステップＳｔ３２の後等の他のタイミングで実行されてもよい。

【0105】

画像処理部１１Ａは、算出されたエッジ強度の統計量が閾値未満であるか否かに基づいて、撮像画像がボケ画像であるか否かを判定する（Ｓｔ３６）。

【0106】

画像処理部１１Ａは、ステップＳｔ３６の処理において、エッジ強度の統計量が閾値未満であり、撮像画像がボケ画像であると判定した場合（Ｓｔ３７，ＹＥＳ）、ステップＳｔ３１の処理に移行する。

【0107】

一方、画像処理部１１Ａは、ステップＳｔ３６の処理において、エッジ強度の統計量が閾値未満でなく、撮像画像がボケ画像でないと判定した場合（Ｓｔ３７，ＮＯ）、撮像画像に映る読取対象ＴＧから文字認識処理を実行する少なくとも１つの文字認識領域を抽出する（Ｓｔ３８）。画像処理部１１Ａは、メモリ１２に記憶された正常画像用認識モデルを用いて、抽出された文字認識領域のそれぞれに文字認識処理を実行して、記載された文字を認識する（Ｓｔ３９）。なお、端末装置Ｐ１は、第１動作手順を実行せず、第２動作手順のみを実行する場合、メモリ１２にボケ画像用認識モデルを記憶していなくてもよい。

【0108】

画像処理部１１Ａは、正常画像用認識モデルを用いた文字認識処理による文字認識結果（つまり、文字認識領域ごとの文字情報）を取得する。画像処理部１１Ａは、取得された文字認識結果と抽出された文字認識領域の切出画像とを含む文字認識結果画面ＳＣ４（図７参照）を生成して、表示部１５に出力して表示させる（Ｓｔ４０）。なお、文字認識結果画面ＳＣ４は、文字認識結果のみを含んで生成されてもよい。

【0109】

以上により、実施の形態１における端末装置Ｐ１は、読取対象ＴＧが撮像された正常画像を取得し、取得された正常画像を用いて文字認識処理を実行できる。これにより、端末装置Ｐ１は、文字認識精度の低下を抑制したり、ユーザによる文字認識結果の手直し回数、手直し量の増加を抑制したりできる。

【0110】

また、これにより、端末装置Ｐ１は、ユーザがステップＳｔ３８～ステップＳｔ３９のそれぞれで実行される処理をサーバＳ１に実行させる場合（つまり、サーバＳ１に読取対象ＴＧの撮像画像のみの送信を要望する場合）には、正常画像と判定された撮像画像のみをサーバＳ１に送信する。このような場合、ステップＳｔ４０の処理は省略されてもよいし、サーバＳ１と端末装置Ｐ１とによって実行されてもよい。例えば、ステップＳｔ４０において、サーバＳ１は、文字認識結果画面ＳＣ４を生成し、生成された文字認識結果画面ＳＣ４を端末装置Ｐ１に送信する。端末装置Ｐ１は、サーバＳ１から送信された文字認識結果画面ＳＣ４を表示部１５に出力（表示）する。

【0111】

次に、図１１を参照して、端末装置Ｐ１により実行される第１撮像画像選定手順について説明する。図１１は、端末装置Ｐ１の第１撮像画像選定手順を説明する図である。なお、ここでいう第１撮像画像選定手順は、図１０に示す第２動作手順で実行される処理である。

【0112】

第１撮像画像選定手順において、端末装置Ｐ１におけるカメラ１３は、略同時刻に読取対象ＴＧを複数回撮像する（Ｓｔ４１）。ここでいう、複数回の撮像は、ユーザ操作により撮像された１枚の撮像画像の前後のフレームから抽出することで実現してもよいし、例えば読取対象ＴＧを動画で撮像し、撮像された動画に含まれる複数の撮像画像のそれぞれを抽出することにより実現されてもよい。カメラ１３は、撮像された複数の撮像画像のそれぞれを制御部１１の画像処理部１１Ａに出力する。ここで、ステップＳｔ４１の処理は、ステップＳｔ３１で実行される処理である。

【0113】

画像処理部１１Ａは、カメラ１３から出力された複数の撮像画像のそれぞれに基づいて、略同時刻に複数の撮像画像のそれぞれに対するボケ判定処理を並列に実行する（Ｓｔ４２）。なお、ここでいうボケ判定処理（ステップＳｔ４２の処理）は、図１０に示す第２動作手順のステップＳｔ３２～ステップＳｔ３７で実行される処理である。具体的に、図１１に示す例において、画像処理部１１Ａは、カメラ１３から出力された４枚の撮像画像のそれぞれに基づいて、４枚の撮像画像のそれぞれに対するボケ判定処理を並列に実行する。

【0114】

画像処理部１１Ａは、ステップＳｔ４２の処理の結果、正常画像であると判定された少なくとも１枚の撮像画像のうちボケが最小である（つまり、エッジ強度の統計量が最大である）１枚の撮像画像を正常画像として選定する（Ｓｔ４３）。画像処理部１１Ａは、選定された撮像画像を用いて、文字認識を実行する（Ｓｔ４４）。ここで、ステップＳｔ４３の処理は、ステップＳｔ３７の処理からステップＳｔ３８の処理へ移行するタイミングで実行される処理である。また、ステップＳｔ４４の処理は、ステップＳｔ３９～ステップＳｔ４０で実行される処理である。

【0115】

具体的に、図１１に示す例において、カメラ１３は、時刻ｔ１１で読取対象ＴＧを複数回撮像し（Ｓｔ４１）、撮像された４枚の撮像画像のそれぞれを制御部１１の画像処理部１１Ａに出力する。画像処理部１１Ａは、カメラ１３から出力された４枚の撮像画像のそれぞれを取得し、時刻ｔ１２で４枚の撮像画像のそれぞれにボケ判定処理を略同時に実行する（Ｓｔ４２）。つまり、第１撮像画像選定手順において、端末装置Ｐ１は、カメラ１３による読取対象ＴＧの撮像し、撮像された撮像画像のボケ判定する複数の処理（図１１に示す「処理１」、「処理２」、「処理３」、「処理４」のそれぞれ）を、略同時あるいは略並列に実行する。

【0116】

以上により、端末装置Ｐ１は、読取対象ＴＧを複数回撮像し、撮像された複数の撮像画像のそれぞれのうちボケが最小である（つまり、エッジ強度の統計量が最大である）撮像画像を選定することで、文字認識処理を実行する撮像画像を選定する。これにより、第２動作手順例に示すように読取対象ＴＧが撮像された撮像画像がボケ画像でないと判定されるまで（つまり、正常画像が取得されるまで）、読取対象ＴＧの撮像を繰り返し実行する場合、端末装置Ｐ１は、複数の撮像画像のそれぞれのボケ判定処理を並列処理で実行できるため、ユーザによる再撮像の回数を減らし、ボケ判定処理をより効率化できる。また、端末装置Ｐ１は、複数の撮像画像のそれぞれにボケ判定処理を並列処理で実行できるため、正常画像を用いた文字認識結果画面ＳＣ４の生成および表示（提示）に要する時間をより短縮できる。

【0117】

次に、図１２を参照して、端末装置Ｐ１により実行される第２撮像画像選定手順について説明する。図１２は、端末装置Ｐ１の第２撮像画像選定手順を説明する図である。なお、ここでいう第２撮像画像選定手順は、図１０に示す第２動作手順で実行される処理である。

【0118】

第２撮像画像選定手順において、端末装置Ｐ１におけるカメラ１３は、読取対象ＴＧを動画で撮像し、撮像された動画に含まれる複数の撮像画像（つまり、フレーム）のそれぞれを順次、制御部１１の画像処理部１１Ａに出力する。画像処理部１１Ａは、カメラ１３から出力された撮像画像のそれぞれにボケ判定処理を順次実行する。画像処理部１１Ａは、ボケ判定処理の結果、撮像画像が正常画像であると判定すると、カメラ１３に読取対象ＴＧの撮像を終了させる制御指令を生成して出力し、正常画像であると判定された撮像画像に文字認識処理を実行する。

【0119】

なお、ステップＳｔ５１Ａ～ステップＳｔ５１Ｄの処理は、図１０に示すステップＳｔ３１の処理で実行される処理と同様である。また、ここでいうボケ判定処理（ステップＳｔ５２Ａ～ステップＳｔ５２Ｄの処理）は、図１０に示す第２動作手順のステップＳｔ３２～ステップＳｔ３７で実行される処理である。

【0120】

具体的に、図１２に示す例において、カメラ１３は、時刻ｔ２１で１回目の撮像を実行し（Ｓｔ５１Ａ）、時刻ｔ２２で２回目の撮像を実行し（Ｓｔ５１Ｂ）、時刻ｔ２３で３回目の撮像を実行し（Ｓｔ５１Ｃ）、時刻ｔ２４に４回目の撮像を実行する（Ｓｔ５１Ｄ）。カメラ１３は、４回目の撮像を実行した後、画像処理部１１Ａから出力された制御指令に基づいて、撮像処理を終了する。

【0121】

図１２に示す例において、画像処理部１１Ａは、カメラ１３により時刻ｔ２１で撮像された１枚目の撮像画像を取得し、時刻ｔ２２で１枚目の撮像画像にボケ判定処理を実行する（Ｓｔ５２Ａ）。画像処理部１１Ａは、１枚目の撮像画像がボケ画像であると判定した場合、カメラ１３により時刻ｔ２２で撮像された２枚目の撮像画像を取得し、時刻ｔ２３で２枚目の撮像画像にボケ判定処理を実行する（Ｓｔ５２Ｂ）。画像処理部１１Ａは、２枚目の撮像画像がボケ画像であると判定した場合、カメラ１３により時刻ｔ２３で撮像された３枚目の撮像画像を取得し、時刻ｔ２４で３枚目の撮像画像にボケ判定処理を実行する（Ｓｔ５２Ｃ）。画像処理部１１Ａは、３枚目の撮像画像が正常画像であると判定した場合、カメラ１３に撮像を終了させる制御指令を生成して出力するとともに、この正常画像と判定された３枚目の撮像画像に文字認識処理を実行する（Ｓｔ５３）。

【0122】

以上により、端末装置Ｐ１は、カメラ１３による読取対象ＴＧの撮像処理と、画像処理部１１Ａによる撮像画像のボケ判定処理とを順次実行し、ボケ判定処理の結果、撮像画像が正常画像であると判定した場合、文字認識処理を実行することで、正常画像の取得をより効率的に実行できる。また、端末装置Ｐ１は、正常画像を取得するまで、撮像処理とボケ判定処理とを実行し続けるため、ユーザによる再撮像操作が不要となる。

【0123】

以上により、実施の形態１における端末装置Ｐ１は、所定のフォーマットに文字が記載された読取対象ＴＧ（対象物の一例）を撮像可能なカメラ１３を備え、カメラ１３により読取対象ＴＧを撮像し、撮像された読取対象ＴＧの撮像画像から文字認識領域（例えば、図４に示す文字認識領域ＡＲ１，ＡＲ２のそれぞれ）外であって、所定のフォーマットの少なくとも一部であるボケ判定箇所（例えば、直線、１本以上の直線のそれぞれ、認識マーク、所定のフォーマットを形成するすべての直線等）を検出し、検出されたボケ判定箇所に基づいて、撮像画像がボケ画像であるか否かを判定する。

【0124】

これにより、実施の形態１における端末装置Ｐ１は、読取対象ＴＧに記載された文字が手書き、印刷、あるいは押印等により記載された文字であって、使用されたインク、インク量、読取対象ＴＧの素材、あるいは、記載時の環境（例えば、低湿度、高湿度等）によって文字に滲んでいたり、輪郭が不明瞭であったりする場合でも、撮像画像自体がボケ画像であるか否かをより効率的に判定できる。また、これにより、端末装置Ｐ１は、読取対象ＴＧに記載された文字自体がボケているか否かでなく、撮像画像に映る読取対象ＴＧ自体がボケているか否かを判定できる。

【0125】

また、以上により、実施の形態１における端末装置Ｐ１は、検出されたボケ判定箇所（例えば、１本以上の直線、認識マークＲＧ１，ＲＧ２等）のエッジ強度を算出し、算出されたボケ判定箇所のエッジ強度に基づいて、撮像画像がボケ画像であるか否かを判定する。これにより、実施の形態１における端末装置Ｐ１は、撮像画像に映る読取対象ＴＧから検出されたボケ判定箇所のエッジ強度に基づいて、撮像画像に映る読取対象ＴＧ自体がボケているか否かを判定できる。

【0126】

また、以上により、実施の形態１における端末装置Ｐ１は、算出されたエッジ強度に基づいて、エッジ強度の統計量をさらに算出し、算出された統計量が第１閾値未満であると判定した場合、撮像画像がボケ画像であると判定する。これにより、実施の形態１における端末装置Ｐ１は、撮像画像に映る読取対象ＴＧから検出されたボケ判定箇所のエッジ強度の統計量に基づいて、撮像画像に映る読取対象ＴＧ自体がボケているか否かを判定できる。

【0127】

また、以上により、実施の形態１における端末装置Ｐ１は、検出されたボケ判定箇所からボケ判定箇所上の第１輝度と、ボケ判定箇所近傍の第２輝度とを算出し、算出された第１輝度と第２輝度との輝度差が第２閾値（所定値の一例）未満であると判定した場合、撮像画像がボケ画像であると判定する。これにより、実施の形態１における端末装置Ｐ１は、撮像画像に映る読取対象ＴＧから検出されたボケ判定箇所の輝度差に基づいて、撮像画像に映る読取対象ＴＧ自体がボケているか否かを判定できる。

【0128】

また、以上により、実施の形態１における端末装置Ｐ１は、取得された撮像画像の画像サイズを縮小し、縮小された撮像画像から文字認識領域外の所定のフォーマットの少なくとも一部であるボケ判定箇所を検出する。これにより、実施の形態１における端末装置Ｐ１は、ボケ判定箇所の検出処理およびボケ画像判定処理に要する処理負荷を減少させてより効率化したり、これらの処理をより高速化したりできる。

【0129】

また、以上により、実施の形態１における端末装置Ｐ１は、複数の撮像画像を撮像し、撮像された複数の撮像画像からそれぞれボケ判定箇所を検出し、複数のボケ判定箇所のうち最もボケが小さいボケ判定箇所が検出された撮像画像を、ボケ画像でない（つまり、正常画像）と判定する。これにより、実施の形態１における端末装置Ｐ１は、よりボケが小さいボケ画像、あるいは正常画像の取得をより効率的に行うことができる。

【0130】

また、以上により、実施の形態１における端末装置Ｐ１は、撮像画像がボケ画像であると判定した場合、読取対象ＴＧの再撮像を実行し、再撮像された撮像画像からボケ判定箇所を再検出し、再検出されたボケ判定箇所に基づいて、再撮像された撮像画像がボケ画像であるか否かを再判定する。これにより、実施の形態１における端末装置Ｐ１は、正常画像を取得するまで、読取対象ＴＧの撮像と、撮像画像のボケ判定処理とを繰り返し実行できる。

【0131】

また、以上により、実施の形態１における端末装置Ｐ１は、撮像された撮像画像からボケ判定箇所を検出し、検出されたボケ判定箇所に基づいて、撮像画像がボケ画像であるか否かを判定する第１処理と、カメラ１３による読取対象ＴＧの再撮像する第２処理とを並行して実行し、撮像画像がボケ画像でないと判定された場合、並行して実行されている第２処理を中止する。これにより、実施の形態１における端末装置Ｐ１は、読取対象ＴＧを撮像する第１処理と、撮像画像のボケ判定する第２処理とを並行して行うことで、正常画像を取得するまでの時間をより短縮できる。

【0132】

また、以上により、実施の形態１において検出されるボケ判定箇所は、所定のフォーマットに含まれるすべての直線のそれぞれの太さ情報を記憶し、ボケ判定箇所として少なくとも１本の直線を検出して直線の太さを計測し、検出された直線に対応する直線の太さ情報を取得し、計測された太さが取得された太さの所定倍数以上であると判定した場合、撮像画像がボケ画像であると判定する。これにより、実施の形態１における端末装置Ｐ１は、検出された少なくとも１本の直線の太さの情報と、メモリ１２に記憶されたこの直線の太さの情報とに基づいて、撮像画像に映る読取対象ＴＧ自体がボケているか否かを判定できる。

【0133】

また、以上により、実施の形態１において検出されるボケ判定箇所は、所定のフォーマットに含まれる認識マーク（所定のマークの一例）である。これにより、実施の形態１における端末装置Ｐ１は、記載された文字でなく、読取対象ＴＧが有する所定のフォーマットに含まれる認識マークを形成する少なくとも２本の直線のそれぞれに基づいて、撮像画像に映る読取対象ＴＧ自体がボケているか否かを判定できる。

【0134】

以上により、実施の形態１における端末装置Ｐ１は、所定のフォーマットに文字が記載された読取対象ＴＧを撮像可能なカメラ１３と、カメラ１３により撮像された撮像画像から文字認識領域外であって、所定のフォーマットの少なくとも一部であるボケ判定箇所を検出する画像処理部１１Ａ（検出部の一例）と、検出されたボケ判定箇所に基づいて、撮像画像がボケ画像であるか否かを判定する画像処理部１１Ａ（判定部の一例）と、を備える。

【0135】

これにより、実施の形態１における端末装置Ｐ１は、検出されたボケ判定箇所（例えば、２本以上の直線のそれぞれ、認識マークＲＧ１，ＲＧ２等）のエッジ強度を算出し、算出されたボケ判定箇所のエッジ強度に基づいて、撮像画像がボケ画像であるか否かを判定する。これにより、実施の形態１における端末装置Ｐ１は、撮像画像に映る読取対象ＴＧから検出されたボケ判定箇所のエッジ強度に基づいて、撮像画像に映る読取対象ＴＧ自体がボケているか否かを判定できる。

【0136】

以上により、実施の形態１における端末装置Ｐ１は、所定のフォーマットに文字が記載された読取対象ＴＧをカメラ１３で撮像し、撮像された読取対象ＴＧの撮像画像から文字認識領域外であり所定のフォーマットの少なくとも一部であるボケ判定箇所を検出し、検出されたボケ判定箇所に基づいて、撮像画像がボケ画像であるか否かを判定し、撮像画像がボケ画像であると判定した場合、ボケ画像用認識モデル（第１文字認識モデルの一例）を用いて文字認識領域内に記載された文字認識を実行し、撮像画像がボケ画像でないと判定した場合、正常画像用認識モデル（第２文字認識モデルの一例）を用いて文字認識領域内に記載された文字の認識を実行し、認識された文字情報を出力する。

【0137】

これにより、実施の形態１における端末装置Ｐ１は、撮像画像自体がボケ画像であるか否かをより効率的に判定できるとともに、判定結果に基づいて、ボケ画像用文字認識モデルと正常画像用文字認識モデルとを使い分けることで、文字認識処理をより適用的に実行して、文字認識精度をより向上させることができる。

【0138】

以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0139】

本開示は、認識対象が記載された読取対象の撮像において、撮像された撮像画像のボケをより効果的に検知する画像判定方法、画像判定装置および文字認識方法の提示として有用である。

【符号の説明】

【0140】

１０ 通信部
１１ 制御部
１１Ａ 画像処理部
１２ メモリ
１３ カメラ
１４ 入力部
１５ 表示部
ＮＷ ネットワーク
Ｐ１ 端末装置
Ｓ１ サーバ
ＳＣ４ 文字認識結果画面
ＳＣ５ 再撮像選択画面
ＴＧ 読取対象
ＴＧ１ 第１読取対象
ＴＧ２ 第２読取対象

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】