特許第6707178号(P6707178)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社PFUの特許一覧

特許6707178画像処理装置、制御方法及び制御プログラム
<>
  • 特許6707178-画像処理装置、制御方法及び制御プログラム 図000002
  • 特許6707178-画像処理装置、制御方法及び制御プログラム 図000003
  • 特許6707178-画像処理装置、制御方法及び制御プログラム 図000004
  • 特許6707178-画像処理装置、制御方法及び制御プログラム 図000005
  • 特許6707178-画像処理装置、制御方法及び制御プログラム 図000006
  • 特許6707178-画像処理装置、制御方法及び制御プログラム 図000007
  • 特許6707178-画像処理装置、制御方法及び制御プログラム 図000008
  • 特許6707178-画像処理装置、制御方法及び制御プログラム 図000009
  • 特許6707178-画像処理装置、制御方法及び制御プログラム 図000010
  • 特許6707178-画像処理装置、制御方法及び制御プログラム 図000011
  • 特許6707178-画像処理装置、制御方法及び制御プログラム 図000012
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6707178
(24)【登録日】2020年5月21日
(45)【発行日】2020年6月10日
(54)【発明の名称】画像処理装置、制御方法及び制御プログラム
(51)【国際特許分類】
   G06K 9/03 20060101AFI20200601BHJP
   G06T 7/00 20170101ALI20200601BHJP
【FI】
   G06K9/03 C
   G06T7/00 Q
【請求項の数】7
【全頁数】20
(21)【出願番号】特願2019-505670(P2019-505670)
(86)(22)【出願日】2017年3月17日
(86)【国際出願番号】JP2017011039
(87)【国際公開番号】WO2018167974
(87)【国際公開日】20180920
【審査請求日】2019年3月26日
(73)【特許権者】
【識別番号】000136136
【氏名又は名称】株式会社PFU
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100180806
【弁理士】
【氏名又は名称】三浦 剛
(72)【発明者】
【氏名】笠原 雄毅
【審査官】 板垣 有紀
(56)【参考文献】
【文献】 特開平1−177178(JP,A)
【文献】 特開2007−011654(JP,A)
【文献】 特許第5879455(JP,B1)
【文献】 国際公開第2015/015535(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06K 9/03
G06T 7/00
G08C 19/00
(57)【特許請求の範囲】
【請求項1】
記憶部と、
メータを撮影した入力画像を順次生成する撮像部と、
前記順次生成された各入力画像に写っているメータ内の数値を特定して集計し、集計結果に基づいて、前記メータ内の数値を認識する数値認識部と、
前記メータ内の数値の各桁に対応する部分領域毎に、各部分領域が鮮明であるか否かを判定する判定部と、
前記各桁毎に、各桁に対応する部分領域が鮮明であると判定された入力画像を選択し、選択された入力画像の少なくとも一部を証拠画像として前記数値認識部が認識した数値を関連付けて前記記憶部に記憶する制御部と、
を有することを特徴とする画像処理装置。
【請求項2】
前記制御部は、全ての部分領域が鮮明であると判定された1枚の入力画像が存在する場合には、当該1枚の入力画像のみの少なくとも一部を証拠画像として前記記憶部に記憶し、全ての部分領域が鮮明であると判定された入力画像が存在しない場合には、複数の入力画像のそれぞれの少なくとも一部を証拠画像として前記記憶部に記憶する、請求項1に記載の画像処理装置。
【請求項3】
前記判定部は、メータを撮影し且つ鮮明である画像を少なくとも用いて事前学習した識別器により、各部分領域が鮮明であるか否かを判定する、請求項1または2に記載の画像処理装置。
【請求項4】
前記判定部は、各部分領域内の画像の輝度値に基づいて、各部分領域が鮮明であるか否かを判定する、請求項1または2に記載の画像処理装置。
【請求項5】
前記数値認識部は、
前記順次生成された各入力画像に写っているメータ内の数値の各桁毎に、桁値を特定し、所定数の入力画像に対して特定した桁値の中の最頻値を特定し、前記所定数に対する前記特定した最頻値の発生数の割合が閾値を超える場合、前記特定した最頻値を確定桁値として特定し、
全ての桁のそれぞれについて特定した確定桁値を組み合わせた数値を、前記メータ内の数値として認識する、請求項1〜4の何れか一項に記載の画像処理装置。
【請求項6】
記憶部と、メータを撮影した入力画像を順次生成する撮像部と、を有する画像処理装置の制御方法であって、
前記順次生成された各入力画像に写っているメータ内の数値を特定して集計し、集計結果に基づいて、前記メータ内の数値を認識し、
前記メータ内の数値の各桁に対応する部分領域毎に、各部分領域が鮮明であるか否かを判定し、
前記各桁毎に、各桁に対応する部分領域が鮮明であると判定された入力画像を選択し、選択された入力画像の少なくとも一部を証拠画像として前記認識した数値を関連付けて前記記憶部に記憶する、
ことを含むことを特徴とする制御方法。
【請求項7】
記憶部と、メータを撮影した入力画像を順次生成する撮像部と、を有する画像処理装置の制御プログラムであって、
前記順次生成された各入力画像に写っているメータ内の数値を特定して集計し、集計結果に基づいて、前記メータ内の数値を認識し、
前記メータ内の数値の各桁に対応する部分領域毎に、各部分領域が鮮明であるか否かを判定し、
前記各桁毎に、各桁に対応する部分領域が鮮明であると判定された入力画像を選択し、選択された入力画像の少なくとも一部を証拠画像として前記認識した数値を関連付けて前記記憶部に記憶する、
ことを前記画像処理装置に実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、制御方法及び制御プログラムに関し、特に、メータを撮影した画像からメータ内の数値を認識する画像処理装置、制御方法及び制御プログラムに関する。
【背景技術】
【0002】
工場、家屋等では、設備点検作業において、作業者が電力量等のメータ(装置)から電力量等を示す数値を目視により読み取り、紙の台帳である点検簿に記録している。しかしながら、このような人手による作業では、人為的ミスにより誤った数値が点検簿に記録され、手戻りが発生する可能性があった。このような問題を解消するために、近年、設備点検作業において、カメラでメータを撮影した画像から、コンピュータにより数値を自動認識する技術が利用されている。
【0003】
デジタル式計器が示す数値を含むシーンを撮像し、撮像した画像を処理して、計器が示す数値を検出する計器読み取り装置が開示されている(特許文献1を参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第5530752号
【発明の概要】
【0005】
カメラでメータを撮影した画像から、コンピュータにより数値を自動認識する場合、カメラで撮影した画像を、作業者等が後で確認できるように、証拠画像として保存しておくことが望ましい。その場合、証拠画像として適切な画像を効率良く保存できることが望まれている。
【0006】
画像処理装置、制御方法及び制御プログラムの目的は、証拠画像として適切な画像を効率良く記憶することを可能とすることにある。
【0007】
本発明の一側面に係る画像処理装置は、記憶部と、メータを撮影した入力画像を順次生成する撮像部と、順次生成された各入力画像に写っているメータ内の数値を特定して集計し、集計結果に基づいて、メータ内の数値を認識する数値認識部と、メータ内の数値の各桁に対応する各桁毎に、各桁に対応する部分領域が鮮明であるか否かを判定する判定部と、部分領域毎に、その部分領域が鮮明であると判定された入力画像を選択し、選択された入力画像の少なくとも一部を証拠画像として数値認識部が認識した数値を関連付けて記憶部に記憶する制御部と、を有する。
【0008】
また、本発明の一側面に係る制御方法は、記憶部と、メータを撮影した入力画像を順次生成する撮像部と、を有する画像処理装置の制御方法であって、順次生成された各入力画像に写っているメータ内の数値を特定して集計し、集計結果に基づいて、メータ内の数値を認識し、メータ内の数値の各桁に対応する部分領域毎に、各部分領域が鮮明であるか否かを判定し、各桁毎に、各桁に対応する部分領域が鮮明であると判定された入力画像を選択し、選択された入力画像の少なくとも一部を証拠画像として認識した数値を関連付けて記憶部に記憶することを含む。
【0009】
また、本発明の一側面に係る制御プログラムは、記憶部と、メータを撮影した入力画像を順次生成する撮像部と、を有する画像処理装置の制御プログラムであって、順次生成された各入力画像に写っているメータ内の数値を特定して集計し、集計結果に基づいて、メータ内の数値を認識し、メータ内の数値の各桁に対応する部分領域毎に、各部分領域が鮮明であるか否かを判定し、各桁毎に、各桁に対応する部分領域が鮮明であると判定された入力画像を選択し、選択された入力画像の少なくとも一部を証拠画像として認識した数値を関連付けて記憶部に記憶することを画像処理装置に実行させる。
【0010】
本実施形態によれば、画像処理装置、制御方法及び制御プログラムは、証拠画像として適切な画像を効率良く記憶することが可能となる。
【0011】
本発明の目的及び効果は、特に請求項において指摘される構成要素及び組み合わせを用いることによって認識され且つ得られるだろう。前述の一般的な説明及び後述の詳細な説明の両方は、例示的及び説明的なものであり、特許請求の範囲に記載されている本発明を制限するものではない。
【図面の簡単な説明】
【0012】
図1】実施形態に従った画像処理装置100の概略構成の一例を示す図である。
図2】記憶装置110及びCPU120の概略構成を示す図である。
図3】全体処理の動作の例を示すフローチャートである。
図4】部分領域検出処理の動作の例を示すフローチャートである。
図5A】メータを撮影した入力画像500の一例を示す図である。
図5B】部分領域について説明するための図である。
図6】管理テーブルのデータ構造の一例を示す図である。
図7】数値認識処理の動作の例を示すフローチャートである。
図8】証拠画像保存処理の動作の例を示すフローチャートである。
図9】保存される証拠画像の組合せについて説明する図である。
図10】他の処理回路230の概略構成を示す図である。
【発明を実施するための形態】
【0013】
以下、本開示の一側面に係る画像処理装置について図を参照しつつ説明する。但し、本開示の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
【0014】
図1は、実施形態に従った画像処理装置100の概略構成の一例を示す図である。
【0015】
画像処理装置100は、タブレットPC、多機能携帯電話(いわゆるスマートフォン)、携帯情報端末、ノートPC等の携帯可能な情報処理装置であり、そのユーザである作業者により使用される。画像処理装置100は、通信装置101と、入力装置102と、表示装置103と、撮像装置104と、記憶装置110と、CPU(Central Processing Unit)120と、処理回路130とを有する。以下、画像処理装置100の各部について詳細に説明する。
【0016】
通信装置101は、主に2.4GHz帯、5GHz帯等を感受帯域とするアンテナを含む、通信インターフェース回路を有する。通信装置101は、アクセスポイント等との間でIEEE(The Institute of Electrical and Electronics Engineers, Inc.)802.11規格の無線通信方式に基づいて無線通信を行う。そして、通信装置101は、アクセスポイントを介して外部のサーバ装置(不図示)とデータの送受信を行う。通信装置101は、アクセスポイントを介してサーバ装置から受信したデータをCPU120に供給し、CPU120から供給されたデータをアクセスポイントを介してサーバ装置に送信する。なお、通信装置101は、外部の装置と通信できるものであればどのようなものであってもよい。例えば、通信装置101は、携帯電話通信方式に従って不図示の基地局装置を介してサーバ装置と通信するものでもよいし、有線LAN通信方式に従ってサーバ装置と通信するものでもよい。
【0017】
入力装置102は、タッチパネル式の入力装置、キーボード、マウス等の入力デバイス及び入力デバイスから信号を取得するインターフェース回路を有する。入力装置102は、ユーザの入力を受け付け、ユーザの入力に応じた信号をCPU120に対して出力する。
【0018】
表示装置103は、液晶、有機EL(Electro-Luminescence)等から構成されるディスプレイ及びディスプレイに画像データ又は各種の情報を出力するインターフェース回路を有する。表示装置103は、CPU120と接続されて、CPU120から出力された画像データをディスプレイに表示する。なお、タッチパネルディスプレイを用いて、入力装置102と表示装置103を一体に構成してもよい。
【0019】
撮像装置104は、1次元又は2次元に配列されたCCD(Charge Coupled Device)からなる撮像素子を備える縮小光学系タイプの撮像センサと、A/D変換器とを有する。撮像装置104は、撮像部の一例であり、CPU120からの指示に従ってメータを順次撮影する(例えば30フレーム/秒)。撮像センサは、メータを撮影したアナログの画像信号を生成してA/D変換器に出力する。A/D変換器は、出力されたアナログの画像信号をアナログデジタル変換してデジタルの画像データを順次生成し、CPU120に出力する。なお、CCDの代わりにCMOS(Complementary Metal Oxide Semiconductor)からなる撮像素子を備える等倍光学系タイプのCIS(Contact Image Sensor)を利用してもよい。以下では、撮像装置104によりメータが撮影されて出力されたデジタルの画像データを入力画像と称する場合がある。
【0020】
記憶装置110は、記憶部の一例である。記憶装置110は、RAM(Random Access Memory)、ROM(Read Only Memory)等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、記憶装置110には、画像処理装置100の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばCD−ROM(compact disk read only memory)、DVD−ROM(digital versatile disk read only memory)等のコンピュータ読み取り可能な可搬型記録媒体からインストールされてもよい。コンピュータプログラムは、公知のセットアッププログラム等を用いて記憶装置110にインストールされる。また、記憶装置110には、各入力画像に関する情報を管理する管理テーブルが格納される。
【0021】
CPU120は、予め記憶装置110に記憶されているプログラムに基づいて動作する。CPU120は、汎用プロセッサであってもよい。なお、CPU120に代えて、DSP(digital signal processor)、LSI(large scale integration)等が用いられてよい。また、CPU120に代えて、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等が用いられてもよい。
【0022】
CPU120は、通信装置101、入力装置102、表示装置103、撮像装置104、記憶装置110及び処理回路130と接続され、これらの各部を制御する。CPU120は、通信装置101を介したデータ送受信制御、入力装置102の入力制御、表示装置103の表示制御、撮像装置104の撮像制御、記憶装置110の制御等を行う。さらに、CPU120は、撮像装置104により生成された入力画像に写っているメータ内の数値を認識するとともに、証拠画像を記憶装置110に記憶する。
【0023】
処理回路130は、撮像装置104から取得した入力画像に補正処理等の所定の画像処理を施す。なお、処理回路130として、LSI、DSP、ASIC又はFPGA等が用いられてもよい。
【0024】
図2は、記憶装置110及びCPU120の概略構成を示す図である。
【0025】
図2に示すように、記憶装置110には、数値認識プログラム111、判定プログラム112及び制御プログラム113等の各プログラムが記憶される。これらの各プログラムは、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。CPU120は、記憶装置110に記憶された各プログラムを読み取り、読み取った各プログラムに従って動作することにより、数値認識部121、判定部122及び制御部123として機能する。
【0026】
図3は、画像処理装置100による全体処理の動作の例を示すフローチャートである。
【0027】
以下、図3に示したフローチャートを参照しつつ、画像処理装置100による全体処理の動作の例を説明する。なお、以下に説明する動作のフローは、予め記憶装置110に記憶されているプログラムに基づき主にCPU120により画像処理装置100の各要素と協働して実行される。
【0028】
最初に、数値認識部121は、ユーザにより、入力装置102を用いてメータの撮影の開始を指示する撮影開始指示が入力され、入力装置102から撮影開始指示信号を受信すると、撮影開始指示を受け付ける(ステップS101)。数値認識部121は、撮影開始指示を受け付けると、画像処理に用いられる各情報の初期化、及び、撮像装置104の撮像サイズ、フォーカス等のパラメータ設定を実行し、撮像装置104にメータを撮影させて入力画像を生成させる。数値認識部121は、撮像装置104により順次生成された入力画像を記憶装置110に順次記憶する。
【0029】
次に、数値認識部121は、部分領域検出処理を実行する(ステップS102)。数値認識部121は、部分領域検出処理において、撮像装置104によって生成された入力画像に写っているメータ内の数値の各桁に対応する部分領域を検出する。部分領域検出処理の詳細については後述する。
【0030】
次に、数値認識部121は、部分領域検出処理において、数値認識処理で使用可能な部分領域が検出されたか否かを判定する(ステップS103)。
【0031】
数値認識処理で使用可能な部分領域が抽出されなかった場合、数値認識部121は、ステップS102に処理を戻し、新たに生成された入力画像に対して部分領域抽出処理を実行する。一方、数値認識処理で使用可能な部分領域が抽出された場合、数値認識部121は、数値認識処理を実行する(ステップS104)。数値認識部121は、数値認識処理において、順次生成された各入力画像に写っているメータ内の数値を特定して集計し、集計結果に基づいて、メータ内の数値を認識する。数値認識処理の詳細については後述する。
【0032】
次に、数値認識部121は、数値認識処理において、メータ内の数値を認識できたか否かを判定する(ステップS105)。
【0033】
メータ内の数値を認識できなかった場合、数値認識部121は、ステップS102に処理を戻し、新たに生成された入力画像に対してステップS102〜S105の処理を繰り返す。一方、メータ内の数値を認識できた場合、判定部122及び制御部123は、証拠画像保存処理を実行する(ステップS106)。証拠画像保存処理において、判定部122は、各部分領域が鮮明であるか否かを判定する。また、制御部123は、各桁毎に、各桁に対応する部分領域が鮮明であると判定された入力画像を選択し、選択された入力画像に対応する画像を証拠画像として、数値認識部121が認識した数値を関連付けて記憶装置110に記憶する。証拠画像保存処理の詳細については後述する。
【0034】
次に、制御部123は、数値認識部121が認識した数値、及び/又は、制御部123が選択した証拠画像を表示装置103に表示し(ステップS107)、一連のステップを終了する。また、制御部123は、数値認識部121が認識した数値、及び/又は、制御部123が選択した証拠画像を通信装置101を介してサーバ装置に送信してもよい。
【0035】
図4は、部分領域検出処理の動作の例を示すフローチャートである。図4に示す動作のフローは、図3に示すフローチャートのステップS102において実行される。
【0036】
最初に、数値認識部121は、入力画像からプレート枠を検出する(ステップS201)。
【0037】
図5Aは、メータ(装置)を撮影した入力画像500の一例を示す図である。
【0038】
図5Aに示すように、一般に、メータは黒色の筐体501を有し、筐体501の内部に白色のプレート502を有する。プレート502は、ガラス(不図示)を介して目視可能になっており、プレート502には、メータが計測した電力量等の数値が示されるメータ部分503が配置される。メータ部分503において、数値は白色で示され、背景は黒色で示されている。数値認識部121は、プレート502の外縁をプレート枠として検出する。なお、以下では、計測する数値の桁数が4であるメータを例にして説明するが、メータが計測する数値の桁数は2以上であればいくつでもよい。
【0039】
数値認識部121は、入力画像内の画素の水平及び垂直方向の両隣の画素又はその画素から所定距離だけ離れた複数の画素の輝度値又は色値(R値、B値、G値)の差の絶対値が第1閾値を越える場合、その画素をエッジ画素として抽出する。数値認識部121は、ハフ変換又は最小二乗法等を用いて、抽出した各エッジ画素の近傍を通過する直線を抽出し、抽出した各直線のうち二本ずつが略直交する四本の直線から構成される矩形の内、最も大きい矩形をプレート枠として検出する。または、数値認識部121は、抽出した各エッジ画素が他のエッジ画素と連結しているか否かを判定し、連結しているエッジ画素を一つのグループとしてラベリングする。数値認識部121は、抽出したグループの内、最も面積が大きいグループで囲まれる領域の外縁をプレート枠として検出してもよい。
【0040】
なお、数値認識部121は、筐体501の色と、プレート502の色の違いを利用してプレート枠を検出してもよい。数値認識部121は、各画素の輝度値又は色値が第2閾値未満であり(黒色を示し)、その画素に右側に隣接する画素又はその画素から右側に所定距離離れた画素の輝度値又は色値が第2閾値以上である(白色を示す)場合、その画素を左端エッジ画素として抽出する。第2閾値は黒色を示す値と白色を示す値の中間の値に設定される。同様に、数値認識部121は、各画素の輝度値又は色値が第2閾値未満であり、その画素に左側に隣接する画素又はその画素から左側に所定距離離れた画素の輝度値又は色値が第2閾値以上である場合、その画素を右端エッジ画素として抽出する。同様に、数値認識部121は、各画素の輝度値又は色値が第2閾値未満であり、その画素に下側に隣接する画素又はその画素から下側に所定距離離れた画素の輝度値又は色値が第2閾値以上である場合、その画素を上端エッジ画素として抽出する。同様に、数値認識部121は、各画素の輝度値又は色値が第2閾値未満であり、その画素に上側に隣接する画素又はその画素から上側に所定距離離れた画素の輝度値又は色値が第2閾値以上である場合、その画素を下端エッジ画素として抽出する。
【0041】
数値認識部121は、ハフ変換又は最小二乗法等を用いて、抽出した左端エッジ画素、右端エッジ画素、上端エッジ画素及び下端エッジ画素のそれぞれを連結した直線を抽出し、抽出した各直線から構成される矩形をプレート枠として検出する。
【0042】
次に、数値認識部121は、検出したプレート枠内の領域から数値背景枠を検出する(ステップS202)。数値認識部121は、メータ部分503の外縁を数値背景枠として検出する。
【0043】
数値認識部121は、メータ部分503を含むプレート502が写っている画像が入力された場合に、メータ部分503の外縁の位置情報を出力するように事前学習された識別器により、数値背景枠を検出する。この識別器は、例えばディープラーニング等により、メータを撮影した複数の画像を用いて事前学習され、予め記憶装置110に記憶される。数値認識部121は、検出したプレート枠を含む画像を識別器に入力し、識別器から出力された位置情報を取得することにより、数値背景枠を検出する。
【0044】
なお、数値認識部121は、プレート枠を検出する場合と同様に、入力画像内のエッジ画素に基づいて、数値背景枠を検出してもよい。数値認識部121は、入力画像のプレート枠を含む領域からエッジ画素を抽出し、抽出した各エッジ画素の近傍を通過する直線を抽出し、抽出した各直線のうち二本ずつが略直交する四本の直線から構成される矩形の内、最も大きい矩形を数値背景枠として検出する。または、数値認識部121は、抽出した各エッジ画素が相互に連結するグループの内、最も面積が大きいグループで囲まれる領域の外縁を数値背景枠として検出してもよい。
【0045】
または、数値認識部121は、プレート枠を検出する場合と同様に、プレート502の色と、メータ部分503の色の違いを利用してプレート枠を検出してもよい。数値認識部121は、各画素の輝度値又は色値が第2閾値以上であり(白色を示し)、その画素に右側に隣接する画素又はその画素から右側に所定距離離れた画素の輝度値又は色値が第2閾値未満である(黒色を示す)場合、その画素を左端エッジ画素として抽出する。同様にして、数値認識部121は、右端エッジ画素、上端エッジ画素及び下端エッジ画素を抽出する。数値認識部121は、ハフ変換又は最小二乗法等を用いて、抽出した左端エッジ画素、右端エッジ画素、上端エッジ画素及び下端エッジ画素のそれぞれの近傍を通過する直線を抽出し、抽出した各直線から構成される矩形を数値背景枠として検出する。
【0046】
また、メータのプレート502内に数値背景枠が存在する位置を示す目印504が示されている場合、数値認識部121は、目印504を検出し、水平及び垂直方向において各目印504で挟まれた領域内で数値背景枠を検出してもよい。
【0047】
次に、数値認識部121は、検出した数値背景枠内の領域から、メータ内の数値の各桁に対応する部分領域を検出する(ステップS203)。
【0048】
図5Bは、部分領域について説明するための図である。
【0049】
図5Bに示す画像510は、入力画像500から検出されたメータ部分503の数値背景枠を示す。数値認識部121は、数値背景枠内の数値の各桁値を含む各矩形領域511〜514を部分領域として検出する。
【0050】
数値認識部121は、メータ部分503が写っている画像が入力された場合に、メータ部分503内の数値の各桁値を含む各矩形領域の位置情報を出力するように事前学習された識別器により、部分領域を検出する。この識別器は、例えばディープラーニング等により、メータを撮影した複数の画像を用いて事前学習され、予め記憶装置110に記憶される。数値認識部121は、検出した数値背景枠を含む画像を識別器に入力し、識別器から出力された位置情報を取得することにより部分領域を検出する。
【0051】
なお、数値認識部121は、プレート枠を検出する場合と同様に、入力画像内のエッジ画素に基づいて、数値背景枠を検出してもよい。数値認識部121は、入力画像の数値背景枠を含む領域からエッジ画素を抽出し、抽出した各エッジ画素の近傍を通過する直線を抽出し、抽出した各直線のうち二本ずつが略直交する四本の直線から構成される矩形の内、最も大きい矩形の領域を検出する。または、数値認識部121は、抽出した各エッジ画素が相互に連結するグループの内、最も面積が大きいグループで囲まれる領域を検出する。数値認識部121は、公知のOCR(Optical Character Recognition)技術を利用して、検出した各領域から1桁の数字を検出し、1桁の数字を検出できた場合、その領域を部分領域として検出する。
【0052】
なお、図5Bに示すように、入力画像500から検出されたメータ部分503には数値が適切に撮像されていない可能性がある。図5Bに示す画像520は、メータ部分503全体が不鮮明であり、数値部分と背景部分の輝度値又は色値の差が小さい画像を示す。画像520では、各矩形領域521〜524は部分領域として検出されない。図5Bに示す画像530は、メータの前面を覆うガラス部分に照明等の環境光が写り込むことにより、メータ部分503全体に外乱光が写り、全ての数値が識別できない画像を示す。画像530では、各矩形領域531〜534は部分領域として検出されない。図5Bに示す画像540は、メータ部分503の一部に外乱光が写り、外乱光が写っている数値が識別できない画像を示す。画像540では、各矩形領域541、543、544は部分領域として検出されるが、矩形領域542は部分領域として検出されない。図5Bに示す画像550は、メータ部分503の一部に影が写っており、影が写っている数値が誤って認識される画像を示す。画像550では、各矩形領域551〜554は部分領域として検出される。
【0053】
次に、数値認識部121は、検出した各部分領域に桁番号を割り当てる(ステップS204)。数値認識部121は、数値背景枠内の領域を、水平方向に、メータが示す数値の桁数で等分に分割し、右側の領域から昇順に桁番号を割り当てる(最も右側の領域から順に1、2、3、4の桁番号を割り当てる)。数値認識部121は、検出した各部分領域に、各部分領域の中心位置が含まれる領域に割り当てられた桁番号を割り当てる。
【0054】
次に、数値認識部121は、検出した各部分領域が数値認識処理で使用可能であるか否かを判定する(ステップS205)。数値認識部121は、各部分領域にボケ又はテカリが含まれるか否かにより、各部分領域が数値認識処理で使用可能であるか否かを判定する。ボケとは、撮像装置104の焦点ずれにより、画像内の各画素の輝度値の差が小さくなっている領域、又は、ユーザの手ぶれによって画像内の複数の画素に同一物が写り、画像内の各画素の輝度値の差が小さくなっている領域を意味する。テカリとは、外乱光等の影響により、画像内の所定領域の画素の輝度値が一定の値に飽和(白飛び)している領域を意味する。
【0055】
数値認識部121は、画像が入力された場合に、入力された画像にボケが含まれる度合いを示すボケ度を出力するように事前学習された識別器により、各部分領域にボケが含まれるか否かを判定する。この識別器は、例えばディープラーニング等により、メータを撮影し且つボケが含まれない画像を用いて事前学習され、予め記憶装置110に記憶される。なお、この識別器は、メータを撮影し且つボケが含まれる画像をさらに用いて事前学習されていてもよい。数値認識部121は、検出した部分領域を含む画像を識別器に入力し、識別器から出力されたボケ度が第3閾値以上であるか否かにより、部分領域にボケが含まれるか否かを判定する。
【0056】
または、数値認識部121は、部分領域に含まれる各画素の輝度値のエッジ強度に基づいて、各部分領域にボケが含まれるか否かを判定してもよい。数値認識部121は、部分領域内の画素の水平もしくは垂直方向の両隣の画素又はその画素から所定距離だけ離れた複数の画素の輝度値の差の絶対値を、その画素のエッジ強度として算出する。数値認識部121は、部分領域内の各画素について算出したエッジ強度の平均値が第4閾値以下であるか否かにより、部分領域にボケが含まれるか否かを判定する。
【0057】
または、数値認識部121は、部分領域に含まれる各画素の輝度値の分布に基づいて、各部分領域にボケが含まれるか否かを判定してもよい。数値認識部121は、部分領域内の各画素の輝度値のヒストグラムを生成し、数値(白色)を示す輝度値の範囲と、背景(黒色)を示す輝度値の範囲のそれぞれにおいて極大値を検出し、各極大値の半値幅の平均値を算出する。数値認識部121は、算出した各極大値の半値幅の平均値が第5閾値以上であるか否かにより、部分領域にボケが含まれるか否かを判定する。
【0058】
また、数値認識部121は、画像が入力された場合に、入力された画像にテカリが含まれる度合いを示すテカリ度を出力するように事前学習された識別器により、各部分領域にテカリが含まれるか否かを判定する。この識別器は、例えばディープラーニング等により、メータを撮影し且つテカリが含まれない画像を用いて事前学習され、予め記憶装置110に記憶される。なお、この識別器は、メータを撮影し且つテカリが含まれる画像をさらに用いて事前学習されていてもよい。数値認識部121は、検出した部分領域を含む画像を識別器に入力し、識別器から出力されたテカリ度が第6閾値以上であるか否かにより、部分領域にテカリが含まれるか否かを判定する。
【0059】
または、数値認識部121は、部分領域に含まれる各画素の輝度値に基づいて、各部分領域にテカリが含まれるか否かを判定してもよい。数値認識部121は、部分領域内の画素の内、輝度値が第7閾値以上(白色)である画素の数を算出し、算出した数が第8閾値以上であるか否かにより、部分領域にテカリが含まれるか否かを判定する。
【0060】
または、数値認識部121は、部分領域に含まれる各画素の輝度値の分布に基づいて、各部分領域にテカリが含まれるか否かを判定してもよい。数値認識部121は、部分領域内の各画素の輝度値のヒストグラムを生成し、第7閾値以上の領域に分布された画素の数が第8閾値以上であるか否かにより、部分領域にテカリが含まれるか否かを判定する。
【0061】
なお、上記した各閾値及び各範囲は、事前の実験により、予め設定される。
【0062】
次に、数値認識部121は、使用可能であると判定した部分領域の情報を記憶装置110の管理テーブルに記憶し(ステップS206)、一連のステップを終了する。
【0063】
図6は、管理テーブルのデータ構造の一例を示す図である。
【0064】
管理テーブルには、各入力画像について、各入力画像の識別情報(入力画像ID)、証拠用画像情報、部分領域情報及び桁値等の情報が関連付けて記憶される。入力画像IDは、入力画像毎に一意に割り当てられる。証拠用画像情報は、証拠用画像の格納先等を示す情報である。証拠用画像は、証拠画像として保存される画像であり、証拠用画像として、例えば入力画像から数値背景枠内の領域を切出した画像が使用される。証拠用画像は、入力画像の少なくとも一部の一例である。部分領域情報は、部分領域画像の格納先等を示す情報であり、各桁に対応する部分領域毎に記憶される。部分領域画像は、入力画像から部分領域を切出した画像である。桁値は、各部分領域において特定された桁値であり、各桁毎に記憶される。
【0065】
数値認識部121は、使用可能であると判定した各部分領域を入力画像から切出して部分領域画像を生成し、記憶装置110に記憶するとともに、その格納先を部分領域情報として管理テーブルに記憶する。なお、数値認識部121は、使用可能であると判定した各部分領域を入力画像から切出すのではなく、入力画像内における各部分領域の位置情報を部分領域情報として管理テーブルに記憶してもよい。
【0066】
また、数値認識部121は、入力画像内に、使用可能であると判定した部分領域が存在する場合、入力画像から数値背景枠内の領域を切出して証拠用画像を生成し、記憶装置110に記憶するとともに、その格納先を証拠用画像情報として管理テーブルに記憶する。なお、証拠用画像として、入力画像からプレート枠内の領域を切出した画像、又は、入力画像自体が使用されてもよい。その場合、数値認識部121は、入力画像からプレート枠内の領域を切出した画像、又は、入力画像自体を証拠用画像として記憶装置110に記憶し、その格納先を証拠用画像情報として管理テーブルに記憶する。
【0067】
図7は、数値認識処理の動作の例を示すフローチャートである。図7に示す動作のフローは、図3に示すフローチャートのステップS104において実行される。図7のステップS301〜S309の各処理は、数値認識処理で使用可能であると判定された各部分領域に対して実行される。即ち、図7のステップS301〜S309の各処理は、撮像装置104により順次生成された入力画像に写っているメータ内の数値の各桁毎に実行される。
【0068】
最初に、数値認識部121は、処理対象となる部分領域に割り当てられた桁番号の桁値が確定済みであるか否かを判定する(ステップS301)。
【0069】
その桁番号の桁値が確定済みである場合、数値認識部121は、ステップS310へ処理を移行する。一方、その桁番号の桁値が確定していない場合、数値認識部121は、部分領域に写っている桁値を特定する(ステップS302)。
【0070】
数値認識部121は、一桁の数値が写っている画像が入力された場合に、その画像に写っている数値を出力するように事前学習された識別器により、部分領域に写っている桁値を特定する。この識別器は、例えばディープラーニング等により、メータ内の各数値を撮影した複数の画像を用いて事前学習され、予め記憶装置110に記憶される。数値認識部121は、部分領域が含まれる画像を識別器に入力し、識別器から出力された数値を、部分領域に写っている桁値として特定する。なお、数値認識部121は、公知のOCR技術を利用して、部分領域に写っている桁値を特定してもよい。
【0071】
次に、数値認識部121は、特定した数値を整数化する(ステップS303)。一般に、メータは、側面に複数の数字が印字された円柱状のドラムを回転させることにより、測定した数値をプレート上に表示させる。したがって、ドラムが回転して印字された数字が移動しているときにメータが撮影されると、部分領域には複数の数値が含まれる可能性がある。そのため、識別器は、部分領域に複数の数値が含まれる場合、各数値が写っている領域に応じて、小数の数値を出力するように事前学習されている。数値認識部121は、識別器から出力された数値の小数部分を切り上げ、切り落とし、又は、四捨五入して、その数値を整数化する。
【0072】
次に、数値認識部121は、特定した数値を、記憶装置110の管理テーブルに、その部分領域に割り当てられた桁番号の桁値として記憶する(ステップS304)。
【0073】
次に、数値認識部121は、所定数(例えば10)以上の入力画像に対して数値認識処理が実行されたか否かを判定する(ステップS305)。
【0074】
まだ所定数以上の入力画像に対して数値認識処理が実行されていない場合、数値認識部121は、ステップS310へ処理を移行する。一方、所定数以上の入力画像に対して数値認識処理が実行された場合、数値認識部121は、直近の所定数の入力画像に対して特定した桁値の中の最頻値を特定する(ステップS306)。数値認識部121は、管理テーブルを参照し、処理対象となる部分領域に割り当てられた桁番号の直近の所定数の桁値の中で最も多く記憶されている桁値を最頻値として特定する。
【0075】
次に、数値認識部121は、所定数に対する特定した最頻値の(直近の所定数における)発生数の割合を算出する(ステップS307)。
【0076】
次に、数値認識部121は、算出した割合が第9閾値を超えるか否かを判定する(ステップS308)。第9閾値は、例えば50%に設定される。
【0077】
算出した割合が第9閾値を超えない場合、数値認識部121は、その最頻値はまだ信頼できる値でないとみなして、ステップS310へ処理を移行する。一方、算出した割合が第9閾値を超える場合、数値認識部121は、特定した最頻値を確定桁値として特定する(ステップS309)。このように、数値認識部121は、算出した割合が第9閾値を超える場合に限り桁値を確定させるため、認識する数値の信頼性をより高めることが可能となる。
【0078】
次に、数値認識部121は、検出した全ての部分領域に対して処理が完了したか否かを判定する(ステップS310)。
【0079】
まだ処理が完了していない部分領域が存在する場合、数値認識部121は、ステップS301へ処理を戻し、ステップS301〜S310の処理を繰り返す。一方、検出した全ての部分領域に対して処理が完了した場合、数値認識部121は、全ての桁番号の桁値が確定したか否かを判定する(ステップS311)。
【0080】
全ての桁番号の桁値がまだ確定していない場合、数値認識部121は、特に処理を実行せず、一連のステップを終了する。一方、全ての桁番号の桁値が確定した場合、数値認識部121は、全ての桁のそれぞれについて特定した確定桁値を組み合わせた数値を、メータ内の数値として認識し(ステップS312)、一連のステップを終了する。
【0081】
このように、数値認識部121は、順次生成された各入力画像に写っているメータ内の数値を桁毎に特定して集計し、集計結果に基づいて、メータ内の数値を認識する。数値認識部121は、特定の桁の数値を特定できない入力画像に対しても、他の桁の数値を特定して集計に利用するため、より少ない入力画像を用いて精度良くメータ内の数値を認識することができる。ユーザは、全ての桁を識別可能な入力画像が生成されるまでメータを撮像し続ける必要がなくなるため、画像処理装置100は、ユーザの利便性を向上させることが可能となる。
【0082】
なお、数値認識部121は、順次生成された各入力画像に写っているメータ内の数値を全桁まとめて特定して集計し、集計結果に基づいて、メータ内の数値を認識してもよい。
【0083】
また、ステップS305において、数値認識部121は、数値認識処理が実行された入力画像の数が所定数以上でなくても、桁値を確定可能な数以上であれば、ステップS306以降の処理を実行してもよい。例えば、所定数が10であり且つ第9閾値が50%である場合、数値認識処理が実行された入力画像の数が6つの時点で、各入力画像について特定された桁値が全て同一であれば、その桁値は最頻値となり、最頻値の発生数の割合は60%以上となる。そのような場合、数値認識部121は、数値認識処理が実行された入力画像の数が所定数以上でなくても、認識する数値を確定させてもよい。これにより、数値認識部121は、数値認識処理による認識時間を短縮させることが可能となる。
【0084】
図8は、証拠画像保存処理の動作の例を示すフローチャートである。図8に示す動作のフローは、図3に示すフローチャートのステップS106において実行される。
【0085】
最初に、判定部122は、数値認識部121が検出した全ての部分領域毎に、各部分領域が鮮明であるか否かを判定する(ステップS401)。なお、判定部122は、数値認識部121が特定した桁値が、数値認識部121が認識した数値において対応する桁値と一致する部分領域についてのみ、各部分領域が鮮明であるか否かを判定してもよい。
【0086】
部分領域が鮮明であるとは、部分領域に含まれる数値を認識可能であることを意味し、部分領域にボケ又はテカリが含まれないことを意味する。逆に、部分領域が不鮮明であるとは、部分領域に含まれる数値を認識できないことを意味し、部分領域にボケ又はテカリが含まれることを意味する。判定部122は、各部分領域にボケ又はテカリが含まれるか否かにより、各部分領域が鮮明であるか否かを判定する。
【0087】
判定部122は、ステップS205の処理と同様にして、メータを撮影し且つボケ又はテカリが含まれない画像を少なくとも用いて事前学習した識別器により、各部分領域にボケ又はテカリが含まれるか否かを判定する。または、判定部122は、ステップS205の処理と同様にして、各部分領域内の画像の輝度値に基づいて、各部分領域にボケ又はテカリが含まれるか否かを判定する。但し、判定部122は、ステップS205の処理よりも、各部分領域にボケ又はテカリが含まれると判定し易くする。即ち、判定部122は、第3閾値、第5閾値、第6閾値又は第8閾値をステップS205の処理で使用される値よりも小さくし、第4閾値をステップS205の処理で使用される値よりも大きくする。
【0088】
なお、判定部122は、ステップS205の処理と同一の判定基準に従って、各部分領域にボケ又はテカリが含まれるか否かを判定してもよい。その場合、判定部122は、ステップS205の処理における判定結果を用いて、各部分領域にボケ又はテカリが含まれるか否かを判定してもよい。これにより、判定部122は、判定処理による処理時間を短縮し、処理負荷を軽減させることができる。
【0089】
次に、制御部123は、全ての桁に対応する部分領域が鮮明であると判定された1枚の入力画像が存在するか否かを判定する(ステップS402)。
【0090】
全ての桁に対応する部分領域が鮮明であると判定された1枚の入力画像が存在する場合、制御部123は、その1枚の入力画像を選択する。制御部123は、選択されたその1枚の入力画像に対応する証拠用画像のみを証拠画像として、数値認識部121が認識した数値を関連付けて記憶装置110に記憶し(ステップS403)、一連のステップを終了する。
【0091】
一方、全ての桁に対応する部分領域が鮮明であると判定された入力画像が存在しない場合、制御部123は、対応する証拠用画像が証拠画像として使用される何れの入力画像においても、部分領域が鮮明であると判定されていない桁を特定する(ステップS404)。なお、ステップS404の処理が最初に実行されるときには、部分領域が鮮明であると判定されていない桁として全ての桁が特定される。
【0092】
次に、制御部123は、特定した桁について、鮮明であると判定された部分領域が最も多く含まれる入力画像を、対応する証拠用画像を証拠画像として使用する入力画像として選択する(ステップS405)。このように、制御部123は、各桁毎に、各桁に対応する部分領域が鮮明であると判定された入力画像を選択する。
【0093】
次に、制御部123は、選択した何れの入力画像においても、部分領域が鮮明であると判定されていない桁が残っているか否かを判定する(ステップS406)。
【0094】
部分領域が鮮明であると判定されていない桁が残っている場合、制御部123は、ステップS404へ処理を戻し、部分領域が鮮明であると判定されていない桁を再度特定する。一方、部分領域が鮮明であると判定されていない桁が残っていない場合、制御部123は、ステップS405で選択した複数の入力画像のそれぞれに対応する証拠用画像を証拠画像として記憶装置110に記憶する(ステップS407)。そして、制御部123は、一連のステップを終了する。制御部123は、各証拠画像を、数値認識部121が認識した数値を関連付けて記憶装置110に記憶する。
【0095】
図9は、記憶装置110に保存される証拠画像の組合せについて説明する図である。
【0096】
図9の組合せ1は、入力画像1において全ての桁(桁1〜桁4)に対応する部分領域が鮮明であると判定された場合の組合せを示す。この場合、入力画像1の証拠用画像が証拠画像として用いられる。組合せ2は、全ての桁(桁1〜桁4)に対応する部分領域が鮮明であると判定された入力画像が存在せず、入力画像1において3桁(桁1〜桁3)に対応する部分領域のみが鮮明であると判定された場合の組合せを示す。この場合、入力画像1の証拠用画像と、入力画像1において鮮明であると判定されていない桁4に対応する部分領域が鮮明であると判定された入力画像2の証拠用画像とが、証拠画像として用いられる。
【0097】
組合せ3、4は、3桁に対応する部分領域が鮮明であると判定された入力画像が存在せず、入力画像1において2桁(桁1、桁2)に対応する部分領域のみが鮮明であると判定された場合の組合せを示す。組合せ3は、入力画像1において鮮明であると判定されていない桁3、桁4に対応する部分領域が入力画像2において鮮明であると判定された場合の組合せを示す。この場合、入力画像1の証拠用画像と、入力画像2の証拠用画像とが、証拠画像として用いられる。一方、組合せ4は、入力画像1において鮮明であると判定されていない桁3、桁4に対応する部分領域が鮮明であると判定された入力画像が存在しない場合の組合せを示す。この場合、入力画像1の証拠用画像と、桁3に対応する部分領域が鮮明であると判定された入力画像2の証拠用画像と、桁4に対応する部分領域が鮮明であると判定された入力画像3の証拠用画像とが、証拠画像として用いられる。
【0098】
組合せ5は、2桁に対応する部分領域が鮮明であると判定された入力画像が存在しない場合の組合せを示す。この場合、桁1〜4のそれぞれに対応する部分領域が鮮明であると判定された入力画像1〜4の証拠用画像が証拠画像として用いられる。
【0099】
このように、制御部123は、全ての桁に対応する部分領域のそれぞれについて、鮮明であると判定された入力画像の内の何れかの入力画像に対応する証拠用画像を、それぞれ証拠画像として使用する。特に、制御部123は、証拠用画像が証拠画像として使用される入力画像において、鮮明であると判定されなかった部分領域を補完する他の入力画像の証拠用画像を証拠画像として使用する。これにより、制御部123は、全ての部分領域が鮮明であると判定された入力画像が存在しなくても、証拠能力を有する複数の画像を記憶しておくことにより、証拠画像として適切な画像を効率良く記憶することが可能となる。ユーザは、全ての部分領域が鮮明であると判定された入力画像が生成されるまで、メータを撮影し続ける必要がなくなり、画像処理装置100は、ユーザの利便性を向上させることが可能となる。また、画像処理装置100は、数値認識処理に使用した全ての入力画像に関する画像を保存しておく必要がなく、記憶装置110の記憶容量の削減を図ることも可能となる。
【0100】
なお、部分領域が数値認識処理で使用可能であるか否の判定基準と、鮮明であるか否かの判定基準が異なる場合、数値認識部121がメータ内の数値を認識した後も、全ての桁に対応する各部分領域が鮮明である証拠画像が揃わない可能性がある。その場合、制御部123は、数値認識部121がメータ内の数値を認識した後も、全ての桁に対応する各部分領域が鮮明である証拠画像が揃うまで、撮像装置104にメータを撮像させて入力画像を生成させ続けてもよい。数値認識部121は、メータ内の数値を認識済みであるため、メータ内の数値の集計を停止するが、制御部123は、新たに生成された入力画像について各部分領域が鮮明であるか否かの判定を継続する。制御部123は、全ての桁に対応する各部分領域が鮮明である証拠画像が揃った場合に、撮像装置104にメータの撮像を停止させて、証拠画像保存処理を終了する。これにより、画像処理装置100は、より確実に目視により識別可能な証拠画像を取得することが可能となる。
【0101】
また、制御部123は、数値認識部121がメータ内の数値を認識してから所定時間以内に、全ての桁に対応する各部分領域が鮮明である証拠画像が揃わなかった場合、ユーザによるメータの撮影の停止を指示する撮影停止指示を受け付けてもよい。その場合、制御部123は、ユーザからの撮影停止指示を受け付けるためのボタン等の表示データを表示装置103に表示する。制御部123は、ユーザにより、入力装置102を用いてそのボタンがタップされて撮影停止指示が入力され、入力装置102から撮影停止指示信号を受信すると、撮影停止指示を受け付ける。
【0102】
制御部123は、撮影停止指示を受け付けた場合、各桁毎に、各桁に対応する部分領域の中から、最も鮮明であると判定された部分領域を選択し、選択した各部分領域を含む各入力画像の証拠用画像を証拠画像として使用する。制御部123は、例えば、各識別器が出力するボケ度が最も小さい部分領域、エッジ強度の平均値が最も大きい部分領域、又は、半値幅の平均値が最も小さい部分領域を、最も鮮明である部分領域として選択する。または、制御部123は、各識別器が出力するテカリ度が最も小さい部分領域、又は、輝度値が第7閾値以上である画素の数もしくはヒストグラムの第7閾値以上の領域に分布された画素の数が最も少ない部分領域を、最も鮮明である部分領域として選択する。ユーザは、所定時間以内に鮮明な証拠画像が取得されなかった場合に、それまでに取得された画像の中で最も鮮明な画像を確認することができ、その画像をそのまま証拠画像として使用するかメータを撮影しなおすかを判断することが可能となる。
【0103】
以上詳述したように、画像処理装置100は、メータ内の数値の各桁毎に、各桁に対応する部分領域が鮮明であると判定された入力画像に対応する証拠用画像を証拠画像として記憶する。これにより、画像処理装置100は、証拠画像として適切な画像を効率良く記憶することが可能となった。
【0104】
図10は、他の実施形態に係る画像処理装置における処理回路230の概略構成を示すブロック図である。
【0105】
処理回路230は、画像処理装置100の処理回路130の代わりに用いられ、CPU120の代わりに、全体処理を実行する。処理回路230は、数値認識回路231、判定回路232及び制御回路233等を有する。
【0106】
数値認識回路231は、数値認識部の一例であり、数値認識部121と同様の機能を有する。数値認識回路231は、撮像装置104からメータを撮影した入力画像を順次取得し、記憶装置110に順次記憶する。また、数値認識回路231は、各入力画像に写っているメータ内の数値を特定して集計し、集計結果に基づいてメータ内の数値を認識し、認識結果を記憶装置110に記憶する。
【0107】
判定回路232は、判定部の一例であり、判定部122と同様の機能を有する。判定回路232は、メータ内の数値の各桁に対応する部分領域毎に、各部分領域が鮮明であるか否かを判定し、判定結果を制御回路233に出力する。
【0108】
制御回路233は、制御部の一例であり、制御部123と同様の機能を有する。制御回路233は、各桁毎に、各桁に対応する部分領域が鮮明であると判定された入力画像を選択し、選択された入力画像に対応する証拠用画像を証拠画像として数値認識回路231が認識した数値を関連付けて記憶装置110に記憶する。
【0109】
以上詳述したように、画像処理装置100は、処理回路230を用いる場合においても、証拠画像として適切な画像を効率良く記憶することが可能となった。
【0110】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、部分領域検出処理、数値認識処理又は証拠画像保存処理で使用される各識別器は、記憶装置110に記憶されているのではなく、サーバ装置等の外部装置に記憶されていてもよい。その場合、数値認識部121は、通信装置101を介してサーバ装置に、各画像を送信し、サーバ装置から各識別器が出力する識別結果を受信して取得する。
【0111】
また、画像処理装置100は、携帯可能な情報処理装置に限定されず、例えば、メータを撮像可能に設置された定点カメラ等でもよい。
【符号の説明】
【0112】
100 画像処理装置
104 撮像装置
110 記憶装置
121 数値認識部
122 判定部
123 制御部
図1
図2
図3
図4
図5A
図5B
図6
図7
図8
図9
図10