IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 凸版印刷株式会社の特許一覧

特許7484251画像解析装置、画像解析方法、及びプログラム
<>
  • 特許-画像解析装置、画像解析方法、及びプログラム 図1
  • 特許-画像解析装置、画像解析方法、及びプログラム 図2
  • 特許-画像解析装置、画像解析方法、及びプログラム 図3
  • 特許-画像解析装置、画像解析方法、及びプログラム 図4
  • 特許-画像解析装置、画像解析方法、及びプログラム 図5
  • 特許-画像解析装置、画像解析方法、及びプログラム 図6
  • 特許-画像解析装置、画像解析方法、及びプログラム 図7
  • 特許-画像解析装置、画像解析方法、及びプログラム 図8
  • 特許-画像解析装置、画像解析方法、及びプログラム 図9
  • 特許-画像解析装置、画像解析方法、及びプログラム 図10
  • 特許-画像解析装置、画像解析方法、及びプログラム 図11
  • 特許-画像解析装置、画像解析方法、及びプログラム 図12
  • 特許-画像解析装置、画像解析方法、及びプログラム 図13
  • 特許-画像解析装置、画像解析方法、及びプログラム 図14
  • 特許-画像解析装置、画像解析方法、及びプログラム 図15
  • 特許-画像解析装置、画像解析方法、及びプログラム 図16
  • 特許-画像解析装置、画像解析方法、及びプログラム 図17
  • 特許-画像解析装置、画像解析方法、及びプログラム 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-08
(45)【発行日】2024-05-16
(54)【発明の名称】画像解析装置、画像解析方法、及びプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20240509BHJP
   G06T 1/00 20060101ALI20240509BHJP
   G08C 19/36 20060101ALI20240509BHJP
   G08C 19/00 20060101ALI20240509BHJP
【FI】
G06T7/00 610
G06T1/00 300
G08C19/36
G08C19/00 301G
【請求項の数】 11
(21)【出願番号】P 2020043026
(22)【出願日】2020-03-12
(65)【公開番号】P2021144494
(43)【公開日】2021-09-24
【審査請求日】2023-02-22
(73)【特許権者】
【識別番号】000003193
【氏名又は名称】TOPPANホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】夏堀 智子
(72)【発明者】
【氏名】中村 晃昌
(72)【発明者】
【氏名】川端 新伍
【審査官】長谷川 素直
(56)【参考文献】
【文献】特開2017-126187(JP,A)
【文献】特開2006-309405(JP,A)
【文献】特開2003-065812(JP,A)
【文献】特開2011-081715(JP,A)
【文献】特開平07-065152(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G06T 1/00
G08C 19/00
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
指針によって指示値が示されるメータが撮像された撮像画像を2値化した第1の2値化画像を生成し、前記第1の2値化画像における前記指針を示す画素の分布に関するヒストグラムを2値化した第2の2値化画像を生成する画像処理部と、
前記第2の2値化画像に基づき、前記指針が前記指示値を指している指針位置を特定し、前記指針位置における前記指示値を取得する画像解析部と、
を備える、画像解析装置。
【請求項2】
前記メータが、前記指針が回転可能に設けられた円形メータである場合、
前記画像解析部は、前記第2の2値化画像に基づき、前記指示値を指している前記指針の先端側の位置と、前記指示値を指していない前記指針の末端側の位置とを判定し、前記指針の先端側の位置を前記指針位置と特定する、請求項1に記載の画像解析装置。
【請求項3】
前記画像解析部は、前記第1の2値化画像において前記指針を示す画素ごとに角度を算出し、前記角度の分布を示すヒストグラムを生成する、請求項2に記載の画像解析装置。
【請求項4】
前記メータが、エッジワイズメータである場合、
前記画像解析部は、前記第2の2値化画像に基づき、前記エッジワイズメータにおける前記指針の位置を特定する、請求項1に記載の画像解析装置。
【請求項5】
前記画像解析部は、前記第1の2値化画像において前記指針を示す画素ごとに前記メータにおける位置を取得し、前記位置の分布を示すヒストグラムを生成する、請求項4に記載の画像解析装置。
【請求項6】
軸に沿って移動可能なフロートによって指示値が示されるメータが撮像された撮像画像を2値化した第1の2値化画像を生成し、前記第1の2値化画像における前記軸を示す画素の画素値と、前記第1の2値化画像における前記軸に対して平行な所定のライン上の画素の画素値とに基づく第2の2値化画像を生成する画像処理部と、
前記第2の2値化画像に基づき、前記フロートの位置を特定し、前記フロートの位置における前記指示値を取得する画像解析部と、
を備える、画像解析装置。
【請求項7】
前記画像解析部は、前記第2の2値化画像において、前記第1の2値化画像において前記フロートを示す画素の画素値と同じ画素値の画素で構成される領域の内、予め定められた前記軸の方向におけるフロートサイズに対応する大きさの領域を、前記フロートを示す領域として特定する、請求項6に記載の画像解析装置。
【請求項8】
画像処理部が、指針によって指示値が示されるメータが撮像された撮像画像を2値化した第1の2値化画像を生成し、前記第1の2値化画像における前記指針を示す画素の分布に関するヒストグラムを2値化した第2の2値化画像を生成することと、
画像解析部が、前記第2の2値化画像に基づき、前記指針が前記指示値を指している指針位置を特定し、前記指針位置における前記指示値を取得することと、
を含む、画像解析方法。
【請求項9】
コンピュータを、
指針によって指示値が示されるメータが撮像された撮像画像を2値化した第1の2値化画像を生成し、前記第1の2値化画像における前記指針を示す画素の分布に関するヒストグラムを2値化した第2の2値化画像を生成する画像処理部と、
前記第2の2値化画像に基づき、前記指針が前記指示値を指している指針位置を特定し、前記指針位置における前記指示値を取得する画像解析部と、
として機能させる、プログラム。
【請求項10】
画像処理部が、軸に沿って移動可能なフロートによって指示値が示されるメータが撮像された撮像画像を2値化した第1の2値化画像を生成し、前記第1の2値化画像における前記軸を示す画素の画素値と、前記第1の2値化画像における前記軸に対して平行な所定のライン上の画素の画素値とに基づく第2の2値化画像を生成することと、
画像解析部が、前記第2の2値化画像に基づき、前記フロートの位置を特定し、前記フロートの位置における前記指示値を取得することと、
を含む、画像解析方法。
【請求項11】
コンピュータを、
軸に沿って移動可能なフロートによって指示値が示されるメータが撮像された撮像画像を2値化した第1の2値化画像を生成し、前記第1の2値化画像における前記軸を示す画素の画素値と、前記第1の2値化画像における前記軸に対して平行な所定のライン上の画素の画素値とに基づく第2の2値化画像を生成する画像処理部と、
前記第2の2値化画像に基づき、前記フロートの位置を特定し、前記フロートの位置における前記指示値を取得する画像解析部と、
として機能させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像解析装置、画像解析方法、及びプログラムに関する。
【背景技術】
【0002】
従来、各種メータが有する指示部に示される指示値を認識する技術が各種提案されている。
【0003】
例えば、下記特許文献1には、指針によって指示値が示される指示部を有するメータであって、当該メータの指示部が撮像された撮像画像に対して画像認識処理を行うことで、指示部に示された指示値を認識する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2011-81715号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1には、指針によって指示値が示される指示部を有するメータにおける指示値を認識するための画像認識処理のみが開示されている。しかしながら、メータには、指針によって指示値が示される指示部を有するメータ以外にも、多様な種類のメータが存在する。そこで、メータの種類に応じた画像解析により、各メータの指示値をより精度高く取得できることが望ましい。
【0006】
上述の課題を鑑み、本発明の目的は、メータの種類に応じた画像解析によって各種メータの指示値を精度高く取得することが可能な画像解析装置、画像解析方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上述の課題を解決するために、本発明の一態様に係る画像解析装置は、指針によって指示値が示されるメータが撮像された撮像画像を2値化した第1の2値化画像を生成し、前記第1の2値化画像における前記指針を示す画素の分布に関するヒストグラムを2値化した第2の2値化画像を生成する画像処理部と、前記第2の2値化画像に基づき、前記指針が前記指示値を指している指針位置を特定し、前記指針位置における前記指示値を取得する画像解析部と、を備える。
【0008】
本発明の一態様に係る画像解析方法は、画像処理部が、指針によって指示値が示されるメータが撮像された撮像画像を2値化した第1の2値化画像を生成し、前記第1の2値化画像における前記指針を示す画素の分布に関するヒストグラムを2値化した第2の2値化画像を生成することと、画像解析部が、前記第2の2値化画像に基づき、前記指針が前記指示値を指している指針位置を特定し、前記指針位置における前記指示値を取得することと、を含む。
【0009】
本発明の一態様に係るプログラムは、コンピュータを、指針によって指示値が示されるメータが撮像された撮像画像を2値化した第1の2値化画像を生成し、前記第1の2値化画像における前記指針を示す画素の分布に関するヒストグラムを2値化した第2の2値化画像を生成する画像処理部と、前記第2の2値化画像に基づき、前記指針が前記指示値を指している指針位置を特定し、前記指針位置における前記指示値を取得する画像解析部と、として機能させる。
【0010】
また、上述の課題を解決するために、本発明の一態様に係る画像解析装置は、軸に沿って移動可能なフロートによって指示値が示されるメータが撮像された撮像画像を2値化した第1の2値化画像を生成し、前記第1の2値化画像における前記軸を示す画素の画素値と、前記第1の2値化画像における前記軸に対して平行な所定のライン上の画素の画素値とに基づく第2の2値化画像を生成する画像処理部と、前記第2の2値化画像に基づき、前記フロートの位置を特定し、前記フロートの位置における前記指示値を取得する画像解析部と、を備える。
【0011】
本発明の一態様に係る画像解析方法は、画像処理部が、軸に沿って移動可能なフロートによって指示値が示されるメータが撮像された撮像画像を2値化した第1の2値化画像を生成し、前記第1の2値化画像における前記軸を示す画素の画素値と、前記第1の2値化画像における前記軸に対して平行な所定のライン上の画素の画素値とに基づく第2の2値化画像を生成することと、画像解析部が、前記第2の2値化画像に基づき、前記フロートの位置を特定し、前記フロートの位置における前記指示値を取得することと、を含む。
【0012】
本発明の一態様に係るプログラムは、コンピュータを、軸に沿って移動可能なフロートによって指示値が示されるメータが撮像された撮像画像を2値化した第1の2値化画像を生成し、前記第1の2値化画像における前記軸を示す画素の画素値と、前記第1の2値化画像における前記軸に対して平行な所定のライン上の画素の画素値とに基づく第2の2値化画像を生成する画像処理部と、前記第2の2値化画像に基づき、前記フロートの位置を特定し、前記フロートの位置における前記指示値を取得する画像解析部と、として機能させる。
【発明の効果】
【0016】
本発明によれば、メータの種類に応じた画像解析によって各種メータの指示値を精度高く取得することができる。
【図面の簡単な説明】
【0017】
図1】本実施形態に係る画像解析システムの構成の一例を示すブロック図である。
図2】本実施形態に係る撮像制御端末の機能構成の一例を示すブロック図である。
図3】本実施形態に係る画像解析端末の機能構成の一例を示すブロック図である。
図4】本実施形態に係る画像解析端末における処理の流れの一例を示すフローチャートである。
図5】本実施形態に係る7セグメータのメータ画像に対するHSVマスキングの一例を示す図である。
図6】本実施形態に係る7セグメータに対する解析処理の流れの一例を示すフローチャートである。
図7】本実施形態に係る円形メータのメータ画像に対するHSVマスキングの一例を示す図である。
図8】本実施形態に係る円形メータのメータ画像の2値化画像に対するノイズ除去の一例を示す図である。
図9】本実施形態に係る円形メータのメータ画像の2値化画像に基づく角度情報のヒストグラム化の一例を示す図である。
図10】本実施形態に係る角度情報のヒストグラムの2値化の一例を示す図である。
図11】本実施形態に係る円形メータに対する解析処理の流れの一例を示すフローチャートである。
図12】本実施形態に係るエッジワイズメータのメータ画像に対するHSVマスキングの一例を示す図である。
図13】本実施形態に係るエッジワイズメータのメータ画像の2値化画像に基づく位置情報のヒストグラム化の一例を示す図である。
図14】本実施形態に係る位置情報のヒストグラムの2値化の一例を示す図である。
図15】本実施形態に係るエッジワイズメータに対する解析処理の流れの一例を示すフローチャートである。
図16】本実施形態に係るフロートメータのメータ画像に対する2値化の一例を示す図である。
図17】本実施形態に係る特徴値画像の生成の一例を示す図である。
図18】本実施形態に係るフロートメータに対する解析処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0018】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
【0019】
<1.画像解析システムの構成>
まず、図1を参照して、本実施形態に係る画像解析システムの構成の一例について説明する。図1は、本実施形態に係る画像解析システム1の構成の一例を示すブロック図である。画像解析システム1は、図1に示す撮像装置2、撮像制御端末4、及び画像解析端末5で構成される。
【0020】
撮像装置2は、メータ3(3-1~3-n(nは自然数))を撮像した撮像画像を取得する装置(例えばカメラ)である。撮像領域20は、撮像装置2が撮像可能な領域である。本実施形態に係る撮像装置2は、撮像領域20に複数のメータ3が含まれるように設けられる。なお、撮像領域20に含まれるメータ3の数は、特に限定されない。アライメントマーカ30は、撮像画像の正対補正に用いられるマーカである。撮像領域20には、複数のアライメントマーカ30が含まれてもよい。
【0021】
メータ3は、多様なメータを含む。例えば、メータ3は、7セグメントディスプレイによって指示値が示される指示部を有するメータ(以下、「7セグメータ」とも称される)である。7セグメントディスプレイでは、7つのセグメントの組み合わせによって1つの文字が表示される。当該文字には、数字、アルファベット、及び記号が含まれる。
【0022】
また、メータ3は、指針によって指示値が示される指示部を有するメータ(以下、「指針メータ」とも称される)であってもよい。指針メータの一例として、円形メータ、エッジワイズメータ等が挙げられる。
【0023】
指針メータの指針は、規制された方向に移動し得る。例えば、平面上において中心軸を基準に、第1の方向または第2の方向のいずれか一方に移動する。これにより、指針メータの指針は、指示値を指し示す。例えば、円形メータの指針は、中心軸を基準に、時計回り方向(第1の方向)又は反時計回り方向(第2の方向)に移動する。
【0024】
なお、本実施形態の指針メータの文字盤は固定されており、指針が動くタイプのメータであるとする。なお、かかる例に限定されず、指針メータは文字盤が動くタイプのものであってもよい。
【0025】
また、メータ3は、フロートによって指示値が示される指示部を有するメータ(以下、「フロートメータ」とも称される)であってもよい。フロートメータのフロートは、規制された方向に移動し得る。例えば、フロートは、軸に沿って第1の方向または第2の方向のいずれか一方に移動する。これにより、フロートメータのフロートは、指示値を指し示す。
【0026】
撮像制御端末4は、撮像装置2に関する制御を行う端末である。撮像制御端末4は、例えば、PC(パーソナルコンピュータ)等の端末である。撮像装置2に関する制御は、例えば、撮像装置2がメータ3を撮像するタイミングの制御である。
【0027】
画像解析端末5は、撮像装置2が撮像した撮像画像を解析する端末である。画像解析端末5は、本実施形態に係る画像解析装置である。画像解析端末5は、例えば、PC等の端末である。画像解析端末5は、撮像画像の解析により、メータ3の指示部に示された指示値を取得する。
【0028】
撮像装置2と撮像制御端末4は、互いに通信可能に接続される。例えば、撮像装置2と撮像制御端末4は、信号ケーブルによって接続され、有線による通信を行う。撮像装置2は、当該通信により、撮像画像を撮像制御端末4へ送信し、撮像制御端末4から制御信号を受信する。撮像制御端末4は、当該通信により、制御信号を撮像装置2へ送信し、撮像装置2から撮像画像を受信する。なお、撮像装置2と撮像制御端末4は、無線による通信を行ってもよい。
【0029】
撮像制御端末4と画像解析端末5は、互いに通信可能に接続される。例えば、撮像装置2と撮像制御端末4は、ネットワークNWを介して接続され、有線または無線による通信を行う。撮像制御端末4は、当該通信により、撮像画像を画像解析端末5へ送信する。画像解析端末5は、当該通信により、撮像制御端末4から撮像画像を受信する。
【0030】
<2.撮像制御端末4の機能構成>
以上、本実施形態に係る画像解析システム1の構成の一例について説明した。続いて、図2を参照して、本実施形態に係る撮像制御端末4の機能構成の一例について説明する。図2は、本実施形態に係る撮像制御端末4の機能構成の一例を示すブロック図である。図2に示すように、撮像制御端末4は、通信部410、制御部420、記憶部430、及び出力部440を備える。
【0031】
通信部410は、各種情報の送受信を行う機能を有する。例えば、通信部410は、撮像装置2へ制御信号を送信し、撮像装置2から撮像画像を受信する。通信部410は、受信した撮像画像を制御部420へ出力する。また、通信部410は、制御部420から入力される撮像画像を、画像解析端末5へ送信する。
【0032】
制御部420は、撮像制御端末4の動作全体を制御する。制御部420、撮像制御端末4がハードウェアとして備えるCPU(Central Processing Unit)にプログラムを実行させることによって実現される。図2に示すように、制御部420は、撮像制御部4202及び出力処理部4204を備える。
【0033】
撮像制御部4202は、撮像装置2がメータ3を撮像するタイミングを制御する。撮像制御部4202は、撮像装置2にメータ3を撮像させるための制御信号を通信部410に撮像装置2へ送信させる。
【0034】
出力処理部4204は、撮像制御端末4における出力を制御する。例えば、出力処理部4204は、撮像画像を通信部410へ出力し、画像解析端末5へ送信させる。また、出力処理部4204は、撮像画像を記憶部430へ出力し、記憶させてもよい。また、出力処理部4204は、撮像画像を出力部440へ出力し、表示させてもよい。
【0035】
記憶部430は、記憶媒体、例えば、HDD(Hard Disk Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、RAM(Random Access read/write Memory)、ROM(Read Only Memory)、またはこれらの記憶媒体の任意の組み合わせによって構成される。記憶部430は、例えば、不揮発性メモリを用いることができる。
記憶部430は、各種情報を記憶する。各種情報は、例えば、出力処理部4204から入力される撮像画像である。
【0036】
出力部440は、例えば、ディスプレイ等の表示装置である。
出力部440は、各種情報を出力する。各種情報は、例えば、出力処理部4204から入力される撮像画像である。
【0037】
<3.画像解析端末5の機能構成>
以上、本実施形態に係る撮像制御端末4の機能構成の一例について説明した。続いて、図3を参照して、本実施形態に係る画像解析端末5の機能構成の一例について説明する。図3は、本実施形態に係る画像解析端末5の機能構成の一例を示すブロック図である。図3に示すように、画像解析端末5は、通信部510、制御部520、記憶部530、及び出力部540を備える。
【0038】
通信部510は、各種情報の送受信を行う機能を有する。例えば、通信部510は、撮像制御端末4から送信される撮像画像を受信する。通信部510は、受信した撮像画像を制御部520へ出力する。
【0039】
制御部520は、画像解析端末5の動作全体を制御する。制御部520、画像解析端末5がハードウェアとして備えるCPU(Central Processing Unit)にプログラムを実行させることによって実現される。図3に示すように、制御部520は、補正部5202、判定部5204、画像処理部5206、画像解析部5208、及び出力処理部5210を備える。
【0040】
補正部5202は、通信部510から入力された撮像画像に対して補正処理を行う。例えば、補正部5202は、撮像画像内のアライメントマーカ30に基づき、撮像画像に対して正対補正を行う。
【0041】
具体的に、まず、補正部5202は、撮像画像から複数のアライメントマーカ30を検出する。補正部5202は、検出した複数のアライメントマーカ30間の距離を算出した上で、複数のアライメントマーカ30間の距離の縦横比を算出する。補正部5202は、算出した縦横比に基づき、撮像画像が正対画像となるように、撮像画像に対して台形補正を行う。
【0042】
これにより、補正部5202は、正対画像となった撮像画像を取得することができる。補正部5202は、正対補正後の撮像画像を判定部5204へ出力する。
【0043】
また、補正部5202は、後述する解析処理において、撮像画像から各メータの領域を切り取ったメータ画像ごとに、歪み補正を行ってもよい。例えば、補正部5202は、メータ画像に対して、ユーザによってあらかじめ用意された歪み補正用の補正マトリクスを適用する。歪み補正により、メータ画像の歪みが補正される。補正部5202は、歪み補正後のメータ画像を画像解析部5208へ出力する。後述する画像解析部5208は、補正部5202が歪み補正を行ったメータ画像を用いて解析処理を行うことで、解析処理における解析精度を向上することができる。
【0044】
また、補正部5202は、後述する解析処理において、メータ画像ごとに拡大処理を行ってもよい。一例として、補正部5202は、メータ画像の画素数が所定の閾値以上であるか否かを判定し、判定結果に応じて各メータ画像に対して拡大処理を行う。拡大処理の一例として、メータ画像のサイズが300画素四方の画像よりも小さい場合、即ち、所定の閾値が90000画素(300画素×300画素)以上でない場合、補正部5202は、メータ画像に対して拡大処理を行う。なお、所定の閾値の値はかかる例に限定されず、任意の値が設定されてよい。
【0045】
また、補正部5202は、後述する解析処理において、メータ画像ごとにバイリニア補完を行ってもよい。例えば、補正部5202は、拡大処理後のメータ画像に対してバイリニア補完を行う。バイリニア補完により、補正部5202は、バイリニア補完前よりもなめらかに表現されたメータ画像を得ることができる。補正部5202は、バイリニア補完後のメータ画像を画像解析部5208へ出力する。後述する画像解析部5208は、補正部5202がバイリニア補完を行ったメータ画像を用いて解析処理を行うことで、解析処理における解析精度を向上することができる。
【0046】
判定部5204は、メータ3の種類を判定する。例えば、判定部5204は、メータ画像とメータ情報とに基づき、メータ3の種類をメータ画像ごとに判定する。メータ情報には、例えば、メータ3の種類ごとの特徴を示す情報が含まれる。一例として、判定部5204は、メータ画像ごとに画像認識処理を行って得られた指示部ごとの特徴と、メータ情報とを比較してメータ3の種類を判定する。判定部5204は、判定結果を画像解析部5208へ出力する。
【0047】
画像処理部5206は、各種処理に応じた画像処理を行う。例えば、画像処理部5206は、補正部5202の補正処理、判定部5204の判定処理、及び画像解析部5208の解析処理等で用いられるメータ画像を生成する。具体的に、画像処理部5206は、撮像画像から各メータ3の領域を切り取り、撮像画像に写るメータ3ごとにメータ画像を生成する。画像処理部5206は、生成したメータ画像を補正部5202へ出力する。
【0048】
また、画像処理部5206は、画像解析部5208の解析処理に関する画像処理を行う。なお、解析処理に関する画像処理の詳細は、後述される。
【0049】
画像解析部5208は、判定結果に基づき、メータ画像に対してメータ3の種類に応じた解析処理を行い、複数のメータ3の各々の指示値を取得する。メータ3の種類ごとの解析処理の詳細は後述する。画像解析部5208は、取得した指示値を出力処理部5210へ出力する。
【0050】
出力処理部5210は、画像解析端末5における処理で得られる情報に関する出力処理を行う。例えば、出力処理部5210は、画像解析部5208が解析処理によって取得した指示値を記憶部530へ出力し、記憶させる。
【0051】
また、出力処理部5210は、通信部510が撮像制御端末4から受信した撮像画像を記憶部530へ出力し、記憶させる。撮像画像は、例えば、アーカイブとして記憶部530に記憶される。なお、出力処理部5210は、撮像画像を出力部540へ出力し、表示させてもよい。
【0052】
記憶部530は、記憶媒体、例えば、HDD(Hard Disk Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、RAM(Random Access read/write Memory)、ROM(Read Only Memory)、またはこれらの記憶媒体の任意の組み合わせによって構成される。記憶部530は、例えば、不揮発性メモリを用いることができる。
記憶部530は、各種情報を記憶する。各種情報は、例えば、出力処理部5210から入力される指示値または撮像画像である。
【0053】
出力部540は、例えば、ディスプレイ等の表示装置である。
出力部540は、各種情報を出力する。各種情報は、例えば、出力処理部5210から入力される撮像画像である。
【0054】
<4.処理の流れ>
以上、本実施形態に係る画像解析端末5の機能構成の一例について説明した。続いて、図4を参照して、本実施形態に係る画像解析端末5における処理の流れの一例について説明する。図4は、本実施形態に係る画像解析端末5における処理の流れの一例を示すフローチャートである。
【0055】
図4に示すように、まず、画像解析端末5は、撮像制御端末4から撮像画像を受信する(S102)。
【0056】
画像解析端末5は、受信した撮像画像から複数のアライメントマーカ30を検出する(S104)。画像解析端末5は、複数のアライメントマーカ30に基づき、撮像画像に対して正対補正を行う(S106)。
【0057】
画像解析端末5は、正対補正後の撮像画像から各メータ3の領域を切り取り、メータ3ごとにメータ画像を生成する(S108)。
【0058】
画像解析端末5は、生成したメータ画像とメータ情報とに基づき、メータ画像に写るメータ3の種類の判定を行う(S110)。
【0059】
画像解析端末5は、判定したメータ3の種類に応じて、メータ画像に対して解析処理を行い、各メータ3における指示値を取得する(S112)。なお、解析処理の詳細は、後述される。
【0060】
画像解析端末5は、取得した指示値に関する出力処理を行う(S114)。例えば、画像解析端末5は、受信した撮像画像と取得した指示値を記憶部530へ出力し、記憶させる。
【0061】
<5.具体例>
以上、本実施形態に係る画像解析端末5における処理の流れの一例について説明した。続いて、図5図18を参照して、本実施形態に係る具体例について説明する。上述したように、画像解析端末5は、メータ3の種類に応じた解析処理を行い、メータ3の指示値を取得する。以下では、メータ3の種類に応じた解析処理の具体例について詳細に説明する。
【0062】
(1)第1の具体例
第1の具体例では、図5及び図6を参照して、メータ3が7セグメータである場合の解析処理の一例について説明する。まず、メータ3が7セグメータである場合に、補正部5202、画像処理部5206、及び画像解析部5208が解析処理にて行う処理の詳細について説明する。
【0063】
(補正部5202の処理)
補正部5202は、例えば、7セグメータのメータ画像に対して歪み補正を行う。また、補正部5202は、歪み補正後の7セグメータのメータ画像に対して、バイリニア補完を行う。
【0064】
なお、7セグメントディスプレイには、指示値の各文字が斜体で表示されるタイプのものや、指示値に小数点が含まれるタイプのものも含まれる。補正部5202は、後述する画像解析部5208が斜体で表示された指示値や小数点を含む指示値を認識可能に、メータ画像に対して補正を行う。例えば、補正部5202は、指示値を構成する各文字を外接矩形で囲んだ際に、1つの外接矩形に1つの文字のみが含まれるように、メータ画像の歪みを補正する。
【0065】
(画像処理部5206の処理)
画像処理部5206は、例えば、バイリニア補完後の7セグメータのメータ画像に対して、7セグメータのメータ画像のHSVに基づくマスキング(以下、「HSVマスキング」とも称される)を行う。画像処理部5206は、7セグメータのメータ画像に対するHSVマスキングにより、7セグメータのメータ画像が2値化された2値化画像を生成する。画像処理部5206は、例えば、指示値を示すセグメントの画素の色が白、当該セグメントの画素以外の画素の色が黒となるように7セグメータのメータ画像のHSVマスキングを行う。
【0066】
画像を白黒に変換する2値化では、画像の画素の画素値が0または1のいずれか一方の値に変換される。例えば、画像の2値化において、0が白を示す画素値である場合、1が黒を示す画素値である。一方、1が白を示す画素値である場合、0が黒を示す画素値である。本実施形態では、画像の2値化にて、1が白を示す画素値であり、0が黒を示す画素値であるものとする。
【0067】
HSVのHはHue(色相)、SはSaturation(彩度)、VはValue(明度)を示している。HSVマスキングでは、7セグメータのメータ画像の各画素の画素値が、1(白)又は0(黒)のいずれか一方に変換される。
【0068】
これにより、7セグメータのメータ画像が2値化される。本実施形態では、画像処理部5206は、7セグメータのメータ画像にて指示値を示している画素の画素値を1(白)に変換し、それ以外の画素の画素値を0(黒)に変換する。
【0069】
ここで、図5を参照して、7セグメータのメータ画像に対するHSVマスキングの一例について説明する。図5は、本実施形態に係る7セグメータのメータ画像に対するHSVマスキングの一例を示す図である。
【0070】
図5の左図は、7セグメータのメータ画像40である。7セグメータのメータ画像40には、指示値として「1523」が示されている。画像解析端末5の画像処理部5206は、7セグメータのメータ画像40に対してHSVマスキングを行う。
【0071】
これにより、画像処理部5206は、図5の右図に示すように、7セグメータのメータ画像40が2値化された2値化画像41を生成することができる。2値化画像41は、7セグメータのメータ画像40にて指示値を示していた画素の色が白で示され、指示値以外を示していた画素の色が黒で示されている。
【0072】
(画像解析部5208の処理)
画像解析部5208は、例えば、2値化画像に対して文字認識処理を行うことで、7セグメントディスプレイが示す指示値を取得する。2値化画像は、画像処理部5206が7セグメータのメータ画像を2値化することで生成した画像である。画像解析部5208は、文字認識処理の一例として、2値化画像に対してSSOCR(Seven Segment Optical Character Recognition)を行う。
【0073】
画像解析部5208は、例えば、デフォルトパラメータでSSOCRをコールする。デフォルトパラメータでコールされたSSOCRにより、2値化画像における黒い画素は背景(マスキングされた領域)を構成する画素として検出され、2値化画像における白い画素は指示値を構成する画素として検出される。また、SSOCRにより、指示値の桁数も検出される。
【0074】
なお、黒い画素を背景の画素とするSSOCRによる認識結果が得られなかった場合、画像解析部5208は、パラメータの設定を変更して再度SSOCRをコールする。例えば、画像解析部5208は、SSOCRが白い画素を背景の画素として検出し、黒い画素を指示値の画素として検出するようにパラメータを変更する。
【0075】
なお、SSOCRでは、7セグメントディスプレイの表記ゆれによる誤認識が生じ得る。例えば、SSOCRでは、数字の「6」がアルファベットの「b」と誤って認識される場合がある。この場合、画像解析部5208は、誤って認識されたアルファベットの「b」を、正しい認識結果を示す数字の「6」に置換する。
【0076】
また、画像解析部5208は、SSOCRによる認識結果を数値に変換し、指示値を数値として取得する。画像解析部5208は、取得した指示値を出力処理部5210へ出力する。なお、画像解析部5208は、SSOCRによる認識結果を数値に変換できなかった場合、SSOCRによる認識結果を変換せずに出力処理部5210へ出力する。
【0077】
(解析処理の流れ)
続いて、図6を参照して、7セグメータに対する解析処理の流れの一例について説明する。図6は、本実施形態に係る7セグメータに対する解析処理の流れの一例を示すフローチャートである。
【0078】
図6に示すように、まず、画像解析端末5の補正部5202は、7セグメータのメータ画像に対して歪み補正を行う(S202)。
【0079】
次いで、補正部5202は、歪み補正後の7セグメータのメータ画像に対して、バイリニア補完を行う(S204)。
【0080】
次いで、画像解析端末5の画像処理部5206は、バイリニア補完後の7セグメータのメータ画像に対して、HSVマスキングを行う(S206)。
【0081】
次いで、画像解析端末5の画像解析部5208は、2値化画像に対して、SSOCRを行う(S208)。
【0082】
最後に、画像解析端末5の画像解析部5208は、SSOCRによる認識結果を変換した数値を、指示値として取得する(S210)。
【0083】
(2)第2の具体例
第2の具体例では、図7図15を参照して、メータ3が指針メータである例について説明する。指針メータの種類の一例として、円形メータとエッジワイズメータが挙げられる。以下、円形メータとエッジワイズメータのそれぞれの解析処理の一例について説明する。
【0084】
(2-1)円形メータ
図7図11を参照して、メータ3が円形メータである場合の解析処理の一例について説明する。まず、メータ3が円形メータである場合に、補正部5202、画像処理部5206、及び画像解析部5208が解析処理にて行う処理の詳細について説明する。
【0085】
(補正部5202の処理)
補正部5202は、例えば、円形メータのメータ画像に対して歪み補正を行う。補正部5202は、例えば、予め設定された基準位置と、円形メータの指針の中心軸の位置とが一致するように歪み補正を行う。
【0086】
また、補正部5202は、歪み補正後の円形メータのメータ画像に対して、バイリニア補完を行う。
【0087】
(画像処理部5206の処理)
画像処理部5206は、例えば、バイリニア補完後の円形メータのメータ画像に対して、HSVマスキングを行う。画像処理部5206は、円形メータのメータ画像に対するHSVマスキングにより、円形メータのメータ画像が2値化された2値化画像(第1の2値化画像)を生成する。画像処理部5206は、例えば、指示値を指し示す円形メータの指針の画素の色が白、当該指針の画素以外の画素の色が黒となるように円形メータのメータ画像のHSVマスキングを行う。
【0088】
ここで、図7を参照して、円形メータのメータ画像に対するHSVマスキングの一例について説明する。図7は、本実施形態に係る円形メータのメータ画像に対するHSVマスキングの一例を示す図である。
【0089】
図7の左図は、円形メータのメータ画像50である。図7の左図に示す円形メータは、指針52が軸53を回転軸として回転するメータである。円形メータの文字盤54には、指示値の範囲を示す目盛りが記載されている。円形メータの指針52の両端の内、指針52の太さが細い方の端が先端側であり、指針52の太さが太い方の端が末端側である。図7の左図に示す円形メータでは、指針52の先端側が指している目盛りの値が指示値である。例えば、図7の左図における指示値は、0.7である。
【0090】
画像解析端末5の画像処理部5206は、メータ画像50に対してHSVマスキングを行う。これにより、画像処理部5206は、図7の右図に示すように、メータ画像50が2値化された2値化画像51を生成することができる。当該2値化画像51は、メータ画像50にて指示値を示していた指針52の画素の色が白で示され、指針52以外を示していた画素の色が黒で示されている。以下、メータ画像の2値化画像において、白い画素で示された領域は、「白画素領域」とも称される。
【0091】
また、画像処理部5206は、円形メータのメータ画像の2値化画像に対して、ノイズ除去を行う。例えば、画像処理部5206は、メータ画像の2値化画像における白画素領域に基づき、ノイズ除去を行う。
【0092】
例えば、画像処理部5206は、所定の領域の外側の白画素をノイズとして除去する。所定の領域は、例えば、円形メータの軸を中心とする円の領域である。当該円の領域の大きさは、例えば、円形メータの大きさの7割である。即ち、当該円の領域の半径の大きさは、円形メータの半径の7割の大きさである。
【0093】
具体的に、画像処理部5206は、白画素領域の重心位置を算出し、当該重心位置が所定の領域に含まれるか否かに基づき、ノイズ除去を行うか否かを判定する。重心位置が所定の領域に含まれる場合、画像処理部5206は、メータ画像の2値化画像のノイズ除去を行わないと判定する。これは、白画素領域の重心位置から、白画素領域が指針を示しているとみなすことができるためである。
一方、重心位置が所定の領域に含まれない場合、画像処理部5206は、メータ画像の2値化画像のノイズ除去を行うと判定する。
【0094】
ここで、図8を参照して、円形メータのメータ画像の2値化画像に対するノイズ除去の一例について説明する。図8は、本実施形態に係る円形メータのメータ画像の2値化画像に対するノイズ除去の一例を示す図である。
【0095】
図8に示すメータ画像の2値化画像51において、一点鎖線で示される円形の領域は、円形メータの領域54示している。また、二点鎖線で示される円形の領域は、所定の領域55を示している。
【0096】
画像処理部5206は、まず、2値化画像51から白画素の輪郭を検出することで、白画素の領域を検出する。図8に示す例では、例えば、白画素領域56の輪郭と白画素領域57の輪郭が検出される。画像処理部5206は、検出した白画素領域56と白画素領域57のそれぞれの重心の位置を算出する。そして、画像処理部5206は、算出した重心位置が所定の領域55に含まれるか否かに基づき、ノイズ除去を行う。
【0097】
また、画像処理部5206は、円形メータのメータ画像の2値化画像に基づき、角度情報のヒストグラム化を行う。角度情報は、例えば、2値化画像における白い画素の角度を示す情報である。白い画素の角度は、具体的に、基準点と円形メータの軸の位置とを結ぶ直線と、対象となる白い画素と円形メータの軸の位置とを結ぶ直線とがなす角度である。画像処理部5206は、メータ画像の2値化画像の白い画素の全てを対象に、白い画素ごとに角度を算出し、当該角度の分布に関するヒストグラムを生成する。
【0098】
ここで、図9を参照して、円形メータのメータ画像の2値化画像に基づく角度情報のヒストグラム化の一例について説明する。図9は、本実施形態に係る円形メータのメータ画像の2値化画像に基づく角度情報のヒストグラム化の一例を示す図である。
【0099】
図9の上図の2値化画像51における直線L1は、基準点P1と円形メータの軸53の位置とを通る線である。直線L2は、対象となる白い画素の位置を示す点P2と円形メータの軸53の位置とを通る線である。角度θは、直線L1と直線L2とがなす角度である。当該角度θが、対象となる白い画素の角度である。画像処理部5206は、2値化画像51におけるすべての白い画素の角度θを算出する。算出後、画像処理部5206は、算出した全ての角度θの分布を示すヒストグラム58を生成する。
【0100】
図9の下図に示すヒストグラム58は、画像処理部5206が算出した角度θの分布を示している。ヒストグラム58の横軸は角度を示し、縦軸は白い画素の数を示している。なお、ヒストグラム58における0度は、図9の上図の2値化画像51における直線L1の位置を示している。
【0101】
また、画像処理部5206は、円形メータのメータ画像の2値化画像における指針を示す画素の分布に関するヒストグラムを2値化し、ヒストグラムの2値化画像(第2の2値化画像)を生成する。例えば、画像処理部5206は、角度情報のヒストグラムが示す各角度に存在する白い画素の数を正規化する。
【0102】
具体的に、画像処理部5206は、角度情報のヒストグラムが示す各角度に存在し得る白い画素の数の範囲が、0~255の範囲の画素値で示されるように正規化する。これにより、画像処理部5206は、角度情報のヒストグラムをグレースケール化し、ヒストグラムのグレースケール画像を生成することができる。
【0103】
画像処理部5206は、所定の閾値に基づき、角度情報のヒストグラムのグレースケール画像を2値化する。一例として、画像処理部5206は、角度情報のヒストグラムのグレースケール画像において、画素値が所定の閾値以上であるか否かを判定し、判定結果に応じて、各画素の画素値を変換する。
【0104】
例えば、角度情報のヒストグラムのグレースケール画像において、画素の画素値が所定の閾値以上である場合、画像処理部5206は、当該画素の画素値を1(白)に変換する。一方、角度情報のヒストグラムのグレースケール画像において、画素の画素値が所定の閾値以上でない場合、画像処理部5206は、当該画素の画素値を0(黒)に変換する。
【0105】
これにより、画像処理部5206は、角度情報のヒストグラムの2値化画像を生成することができる。角度情報のヒストグラムの2値化画像の生成時、画像処理部5206は、所定の閾値に基づき2値化を行うことで、2値化画像におけるノイズを減らすことができる。なお、所定の閾値には、任意の値が設定されてよい。
【0106】
ここで、図10を参照して、角度情報のヒストグラムの2値化の一例について説明する。図10は、本実施形態に係る角度情報のヒストグラムの2値化の一例を示す図である。
【0107】
画像処理部5206は、図9に示したヒストグラム58をグレースケール化することで、図10の上図に示すグレースケール画像59を生成する。画像処理部5206は、グレースケール画像59をさらに2値化することで、図10の下図に示す2値化画像60を生成する。なお、グレースケール画像59及び2値化画像60の横軸は、角度θを示している。
【0108】
(画像解析部5208の処理)
画像解析部5208は、ヒストグラムの2値化画像に対する解析により、指示値を取得する。例えば、画像解析部5208は、ヒストグラムの2値化画像に基づき、指針が指示値を指している指針位置を特定し、指針位置における指示値を取得する。
【0109】
具体的に、画像解析部5208は、ヒストグラムの2値化画像に基づき、指示値を指している指針の先端側の位置と、指示値を指していない指針の末端側の位置とを判定する。そして、画像解析部5208は、指針の先端側の位置を指針位置と特定する。
【0110】
指針の先端側の位置を指針位置と特定するにあたり、画像解析部5208は、まず、ヒストグラムの2値化画像から、白い画素で示される領域(ピーク)を複数検出する。次いで、画像解析部5208は、検出した複数のピークから角度関係が180度となるピークの組み合わせを探す。ここで、再度、図10を参照して、指針の先端側の位置の特定の一例について説明する。
【0111】
画像解析部5208は、図10に示したヒストグラム60において、白い画素のピークを探索する。図10に示す例の場合、ピーク61、ピーク62、及びピーク63の3つのピークが検出される。
【0112】
画像解析部5208は、検出した複数のピークから、角度関係が180度となるピークの組み合わせを探す。例えば、複数のピークの中に、第1のピークと、第1のピークが示す角度よりも大きい角度を示す第2のピークとがあったとする。第1のピークと第2のピークにおいて、第2のピークが示す角度の最大値と第1のピークが示す角度の最小値との差分が180度よりも大きい、かつ、第2のピークが示す角度の最小値と第1のピークが示す角度の最大値との差分が180度よりも小さいとする。この場合、画像解析部5208は、第1のピークと第2のピークの組み合わせを角度関係が180度となるピークの組み合わせとみなす。図10に示す例の場合、画像解析部5208は、ピーク61(第1のピーク)とピーク63(第2のピーク)の組み合わせを角度関係が180度となるピークの組み合わせとみなす。
【0113】
画像解析部5208は、角度関係が180度となるピークの組み合わせの各ピークが、メータ角度範囲内にあるか否かを判定する。メータ角度範囲は、指針が回転可能な角度の範囲において、指針の先端が指示値を指す範囲である。
【0114】
各ピークの内、一方のピークがメータ角度範囲内にない場合、画像解析部5208は、メータ角度範囲内にあるピークを、指針の先端側のピークとみなす。例えば、図10に示す例において、メータ角度範囲が-100度~100度である場合、画像解析部5208は、ピーク63を指針の先端側のピークとみなす。
【0115】
各ピークの両方がメータ角度範囲内にある場合、画像解析部5208は、ピーク幅が狭い方のピークを、指針の先端側のピークとみなす。例えば、図10に示す例において、ピーク61とピーク63の両方がメータ角度範囲内にあるとする。各ピークのピーク幅を比較すると、ピーク61のピーク幅よりもピーク63のピーク幅の方が狭いことが分かる。よって、画像解析部5208は、ピーク63を指針の先端側のピークとみなす。一方、画像解析部5208は、ピーク61を指針の末端側のピークとみなす。
【0116】
なお、画像解析部5208がヒストグラムの2値化画像(2値化画像60)に対する解析によって指針の先端側のピークを特定できなかったとする。この場合、画像解析部5208は、グレースケール化された角度情報のヒストグラム(グレースケール画像59)に基づき、指針の先端側のピークを特定してもよい。例えば、画像解析部5208は、グレースケール化された角度情報のヒストグラムにおいて最大の輝度値を有するピークを指針の先端側のピークとみなす。
【0117】
画像解析部5208は、特定した指針の先端側のピークに基づき、指針の角度を特定する。例えば、画像解析部5208は、当該ピークの中央値を指針の角度と特定する。特定した指針の角度が示す位置は、即ち指針の指針位置である。
【0118】
画像解析部5208は、特定した指針の角度に基づき、指示値を取得する。例えば、画像解析部5208は、下記の式(1)によって指示値を算出する。なお、指針の角度をθ、メータ角度範囲の最小角度をθmin、最大角度をθmax、指示値をx、メータの目盛りの最小値をxmin、最大値をxmaxとする。
=xmin+(θ-θmin)×(xmax-xmin)/(θmax-θmin) (1)
【0119】
画像解析部5208は、算出した指示値を、所定の桁精度に丸めてもよい。例えば、画像解析部5208は、算出した指示値に対して整数への丸めを行う。
【0120】
(解析処理の流れ)
続いて、図11を参照して、円形メータに対する解析処理の流れの一例について説明する。図11は、本実施形態に係る円形メータに対する解析処理の流れの一例を示すフローチャートである。
【0121】
図11に示すように、まず、画像解析端末5の補正部5202は、円形メータのメータ画像に対して歪み補正を行う(S302)。
【0122】
次いで、補正部5202は、歪み補正後のメータ画像に対して、バイリニア補完を行う(S304)。
【0123】
次いで、画像解析端末5の画像処理部5206は、バイリニア補完後のメータ画像に対して、HSVマスキングを行う(S306)。これにより、画像処理部5206は、円形メータのメータ画像の2値化画像を生成する。
【0124】
次いで、画像処理部5206は、円形メータのメータ画像の2値化画像に対して、ノイズ除去を行う(S308)。
【0125】
次いで、画像処理部5206は、角度情報のヒストグラム化を行う(S310)。これにより、画像処理部5206は、角度情報の分布を示すヒストグラムを生成する。
【0126】
次いで、画像処理部5206は、生成した角度情報のヒストグラムを2値化する(S312)。これにより、画像処理部5206は、角度情報のヒストグラムの2値化画像を生成する。
【0127】
次いで、画像解析部5208は、角度情報のヒストグラムの2値化画像に対する解析を行う(S314)。これにより、画像解析部5208は、指針の指針位置(指針の角度)を特定する。
【0128】
最後に、画像解析部5208は、特定した指針位置に基づき、指示値を取得する(S316)。
【0129】
(2-2)エッジワイズメータ
図12図15を参照して、メータ3がエッジワイズメータである場合の解析処理の一例について説明する。まず、メータ3がエッジワイズメータである場合に、補正部5202、画像処理部5206、及び画像解析部5208が解析処理にて行う処理の詳細について説明する。
【0130】
(補正部5202の処理)
補正部5202は、例えば、エッジワイズメータのメータ画像に対して歪み補正を行う。また、補正部5202は、歪み補正後のエッジワイズメータのメータ画像に対して、バイリニア補完を行う。
【0131】
(画像処理部5206の処理)
画像処理部5206は、例えば、バイリニア補完後のエッジワイズメータのメータ画像に対して、HSVマスキングを行う。画像処理部5206は、エッジワイズメータのメータ画像に対するHSVマスキングにより、エッジワイズメータのメータ画像が2値化された2値化画像(第1の2値化画像)を生成する。画像処理部5206は、例えば、指示値を指し示すエッジワイズメータの指針の画素の色が白、当該指針の画素以外の画素の色が黒となるようにエッジワイズメータのメータ画像のHSVマスキングを行う。
【0132】
ここで、図12を参照して、エッジワイズメータのメータ画像に対するHSVマスキングの一例について説明する。図12は、本実施形態に係るエッジワイズメータのメータ画像に対するHSVマスキングの一例を示す図である。
【0133】
図12の左図は、エッジワイズメータのメータ画像70である。図12の左図に示すエッジワイズメータは、指針72が第1の方向または第2の方向のいずれか一方に移動することで、指示値を指し示すメータである。エッジワイズメータの文字盤73には、指示値の範囲を示す目盛りが記載されている。指針72は、例えば、目盛りの0~200の間を、0の方向(第1の方向)または200の方向(第2の方向)のいずれか一方に移動する。図12の左図に示すエッジワイズメータでは、指針72の位置における目盛りの値が指示値である。
【0134】
画像解析端末5の画像処理部5206は、メータ画像70に対してHSVマスキングを行う。これにより、画像処理部5206は、図12の右図に示すように、メータ画像70が2値化された2値化画像71を生成することができる。当該2値化画像71は、メータ画像70にて指示値を示していた指針72の画素の色が白で示され、指針72以外を示していた画素の色が黒で示されている。
【0135】
また、画像処理部5206は、エッジワイズメータのメータ画像の2値化画像に基づき、位置情報のヒストグラム化を行う。位置情報は、例えば、2値化画像における白い画素の位置を示す情報である。白い画素の位置は、例えば、指針72の移動方向におけるいずれかの位置である。白い画素の位置の具体的な値は、例えば、指針72の移動方向における目盛りの値によって示される。よって、白い画素の位置、目盛りの最小値から最大値の範囲の値によって示される。
【0136】
画像処理部5206は、メータ画像の2値化画像の白い画素の全てを対象に、白い画素ごとの位置を取得し、当該位置の分布に関するヒストグラムを生成する。画像処理部5206は、例えば、エッジワイズメータのメータ情報に基づき、メータ画像の2値化画像の白い画素の位置を取得する。具体的に、画像処理部5206は、エッジワイズメータのメータ情報に含まれる指示部のサイズ、指針のサイズ、目盛りの間隔等の情報から、メータ画像の2値化画像における白い画素が目盛りのどの位置の画素であるかを特定する。
【0137】
ここで、図13を参照して、エッジワイズメータのメータ画像の2値化画像に基づく位置情報のヒストグラム化の一例について説明する。図13は、本実施形態に係るエッジワイズメータのメータ画像の2値化画像に基づく位置情報のヒストグラム化の一例を示す図である。
【0138】
まず、画像処理部2506は、メータ情報に基づき、図13の上図の2値化画像71における白い画素の位置を特定する。特定後、画像処理部5206は、特定した全ての位置の分布を示すヒストグラム74を生成する。
【0139】
図13の下図に示すヒストグラム74は、画像処理部5206が特定した位置の分布を示している。ヒストグラム74の横軸は白い画素の位置を示し、縦軸は白い画素の数を示している。
【0140】
また、画像処理部5206は、エッジワイズメータのメータ画像の2値化画像における指針を示す画素の分布に関するヒストグラムを2値化し、ヒストグラムの2値化画像(第2の2値化画像)を生成する。例えば、画像処理部5206は、位置情報のヒストグラムが示す各位置に存在する白い画素の数を正規化する。
【0141】
具体的に、画像処理部5206は、位置情報のヒストグラムが示す各位置に存在し得る白い画素の数の範囲が、0~255の範囲の画素値で示されるように正規化する。これにより、画像処理部5206は、位置情報のヒストグラムをグレースケール化し、ヒストグラムのグレースケール画像を生成することができる。
【0142】
画像処理部5206は、所定の閾値に基づき、位置情報のヒストグラムのグレースケール画像を2値化する。一例として、画像処理部5206は、位置情報のヒストグラムのグレースケール画像において、画素値が所定の閾値以上であるか否かを判定し、判定結果に応じて各画素の画素値を変換する。
【0143】
例えば、位置情報のヒストグラムのグレースケール画像において、画素の画素値が所定の閾値以上である場合、画像処理部5206は、当該画素の画素値を1(白)に変換する。一方、位置情報のヒストグラムのグレースケール画像において、画素の画素値が所定の閾値以上でない場合、画像処理部5206は、当該画素の画素値を0(黒)に変換する。
【0144】
これにより、画像処理部5206は、位置情報のヒストグラムの2値化画像を生成することができる。位置情報のヒストグラムの2値化画像の生成時、画像処理部5206は、所定の閾値に基づき2値化を行うことで、2値化画像におけるノイズを減らすことができる。なお、所定の閾値には、任意の値が設定されてよい。
【0145】
ここで、図14を参照して、位置情報のヒストグラムの2値化の一例について説明する。図14は、本実施形態に係る位置情報のヒストグラムの2値化の一例を示す図である。
【0146】
画像処理部5206は、図13に示したヒストグラム74をグレースケール化することで、図14の上図に示すグレースケール画像75を生成する。画像処理部5206は、グレースケール画像75をさらに2値化することで、図13の下図に示す2値化画像76を生成する。なお、グレースケール画像75及び2値化画像76の横軸は、位置を示している。
【0147】
(画像解析部5208の処理)
画像解析部5208は、ヒストグラムの2値化画像に対する解析により、指示値を取得する。例えば、画像解析部5208は、ヒストグラムの2値化画像に基づき、指針が指示値を指している指針位置を特定し、指針位置における指示値を取得する。
【0148】
指針の指針位置と特定するにあたり、画像解析部5208は、まず、ヒストグラムの2値化画像から、白い画素で示される領域(ピーク)を検出する。例えば、画像解析部5208は、図14に示すピーク77を検出する。なお、ヒストグラムの2値化画像にノイズが含まれる場合、複数のピークが検出され得る。その場合、画像解析部5208は、複数のピークの内、ヒストグラムの2値化画像の軸の方向において、ピークの幅が最も大きいピークを選択する。
【0149】
画像解析部5208は、検出または選択したピークが示す位置を、指針の指針位置と特定する。そして、画像解析部5208は、特定した指針位置のピークの中央値を、指示値として取得する。
【0150】
画像解析部5208は、算出した指示値を、所定の桁精度に丸めてもよい。例えば、画像解析部5208は、算出した指示値に対して整数への丸めを行う。
【0151】
なお、画像解析部5208は、取得した指示値に対して、オフセット値を適用してもよい。撮像装置の画角や処理の影響により、画像解析部5208が算出した指示値と、ユーザがメータ3を目視して認識している指示値とに差分が生じ得る。
【0152】
そこで、画像解析部5208は、画像解析部5208が算出した指示値と、ユーザが目視により認識している指示値とに所定の閾値以上の差分が生じている場合、算出した指示値に対してオフセット値を加算または減算する。これにより、画像解析部5208は、ユーザが目視により認識している指示値により近い指示値を取得することができる。なお、指示値に対して加算または減算するオフセット値、所定の閾値は、特に限定されない。
【0153】
(解析処理の流れ)
続いて、図15を参照して、エッジワイズメータに対する解析処理の流れの一例について説明する。図15は、本実施形態に係るエッジワイズメータに対する解析処理の流れの一例を示すフローチャートである。
【0154】
図15に示すように、まず、画像解析端末5の補正部5202は、エッジワイズメータのメータ画像に対して歪み補正を行う(S402)。
【0155】
次いで、補正部5202は、歪み補正後のメータ画像に対して、バイリニア補完を行う(S404)。
【0156】
次いで、画像解析端末5の画像処理部5206は、バイリニア補完後のメータ画像に対して、HSVマスキングを行う(S406)。これにより、画像処理部5206は、エッジワイズメータのメータ画像の2値化画像を生成する。
【0157】
次いで、画像処理部5206は、位置情報のヒストグラム化を行う(S408)。これにより、画像処理部5206は、位置情報の分布を示すヒストグラムを生成する。
【0158】
次いで、画像処理部5206は、生成した位置情報のヒストグラムを2値化する(S410)。これにより、画像処理部5206は、位置情報のヒストグラムの2値化画像を生成する。
【0159】
次いで、画像解析部5208は、位置情報のヒストグラムの2値化画像に対する解析を行う(S412)。これにより、画像解析部5208は、指針の指針位置を特定する。
【0160】
最後に、画像解析部5208は、特定した指針位置に基づき、指示値を取得する(S414)。
【0161】
(3)第3の具体例
第3の具体例では、図16図18を参照して、メータ3がフロートメータである場合の解析処理の一例について説明する。まず、メータ3がフロートメータである場合に、補正部5202、画像処理部5206、及び画像解析部5208が解析処理にて行う処理の詳細について説明する。
【0162】
(補正部5202の処理)
補正部5202は、例えば、フロートメータのメータ画像に対して歪み補正を行う。また、補正部5202は、歪み補正後のフロートメータのメータ画像に対して、バイリニア補完を行う。
【0163】
(画像処理部5206の処理)
画像処理部5206は、例えば、バイリニア補完後のフロートメータのメータ画像に対して、輝度値に基づく2値化を行う。画像処理部5206は、フロートメータのメータ画像に対する2値化により、フロートメータのメータ画像が2値化された2値化画像(第1の2値化画像)を生成する。画像処理部5206は、例えば、所定の閾値に基づき、フロートメータのメータ画像を2値化する。
【0164】
一例として、画像処理部5206は、フロートメータのメータ画像の各画素の輝度値が所定の閾値以上であるか否かを判定し、判定結果に応じて、各画素の画素値を変換する。例えば、画素の輝度値が所定の閾値以上である場合、画像処理部5206は、当該画素の画素値を1(白)に変換する。一方、画素の輝度値が所定の閾値以上でない場合、画像処理部5206は、当該画素の画素値を0(黒)に変換する。これにより、画像処理部5206は、フロートメータのメータ画像の2値化画像を生成することができる。なお、所定の閾値には、任意の値が設定されてよい。
【0165】
なお、後述する画像解析部5208は、2値化画像におけるフロートを示す画素の領域に基づき、フロートの位置を特定し、当該フロートの位置における指示値を取得する。そのため、2値化画像において、フロートを示す画素の領域が軸の方向に連続性を持って示されることが望ましい。そこで、画像処理部5206は、2値化前のメータ画像80に対して、(5,7)のカーネルでガウスぼかしを行う。これにより、フロートを示す画素の領域の軸の方向における連続性がより強調される。
【0166】
ここで、図16を参照して、フロートメータのメータ画像に対する2値化の一例について説明する。図16は、本実施形態に係るフロートメータのメータ画像に対する2値化の一例を示す図である。
【0167】
図16の左図は、フロートメータのメータ画像80である。図16の左図に示すフロートメータは、フロート82が軸83の方向に移動するメータである。フロートメータでは、フロート82の形状と位置に基づき、指示値が示される。例えば、フロート82の最大直径部の位置における目盛りの値が指示値となる。
【0168】
画像解析端末5の画像処理部5206は、メータ画像80に対して輝度値に基づく2値化を行う。これにより、画像処理部5206は、図16の右図に示すように、メータ画像80が2値化された2値化画像81を生成することができる。
【0169】
また、画像処理部5206は、フロートメータのメータ画像の2値化画像の特徴値を示す画像(第2の2値化画像)を生成する。フロートメータのメータ画像の2値化画像の特徴値を示す画像は、以下では、「特徴値画像」とも称される。例えば、画像処理部5206は、メータ画像の2値化画像における所定の画素の画素値に対して、所定の特徴値を加算した2値化画像を特徴値画像として生成する。
【0170】
具体的に、画像処理部5206は、メータ画像の2値化画像における軸を示す画素の画素値と、メータ画像の2値化画像における軸に対して平行な所定のライン上の画素の画素値とに基づき、特徴値画像を生成する。ここで、メータ画像の2値化画像における軸を示す画素の画素値が、所定の画素の画素値である。また、メータ画像の2値化画像における軸に対して平行な所定のライン上の画素の画素値が、所定の特徴値である。
【0171】
ここで、図17を参照して、特徴値画像の生成の一例について説明する。図17は、本実施形態に係る特徴値画像の生成の一例を示す図である。図17の左図は、フロートメータの2値化画像81である。図17の右図は、2値化画像81に特徴値を加算した特徴値画像84である。なお、図17における2値化画像81と特徴値画像84の縦方向のサイズは同一である。
【0172】
画像処理部5206は、2値化画像81における軸を示す画素の画素値と、2値化画像81における軸に対して平行な所定のライン上の画素の画素値とに基づき、特徴値画像を生成する。図17の左図に示す直線L3は、少なくともフロートの軸を示す画素を通るように引かれた線である。図17の左図に示す直線L4及び直線L5は、直線L3に対して平行に引かれた線である。
【0173】
画像処理部5206は、直線L3上の画素の画素値に対して、直線L3上の画素と対応する位置にある直線L4上の画素と直線L5上の画素の画素値をそれぞれ特徴値として加算する。例えば、画像処理部5206は、2値化画像81の縦方向の200の位置における直線L3上の画素の画素値に対して、2値化画像81の縦方向の200の位置における直線L4上の画素の画素値と直線L5上の画素の画素値を特徴値として加算する。
【0174】
特徴値の加算時、画像処理部5206は、直線L4上の画素の画素値と直線L5上の画素の画素値をそれぞれbit反転した値を、直線L3上の画素の画素値に対して加算する。なお、画像処理部5206は、特徴値の加算は、AND演算により行われる。
【0175】
画像処理部5206は、直線L3上の画素ごとに、特徴値の加算を行う。画像処理部5206は、加算後の画素の画素値に基づき、図17の右図に示す特徴値画像84を生成する。例えば、画像処理部5206は、特徴値画像84の縦方向の各位置の画素の色が、2値化画像81の縦方向の各位置における特徴値の加算結果の画素値が示す色と対応するように、特徴値画像84を生成する。
【0176】
(画像解析部5208の処理)
画像解析部5208は、特徴値画像に対する解析により、指示値を取得する。例えば、画像解析部5208は、特徴値画像に基づき、フロートの位置を特定し、フロートの位置における指示値を取得する。
【0177】
具体的に、画像解析部5208は、まず、メータ画像の2値化画像におけるフロートを示す画素の画素値と同じ画素値の画素で構成される領域を特徴値画像から検出する。画像解析部5208は、検出した領域の内、予め定められたフロートサイズに対応する大きさの領域を、フロートを示す領域として特定する。
【0178】
なお、予め定められたフロートサイズは、軸の方向におけるフロートのサイズであるとする。また、予め定められたフロートサイズに対応する大きさの領域は、例えば、予め定められたフロートサイズに対応する大きさに最も近い大きさの領域である。
【0179】
例えば、図17の特徴値画像84において、領域85の軸の方向におけるサイズが、予め定められたフロートサイズと対応する大きさであったとする。この場合、画像解析部5208は、領域85をフロートの領域として特定する。
【0180】
画像解析部5208は、特定したフロートの領域の位置をフロートの位置と特定する。画像解析部5208は、特定したフロートの位置に基づき、指示値を取得する。例えば、画像解析部5208は、下記の式(2)によって指示値を算出する。なお、指示値をx、基準となるメータの目盛りの値をx、目盛りの最小値をxmin、目盛りの最大値をxmax、フロートの現在位置を示す値をy、基準となるメータの目盛りの位置をy、目盛りの開始位置をymin、目盛りの終了位置をymaxとする。
=x+(y-y)×(ymax-ymin)/(xmax-xmin) (2)
【0181】
画像解析部5208は、算出した指示値を、所定の桁精度に丸めてもよい。例えば、画像解析部5208は、算出した指示値に対して整数への丸めを行う。
【0182】
なお、画像解析部5208は、取得した指示値に対して、オフセット値を適用してもよい。撮像装置の画角や処理の影響により、画像解析部5208が算出した指示値と、ユーザがメータ3を目視して認識している指示値とに差分が生じ得る。
【0183】
そこで、画像解析部5208は、画像解析部5208が算出した指示値と、ユーザが目視により認識している指示値とに所定の閾値以上の差分が生じている場合、算出した指示値に対してオフセット値を加算または減算する。
【0184】
これにより、画像解析部5208は、ユーザが目視により認識している指示値により近い指示値を取得することができる。なお、指示値に対して加算または減算するオフセット値、所定の閾値は、特に限定されない。
【0185】
(解析処理の流れ)
続いて、図18を参照して、フロートメータに対する解析処理の流れの一例について説明する。図18は、本実施形態に係るフロートメータに対する解析処理の流れの一例を示すフローチャートである。
【0186】
図18に示すように、まず、画像解析端末5の補正部5202は、フロートメータのメータ画像に対して歪み補正を行う(S502)。
【0187】
次いで、補正部5202は、歪み補正後のメータ画像に対して、バイリニア補完を行う(S504)。
【0188】
次いで、画像解析端末5の画像処理部5206は、バイリニア補完後のメータ画像に対して、輝度値に基づく2値化を行う(S506)。これにより、画像処理部5206は、フロートメータのメータ画像の2値化画像を生成する。
【0189】
次いで、画像処理部5206は、特徴値画像を生成する(S508)。
【0190】
次いで、画像解析部5208は、生成した特徴値画像に対する解析を行い、フロートの位置を特定する(S510)。
【0191】
最後に、画像解析部5208は、特定したフロートの位置に基づき、指示値を取得する(S512)。
【0192】
以上説明したように、本実施形態に係る画像解析端末5は、指針メータが撮像されたメータ画像を2値化し、メータ画像の2値化画像を生成する。また、画像解析端末5は、メータ画像の2値化画像における指針を示す画素の分布に関するヒストグラムを2値化し、ヒストグラムの2値化画像を生成する。
画像解析端末5は、ヒストグラムの2値化画像に基づき、指針が指示値を指している指針位置を特定し、指針位置における指示値を取得する。
【0193】
かかる構成により、画像解析端末5は、指針メータに特有の画像解析により、指針メータが示す指示値を取得する。よって、画像解析端末5は、指針メータの指示値を精度高く取得することができる。
【0194】
また、本実施形態に係る画像解析端末5は、フロートメータが撮像されたメータ画像を2値化し、メータ画像の2値化画像を生成する。また、画像解析端末5は、メータ画像の2値化画像における軸を示す画素の画素値と、メータ画像の2値化画像における軸に対して平行な所定のライン上の画素の画素値とに基づく特徴値画像を生成する。
画像解析端末5は、特徴値画像に基づき、フロートの位置を特定し、フロートの位置における指示値を取得する。
【0195】
かかる構成により、画像解析端末5は、フロートメータに特有の画像解析により、フロートメータが示す指示値を取得する。よって、画像解析端末5は、フロートメータの指示値を精度高く取得することができる。
【0196】
また、本実施形態に係る画像解析端末5は、指示値が示される指示部を有するメータが複数撮像された撮像画像から、各メータの領域を切り取ったメータ画像を生成する。
画像解析端末5は、メータ画像と、メータの種類を示すメータ情報とに基づき、メータの種類をメータ画像ごとに判定する。
画像解析端末5は、判定結果に基づき、メータ画像に対してメータの種類に応じた解析処理を行い、複数のメータの各々の指示値を取得する。
【0197】
かかる構成により、画像解析端末5は、複数のメータの種類を判定した上で、メータの種類に応じた画像解析により、各メータが示す指示値を取得する。よって、画像解析端末5は、メータの種類に応じて、各メータの指示値を精度高く取得することができる。
【0198】
以上より、本実施形態に係る画像解析端末5は、メータの種類に応じた画像解析によって各種メータの指示値を精度高く取得することができる。
【0199】
以上、本発明の実施形態について説明した。なお、上述した実施形態における画像解析端末5をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0200】
以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0201】
1 画像解析システム
2 撮像装置
3 メータ
4 撮像制御端末
5 画像解析端末
20 撮像領域
30 アライメントマーカ
410 通信部
420 制御部
430 記憶部
440 出力部
510 通信部
520 制御部
530 記憶部
540 出力部
4202 撮像制御部
4204 出力処理部
5202 補正部
5204 判定部
5206 画像処理部
5208 画像解析部
5210 出力処理部
NW ネットワーク
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18