特許第6037791号(P6037791)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱重工メカトロシステムズ株式会社の特許一覧

特許6037791画像認識装置、画像認識方法、プログラム、及び記録媒体
<>
  • 特許6037791-画像認識装置、画像認識方法、プログラム、及び記録媒体 図000007
  • 特許6037791-画像認識装置、画像認識方法、プログラム、及び記録媒体 図000008
  • 特許6037791-画像認識装置、画像認識方法、プログラム、及び記録媒体 図000009
  • 特許6037791-画像認識装置、画像認識方法、プログラム、及び記録媒体 図000010
  • 特許6037791-画像認識装置、画像認識方法、プログラム、及び記録媒体 図000011
  • 特許6037791-画像認識装置、画像認識方法、プログラム、及び記録媒体 図000012
  • 特許6037791-画像認識装置、画像認識方法、プログラム、及び記録媒体 図000013
  • 特許6037791-画像認識装置、画像認識方法、プログラム、及び記録媒体 図000014
  • 特許6037791-画像認識装置、画像認識方法、プログラム、及び記録媒体 図000015
  • 特許6037791-画像認識装置、画像認識方法、プログラム、及び記録媒体 図000016
  • 特許6037791-画像認識装置、画像認識方法、プログラム、及び記録媒体 図000017
  • 特許6037791-画像認識装置、画像認識方法、プログラム、及び記録媒体 図000018
  • 特許6037791-画像認識装置、画像認識方法、プログラム、及び記録媒体 図000019
  • 特許6037791-画像認識装置、画像認識方法、プログラム、及び記録媒体 図000020
  • 特許6037791-画像認識装置、画像認識方法、プログラム、及び記録媒体 図000021
  • 特許6037791-画像認識装置、画像認識方法、プログラム、及び記録媒体 図000022
  • 特許6037791-画像認識装置、画像認識方法、プログラム、及び記録媒体 図000023
  • 特許6037791-画像認識装置、画像認識方法、プログラム、及び記録媒体 図000024
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6037791
(24)【登録日】2016年11月11日
(45)【発行日】2016年12月7日
(54)【発明の名称】画像認識装置、画像認識方法、プログラム、及び記録媒体
(51)【国際特許分類】
   G06K 9/20 20060101AFI20161128BHJP
   G06T 7/60 20060101ALI20161128BHJP
【FI】
   G06K9/20 340J
   G06T7/60 300A
【請求項の数】9
【全頁数】27
(21)【出願番号】特願2012-251806(P2012-251806)
(22)【出願日】2012年11月16日
(65)【公開番号】特開2014-99128(P2014-99128A)
(43)【公開日】2014年5月29日
【審査請求日】2015年11月2日
(73)【特許権者】
【識別番号】309036221
【氏名又は名称】三菱重工メカトロシステムズ株式会社
(74)【代理人】
【識別番号】100134544
【弁理士】
【氏名又は名称】森 隆一郎
(74)【代理人】
【識別番号】100064908
【弁理士】
【氏名又は名称】志賀 正武
(74)【代理人】
【識別番号】100108578
【弁理士】
【氏名又は名称】高橋 詔男
(74)【代理人】
【識別番号】100126893
【弁理士】
【氏名又は名称】山崎 哲男
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(72)【発明者】
【氏名】小島 洋平
(72)【発明者】
【氏名】杉本 喜一
(72)【発明者】
【氏名】岡▲崎▼ 拓馬
(72)【発明者】
【氏名】中尾 健太
【審査官】 佐藤 実
(56)【参考文献】
【文献】 特開平11−339017(JP,A)
【文献】 特開平4−169987(JP,A)
【文献】 特開平8−329252(JP,A)
【文献】 特開昭64−88210(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06K 9/20
G06T 7/60
(57)【特許請求の範囲】
【請求項1】
画像の中から車番プレートの領域を抽出する画像認識装置であって、
前記車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、前記画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、当該座標に対して点数を付与して当該座標におけるエッジの方向を評価するエッジ方向評価部と、
前記エッジ方向評価部が付与した点数の分布に基づいて、前記画像の中から前記車番プレートの領域を抽出する車番プレート領域抽出部と
を備える画像認識装置。
【請求項2】
前記画像の各座標におけるエッジの強さが所定の強さのしきい値よりも大きいか否かを判定するエッジ強さ判定部
を更に備え、
前記エッジ方向評価部は、前記エッジの強さが所定の強さのしきい値よりも小さいと前記エッジ強さ判定部が判定した場合、前記輪郭線の方向と、前記エッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さくても、当該座標に対して点数を付与しない
請求項1に記載の画像認識装置。
【請求項3】
前記エッジ方向評価部が付与した点数の水平方向の分布を集計する水平方向分布集計部
を更に備え、
前記車番プレート領域抽出部は、前記水平方向分布集計部が集計した水平方向の点数の分布に基づいて、前記画像の中から前記車番プレートの水平方向の領域を抽出する
請求項1又は2に記載の画像認識装置。
【請求項4】
前記エッジ方向評価部が付与した点数の鉛直方向の分布を集計する鉛直方向分布集計部
を更に備え、
前記車番プレート領域抽出部は、前記鉛直方向分布集計部が集計した鉛直方向の点数の分布に基づいて、前記画像の中から前記車番プレートの鉛直方向の領域を抽出する
請求項1から3のいずれか一項に記載の画像認識装置。
【請求項5】
前記エッジ方向評価部が付与した点数の所定領域毎の分布を集計する領域分布集計部
を更に備え、
前記車番プレート領域抽出部は、前記領域分布集計部が集計した所定領域毎の点数の分布に基づいて、前記画像の中から前記車番プレートの領域を抽出する
請求項1から4のいずれか一項に記載の画像認識装置。
【請求項6】
前記エッジ方向評価部は、前記輪郭線の方向と前記エッジの方向とのずれ量が所定のずれ量のしきい値よりも小さい場合、当該輪郭線の方向の存在率に応じて異なる点数を付与する
請求項1から5のいずれか一項に記載の画像認識装置。
【請求項7】
画像の中から車番プレートの領域を抽出する車番プレート領域抽出方法であって、
前記車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、前記画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、当該座標に対して点数を付与して当該座標におけるエッジの方向を評価するエッジ方向評価段階と、
前記エッジ方向評価段階において付与された点数の分布に基づいて、前記画像の中から前記車番プレートの領域を抽出する車番プレート領域抽出段階と
を備える画像認識方法。
【請求項8】
画像の中から車番プレートの領域を抽出する画像認識装置として、コンピュータを機能させるプログラムであって、
前記コンピュータを、
前記車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、前記画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、当該座標に対して点数を付与して当該座標におけるエッジの方向を評価するエッジ方向評価部、
前記エッジ方向評価部が付与した点数の分布に基づいて、前記画像の中から前記車番プレートの領域を抽出する車番プレート領域抽出部
として機能させるプログラム。
【請求項9】
画像の中から車番プレートの領域を抽出する画像認識装置として、コンピュータを機能させるプログラムを記録した記録媒体であって、
前記コンピュータを、
前記車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、前記画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、当該座標に対して点数を付与して当該座標におけるエッジの方向を評価するエッジ方向評価部、
前記エッジ方向評価部が付与した点数の分布に基づいて、前記画像の中から前記車番プレートの領域を抽出する車番プレート領域抽出部
として機能させるプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像認識装置、画像認識方法、プログラム、及び記録媒体に関する。特に本発明は、画像の中から車番プレートの領域を抽出する画像認識装置、画像認識方法、当該画像認識装置としてコンピュータを機能させるプログラム、並びに当該プログラムを記録した記録媒体に関する。
【背景技術】
【0002】
車番情報は、個々の車両を同定するキーとなるため、様々な用途への適用が成されている。ここで、車番は、個々の車両に付与された文字列である。
【0003】
車番認識では、一般道路、高速道路、駐車場入り口等、様々な環境の中の車両が対象のため、天候等に影響されずに、しかも、ぶれのない精緻な画像をタイミングよく撮ることが必要である。更に、車番認識では、得られた画像を入力として、車番を正しく認識するアルゴリズムと、それを高速に且つ安価に実現する画像認識装置が不可欠である。
【0004】
このような背景に関連する技術には、様々なものが知られている(例えば、特許文献1、2参照。)。
【0005】
例えば、特許文献1には、路上を走行中、又は停止中の車両の車番を自動識別する装置が記載されている。より具体的に説明すると、この装置は、道路を撮影する。そして、この装置は、撮影された画像から車番プレート枠の候補を判定する。そして、この装置は、画像から車番領域の候補を判定する。そして、この装置は、車番プレート枠の候補に基づき推定される車番プレート枠で囲まれる部分と、車番領域の候補に基づき推定される車番領域との重複度を基準として車番プレート位置を判定する。このようにして、この装置によっては、車番プレート枠の候補と、車番領域の候補との重複度から車番プレート位置を判定できるので、いずれか単独の候補のみから車番プレート位置の判定を行う場合に比べて、より確かな確率で車番プレート切り出し処理を行うことができる。
【0006】
また、例えば、特許文献2には、車両の車番プレート認識を行う装置が記載されている。より具体的に説明すると、この装置は、取り込んだ画像を水平方向と鉛直方向に縮小する。そして、この装置は、縮小された画像について、各画素の値から、その画素より正、又は負方向に所定量ずらした位置の画素の値を減算し、この減算結果を2値化しきい値と比較して2値化し、正方向にずらしたときの値と、負方向にずらしたときの値の論理積演算により疑似ずらし相関画像を生成する。そして、この装置は、縮小された画像について、各画素の値から、その画素より正、又は負方向に所定量ずらした位置の画素の値を減算し、この減算結果を2値化しきい値と比較して2値化し、正方向にずらしたときの値と、負方向にずらしたときの値の論理和演算により疑似論理和画像を生成する。そして、この装置は、疑似ずらし相関画像を複数の小領域に分割し、各小領域の中で輝度値が1に設定されている画素の面積を算出し、その各小領域の面積値に基づいて車番プレート候補小領域を選択する。そして、この装置は、車番プレート候補小領域に基づいて、疑似論理和画像上に車番プレート領域を仮設定し、この仮設定領域に対して車番プレート領域としての適合性をチェックし車番プレート領域を切り出す。このようにして、この装置によっては、専用の演算装置を新規に開発することなく、汎用の演算装置を用いて高速且つ高精度に車番プレート領域を切り出すことができ、開発期間の短縮、及びコストの低減化を図ることができる。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特許第2893814号公報
【特許文献2】特許第3679958号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
ところで、車番認識システムにおいては、対象車両が増大している。そこで、車番認識システムにおいては、より高速に車番を認識するために、文字を切り出すべき車番プレートの領域を、より高速に抽出することが求められている。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明の第1の形態によると、画像の中から車番プレートの領域を抽出する画像認識装置であって、車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、当該座標に対して点数を付与して当該座標におけるエッジの方向を評価するエッジ方向評価部と、エッジ方向評価部が付与した点数の分布に基づいて、画像の中から車番プレートの領域を抽出する車番プレート領域抽出部とを備える。
【0010】
画像の各座標におけるエッジの強さが所定の強さのしきい値よりも大きいか否かを判定するエッジ強さ判定部を更に備え、エッジ方向評価部は、エッジの強さが所定の強さのしきい値よりも小さいとエッジ強さ判定部が判定した場合、輪郭線の方向と、エッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さくても、当該座標に対して点数を付与しなくてよい。
【0011】
エッジ方向評価部が付与した点数の水平方向の分布を集計する水平方向分布集計部を更に備え、車番プレート領域抽出部は、水平方向分布集計部が集計した水平方向の点数の分布に基づいて、画像の中から車番プレートの水平方向の領域を抽出してよい。
【0012】
エッジ方向評価部が付与した点数の鉛直方向の分布を集計する鉛直方向分布集計部を更に備え、車番プレート領域抽出部は、鉛直方向分布集計部が集計した鉛直方向の点数の分布に基づいて、画像の中から車番プレートの鉛直方向の領域を抽出してよい。
【0013】
エッジ方向評価部が付与した点数の所定領域毎の分布を集計する領域分布集計部を更に備え、車番プレート領域抽出部は、領域分布集計部が集計した所定領域毎の点数の分布に基づいて、画像の中から車番プレートの領域を抽出してよい。
【0014】
エッジ方向評価部は、輪郭線の方向とエッジの方向とのずれ量が所定のずれ量のしきい値よりも小さい場合、当該輪郭線の方向の存在率に応じて異なる点数を付与してよい。
【0015】
本発明の第2の形態によると、画像の中から車番プレートの領域を抽出する車番プレート領域抽出方法であって、車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、当該座標に対して点数を付与して当該座標におけるエッジの方向を評価するエッジ方向評価段階と、エッジ方向評価段階において付与された点数の分布に基づいて、画像の中から車番プレートの領域を抽出する車番プレート領域抽出段階とを備える。
【0016】
本発明の第3の形態によると、画像の中から車番プレートの領域を抽出する画像認識装置として、コンピュータを機能させるプログラムであって、コンピュータを、車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、当該座標に対して点数を付与して当該座標におけるエッジの方向を評価するエッジ方向評価部、エッジ方向評価部が付与した点数の分布に基づいて、画像の中から車番プレートの領域を抽出する車番プレート領域抽出部として機能させる。
【0017】
本発明の第4の形態によると、画像の中から車番プレートの領域を抽出する画像認識装置として、コンピュータを機能させるプログラムを記録した記録媒体であって、コンピュータを、車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、当該座標に対して点数を付与して当該座標におけるエッジの方向を評価するエッジ方向評価部、エッジ方向評価部が付与した点数の分布に基づいて、画像の中から車番プレートの領域を抽出する車番プレート領域抽出部として機能させるプログラムを記録した。
【0018】
なおまた、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となり得る。
【発明の効果】
【0019】
以上の説明から明らかなように、この発明によっては、高速且つ精確に、画像の中から車番プレートの領域を抽出することができる。
【図面の簡単な説明】
【0020】
図1】一実施形態に係る車番認識システム100の利用環境の一例を示す図である。
図2】第1の実施形態に係る画像認識装置110のブロック構成の一例を示す図である。
図3】水平方向分布集計部114が集計した水平方向の点数の分布の一例をグラフ形式で示す図である。
図4】鉛直方向分布集計部115が集計した鉛直方向の点数の分布の一例をグラフ形式で示す図である。
図5】車番プレート領域抽出部116が抽出した車番プレートの領域の一例を示す図である。
図6】画像認識装置110の動作フローの一例を示す図である。
図7】第2の実施形態に係る画像認識装置110のブロック構成の一例を示す図である。
図8】第2の実施形態に係る画像認識装置110の動作フローの一例を示す図である。
図9】第3の実施形態に係る画像認識装置110の動作フローの一例を示す図である。
図10】第4の実施形態に係る画像認識装置110のブロック構成の一例を示す図である。
図11】第4の実施形態に係る画像認識装置110の動作フローの一例を示す図である。
図12】第5の実施形態に係る画像認識装置110のブロック構成の一例を示す図である。
図13】評価情報格納部124に格納される情報の一例をテーブル形式で示す図である。
図14】領域分布情報格納部125に格納される情報の一例をテーブル形式で示す図である。
図15】第5の実施形態に係る画像認識装置110の動作フローの一例を示す図である。
図16】第6の実施形態に係る画像認識装置110のブロック構成の一例を示す図である。
図17図6の実施形態に係る画像認識装置110の動作フローの一例を示す図である。
図18】本実施形態に係る画像認識装置110を構成するコンピュータ800のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0021】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0022】
図1は、一実施形態に係る車番認識システム100の利用環境の一例を示す。車番認識システム100は、車両の前面部を撮影し、その映像から車番プレートの文字を認識するシステムである。
【0023】
車番認識システム100は、画像認識装置110、CCTV(Closed Circuit TeleVision)カメラ130、補助光源150、及びホストコンピュータ170を備える。
【0024】
画像認識装置110は、画像の中から車番プレートの領域を抽出する装置である。画像認識装置110は、CCTVカメラ130と電気的に接続されている。また、画像認識装置110は、ホストコンピュータ170と通信回線Nを介して通信接続される。なおまた、通信回線Nは、インターネット等のコンピュータネットワーク、通信事業者のコアネットワーク、及び種々のローカルネットワークを含む。
【0025】
CCTVカメラ130は、車番認識に使用する装置である。CCTVカメラ130は、画像認識装置110と電気的に接続されている。例えば、CCTVカメラ130は、画像をコンピュータ処理するのに十分な分解能、感度、及びSN(Signal Noise)比を備えている。
【0026】
補助光源150は、夜間時においても車番を認識することができるように、運転者に幻惑のない近赤外線の照明を照射する装置である。補助光源150は、CCTVカメラ130と電気的に接続されている。例えば、補助光源150には、LED(Light Emitting Diode)、キセノンランプ、ハロゲンランプ等がある。
【0027】
ホストコンピュータ170は、車番の情報を利用した処理を行う装置である。ホストコンピュータ170は、画像認識装置110と通信回線Nを介して通信接続される。そして、ホストコンピュータ170は、車番の情報を、個々の車両を固定するキーとして、主要道路における特定区間を通過するための所要時間の計測、有料道路における料金種別の判定、駐車場における契約車の判定、特定車の到着監視、利用履歴の取得や顧客情報の取得、緊急配備での迅速な盗難車発見等の処理を行う。
【0028】
なおまた、本実施形態においては、説明が煩雑になることを防ぐことを目的として、車番認識システム100が一の画像認識装置110、CCTVカメラ130、補助光源150、及びホストコンピュータ170を備える構成について説明する。しかしながら、車番認識システム100は、複数の画像認識装置110、CCTVカメラ130、補助光源150、及びホストコンピュータ170を備えてよい。
【0029】
図2は、第1の実施形態に係る画像認識装置110のブロック構成の一例を示す。画像認識装置110は、画像入力受付部111、勾配算出部112、エッジ方向評価部113、水平方向分布集計部114、鉛直方向分布集計部115、車番プレート領域抽出部116、文字認識処理部117、及び車番データ送信部118を有する。以下の説明においては、各構成要素の機能、及び動作を詳述する。
【0030】
画像入力受付部111は、CCTVカメラ130から出力された、画像の入力を受け付ける。
【0031】
勾配算出部112は、画像の各座標の水平方向、及び鉛直方向の各方向について、勾配の値を算出する。ここで、勾配の値を算出することは、エッジ検出と言える。エッジは、画素値が急峻に変化する点である。
【0032】
エッジ方向評価部113は、車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、その座標に対して点数を付与してその座標におけるエッジの方向を評価する。
【0033】
水平方向分布集計部114は、エッジ方向評価部113が付与した点数の水平方向の分布を集計する。
【0034】
鉛直方向分布集計部115は、エッジ方向評価部113が付与した点数の鉛直方向の分布を集計する。
【0035】
車番プレート領域抽出部116は、エッジ方向評価部113が付与した点数の分布に基づいて、画像の中から車番プレートの領域を抽出する。例えば、車番プレート領域抽出部116は、水平方向分布集計部114が集計した水平方向の点数の分布に基づいて、画像の中から車番プレートの水平方向の領域を抽出する。また、例えば、車番プレート領域抽出部116は、鉛直方向分布集計部115が集計した鉛直方向の点数の分布に基づいて、画像の中から車番プレートの鉛直方向の領域を抽出する。
【0036】
文字認識処理部117は、車番プレートの領域の画像を文字認識処理を行って、車番を認識する。
【0037】
車番データ送信部118は、車番を示すデータを、ホストコンピュータ170へ送信する。
【0038】
図3は、水平方向分布集計部114が集計した水平方向の点数の分布の一例をグラフ形式で示す。本実施形態においては、画像に対して、水平方向の座標値をiで表している。
【0039】
図3に示すグラフにおいて、集計値Vi_maxは、水平方向の点数の分布の最大値である。そして、水平方向の座標i_maxは、集計値Vi_maxとなる画像の水平方向の座標である。
【0040】
また、集計値Vi_thresholdは、集計値Vi_maxに所定の係数α(但し、0<α<1とする。)を乗じた値である。そして、水平方向の座標i_leftは、水平方向の点数の分布を、画像の左端の座標から右端の方向へ探索した場合に、集計値が初めて集計値Vi_thresholdとなる画像の水平方向の座標である。また、水平方向の座標i_rightは、水平方向の点数の分布を、画像の右端の座標から左端の方向へ探索した場合に、集計値が初めて集計値Vi_thresholdとなる画像の水平方向の座標である。
【0041】
図4は、鉛直方向分布集計部115が集計した鉛直方向の点数の分布の一例をグラフ形式で示す。本実施形態においては、画像に対して、鉛直方向の座標値をjで表している。
【0042】
図4に示すグラフにおいて、集計値Vj_maxは、鉛直方向の点数の分布の最大値である。そして、鉛直方向の座標j_maxは、集計値Vj_maxとなる画像の鉛直方向の座標である。
【0043】
また、集計値Vj_thresholdは、集計値Vj_maxに所定の係数β(但し、0<β<1とする。)を乗じた値である。そして、鉛直方向の座標j_upperは、鉛直方向の点数の分布を、画像の上端の座標から下端の方向へ探索した場合に、集計値が初めて集計値Vj_thresholdとなる画像の鉛直方向の座標である。また、鉛直方向の座標j_lowerは、鉛直方向の点数の分布を、画像の下端の座標から上端の方向へ探索した場合に、集計値が初めて集計値Vj_thresholdとなる画像の鉛直方向の座標である。
【0044】
図5は、車番プレート領域抽出部116が抽出した車番プレートの領域の一例を示す。車番プレート領域抽出部116が抽出した車番プレートの領域は、始点座標(i_left,j_upper)、及び終点座標(i_right,j_lower)で囲まれる領域である。
【0045】
図6は、画像認識装置110の動作フローの一例を示す。なおまた、この動作フローの説明においては、図1から図5を共に参照する。
【0046】
CCTVカメラ130は、例えば、1/1000秒程度のシャッタ速度によって道路上の所定の領域を撮像する。その際、補助光源150は、CCTVカメラ130のシャッタ速度に同期して発光する。そして、CCTVカメラ130は、撮像する度に、撮像して得られた画像を、画像認識装置110へ出力する。
【0047】
画像認識装置110の画像入力受付部111は、CCTVカメラ130から出力された画像の入力を受け付ける度に(S101)、その画像を、勾配算出部112、及び文字認識処理部117へ送る。
【0048】
画像認識装置110の勾配算出部112は、画像入力受付部111から送られた画像を受け取ると、その画像をラスタースキャンしながら、各座標の水平方向、及び鉛直方向の各方向について、勾配の値を算出する(S102)。例えば、勾配算出部112は、画像の各座標の水平方向の勾配の値f(row)を、式(1)のようにして算出する。また、例えば、勾配算出部112は、画像の各座標の鉛直方向の勾配の値f(col)を、式(2)のようにして算出する。ここで、f(i,j)は、座標(i,j)の画素値である。
【0049】
【数1】
【0050】
【数2】
【0051】
そして、勾配算出部112は、各座標の水平方向、及び鉛直方向の各方向について、勾配の値を算出する度に、その座標と、その座標の水平方向の勾配の値f(row)と、その座標の鉛直方向の勾配の値f(col)とを示すデータを、エッジ方向評価部113へ送る。
【0052】
画像認識装置110のエッジ方向評価部113は、勾配算出部112から送られたデータを受け取ると、そのデータによって示される座標におけるエッジの方向を評価する(S103)。例えば、エッジ方向評価部113は、勾配算出部112から受け取ったデータによって示される座標の水平方向の勾配の値f(row)と、その座標の鉛直方向の勾配の値f(col)とに基づいて、その座標におけるエッジの方向θを、式(3)のようにして算出する。
【0053】
【数3】
【0054】
ここで、車番プレートに使用され得る文字は、所定のフォントにて表される。そのため、車番プレートに使用され得る文字の輪郭線の方向は、特定の方向に偏っている傾向にある。例えば、0°の輪郭線の方向(横方向)と、90°の輪郭線の方向(縦方向)は、特に高い存在率である。そこで、エッジ方向評価部113は、算出した座標におけるエッジの方向θと、0°又は90°とのずれ量が、所定のずれ量のしきい値よりも小さいか否かを判定する。ここで、所定のずれ量のしきい値を考慮する理由は、必ずしも画像に車番プレートが水平に、又は想定された角度で写っていない可能性があるからである。例えば、所定のずれ量のしきい値は、例えば、±5°程度とする。そして、座標におけるエッジの方向θと、0°又は90°とのずれ量が、所定のずれ量のしきい値よりも小さい場合、エッジ方向評価部113は、その座標に対して点数を1点付与することによって、その座標におけるエッジの方向を評価する。一方、座標におけるエッジの方向θと、0°又は90°とのずれ量が、所定のずれ量のしきい値よりも大きい場合、エッジ方向評価部113は、その座標に対して点数を付与しないことによって、その座標におけるエッジの方向を評価する。そして、エッジ方向評価部113は、その座標と、その座標における点数とを示すデータを、水平方向分布集計部114、及び鉛直方向分布集計部115へ送る。なおまた、0°の輪郭線の方向と、90°の輪郭線の方向は、この発明における「車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向」の一例であってよい。
【0055】
画像認識装置110の水平方向分布集計部114は、エッジ方向評価部113から送られたデータを受け取ると、そのデータによって示される点数の水平方向の分布を集計する(S104)。例えば、水平方向分布集計部114は、座標(i,j)、座標(i,j+1)、座標(i,j+2)、・・・の点数を加算して、水平方向の座標iの点数の集計値とする。このようにして、水平方向分布集計部114は、水平方向の座標i、i+1、i+2、・・・の各座標における集計値を算出すると、水平方向の点数の分布を示すデータを、車番プレート領域抽出部116へ送る。
【0056】
画像認識装置110の鉛直方向分布集計部115は、エッジ方向評価部113から送られたデータを受け取ると、そのデータによって示される点数の鉛直方向の分布を集計する(S105)。例えば、鉛直方向分布集計部115は、座標(i,j)、座標(i+1,j)、座標(i+2,j)、・・・の点数を加算して、鉛直方向の座標jの点数の集計値とする。このようにして、鉛直方向分布集計部115は、鉛直方向の座標j、j+1、j+2、・・・の各座標における集計値を算出すると、鉛直方向の点数の分布を示すデータを、車番プレート領域抽出部116へ送る。
【0057】
画像認識装置110の車番プレート領域抽出部116は、水平方向分布集計部114、及び鉛直方向分布集計部115から送られたデータをそれぞれ受け取ると、これらのデータによって示される点数の分布に基づいて、画像の中から車番プレートの領域を抽出する(S106)。例えば、車番プレート領域抽出部116は、水平方向分布集計部114から受け取ったデータによって示される水平方向の点数の分布の中から、水平方向の点数の分布が最大となる集計値Vi_maxを特定する。そして、車番プレート領域抽出部116は、その集計値Vi_maxに所定の係数α(但し、0<α<1とする。)を乗じた値Vi_thresholdを算出する。そして、車番プレート領域抽出部116は、水平方向の点数の分布を、画像の左端の座標から右端の方向へ探索して、図3に示すように、集計値が初めて値Vi_thresholdとなる画像の水平方向の座標i_leftを特定する。また、車番プレート領域抽出部116は、水平方向の点数の分布を、画像の右端の座標から左端の方向へ探索して、図3に示すように、集計値が初めて値Vi_thresholdとなる画像の水平方向の座標i_rightを特定する。同様に、車番プレート領域抽出部116は、鉛直方向分布集計部115から受け取ったデータによって示される鉛直方向の点数の分布の中から、鉛直方向の点数の分布が最大となる集計値Vj_maxを特定する。そして、車番プレート領域抽出部116は、その集計値Vj_maxに所定の係数β(但し、0<β<1とする。)を乗じた値Vj_thresholdを算出する。そして、車番プレート領域抽出部116は、鉛直方向の点数の分布を、画像の上端の座標から下端の方向へ探索して、図4に示すように、集計値が初めて値Vj_thresholdとなる画像の鉛直方向の座標j_upperを特定する。また、車番プレート領域抽出部116は、鉛直方向の点数の分布を、画像の下端の座標から上端の方向へ探索して、図4に示すように、集計値が初めて値Vj_thresholdとなる画像の鉛直方向の座標j_lowerを特定する。そして、車番プレート領域抽出部116は、図5に示すように、始点座標(i_left,j_upper)、及び終点座標(i_right,j_lower)で囲まれる領域を、車番プレートの領域として抽出する。そして、車番プレート領域抽出部116は、抽出した車番プレートの領域の始点座標(i_left,j_upper)、及び終点座標(i_right,j_lower)を示すデータを、文字認識処理部117へ送る。
【0058】
画像認識装置110の文字認識処理部117は、画像入力受付部111から送られた画像を受け取り、車番プレート領域抽出部116から送られたデータを受け取ると、画像入力受付部111から受け取った画像の中から、車番プレート領域抽出部116から受け取ったデータによって示される始点座標(i_left,j_upper)、及び終点座標(i_right,j_lower)によって囲まれる車番プレートの領域を対象にして、文字認識処理を行って、車番を認識する(S107)。例えば、文字認識には、高速な演算が可能なパターンマッチング方式、文字それぞれの特徴量を抽出し、標準パターンとの距離演算で分離する方式、文字パターンを直接ニューラルネットワーク等に与える方式等が採用される。そして、文字認識処理部117は、認識した車番を示すデータを、車番データ送信部118へ送る。
【0059】
画像認識装置110の車番データ送信部118は、文字認識処理部117から送られたデータを受け取ると、そのデータを、ホストコンピュータ170へ送信する(S108)。
【0060】
このようにして、ホストコンピュータ170は、画像認識装置110から送信されたデータによって示される車番の情報を利用した処理を行うことができるようになる。
【0061】
以上、説明したように、第1の実施形態に係る画像認識装置110は、車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、その座標に対して点数を付与してその座標におけるエッジの方向を評価する。そして、画像認識装置110は、付与した点数の分布に基づいて、画像の中から車番プレートの領域を抽出する。
【0062】
このようにして、第1の実施形態に係る画像認識装置110によっては、既知の技術と比較して、より高速且つ精確に、画像の中から車番プレートの領域を抽出することができる。
【0063】
また、上述したように、第1の実施形態に係る画像認識装置110は、付与した点数の水平方向の分布を集計する。そして、画像認識装置110は、集計した水平方向の点数の分布に基づいて、画像の中から車番プレートの水平方向の領域を抽出する。
【0064】
このようにして、第1の実施形態に係る画像認識装置110によっては、高速且つ精確に、画像の中から車番プレートの水平方向の領域を抽出することができる。
【0065】
また、上述したように、第1の実施形態に係る画像認識装置110は、付与した点数の鉛直方向の分布を集計する。そして、画像認識装置110は、集計した鉛直方向の点数の分布に基づいて、画像の中から車番プレートの鉛直方向の領域を抽出する。
【0066】
このようにして、第1の実施形態に係る画像認識装置110によっては、高速且つ精確に、画像の中から車番プレートの鉛直方向の領域を抽出することができる。
【0067】
図7は、第2の実施形態に係る画像認識装置110のブロック構成の一例を示す。第2の実施形態に係る画像認識装置110は、画像入力受付部111、勾配算出部112、エッジ方向評価部113、水平方向分布集計部114、鉛直方向分布集計部115、車番プレート領域抽出部116、文字認識処理部117、車番データ送信部118、及びルックアップテーブル119を有する。以下の説明においては、各構成要素の機能、及び動作を詳述する。
【0068】
なおまた、第2の実施形態に係る画像認識装置110の構成要素のうち、第1の実施形態に係る画像認識装置110の構成要素と同じ符号を付している同名の構成要素は、同様の機能、及び動作を示す。したがって、以下の説明においては、その詳細な説明を省略する。
【0069】
ルックアップテーブル119は、水平方向の勾配の値f(row)と、鉛直方向の勾配の値f(col)との全ての組み合わせに対して、各組み合わせによって決まるエッジの方向θの評価結果である点数が格納されているテーブルである。例えば、水平方向の勾配の値f(row)と鉛直方向の勾配の値f(col)との組み合わせによって決まるエッジの方向θと、0°又は90°とのずれ量が、所定のずれ量のしきい値よりも小さい場合、その水平方向の勾配の値f(row)と、鉛直方向の勾配の値f(col)との組み合わせに対して、1点の点数が格納されている。また、例えば、水平方向の勾配の値f(row)と鉛直方向の勾配の値f(col)との組み合わせによって決まるエッジの方向θと、0°又は90°とのずれ量が、所定のずれ量のしきい値よりも大きい場合、その水平方向の勾配の値f(row)と、鉛直方向の勾配の値f(col)との組み合わせに対して、0点の点数が格納されている。
【0070】
図8は、第2の実施形態に係る画像認識装置110の動作フローの一例を示す。なおまた、この動作フローの説明においては、図1から図7を共に参照する。また、第2の実施形態に係る画像認識装置110の動作ステップのうち、第1の実施形態に係る画像認識装置110の動作ステップと同じ符号を付している同名の動作ステップは、同様の動作を示す。したがって、以下の説明においては、その詳細な説明を省略する。
【0071】
画像認識装置110のエッジ方向評価部113は、勾配算出部112から送られたデータを受け取ると、ルックアップテーブル119に格納されている点数の情報のうち、勾配算出部112から受け取ったデータによって示される水平方向の勾配の値f(row)と、鉛直方向の勾配の値f(col)との組み合わせに対して格納されている点数を読み出す。そして、エッジ方向評価部113は、ルックアップテーブル119から読み出した点数を、勾配算出部112から受け取ったデータによって示される座標におけるエッジの方向の評価結果とする(S109)。そして、エッジ方向評価部113は、その座標と、その座標における点数とを示すデータを、水平方向分布集計部114、及び鉛直方向分布集計部115へ送る。
【0072】
以上、説明したように、第2の実施形態に係る画像認識装置110は、ルックアップテーブル119を参照してエッジの方向を評価する。
【0073】
このようにして、第2の実施形態に係る画像認識装置110によっては、より高速に、画像の中から車番プレートの領域を抽出することができる。
【0074】
図9は、第3の実施形態に係る画像認識装置110の動作フローの一例を示す。なおまた、この動作フローの説明においては、図1から図8を共に参照する。また、第3の実施形態に係る画像認識装置110の動作ステップのうち、第1の実施形態に係る画像認識装置110の動作ステップと同じ符号を付している同名の動作ステップは、同様の動作を示す。したがって、以下の説明においては、その詳細な説明を省略する。
【0075】
画像認識装置110のエッジ方向評価部113は、勾配算出部112から送られたデータを受け取ると、そのデータによって示される座標におけるエッジの方向を評価する(S110)。例えば、エッジ方向評価部113は、勾配算出部112から受け取ったデータによって示される水平方向の勾配の値f(row)と、その座標の鉛直方向の勾配の値f(col)とに基づいて、その座標におけるエッジの方向θを、式(3)のようにして算出する。ここで、車番プレートに使用され得る文字は、所定のフォントにて表される。そのため、車番プレートに使用され得る文字の輪郭線の方向は、特定の方向に偏っている傾向にある。例えば、0°の輪郭線の方向と、90°の輪郭線の方向は、特に高い存在率である。また、例えば、45°の輪郭線の方向は、0°や90°の輪郭線の方向に次いで高い存在率であるとする。このような場合、エッジ方向評価部113は、算出した座標におけるエッジの方向θと、0°、45°、又は90°とのずれ量が、所定のずれ量のしきい値よりも小さいか否かを判定する。ここで、所定のずれ量のしきい値を考慮する理由は、必ずしも画像に車番プレートが水平に写っていない可能性があるからである。例えば、所定のずれ量のしきい値は、例えば、±5°程度とする。そして、座標におけるエッジの方向θと、0°又は90°とのずれ量が、所定のずれ量のしきい値よりも小さい場合、エッジ方向評価部113は、その座標に対して点数を5点付与することによって、その座標におけるエッジの方向を評価する。また、座標におけるエッジの方向θと、45°とのずれ量が、所定のずれ量のしきい値よりも小さい場合、エッジ方向評価部113は、その座標に対して点数を3点付与することによって、その座標におけるエッジの方向を評価する。一方、座標におけるエッジの方向θと、0°、45°、又は90°とのずれ量が、所定のずれ量のしきい値よりも大きい場合、エッジ方向評価部113は、その座標に対して点数を付与しないことによって、その座標におけるエッジの方向を評価する。そして、エッジ方向評価部113は、その座標と、その座標における点数とを示すデータを、水平方向分布集計部114、及び鉛直方向分布集計部115へ送る。
【0076】
以上、説明したように、第3の実施形態に係る画像認識装置110は、車番プレートに使用され得る文字の輪郭線の方向とエッジの方向とのずれ量が所定のずれ量のしきい値よりも小さい場合、その輪郭線の方向の存在率に応じて異なる点数を付与する。
【0077】
このようにして、第3の実施形態に係る画像認識装置110によっては、第1の実施形態に係る画像認識装置110と比較して、より精確に、画像の中から車番プレートの鉛直方向の領域を抽出することができる。
【0078】
図10は、第4の実施形態に係る画像認識装置110のブロック構成の一例を示す。第4の実施形態に係る画像認識装置110は、画像入力受付部111、勾配算出部112、エッジ強さ判定部120、エッジ方向評価部121、水平方向分布集計部114、鉛直方向分布集計部115、車番プレート領域抽出部116、文字認識処理部117、及び車番データ送信部118を有する。以下の説明においては、各構成要素の機能、及び動作を詳述する。
【0079】
なおまた、第4の実施形態に係る画像認識装置110の構成要素のうち、第1の実施形態に係る画像認識装置110の構成要素と同じ符号を付している同名の構成要素は、同様の機能、及び動作を示す。したがって、以下の説明においては、その詳細な説明を省略する。
【0080】
エッジ強さ判定部120は、画像の各座標におけるエッジの強さが所定の強さのしきい値よりも大きいか否かを判定する。
【0081】
エッジ方向評価部121は、車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、その座標に対して点数を付与してその座標におけるエッジの方向を評価する。例えば、エッジ方向評価部121は、エッジの強さが所定の強さのしきい値よりも小さいとエッジ強さ判定部120が判定した場合、車番プレートに使用され得る文字の輪郭線の方向と、座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さくても、その座標に対して点数を付与しない。
【0082】
図11は、第4の実施形態に係る画像認識装置110の動作フローの一例を示す。なおまた、この動作フローの説明においては、図1から図10を共に参照する。また、第4の実施形態に係る画像認識装置110の動作ステップのうち、第1の実施形態に係る画像認識装置110の動作ステップと同じ符号を付している同名の動作ステップは、同様の動作を示す。したがって、以下の説明においては、その詳細な説明を省略する。
【0083】
画像認識装置110の勾配算出部112は、各座標の水平方向、及び鉛直方向の各方向について、勾配の値を算出する度に、その座標と、その座標の水平方向の勾配の値f(row)と、その座標の鉛直方向の勾配の値f(col)とを示すデータを、エッジ強さ判定部120、及びエッジ方向評価部121へ送る。
【0084】
画像認識装置110のエッジ強さ判定部120は、勾配算出部112から送られたデータを受け取ると、そのデータによって示される座標におけるエッジの強さが所定の強さのしきい値よりも大きいか否かを判定する(S111)。例えば、エッジ強さ判定部120は、勾配算出部112から受け取ったデータによって示される座標の水平方向の勾配の値f(row)と、その座標の鉛直方向の勾配の値f(col)とに基づいて、その座標におけるエッジの強さを、式(4)、又は式(5)のようにして算出する。
【0085】
【数4】
【0086】
【数5】
【0087】
ここで、一般に、車番プレートの文字の輪郭線部分の画素値は、車番プレート本体の画素値と比較して、大きく変化している。したがって、その近傍の座標におけるエッジの強さは、強いと言える。一方、路面の凹凸部分等の画素値は、小さく変化している。したがって、その近傍の座標におけるエッジの強さは、弱いと言える。しかしながら、座標におけるエッジの方向θは、そのエッジの強さの強弱に拘らず、同じ方向を示す場合がある。そのため、路面の凹凸部分等の近傍の座標におけるエッジは、ノイズとして無視する必要がある。そこで、エッジ強さ判定部120は、算出したエッジの強さが所定の強さのしきい値よりも大きいか否かを判定する。例えば、車番プレートの文字の輪郭線部分の画素値が車番プレート本体の画素値と比較して、大きく変化しているようなものを対象とする場合、強さのしきい値は、大きい値に設定される。一方、車番プレートの文字の輪郭線部分の画素値が車番プレート本体の画素値と比較して、あまり大きく変化していないようなものを対象とする場合、強さのしきい値は、小さい値に設定される。そして、エッジ強さ判定部120は、座標におけるエッジの強さが所定の強さのしきい値よりも大きいか否かを判定すると、その座標と、判定結果とを示すデータを、エッジ方向評価部121へ送る。
【0088】
画像認識装置110のエッジ方向評価部121は、勾配算出部112から送られたデータを受け取り、エッジ方向評価部121から送られたデータを受け取ると、エッジ方向評価部121から受け取ったデータによって示される判定結果が「座標におけるエッジの強さが所定の強さのしきい値よりも小さい」との判定結果であった場合(S111:No)、車番プレートに使用され得る文字の輪郭線の方向と、その座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さくても、その座標に対して点数を付与しない(S112)。一方、エッジ方向評価部121から受け取ったデータによって示される判定結果が「座標におけるエッジの強さが所定の強さのしきい値よりも大きい」との判定結果であった場合(S111:Yes)、エッジ方向評価部121は、勾配算出部112から送られたデータによって示される座標におけるエッジの方向を評価する(S103)。
【0089】
以上、説明したように、第4の実施形態に係る画像認識装置110は、画像の各座標におけるエッジの強さが所定の強さのしきい値よりも大きいか否かを判定する。そして、画像認識装置110は、エッジの強さが所定の強さのしきい値よりも小さいとエッジ強さ判定部が判定した場合、車番プレートに使用され得る文字の輪郭線の方向と、座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さくても、その座標に対して点数を付与しない。
【0090】
このようにして、第4の実施形態に係る画像認識装置110によっては、路面の凹凸部分等の近傍の座標におけるエッジを、ノイズとして無視することができる。
【0091】
図12は、第5の実施形態に係る画像認識装置110のブロック構成の一例を示す。第5の実施形態に係る画像認識装置110は、画像入力受付部111、勾配算出部112、エッジ方向評価部113、領域分布集計部122、車番プレート領域抽出部123、文字認識処理部117、車番データ送信部118、評価情報格納部124、及び領域分布情報格納部125を有する。以下の説明においては、各構成要素の機能、及び動作を詳述する。
【0092】
なおまた、第5の実施形態に係る画像認識装置110の構成要素のうち、第1の実施形態に係る画像認識装置110の構成要素と同じ符号を付している同名の構成要素は、同様の機能、及び動作を示す。したがって、以下の説明においては、その詳細な説明を省略する。
【0093】
領域分布集計部122は、エッジ方向評価部113が付与した点数の所定領域毎の分布を集計する。
【0094】
車番プレート領域抽出部123は、エッジ方向評価部113が付与した点数の分布に基づいて、画像の中から車番プレートの領域を抽出する。例えば、車番プレート領域抽出部123は、領域分布集計部122が集計した所定領域毎の点数の分布に基づいて、画像の中から車番プレートの領域を抽出する。
【0095】
評価情報格納部124には、各座標に付与された点数の情報が格納される。
【0096】
領域分布情報格納部125には、所定領域毎の点数の分布の情報が格納される。
【0097】
図13は、評価情報格納部124に格納される情報の一例をテーブル形式で示す。評価情報格納部124には、座標、及び点数の各情報が対応付けられて格納される。
【0098】
座標の情報は、エッジ方向評価部113がエッジの方向を評価した対象の画像の座標を示す情報である。点数の情報は、座標の情報によって示される座標に付与された点数を示す情報である。
【0099】
図14は、領域分布情報格納部125に格納される情報の一例をテーブル形式で示す。領域分布情報格納部125には、始点座標、終点座標、及び点数の各情報が対応付けられて格納される。
【0100】
本実施形態においては、領域分布集計部122が矩形領域毎の点数の分布を集計する場合、始点座標の情報は、領域分布集計部122が点数の分布を集計した矩形領域の左上の座標を示す情報である。また、終点座標の情報は、領域分布集計部122が点数の分布を集計した矩形領域の右下の座標を示す情報である。点数の情報は、領域分布集計部122が集計した、始点座標の情報によって示される座標と、終点座標の情報によって示される座標とによって囲まれた矩形領域内の点数の集計点を示す情報である。
【0101】
図15は、第5の実施形態に係る画像認識装置110の動作フローの一例を示す。なおまた、この動作フローの説明においては、図1から図13を共に参照する。また、第5の実施形態に係る画像認識装置110の動作ステップのうち、第1の実施形態に係る画像認識装置110の動作ステップと同じ符号を付している同名の動作ステップは、同様の動作を示す。したがって、以下の説明においては、その詳細な説明を省略する。
【0102】
画像認識装置110のエッジ方向評価部113は、座標におけるエッジの方向を評価する度に、その座標の情報と、その座標における点数の情報とを対応付けて、評価情報格納部124に格納する。このようにして、評価情報格納部124には、図13に示すような情報が格納されることになる。そして、エッジ方向評価部113は、画像の全座標におけるエッジの方向を評価し終えると、その旨を示すデータを、領域分布集計部122へ送る。
【0103】
画像認識装置110の領域分布集計部122は、エッジ方向評価部113から送られたデータを受け取ると、評価情報格納部124に格納されている情報を参照して、エッジ方向評価部113が付与した点数の所定領域毎の分布を集計する(S113)。例えば、所定領域の大きさは、想定している車番プレートを撮像した場合の、画像上の車番プレートの大きさと同じか、それよりも小さい大きさの矩形領域とする。領域分布集計部122は、画像の全領域に対して、所定領域を少しずつずらしながら、その所定領域内の点数を加算して集計する。そして、領域分布集計部122は、その所定領域の始点座標の情報と、その所定領域の終点座標の情報と、その所定領域内の集計した点数の情報とを対応付けて、領域分布情報格納部125に格納する。このようにして、領域分布情報格納部125には、図14に示すような情報が格納されることになる。ここで、領域分布集計部122は、所定領域を1画素ずつずらしながら集計してもよいし、複数画素ずつずらしながら集計してもよいし、ランダムにずらしながら集計してもよい。そして、領域分布集計部122は、画像の全領域に対して、所定領域毎の点数の分布の集計を終えると、その旨を示すデータを、車番プレート領域抽出部123へ送る。
【0104】
画像認識装置110の車番プレート領域抽出部123は、領域分布集計部122から送られたデータを受け取ると、領域分布情報格納部125に格納されている情報を参照して、画像の中から車番プレートの領域を抽出する(S114)。例えば、車番プレート領域抽出部123は、領域分布情報格納部125に格納されている情報のうち、所定の点数のしきい値よりも大きい点数の情報に対応付けられて格納されている、始点座標の情報と、終点座標の情報とを全て読み出す。そして、車番プレート領域抽出部123は、領域分布情報格納部125から読み出した始点座標の情報によって示される座標と、終点座標の情報によって示される座標とによって囲まれる全ての矩形領域を囲む矩形領域を、車番プレートの領域として抽出する。そして、車番プレート領域抽出部123は、抽出した車番プレートの領域の左上の座標と、右下の座標とを示すデータを、文字認識処理部117へ送る。
【0105】
以上、説明したように、第5の実施形態に係る画像認識装置110は、所定領域毎の点数の分布を集計する。そして、画像認識装置110は、集計した所定領域毎の点数の分布に基づいて、画像の中から車番プレートの領域を抽出する。
【0106】
このようにして、第5の実施形態に係る画像認識装置110によっては、第1の実施形態に係る画像認識装置110と比較して、より精確に、画像の中から車番プレートの領域を抽出することができる。
【0107】
図16は、第6の実施形態に係る画像認識装置110のブロック構成の一例を示す。第6の実施形態に係る画像認識装置110は、画像入力受付部111、勾配算出部112、エッジ方向評価部113、水平方向分布集計部114、鉛直方向分布集計部115、領域分布集計部122、車番プレート領域抽出部126、文字認識処理部117、車番データ送信部118、評価情報格納部124、及び領域分布情報格納部125を有する。以下の説明においては、各構成要素の機能、及び動作を詳述する。
【0108】
なおまた、第6の実施形態に係る画像認識装置110の構成要素のうち、第1の実施形態に係る画像認識装置110、又は第5の実施形態に係る画像認識装置110の構成要素と同じ符号を付している同名の構成要素は、同様の機能、及び動作を示す。したがって、以下の説明においては、その詳細な説明を省略する。
【0109】
車番プレート領域抽出部126は、エッジ方向評価部113が付与した点数の分布に基づいて、画像の中から車番プレートの領域を抽出する。例えば、車番プレート領域抽出部126は、水平方向分布集計部114が集計した水平方向の点数の分布に基づいて、画像の中から車番プレートの水平方向の領域を抽出する。また、例えば、車番プレート領域抽出部126は、鉛直方向分布集計部115が集計した鉛直方向の点数の分布に基づいて、画像の中から車番プレートの鉛直方向の領域を抽出する。また、例えば、車番プレート領域抽出部126は、領域分布集計部122が集計した所定領域毎の点数の分布に基づいて、画像の中から車番プレートの領域を抽出する。
【0110】
図17は、図6の実施形態に係る画像認識装置110の動作フローの一例を示す。なおまた、この動作フローの説明においては、図1から図17を共に参照する。また、第6の実施形態に係る画像認識装置110の動作ステップのうち、第1の実施形態に係る画像認識装置110、又は第5の実施形態に係る画像認識装置110の動作ステップと同じ符号を付している同名の動作ステップは、同様の動作を示す。したがって、以下の説明においては、その詳細な説明を省略する。
【0111】
画像認識装置110のエッジ方向評価部113は、座標におけるエッジの方向を評価する度に、その座標と、その座標における点数とを示すデータを、水平方向分布集計部114、及び鉛直方向分布集計部115へ送るとともに、これらの情報を対応付けて、評価情報格納部124に格納する。このようにして、評価情報格納部124には、図13に示すような情報が格納されることになる。
【0112】
画像認識装置110の車番プレート領域抽出部116は、水平方向分布集計部114、及び鉛直方向分布集計部115から送られたデータをそれぞれ受け取ると、これらのデータによって示される点数の分布に基づいて、画像の中から車番プレートの仮領域を抽出する(S115)。例えば、車番プレート領域抽出部116は、水平方向分布集計部114から受け取ったデータによって示される水平方向の点数の分布の中から、水平方向の点数の分布が最大となる集計値Vi_maxを特定する。そして、車番プレート領域抽出部116は、その集計値Vi_maxに所定の係数α(但し、0<α<1とする。)を乗じた値Vi_thresholdを算出する。そして、車番プレート領域抽出部116は、水平方向の点数の分布を、画像の左端の座標から右端の方向へ探索して、図3に示すように、集計値が初めて値Vi_thresholdとなる画像の水平方向の座標i_leftを特定する。また、車番プレート領域抽出部116は、水平方向の点数の分布を、画像の右端の座標から左端の方向へ探索して、図3に示すように、集計値が初めて値Vi_thresholdとなる画像の水平方向の座標i_rightを特定する。同様に、車番プレート領域抽出部116は、鉛直方向分布集計部115から受け取ったデータによって示される鉛直方向の点数の分布の中から、鉛直方向の点数の分布が最大となる集計値Vj_maxを特定する。そして、車番プレート領域抽出部116は、その集計値Vj_maxに所定の係数α(但し、0<α<1とする。)を乗じた値Vj_thresholdを算出する。そして、車番プレート領域抽出部116は、鉛直方向の点数の分布を、画像の上端の座標から下端の方向へ探索して、図4に示すように、集計値が初めて値Vj_thresholdとなる画像の鉛直方向の座標j_upperを特定する。また、車番プレート領域抽出部116は、鉛直方向の点数の分布を、画像の下端の座標から上端の方向へ探索して、図4に示すように、集計値が初めて値Vj_thresholdとなる画像の鉛直方向の座標j_lowerを特定する。そして、車番プレート領域抽出部116は、図5に示すように、始点座標(i_left,j_upper)、及び終点座標(i_right,j_lower)で囲まれる領域を、車番プレートの仮領域として抽出する。そして、車番プレート領域抽出部116は、抽出した車番プレートの仮領域の始点座標(i_left,j_upper)、及び終点座標(i_right,j_lower)を示すデータを、領域分布集計部122へ送る。
【0113】
画像認識装置110の領域分布集計部122は、車番プレート領域抽出部116から送られたデータを受け取ると、そのデータによって示される始点座標(i_left,j_upper)、及び終点座標(i_right,j_lower)によって囲まれる車番プレートの仮領域に対して、評価情報格納部124に格納されている情報を参照して、エッジ方向評価部113が付与した点数の所定領域毎の分布を集計する(S116)。例えば、所定領域の大きさは、想定している車番プレートを撮像した場合の、画像上の車番プレートの大きさと同じか、それよりも小さい大きさの矩形領域とする。領域分布集計部122は、車番プレートの仮領域に対して、所定領域を少しずつずらしながら、その所定領域内の点数を加算して集計する。そして、領域分布集計部122は、その所定領域の始点座標の情報と、その所定領域の終点座標の情報と、その所定領域内の集計した点数の情報とを対応付けて、領域分布情報格納部125に格納する。このようにして、領域分布情報格納部125には、図14に示すような情報が格納されることになる。ここで、領域分布集計部122は、所定領域を1画素ずつずらしながら集計してもよいし、複数画素ずつずらしながら集計してもよいし、ランダムにずらしながら集計してもよい。そして、領域分布集計部122は、車番プレートの仮領域に対して、所定領域毎の点数の分布の集計を終えると、その旨を示すデータを、車番プレート領域抽出部123へ送る。
【0114】
画像認識装置110の車番プレート領域抽出部123は、領域分布集計部122から送られたデータを受け取ると、領域分布情報格納部125に格納されている情報を参照して、画像の中から車番プレートの本領域を抽出する(S117)。例えば、車番プレート領域抽出部123は、領域分布情報格納部125に格納されている情報のうち、所定の点数のしきい値よりも大きい点数の情報に対応付けられて格納されている、始点座標の情報と、終点座標の情報とを全て読み出す。そして、車番プレート領域抽出部123は、領域分布情報格納部125から読み出した始点座標の情報によって示される座標と、終点座標の情報によって示される座標とによって囲まれる全ての矩形領域を囲む矩形領域を、車番プレートの本領域として抽出する。そして、車番プレート領域抽出部123は、抽出した車番プレートの本領域の左上の座標と、右下の座標とを示すデータを、文字認識処理部117へ送る。
【0115】
以上、説明したように、第6の実施形態に係る画像認識装置110は、集計した水平方向の点数の分布と、集計した鉛直方向の点数の分布とに基づいて、画像の中から車番プレートの仮領域を抽出する。そして、画像認識装置110は、集計した所定領域毎の分布に基づいて、車番プレートの仮領域の中から車番プレートの本領域を抽出する。
【0116】
このようにして、第6の実施形態に係る画像認識装置110によっては、第1の実施形態に係る画像認識装置110と比較して、より精確に、画像の中から車番プレートの領域を抽出することができ、第5の実施形態に係る画像認識装置110と比較して、より高速に、画像の中から車番プレートの領域を抽出することができる。
【0117】
図18は、本実施形態に係る画像認識装置110を構成するコンピュータ800のハードウェア構成の一例を示す。本実施形態に係るコンピュータ800は、ホストコントローラ801により相互に接続されるCPU(Central Processing Unit)802、RAM(Random Access Memory)803、グラフィックコントローラ804、及びディスプレイ805を有するCPU周辺部と、入出力コントローラ806により相互に接続される通信インターフェース807、ハードディスクドライブ808、及びCD−ROM(Compact Disk Read Only Memory)ドライブ809を有する入出力部と、入出力コントローラ806に接続されるROM(Read Only Memory)810、フレキシブルディスクドライブ811、及び入出力チップ812を有するレガシー入出力部とを備える。
【0118】
ホストコントローラ801は、RAM803と、高い転送レートでRAM803をアクセスするCPU802、及びグラフィックコントローラ804とを接続する。CPU802は、ROM810、及びRAM803に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィックコントローラ804は、CPU802等がRAM803内に設けたフレームバッファ上に生成する画像データを取得し、ディスプレイ805上に表示させる。これに代えて、グラフィックコントローラ804は、CPU802等が生成する画像データを格納するフレームバッファを、内部に含んでもよい。
【0119】
入出力コントローラ806は、ホストコントローラ801と、比較的高速な入出力装置である通信インターフェース807、ハードディスクドライブ808、及びCD−ROMドライブ809を接続する。ハードディスクドライブ808は、コンピュータ800内のCPU802が使用するプログラム、及びデータを格納する。CD−ROMドライブ809は、CD−ROM892からプログラム、又はデータを読み取り、RAM803を介してハードディスクドライブ808に提供する。
【0120】
また、入出力コントローラ806には、ROM810と、フレキシブルディスクドライブ811、及び入出力チップ812の比較的低速な入出力装置とが接続される。ROM810は、コンピュータ800が起動時に実行するブートプログラム、及び/又はコンピュータ800のハードウェアに依存するプログラム等を格納する。フレキシブルディスクドライブ811は、フレキシブルディスク893からプログラム、又はデータを読み取り、RAM803を介してハードディスクドライブ808に提供する。入出力チップ812は、フレキシブルディスクドライブ811を入出力コントローラ806へと接続すると共に、例えばパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して各種の入出力装置を入出力コントローラ806へと接続する。
【0121】
RAM803を介してハードディスクドライブ808に提供されるプログラムは、フレキシブルディスク893、CD−ROM892、又はIC(Integrated Circuit)カード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM803を介してコンピュータ800内のハードディスクドライブ808にインストールされ、CPU802において実行される。
【0122】
コンピュータ800にインストールされ、コンピュータ800を画像認識装置110として機能させるプログラムは、コンピュータ800を、ステップS103、S109、S110において、車番プレートに使用され得る文字の輪郭線の方向のうち所定の存在率のしきい値よりも高い存在率の輪郭線の方向と、画像の各座標におけるエッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さい場合に、その座標に対して点数を付与してその座標におけるエッジの方向を評価するエッジ方向評価部と、エッジ方向評価部が付与した点数の分布に基づいて、ステップS106、S114、S115、S117において、画像の中から車番プレートの領域を抽出する車番プレート領域抽出部として機能させる。
【0123】
更に、当該プログラムは、コンピュータ800を、ステップS111において、画像の各座標におけるエッジの強さが所定の強さのしきい値よりも大きいか否かを判定するエッジ強さ判定部と、エッジの強さが所定の強さのしきい値よりも小さいとエッジ強さ判定部が判定した場合、ステップS112において、輪郭線の方向と、エッジの方向とのずれ量が、所定のずれ量のしきい値よりも小さくても、その座標に対して点数を付与しないエッジ方向評価部として機能させてもよい。
【0124】
更に、当該プログラムは、コンピュータ800を、エッジ方向評価部が付与した点数の水平方向の分布を、ステップS104において集計する水平方向分布集計部と、水平方向分布集計部が集計した水平方向の点数の分布に基づいて、ステップS106、S115において、画像の中から車番プレートの水平方向の領域を抽出する車番プレート領域抽出部として機能させてもよい。
【0125】
更に、当該プログラムは、コンピュータ800を、エッジ方向評価部が付与した点数の鉛直方向の分布を、ステップS105において集計する鉛直方向分布集計部と、鉛直方向分布集計部が集計した鉛直方向の点数の分布に基づいて、ステップS106、S115において、画像の中から車番プレートの鉛直方向の領域を抽出する車番プレート領域抽出部として機能させてもよい。
【0126】
更に、当該プログラムは、コンピュータ800を、エッジ方向評価部が付与した点数の所定領域毎の分布を、ステップS113、S116において集計する領域分布集計部と、領域分布集計部が集計した所定領域毎の点数の分布に基づいて、ステップS114、S117において、画像の中から車番プレートの領域を抽出する車番プレート領域抽出部として機能させてもよい。
【0127】
更に、当該プログラムは、コンピュータ800を、ステップS110において、車番プレートに使用され得る文字の輪郭線の方向とエッジの方向とのずれ量が所定のずれ量のしきい値よりも小さい場合、その輪郭線の方向の存在率に応じて異なる点数を付与するエッジ方向評価部として機能させてもよい。
【0128】
これらのプログラムに記述された情報処理は、コンピュータ800に読み込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である
画像入力受付部、勾配算出部、エッジ方向評価部、水平方向分布集計部、鉛直方向分布集計部、車番プレート領域抽出部、文字認識処理部、車番データ送信部、ルックアップテーブル、エッジ強さ判定部、領域分布集計部、評価情報格納部、及び領域分布情報格納部として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ800の使用目的に応じた情報の演算、又は加工を実現することにより、使用目的に応じた特有の画像認識装置110が構築される。
【0129】
一例として、コンピュータ800と外部の装置等との間で通信を行う場合には、CPU802は、RAM803上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェース807に対して通信処理を指示する。通信インターフェース807は、CPU802の制御を受けて、RAM803、ハードディスクドライブ808、フレキシブルディスク893、又はCD−ROM892等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェース807は、ダイレクトメモリアクセス方式により記憶装置との間で送受信データを転送してもよく、これに代えて、CPU802が転送元の記憶装置、又は通信インターフェース807からデータを読み出し、転送先の通信インターフェース807、又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
【0130】
また、CPU802は、ハードディスクドライブ808、CD−ROM892、フレキシブルディスク893等の外部記憶装置に格納されたファイル、又はデータベース等の中から、全部、又は必要な部分をダイレクトメモリアクセス転送等によりRAM803へと読み込ませ、RAM803上のデータに対して各種の処理を行う。そして、CPU802は、処理を終えたデータを、ダイレクトメモリアクセス転送等により外部記憶装置へと書き戻す。
【0131】
このような処理において、RAM803は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはRAM803、及び外部記憶装置等をメモリ、記憶部、又は記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なおまた、CPU802は、RAM803の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはRAM803の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもRAM803、メモリ、及び/又は記憶装置に含まれるものとする。
【0132】
また、CPU802は、RAM803から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索、置換等を含む各種の処理を行い、RAM803へと書き戻す。例えば、CPU802は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数、又は定数と比較して、大きい、小さい、以上、以下、又は等しい等の条件を満たすかどうかを判断し、条件が成立した場合、又は不成立であった場合に、異なる命令列へと分岐し、又はサブルーチンを呼び出す。
【0133】
また、CPU802は、記憶装置内のファイル、又はデータベース等に格納された情報を検索することができる。例えば、第1属性の属性値に対し第2属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、CPU802は、記憶装置に格納されている複数のエントリの中から第1属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第2属性の属性値を読み出すことにより、所定の条件を満たす第1属性に対応付けられた第2属性の属性値を得ることができる。
【0134】
以上に示したプログラム、又はモジュールは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク893、CD−ROM892の他に、DVD(Digital Versatile Disk)、又はCD(Compact Disk)等の光学記録媒体、MO(Magneto−Optical disk)等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク、又はインターネットに接続されたサーバシステムに設けたハードディスク、又はRAM等の記憶媒体を記録媒体として使用して、ネットワークを介してプログラムをコンピュータ800に提供してもよい。
【0135】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更、又は改良を加えることが可能であることが当業者に明らかである。そのような変更、又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0136】
特許請求の範囲、明細書、及び図面中において示したシステム、方法、装置、プログラム、及び記録媒体における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現し得ることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0137】
100 車番認識システム
110 画像認識装置
111 画像入力受付部
112 勾配算出部
113 エッジ方向評価部
114 水平方向分布集計部
115 鉛直方向分布集計部
116 車番プレート領域抽出部
117 文字認識処理部
118 車番データ送信部
119 ルックアップテーブル
120 エッジ強さ判定部
121 エッジ方向評価部
122 領域分布集計部
123 車番プレート領域抽出部
124 評価情報格納部
125 領域分布情報格納部
126 車番プレート領域抽出部
130 CCTVカメラ
150 補助光源
170 ホストコンピュータ
800 コンピュータ
801 ホストコントローラ
802 CPU
803 RAM
804 グラフィックコントローラ
805 ディスプレイ
806 入出力コントローラ
807 通信インターフェース
808 ハードディスクドライブ
809 CD−ROMドライブ
810 ROM
811 フレキシブルディスクドライブ
812 入出力チップ
891 ネットワーク通信装置
892 CD−ROM
893 フレキシブルディスク
N 通信回線
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18