IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士通株式会社の特許一覧

特許7396115テンプレート画像更新プログラム、テンプレート画像更新方法、及びテンプレート画像更新装置
<>
  • 特許-テンプレート画像更新プログラム、テンプレート画像更新方法、及びテンプレート画像更新装置 図1
  • 特許-テンプレート画像更新プログラム、テンプレート画像更新方法、及びテンプレート画像更新装置 図2
  • 特許-テンプレート画像更新プログラム、テンプレート画像更新方法、及びテンプレート画像更新装置 図3
  • 特許-テンプレート画像更新プログラム、テンプレート画像更新方法、及びテンプレート画像更新装置 図4
  • 特許-テンプレート画像更新プログラム、テンプレート画像更新方法、及びテンプレート画像更新装置 図5A
  • 特許-テンプレート画像更新プログラム、テンプレート画像更新方法、及びテンプレート画像更新装置 図5B
  • 特許-テンプレート画像更新プログラム、テンプレート画像更新方法、及びテンプレート画像更新装置 図5C
  • 特許-テンプレート画像更新プログラム、テンプレート画像更新方法、及びテンプレート画像更新装置 図6
  • 特許-テンプレート画像更新プログラム、テンプレート画像更新方法、及びテンプレート画像更新装置 図7
  • 特許-テンプレート画像更新プログラム、テンプレート画像更新方法、及びテンプレート画像更新装置 図8
  • 特許-テンプレート画像更新プログラム、テンプレート画像更新方法、及びテンプレート画像更新装置 図9
  • 特許-テンプレート画像更新プログラム、テンプレート画像更新方法、及びテンプレート画像更新装置 図10A
  • 特許-テンプレート画像更新プログラム、テンプレート画像更新方法、及びテンプレート画像更新装置 図10B
  • 特許-テンプレート画像更新プログラム、テンプレート画像更新方法、及びテンプレート画像更新装置 図10C
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-04
(45)【発行日】2023-12-12
(54)【発明の名称】テンプレート画像更新プログラム、テンプレート画像更新方法、及びテンプレート画像更新装置
(51)【国際特許分類】
   G06T 7/00 20170101AFI20231205BHJP
【FI】
G06T7/00 300D
G06T7/00 350C
【請求項の数】 6
(21)【出願番号】P 2020030278
(22)【出願日】2020-02-26
(65)【公開番号】P2021135647
(43)【公開日】2021-09-13
【審査請求日】2022-11-17
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】鯉渕 悟志
(72)【発明者】
【氏名】山岡 大亮
(72)【発明者】
【氏名】阿戸 隆志
【審査官】山田 辰美
(56)【参考文献】
【文献】特開2013-093639(JP,A)
【文献】特開2008-250772(JP,A)
【文献】特開平09-282455(JP,A)
【文献】特開2019-102042(JP,A)
【文献】特開2018-097766(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
IEEE Xplore
(57)【特許請求の範囲】
【請求項1】
予め定められた撮影範囲を撮影した撮影画像に対し、対象物の検出処理を施した検出結果画像から誤検出による検出領域を検知する際に使用するテンプレート画像の輝度情報である第1輝度情報と、前記検出結果画像の輝度情報である第2輝度情報との間に第1の閾値以上の変化があるかを判定する第1の判定処理を行い、
前記テンプレート画像の背景情報である第1背景情報と、前記検出結果画像の背景情報である第2背景情報との間に第2の閾値以上の変化があるかを判定する第2の判定処理を行い、
前記テンプレート画像に含まれる誤検出を誘引する画像を含む誤検出誘引領域に対応する前記検出結果画像の領域に前記検出処理の検出対象である対象物の画像が存在するかを判定する第3の判定処理を行い、
前記第1の判定処理で前記第1輝度情報と前記第2輝度情報との間に第1の閾値以上の変化があると判定され、前記第2の判定処理で前記第1背景情報と前記第2背景情報との間に第2の閾値以上の変化がないと判定され、かつ、前記第3の判定処理で前記対象物の画像が存在しないと判定された場合に、前記検出結果画像で前記テンプレート画像を更新する、
処理をコンピュータに実行させるテンプレート画像更新プログラム。
【請求項2】
前記第1の判定処理は、
前記テンプレート画像及び前記検出結果画像を複数の部分領域に分割し、
前記テンプレート画像及び前記検出結果画像の複数の部分領域の各々の輝度情報の代表値を導出し、
前記テンプレート画像の部分領域の各々の前記代表値と、前記検出結果画像の対応する位置の部分領域の前記代表値と、の間の変化を表す変化値に基づいて変化が大きいと判定される部分領域の個数が第1の所定数を超えている場合、前記第1輝度情報と前記第2輝度情報との間に変化があると判定する、
請求項1に記載のテンプレート画像更新プログラム。
【請求項3】
前記第2の判定処理は、
前記テンプレート画像及び前記検出結果画像を複数の部分領域に分割し、
前記テンプレート画像及び前記検出結果画像の複数の部分領域の各々の輝度情報の代表値を導出し、
前記テンプレート画像の前記部分領域の代表値と、前記部分領域に隣接する隣接部分領域の代表値とを使用して、前記テンプレート画像の前記部分領域の各々のdHash値を導出し、
前記検出結果画像の前記部分領域の代表値と、前記部分領域に隣接する隣接部分領域の代表値とを使用して、前記検出結果画像の前記部分領域の各々のdHash値を導出し、
前記テンプレート画像の前記部分領域の各々のdHash値と前記検出結果画像の対応する前記部分領域のdHash値とが一致する部分領域の個数が第2の所定数を超えている場合に前記第1背景情報と前記第2背景情報との間に変化がないと判定する、
請求項1または請求項2に記載のテンプレート画像更新プログラム。
【請求項4】
前記対象物の検出処理は、前記予め定められた撮影範囲を撮影した撮影画像から前記対象物を検出するように学習させたディープラーニング学習済みモデルによる処理である、 請求項1~請求項3の何れか1項に記載のテンプレート画像更新プログラム。
【請求項5】
コンピュータが、
予め定められた撮影範囲を撮影した撮影画像に対し、対象物の検出処理を施した検出結果画像から誤検出による検出領域を検知する際に使用するテンプレート画像の輝度情報である第1輝度情報と、前記検出結果画像の輝度情報である第2輝度情報との間に第1の閾値以上の変化があるかを判定する第1の判定処理を行い、
前記テンプレート画像の背景情報である第1背景情報と、前記検出結果画像の背景情報である第2背景情報との間に第2の閾値以上の変化があるかを判定する第2の判定処理を行い、
前記テンプレート画像に含まれる誤検出を誘引する画像を含む誤検出誘引領域に対応する前記検出結果画像の領域に前記検出処理の検出対象である対象物の画像が存在するかを判定する第3の判定処理を行い、
前記第1の判定処理で前記第1輝度情報と前記第2輝度情報との間に前記第1の閾値以上の変化があると判定され、前記第2の判定処理で前記第1背景情報と前記第2背景情報との間に前記第2の閾値以上の変化がないと判定され、かつ、前記第3の判定処理で前記対象物の画像が存在しないと判定された場合に、前記検出結果画像で前記テンプレート画像を更新する、
テンプレート画像更新方法。
【請求項6】
予め定められた撮影範囲を撮影した撮影画像に対し、対象物の検出処理を施した検出結果画像から誤検出による検出領域を検知する際に使用するテンプレート画像の輝度情報である第1輝度情報と、前記検出結果画像の輝度情報である第2輝度情報との間に第1の閾値以上の変化があるかを判定する輝度判定部と、
前記テンプレート画像の背景情報である第1背景情報と、前記検出結果画像の背景情報である第2背景情報との間に第2の閾値以上の変化があるかを判定する背景判定部と、
前記テンプレート画像に含まれる誤検出を誘引する画像を含む誤検出誘引領域に対応する前記検出結果画像の領域に前記検出処理の検出対象である対象物の画像が存在するかを判定する対象物判定部と、
前記輝度判定部で前記第1輝度情報と前記第2輝度情報との間に前記第1の閾値以上の変化があると判定され、前記背景判定部で前記第1背景情報と前記第2背景情報との間に前記第2の閾値以上の変化がないと判定され、かつ、前記対象物判定部で前記対象物の画像が存在しないと判定された場合に、前記検出結果画像で前記テンプレート画像を更新する更新部と、
を含むテンプレート画像更新装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、テンプレート画像更新プログラム、テンプレート画像更新方法、及び、テンプレート画像更新装置に関する。
【背景技術】
【0002】
屋外のカメラで取得される画像の輝度情報は、天候の変化または時間の経過によって変化するため、道路上の車両検出処理を行うためのテンプレートマッチングに使用するテンプレート画像は、輝度情報の変化に適応するように更新することが望ましい。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平9-282455号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、テンプレート画像を更新するために、複数パターンのテンプレート候補画像を予め保持しておくことは効率がよくない。
【0005】
本発明は、1つの側面として、テンプレート画像を効率よく更新することを可能とすることを目的とする。
【課題を解決するための手段】
【0006】
1つの実施形態では、テンプレート画像の輝度情報である第1輝度情報と、検出結果画像の輝度情報である第2輝度情報との間に第1の閾値以上の変化があるかを判定する第1の判定処理を行う。テンプレート画像は、予め定められた撮影範囲を撮影した撮影画像に対して対象物の検出処理を施した検出結果画像から誤検出による検出領域を検知する際に使用する画像である。テンプレート画像の背景情報である第1背景情報と、検出結果画像の背景情報である第2背景情報との間に第2の閾値以上の変化があるかを判定する第2の判定処理を行う。テンプレート画像に含まれる誤検出を誘引する画像を含む誤検出誘引領域に対応する検出結果画像の領域に検出処理の検出対象である対象物の画像が存在するかを判定する第3の判定処理を行う。条件が満たされた場合に、検出結果画像でテンプレート画像を更新する。条件が満たされた場合とは、第1の判定処理で第1輝度情報と第2輝度情報との間に変化があると判定され、第2の判定処理で第1背景情報と第2背景情報との間に変化がないと判定され、かつ、第3の判定処理で対象物の画像が存在しないと判定された場合である。
【発明の効果】
【0007】
本発明は、1つの側面として、テンプレート画像を効率よく更新することを可能とする。
【図面の簡単な説明】
【0008】
図1】本実施形態の情報処理装置の機能構成を例示するブロック図である。
図2】検出結果画像を例示する概念図である。
図3】テンプレート画像を例示する概念図である。
図4】誤検出誘引情報の指示を例示する概念図である。
図5A】検出結果画像における検出領域の位置と、誤検出誘引情報に対応する位置と、を例示する概念図である。
図5B】IoU(Intersection over Union)を説明する概念図である。
図5C】IoUを説明する概念図である。
図6】輝度情報の変化の判定を説明する概念図である。
図7】背景情報の変化の判定を説明する概念図である。
図8】テンプレート画像の更新を説明する概念図である。
図9】本実施形態の情報処理装置のハードウェア構成を例示するブロック図である。
図10A】本実施形態の情報処理の流れを例示するフローチャートである。
図10B】本実施形態の誤検出結果除去処理の流れを例示するフローチャートである。
図10C】本実施形態のテンプレート画像更新処理の流れを例示するフローチャートである。
【発明を実施するための形態】
【0009】
(情報処理装置の機能構成)
図1に、情報処理装置10の機能構成を例示する。情報処理装置10は、車両検出装置11、誤検出結果除去装置12及びテンプレート画像更新装置の一例であるテンプレート画像管理装置13を含む。情報処理装置10には、画像取得装置31、テンプレート画像記憶装置32、表示装置33、及び指示装置34が接続されている。誤検出結果除去装置12は、位置判定部21、画像判定部22及び除去部23を含む。テンプレート画像管理装置13は、登録部25、対象物判定部の一例である車両判定部26、輝度判定部27、背景判定部28、及び更新部29を含む。
【0010】
車両検出装置11は、画像取得装置31で予め定められた撮影範囲を撮影した画像を、対象物の一例である車両を検出するように学習させたニューラルネットワーク学習済みモデルに入力し、検出結果領域の一例である車両検出結果情報を出力する。車両検出結果情報は、例えば、図2に実線で例示する検出された車両の画像を囲む矩形の左上角及び右下角の座標で表される。ニューラルネットワーク学習済みモデルは、ディープラーニング学習済みモデルであってよい。
【0011】
図2に破線で例示する車両検出結果情報は、対象物である車両の画像を含んでいない。即ち、誤検出による車両検出結果情報である。誤検出を誘引する画像である誤検出誘引画像が背景部分に存在すると、当該誤検出誘引画像で誤検出が頻出する。本実施形態では、テンプレートマッチングを使用して、誤検出による車両検出結果情報を除去する。
【0012】
テンプレート画像管理装置13の登録部25は、図3に例示するように、テンプレート画像記憶装置32に、テンプレート画像及び誤検出誘引情報を記憶させる。登録部25は、例えば、図4に例示するように、車両検出装置11による車両検出結果情報を表す矩形を含む検出結果画像を表示装置33に表示し、当該矩形が誤検出誘引画像を含むか否かユーザに判断させる。ユーザが、車両の画像を含まない矩形を指示装置34で指示すると、登録部25は、当該検出結果画像をテンプレート画像とし、指示された矩形の情報を誤検出誘引領域の一例である誤検出誘引情報として、テンプレート画像記憶装置32に記憶させる。
【0013】
ユーザは、車両の画像を含まない矩形を誤検出誘引情報であると判断する。テンプレート画像記憶装置32に記憶される誤検出誘引情報は、矩形の左上角及び右下角の座標であってよい。また、テンプレート画像記憶装置32には、設置位置、ズーム倍率などの設定が各々固定されている複数の画像取得装置31の各々のテンプレート画像が記憶されていてもよい。また、テンプレート画像毎に複数の誤検出誘引情報が含まれていてもよい。
【0014】
誤検出結果除去装置12は、車両検出装置11から出力される車両検出結果情報が誤検出による場合、誤検出による車両検出結果情報を除去する。
【0015】
位置判定部21及び画像判定部22は、テンプレート画像及び誤検出誘引情報を使用して、車両検出結果情報が誤検出によるか否かを判定する。位置判定部21は、図5Aに実線で例示する車両検出結果情報の位置と破線で例示するテンプレート画像の誤検出誘引情報の位置とが一致するか否か判定する。位置判定部21は、例えば、IoU(Intersection over Union)を使用して、車両検出結果情報の位置と誤検出誘引情報との位置の一致度を判定する。
【0016】
IoUは、図5Bに例示する2つの領域の重畳部分の面積を図5Cに例示する2つの領域の外郭で囲まれた領域の面積で割った値であり、2つの領域の大きさが近く、重畳部分が多いほど、1に近い値となり、重畳部分が少ないほど、0に近い値となる。位置判定部21は、IoUの値が所定の閾値以上である場合に、車両検出結果情報が誤検出によると判定する。閾値は、例えば、0.5であってよい。
【0017】
画像判定部22は、検出結果画像の車両検出結果情報を表す矩形内の画像情報とテンプレート画像の誤検出誘引情報を表す矩形内の画像情報とのテンプレートマッチングを行い、画像の一致度が高い場合には、車両検出結果情報が誤検出によると判定する。画像情報の一致度が高い場合、画像取得装置31の設定は変更されておらず、車両検出結果情報を表す矩形内には、誤検出誘引情報を表す矩形内と同様に車両は存在しない、と判定される。したがって、テンプレートマッチングの結果、出力される一致度が所定の閾値以上である場合、画像判定部22は、車両検出結果情報が誤検出によると判定する。
【0018】
例えば、画像取得装置31の設定が変更されている場合、車両検出結果情報の位置と誤検出誘引情報の位置とが一致していても、誤検出ではない場合があるため、画像判定部22による画像の一致度を判定することで、誤検出の判定の精度を向上させることができる。したがって、位置判定部21による位置の一致度の判定と、画像判定部22による画像の一致度の判定は、何れか一方だけを行うようにしてもよい。
【0019】
除去部23は、位置判定部21及び画像判定部22が、車両検出結果情報が誤検出によると判定した場合、当該車両検出結果情報を除去する。除去部23は、例えば、誤検出による車両検出結果情報を表す矩形の左上角及び右下角の座標情報を除去する。
【0020】
テンプレート画像管理装置13は、誤検出結果除去装置12で使用されるテンプレート画像を更新する。テンプレート画像管理装置13は、撮影される画像の輝度情報が変化し、画像取得装置31の設定は変更されておらず、検出結果画像の誤検出誘引情報に対応する位置に車両の画像が存在しない場合に、テンプレート画像を更新する。輝度情報が変化した場合とは、天候の変化、時間の経過などにより、例えば、第1輝度情報の一例であるテンプレート画像の輝度情報と第2輝度情報の一例である検出結果画像の輝度情報との間に変化がある場合である。
【0021】
輝度判定部27は、検出結果画像の輝度情報とテンプレート画像の輝度情報との間の変化を判定する。輝度判定部27は、図6に例示するように、検出結果画像及びテンプレート画像を各々m行×n列=L(m、n、Lは自然数)個の部分領域に分割する。輝度判定部27は、各々の部分領域の代表値を導出する。代表値は、例えば、各部分領域内の画素の輝度値の平均値であってよい。
【0022】
画素毎の輝度値Yは、例えば、式(1)で導出される。
Y=0.3×R+0.59×G+0.11×B …(1)
R、G、Bは、各々画素毎のR値、G値、及びB値である。なお、代表値は、例えば、各部分領域内の画素の輝度値の最大値、最小値、中間値などであってもよい。
【0023】
輝度判定部27は、検出結果画像のL個の部分領域の各々の代表値を、テンプレート画像の対応する部分領域の各々の代表値で割った値である変化値が、所定範囲を超えるか否かを判定する。例えば、変化値が第1の所定値以下または第1の所定値より大きい第2の所定値以上である部分領域が所定の割合以上存在する場合、テンプレート画像を変更する程度に輝度が変化したと判定する。Lに所定の割合を掛けた数が第1の所定数に相当する。第1の所定数は第1の閾値の一例である。
【0024】
第1の所定値は、例えば、0.8、第2の所定値は、例えば、1.2であってよい。所定の割合は、例えば、80%であってよい。mが8であり、nが9である場合、72個(L=9×8)の部分領域の内、第1の所定数の一例である58個(72×0.8=57.6)以上の部分領域で、変化値が所定範囲を超えている場合に、輝度情報が変化した、と判定する。また、mが8であり、nが9である場合、m×(n-1)=64bitで1画像を処理することが可能となる。
【0025】
変化値は、テンプレート画像のL個の部分領域の各々の代表値を、検出結果画像の対応する部分領域の各々の代表値で割った値であってもよい。また、変化値は、テンプレート画像のL個の部分領域の各々の代表値と、検出結果画像の対応する部分領域の各々の代表値との差であってもよい。変化値に基づいて変化が大きいと判定される部分領域の個数が第1の所定数を超えている場合に輝度情報が変化したと判定することで、例えば、ヘッドライト、車両などによる一時的な輝度情報の変化による影響を抑制することができる。
【0026】
背景判定部28は、背景情報の変化を判定する。背景判定部28は、背景情報の変化を判定するために、例えば、dHashを使用する。背景情報判定部28は、図7に例示するように、L個の部分領域の内、検出結果画像で、誤検出ではなく、車両が検出されたP個の部分領域の代表値を0と置き替える。テンプレート画像の対応するP個の部分領域の代表値も0と置き替える。これにより、検出結果画像に存在する車両の画像による影響を抑制することができる。
【0027】
背景判定部28は、検出結果画像の第i行第j列(i=1、…、m、j=1、…、n-1)の部分領域の代表値と、第i行第j+1列の部分領域の代表値とを比較する。背景判定部28は、第i行第j列の領域の代表値が第i行第j+1列の領域の代表値より大きい場合、第i行第j列の部分領域のdHash値として1を設定する。第i行第j列の部分領域の代表値が第i行第j+1列の部分領域の代表値以下である場合、当該領域のdHash値として0を設定する。
【0028】
同様に、テンプレート画像の各領域についてもdHash値を設定する。次に、背景変判定部28は、式(2)で検出結果画像とテンプレート画像との距離を導出する。
距離=(Q-P)/((m×(n-1)-P)…(2)
【0029】
Qは、検出結果画像の部分領域の各々のdHash値とテンプレート画像の対応する部分領域のdHash値との排他的論理和が0となる数、即ち、一致する数である。背景判定部28は、距離が所定の閾値以上であれば、類似度が高く、テンプレート画像の背景情報である第1背景情報と検出結果画像の背景情報である第2背景情報との間で変化はない、即ち、画像取得装置31の設定は変更されていないと判定する。所定の閾値は、例えば、0.8であってよい。
【0030】
Qの値で背景情報の変化を判定してもよく、QがLに所定の割合を掛けた値を超えた場合に、背景情報が変化していないと判定してもよい。Lに所定の割合を掛けた値は、第2所定数の一例であり、例えば、58(≒L×0.8=72×0.8)であってもよい。第2の所定数は、第2の閾値の一例である。Q-Pの値で背景情報の変化を判定してもよく、Q-PがL-Pに所定の割合を掛けた値を超えた場合に、背景情報が変化していないと判定してもよい。なお、dHash値に代えて、aHash値、pHash値などのPerceptual Hash値を使用してもよい。
【0031】
車両判定部26は、検出結果画像の誤検出誘引情報に対応する位置に車両の画像が存在するか否か判定する。即ち、誤検出誘引情報に対応する位置で、誤検出でなく、車両が検出されているか否か判定する。誤検出誘引情報に対応する位置に車両が存在する画像は、誤検出を検出するためのテンプレート画像として適していないためである。
【0032】
更新部29は、図8に例示するように、条件が満たされた場合に、検出結果画像をテンプレート画像と置き替えることで、テンプレート画像を更新し、条件が満たされない場合、テンプレート画像を更新しない。条件とは、輝度判定部27で輝度情報が変化したと判定され、背景判定部28で背景情報が変化していないと判定され、かつ、車両判定部26で検出結果画像の誤検出誘引情報に対応する位置に車両が存在しないと判定される、ことである。なお、画像取得装置31の設定が変更されないことを前提として、背景情報判定部28の判定を行わないようにしてもよい。
【0033】
(情報処理装置のハードウェア構成)
情報処理装置10は、一例として、図9に示すように、CPU(Central Processing Unit)51、一次記憶部52、二次記憶部53、及び、外部インターフェイス54を含む。CPU51は、ハードウェアであるプロセッサの一例である。CPU51、一次記憶部52、二次記憶部53、及び、外部インターフェイス54は、バス59を介して相互に接続されている。なお、CPUに代えて、GPU(Graphics Processing Unit)が使用されてもよい。
【0034】
一次記憶部52は、例えば、RAM(Random Access Memory)などの揮発性のメモリである。二次記憶部53は、例えば、HDD(Hard Disk Drive)、又はSSD(Solid State Drive)などの不揮発性のメモリである。
【0035】
二次記憶部53は、プログラム格納領域53A及びデータ格納領域53Bを含む。プログラム格納領域53Aは、一例として、車両検出プログラム、誤検出結果除去プログラム及びテンプレート画像更新プログラムの一例であるテンプレート画像管理プログラムなどを含む情報処理プログラムを記憶している。データ格納領域53Bは、テンプレート画像記憶装置32の一例である。
【0036】
CPU51は、プログラム格納領域53Aから情報処理プログラムを読み出して一次記憶部52に展開する。CPU51は、情報処理プログラムをロードして実行することで、図1の車両検出装置11、誤検出結果除去装置12及びテンプレート画像管理装置13として動作する。即ち、CPU51は、位置判定部21、画像判定部22、除去部23、登録部25、車両判定部26、輝度判定部27、背景判定部28、及び更新部29として動作する。
【0037】
なお、情報処理プログラムは、外部サーバに記憶され、ネットワークを介して、一次記憶部52に展開されてもよい。また、情報処理プログラムは、DVD(Digital Versatile Disc)などの非一時的記録媒体に記憶され、記録媒体読込装置を介して、一次記憶部52に展開されてもよい。
【0038】
外部インターフェイス54には外部装置が接続され、外部インターフェイス54は、外部装置とCPU51との間の各種情報の送受信を司る。図9では、外部インターフェイス54に、画像取得装置の一例であるカメラ55A、表示装置の一例であるディスプレイ55B、及び、指示装置の一例であるマウス55Cが接続されている例を示している。
【0039】
しかしながら、例えば、ディスプレイ55Bは、情報処理装置10に内蔵されていてもよいし、カメラ55A、ディスプレイ55B及びマウス55Cのいずれかまたは全部は、ネットワークを介して、情報処理装置10と離隔した位置に配置されていてもよい。
【0040】
また、情報処理装置10は、専用装置であってもよいし、ワークステーション、パーソナルコンピュータ、またはタブレットであってもよい。
【0041】
(情報処理の流れ)
図10Aに、本実施形態の情報処理の流れの一例を示す。CPU51は、ステップ101で、設定を固定したカメラ55Aで取得した画像に対して、車両検出処理を行い、車両検出結果情報を出力する。
【0042】
CPU51は、ステップ102で、検出結果画像に対して後述する誤検出結果除去処理を行い、ステップ103で、検出結果画像及びテンプレート画像を使用して後述するテンプレート画像更新処理を行う。なお、テンプレート画像更新処理は、例えば、所定数の誤検出結果除去処理を行う毎に行われてもよいし、所定時間毎に行われてもよい。また、テンプレート画像更新処理の後、誤検出結果除去処理を行うようにしてもよい。
【0043】
(誤検出結果除去処理の流れ)
図10Bに、本実施形態の誤検出結果除去処理の流れの一例を示す。CPU51は、ステップ111で、検出結果画像に未処理の車両検出結果情報が存在するか否か判定する。ステップ111の判定が否定された場合、即ち、未処理の車両検出結果情報が存在しない場合、CPU51は、誤検出結果除去処理を終了する。ステップ111の判定が肯定された場合、即ち、未処理の車両検出結果情報が存在する場合、CPU51は、ステップ112で、当該車両検出結果情報の位置とテンプレート画像の誤検出誘引情報の位置とが一致するか否か判定する。
【0044】
ステップ112の判定が否定された場合、即ち、車両検出結果情報の位置とテンプレート画像の誤検出誘引情報の位置とが一致しない場合、CPU51は、誤検出結果除去処理を終了する。ステップ112の判定が肯定された場合、CPU51は、ステップ113で、車両検出結果情報で表される領域の画像と誤検出誘引情報で表される領域の画像とが一致するか否か判定する。
【0045】
ステップ113の判定が否定された場合、即ち、車両検出結果情報で表される領域の画像と誤検出誘引情報で表される領域の画像とが一致しない場合、CPU51は、誤検出結果除去処理を終了する。ステップ113の判定が肯定された場合、即ち、車両検出結果情報で表される領域の画像と誤検出誘引情報で表される領域の画像とが一致した場合、CPU51は、当該車両検出結果情報を除去する。当該車両検出結果情報は誤検出によると判定されるためである。
(テンプレート画像更新処理)
【0046】
図10Cに、本実施形態のテンプレート画像更新処理の流れの一例を示す。CPU51は、ステップ121で、検出結果画像の誤検出誘引情報に対応する位置に車両の画像が存在するか否か判定する。ステップ121の判定が肯定された場合、即ち、車両の画像が存在する場合、当該検出結果画像はテンプレート画像として使用するのに不適切であるため、CPU51は、テンプレート画像更新処理を終了する。
【0047】
ステップ121の判定が肯定された場合、CPU51は、検出結果画像の輝度情報とテンプレート画像の輝度情報との間に変化があるか否か判定する。ステップ121の判定が否定された場合、即ち、検出結果画像の輝度情報とテンプレート画像の輝度情報との間に変化がない場合、CPU51は、テンプレート画像更新処理を終了する。
【0048】
ステップ122の判定が肯定された場合、即ち、検出結果画像の輝度情報とテンプレート画像の輝度情報との間に変化がある場合、CPU51は、ステップ123で、検出結果画像の背景情報とテンプレート画像の背景情報との間に変化があるか否か判定する。ステップ123の判定が肯定された場合、即ち、検出結果画像の背景情報とテンプレート画像の背景情報との間に変化がある場合、CPU51は、テンプレート画像更新処理を終了する。
【0049】
ステップ123の判定が否定された場合、即ち、検出結果画像の背景情報とテンプレート画像の背景情報との間に変化がない場合、CPU51は、ステップ124で、検出結果画像をテンプレート画像とすることで、テンプレート画像を更新する。なお、図10A図10Cのフローチャートは一例であり、適宜、ステップの順序を入れ替えてもよいし、ステップの追加または削除を行ってもよい。なお、本実施形態では、対象物が車両である例について説明したが、対象物は、例えば、自転車または船舶などであってよい。
【0050】
なお、ニューラルネットワーク学習済みモデルを使用して車両検出処理を行う場合だけでなく、ルールベースの車両検出処理を行う場合であっても、本実施形態の誤検出結果除去処理及びテンプレート画像更新処理を適用することができる。
【0051】
ニューラルネットワーク学習済みモデルを使用して画像に対して車両検出処理を行い、車両が存在するか否か、車両が走行しているか否か、などを判定する技術が存在する。当該技術では、誤検出を誘引する画像である誤検出誘引画像が存在すると、当該誤検出誘引画像で誤検出が頻出する。
【0052】
誤検出誘引画像による誤検出の発生は、ニューラルネットワーク学習済みモデルを再学習させることで抑制することができる。しかしながら、再学習を行うためには、多くの学習用画像データを収集しなければならず、多くの時間及び費用を要することになる。したがって、本実施形態では、誤検出された車両検出結果情報を、テンプレートマッチングを使用して検出し、検出した車両検出結果情報を除去する。
【0053】
本実施形態では、テンプレート画像の輝度情報である第1輝度情報と、検出結果画像の輝度情報である第2輝度情報との間に第1の閾値以上の変化があるかを判定する第1の判定処理を行う。テンプレート画像は、予め定められた撮影範囲を撮影した撮影画像に対し、対象物の検出処理を施した検出結果画像から誤検出による検出領域を検知する際に使用する画像である。テンプレート画像の背景情報である第1背景情報と、検出結果画像の背景情報である第2背景情報との間に第2の閾値以上の変化があるかを判定する第2の判定処理を行う。テンプレート画像に含まれる誤検出を誘引する画像を含む誤検出誘引領域に対応する検出結果画像の領域に検出処理の検出対象である対象物の画像が存在するかを判定する第3の判定処理を行う。条件を満たした場合に、検出結果画像でテンプレート画像を更新する。条件を満たした場合とは、第1の判定処理で第1輝度情報と第2輝度情報との間に変化があると判定され、第2の判定処理で第1背景情報と第2背景情報との間に変化がないと判定され、かつ、第3の判定処理で対象物の画像が存在しないと判定された場合である。
【0054】
本実施形態では、テンプレート画像を効率よく更新することができる。
【0055】
以上の各実施形態に関し、更に以下の付記を開示する。
【0056】
(付記1)
予め定められた撮影範囲を撮影した撮影画像に対し、対象物の検出処理を施した検出結果画像から誤検出による検出領域を検知する際に使用するテンプレート画像の輝度情報である第1輝度情報と、前記検出結果画像の輝度情報である第2輝度情報との間に第1の閾値以上の変化があるかを判定する第1の判定処理を行い、
前記テンプレート画像の背景情報である第1背景情報と、前記検出結果画像の背景情報である第2背景情報との間に第2の閾値以上の変化があるかを判定する第2の判定処理を行い、
前記テンプレート画像に含まれる誤検出を誘引する画像を含む誤検出誘引領域に対応する前記検出結果画像の領域に前記検出処理の検出対象である対象物の画像が存在するかを判定する第3の判定処理を行い、
前記第1の判定処理で前記第1輝度情報と前記第2輝度情報との間に第1の閾値以上の変化があると判定され、前記第2の判定処理で前記第1背景情報と前記第2背景情報との間に第2の閾値以上の変化がないと判定され、かつ、前記第3の判定処理で前記対象物の画像が存在しないと判定された場合に、前記検出結果画像で前記テンプレート画像を更新する、
処理をコンピュータに実行させるテンプレート画像更新プログラム。
(付記2)
前記第1の判定処理は、
前記テンプレート画像及び前記検出結果画像を複数の部分領域に分割し、
前記テンプレート画像及び前記検出結果画像の複数の部分領域の各々の輝度情報の代表値を導出し、
前記テンプレート画像の部分領域の各々の前記代表値と、前記検出結果画像の対応する位置の部分領域の前記代表値と、の間の変化を表す変化値に基づいて変化が大きいと判定される部分領域の個数が第1の所定数を超えている場合、前記第1輝度情報と前記第2輝度情報との間に変化があると判定する、
付記1のテンプレート画像更新プログラム。
(付記3)
前記第2の判定処理は、
前記テンプレート画像及び前記検出結果画像を複数の部分領域に分割し、
前記テンプレート画像及び前記検出結果画像の複数の部分領域の各々の輝度情報の代表値を導出し、
前記テンプレート画像の前記部分領域の代表値と、前記部分領域に隣接する隣接部分領域の代表値とを使用して、前記テンプレート画像の前記部分領域の各々のdHash値を導出し、
前記検出結果画像の前記部分領域の代表値と、前記部分領域に隣接する隣接部分領域の代表値とを使用して、前記検出結果画像の前記部分領域の各々のdHash値を導出し、
前記テンプレート画像の前記部分領域の各々のdHash値と前記検出結果画像の対応する前記部分領域のdHash値とが一致する部分領域の個数が第2の所定数を超えている場合に前記第1背景情報と前記第2背景情報との間に変化がないと判定する、
付記1または付記2のテンプレート画像更新プログラム。
(付記4)
前記対象物の検出処理は、前記予め定められた撮影範囲を撮影した撮影画像から前記対象物を検出するように学習させたディープラーニング学習済みモデルによる処理である、
付記1~付記3の何れかのテンプレート画像更新プログラム。
(付記5)
コンピュータが、
予め定められた撮影範囲を撮影した撮影画像に対し、対象物の検出処理を施した検出結果画像から誤検出による検出領域を検知する際に使用するテンプレート画像の輝度情報である第1輝度情報と、前記検出結果画像の輝度情報である第2輝度情報との間に第1の閾値以上の変化があるかを判定する第1の判定処理を行い、
前記テンプレート画像の背景情報である第1背景情報と、前記検出結果画像の背景情報である第2背景情報との間に第2の閾値以上の変化があるかを判定する第2の判定処理を行い、
前記テンプレート画像に含まれる誤検出を誘引する画像を含む誤検出誘引領域に対応する前記検出結果画像の領域に前記検出処理の検出対象である対象物の画像が存在するかを判定する第3の判定処理を行い、
前記第1の判定処理で前記第1輝度情報と前記第2輝度情報との間に第1の閾値以上の変化があると判定され、前記第2の判定処理で前記第1背景情報と前記第2背景情報との間に第2の閾値以上の変化がないと判定され、かつ、前記第3の判定処理で前記対象物の画像が存在しないと判定された場合に、前記検出結果画像で前記テンプレート画像を更新する、
テンプレート画像更新方法。
(付記6)
前記第1の判定処理は、
前記テンプレート画像及び前記検出結果画像を各々複数の部分領域に分割し、
前記テンプレート画像及び前記検出結果画像の複数の部分領域の各々の輝度情報の代表値を導出し、
前記テンプレート画像の部分領域の各々の前記代表値と、前記検出結果画像の対応する位置の部分領域の前記代表値と、の間の変化を表す変化値に基づいて変化が大きいと判定される部分領域の個数が第1の所定数を超えている場合、前記第1輝度情報と前記第2輝度情報との間に変化があると判定する、
付記5のテンプレート画像更新方法。
(付記7)
前記第2の判定処理は、
前記テンプレート画像及び前記検出結果画像を各々複数の部分領域に分割し、
前記テンプレート画像及び前記検出結果画像の複数の部分領域の各々の輝度情報の代表値を導出し、
前記テンプレート画像の前記部分領域の代表値と、前記部分領域に隣接する隣接部分領域の代表値とを使用して、前記テンプレート画像の前記部分領域の各々のdHash値を導出し、
前記検出結果画像の前記部分領域の代表値と、前記部分領域に隣接する隣接部分領域の代表値とを使用して、前記検出結果画像の前記部分領域の各々のdHash値を導出し、
前記テンプレート画像の前記部分領域の各々のdHash値と前記検出結果画像の対応する前記部分領域のdHash値とが一致する部分領域の個数が第2の所定数を超えている場合に前記第1背景情報と前記第2背景情報との間に変化がないと判定する、
付記5または付記6のテンプレート画像更新方法。
(付記8)
前記対象物の検出処理は、前記予め定められた撮影範囲を撮影した撮影画像から前記対象物を検出するように学習させたディープラーニング学習済みモデルによる処理である、
付記5~付記7の何れかのテンプレート画像更新方法。
(付記9)
予め定められた撮影範囲を撮影した撮影画像に対し、対象物の検出処理を施した検出結果画像から誤検出による検出領域を検知する際に使用するテンプレート画像の輝度情報である第1輝度情報と、前記検出結果画像の輝度情報である第2輝度情報との間に第1の閾値以上の変化があるかを判定する輝度判定部と、
前記テンプレート画像の背景情報である第1背景情報と、前記検出結果画像の背景情報である第2背景情報との間に第2の閾値以上の変化があるかを判定する背景判定部と、
前記テンプレート画像に含まれる誤検出を誘引する画像を含む誤検出誘引領域に対応する前記検出結果画像の領域に前記検出処理の検出対象である対象物の画像が存在するかを判定する対象物判定部と、
前記輝度判定部で前記第1輝度情報と前記第2輝度情報との間に第1の閾値以上の変化があると判定され、前記背景判定部で前記第1背景情報と前記第2背景情報との間に第2の閾値以上の変化がないと判定され、かつ、前記対象物判定部で前記対象物の画像が存在しないと判定された場合に、前記検出結果画像で前記テンプレート画像を更新する更新部と、
を含むテンプレート画像更新装置。
(付記10)
前記輝度判定部は、
前記テンプレート画像及び前記検出結果画像を各々複数の部分領域に分割し、
前記テンプレート画像及び前記検出結果画像の複数の部分領域の各々の輝度情報の代表値を導出し、
前記テンプレート画像の部分領域の各々の前記代表値と、前記検出結果画像の対応する位置の部分領域の前記代表値と、の間の変化を表す変化値に基づいて変化が大きいと判定される部分領域の個数が第1の所定数を超えている場合、前記第1輝度情報と前記第2輝度情報との間に変化があると判定する、
付記9のテンプレート画像更新装置。
(付記11)
前記背景判定部は、
前記テンプレート画像及び前記検出結果画像を各々複数の部分領域に分割し、
前記テンプレート画像及び前記検出結果画像の複数の部分領域の各々の輝度情報の代表値を導出し、
前記テンプレート画像の前記部分領域の代表値と、前記部分領域に隣接する隣接部分領域の代表値とを使用して、前記テンプレート画像の前記部分領域の各々のdHash値を導出し、
前記検出結果画像の前記部分領域の代表値と、前記部分領域に隣接する隣接部分領域の代表値とを使用して、前記検出結果画像の前記部分領域の各々のdHash値を導出し、
前記テンプレート画像の前記部分領域の各々のdHash値と前記検出結果画像の対応する前記部分領域のdHash値とが一致する部分領域の個数が第2の所定数を超えている場合に前記第1背景情報と前記第2背景情報との間に変化がないと判定する、
付記9または付記10のテンプレート画像更新装置。
(付記12)
前記対象物の検出処理は、前記予め定められた撮影範囲を撮影した撮影画像から前記対象物を検出するように学習させたディープラーニング学習済みモデルによる処理である、
付記9~付記11の何れかのテンプレート画像更新装置。
【符号の説明】
【0057】
13 テンプレート画像管理装置(テンプレート画像更新装置)
26 車両判定部(対象物判定部)
27 輝度判定部
28 背景判定部
29 更新部
51 CPU
52 一次記憶部
53 二次記憶部
図1
図2
図3
図4
図5A
図5B
図5C
図6
図7
図8
図9
図10A
図10B
図10C