特許 7571862 画像処理装置、画像処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-15

(45)【発行日】2024-10-23

(54)【発明の名称】画像処理装置、画像処理方法、プログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241016BHJP

   B60W 40/04 20060101ALI20241016BHJP

【ＦＩ】

G08G1/16 A

B60W40/04

【請求項の数】 7

(21)【出願番号】P 2023509969

(86)(22)【出願日】2021-03-30

(86)【国際出願番号】 JP2021013581

(87)【国際公開番号】W WO2022208664

(87)【国際公開日】2022-10-06

【審査請求日】2023-09-08

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100181135

【弁理士】

【氏名又は名称】橋本 隆史

(72)【発明者】

【氏名】三島 吉弘

【審査官】秋山 誠

(56)【参考文献】

【文献】特表２０２０－５１６８５３（ＪＰ，Ａ）

【文献】特開２００９－０３７６２２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｂ６０Ｗ ４０／０４

(57)【特許請求の範囲】

【請求項1】

取得した撮影画像の各画素の被写体が、当該被写体に関する指定された複数の異なる領域クラスの何れに属するかを認識する領域認識手段と、
前記複数の異なる領域クラスのうち車両の領域クラスを示す前記撮影画像中の領域において当該領域の各画素の距離情報を前記撮影画像に対応する深度マップ情報から取得し、当該距離情報の連続性が途切れる位置を異なる車両の境界と判定した各領域のうち車両の大きさに相当する大きさの車両の領域を示す第一車両検出処理結果を出力する第一車両検出手段と、
機械学習により生成して得られた車両認識モデルに前記撮影画像を入力することにより車両の領域を示す第二車両検出処理結果を出力する第二車両検出手段と、
前記第一車両検出処理結果が示す車両の領域と前記第二車両検出処理結果が示す車両の領域とが所定の大きさ以上重なる領域を１台の車両の領域として示す照合処理結果を出力する照合処理手段と、
を備える画像処理装置。

【請求項2】

前記撮影画像に基づいて撮影装置から前記撮影画像に写る被写体までの距離情報を前記撮影画像の各画素について保持する前記深度マップ情報を生成する深度マップ生成手段と、
を備える請求項１に記載の画像処理装置。

【請求項3】

前記第一車両検出手段は、前記連続性が途切れる位置と、前記車両の領域クラスを示す領域の各画素が示す距離情報とに基づいて前記車両の１台の領域を特定する
請求項１または請求項２に記載の画像処理装置。

【請求項4】

前記第一車両検出手段は、前記車両１台の領域と、前記領域クラスのうち道路を示す領域クラスの領域との位置関係に基づいて、前記車両１台の領域が前記道路を示す領域クラスの領域に接していない場合に、当該車両１台の領域を前記車両の領域から除外する
請求項３に記載の画像処理装置。

【請求項5】

前記第一車両検出手段は、前記車両１台の領域の大きさが、車両に相当する大きさかを判定し、車両に相当する大きさでない場合に、当該車両１台の領域を前記車両の領域から除外する
請求項１から請求項４の何れか一項に記載の画像処理装置。

【請求項6】

取得した撮影画像の各画素の被写体が、当該被写体に関する指定された複数の異なる領域クラスの何れに属するかを認識し、
前記複数の異なる領域クラスのうち車両の領域クラスを示す前記撮影画像中の領域において当該領域の各画素の距離情報を前記撮影画像に対応する深度マップ情報から取得し、当該距離情報の連続性が途切れる位置を異なる車両の境界と判定した各領域のうち車両の大きさに相当する大きさの車両の領域を示す第一車両検出処理結果を出力し、
機械学習により生成して得られた車両認識モデルに前記撮影画像を入力することにより車両の領域を示す第二車両検出処理結果を出力し、
前記第一車両検出処理結果が示す車両の領域と前記第二車両検出処理結果が示す車両の領域とが所定の大きさ以上重なる領域を１台の車両の領域として示す照合処理結果を出力する
画像処理方法。

【請求項7】

画像処理装置のコンピュータを、
取得した撮影画像の各画素の被写体が、当該被写体に関する指定された複数の異なる領域クラスの何れに属するかを認識する領域認識手段、
前記複数の異なる領域クラスのうち車両の領域クラスを示す前記撮影画像中の領域において当該領域の各画素の距離情報を前記撮影画像に対応する深度マップ情報から取得し、当該距離情報の連続性が途切れる位置を異なる車両の境界と判定した各領域のうち車両の大きさに相当する大きさの車両の領域を示す第一車両検出処理結果を出力する第一車両検出手段、
機械学習により生成して得られた車両認識モデルに前記撮影画像を入力することにより車両の領域を示す第二車両検出処理結果を出力する第二車両検出手段、
前記第一車両検出処理結果が示す車両の領域と前記第二車両検出処理結果が示す車両の領域とが所定の大きさ以上重なる領域を１台の車両の領域として示す照合処理結果を出力する照合処理手段、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、プログラムに関する。

【背景技術】

【0002】

画像に写る車両の認識技術として、パターンマッチングや、機械学習して得た車両認識モデルを用いることが知られている。なお関連する技術として、カメラとレーザレーダの２つの装置を用いて、各装置で検出した車両の存在領域の重なりに基づいて車両の存在領域を決定する技術が特許文献１に開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平０８－３２９３９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、大型車両の認識においては、大型車両の大きさにより画像からはみ出てしまうこと、大型車両の積荷に様々な態様があることなどから、機械学習が上手くできず、認識できない場合がある。従って、画像を用いてパターンマッチングや機械学習で認識できない車両を認識する技術が求められている。

【0005】

そこでこの発明は、上述の課題を解決する画像処理装置、画像処理方法、プログラムを提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明の第１の態様によれば、画像処理装置は、取得した撮影画像の各画素の被写体が、当該被写体に関する指定された複数の異なる領域クラスの何れに属するかを認識する領域認識手段と、前記複数の異なる領域クラスのうち車両の領域クラスを示す前記撮影画像中の領域において当該領域の各画素の距離情報を前記撮影画像に対応する深度マップ情報から取得し、当該距離情報の連続性が途切れる位置を異なる車両の境界と判定する車両検出手段と、を備える。

【0007】

本発明の第２の態様によれば、画像処理方法は、取得した撮影画像の各画素の被写体が、当該被写体に関する指定された複数の異なる領域クラスの何れに属するかを認識し、前記複数の異なる領域クラスのうち車両の領域クラスを示す前記撮影画像中の領域において当該領域の各画素の距離情報を前記撮影画像に対応する深度マップ情報から取得し、当該距離情報の連続性が途切れる位置を異なる車両の境界と判定する。

【0008】

本発明の第３の態様によれば、プログラムは、画像処理装置のコンピュータを、取得した撮影画像の各画素の被写体が、当該被写体に関する指定された複数の異なる領域クラスの何れに属するかを認識する領域認識手段、前記複数の異なる領域クラスのうち車両の領域クラスを示す前記撮影画像中の領域において当該領域の各画素の距離情報を前記撮影画像に対応する深度マップ情報から取得し、当該距離情報の連続性が途切れる位置を異なる車両の境界と判定する車両検出手段、として機能させる。

【発明の効果】

【0009】

本発明によれば、画像を用いてパターンマッチングや機械学習で認識できない車両を認識することができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態による画像処理システムの概要を示す図である。

【図2】本実施形態による画像処理装置のハードウェア構成図である。

【図3】本実施形態による画像処理装置の機能ブロック図である。

【図4】本実施形態による画像処理装置の処理概要を示す図である。

【図5】本実施形態による画像処理装置の処理フローを示す図である。

【図6】本実施形態による画像処理装置の最小構成を示す図である。

【図7】本実施形態による最小構成の画像処理装置の処理フローを示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の一実施形態による画像処理装置を図面を参照して説明する。
図１は本実施形態による画像処理装置を含む画像処理システムの概要を示す図である。
図１で示すように画像処理システム１００は、車両２０に搭載された画像処理装置１とカメラ２とが、無線通信ネットワークや有線通信ネットワークを介して接続されることにより構成される。画像処理システム１００にはサーバ装置３が含まれてよい。サーバ装置３は、画像処理装置１やカメラ２と通信接続してよい。カメラ２は本実施形態においては、道路と当該道路を走行する車両を含む画像を撮影する。カメラ２は画像を画像処理装置１へ出力する。画像処理装置１はカメラ２から取得した画像を用いて、当該画像に写る車両を認識する。

【0012】

図２は画像処理装置のハードウェア構成図である。
この図が示すように画像処理装置１は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、通信モジュール１０５、データベース１０６等の各ハードウェアを備えたコンピュータである。なおサーバ装置３も同様の構成を備える。

【0013】

図３は画像処理装置の機能ブロック図である。
画像処理装置１は車両２０の始動に基づいて電源が投入されると起動し、予め記憶する画像処理プログラムを実行する。これにより画像処理装置１には、画像取得部１１、深度マップ生成部１２、領域認識部１３、第一車両検出部１４、第二車両検出部１５、照合処理部１６、出力部１７の各機能を発揮する。

【0014】

画像取得部１１は、カメラ２から画像を取得する。
深度マップ生成部１２は、カメラ２から取得した画像を用いて深度マップ情報を生成する。深度マップ情報は、カメラ２から取得した画像に基づいてカメラ２被写体までの距離情報を画像の各画素について保持する情報である。
領域認識部１３は、取得した画像の各画素の被写体が、当該被写体に関する指定された複数の異なる領域クラスの何れに属するかを認識する。
第一車両検出部１４は、車両の領域クラスを示す画像中の領域において当該領域の各画素の距離情報を深度マップ情報から取得し、当該距離情報の連続性が途切れる位置を異なる車両の境界と判定し、その境界と車両の領域クラスを示す各画素が示す距離情報とに基づいて車両の１台の領域を特定する。
第二車両検出部１５は、パターンマッチングや、機械学習して得た車両認識モデルを用いて撮影画像、または深度マップ情報中に写る車両の領域を特定する。
照合処理部１６は、第一車両検出部１４と第二車両検出部１５との認識結果に基づいて、撮影画像に写る各車両の領域を特定する。
出力部１７は、照合処理部１６の処理結果を出力する。

【0015】

なお第一車両検出部１４は、車両１台の領域と、領域クラスのうち道路を示す領域クラスの領域との位置関係に基づいて、車両１台の領域が道路を示す領域クラスの領域に接していない場合に、当該車両１台の領域を前記車両の領域から除外する。また第一車両検出部１４は、車両１台の領域の大きさが、車両に相当する大きさかを判定し、車両に相当する大きさでない場合に、当該車両１台の領域を車両の領域から除外する。

【0016】

図４は画像処理装置の処理概要を示す図である。
図４には、画像処理装置１がカメラから取得した撮影画像（４０）と、第一車両検出部１４の処理（第一車両検出処理）の処理結果（４１）と、第二車両検出部１５の処理（第二車両検出処理）の処理結果（４２）と、照合処理の処理結果（４３）とを示す。第一車両検出処理の処理結果（４１）ではトラックが認識される。画像処理装置１は撮影画像を取得する（Ｓ１）。深度マップ生成部１２は撮影画像を用いて深度マップ情報を生成し（Ｓ２）、撮影画像の各画素が、撮影画像に写る対象物に関する指定された複数の異なる領域クラスの何れに属するかを認識する（Ｓ３）。画像処理装置１は、第一車両検出処理（Ｓ４）を行う。この第一車両検出処理では、例えば第二車両検出処理では認識が難しい大型車両などが検出できる。画像処理装置１は、第二車両検出処理（Ｓ５）を行う。この第二検出画像には大型車両以外の車両が検出できているとする。画像処理装置１は第一車両検出処理の処理結果（４１）と第二車両検出処理の処理結果（４２）の各処理結果を用いて、重複してそれぞれの画像に認識できた車両の領域を含む車両認識結果（４３）を生成する（Ｓ６）。画像処理装置１は車両認識結果（４３）を出力する。この出力先はデータベース１０６などの記憶装置であってよい。

【0017】

図５は画像処理装置の処理フローを示す図である。
以下、画像処理装置１の処理フローについて順を追って説明する。
車両２０が走行中、カメラ２は撮影により生成した撮影画像を画像処理装置１へ出力する。画像処理装置１の画像取得部１１は画像を取得して深度マップ生成部１２へ出力する。深度マップ生成部１２は、取得した撮影画像に基づいて深度マップ情報を生成する（ステップＳ１０１）。なお画像取得部１１は、予めカメラ２が生成した深度マップ情報を取得してよい。この場合、画像処理装置１に深度マップ生成部１２は設けなくてもよい。深度マップ情報は、画像中の画素にカメラ２から被写体までの距離の情報が含まれる画像である。深度マップ情報の生成は公知の技術により行われてよい。深度マップ生成部１２は深度マップ情報を第一車両検出部１４へ出力する。

【0018】

領域認識部１３は撮影画像と深度マップ情報とを取得する。領域認識部１３は、撮影画像に写る被写体を、空、壁、道路、移動体（交通参加者）、人、などの領域クラスごとに認識する（ステップＳ１０２）。領域認識部１３が撮影画像を複数の異なる対象を示す領域クラスごとに認識する技術は、公知の技術を用いてよい。この処理において、領域認識部１３は撮影画像の各画素の各領域クラスに属する確率を保持した領域認識情報を生成する。領域認識情報は、撮影画像の各画素についての、領域クラス毎の確率の情報の配列情報である。領域認識部１３は、各画素の領域クラス毎の確率情報を第一車両検出部１４へ出力する。

【0019】

なお、領域認識部１３は、撮影画像を入力として、予め定められた複数の領域クラスに属することの確率を出力する、領域クラス算出モデルを用いて、撮影画像の各画素の領域クラス毎の確率を算出してよい。領域クラス算出モデルは、例えば、多数の画像を入力として、それら画像の各画素の領域クラスを示す情報を正解データとして、その関係を機械学習したモデルであってよい。

【0020】

第一車両検出部１４は、撮影画像と、撮影画像の各画素について領域クラス毎の確率の情報を含む深度マップ情報とを取得する。第一車両検出部１４は、撮影画像において車両の領域クラスの確率が閾値以上となることで、車両であると推定される画素の領域を特定する。この領域を車両推定領域と呼ぶこととする。第一車両検出部１４は車両推定領域に含まれる画素毎に、隣接する画素との距離情報を比較して、それら隣接する画素間の距離差が同じ物体であるとみなされる所定の距離差以下であるかを判定する。第一車両検出部１４は、隣接する画素間の距離差が同じ物体であるとみなされる所定の距離差以下となる、隣接する各画素の纏まりを1台の車両の領域と特定する（ステップＳ１０３）。また第一車両検出部１４は、車両推定領域において、隣接する画素間の距離差が同じ物体であるとみなされる所定の距離差以上の隣接画素を特定し、その隣接画素間が車両と車両の境界、または車両と車両以外の対象物の境界であると判定し、1台の車両の領域を特定してよい。この処理は、画像処理装置１が、車両の領域クラスを示す撮影画像中の領域において当該領域の各画素の距離情報を取得し、当該距離情報の連続性が途切れる位置を異なる車両の境界と判定する処理の一態様である。

【0021】

第一車両検出部１４は、上述の処理において特定した１台の車両の領域と、道路を示す領域クラスの領域との位置関係に基づいて、その車両１台の領域が道路を示す領域クラスの領域に接していない場合に、当該車両１台の領域を前記車両の領域から除外するようにしてよい。第一車両検出部１４は、車両１台の領域を示す矩形範囲の下側の辺を構成する画素の下側の画素が道路を示す領域クラスの領域の確率が閾値以上かを判定する。一例として、第一車両検出部１４は、車両１台の領域を示す矩形範囲の下辺を構成する画素の下側に隣接する画素の道路を示す領域クラスの確率が閾値以上である場合には、車両１台の領域が道路を示す領域クラスの領域に接していると判定する。また一例として、第一車両検出部１４は、車両１台の領域を示す矩形範囲の下辺を構成する画素の下側に隣接する画素の道路を示す領域クラスの確率が閾値未満である場合には、車両１台の領域が道路を示す領域クラスの領域に接していないと判定する。

【0022】

第一車両検出部１４は、上述の処理において特定した１台の車両の領域を含む矩形範囲の辺の長さと、車両に相当する大きさの辺の長さ範囲とを比較する。第一車両検出部１４は、上述の処理において特定した１台の車両の領域を含む矩形範囲の辺の長さが、車両に相当する大きさの辺の長さ範囲に含まれない場合には、当該矩形範囲が示す領域は、車両の領域ではないと判定して、車両の領域から除外してよい。

【0023】

第一車両検出部１４は最終的に１台の車両の領域として特定した領域を示す矩形範囲の座標情報を含む第一車両検出処理の処理結果（４１）を生成する（ステップＳ１０４）。第一車両検出部１４は、一つの撮影画像に複数の車両が写る場合には同様の処理により複数台の各車両の領域の矩形範囲の座標情報を含む第一車両検出処理の処理結果を生成してよい。第一車両検出部１４は、第一車両検出処理の処理結果（４１）を照合処理部１６へ出力する。第一車両検出部１４の処理によれば、深度マップ情報と、撮影画像中の各画素の領域クラスの情報を用いることにより、パターンマッチングや機械学習では認識することが難しい、特殊車両や、近傍を走行している大型車両や、一部が隠れている車両などを検出することが可能になる。

【0024】

第一車両検出部１４における第一車両検出処理と並行して、第二車両検出部１５は画像取得部１１から撮影画像を取得し、第二車両検出処理を行う。具体的には、第二車両検出部１５は、パターンマッチングの技術を用いて撮影画像に写る車両の領域を特定する。または第二車両検出部１５は、過去の機械学習処理において撮影画像に写る車両の機械学習により生成して得られた車両認識モデルに、取得した撮影画像を入力する。第二車両検出部１５は撮影画像を車両認識モデルに入力した後の車両認識結果を取得する。第二車両検出部１５は、車両認識結果に記録される撮影画像に写る車両の領域を特定する。第二車両検出部１５は、撮影画像において複数の車両の領域を特定してよい。第二車両検出部１５は、車両の領域として特定した領域を示す矩形範囲の座標情報を含む第二車両検出処理の処理結果（４２）を生成する（ステップＳ１０５）。第二車両検出部１５は、第二車両検出処理の処理結果（４２）を照合処理部１６へ出力する。

【0025】

照合処理部１６は、第一車両検出処理の処理結果（４１）と第二車両検出処理の処理結果（４２）とを取得する。照合処理部１６は、第一車両検出処理の処理結果（４１）に含まれる車両の領域と、第二車両検出処理の処理結果（４２）に含まれる車両の領域を比較し、所定の大きさ以上重なる領域を各処理結果において特定する（ステップＳ１０６）。照合処理部１６は第一車両検出処理の処理結果（４１）と第二車両検出処理の処理結果（４２）において所定の大きさ以上重なる車両の領域を特定すると、それらを１つの車両の領域と判定する。なお各検出結果を比較して所定の大きさ以上重なる領域とは、一例としては各検出結果が示す撮影画像中の対応する車両の領域を重ねた状態において、それら領域の位置がほぼ同じとなり所定の面積以上重なる各領域としてもよいし、各領域において特定した車両の領域の矩形において共に所定の割合以上で重なっている各領域としてもよい。

【0026】

照合処理部１６は、第一車両検出処理の処理結果（４１）においてのみ特定された1台または複数台の車両の領域（矩形）を示す画像中の座標と、第二車両検出処理の処理結果（４２）においてのみ特定された1台または複数台の車両の領域（矩形）を示す画像中の座標と、第一車両検出処理の処理結果（４１）と第二車両検出処理の処理結果（４２）において所定の大きさ以上重なる１台の領域と判定された領域を示す画像中の座標と、撮影画像とを含む車両認識結果を出力部１７へ出力する（ステップＳ１０７）。出力部１７は車両認識結果を、データベース１０６に記録する。これによりユーザは、撮影画像と、その撮影画像中において第一車両検出処理と第二車両検出処理でそれぞれ認識された車両の領域を車両認識結果に基づいて確認することができる。

【0027】

なお出力部１７は、照合処理部１６から取得した車両認識結果に含まれる車両の領域の座標に基づいて、撮影画像の当該領域の矩形の色をハイライト色に更新した認識結果画像を生成して出力してもよいし、撮影画像の当該領域を囲む矩形の画像を撮影画像に重ねた認識結果画像を生成して出力してもよい。出力部１７の車両認識結果や認識結果画像の出力先は、サーバ装置３や、その他の表示装置、ユーザ端末などのであってもよい。

【0028】

なお上述の処理によれば、車両に備わる画像処理装置１が上述の処理を行っているがカメラ２を備えたドライブレコーダや外部のサーバ装置３が画像処理装置１と同様の機能を有し、上述の処理と同様に撮影画像において車両の領域を特定するようにしてもよい。

【0029】

図６は画像処理装置の最小構成を示す図である。
図７は最小構成の画像処理装置の処理フローを示す図である。
画像処理装置１は、少なくとも、領域認識手段６１と、車両検出手段６２とを備える。
領域認識手段６１は、取得した撮影画像の各画素の被写体が、当該被写体に関する指定された複数の異なる領域クラスの何れに属するかを認識する（ステップＳ７０１）。
車両検出手段６２は、複数の異なる領域クラスのうち車両の領域クラスを示す深度マップ情報中の領域において当該領域の各画素の距離情報を取得し、当該距離情報の連続性が途切れる位置を異なる車両の境界と判定する（ステップＳ７０２）。

【0030】

上述の各装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

【0031】

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【符号の説明】

【0032】

１・・・画像処理装置
２・・・カメラ
３・・・サーバ装置
１１・・・画像取得部
１２・・・深度マップ生成部
１３・・・領域認識部
１４・・・第一車両検出部
１５・・・第二車両検出部
１６・・・照合処理部
１７・・・出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】