特開 2023-135050 物体検知装置、画像処理表示方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023135050

(43)【公開日】2023-09-28

(54)【発明の名称】物体検知装置、画像処理表示方法及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230921BHJP

   G06T 7/00 20170101ALI20230921BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 K

G06T7/00 350B

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022040061

(22)【出願日】2022-03-15

(71)【出願人】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100134544

【弁理士】

【氏名又は名称】森 隆一郎

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(72)【発明者】

【氏名】和田 慎二

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CA05

5C054CC02

5C054EA01

5C054EA05

5C054EA07

5C054FC12

5C054FC14

5C054FD03

5C054FE12

5C054FE28

5C054FF03

5C054GB01

5C054HA19

5L096HA09

5L096JA03

5L096JA11

5L096KA04

(57)【要約】

【課題】物体検知装置、画像処理表示方法及びプログラムを提供する。
【解決手段】所定視領域を撮像してカメラ画像を出力する測距カメラと、カメラ画像から対象物体の検知を行う物体検知部と、当該対象物体に関する対象物体情報に基づいて対象物体のモデリング画像を作成するモデリング画像生成部と、当該モデリング画像をカメラ画像に重畳するオーバーレイ画像を生成するオーバーレイ画像生成部と、オーバーレイ画像を表示する表示部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

監視領域を撮像してカメラ画像を出力する測距カメラと、
前記カメラ画像から対象物体の検知を行う物体検知部と、
当該対象物体に関する対象物体情報に基づいて対象物体のモデリング画像を作成するモデリング画像生成部と、
当該モデリング画像を前記カメラ画像に重畳するオーバーレイ画像を生成するオーバーレイ画像生成部と、
前記オーバーレイ画像を表示する表示部と
を備える物体検知装置。

【請求項2】

前記物体検知部は、画像学習エンジンを用いて前記対象物体の検知を行う請求項１に記載の物体検知装置。

【請求項3】

前記モデリング画像生成部は、物体検知部の検知結果に基づいて製品ＤＢから前記対象物体情報を取得して前記モデリング画像を作成する請求項１または２に記載の物体検知装置。

【請求項4】

前記カメラ画像は、２Ｄ画像あるいは／及び測距画像である請求項１または２に記載の物体検知装置。

【請求項5】

測距カメラから取得したカメラ画像から対象物体の検知を行う物体検知工程と、
当該対象物体に関する対象物体情報に基づいて対象物体のモデリング画像を作成するモデリング画像生成工程と、
当該モデリング画像を前記カメラ画像に重畳するオーバーレイ画像を生成するオーバーレイ画像生成工程と、
前記オーバーレイ画像を表示する表示工程と
を有する画像処理表示方法。

【請求項6】

測距カメラから取得したカメラ画像から対象物体の検知を行う物体検知処理と、
当該対象物体に関する対象物体情報に基づいて対象物体のモデリング画像を作成するモデリング画像生成処理と、
当該モデリング画像を前記カメラ画像に重畳するオーバーレイ画像を生成するオーバーレイ画像生成処理と、
前記オーバーレイ画像を表示する表示処理と
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体検知装置、画像処理表示方法及びプログラムに関する。

【背景技術】

【0002】

カメラを使用した距離測定技術として、ステレオカメラや赤外線センサによる各種測距方式（アクティブステレオ、ＴｏＦ、ＬｉＤＡＲ等）が知られている。また、このような距離測定技術の１つとして、下記特許文献１，２に開示されているように、測距カメラから取得した２Ｄ画像及び測距画像からディープラーニング（Deep Learning）学習エンジンによる物体検知を行い、推定される物体の向きなどの状態情報及び外部データベースから取得した物体の寸法情報等を元に３ＤＣＧ等を用いた精度の高いモデリング画像を生成するものがある。

【0003】

このようなＡＩ技術を利用した距離測定技術では、外乱により視認性が低下した測距画像や暗所などで非可視の２Ｄ画像の物体に対して、実測データを保持したまま相互の画像の利点を活かして作成したモデリング画像のオーバーレイ表示を可能にし、以って監視者による物体の視認性や認識精度を改善することができる。なお、このような距離測定技術に関連する先行技術文献の一例として、以下の特許文献１，２がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－９１０６３号公報

【特許文献2】国際公開第２０２０／１０５２２５号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、測距カメラを使用した距離測定技術における共通の問題点として、外乱要因（太陽光、天候、センサ干渉、物体表面の凹凸による乱反射等）により測距精度の低下および測距画像の物体視認性の悪化が発生し、危険判定などの精度が低下するという問題がある。また、照明のない暗所などの条件下では２Ｄ画像学習エンジンによる物体検知や監視者による物体認識が出来ない場合が発生する。測距カメラの方式によって得意な条件(距離、環境、外乱要因等)が異なり、条件が合わない場合は著しい精度低下や監視者及び危険検知システムに誤った判定をさせる可能性がある。

【0006】

この発明は、上述の課題を解決する物体検知装置、画像処理表示方法及びプログラムを提供することを目的としている。

【課題を解決するための手段】

【0007】

本発明の第１の態様によれば、物体検知装置は、監視領域を撮像してカメラ画像を出力する測距カメラと、前記カメラ画像から対象物体の検知を行う物体検知部と、当該対象物体に関する対象物体情報に基づいて対象物体のモデリング画像を作成するモデリング画像生成部と、当該モデリング画像を前記カメラ画像に重畳するオーバーレイ画像を生成するオーバーレイ画像生成部と、前記オーバーレイ画像を表示する表示部とを備える。

【0008】

本発明の第２の態様によれば、画像処理表示方法は、測距カメラから取得したカメラ画像から対象物体の検知を行う物体検知工程と、当該対象物体に関する対象物体情報に基づいて対象物体のモデリング画像を作成するモデリング画像生成工程と、当該モデリング画像を前記カメラ画像に重畳するオーバーレイ画像を生成するオーバーレイ画像生成工程と、前記オーバーレイ画像を表示する表示工程とを有する。

【0009】

本発明の第３の態様によれば、プログラムは、測距カメラから取得したカメラ画像から対象物体の検知を行う物体検知処理と、当該対象物体に関する対象物体情報に基づいて対象物体のモデリング画像を作成するモデリング画像生成処理と、当該モデリング画像を前記カメラ画像に重畳するオーバーレイ画像を生成するオーバーレイ画像生成処理と、前記オーバーレイ画像を表示する表示処理とをコンピュータに実行させる。

【発明の効果】

【0010】

本発明によれば、距離測定の精度低下や誤った判定を抑制することが可能な物体検知装置、画像処理表示方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係る物体検知装置Ａの機能構成を示すブロック図である。

【図2】本発明の一実施形態に係る物体検知装置Ａの動作を示すフローチャートである。

【図3】本発明の一実施形態における物体候補の選択を示す模式図である。

【図4】本発明の一実施形態におけるオーバーレイ表示処理の組合せを示す表である。

【図5】本発明の一実施形態におけるオーバーレイ画像の位置調整を示す模式図である。

【図6】本発明の一実施形態におけるオーバーレイ画像の一例を示す模式図である。

【図7】本発明の最小構成に係る物体検知装置Ｂのブロック図である。

【図8】上記最小構成の物体検知装置Ｂによる処理フローを示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の一実施形態に係る物体検知装置、画像処理表示方法及びプログラムについて上記各図面を参照して説明する。

【0013】

最初に、図１を参照して本実施形態に係る物体検知装置Ａの構成を説明する。この物体検知装置Ａは、図示するように３Ｄ測距カメラ１、２Ｄ画像バッファ２Ａ、測距画像バッファ２Ｂ、第１ＡＩ物体検知部３Ａ、第２ＡＩ物体検知部３Ｂ、製品ＤＢ４、３ＤＣＧモデリング部５（モデリング画像生成部）、２Ｄモデリングバッファ６Ａ、Ｚモデリングバッファ６Ｂ、表示判定・位置補正部７、２Ｄオーバーレイ処理部８Ａ、Ｚオーバーレイ処理部８Ｂ、２Ｄ画像補助表示部９Ａ及び測距画像補助表示部９Ｂを備える。

【0014】

ここで、上記複数の構成要素のうち、２Ｄ画像バッファ２Ａ、測距画像バッファ２Ｂ、第１ＡＩ物体検知部３Ａ及び第２ＡＩ物体検知部３Ｂは、３Ｄ測距カメラ１から入力されるカメラ画像から対象物体の検知を行う物体検知部である。この物体検知部は、物体検知工程及び物体検知処理を行う。

【0015】

また、製品ＤＢ４及び３ＤＣＧモデリング部５は、第１ＡＩ物体検知部３Ａ及び第２ＡＩ物体検知部３Ｂの対象物体に関する対象物体情報に基づいて対象物体のモデリング画像を作成するモデリング画像生成部である。このモデリング画像生成部は、モデリング画像生成工程及びモデリング画像生成処理を行う。

【0016】

また、２Ｄモデリングバッファ６Ａ、Ｚモデリングバッファ６Ｂ、表示判定・位置補正部７、２Ｄオーバーレイ処理部８Ａ及びＺオーバーレイ処理部８Ｂは、上記モデリング画像から得られる対象物体の輪郭線及び特徴画像をカメラ画像に重畳するオーバーレイ画像を生成するオーバーレイ画像生成部である。このオーバーレイ画像生成部は、オーバーレイ画像生成工程及びオーバーレイ画像生成処理を行う。

【0017】

さらに、２Ｄ画像補助表示部９Ａ及び測距画像補助表示部９Ｂは、上記オーバーレイ画像を表示する表示部である。この表示部は、表示工程及び表示処理を行う。

【0018】

このような物体検知装置Ａは、ハードウエア資源とソフトウエア資源との協働によって上記各構成要素を実現している。すなわち、本実施形態に係る物体検知装置Ａは、コンピュータ（ハードウエア資源）に所定の物体検知プログラム（ソフトウエア資源）に基づく物体検知処理を実行させることにより以下に説明する各種機能を実現し、以って距離測定の精度低下や誤った判定を抑制するものである。

【0019】

３Ｄ測距カメラ１は、所定の監視領域を撮像して２Ｄ画像及び測距画像を取得する撮像装置である。この３Ｄ測距カメラ１は、監視領域の２Ｄ画像及び測距画像をカメラ画像として外部に出力する。すなわち、この３Ｄ測距カメラ１は、可視可能な監視領域の２Ｄ画像（２次元画像）を取得する撮像装置と、赤外線やレーザ等を用いて監視領域の物体までの距離を示す不可視な測距画像（３次元画像）を取得する測距装置からなる。

【0020】

ここで、上記監視領域は、予め設定されるとともに直交３軸（Ｘ軸、Ｙ軸及びＺ軸）からなる３次元空間であり、車両等の製品が対象物体として載置されている。本実施形態における３Ｄ測距カメラ１は、このような対象物体が載置された監視領域を撮像することにより、対象物体が含まれる２Ｄ画像及び測距画像を取得する。すなわち、２Ｄ画像は、対象物体が映るＸ-Ｙ平面画像である。また、測距画像は、Ｘ-Ｙ平面の各サンプル点における対象物体までの距離（Ｚ軸方向の距離）情報を含む３次元データである。

【0021】

２Ｄ画像バッファ２Ａは、３Ｄ測距カメラ１から取得した監視領域の２Ｄ画像を一時的に保存する画像メモリである。この２Ｄ画像バッファ２Ａは、第１ＡＩ物体検知部３Ａあるいは２Ｄオーバーレイ処理部８Ａから入力される読出し要求に応答して、２Ｄ画像を第１ＡＩ物体検知部３Ａあるいは２Ｄオーバーレイ処理部８Ａに出力する。

【0022】

測距画像バッファ２Ｂは、３Ｄ測距カメラ１から取得した測距画像を一時的に保存する画像メモリである。この測距画像バッファ２Ｂは、第２ＡＩ物体検知部３ＢあるいはＺオーバーレイ処理部８Ｂから入力される読出し要求に応答して、測距画像を第２ＡＩ物体検知部３ＢあるいはＺオーバーレイ処理部８Ｂに出力する。

【0023】

第１ＡＩ物体検知部３Ａは、ＡＩ技術として周知のディープラーニング（Deep Learning）の手法に基づく画像学習エンジンを用いることにより、２Ｄ画像に映る対象物体を特定する。この第１ＡＩ物体検知部３Ａは、対象物体を特定して得られた物体特定情報を製品ＤＢ４に出力し、対象物体のサイズ及び向きを示す情報を３ＤＣＧモデリング部５に出力する。なお、この第１ＡＩ物体検知部３Ａは、対象物体を特定することができなかった場合、このことを示す検知ＮＧを第２ＡＩ物体検知部３Ｂに出力する。

【0024】

第２ＡＩ物体検知部３Ｂは、ＡＩ技術として周知のディープラーニング（Deep Learning）の手法に基づく画像学習エンジンを用いることにより、測距画像に含まれる対象物体を特定する。この第２ＡＩ物体検知部３Ｂは、対象物体を特定して得られた物体特定情報を製品ＤＢ４に出力し、対象物体のサイズ及び向きを示す情報を３ＤＣＧモデリング部５に出力する。

【0025】

製品ＤＢ４は、複数種類の対象物体に関する詳細カタログサイズ情報が予め保存された外部記憶装置（データベース）である。上記詳細カタログサイズ情報は、複数種類の対象物体の各々について、詳細形状やサイズ（大きさ）が登録されたものである。この製品ＤＢ４は、第１ＡＩ物体検知部３Ａ及び第２ＡＩ物体検知部３Ｂから物体特定情報が入力されると、当該物体特定情報が示す１あるいは複数種類の対象物体候補に関する詳細カタログサイズ情報を読出して３ＤＣＧモデリング部５に出力する。

【0026】

３ＤＣＧモデリング部５は、第１ＡＩ物体検知部３Ａ及び第２ＡＩ物体検知部３Ｂにおける検知結果に従って第１ＡＩ物体検知部３Ａ及び第２ＡＩ物体検知部３Ｂから入力される対象物体のサイズ及び向きを示す情報、また第１ＡＩ物体検知部３Ａ及び第２ＡＩ物体検知部３Ｂにおける検知結果に従って製品ＤＢ４から入力される詳細タログサイズ情報に基づいて、１あるいは複数種類の対象物体候補に関するモデリング画像（物体画像）を生成する。

【0027】

このモデリング画像は、３ＤＣＧ技術を用いて生成された精度の高い立体画像（３次元画像）である。このようなモデリング画像は、３次元の相対座標系画像であり、Ｘ軸及びＹ軸における２Ｄ画像（２Ｄモデリング画像）とＺ値（Ｚ軸における距離データ）を含んでいる。３ＤＣＧモデリング部５は、２Ｄモデリング画像を２Ｄモデリングバッファ６Ａに出力し、またモデリング画像のＺ値をＺモデリングバッファ６Ｂに出力する。

【0028】

２Ｄモデリング画像は、１あるいは複数種類の対象物体候補に関する輪郭線あるいは／及び特徴点を示す特徴画像である。また、Ｚ値は、詳細タログサイズ情報から得られる１あるいは複数種類の対象物体候補の距離情報である。このような２Ｄモデリング画像及びＺ値は、監視者による監視領域の２Ｄ画像あるいは／及び測距画像に基づく対象物体の特定を補助し得る画像である。

【0029】

２Ｄモデリングバッファ６Ａは、３ＤＣＧモデリング部５から入力される２Ｄモデリング画像を一時的に保存するメモリである。この２Ｄモデリングバッファ６Ａは、２Ｄオーバーレイ処理部８Ａから入力される読出し要求に応答して、２Ｄモデリング画像を２Ｄオーバーレイ処理部８Ａに出力する。

【0030】

Ｚモデリングバッファ６Ｂは、３ＤＣＧモデリング部５から入力されるモデリング画像のＺ値を一時的に保存するメモリである。このＺモデリングバッファ６Ｂは、Ｚオーバーレイ処理部８Ｂから入力される読出し要求に応答して、モデリング画像のＺ値をＺオーバーレイ処理部８Ｂに出力する。

【0031】

表示判定・位置補正部７は、監視者の指示に基づいて、監視領域の２Ｄ画像に対する２Ｄモデリング画像の重畳／非重畳及び監視領域の測距画像に対するＺ値の重畳／非重畳を２Ｄオーバーレイ処理部８Ａ及びＺオーバーレイ処理部８Ｂに指示する。また、表示判定・位置補正部７は、監視者の指示に基づいて、監視領域の２Ｄ画像に対する２Ｄモデリング画像の重畳位置の補正及び監視領域の測距画像に対するＺ値の重畳位置の補正を２Ｄオーバーレイ処理部８Ａ及びＺオーバーレイ処理部８Ｂに指示する。

【0032】

２Ｄオーバーレイ処理部８Ａは、２Ｄ画像バッファ２Ａから入力される監視領域の２Ｄ画像、２Ｄモデリングバッファ６Ａから入力される２Ｄモデリング画像及び表示判定・位置補正部７から入力される監視者の指示に基づいて、監視領域の２Ｄ画像に重畳（オーバーレイ）する２Ｄオーバーレイ画像を生成する。この２Ｄオーバーレイ処理部８Ａは、２Ｄオーバーレイ画像を２Ｄ画像補助表示部９Ａに出力する。

【0033】

Ｚオーバーレイ処理部８Ｂは、測距画像バッファ２Ｂから入力される監視領域の測距画像、Ｚモデリングバッファ６Ｂから入力されるＺ値及び表示判定・位置補正部７から入力される監視者の指示に基づいて、監視領域の測距画像に重畳（オーバーレイ）する測距オーバーレイ画像を生成する。このＺオーバーレイ処理部８Ｂは、測距オーバーレイ画像を測距画像補助表示部９Ｂに出力する。

【0034】

２Ｄ画像補助表示部９Ａは、２Ｄオーバーレイ処理部８Ａから入力される２Ｄオーバーレイ画像を監視者の判断を補助するための２Ｄ補助画像として表示する。測距画像補助表示部９Ｂは、Ｚオーバーレイ処理部８Ｂから入力される測距オーバーレイ画像を監視者の判断を補助するための測距補助画像として表示する。

【0035】

次に、本実施形態に係る物体検知装置Ａの動作つまり本実施形態に係る画像処理表示方法及びプログラムについて、図２に示すフローチャートに沿って説明する。

【0036】

なお、以下の説明では、一例として基準点(絶対座標)が定められた駐車場に置かれた車（対象物体）を監視者が３Ｄ測距カメラ１を用いて監視する場合について説明する。また、画像に複数の物体が存在するような場合は、Deep Learningの領域抽出手法や動体の検出などを用いて物体エリアを抽出する方法を用いても良い。

【0037】

この物体検知装置Ａにおいて、３Ｄ測距カメラ１が取得した２Ｄ画像は２Ｄ画像バッファ２Ａに保存され、同じく３Ｄ測距カメラ１が取得した測距画像は測距画像バッファ２Ｂに保存される。そして、第１ＡＩ物体検知部３Ａは２Ｄ画像バッファ２Ａの２Ｄ画像から対象物体のエリア（物体エリア）を抽出し（ステップＳ１）、また第２ＡＩ物体検知部３Ｂは、測距画像バッファ２Ｂの測距画像から対象物体のエリア（物体エリア）を抽出する（ステップＳ１）。

【0038】

そして、第１ＡＩ物体検知部３Ａは、２Ｄ画像の物体エリアから対象物体の２Ｄ画像を取得し（ステップＳ２）、第２ＡＩ物体検知部３Ｂは、測距画像の物体エリアから対象物体の測距画像を取得する（ステップＳ３）。

【0039】

そして、第１ＡＩ物体検知部３Ａは、ＡＩ技術として周知のディープラーニング（Deep Learning）の手法に基づく２Ｄ画像学習エンジンを用いて対象物体の２Ｄ画像を処理することにより、対象物体の検知を試みる（ステップＳ４）。一方、第２ＡＩ物体検知部３Ｂは、ディープラーニング（Deep Learning）の手法に基づく測距画像学習エンジンを用いて対象物体の測距画像を処理することにより、対象物体の検知を試みる（ステップＳ５）。

【0040】

そして、第１ＡＩ物体検知部３Ａは、ステップＳ４の処理の結果に基づいて対象物体を検知したと判定すると（ステップＳ６）、対象物体の２Ｄ画像から対象物体の寸法（サイズ）及び向き等を示すサイズ・向き情報を取得する（ステップＳ８）。なお、第１ＡＩ物体検知部３Ａは、ステップＳ６において対象物体を検知しなかった場合には、検知ＮＧを第２ＡＩ物体検知部３Ｂに通知する。

【0041】

一方、第２ＡＩ物体検知部３Ｂは、ステップＳ５の処理の結果に基づいて対象物体を検知したと判定すると（ステップＳ７）、対象物体の測距画像から対象物体の寸法（サイズ）及び向き等を示すサイズ・向き情報を取得する（ステップＳ９）。

【0042】

なお、図示していないが、第１ＡＩ物体検知部３Ａ及び第２ＡＩ物体検知部３Ｂは、サイズ・向き情報に加えて物体特定情報を取得する。そして、第１ＡＩ物体検知部３Ａ及び第２ＡＩ物体検知部３Ｂは、各々に物体特定情報を製品ＤＢ４に出力する。この結果、製品ＤＢ４は、物体特定情報に基づいて詳細カタログサイズ情報を３ＤＣＧモデリング部５に出力する。

【0043】

３ＤＣＧモデリング部５は、第１ＡＩ物体検知部３Ａ及び第２ＡＩ物体検知部３Ｂから取得した対象物体のサイズ及び向きを示す情報及び製品ＤＢ４から入力される詳細タログサイズ情報を用いて対象物体のモデリング画像の要素である２Ｄモデリング画像及びＺ値を２Ｄ・Ｚモデリングデータを生成する（ステップＳ１０）。

【0044】

そして、２Ｄオーバーレイ処理部８Ａは、２Ｄ画像バッファ２Ａから入力される監視領域の２Ｄ画像、２Ｄモデリングバッファ６Ａから入力される２Ｄモデリング画像及び表示判定・位置補正部７から入力される監視者の指示に基づいて、監視領域の２Ｄ画像に重畳（オーバーレイ）する２Ｄオーバーレイ画像を生成する。そして、２Ｄ画像補助表示部９Ａは、２Ｄオーバーレイ処理部８Ａから取得した２Ｄ補助画像として表示する（ステップＳ１１）。

【0045】

また、Ｚオーバーレイ処理部８Ｂは、測距画像バッファ２Ｂから入力される監視領域の測距画像、Ｚモデリングバッファ６Ｂから入力されるＺ値及び表示判定・位置補正部７から入力される監視者の指示に基づいて、監視領域の測距画像に重畳（オーバーレイ）する測距オーバーレイ画像を生成する。そして、測距画像補助表示部９Ｂは、Ｚオーバーレイ処理部８Ｂから取得した測距オーバーレイ画像を測距補助画像として表示する（ステップＳ１１）。

【0046】

一方、第２ＡＩ物体検知部３Ｂは、上記ステップＳ７において上記対象物体を検知できなかったと判定した場合に非検知アラームを出力する。監視者は、非検知アラームに基づいて監視領域の２Ｄ画像から対象物体を特定可能であるか否かを判断する（ステップＳ１２）、そして、この判断が「ｙｅｓ」の場合、監視者は、表示判定・位置補正部７を操作することにより、候補物体モデルの選択・表示を行う（ステップＳ１３）。

【0047】

なお、監視者は、上記ステップＳ１２の判断が「ｎｏ」の場合、表示判定・位置補正部７を操作することにより、特定不可アラームを２Ｄ画像補助表示部９Ａ及び測距画像補助表示部９Ｂに表示させる（ステップＳ１４）。

【0048】

図３（ａ）は２Ｄ画像による物体候補選択例であり、また図３（ｂ）は測距画像による物体候補選択例である。監視者は、図３（ａ）に示すように、第１ＡＩ物体検知部３Ａが抽出した候補車Ｘ１及び候補車Ｘ２、２Ｄ画像に基づく２Ｄ画像輪郭線Ｙ１及び２Ｄ特徴点図形Ｙ２のいずれかを相互補完の観点から測距補助画像（測距オーバーレイ画像）として選択する。

【0049】

また、監視者は、図３（ｂ）に示すように、第２ＡＩ物体検知部３Ｂが抽出した候補車Ｘ１’及び候補車Ｘ２’、測距画像に基づく測距輪郭線Ｙ１’及び測距特徴点図形Ｙ２’のいずれかを相互補完の観点から２Ｄ補助画像（２Ｄオーバーレイ画像）として選択する。

【0050】

図４は、２Ｄオーバーレイ処理部８Ａ及びＺオーバーレイ処理部８Ｂにおけるオーバーレイ表示処理の組み合わせ例である。この図４に示すように、環境条件が「明所・外乱なし」の場合、第１ＡＩ物体検知部３Ａにおける２Ｄ画像検知及び第２ＡＩ物体検知部３Ｂにおける測距画像検知は何れも良好に行われる（丸印）。

【0051】

この場合、２Ｄオーバーレイ処理部８Ａ及びＺオーバーレイ処理部８Ｂにおける表示処理は「そのまま表示」となる。すなわち、２Ｄオーバーレイ処理部８Ａは、２Ｄ画像バッファ２Ａから取得した監視領域の２Ｄ画像をそのまま表示させる。また、Ｚオーバーレイ処理部８Ｂは、測距画像バッファ２Ｂから取得した監視領域の測距画像をそのまま表示させる。なお、この場合、第２ＡＩ物体検知部３Ｂは、非検知アラームを外部に出力することはない。

【0052】

また、環境条件が「明所・外乱あり」の場合、第１ＡＩ物体検知部３Ａにおける２Ｄ画像検知は良好に行われるが（丸印）、第２ＡＩ物体検知部３Ｂにおける測距画像検知は行われない（バツ印）。この場合には、Ｚオーバーレイ処理部８Ｂにおける表示処理が「測距画像補助表示」となる。すなわち、Ｚオーバーレイ処理部８Ｂは、測距画像バッファ２Ｂから取得した監視領域の測距画像に代えて測距補助画像（測距オーバーレイ画像）を表示させる。

【0053】

また、環境条件が「暗所・外乱なし」の場合、第１ＡＩ物体検知部３Ａにおける２Ｄ画像検知は行われないが（バツ印）、第２ＡＩ物体検知部３Ｂにおける測距画像検知は良好に行われる（丸印）。この場合には、Ｚオーバーレイ処理部８Ｂにおける表示処理が「測距画像補助表示」となる。すなわち、２Ｄオーバーレイ処理部８Ａは、２Ｄ画像バッファ２Ａから取得した監視領域の２Ｄ画像に代えて２Ｄ補助画像（２Ｄオーバーレイ画像）を表示させる。

【0054】

さらに、環境条件が「暗所・外乱あり」の場合、第１ＡＩ物体検知部３Ａにおける２Ｄ画像検知及び第２ＡＩ物体検知部３Ｂにおける測距画像検知はいずれも行われない（バツ印）。この場合には、２Ｄオーバーレイ処理部８Ａ及びＺオーバーレイ処理部８Ｂにおける表示処理は「そのまま表示」となる。また、第２ＡＩ物体検知部３Ｂは、外部に非検知アラームを出力する。

【0055】

ところで、監視者は、上述したステップＳ１１，Ｓ１３，Ｓ１４の処理後、２Ｄ画像補助表示部９Ａ及び測距画像補助表示部９Ｂの画像を視認することにより、監視領域における対象物体の検知（チェック）がＯＫか否かを判断する（ステップＳ１５）。そして、この判断が「ｙｅｓ」の場合は全ての処理を終了する。

【0056】

一方、監視者は、ステップＳ１５の判断が「ｎｏ」の場合には上記操作部を用いて外部通知を行う（ステップＳ１６）。この外部通知によって、３Ｄ測距カメラ１の設定や第１ＡＩ物体検知部３Ａ及び第２ＡＩ物体検知部３Ｂにおける学習エンジンの変更等が行われる。この結果、第１ＡＩ物体検知部３Ａ及び第２ＡＩ物体検知部３Ｂにおける物体エリアの抽出性能及び対象物体の検知性能が更新される。

【0057】

このように、物体検知装置Ａは、第１ＡＩ物体検知部３Ａ及び第２ＡＩ物体検知部３Ｂにおける物体検知及び監視者による物体検知に応じて２Ｄ補助画像（２Ｄオーバーレイ画像）や測距補助画像（測距オーバーレイ画像）を表示させるが、２Ｄ補助画像（２Ｄオーバーレイ画像）及び測距補助画像（測距オーバーレイ画像）の表示位置は、表示判定・位置補正部８によって調整される。

【0058】

図５は、２Ｄ補助画像（２Ｄオーバーレイ画像）及び測距補助画像（測距オーバーレイ画像）の表示位置の調整例を示している。３ＤＣＧモデリング部５におけるモデリングでは、３Ｄ測距カメラ１の視点座標系および実際の物体の位置基準となる絶対座標を考慮する必要がある。相対座標で作成されたモデリングデータの表示位置決めには、取得した画像への空間の絶対座標変換に必要な座標基準点が必要となる。３Ｄ測距カメラ１のカメラ画像による位置決め精度が低い場合はあらかじめ基準画像を用意し基準点の絶対座標を決定する。

【0059】

図５に示すように駐車場などの場合、停止線、車止めなどの固定物の絶対座標を基準点としてモデリング画像の相対座標から絶対座標に変換する。例えば、ＬｉＤＡＲ方式の３Ｄ測距カメラ１やＧＰＳを応用したシステムなど、精度の高い測距、位置計測手段で基準となる座標が明らかな場合やモデリングに必要な精度の良い測距基準点（絶対座標）の決定手段があれば代用可能である。動画撮影に動体への応用も可能であり対象物体や条件などを限定するものではない。

【0060】

このような物体検知装置Ａによれば、監視領域の２Ｄ画像に２Ｄ補助画像をオーバーレイ表示し、また監視領域の測距画像に測距補助画像をオーバーレイ表示するので、外乱により視認性低下した２Ｄ画像及び測距画像を２Ｄ補助画像及び測距補助画像で補完することが可能であり、以って監視者の視認性及びシステムの信頼性を向上させることができる。

【0061】

また、この物体検知装置Ａによれば、第１ＡＩ物体検知部３Ａ及び第２ＡＩ物体検知部３Ｂによる物体検知ができなかった場合に非検知アラームを外部に出力するので、監視者による再チェックや監視者による再判断を促し、３Ｄ測距カメラ１の設定パラメータの改善や第１ＡＩ物体検知部３Ａ及び第２ＡＩ物体検知部３Ｂにおける学習エンジンの切り替えなどを行うことを可能とし、以ってシステムの認識精度を向上させることができる。

【0062】

すなわち、本実施形態によれば、距離測定の精度低下や誤った判定を抑制することが可能な物体検知装置Ａ、画像処理表示方法及びプログラムを提供することができる。

【0063】

なお、本発明は上記実施形態に限定されるものではなく、以下のような変形例が考えられる。例えば、オーバーレイに使用する画像は、必ずしも学習エンジンから得られた精密な情報を元にモデリングした結果によるものでなくても、３Ｄ測距カメラ１のカメラ画像の特徴点や輪郭線を用いた簡易なもので代用することが可能である。

【0064】

画像精度が著しく低い場合、モデリング画像によって３Ｄ測距カメラ１のカメラ画像を置き換えることにより、危険検知精度を改善することが考えられる。条件やシステム性能、要求精度に見合ったモデルを選択することで、パフォーマンスの良い危険検知補助を実現することが可能となる。このような変形例によれば、監視者による各モデリング画像の選択により、要求レベルの変更やシステム負荷の軽減が可能となる。

【0065】

また、測距補助画像（測距オーバーレイ画像）については、図６に示すように簡易Ｂｏｘモデル、サーフェイスモデルあるいはソリッドモデル等の簡易モデルや高精度ワイヤモデルあるいは高精度ソリッドモデル等の高精細モデルを３ＤＣＧモデリング部５で生成し、これらモデル画像の１つをセレクタで選択して測距補助画像（測距オーバーレイ画像）を精度が低い測距画像に重畳（オーバーレイ）してもよい。

【0066】

最後に、本発明に係る物体検知装置の最小構成について図７及び図８を参照して説明する。最小構成の物体検知装置Ｂは、図７に示すように、測距カメラ１０、物体検知部１１、モデリング画像生成部１２、オーバーレイ画像生成部１３及び表示部１４を少なくとも備える。

【0067】

この物体検知装置Ｂは、図８に示すように、測距カメラ１０から取得したカメラ画像から対象物体の検知を行う物体検知処理（ステップＳａ）、対象物体に関する対象物体情報に基づいて対象物体のモデリング画像を作成するモデリング画像生成処理（ステップＳｂ）、モデリング画像から得られる対象物体の輪郭線あるいは特徴画像をカメラ画像に重畳するオーバーレイ画像を生成するオーバーレイ画像生成処理（ステップＳｃ）、オーバーレイ画像を表示する表示処理（ステップＳｄ）を実行する。

【符号の説明】

【0068】

Ａ 物体検知装置
１ ３Ｄ測距カメラ
２Ａ ２Ｄ画像バッファ
２Ｂ 測距画像バッファ
３Ａ 第１ＡＩ物体検知部
３Ｂ 第２ＡＩ物体検知部
４ 製品ＤＢ
５ ３ＤＣＧモデリング部（モデリング画像生成部）
６Ａ ２Ｄモデリングバッファ
６Ｂ Ｚモデリングバッファ
７ 表示判定・位置補正部
８Ａ ２Ｄオーバーレイ処理部
８Ｂ Ｚオーバーレイ処理部
９Ａ ２Ｄ画像補助表示部
９Ｂ 測距画像補助表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2022-11-21

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

監視領域を撮像してカメラ画像を出力する測距カメラと、
前記カメラ画像の２Ｄ画像から対象物体の検知を行う第１物体検知部と、
前記カメラ画像の測距画像から前記対象物体の検知を行う第２物体検知部と、
前記第１物体検知部及び第２物体検知部が検知した前記対象物体に関する対象物体情報に基づいて対象物体の２Ｄモデリング画像及び測距モデリング画像を作成するモデリング画像生成部と、
前記２Ｄモデリング画像を前記カメラ画像に重畳する２Ｄオーバーレイ画像を生成する２Ｄオーバーレイ画像生成部と、
前記モ測距デリング画像を前記カメラ画像に重畳する測距オーバーレイ画像を生成する測距オーバーレイ画像生成部と、
前記２Ｄオーバーレイ画像及び前記測距オーバーレイ画像を表示する表示部とを備える物体検知装置。

【請求項2】

前記物体検知部は、画像学習エンジンを用いて前記対象物体の検知を行う請求項１に記載の物体検知装置。

【請求項3】

前記モデリング画像生成部は、物体検知部の検知結果に基づいて製品ＤＢから前記対象物体情報を取得して前記モデリング画像を作成する請求項１または２に記載の物体検知装置。

【請求項4】

測距カメラから取得したカメラ画像の２Ｄ画像から対象物体の検知を行う第１物体検知工程と、
前記カメラ画像の測距画像から前記対象物体の検知を行う第２物体検知工程と、
前記第１物体検知工程及び第２物体検知工程で検知した前記対象物体に関する対象物体情報に基づいて対象物体の２Ｄモデリング画像及び測距モデリング画像を作成するモデリング画像生成工程と、
前記２Ｄモデリング画像を前記カメラ画像に重畳する２Ｄオーバーレイ画像を生成する２Ｄオーバーレイ画像生成工程と、
前記モ測距デリング画像を前記カメラ画像に重畳する測距オーバーレイ画像を生成する測距オーバーレイ画像生成工程と、
前記２Ｄオーバーレイ画像及び測距オーバーレイ画像を表示する表示工程と
を有する画像処理表示方法。

【請求項5】

測距カメラから取得したカメラ画像の２Ｄ画像から対象物体の検知を行う第１物体検知処理と、
前記カメラ画像の測距画像から前記対象物体の検知を行う第２物体検知処理と、
前記第１物体検知処理及び第２物体検知処理で検知した前記対象物体に関する対象物体情報に基づいて対象物体の２Ｄモデリング画像及び測距モデリング画像を作成するモデリング画像生成処理と、
前記２Ｄモデリング画像を前記カメラ画像に重畳する２Ｄオーバーレイ画像を生成する２Ｄオーバーレイ画像生成処理と、
前記モ測距デリング画像を前記カメラ画像に重畳する測距オーバーレイ画像を生成する測距オーバーレイ画像生成処理と、
前記２Ｄオーバーレイ画像及び測距オーバーレイ画像を表示する表示処理と
をコンピュータに実行させるプログラム。

【手続補正書】

【提出日】2023-05-19

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

監視領域を撮像してカメラ画像を出力する測距カメラと、
前記カメラ画像の２Ｄ画像から対象物体の検知を行う第１物体検知部と、
前記カメラ画像の測距画像から前記対象物体の検知を行う第２物体検知部と、
前記第１物体検知部及び第２物体検知部が検知した前記対象物体に関する対象物体情報に基づいて対象物体の２Ｄモデリング画像及び測距モデリング画像を作成するモデリング画像生成部と、
前記２Ｄモデリング画像を前記カメラ画像に重畳する２Ｄオーバーレイ画像を生成する２Ｄオーバーレイ画像生成部と、
前記測距モデリング画像を前記カメラ画像に重畳する測距オーバーレイ画像を生成する測距オーバーレイ画像生成部と、
前記２Ｄオーバーレイ画像及び前記測距オーバーレイ画像を表示する表示部とを備える物体検知装置。

【請求項2】

前記第１物体検知部及び前記第２物体検知部は、画像学習エンジンを用いて前記対象物体の検知を行う請求項１に記載の物体検知装置。

【請求項3】

前記モデリング画像生成部は、前記第１物体検知部及び前記第２物体検知部の検知結果に基づいて製品ＤＢから前記対象物体情報を取得して前記２Ｄモデリング画像及び前記測距モデリング画像を作成する請求項１または２に記載の物体検知装置。

【請求項4】

測距カメラから取得したカメラ画像の２Ｄ画像から対象物体の検知を行う第１物体検知工程と、
前記カメラ画像の測距画像から前記対象物体の検知を行う第２物体検知工程と、
前記第１物体検知工程及び第２物体検知工程で検知した前記対象物体に関する対象物体情報に基づいて対象物体の２Ｄモデリング画像及び測距モデリング画像を作成するモデリング画像生成工程と、
前記２Ｄモデリング画像を前記カメラ画像に重畳する２Ｄオーバーレイ画像を生成する２Ｄオーバーレイ画像生成工程と、
前記測距モデリング画像を前記カメラ画像に重畳する測距オーバーレイ画像を生成する測距オーバーレイ画像生成工程と、
前記２Ｄオーバーレイ画像及び測距オーバーレイ画像を表示する表示工程と
を有する画像処理表示方法。

【請求項5】

測距カメラから取得したカメラ画像の２Ｄ画像から対象物体の検知を行う第１物体検知処理と、
前記カメラ画像の測距画像から前記対象物体の検知を行う第２物体検知処理と、
前記第１物体検知処理及び第２物体検知処理で検知した前記対象物体に関する対象物体情報に基づいて対象物体の２Ｄモデリング画像及び測距モデリング画像を作成するモデリング画像生成処理と、
前記２Ｄモデリング画像を前記カメラ画像に重畳する２Ｄオーバーレイ画像を生成する２Ｄオーバーレイ画像生成処理と、
前記測距モデリング画像を前記カメラ画像に重畳する測距オーバーレイ画像を生成する測距オーバーレイ画像生成処理と、
前記２Ｄオーバーレイ画像及び測距オーバーレイ画像を表示する表示処理と
をコンピュータに実行させるプログラム。