7086892 対象の情報を接地点含有画像領域から推定する装置、プログラム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-10

(45)【発行日】2022-06-20

(54)【発明の名称】対象の情報を接地点含有画像領域から推定する装置、プログラム及び方法

(51)【国際特許分類】

   G06T 7/73 20170101AFI20220613BHJP

【ＦＩ】

G06T7/73

【請求項の数】 12

(21)【出願番号】P 2019091185

(22)【出願日】2019-05-14

(65)【公開番号】P2020187519

(43)【公開日】2020-11-19

【審査請求日】2021-02-16

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100135068

【弁理士】

【氏名又は名称】早原 茂樹

(74)【代理人】

【識別番号】100141313

【弁理士】

【氏名又は名称】辰巳 富彦

(72)【発明者】

【氏名】三原 翔一郎

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２０１６－００４３６９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

検出対象を含み得る画像を用いて当該検出対象に係る情報を推定する対象情報推定装置であって、
当該画像から抽出されたパッチ画像であって、連続する２つが互いに一部重畳するように抽出されたパッチ画像における、当該検出対象に係る画像領域である対象領域を決定する対象領域決定手段と、
当該対象領域の位置に係る情報又は当該検出対象の部分に係る情報に基づいて、当該検出対象の接地点を含む対象領域である接地点含有領域を決定する接地点含有領域決定手段と、
決定された複数の接地点含有領域のうちの２つについて、互いの画像領域の重畳する度合いに基づく所定条件が満たされた場合、一方における接地点含有領域との決定を取り消す、又は当該２つを更新し当該２つの平均若しくは平均以外の統計処理結果となる新たな接地点含有領域を決定する接地点含有領域更新手段と、
決定された接地点含有領域に基づいて当該検出対象の位置及び／又は個数に係る情報を決定する対象情報決定手段と
を有することを特徴とする対象情報推定装置。

【請求項2】

当該検出対象の全体を含まない接地点含有領域である部分領域を決定する部分領域決定手段と、
決定された部分領域の当該パッチ画像内での位置に係る情報に基づいて、当該検出対象をより多く含み得るパッチ画像である部分対応パッチ画像を抽出する部分対応パッチ画像抽出手段と
を更に有し、
前記対象情報決定手段は、抽出された部分対応パッチ画像において決定された接地点含有領域にも基づいて当該検出対象の位置及び／又は個数に係る情報を決定する
ことを特徴とする請求項１に記載の対象位置推定装置。

【請求項3】

前記部分対応パッチ画像抽出手段は、
決定された部分領域における当該パッチ画像の外周に最も近接した端辺である分断線を決定し、
当該分断線から見て、当該分断線に垂直な向きであって当該部分領域の外へ向かう向きに、所定の距離、又は当該検出対象の大きさに係る情報に基づき決定した距離だけ拡張された付加画像領域を決定し、
当該部分領域及び当該付加画像領域を含む画像領域を部分対応パッチ画像とする
ことを特徴とする請求項２に記載の対象情報推定装置。

【請求項4】

前記対象領域決定手段が、抽出された部分対応パッチ画像における対象領域を決定し、前記接地点含有領域決定手段が当該部分対応パッチ画像における接地点含有領域を決定し、前記部分領域決定手段が当該部分対応パッチ画像における部分領域を決定し、前記部分対応パッチ画像抽出手段が、当該部分対応パッチ画像における部分領域に基づいて更なる部分対応パッチ画像を抽出する処理を、設定された回数だけ又は適宜繰り返すことを特徴とする請求項２又は３に記載の対象情報推定装置。

【請求項5】

前記対象領域決定手段は、推定の確からしさを表すスコアを出力する学習済みモデルを用いて当該対象領域を決定し、
前記接地点含有領域更新手段は、当該所定条件が満たされた場合、当該２つのうち当該スコアの小さい方における接地点含有領域との決定を取り消す
ことを特徴とする請求項１から４のいずれか１項に記載の対象情報推定装置。

【請求項6】

当該検出対象の全体を含まない接地点含有領域である部分領域を決定する部分領域決定手段を更に有し、
前記接地点含有領域更新手段は、当該所定条件が満たされた場合において、当該２つのうち一方のみが部分領域である場合に、部分領域である当該一方における接地点含有領域との決定を取り消す
ことを特徴とする請求項１から４のいずれか１項に記載の対象情報推定装置。

【請求項7】

前記部分領域決定手段は、当該接地点含有領域の縦横比に係る情報に基づいて、当該対象領域の当該パッチ画像内での位置に係る情報に基づいて、又は当該検出対象の部分に係る情報に基づいて、当該接地点含有領域が部分領域であるか否かを判定することを特徴とする請求項２、３、４又は６に記載の対象情報推定装置。

【請求項8】

前記対象領域決定手段は、決定した対象領域に含まれる検出対象の特徴点を決定し、
前記接地点含有領域決定手段は、決定された対象領域のうち、予め特定された特徴点を含む対象領域を接地点含有領域に決定することを特徴とする請求項１から７に記載の対象情報推定装置。

【請求項9】

前記接地点含有領域決定手段は、決定された対象領域に含まれる検出対象について取得された、実空間内における当該検出対象までの距離に基づき算出された当該対象領域と地面との距離が所定以下である場合、当該対象領域を接地点含有領域に決定することを特徴とする請求項１から７に記載の対象情報推定装置。

【請求項10】

前記接地点含有領域決定手段は、決定された対象領域が、当該パッチ画像の外周下端から所定以上離隔している場合、当該対象領域を接地点含有領域に決定することを特徴とする請求項１から７に記載の対象情報推定装置。

【請求項11】

検出対象を含み得る画像を用いて当該検出対象に係る情報を推定する装置に搭載されたコンピュータを機能させるプログラムであって、
当該画像から抽出されたパッチ画像であって、連続する２つが互いに一部重畳するように抽出されたパッチ画像における、当該検出対象に係る画像領域である対象領域を決定する対象領域決定手段と、
当該対象領域の位置に係る情報又は当該検出対象の部分に係る情報に基づいて、当該検出対象の接地点を含む対象領域である接地点含有領域を決定する接地点含有領域決定手段と、
決定された複数の接地点含有領域のうちの２つについて、互いの画像領域の重畳する度合いに基づく所定条件が満たされた場合、一方における接地点含有領域との決定を取り消す、又は当該２つを更新し当該２つの平均若しくは平均以外の統計処理結果となる新たな接地点含有領域を決定する接地点含有領域更新手段と、
決定された接地点含有領域に基づいて当該検出対象の位置及び／又は個数に係る情報を決定する対象情報決定手段と
としてコンピュータを機能させることを特徴とする対象情報推定プログラム。

【請求項12】

検出対象を含み得る画像を用いて当該検出対象に係る情報を推定する装置に搭載されたコンピュータにおける方法であって、
当該画像から抽出されたパッチ画像であって、連続する２つが互いに一部重畳するように抽出されたパッチ画像における、当該検出対象に係る画像領域である対象領域を決定するステップと、
当該対象領域の位置に係る情報又は当該検出対象の部分に係る情報に基づいて、当該検出対象の接地点を含む対象領域である接地点含有領域を決定するステップと、
決定された複数の接地点含有領域のうちの２つについて、互いの画像領域の重畳する度合いに基づく所定条件が満たされた場合、一方における接地点含有領域との決定を取り消す、又は当該２つを更新し当該２つの平均若しくは平均以外の統計処理結果となる新たな接地点含有領域を決定するステップと、
決定された接地点含有領域に基づいて当該検出対象の位置及び／又は個数に係る情報を決定するステップと
を有することを特徴とする対象情報推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像から検出対象を検出し、当該検出対象に係る情報を推定する技術に関する。

【背景技術】

【0002】

現在、撮影された画像から、所定の検出対象、例えば人や自動車等を検出し、当該検出対象についての位置や個数等の情報を推定する技術が注目されている。このような推定技術は、特に自動運転車、ドローンや各種ロボット等における高度な「視覚」の機能を実現するための主幹技術と捉えられており、その開発・応用が精力的に進められている。

【0003】

ここで、この情報推定に使用される画像として、来る５Ｇ（第５世代移動通信システム）の適用も視野に入れると今後、高解像度カメラで撮影された高解像度画像を採用する場面も増えると考えられる。この高解像度カメラは、低解像度カメラと比較すると、検出対象をより高い画素密度の画像領域で捉えることができ、その結果、高解像度カメラで撮影した高解像度画像を利用すれば、より遠方の検出対象やより小さい検出対象の情報を、より高い精度で推定することも可能となるのである。

【0004】

しかしながら現状、一般に利用可能な物体検出器はそのほとんどが、計算機のメモリ制限を主な理由として、低解像度画像を処理対象としている。そこで現在、このような物体検出器を利用して、高解像度画像から検出対象情報を推定するための工夫がいくつか提案されている。

【0005】

例えば、非特許文献１は、高解像度画像を複数段階の解像度をもって縮小した画像群を生成し、次いで生成した各解像度の画像から複数の低解像度のパッチ画像を抽出し、さらに各パッチ画像に対して物体検出器を適用することによって、高解像度画像から様々なスケールの物体を検出する手法を公開している。

【0006】

また、非特許文献２は、高解像度画像を縮小して生成した低解像度画像から、およそ物体の存在するらしい画像領域を機械学習器によって抽出し、次いで元の高解像度画像における当該画像領域に相当する画像領域から複数の低解像度のパッチ画像を抽出し、さらに各パッチ画像に対して物体検出器を適用することによって、高解像度画像から効率的に物体を検出する手法を公開している。

【先行技術文献】

【非特許文献】

【0007】

【文献】Zibo Meng, Xiaochuan Fan, Xin Chen, Min Chen, Yan Tong, "Detecting Small Signs from Large Images", 2017 IEEE International Conference on Information Reuse and Integration, ２０１７年, ２１７～２２４頁

【文献】Vit Ruzicka, Franz Franchetti, "Fast and accurate object detection in high resolution 4K and 8K video using GPUs", 2018 IEEE High Performance extreme Computing Conference (HPEC), ２０１８年, １～７頁

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、上述したような従来技術においては、抽出したパッチ画像から物体検出を行う故に発生する誤検出が、重大な問題となっている。

【0009】

例えば非特許文献１に記載された手法では、高解像度画像からパッチ画像を抽出する際、パッチ抽出境界が１つの検出対象物体を横断して、結果的に当該１つの物体が複数のパッチ画像へ分断されてしまう事態が十分に生じ得る。この場合、１つの物体が、複数のパッチ画像から検出される結果、誤って複数の物体として認識されてしまうのである。

【0010】

一方これに対し、非特許文献２に記載された手法では、隣接する物体画像領域がパッチ抽出境界近傍で検出された際、これらの物体画像領域を統合するか否かを、物体画像領域間の距離に係る所定の閾値をもって判別し、１つの物体を誤って複数の物体として認識しないように工夫がなされている。

【0011】

しかしながら、この工夫では物体画像領域間の距離のみで統合判定を行うため、場合によっては、互いに異なる物体についての物体画像領域を、１つの物体についての物体画像領域であるとして統合してしまう事態が生じてしまう。さらに、およそ物体の存在するらしい画像領域の抽出処理が正確ではない場合、結果的にパッチ画像を検出対象の一部のみを含む形で抽出し、物体の部分に係る画像領域のみを検出してしまう事態も発生し得る。

【0012】

ちなみに、以上説明したような誤検出の発生は、例えば自動運転の実施にあたり、カメラ画像を用いて周囲の歩行者や車両に関する正確な位置及びその個数を推定する必要がある状況において、重大な問題となるのである。

【0013】

そこで、本発明は、抽出されたパッチ画像を用いて対象検出を行う場合でも、検出対象に係る情報をより正確に推定することが可能な装置、プログラム及び方法を提供することを目的とする。

【課題を解決するための手段】

【0014】

本発明によれば、検出対象を含み得る画像を用いて当該検出対象に係る情報を推定する対象情報推定装置であって、
当該画像から抽出されたパッチ画像であって、連続する２つが互いに一部重畳するように抽出されたパッチ画像における、当該検出対象に係る画像領域である対象領域を決定する対象領域決定手段と、
当該対象領域の位置に係る情報又は当該検出対象の部分に係る情報に基づいて、当該検出対象の接地点を含む対象領域である接地点含有領域を決定する接地点含有領域決定手段と、
決定された複数の接地点含有領域のうちの２つについて、互いの画像領域の重畳する度合いに基づく所定条件が満たされた場合、一方における接地点含有領域との決定を取り消す、又は当該２つを更新し当該２つの平均若しくは平均以外の統計処理結果となる新たな接地点含有領域を決定する接地点含有領域更新手段と、
決定された接地点含有領域に基づいて当該検出対象の位置及び／又は個数に係る情報を決定する対象情報決定手段と
を有する対象情報推定装置が提供される。

【0015】

この本発明による対象情報推定装置の一実施形態として、
対象情報推定装置は、当該検出対象の全体を含まない接地点含有領域である部分領域を決定する部分領域決定手段と、決定された部分領域の当該パッチ画像内での位置に係る情報に基づいて、当該検出対象をより多く含み得るパッチ画像である部分対応パッチ画像を抽出する部分対応パッチ画像抽出手段とを更に有し、
対象情報決定手段は、抽出された部分対応パッチ画像において決定された接地点含有領域にも基づいて当該検出対象の位置及び／又は個数に係る情報を決定することも好ましい。

【0016】

また上記の実施形態において、部分対応パッチ画像抽出手段は、（ａ）決定された部分領域における当該パッチ画像の外周に最も近接した端辺である分断線を決定し、（ｂ）当該分断線から見て、当該分断線に垂直な向きであって当該部分領域の外へ向かう向きに、所定の距離、又は当該検出対象の大きさに係る情報に基づき決定した距離だけ拡張された付加画像領域を決定し、（ｃ）当該部分領域及び当該付加画像領域を含む画像領域を部分対応パッチ画像とすることも好ましい。

【0017】

さらに上記の実施形態において、対象領域決定手段が、抽出された部分対応パッチ画像における対象領域を決定し、接地点含有領域決定手段が当該部分対応パッチ画像における接地点含有領域を決定し、部分領域決定手段が当該部分対応パッチ画像における部分領域を決定し、部分対応パッチ画像抽出手段が、当該部分対応パッチ画像における部分領域に基づいて更なる部分対応パッチ画像を抽出する処理を、設定された回数だけ又は適宜繰り返すことも好ましい。

【0019】

さらに、上記の接地点含有領域更新処理を行う実施形態において、対象領域決定手段は、推定の確からしさを表すスコアを出力する学習済みモデルを用いて当該対象領域を決定し、接地点含有領域更新手段は、当該所定条件が満たされた場合、当該２つのうち当該スコアの小さい方における接地点含有領域との決定を取り消すことも好ましい。

【0020】

さらにまた、上記の接地点含有領域更新処理を行う実施形態において、対象情報推定装置は、当該検出対象の全体を含まない接地点含有領域である部分領域を決定する部分領域決定手段を更に有し、接地点含有領域更新手段は、当該所定条件が満たされた場合において、当該２つのうち一方のみが部分領域である場合に、部分領域である当該一方における接地点含有領域との決定を取り消すことも好ましい。

【0021】

ここで、以上の説明において述べた部分領域決定手段は、（ａ）当該接地点含有領域の縦横比に係る情報に基づいて、（ｂ）当該対象領域の当該パッチ画像内での位置に係る情報に基づいて、又は（ｃ）当該検出対象の部分に係る情報に基づいて、当該接地点含有領域が部分領域であるか否かを判定することも好ましい。

【0022】

また、本発明に係る接地点含有領域決定処理の一実施形態として、対象領域決定手段は、決定した対象領域に含まれる検出対象の特徴点を決定し、接地点含有領域決定手段は、決定された対象領域のうち、予め特定された特徴点を含む対象領域を接地点含有領域に決定することも好ましい。

【0023】

さらに、本発明に係る接地点含有領域決定処理の他の実施形態として、接地点含有領域決定手段は、決定された対象領域に含まれる検出対象について取得された、実空間内における当該検出対象までの距離に基づき算出された当該対象領域と地面との距離が所定以下である場合、当該対象領域を接地点含有領域に決定することも好ましい。

【0024】

さらにまた、本発明に係る接地点含有領域決定処理の更なる他の実施形態として、接地点含有領域決定手段は、決定された対象領域が、当該パッチ画像の外周下端から所定以上離隔している場合、当該対象領域を接地点含有領域に決定することも好ましい。

【0025】

本発明によれば、また、検出対象を含み得る画像を用いて当該検出対象に係る情報を推定する装置に搭載されたコンピュータを機能させるプログラムであって、
当該画像から抽出されたパッチ画像であって、連続する２つが互いに一部重畳するように抽出されたパッチ画像における、当該検出対象に係る画像領域である対象領域を決定する対象領域決定手段と、
当該対象領域の位置に係る情報又は当該検出対象の部分に係る情報に基づいて、当該検出対象の接地点を含む対象領域である接地点含有領域を決定する接地点含有領域決定手段と、
決定された複数の接地点含有領域のうちの２つについて、互いの画像領域の重畳する度合いに基づく所定条件が満たされた場合、一方における接地点含有領域との決定を取り消す、又は当該２つを更新し当該２つの平均若しくは平均以外の統計処理結果となる新たな接地点含有領域を決定する接地点含有領域更新手段と、
決定された接地点含有領域に基づいて当該検出対象の位置及び／又は個数に係る情報を決定する対象情報決定手段と
としてコンピュータを機能させる対象情報推定プログラムが提供される。

【0026】

本発明によれば、さらに、検出対象を含み得る画像を用いて当該検出対象に係る情報を推定する装置に搭載されたコンピュータにおける方法であって、
当該画像から抽出されたパッチ画像であって、連続する２つが互いに一部重畳するように抽出されたパッチ画像における、当該検出対象に係る画像領域である対象領域を決定するステップと、
当該対象領域の位置に係る情報又は当該検出対象の部分に係る情報に基づいて、当該検出対象の接地点を含む対象領域である接地点含有領域を決定するステップと、
決定された複数の接地点含有領域のうちの２つについて、互いの画像領域の重畳する度合いに基づく所定条件が満たされた場合、一方における接地点含有領域との決定を取り消す、又は当該２つを更新し当該２つの平均若しくは平均以外の統計処理結果となる新たな接地点含有領域を決定するステップと、
決定された接地点含有領域に基づいて当該検出対象の位置及び／又は個数に係る情報を決定するステップと
を有する対象情報推定方法が提供される。

【発明の効果】

【0027】

本発明の対象情報推定装置、プログラム及び方法によれば、抽出されたパッチ画像を用いて対象検出を行う場合でも、検出対象に係る情報をより正確に推定することができる。

【図面の簡単な説明】

【0028】

【図1】本発明による対象情報推定装置を含む対象情報推定システムの一実施形態を示す模式図である。

【図2】パッチ画像抽出処理及び対象領域決定処理の一実施形態を説明するための模式図である。

【図3】本発明に係る接地点含有領域決定処理の一実施形態を説明するための模式図である

【図4】本発明に係る接地点含有領域決定処理の他の実施形態を説明するための模式図である。

【図5】本発明に係る接地点含有領域決定処理の更なる他の実施形態を説明するための模式図である。

【図6】本発明に係る接地点含有領域更新処理を説明するための模式図である。

【図7】本発明に係る部分対応パッチ画像抽出処理の一実施形態を説明するための模式図である。

【発明を実施するための形態】

【0029】

以下、本発明の実施形態について、図面を用いて詳細に説明する。

【0030】

図１は、本発明による対象情報推定装置を含む対象情報推定システムの一実施形態を示す模式図である。

【0031】

図１に示した本実施形態の対象情報推定システムは、
（ａ）道路を走行する自動運転車に設置されたカメラ２と、
（ｂ）有線（ケーブル等）又は無線（無線ＬＡＮ、近距離無線通信、無線系事業者アクセスネットワーク等）を介してカメラ２と通信接続された対象情報推定装置１と
を含んでいる。ここで、対象情報推定装置１は、上記（ａ）の自動運転車内に備えられていてもよく、または、遠隔制御装置若しくはサーバとして、自動運転車を含む無線通信ネットワーク内に設置されてもよい。

【0032】

また本実施形態において、上記（ａ）の自動運転車は、同じく有線又は無線を介して対象情報推定装置１と通信接続された制御装置３を備えている。制御装置３は、対象情報推定装置１から、周囲に存在する人や自動車等の検出対象における各々の位置や対象種別毎の個数等の情報を取得し、取得した当該情報に基づき自動運転車の駆動系を制御して、自動運転を実施する。

【0033】

さらに、上記（ａ）のカメラ２は、本実施形態において高解像度カメラであり、自動運転車の周囲の状況を撮影した時系列の高解像度画像（高解像度映像）を出力する。なお、複数のカメラ２から同時に出力される複数の高解像度画像を取りまとめて合成し、より広範な周囲の状況を含む１つの高解像度画像として対象情報推定装置１に送信可能なカメラ画像合成装置が、複数のカメラ２とともに設けられていてもよい。

【0034】

また、上記（ｂ）の対象情報推定装置１は、検出対象を含み得る画像を用いて当該検出対象に係る情報を推定する装置であり、本実施形態においては、カメラ２から取得した高解像度画像を用いて、自動運転車の周囲に存在する人や自動車等の所定の検出対象における、各検出対象の位置や検出対象種別毎の個数を含む情報を推定し、制御装置３に向けて出力する。

【0035】

この対象情報推定装置１は、より具体的な構成として、
（Ａ）取得した画像（本実施形態では高解像度画像）から抽出された「パッチ画像」における、検出対象に係る画像領域である「対象領域」を決定する対象領域決定部１１２と、
（Ｂ）決定された「対象領域」の位置に係る情報、又は検出対象の部分に係る情報に基づいて、検出対象の接地点を含む対象領域である「接地点含有領域」を決定する接地点含有領域決定部１１３と、
（Ｃ）決定された「接地点含有領域」に基づいて検出対象の位置及び／又は個数に係る情報を決定する対象情報決定部１１７と
を有することを特徴としている。

【0036】

ここで以後、「地面」を、地表面、床面や、構造物（例えば橋）上の面等を含む広い意味での地面とする。その上で、上記（Ｂ）の「接地点含有領域」は、検出対象が「地面」に接しつつ地面上に存在していることを前提として決定される。例えば、検出対象が人である場合、「接地点含有領域」は人の足先（接地点）を含む（であろう）画像領域として決定され、検出対象が自動車である場合には、タイヤ下端（接地点）を含む（であろう）画像領域として決定される。ちなみに、例えば走行者の両足先が一瞬地面から離隔するように、検出対象の接地点が短期間消滅した状況の画像領域であっても、接地点相当の検出対象部位（例えば足先やタイヤ下端）を含む（であろう）ならば、「接地点含有領域」に決定することができる。

【0037】

対象情報推定装置１は、このような「接地点含有領域」を決定した上で、これに基づいて検出対象に係る情報を決定している。したがって、抽出された「パッチ画像」を用いて対象検出を行う際、例えば１つの検出対象が複数の「パッチ画像」に分断して含まれたとしても、それらの「パッチ画像」から、当該検出対象の存在事実及び所在位置の根拠となる接地点を含む「接地点含有領域」を特定するので、結果的に、検出対象に係る情報をより正確に推定することができるのである。

【0038】

なお当然に、対象情報推定装置１の用途は、本実施形態のような自動運転制御に限定されるものではなく、例えば、所定の設備やエリア等における周囲の状況の監視・観察とすることもできる。いずれにしても、今後益々利用が進むと考えられる高解像度画像を用いた対象検出処理を行うものであれば様々な用途の装置に対し、対象情報推定装置１が適用可能となるのである。

【0039】

また、対象情報推定装置１が取得する画像も当然に、自動運転車に設置されたカメラ２によって撮影された画像に限定されるものではない。例えば、多くの携帯端末に標準装備されたデジタルカメラや、一般に市販されるウェブカメラ、さらにはデジタル一眼レフカメラのような高解像度カメラによって撮影された画像であってもよい。また、デプスカメラから出力されるデプス情報から、さらにはＬＩＤＡＲ（Light Detection And Ranging）等の測距センサから出力されるポイントクラウド情報から生成されたデプス画像とすることも可能である。

【0040】

［装置機能構成］
同じく図１の機能ブロック図によれば、本実施形態の対象情報推定装置１は、カメラ２及び制御装置３との間で情報の授受を可能にする入出力インタフェース１０１と、撮影画像蓄積部１０２と、対象情報保存部１０３と、キーボード・ディスプレイ（ＫＢ・ＤＰ）１０４と、プロセッサ・メモリとを有する。

【0041】

ここで、このプロセッサ・メモリは、本発明による対象情報推定プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この対象情報推定プログラムを実行することによって、対象情報推定処理を実施する。このことから、対象情報推定装置１は、対象情報推定専用装置又はユニットであってもよいが、本発明による対象情報推定プログラムを搭載した、例えばパーソナル・コンピュータ（ＰＣ）、ラップトップ型・ノート型若しくはタブレット型コンピュータ、又はスマートフォン等の携帯端末とすることも可能である。

【0042】

さらに、プロセッサ・メモリは、パッチ画像抽出部１１１と、対象領域決定部１１２と、接地点含有領域決定部１１３と、接地点含有領域更新部１１４と、部分領域決定部１１５と、部分対応パッチ画像抽出部１１６と、対象情報決定部１１７と、入出力制御部１２１と、アプリケーション（ＡＰ）１３１とを有する。なお、これらの機能構成部は、別のプログラムの機能であるアプリケーション１３１を除き、プロセッサ・メモリに保存された対象情報推定プログラムの機能と捉えることができる。また、図１における対象情報推定装置１の機能構成部間を矢印で接続して示した処理の流れは、本発明による対象情報推定方法の一実施形態としても理解される。

【0043】

また変更態様として、撮影画像蓄積部１０２及びパッチ画像抽出部１１１は、対象情報推定装置１とは別の装置（例えば自動運転車内装置や外部サーバ）に設けられ、対象情報推定装置１は、この別装置から通信ネットワークを介しパッチ画像抽出情報を取得して対象情報推定処理を実施してもよい。さらに、対象情報決定部１１７についても、対象情報推定装置１とは別の装置（例えば自動運転車内装置や外部サーバ）に設けることが可能である。この場合、本発明の対象情報推定方法は、対象情報推定装置１及びこの別装置を含む対象情報推定システムにおいて実施されることになる。しかしながら、より高い処理速度及びより小さな処理負担を実現するため、対象情報推定装置１は対象情報決定部１１７を含むことが好ましい。

【0044】

同じく図１の機能ブロック図において、撮影画像蓄積部１０２は、カメラ２から入出力インタフェース１０１及び入出力制御部１２１を介し、時系列の高解像度画像（映像）データを受け取って一時的に保存し、さらに当該データ（高解像度画像）を逐次、パッチ画像抽出部１１１へ出力する。

【0045】

［パッチ画像抽出処理］
パッチ画像抽出部１１１は、逐次取得される高解像度画像に対し必要となる公知の画像前処理を行った上で、当該高解像度画像から、複数の画像小領域を「パッチ画像」として抽出し、対象領域決定部１１２へ出力する。このようなパッチ画像抽出処理は、高解像度画像から直接、対象領域を決定することの困難さ・処理負担の大きさを鑑み、その中での対象領域決定処理がより小さい処理負担で実施可能となる小画像領域を抽出するものである。

【0046】

具体的にパッチ画像抽出部１１１は、高解像度画像全体の中で、所定の小さなサイズの領域枠を順次、所定の画素数分だけ（例えば縦及び横方向に）ずらしつつ、その度の当該枠内の画像領域をパッチ画像とし、結果的に複数のパッチ画像を決定してもよい。ここで、連続して決定される２つが互いに一部重畳するようにパッチ画像を決定することも好ましい。また、当該枠内の画像領域について解像度を低減させた上でパッチ画像としてもよい。

【0047】

また変更態様として、前（直前）の時点の高解像度画像から推定された検出対象の正解位置を中心とした所定画像範囲内において、複数のパッチ画像を抽出することも可能である。この場合、設定される所定画像範囲は、検出対象の可能移動速度と、（後に説明するような深度計測器で決定された）カメラ２から検出対象までの距離とに基づき決定可能である。

【0048】

さらに好適な変更態様として、パッチ画像抽出部１１１は、高解像度画像において検出対象が存在する可能性の高い候補領域を抽出し、抽出された候補領域を包含するようなパッチ画像を決定することができる。ここで、このような候補領域の抽出においては、例えば色やパターン等の類似した領域をグルーピングして候補領域として出力する候補領域抽出器を用いてもよい。例えば、非特許文献：J. R. R. Uijlings, K. E. A. van de Sande, T. Gevers, A. W. M. Smeulders, “Selective search for object recognition", International journal of computer vision, 104(2), ２０１３年, １５４～１７１頁に記載された候補領域抽出器が使用可能である。

【0049】

［対象領域決定処理］
対象領域決定部１１２は、高解像度画像から抽出されたパッチ画像における、検出対象に係る画像領域である「対象領域」を決定する。ここで、この対象領域決定処理は、周知の機械学習を用いた物体検出技術を用いて実施することができる。例えば、高解像度画像内の各小画像領域に対し、物体検出器を用いて検出対象らしさを示すスコアを算出し、当該スコアの最も高い小画像領域を対象領域に決定してもよい。

【0050】

また、このような物体検出器として、例えば非特許文献：Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg, “SSD: single shot multibox detector”, European Conference on Computer Vision, Computer Vision-ECCV 2016, ２０１６年, ２１～３７頁に記載されたものを使用することができる。なお、決定される対象領域は、例えば、物体検出器によって検出された物体（検出対象）の画像部分に対し各辺が外接している外接矩形の領域であってもよい。勿論当然に、他の形状の対象領域を設定することも可能である。

【0051】

また、対象領域決定部１１２が、抽出されたパッチ画像のいずれにおいても検出対象を検出せず対象領域を決定しなかった場合、この高解像度画像に対する処理は終了される。ちなみに、このような場合は、撮像された高解像度画像に検出対象が写っていないか、または、写ってはいるがノイズ等の影響によって検出することができない状況で発生するのである。

【0052】

図２は、上述したパッチ画像抽出処理及び対象領域決定処理の一実施形態を説明するための模式図である。

【0053】

図２によれば、取得された高解像度映像を構成する各高解像度画像において、縦及び横方向に並んだ複数のパッチ画像が抽出されている。また、隣り合うパッチ画像は、一部（例えば所定画素数幅の部分）が互いに重畳するような位置となっている。

【0054】

ここで場合によっては、同じく図２に示すように、パッチ抽出境界が１つの検出対象（図２では１台の自動車）の画像部分を横切り、その結果、隣り合うパッチ画像がいずれも、１つの検出対象（１台の自動車）の画像部分を含むことも十分に起こり得る。

【0055】

ちなみに、図２では、隣り合うパッチ画像がそれぞれ、自動車の車体前部及び車体後部を含む形になっているが、勿論パッチ画像の設定次第で、それぞれ車体上部及び車体下部を含む等、様々な検出対象の分かれ方が生じるのである。また、１つの検出対象の画像部分が、隣り合う３つ以上のパッチ画像に含まれることも起こり得る。

【0056】

［接地点含有領域決定・更新処理］
図１の機能ブロック図に戻って、接地点含有領域決定部１１３は、
（ａ）検出対象の部分に係る情報、
（ｂ）（検出対象の深度情報から求められる）対象領域の実空間位置に係る情報、又は
（ｃ）対象領域の画像内位置に係る情報
に基づいて、検出対象の接地点を含む対象領域である「接地点含有領域」を決定する。以下、上記（ａ）～（ｃ）の処理をそれぞれ、図３～５を用いて説明する。

【0057】

図３は、本発明に係る接地点含有領域決定処理の一実施形態を説明するための模式図である。

【0058】

図３に示した実施形態において、接地点含有領域決定部１１３は、パッチ画像内において決定された対象領域のうち、予め特定された「特徴点」を含む対象領域（図３では対象領域Ａ及びＢ）を「接地点含有領域」に決定している。

【0059】

ここで特徴点は、検出対象の全体形状を規定する点であり、例えば検出対象が人の場合、人体の骨格関節点の集合Jを、次式
（１） J＝{首, 肩, 腰, 股関節, 膝, 足首, 肘, 手首}
で定義・登録し、この集合Jの各要素を特徴点としてもよい。またこのうち、通常、地面に対する接地点の近傍に位置することになる「足首」を、特定された特徴点に設定することができる。

【0060】

この場合、図３に示した（検出対象として人が検出された）対象領域Ａは、特徴点「足首」を含んでいるので、「接地点含有領域」に決定されるのである。ここで、この決定処理は具体的には例えば、
（ａ）この後説明するように対象領域決定部１１２が、決定された対象領域に含まれる特徴点（骨格関節点）の集合J_detectを決定し、
（ｂ）接地点含有領域決定部１１３は、決定されたJ_detectが、次式
（２） J_detect ∋ 「足首」
を満たす場合に、当該対象領域を「接地点含有領域」に決定する
との手順で進めることができる。

【0061】

また、検出対象が自動車の場合、例えば「タイヤ下端」、「タイヤ中心」や、「ヘッドライト」、「ルーフ四隅の各点」等を特徴点とし、通常（地面に対する）接地点の極近傍に位置することになる「タイヤ下端（又はタイヤ中心）」を、特定された特徴点に設定することができる。ここでこの場合、図３に示した（検出対象として自動車が検出された）対象領域Ｂは、特徴点「タイヤ下端」を含んでいるので、「接地点含有領域」に決定されるのである。

【0062】

ちなみに、特徴点（の集合）の検出は、上述したように対象領域決定部１１２において実施することができる。すなわち、対象領域決定部１１２は、検出対象の検出処理の際、検出された検出対象（の画像部分）に含まれる特徴点の検出も併せて行うことも好ましい。またこの場合、物体・特徴点検出器として、例えば非特許文献：Zhe Cao, Gines Hidalgo, Tomas Simon, Shih-En Wei and Yaser Sheikh, “OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", Cornell University Library，Subjects: Computer Vision and Pattern Recognition (cs.CV), Cite as: arXiv: 1812.08008, ２０１８年や、非特許文献：N Dinesh Reddy, Minh Vo and Srinivasa G. Narasimhan, "CarFusion: Combining Point Tracking and Part Detection for Dynamic 3D Reconstruction of Vehicles", IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2018, ２０１８年に記載されたものを利用することができる。

【0063】

図４は、本発明に係る接地点含有領域決定処理の他の実施形態を説明するための模式図である。

【0064】

図４に示した実施形態では、接地点含有領域決定部１１３は、決定された対象領域に係る検出対象に対し取得された「実空間内における検出対象までの距離DR」に基づき算出した「対象領域と地面との距離SP」が所定以下である場合、対象領域を「接地点含有領域」に決定している。具体的に図４に示された対象領域Ｃは、「実空間内における検出対象（人）までの距離DR_C」によって算出された「対象領域Ｃ内に設定された点Ｐ’に対応する点Ｐと地面との距離SP_C」が、ThSPを所定閾値として次式
（３） SP_C ≦ ThSP
を満たしているので、「接地点含有領域」に決定されるのである。

【0065】

なお、上記の対象領域内に設定された点Ｐ’は、対象領域の下端に含まれる点としてもよく、例えば対象領域の下辺の中点とすることができる。または、非特許文献：Kaiming He, Georgia Gkioxari, Piotr Dollar and Ross Girshick, "Mask R-CNN", Cornell University Library，Subjects: Computer Vision and Pattern Recognition (cs.CV), Cite as: arXiv:1703.06870, ２０１７年に記載されたセグメンテーション技術を用い、パッチ画像に対しピクセル単位でラベル付けを行った上で、検出対象としてラベル付けされたピクセルのうち最も下方に位置するピクセルの位置を点Ｐ’としてもよい。

【0066】

また、上記の「実空間内における検出対象までの距離DR」は、本実施形態において、カメラ２とともに設置された深度計測器（測距デバイス）を用いて計測することができる。深度計測器は、実空間におけるカメラ２の位置から検出対象までの深度（距離）を計測する機器であり、例えば、複数のデジタルカメラを用いたステレオ・マッチング方式により深度画像を取得するものや、マイクロソフト社のKinectのように赤外線の往復時間に基づき検出対象までの距離を測定するＴＯＦ（Time of Flight）方式による測距デバイスを用いることができる。

【0067】

さらに、上記の「対象領域と地面との距離SP」は、計測された「距離DR」に基づき、検出対象の対象領域の実空間内での位置を決定することによって算出することができる。具体的には最初に、カメラ２で撮像された画像に設定された画像座標系u-vにおいて、カメラ２の焦点距離をf（単位は画像ピクセル）とし、撮像された画像の中心座標を(cx, cy)とする。また、カメラ２の主点を原点とし、カメラ２の光軸をz軸とし、さらにxy面をカメラ２における光軸方向に直交する基準平面内にとった実空間座標系x-y-zを設定する。この場合、カメラ２から、対象領域内に設定された点Ｐ’に対応する点Ｐまでの計測された距離（深度）DRは、点Ｐのz座標値z_pとなる。

【0068】

このような設定の下、点Ｐの実空間（座標系）内での位置（x_p, y_p, z_p）は、点Ｐの画像（座標系）内での位置を（u_p, v_p）として、次式
（４） x_p＝z_p＊(u_p－cx)／f
（５） y_p＝z_p＊(v_p－cy)／f
を用いて算出することができる。一方、検出対象（点Ｐ）の下方の地面は、平面又は平面で近似される面とし、この地面を、次式
（６） a＊x＋b＊y＋c＊z＋d＝0
で表されるものとする。ここで、上式（６）の係数a、b、c及びdは予め、地面上における任意の４点の実空間座標から立てた連立方程式を解いて決定しておいてもよい。また、このために例えば、対象を検出すべき実空間における地面の三次元構造情報を予め接地点含有領域決定部１１３に登録しておくことも好ましい。

【0069】

以上の準備の下、最終的に「対象領域と地面との距離SP」は、次式
（７） SP＝|a＊x_p＋b＊y_p＋c*z_p＋d|／(a²＋b²＋c²)^0.5
によって算出することができるのである。

【0070】

図５は、本発明に係る接地点含有領域決定処理の更なる他の実施形態を説明するための模式図である。

【0071】

図５に示した実施形態では、接地点含有領域決定部１１３は、決定された対象領域が、パッチ画像の外周下端（下辺）から所定以上離隔している場合、当該対象領域を「接地点含有領域」に決定している。具体的には図５において、対象領域Ｄは、領域下辺とパッチ画像の外周下辺との最短距離LB_Dが、ThLBを所定閾値として次式
（８） LB_D ＞ ThLB
を満たしているので、「接地点含有領域」に決定されている。また、対象領域Ｅについても、領域下辺とパッチ画像の外周下辺との最短距離LB_Eが閾値ThLBよりも大きいので（LB_E＞ThLB）、「接地点含有領域」に決定されている。ただし、対象領域Ｆについては、当該最短距離LB_Fが閾値ThLB以下の値となっているので（LB_F≦ThLB）、「接地点含有領域」ではないと判定されている。

【0072】

以上説明したように、本実施形態では、検出対象が地面に接しつつ地面上に存在している前提の下、パッチ画像の外周下端から所定以上離隔した対象領域は接地点を含むことになる事実に基づき、「接地点含有領域」を決定しているのである。したがって、検出対象の特徴点や深度に係る情報を用いず、より簡便に接地点含有領域決定処理を実施することができる。

【0073】

図１の機能ブロック図に戻って、接地点含有領域更新部１１４は、決定された複数の「接地点含有領域」のうちの２つについて、互いの画像領域の重畳する度合いに基づく所定条件が満たされた場合、一方における「接地点含有領域」との決定を取り消す、又は当該２つを両方の平均となる新たな「接地点含有領域」に統合する。以下、図６を用いて、このような接地点含有領域更新処理の各実施形態を説明する。

【0074】

図６は、本発明に係る接地点含有領域更新処理を説明するための模式図である。

【0075】

図６に示した例では、接地点含有領域更新部１１４は、高解像度画像から抽出された全てのパッチ画像において決定された複数の接地点含有領域から、任意の２つの（又は画像内位置が互いに近接若しくは隣接する２つの）領域Ｘ及び領域Ｙを取り出し、最初に両領域のIoU（Intersection of Union）を算出している。ここで、IoUは、次の２つの式
（９） IoU＝Ｘ∩Ｙ／Ｘ∪Ｙ
（１０） IoU＝max(Ｘ∩Ｙ／Ｘ, Ｘ∩Ｙ／Ｙ)
のいずれかで算出される値とすることができる。

【0076】

接地点含有領域更新部１１４は、決定された接地点含有領域における２つからなる全ての組（又は画像内位置が互いに近接若しくは隣接する２つの接地点含有領域の全ての組）について上記のIoUを算出し、このIoUが所定閾値ThIUを超える値となるような（IoU＞ThIUである）２つの接地点含有領域においては、一方について接地点含有領域との決定を取り消す（接地点含有領域のリストから削除する）ことができる。

【0077】

ここで、このように一方を取り消す場合、ランダムに一方を選択して取り消すことも可能ではある。しかしながらより好適な方法として、対象領域決定部１１２で対象領域として検出された際、あわせて検出器（学習済みモデル）から出力される、見かけの検出対象らしさ・推定の確からしさを表す「推定スコア」を用いて選択することも好ましい。すなわち、この推定スコアの小さい方における接地点含有領域との決定を取り消すことができるのである。

【0078】

例えば図６の例では、接地点含有領域Ｘ及びＹについて、IoUが所定閾値ThIUを超えており（IoU＞ThIU）、さらに接地点含有領域Ｘの推定スコアS_Xが、接地点含有領域Ｙの推定スコアS_Yよりも大きいので（S_X＞S_Y）、接地点含有領域Ｙについて接地点含有領域との決定が取り消されることになる。

【0079】

なお、上述したような推定スコアに基づく方法は、より検出対象らしい方の接地点含有領域を残せるので、好適な接地点含有領域更新処理となっているが、場合によっては問題の生じることもある。例えば、接地点含有領域Ｒが、検出対象の一部に相当する対象領域、すなわち部分領域であって、他方の接地点含有領域Ｓが、検出対象の全体に相当する対象領域、すなわち全体領域であり、しかも接地点含有領域Ｒの推定スコアS_Rが、接地点含有領域Ｓの推定スコアS_Sよりも大きい場合、（S_X＞S_Y）、部分領域である接地点含有領域Ｒの方が残ってしまうのである。

【0080】

そこで接地点含有領域更新部１１４は、例えば、IoUが所定閾値ThIUを超えている（IoU＞ThIUである）２つの接地点含有領域Ｒ及びＳについて、一方の領域Ｒのみが（後に説明する部分領域決定部１１５において）部分領域であると判定されている場合、部分領域である当該一方の領域Ｒにおける接地点含有領域との決定を取り消すことも好ましい。ここで、IoUとして、次式
（１１） IoU＝Ｒ∩Ｓ／Ｒ
の形のIoUを採用することもできるが、この場合は、IoUが1（IoU＝1）となることをもって、領域Ｒにおける接地点含有領域との決定を取り消すことができる。

【0081】

以上、接地点含有領域更新処理として、一方の接地点含有領域を取り消す処理を説明してきたが、変更態様として、接地点含有領域更新部１１４は、決定された複数の「接地点含有領域」のうちの２つについて、IoU＞ThIUとの条件が満たされた場合、当該２つを両方の平均となる新たな「接地点含有領域」に統合してもよい。例えば、矩形である２つの接地点含有領域の中心を結ぶ線分の中点を新たな中心とし、両領域の四隅の各点同士を結ぶ４つの線分の各中点を新たな四隅の各点とした新たな「接地点含有領域」を生成することもできる。勿論、このような統合の際、位置平均以外の統計的な処理を用いることも可能である。

【0082】

最後に、接地点含有領域更新部１１４は、以上に説明した更新処理によって得られた接地点含有領域を含めた接地点含有領域の情報を、対象位置決定部１１７へ出力してもよいが、この後説明する部分領域決定部１１５や部分対応パッチ画像抽出部１１６へ出力することも好ましい。これにより、更新処理によって得られた接地点含有領域についても、部分対応パッチ画像の抽出（パッチ画像の抽出し直し）を行うことができる。

【0083】

［部分領域決定処理］
図１の機能ブロック図に戻って、部分領域決定部１１５は、検出対象の全体を含まない接地点含有領域である「部分領域」を決定する。具体的に、部分領域決定部１１５は、
（ａ）接地点含有領域の縦横比に係る情報に基づいて、
（ｂ）対象領域のパッチ画像内での位置に係る情報に基づいて、又は
（ｃ）検出対象の部分に係る情報に基づいて、
接地点含有領域が部分領域であるか否かを判定することができる。

【0084】

ここで、上記（ａ）の場合、部分領域決定部１１５は、検出対象の種別毎に、当該検出対象の全体に係る対象領域の縦横の長さの比率を予め登録しておき、
（ａ１）決定された接地点含有領域における縦横の長さの比率A_detectと、
（ａ２）当該接地点含有領域の検出対象の全体に係る対象領域について予め登録された縦横の長さの比率A_baseと
の差の絶対値が、予め設定された比率閾値A_thを超える値である場合、すなわち次式
（１２） |A_detect－A_base| ＞ A_th
が満たされる場合、当該接地点含有領域を部分領域であると判定してもよい。ちなみに、接地点含有領域（対象領域）が矩形である場合、上記縦横の長さの比率A_detect及びA_baseはいずれも、「矩形の横幅」／「矩形の縦長」とすることができる。勿論その逆数であってもよい。

【0085】

いずれにしても、以上に説明した部分領域判定処理は、部分領域のアスペクト比が通常、検出対象全体を含む対象領域の本来有するアスペクト比とはかけ離れたものとなる単純な事実に基づいており、それ故より低い処理負担で簡便に実施することができるのである。

【0086】

また、上記（ｂ）の場合、部分領域決定部１１５は、決定された接地点含有領域の境界（矩形であれば全端辺）とパッチ画像の外周（矩形であれば全端辺）との最短距離が、所定閾値よりも小さいならば、当該接地点含有領域を部分領域と判定であると判定することができる。

【0087】

さらに、上記（ｃ）の場合、部分領域決定部１１５は、決定された接地点含有領域に含まれる特徴点の集合J_detectが取得されている前提で、当該集合J_detectが、予め定義・登録された全ての特徴点の集合Jに一致しない場合（Jの真部分集合である場合）に、当該接地点含有領域を部分領域であると判定することができる。

【0088】

例えば、検出対象が人の場合、人体の骨格関節点の集合Jを、上述した式（１）のように、J＝{首, 肩, 腰, 股関節, 膝, 足首, 肘, 手首}と定義・登録することができる。その上で、接地点含有領域に含まれる特徴点の集合J_detectが、例えばJ_detect＝{膝, 足首, 肘, 手首}であるならば、当該接地点含有領域は部分領域であると判定されるのである。

【0089】

最後に、部分領域決定部１１５は、判定対象であった接地点含有領域が部分領域であるか否かの判定結果を、この後説明する部分対応パッチ画像抽出部１１６に出力する。また、当該判定結果が接地点含有領域更新処理において使用される場合には、上述した接地点含有領域更新部１１４にも出力するのである。

【0090】

［部分対応パッチ画像抽出処理］
同じく図１の機能ブロック図において、部分対応パッチ画像抽出部１１６は、部分領域に決定された接地点含有領域におけるパッチ画像内での位置に係る情報に基づいて、検出対象をより多く含み得るパッチ画像である「部分対応パッチ画像」を、高解像度画像から抽出する。このような部分対応パッチ画像抽出処理は、最終的に、検出対象全体を含む接地点含有領域をより多く決定できるように、又は決定した全ての接地点含有領域が検出対象全体を含む対象領域となるように実施されるのである。

【0091】

例えば、非常に簡単な実施形態として、接地点含有領域決定部１１３で決定された接地点含有領域をそのまま用いて、後述する対象情報決定部１１７で検出対象の位置や個数に係る情報を決定することも可能である。しかしながら、例えば上述した図６に示された接地点含有領域Ｘ及びＹのように、１つの検出対象の画像部分が２つのパッチ画像によって左右に（水平方向に）分断されていて、しかも左右２つのパッチ画像から検出された対象領域はいずれも接地点含有領域となっている場合、１つの検出対象であるにもかかわらず最終的に２つ存在すると推定されてしまう。

【0092】

このダブルカウントの問題に対し、図６を用いて説明した接地点含有領域更新部１１４は、一方の接地点含有領域の取り消し又は両者の統合という形で解決するものであるが、部分対応パッチ画像抽出部１１６は、この問題をパッチ画像抽出のやり直しという形で解決するのである。ちなみに、上述した例とは異なり、例えば１つの検出対象の画像部分が２つのパッチ画像によって上下に（鉛直方向に）分断される場合、上側の対象領域は接地点含有領域を含まないので、ダブルカウントの問題は発生しない。しかしながら、下側の接地点含有領域はやはり、検出対象の全体を含まず部分領域となってしまう。この場合、まさにパッチ画像を抽出し直すことによって、検出対象の全体を含む若しくはより多くの部分を含む接地点含有領域を決定することが可能となるのである。

【0093】

図７は、本発明に係る部分対応パッチ画像抽出処理の一実施形態を説明するための模式図である。

【0094】

図７によれば、部分対応パッチ画像抽出部１１６は、
（ａ）決定された部分領域（図７では接地点含有領域Ｚ）におけるパッチ画像の外周（図７では外周端辺）に最も近接した端辺である分断線（図７では領域上辺）を決定し、
（ｂ）決定した分断線から見て、分断線に垂直な向きであって部分領域（接地点含有領域Ｚ）の外へ向かう向き（図７では上向き）に、（ｂ１）所定の距離（図７ではRH）、又は（ｂ２）検出対象の大きさに係る情報に基づき決定した距離（RH）だけ拡張された付加画像領域（図７では付加画像領域Ｚ’）を決定し、
（ｃ）当該部分領域（接地点含有領域Ｚ）及び決定した付加画像領域（Ｚ’）を含む画像領域を部分対応パッチ画像としている。

【0095】

具体的には図７に示したように、部分対応パッチ画像抽出部１１６は最初に、接地点含有領域Ｚの分断線上において、点Ｑを一端から他端まで連続的に又は所定間隔をもって移動させ、次式
（１３） OR^→＝OQ^→＋k＊n_q ^→
を満たすような点Ｒの集合を決定する。ここで、OR^→及びOQ^→はそれぞれ、原点をＯとしたＲ及びＱの（画像座標系での）位置ベクトルであり、n_q ^→は、点Ｑを始点とし、分断線に垂直な向きであって接地点含有領域Ｚの外へ向かう向き（上向き）を有する単位ベクトルである。また、kは予め設定された定数である。ちなみに、図７に示した距離RHは、ベクトルk＊n_q ^→の大きさとなる。

【0096】

次いで部分対応パッチ画像抽出部１１６は、このように決定した点Ｒの集合に対応する線分を１つの端辺とし、分断線を対向端辺とする領域を、付加画像領域Ｚ’とするのである。この付加画像領域Ｚ’は言い換えると、線分ＱＲの移動軌跡で形成される領域となっている。

【0097】

なお、好適な変更態様として、部分対応パッチ画像抽出部１１６は、検出対象の種別毎に、当該検出対象の大きさ（例えば人ならば1.5m）を予め登録しており、式（１３）の係数kを、該当する検出対象の大きさに合わせて設定してもよい。例えば、図４を用いて説明した実施形態のように、深度計測器によって検出対象までの深度を計測し、当該検出対象の対象領域である接地点含有領域Ｚの深度と、予め登録された当該検出対象の大きさとに基づき、係数kの値を決定することができる。

【0098】

具体的には、決定された深度に対応する画像内位置にある接地点含有領域Ｚにおける、検出対象の大きさ（人ならば1.5m）に相当する画像ピクセル数Lを、画像処理分野において周知である撮像部較正技術を用いて決定し、次式
（１４）k＝L／|n_q ^→|
によってkを算出してもよい。このような処理によって、検出対象の画像部分を全て又はより多く含む部分対応パッチ画像をより確実に抽出することが可能となるのである。

【0099】

最後に、部分対応パッチ画像抽出部１１６は、以上説明したように改めて抽出し直したパッチ画像（部分対応パッチ画像）の情報を対象領域決定部１１２に出力し、対象領域決定部１１２は、受け取った部分対応パッチ画像に対し対象検出処理を行い、新たに対象領域を決定する。

【0100】

ここで例えば、図１において機能ブロック図を矢印で接続して示したように、
（ａ）対象領域決定部１１２が、部分対応パッチ画像抽出部１１６で抽出された「部分対応パッチ画像」における対象領域を決定し、
（ｂ）接地点含有領域決定部１１３が、「部分対応パッチ画像」における（対象領域の中から）「接地点含有領域」を決定し、
（ｃ）部分領域決定部１１５が、「部分対応パッチ画像」（で決定された接地点含有領域の中）から部分領域を決定し、
（ｄ）部分対応パッチ画像抽出部１１６が、「部分対応パッチ画像」における部分領域に基づいて更なる「部分対応パッチ画像」を抽出する
といった処理が、設定された回数だけ又は適宜（例えば部分領域数がそれ以上小さくならない数となるまで）繰り返して実施されることも好ましい。

【0101】

また、上記処理（ｂ）と処理（ｃ）との間、又は上記処理（ｃ）と処理（ｄ）との間において、接地点含有領域更新部１１４による接地点含有領域更新処理が実施されることも好ましい。これにより、更新処理（一方の取り消し又は統合処理）を受けた接地点含有領域である部分領域に対しても、部分対応パッチ画像抽出処理を実施することができ、その結果、最終的に、検出対象の画像部分をより多く包含する接地点含有領域群が決定可能となるのである。

【0102】

ちなみに、接地点含有領域更新部１１４は、上記の場合において、部分対応パッチ画像抽出処理を受けておらず拡大されていない元の「パッチ画像」において決定された対象領域についても、「部分対応パッチ画像」の対象領域と合わせて、更新（取り消し又は統合）処理対象の候補とすることも好ましい。また、接地点含有領域更新部１１４は、部分領域が存在しない若しくは全て解消した場合、または、部分領域が存在していても対象となる高解像度画像内では部分対応パッチ画像への拡張ができない場合、その時点で最終的に決定された接地点含有領域の情報を、対象情報決定部１１７に出力することができる。

【0103】

［対象情報決定処理］
同じく図１の機能ブロック図において、対象情報決定部１１７は、決定された接地点含有領域の情報に基づいて「検出対象の位置及び個数に係る情報」を決定する。ここで勿論、「位置」だけに係る情報や、「個数」だけに係る情報を決定することも可能である。

【0104】

具体的に対象情報決定部１１７は、例えば、時系列画像データにおける各高解像度画像に対し、検出対象種別毎に、
（ａ）抽出した全てのパッチ画像において最終的に決定された各接地点含有領域の「位置」を、当該検出対象の各位置とし、
（ｂ）抽出した全てのパッチ画像において最終的に決定された接地点含有領域の数を、当該検出対象の数に決定する
ことも好ましい。

【0105】

ここで、上記（ａ）の「位置」は、接地点含有領域の高解像度画像内での位置、例えば下辺中点若しくは領域中心の画像座標値としてもよく、または、当該接地点含有領域に係る検出対象について取得された深度情報を用いて算出された、当該接地点含有領域の実空間内での位置（実空間座標値）とすることもできる。

【0106】

また当然に、対象情報決定部１１７は、各高解像度画像について決定した「検出対象の位置及び個数に係る情報」に基づいて、当該検出対象の位置の履歴、すなわち動線・移動軌跡や、さらには高解像度画像のカバーする実空間範囲内における当該検出対象の存在・滞在数の変遷情報を決定し、より詳細な「検出対象の位置及び個数に係る情報」を生成することも可能となるのである。

【0107】

最後に、対象情報決定部１１７において決定・生成された「検出対象の位置及び個数に係る情報」は、対象情報保存部１０３に一時的に保存されて適宜読み出されたり、入出力制御部１２１を介してディスプレイ１０４に表示されたり、または入出力インタフェース１０１から制御装置３や他の外部情報処理装置へ送信されたり、さらには、アプリケーション１３１へ出力されてもよい。ここで、アプリケーション１３１は、受け取った「検出対象の位置及び個数に係る情報」を利用して所定のサービス情報を生成し、ユーザへ提供することができる。

【0108】

以上詳細に説明したように、本発明は、検出対象の存在事実及び所在位置の根拠となる接地点を含む「接地点含有領域」を決定した上で、これに基づいて検出対象に係る情報を決定する。したがって、抽出されたパッチ画像を用いて対象検出を行う際、例えば１つの検出対象が複数のパッチ画像に分断して含まれたとしても、それらのパッチ画像から、このような「接地点含有領域」を特定するので、結果的に、検出対象に係る情報をより正確に推定することが可能となる。

【0109】

ちなみに、本発明の構成及び方法は、例えば、自動運転車、ドローンや、各種ロボット等の分野において重要となるダイナミックマッピング技術や、さらには所定の設備・エリア等における周囲の状況の監視・観察技術の向上に大いに貢献するものである。特に、来る５Ｇにおいてより一層の活用が期待される高解像度画像を用いた対象情報推定技術にとって、深刻な課題を解決するものとして非常に重要になると考えられる。

【0110】

以上に述べた本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

【符号の説明】

【0111】

１ 対象情報推定装置
１０１ 入出力インタフェース
１０２ 撮影画像蓄積部
１０３ 対象情報保存部
１０４ キーボード・ディスプレイ（ＫＢ・ＤＰ）
１１１ パッチ画像抽出部
１１２ 対象領域決定部
１１３ 接地点含有領域決定部
１１４ 接地点含有領域更新部
１１５ 部分領域決定部
１１６ 部分対応パッチ画像抽出部
１１７ 対象情報決定部
１２１ 入出力制御部
１３１ アプリケーション
２ カメラ
３ 制御装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】