知財求人 - 知財ポータルサイト「IP Force」
特開2024-79369全方位画像の物体検出装置、および、全方位画像の物体検出方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024079369
(43)【公開日】2024-06-11
(54)【発明の名称】全方位画像の物体検出装置、および、全方位画像の物体検出方法
(51)【国際特許分類】
G06V 20/20 20220101AFI20240604BHJP
G06T 7/00 20170101ALI20240604BHJP
【ＦＩ】
G06V20/20
G06T7/00 C
【審査請求】有
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022192277
(22)【出願日】2022-11-30
(11)【特許番号】
(45)【特許公報発行日】2023-08-03
(71)【出願人】
【識別番号】000153443
【氏名又は名称】株式会社 日立産業制御ソリューションズ
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】菅 敦志
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA09
5L096CA02
5L096DA04
5L096EA26
5L096HA13
(57)【要約】
【課題】３６０度の全方位画像にて適切に物体を検出可能とする。
【解決手段】全方位画像の物体検出装置１は、３６０度全方位カメラ１１で撮影したエクイレクタングラー画像をキューブマップ画像に変換するキューブマップ画像変換部２１と、キューブマップ画像を構成する複数の面のパノラマ画像について物体を検出する物体検出部２３ａと、パノラマ画像において、物体検出部２３ａによって検出された物体を囲う矩形の座標を決定する検出枠決定部２４ａと、エクイレクタングラー画像を３６０度表示画面に表示し、この矩形を３６０度表示画面に対応した位置に合成する三次元情報合成部２５とを有する。
【選択図】図１
【解決手段】全方位画像の物体検出装置１は、３６０度全方位カメラ１１で撮影したエクイレクタングラー画像をキューブマップ画像に変換するキューブマップ画像変換部２１と、キューブマップ画像を構成する複数の面のパノラマ画像について物体を検出する物体検出部２３ａと、パノラマ画像において、物体検出部２３ａによって検出された物体を囲う矩形の座標を決定する検出枠決定部２４ａと、エクイレクタングラー画像を３６０度表示画面に表示し、この矩形を３６０度表示画面に対応した位置に合成する三次元情報合成部２５とを有する。
【選択図】図１
【特許請求の範囲】
【請求項1】
全方位カメラで撮影したエクイレクタングラー画像をキューブマップ画像に変換する画像変換部と、
前記キューブマップ画像を構成する複数の面のパノラマ画像について物体を検出する第１物体検出部と、
前記パノラマ画像において、前記第１物体検出部によって検出された前記物体を囲う矩形の座標を決定する第１検出枠決定部と、
前記エクイレクタングラー画像を３６０度表示画面に表示し、前記矩形を前記３６０度表示画面に対応した位置に合成する合成部と、
を有することを特徴とする全方位画像の物体検出装置。
前記キューブマップ画像を構成する複数の面のパノラマ画像について物体を検出する第１物体検出部と、
前記パノラマ画像において、前記第１物体検出部によって検出された前記物体を囲う矩形の座標を決定する第１検出枠決定部と、
前記エクイレクタングラー画像を３６０度表示画面に表示し、前記矩形を前記３６０度表示画面に対応した位置に合成する合成部と、
を有することを特徴とする全方位画像の物体検出装置。
【請求項2】
前記合成部は、前記矩形の向きを当該矩形の円周投影における位置に基づいて補正する、
ことを特徴とする請求項１に記載の全方位画像の物体検出装置。
ことを特徴とする請求項１に記載の全方位画像の物体検出装置。
【請求項3】
前記キューブマップ画像のうちパノラマ画像をずらして回り込ませた回り込み画像について物体を検出する第２物体検出部と、
前記回り込み画像の面上に前記第２物体検出部によって検出された物体を囲う矩形の座標を決定する第２検出枠決定部と、を備え、
前記合成部は、前記第１検出枠決定部で決定された矩形と前記第１検出枠決定部で決定された矩形とを前記３６０度表示画面に対応した位置に合成する、
ことを特徴とする請求項１に記載の全方位画像の物体検出装置。
前記回り込み画像の面上に前記第２物体検出部によって検出された物体を囲う矩形の座標を決定する第２検出枠決定部と、を備え、
前記合成部は、前記第１検出枠決定部で決定された矩形と前記第１検出枠決定部で決定された矩形とを前記３６０度表示画面に対応した位置に合成する、
ことを特徴とする請求項１に記載の全方位画像の物体検出装置。
【請求項4】
前記パノラマ画像は、前記キューブマップ画像の水平外周部である、
ことを特徴とする請求項１に記載の全方位画像の物体検出装置。
ことを特徴とする請求項１に記載の全方位画像の物体検出装置。
【請求項5】
前記パノラマ画像は、
前記キューブマップ画像の水平外周部と、
前記キューブマップ画像の前面と天面と背面と下面の組み合わせと、
前記キューブマップ画像の左面と天面と右面と下面の組み合わせと、
を含んで構成されることを特徴とする請求項１に記載の全方位画像の物体検出装置。
前記キューブマップ画像の水平外周部と、
前記キューブマップ画像の前面と天面と背面と下面の組み合わせと、
前記キューブマップ画像の左面と天面と右面と下面の組み合わせと、
を含んで構成されることを特徴とする請求項１に記載の全方位画像の物体検出装置。
【請求項6】
全方位カメラで撮影したエクイレクタングラー画像をキューブマップ画像に変換するステップと、
前記キューブマップ画像を構成する複数の面のパノラマ画像について物体を検出するステップと、
前記パノラマ画像上に検出された前記物体を囲う矩形の座標を決定するステップと、
前記エクイレクタングラー画像を３６０度表示画面に表示し、前記矩形を前記３６０度表示画面に対応した位置に合成するステップと、
を有することを特徴とする全方位画像の物体検出方法。
前記キューブマップ画像を構成する複数の面のパノラマ画像について物体を検出するステップと、
前記パノラマ画像上に検出された前記物体を囲う矩形の座標を決定するステップと、
前記エクイレクタングラー画像を３６０度表示画面に表示し、前記矩形を前記３６０度表示画面に対応した位置に合成するステップと、
を有することを特徴とする全方位画像の物体検出方法。
【請求項7】
コンピュータに、
全方位カメラで撮影したエクイレクタングラー画像をキューブマップ画像に変換する手順、
前記キューブマップ画像を構成する複数の面のパノラマ画像について物体を検出する手順、
前記パノラマ画像上に検出された前記物体を囲う矩形の座標を決定する手順、
前記エクイレクタングラー画像を３６０度表示画面に表示し、前記矩形を前記３６０度表示画面に対応した位置に合成する手順、
を実行させるための物体検出プログラム。
全方位カメラで撮影したエクイレクタングラー画像をキューブマップ画像に変換する手順、
前記キューブマップ画像を構成する複数の面のパノラマ画像について物体を検出する手順、
前記パノラマ画像上に検出された前記物体を囲う矩形の座標を決定する手順、
前記エクイレクタングラー画像を３６０度表示画面に表示し、前記矩形を前記３６０度表示画面に対応した位置に合成する手順、
を実行させるための物体検出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、全方位画像の物体検出装置、および、全方位画像の物体検出方法に関する。
【背景技術】
【0002】
近年、仮想空間を提供する装置やサービスが多く普及している。このような仮想空間は、コンピュータグラフィックによって提供されるほか、３６０度の全方位カメラで撮影されたエクイレクタングラー（equirectangular）画像によっても提供可能である。
【0003】
また、近年では、二次元映像に対し、ＡＩ（Artificial Intelligence）などによる物体検出を行うことも多く行われている。しかしエクイレクタングラー画像は、二次元平面画像として見たときには歪んでいるため、適切に物体検出を行うことができなかった。
【0004】
特許文献１には、全方位カメラ２０を用いて得られる全方位動画像から全方位フレーム画像を順に取り出す手段４１と、順に取り出される全方位フレーム画像をキューブマップに変換する手段４２と、変換されたキューブマップの各方位の要素画像に対して各々ディープラーニングによる物体検出を行う手段４３と、検出された物体を当該要素画像の方位及び当該要素画像内の位置と、当該のキューブマップが基づく全方位フレーム画像とに対応付けて記憶手段５１のレコードに格納する４７と、物体検出処理後のキューブマップを全方位フレーム画像に復元して全方位動画像内の原位置に設定する手段４９と、を有する全方位動画像処理装置の発明が記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２１－０２８８１３号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１に記載されている発明によれば、全方位画像に撮影された物体を検出し、全方位フレーム画像に物体を検出した位置を設定可能である。しかし、３６０度の全方位画像をキューブマップ画像に変換して物体を検出した場合、キューブマップの辺の部分に位置する物体を適切に検出できなかった。
【0007】
そこで、本発明は、３６０度の全方位画像にて適切に物体を検出可能とすることを課題とする。
【課題を解決するための手段】
【0008】
前記した課題を解決するため、本発明の全方位画像の物体検出装置は、全方位カメラで撮影したエクイレクタングラー画像をキューブマップ画像に変換する画像変換部と、前記キューブマップ画像を構成する複数の面のパノラマ画像について物体を検出する第１物体検出部と、前記パノラマ画像において、前記第１物体検出部によって検出された前記物体を囲う矩形の座標を決定する第１検出枠決定部と、前記エクイレクタングラー画像を３６０度表示画面に表示し、前記矩形を前記３６０度表示画面に対応した位置に合成する合成部と、を有することを特徴とする。
【0009】
本発明の全方位画像の物体検出方法は、全方位カメラで撮影したエクイレクタングラー画像をキューブマップ画像に変換するステップと、前記キューブマップ画像を構成する複数の面のパノラマ画像について物体を検出するステップと、前記パノラマ画像上に検出された前記物体を囲う矩形の座標を決定するステップと、前記エクイレクタングラー画像を３６０度表示画面に表示し、前記矩形を前記３６０度表示画面に対応した位置に合成するステップと、を有することを特徴とする。
【0010】
本発明の物体検出プログラムは、コンピュータに、全方位カメラで撮影したエクイレクタングラー画像をキューブマップ画像に変換する手順、前記キューブマップ画像を構成する複数の面のパノラマ画像について物体を検出する手順、前記パノラマ画像上に検出された前記物体を囲う矩形の座標を決定する手順、前記エクイレクタングラー画像を３６０度表示画面に表示し、前記矩形を前記３６０度表示画面に対応した位置に合成する手順、を実行させるためのものである。
その他の手段については、発明を実施するための形態のなかで説明する。
その他の手段については、発明を実施するための形態のなかで説明する。
【発明の効果】
【0011】
本発明によれば、３６０度の全方位画像にて適切に物体を検出可能とすることが可能となる。
【図面の簡単な説明】
【0012】
【図1】本実施形態に係る物体検出装置の構成図である。
【図2】エクイレクタングラー画像の一例を示す図である。
【図3】エクイレクタングラー画像の座標系を示す図である。
【図4】エクイレクタングラーの動画の表示方法の一例を示す図である。
【図5】キューブマップ画像の一例を示す図である。
【図6】キューブマップ画像の座標系を示す図である。
【図7】キューブマップ画像を示す概念図である。
【図8】キューブマップ画像の水平外周部のパノラマ画像の概念図である。
【図9】キューブマップ画像の水平外周部を水平方向にずらしたパノラマ画像の概念図である。
【図10】物体検出枠の三次元座標変換の前準備を説明する画像である。
【図11】物体検出枠の円周上の配置による三次元座標変換を説明する画像である。
【図12】物体検出枠の向きの変換を説明する画像である。
【図13】パノラマ画像を説明する図である。
【図14】パノラマ画像を説明する図である。
【発明を実施するための形態】
【0013】
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
本発明は、現行の二次元平面画像における物体検出に留まらず、三次元空間としての物体検出を可能とするものである。本発明によれば、３６０度の映像外周における位置（三次元座標）・向き（三次元角度）が取得できる。
本発明は、現行の二次元平面画像における物体検出に留まらず、三次元空間としての物体検出を可能とするものである。本発明によれば、３６０度の映像外周における位置（三次元座標）・向き（三次元角度）が取得できる。
【0014】
【0015】
物体検出装置２は、キューブマップ画像変換部２１と、パノラマ取得部２２ａ，２２ｂと、物体検出部２３ａ，２３ｂと、検出枠決定部２４ａ，２４ｂと、三次元情報合成部２５と、ポリゴン生成部２６とを含んで構成される。物体検出装置２は、例えばＣＰＵ（Central Processing Unit）を備えるコンピュータであり、不図示の物体検出プログラムを実行することで各機能部を具現化する。
【0016】
この物体検出装置２には、３６０度全方位カメラ１１で撮影された全方位画像としてエクイレクタングラー画像３１が入力される。物体検出装置２は、このエクイレクタングラー画像３１に撮影されている物体を検出して、検出枠のポリゴンを生成して、３６０度表示画面３２に合成する。この３６０度表示画面３２は、外部コントローラによって視点などが調整され、表示部１３に表示される。
【0017】
３６０度全方位カメラ１１は、３６０度の全方位を一度に撮影可能なカメラである。３６０度全方位カメラ１１は、例えば８Ｋサイズのエクイレクタングラーの動画を撮影可能である。
【0018】
図２は、エクイレクタングラー画像３１を示している。
このエクイレクタングラー画像３１は、本来は球面上に投影すべきものを矩形にマッピングしたものである。エクイレクタングラーは、正距円筒図法と呼ばれており、パノラマ写真で球状のパノラマ画像を表すために用いられるほか、地図投影法としても用いられている。エクイレクタングラー画像３１では、球面を地球に擬えたときの緯度が所定間隔の水平直線として表現される。エクイレクタングラー画像３１の画素位置と、これに対応する球面上との画素位置との関係が単純であり、他の投影法に変換しやすいが、特に極において歪みが生じる。
このエクイレクタングラー画像３１は、本来は球面上に投影すべきものを矩形にマッピングしたものである。エクイレクタングラーは、正距円筒図法と呼ばれており、パノラマ写真で球状のパノラマ画像を表すために用いられるほか、地図投影法としても用いられている。エクイレクタングラー画像３１では、球面を地球に擬えたときの緯度が所定間隔の水平直線として表現される。エクイレクタングラー画像３１の画素位置と、これに対応する球面上との画素位置との関係が単純であり、他の投影法に変換しやすいが、特に極において歪みが生じる。
【0019】
３６０度全方位カメラ１１は、２つの魚眼レンズが組み合わされたものである。３６０度全方位カメラ１１から、フィッシュアイ画像という円形撮像が得られる。３６０度全方位カメラ１１は、フィッシュアイ画像をエクイレクタングラー形式に変換し、空間レンダリングに使用する。この画像形式の変換は、ステッチングと呼ばれている。
【0020】
図３は、エクイレクタングラー画像３１の座標系を示す図である。
エクイレクタングラー画像３１は、本来は球面にマッピングされるものである。球面の上の点Ｐは、ＸＹＺ座標で表わされてもよく、極座標で表わされてもよい。
エクイレクタングラー画像３１は、本来は球面にマッピングされるものである。球面の上の点Ｐは、ＸＹＺ座標で表わされてもよく、極座標で表わされてもよい。
【0021】
図１に戻り説明を続ける。物体検出装置２のキューブマップ画像変換部２１は、３６０度全方位カメラ１１で撮影したエクイレクタングラー画像３１を、キューブマップ画像に変換する画像変換部として機能する。キューブマップ画像とその変換については、後記する図５と図６で説明する。
【0022】
そして、パノラマ取得部２２ａ，２２ｂは、キューブマップ画像のうち連続した４枚を使って、それぞれ第１パノラマ画像と第２パノラマ画像を取得する。パノラマ取得部２２ａは、キューブマップ画像を構成する複数の面の第１パノラマ画像を取得するも第１パノラマ取得部として機能する。第１パノラマ画像は、後記する図８で説明する。
パノラマ取得部２２ｂは、キューブマップ画像のうちパノラマ画像をずらして回り込ませた回り込み画像を取得する第２パノラマ取得部として機能する。第２パノラマ画像は、後記する図９で説明する。
パノラマ取得部２２ｂは、キューブマップ画像のうちパノラマ画像をずらして回り込ませた回り込み画像を取得する第２パノラマ取得部として機能する。第２パノラマ画像は、後記する図９で説明する。
【0023】
物体検出部２３ａ，２３ｂは、第１パノラマ画像と第２パノラマ画像から、それぞれ物体を検出する。物体検出部２３ａは、第１パノラマ画像について物体を検出する第１物体検出部として機能する。物体検出部２３ｂは、第２パノラマ画像について物体を検出する第２物体検出部として機能する。
【0024】
検出枠決定部２４ａは、第１パノラマ画像上の物体の検出枠の座標を決定する第１検出枠決定部として機能する。検出枠決定部２４ｂは、第２パノラマ画像上の物体の検出枠の座標を決定する第２検出枠決定部として機能する。これにより、例えば、右周り後方１４５度に人物を検知等の判定が可能となる。これら検出枠決定部２４ａ，２４ｂの処理については、後記する図１０で説明する。
【0025】
物体の検出枠の座標は、球面上であり、視点からの距離は検出できない。しかし、人物については、検出した領域の大きさと、人物の平均身長とから、視点から人物までの距離を推定する。また、第１実施形態では、上下方向の物体検出については考慮しない。後記する第２実施形態では、上下方向の物体検出が可能である。
【0026】
三次元情報合成部２５は、第１パノラマ画像上の物体の検出枠の座標を三次元情報に変換し、第２パノラマ画像上の物体の検出枠の座標を三次元情報に変換したのち、これら座標を合成する合成部である。三次元情報合成部２５の処理は、後記する図１１で説明する。
【0027】
ポリゴン生成部２６は、三次元情報合成部２５が合成した座標に物体の検出枠のポリゴンを生成して、３６０度表示画面３２に合成する。ポリゴン生成部２６の処理は、後記する図１２で説明する。
【0028】
図４は、エクイレクタングラー画像３１の表示方法の一例を示す図である。
表示部１３は、例えばヘッドマウントディスプレイである。図４に示すように、表示部１３は、前述したエクイレクタングラー画像３１を全天球に貼り付けて、ユーザ５に３６０度の仮想現実（ＶＲ）空間を提供する。外部コントローラ１２は、例えばヘッドマウントディスプレイに設けられた各種センサである。このときユーザ５が視る画像は歪んでいない。
表示部１３は、例えばヘッドマウントディスプレイである。図４に示すように、表示部１３は、前述したエクイレクタングラー画像３１を全天球に貼り付けて、ユーザ５に３６０度の仮想現実（ＶＲ）空間を提供する。外部コントローラ１２は、例えばヘッドマウントディスプレイに設けられた各種センサである。このときユーザ５が視る画像は歪んでいない。
【0029】
図５は、キューブマップ画像３３の一例を示す図である。
キューブマップ画像３３は、全方位映像の画像形式の一種であり、上下・正面・左右・背面それぞれの撮像を立方体に貼り付けて空間を再現したものである。キューブマップ画像３３は、エクイレクタングラー画像３１を変換したものである。エクイレクタングラー画像３１は、立方体の正面・背面・左右面・上下面に投影することができる。エクイレクタングラー画像３１が投影された６つの面を抽出することで、キューブマップ画像に変換できる。このキューブマップ画像３３は、各面画素が湾曲せず、物体検出に利用しやすい。
キューブマップ画像３３は、全方位映像の画像形式の一種であり、上下・正面・左右・背面それぞれの撮像を立方体に貼り付けて空間を再現したものである。キューブマップ画像３３は、エクイレクタングラー画像３１を変換したものである。エクイレクタングラー画像３１は、立方体の正面・背面・左右面・上下面に投影することができる。エクイレクタングラー画像３１が投影された６つの面を抽出することで、キューブマップ画像に変換できる。このキューブマップ画像３３は、各面画素が湾曲せず、物体検出に利用しやすい。
【0030】
数学的には、球の半径をr=1とし、極座標θ,φを0<θ<π、-π/4<φ<7π/4としたとき、以下の式（１）の関係を満たす。
【数1】
【0031】
これらを中央でキューブに投影することを考える。
まず、緯度-π/4<φ<π/4、π/4<φ<3π/4、3π/4<φ<5π/4、5π/4<φ<7π/4で4つの領域に分割する。これらは、上部または下部の4つの側面のいずれかに投影される。
-π/4<φ<π/4 で示される側面について検討する。
（sinθcosφ, sinθsinφ, cosθ）の中心投影は（sinθcosφ,sinθsinφ,cosθ）になり、式（２）の場合にx=1平面に該当する。
まず、緯度-π/4<φ<π/4、π/4<φ<3π/4、3π/4<φ<5π/4、5π/4<φ<7π/4で4つの領域に分割する。これらは、上部または下部の4つの側面のいずれかに投影される。
-π/4<φ<π/4 で示される側面について検討する。
（sinθcosφ, sinθsinφ, cosθ）の中心投影は（sinθcosφ,sinθsinφ,cosθ）になり、式（２）の場合にx=1平面に該当する。
【数2】
【0032】
これは、式（３）に変換できる。
【数3】
【0033】
投影点は(1,tan φ,cotθ/cosφ)となる。
|cotθ/cosφ|<1の場合、前面となる。それ以外は、上部または下部に投影され、そのために別の投影が必要となる。
上部のより良いテストでは、cosφの最小値がcos(π/4)= 1/√2になるという事実を使用する。したがって、cotθ/（1/√2）>1またはtanθ<1/√2となる。これは、θ<35°または0.615ラジアンに相当する。
|cotθ/cosφ|<1の場合、前面となる。それ以外は、上部または下部に投影され、そのために別の投影が必要となる。
上部のより良いテストでは、cosφの最小値がcos(π/4)= 1/√2になるという事実を使用する。したがって、cotθ/（1/√2）>1またはtanθ<1/√2となる。これは、θ<35°または0.615ラジアンに相当する。
【0034】
【0035】
なお、式（４）のｘｓ，ｙｓ，ｚｓは、点Ｐの座標を示している。
そして、単位球面からエクイレクタングラー形式への変換は、以下の式（５）で表わされる。
そして、単位球面からエクイレクタングラー形式への変換は、以下の式（５）で表わされる。
【数5】
【0036】
《第１実施形態》
第１実施形態は、水平外周部に限り、物体を検出して検出枠を付与するものである。殆どの場合、所望の検出物体は上下方向に存在しないので、このような制限下でも問題はない。
第１実施形態は、水平外周部に限り、物体を検出して検出枠を付与するものである。殆どの場合、所望の検出物体は上下方向に存在しないので、このような制限下でも問題はない。
【0037】
図７は、キューブマップ画像３３を構成する各面を示す説明図である。
キューブマップ画像３３は、正面Ｂ、左面Ａ、右面Ｃ、背面Ｄ、上面Ｅ、下面Ｆから構成されている。これら各面の歪みはさほど無いため、物体を検出可能であるが、各面の辺に掛かっており、見切れている物体に関しては、物体が検出できないおそれがある。
キューブマップ画像３３は、正面Ｂ、左面Ａ、右面Ｃ、背面Ｄ、上面Ｅ、下面Ｆから構成されている。これら各面の歪みはさほど無いため、物体を検出可能であるが、各面の辺に掛かっており、見切れている物体に関しては、物体が検出できないおそれがある。
【0038】
図８は、キューブマップ画像３３の水平外周部の各面で構成されるパノラマ画像３４の概念図である。
パノラマ取得部２２ａは、キューブマップ画像３３の水平外周部を構成する背面右側Ｄ２、左面Ａ、正面Ｂ、右面Ｃ、背面左側Ｄ１を集めてパノラマ画像３４とする。物体検出部２３ａは、このパノラマ画像３４に対して物体検出を実施する。物体検出には、例えはＡＩモデルのＳＳＤ（Single Shot MultiBox Detector）またはＹＯＬＯ（You Only Look Once）等を用いる。
パノラマ取得部２２ａは、キューブマップ画像３３の水平外周部を構成する背面右側Ｄ２、左面Ａ、正面Ｂ、右面Ｃ、背面左側Ｄ１を集めてパノラマ画像３４とする。物体検出部２３ａは、このパノラマ画像３４に対して物体検出を実施する。物体検出には、例えはＡＩモデルのＳＳＤ（Single Shot MultiBox Detector）またはＹＯＬＯ（You Only Look Once）等を用いる。
【0039】
なお、元解像度が高いため、物体検出部２３ａ向けには縮小画像を用いるとよい。パノラマ画像３４の水平座標は、全周の角度に該当する。パノラマ画像３４の左右端は画像が見切れるため、物体検出部２３ａは、左右端に掛かっている物体を検出できない。
【0040】
図９は、キューブマップ画像３３の水平外周部を水平方向にずらしたパノラマ画像３５の概念図である。
パノラマ画像３４の両端に関しては、対象物が見切れることから、物体検出部２３ａは、両端に掛かっている物体が検出できないおそれがある。この課題に対処するため、本実施形態では、全体を水平方向にずらして回り込ませたパノラマ画像３５を用意し、パノラマ画像３５の物体検出結果とパノラマ画像３４の物体検出結果を合成する。
パノラマ画像３４の両端に関しては、対象物が見切れることから、物体検出部２３ａは、両端に掛かっている物体が検出できないおそれがある。この課題に対処するため、本実施形態では、全体を水平方向にずらして回り込ませたパノラマ画像３５を用意し、パノラマ画像３５の物体検出結果とパノラマ画像３４の物体検出結果を合成する。
【0041】
パノラマ画像３５は、パノラマ画像３４を水平方向にずらして回り込ませた画像である。パノラマ取得部２２ｂは、正面右側Ｂ２、右面Ｃ、背面Ｄ、左面Ａ、正面左側Ｂ１を集めてパノラマ画像３５を構成する。物体検出部２３ｂは、このパノラマ画像３５を入力として二次元画像の物体検出を行う。
【0042】
図１０は、物体検出枠の三次元座標変換の前準備を説明する画像である。
物体検出部２３ａは、二次元物体検出処理により、パノラマ画像３４に撮影されている各物体５１～５３をそれぞれ検出して、各検出枠４１～４３の座標を決定する。このとき物体検出部２３ａが検出できるのは、パノラマ画像３４の二次元座標であり、カメラから物体までの距離は検出できない。
物体検出部２３ａは、二次元物体検出処理により、パノラマ画像３４に撮影されている各物体５１～５３をそれぞれ検出して、各検出枠４１～４３の座標を決定する。このとき物体検出部２３ａが検出できるのは、パノラマ画像３４の二次元座標であり、カメラから物体までの距離は検出できない。
【0043】
三次元情報合成部２５は、物体検出部２３ａの二次元物体検出で出力された検出枠を三次元座標へと変換していく。三次元情報合成部２５は、３６０度表示画面３２を上部から見下ろし状態でとらえ、外周との関係を把握しておく。
【0044】
図１１は、物体の検出枠の円周上の配置による三次元座標変換を説明する画像である。
３６０度表示画面３２は、円周上に投影される。パノラマ画像３４の左端に対応する３６０度表示画面３２の位置は、視点に対する角度が－１８０度である。パノラマ画像３４の右端に対応する３６０度表示画面３２の位置は、視点に対する角度が＋１８０度である。パノラマ画像３４の中央に対応する３６０度表示画面３２の位置は、視点に対する角度が０度である。
３６０度表示画面３２は、円周上に投影される。パノラマ画像３４の左端に対応する３６０度表示画面３２の位置は、視点に対する角度が－１８０度である。パノラマ画像３４の右端に対応する３６０度表示画面３２の位置は、視点に対する角度が＋１８０度である。パノラマ画像３４の中央に対応する３６０度表示画面３２の位置は、視点に対する角度が０度である。
【0045】
この３６０度表示画面３２を上部から見た場合、検出枠４１～４３は、３６０度表示画面３２の円周上に配置される。ここで三次元情報合成部２５は、三次元座標変換を行う。パノラマ画像３４のＸ座標は、３６０度表示画面３２の外周角度に相当する。よってパノラマ画像３４の検出枠４１～４３の位置のＸ座標に基づき、３６０度表示画面３２上に変換された検出枠４１～４３の外周角度を算出できる。
【0046】
図１２は、物体の検出枠４１～４３の向きの変換を説明する画像である。
三次元情報合成部２５は、検出枠４１～４３の向きを、これら検出枠４１～４３の円周投影における位置に基づいて算出する。検出枠４１～４３の向きとは、検出枠４１～４３の三次元座標における角度である。各検出枠４１～４３は、３６０度表示画面３２上から原点（視点）の方向を向いている。よって三次元情報合成部２５は、各検出枠４１～４３の位置（外周角度）から、各検出枠４１～４３の向きを算出する。ポリゴン生成部２６は、各検出枠４１～４３の位置（外周角度）と向きから、これら検出枠４１～４３のポリゴンを生成して、３６０度表示画面３２と合成する。
三次元情報合成部２５は、検出枠４１～４３の向きを、これら検出枠４１～４３の円周投影における位置に基づいて算出する。検出枠４１～４３の向きとは、検出枠４１～４３の三次元座標における角度である。各検出枠４１～４３は、３６０度表示画面３２上から原点（視点）の方向を向いている。よって三次元情報合成部２５は、各検出枠４１～４３の位置（外周角度）から、各検出枠４１～４３の向きを算出する。ポリゴン生成部２６は、各検出枠４１～４３の位置（外周角度）と向きから、これら検出枠４１～４３のポリゴンを生成して、３６０度表示画面３２と合成する。
【0047】
【0048】
図１３は、パノラマ画像３５，３６を示す図面である。
パノラマ画像３５は、キューブマップ画像３３のうち背面上側Ｄ３、上面Ｅ、正面Ｂ、下面Ｆ、背面下側Ｄ４を集めたものである。このパノラマ画像３５に対して物体が検出される。このパノラマ画像３５のＹ座標は、３６０度表示画面３２の所定経度面における緯度に相当する。これにより、３６０度表示画面３２における検出枠４１～４３の位置と向きとを知ることができる。
パノラマ画像３５は、キューブマップ画像３３のうち背面上側Ｄ３、上面Ｅ、正面Ｂ、下面Ｆ、背面下側Ｄ４を集めたものである。このパノラマ画像３５に対して物体が検出される。このパノラマ画像３５のＹ座標は、３６０度表示画面３２の所定経度面における緯度に相当する。これにより、３６０度表示画面３２における検出枠４１～４３の位置と向きとを知ることができる。
【0049】
しかし、パノラマ画像３５の上下端に関しては、対象物が見切れることから、両端に掛かっている物体が検出できないおそれがある。この課題に対処するため、本実施形態は、全体を上下方向にずらして回り込ませたパノラマ画像３６を用意し、パノラマ画像３６からの物体検出結果とパノラマ画像３５の物体検出結果とを合成する。
【0050】
パノラマ画像３６は、パノラマ画像３５を上下方向にずらして回り込ませた画像である。パノラマ画像３６は、正面下側Ｂ３、下面Ｆ、背面Ｄ、上面Ｅ、正面上側Ｂ４を集めて構成される。このパノラマ画像３６を入力として二次元画像の物体検出が行われる。これにより、本実施形態では、全周に亘って漏れなく物体を検出可能である。
【0051】
図１４は、パノラマ画像３７，３８を示す図面である。
パノラマ画像３７は、キューブマップ画像３３のうち下面Ｆ、右面Ｃ、上面Ｅ、左面Ａを集めたものである。このパノラマ画像３７に対して物体が検出される。このパノラマ画像３７のＹ座標は、３６０度表示画面３２の所定経度面における緯度に相当する。これにより、３６０度表示画面３２における検出枠４１～４３の位置と向きとを知ることができる。
パノラマ画像３７は、キューブマップ画像３３のうち下面Ｆ、右面Ｃ、上面Ｅ、左面Ａを集めたものである。このパノラマ画像３７に対して物体が検出される。このパノラマ画像３７のＹ座標は、３６０度表示画面３２の所定経度面における緯度に相当する。これにより、３６０度表示画面３２における検出枠４１～４３の位置と向きとを知ることができる。
【0052】
しかし、パノラマ画像３７の上下端に関しては、対象物が見切れることから、両端に掛かっている物体が検出できないおそれがある。この課題に対処するため、本実施形態は、全体を上下方向にずらして回り込ませたパノラマ画像３８を用意し、パノラマ画像３８からの物体検出結果とパノラマ画像３７の物体検出結果とを合成する。
【0053】
パノラマ画像３８は、パノラマ画像３７を上下方向にずらして回り込ませた画像である。パノラマ画像３８は、上面Ｅ、左面Ａ、下面Ｆ、右面Ｃを集めて構成される。このパノラマ画像３８を入力として二次元画像の物体検出が行われる。これにより、本実施形態では、全周に亘って漏れなく物体を検出可能である。
【0054】
（変形例）
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
【0055】
上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路などのハードウェアで実現してもよい。上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈して実行することにより、ソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、フラッシュメモリカード、ＤＶＤ（Digital Versatile Disk）などの記録媒体に置くことができる。
【0056】
各実施形態に於いて、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には、殆ど全ての構成が相互に接続されていると考えてもよい。
本発明の変形例として、例えば、次の（ａ）～（ｃ）のようなものがある。
本発明の変形例として、例えば、次の（ａ）～（ｃ）のようなものがある。
【0057】
（ａ）パノラマ画像の長辺軸の位置を３６０度表示画面の角度に対応づけるだけではなく、パノラマ画像の短辺軸の位置を３６０度表示画面の角度に対応づけてもよい。
（ｂ）キューブマップの画像変換に限定されず、任意の多角形への画像変換によってエクイレクタングラー画像を二次元パノラマ画像に変換してもよい。
（ｃ）物体検出処理の方式は、ＳＳＤとＹＯＬＯに限定されず、任意方式の物体検出処理を採用してもよい。
（ｂ）キューブマップの画像変換に限定されず、任意の多角形への画像変換によってエクイレクタングラー画像を二次元パノラマ画像に変換してもよい。
（ｃ）物体検出処理の方式は、ＳＳＤとＹＯＬＯに限定されず、任意方式の物体検出処理を採用してもよい。
【符号の説明】
【0058】
１１ ３６０度全方位カメラ
１２ 外部コントローラ
１３ 表示部
２ 物体検出装置
２１ キューブマップ画像変換部
２２ａ パノラマ取得部
２２ｂ パノラマ取得部
２３ａ 物体検出部 （第１物体検出部）
２３ｂ 物体検出部 （第２物体検出部）
２４ａ 検出枠決定部 （第１検出枠決定部）
２４ｂ 検出枠決定部 （第２検出枠決定部）
２５ 三次元情報合成部 （合成部）
２６ ポリゴン生成部
３１ エクイレクタングラー画像
３２ ３６０度表示画面
３３ キューブマップ画像
３４～３８ パノラマ画像
４１～４３ 検出枠
５ ユーザ
５１～５３ 物体
１２ 外部コントローラ
１３ 表示部
２ 物体検出装置
２１ キューブマップ画像変換部
２２ａ パノラマ取得部
２２ｂ パノラマ取得部
２３ａ 物体検出部 （第１物体検出部）
２３ｂ 物体検出部 （第２物体検出部）
２４ａ 検出枠決定部 （第１検出枠決定部）
２４ｂ 検出枠決定部 （第２検出枠決定部）
２５ 三次元情報合成部 （合成部）
２６ ポリゴン生成部
３１ エクイレクタングラー画像
３２ ３６０度表示画面
３３ キューブマップ画像
３４～３８ パノラマ画像
４１～４３ 検出枠
５ ユーザ
５１～５３ 物体
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【手続補正書】
【提出日】2023-06-02
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
全方位カメラで撮影したエクイレクタングラー画像をキューブマップ画像に変換する画像変換部と、
前記キューブマップ画像を構成する複数の面のパノラマ画像について物体を検出する第１物体検出部と、
前記パノラマ画像において、前記第１物体検出部によって検出された前記物体を囲う矩形の座標を決定する第１検出枠決定部と、
前記キューブマップ画像のうちパノラマ画像をずらして回り込ませた回り込み画像について物体を検出する第２物体検出部と、
前記回り込み画像の面上に前記第２物体検出部によって検出された物体を囲う矩形の座標を決定する第２検出枠決定部と、
前記エクイレクタングラー画像を３６０度表示画面に表示し、前記第１検出枠決定部で決定された矩形と前記第２検出枠決定部で決定された矩形とを前記３６０度表示画面の対応した位置に合成する合成部と、
を有することを特徴とする全方位画像の物体検出装置。
前記キューブマップ画像を構成する複数の面のパノラマ画像について物体を検出する第１物体検出部と、
前記パノラマ画像において、前記第１物体検出部によって検出された前記物体を囲う矩形の座標を決定する第１検出枠決定部と、
前記キューブマップ画像のうちパノラマ画像をずらして回り込ませた回り込み画像について物体を検出する第２物体検出部と、
前記回り込み画像の面上に前記第２物体検出部によって検出された物体を囲う矩形の座標を決定する第２検出枠決定部と、
前記エクイレクタングラー画像を３６０度表示画面に表示し、前記第１検出枠決定部で決定された矩形と前記第２検出枠決定部で決定された矩形とを前記３６０度表示画面の対応した位置に合成する合成部と、
を有することを特徴とする全方位画像の物体検出装置。
【請求項2】
前記合成部は、前記矩形の向きを当該矩形の円周投影における位置に基づいて補正する、
ことを特徴とする請求項１に記載の全方位画像の物体検出装置。
ことを特徴とする請求項１に記載の全方位画像の物体検出装置。
【請求項3】
前記パノラマ画像は、前記キューブマップ画像の水平外周部である、
ことを特徴とする請求項１に記載の全方位画像の物体検出装置。
ことを特徴とする請求項１に記載の全方位画像の物体検出装置。
【請求項4】
前記パノラマ画像は、
前記キューブマップ画像の水平外周部と、
前記キューブマップ画像の前面と天面と背面と下面の組み合わせと、
前記キューブマップ画像の左面と天面と右面と下面の組み合わせと、
を含んで構成されることを特徴とする請求項１に記載の全方位画像の物体検出装置。
前記キューブマップ画像の水平外周部と、
前記キューブマップ画像の前面と天面と背面と下面の組み合わせと、
前記キューブマップ画像の左面と天面と右面と下面の組み合わせと、
を含んで構成されることを特徴とする請求項１に記載の全方位画像の物体検出装置。
【請求項5】
全方位カメラで撮影したエクイレクタングラー画像をキューブマップ画像に変換するステップと、
前記キューブマップ画像を構成する複数の面のパノラマ画像について物体を検出するステップと、
前記パノラマ画像上に検出された前記物体を囲う矩形の座標を決定するステップと、
前記キューブマップ画像のうちパノラマ画像をずらして回り込ませた回り込み画像について物体を検出するステップと、
前記回り込み画像の面上に検出された物体を囲う矩形の座標を決定するステップと、
前記エクイレクタングラー画像を３６０度表示画面に表示し、前記パノラマ画像について物体が検出された矩形と前記回り込み画像について物体が検出された矩形とを前記３６０度表示画面の対応した位置に合成するステップと、
を有することを特徴とする全方位画像の物体検出方法。
前記キューブマップ画像を構成する複数の面のパノラマ画像について物体を検出するステップと、
前記パノラマ画像上に検出された前記物体を囲う矩形の座標を決定するステップと、
前記キューブマップ画像のうちパノラマ画像をずらして回り込ませた回り込み画像について物体を検出するステップと、
前記回り込み画像の面上に検出された物体を囲う矩形の座標を決定するステップと、
前記エクイレクタングラー画像を３６０度表示画面に表示し、前記パノラマ画像について物体が検出された矩形と前記回り込み画像について物体が検出された矩形とを前記３６０度表示画面の対応した位置に合成するステップと、
を有することを特徴とする全方位画像の物体検出方法。
【請求項6】
コンピュータに、
全方位カメラで撮影したエクイレクタングラー画像をキューブマップ画像に変換する手順、
前記キューブマップ画像を構成する複数の面のパノラマ画像について物体を検出する手順、
前記パノラマ画像上に検出された前記物体を囲う矩形の座標を決定する手順、
前記キューブマップ画像のうちパノラマ画像をずらして回り込ませた回り込み画像について物体を検出する手順、
前記回り込み画像の面上に検出された物体を囲う矩形の座標を決定する手順、
前記エクイレクタングラー画像を３６０度表示画面に表示し、前記パノラマ画像について物体が検出された矩形と前記回り込み画像について物体が検出された矩形とを前記３６０度表示画面の対応した位置に合成する手順、
を実行させるための物体検出プログラム。
全方位カメラで撮影したエクイレクタングラー画像をキューブマップ画像に変換する手順、
前記キューブマップ画像を構成する複数の面のパノラマ画像について物体を検出する手順、
前記パノラマ画像上に検出された前記物体を囲う矩形の座標を決定する手順、
前記キューブマップ画像のうちパノラマ画像をずらして回り込ませた回り込み画像について物体を検出する手順、
前記回り込み画像の面上に検出された物体を囲う矩形の座標を決定する手順、
前記エクイレクタングラー画像を３６０度表示画面に表示し、前記パノラマ画像について物体が検出された矩形と前記回り込み画像について物体が検出された矩形とを前記３６０度表示画面の対応した位置に合成する手順、
を実行させるための物体検出プログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
前記した課題を解決するため、本発明の全方位画像の物体検出装置は、全方位カメラで撮影したエクイレクタングラー画像をキューブマップ画像に変換する画像変換部と、前記キューブマップ画像を構成する複数の面のパノラマ画像について物体を検出する第１物体検出部と、前記パノラマ画像において、前記第１物体検出部によって検出された前記物体を囲う矩形の座標を決定する第１検出枠決定部と、前記キューブマップ画像のうちパノラマ画像をずらして回り込ませた回り込み画像について物体を検出する第２物体検出部と、前記回り込み画像の面上に前記第２物体検出部によって検出された物体を囲う矩形の座標を決定する第２検出枠決定部と、前記エクイレクタングラー画像を３６０度表示画面に表示し、前記第１検出枠決定部で決定された矩形と前記第２検出枠決定部で決定された矩形とを前記３６０度表示画面の対応した位置に合成する合成部と、を有することを特徴とする。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【0009】
本発明の全方位画像の物体検出方法は、全方位カメラで撮影したエクイレクタングラー画像をキューブマップ画像に変換するステップと、前記キューブマップ画像を構成する複数の面のパノラマ画像について物体を検出するステップと、前記パノラマ画像上に検出された前記物体を囲う矩形の座標を決定するステップと、前記キューブマップ画像のうちパノラマ画像をずらして回り込ませた回り込み画像について物体を検出するステップと、前記回り込み画像の面上に検出された物体を囲う矩形の座標を決定するステップと、前記エクイレクタングラー画像を３６０度表示画面に表示し、前記パノラマ画像について物体が検出された矩形と前記回り込み画像について物体が検出された矩形とを前記３６０度表示画面の対応した位置に合成するステップと、を有することを特徴とする。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【0010】
本発明の物体検出プログラムは、コンピュータに、全方位カメラで撮影したエクイレクタングラー画像をキューブマップ画像に変換する手順、前記キューブマップ画像を構成する複数の面のパノラマ画像について物体を検出する手順、前記パノラマ画像上に検出された前記物体を囲う矩形の座標を決定する手順、前記キューブマップ画像のうちパノラマ画像をずらして回り込ませた回り込み画像について物体を検出する手順、前記回り込み画像の面上に検出された物体を囲う矩形の座標を決定する手順、前記エクイレクタングラー画像を３６０度表示画面に表示し、前記パノラマ画像について物体が検出された矩形と前記回り込み画像について物体が検出された矩形とを前記３６０度表示画面の対応した位置に合成する手順、を実行させるためのものである。
その他の手段については、発明を実施するための形態のなかで説明する。
その他の手段については、発明を実施するための形態のなかで説明する。