(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024139969
(43)【公開日】2024-10-10
(54)【発明の名称】物体検出装置及び物体検出システム
(51)【国際特許分類】
G06T 7/70 20170101AFI20241003BHJP
G06T 7/00 20170101ALI20241003BHJP
G08G 1/00 20060101ALI20241003BHJP
G16Y 10/40 20200101ALI20241003BHJP
G16Y 20/20 20200101ALI20241003BHJP
G16Y 40/10 20200101ALI20241003BHJP
【ＦＩ】
G06T7/70 Z
G06T7/00 650B
G08G1/00 J
G16Y10/40
G16Y20/20
G16Y40/10
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023050934
(22)【出願日】2023-03-28
(71)【出願人】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110002941
【氏名又は名称】弁理士法人ぱるも特許事務所
(72)【発明者】
【氏名】田中 元気
(72)【発明者】
【氏名】谷口 琢也
(72)【発明者】
【氏名】亀山 陽平
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181AA05
5H181AA07
5H181AA21
5H181BB04
5H181BB20
5H181CC03
5H181CC04
5H181CC12
5H181CC14
5H181EE02
5H181EE07
5H181FF04
5H181FF10
5H181FF13
5H181FF22
5H181LL09
5H181MC24
5H181MC25
5L096AA06
5L096BA04
5L096CA02
5L096DA02
5L096FA05
5L096FA16
5L096FA62
5L096FA64
5L096FA67
5L096FA69
5L096HA11
5L096KA04
(57)【要約】
【課題】２Ｄ－ＢＢＯＸから物体位置を高精度に推定可能な物体検出装置を提供する。
【解決手段】物体検出装置は、画像から物体を抽出し、物体を内接して囲む矩形を出力する物体抽出部と、抽出された物体の画像上での方向を算出する方向算出部と、物体抽出部から出力される矩形の幅及び方向算出部で算出された物体の画像上での方向を用いて、物体の画像上での底面領域及び実世界座標上での底面領域を算出する底面領域算出部と、を備える。
【選択図】図２
【解決手段】物体検出装置は、画像から物体を抽出し、物体を内接して囲む矩形を出力する物体抽出部と、抽出された物体の画像上での方向を算出する方向算出部と、物体抽出部から出力される矩形の幅及び方向算出部で算出された物体の画像上での方向を用いて、物体の画像上での底面領域及び実世界座標上での底面領域を算出する底面領域算出部と、を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
撮像部で取得した画像から物体を抽出し、実世界座標上での前記物体の位置を算出する物体検出装置であって、
前記画像から前記物体を抽出し、前記物体を内接して囲む矩形を出力する物体抽出部と、
前記物体抽出部で抽出された前記物体の画像上での方向を算出する方向算出部と、
前記物体抽出部から出力される前記矩形の幅及び前記方向算出部で算出された前記物体の画像上での方向を用いて、前記物体の画像上及び実世界座標上での底面領域を算出する底面領域算出部と、を備え、
前記底面領域は前記画像上及び実世界座標上それぞれにおいて前記物体の位置、大きさ及び方向を含んでいる、物体検出装置。
前記画像から前記物体を抽出し、前記物体を内接して囲む矩形を出力する物体抽出部と、
前記物体抽出部で抽出された前記物体の画像上での方向を算出する方向算出部と、
前記物体抽出部から出力される前記矩形の幅及び前記方向算出部で算出された前記物体の画像上での方向を用いて、前記物体の画像上及び実世界座標上での底面領域を算出する底面領域算出部と、を備え、
前記底面領域は前記画像上及び実世界座標上それぞれにおいて前記物体の位置、大きさ及び方向を含んでいる、物体検出装置。
【請求項2】
前記底面領域算出部は、さらに実世界座標上での前記物体の幅、長さ及び幅と長さの比のうちいずれかを用いて前記物体の画像上での底面領域及び実世界座標上での底面領域を算出する、請求項１に記載の物体検出装置。
【請求項3】
前記物体抽出部は、抽出された前記物体の種別判定を行う種別判定部を備え、前記物体を内接して囲む矩形を出力するとともに、前記種別判定部で判定された前記物体の種別を出力し、
前記底面領域算出部は、前記種別判定部で判定された前記物体の種別に基づいて実世界座標上での前記物体の幅、長さ及び幅と長さの比のうちいずれかを用いて前記物体の画像上での底面領域及び実世界座標上での底面領域を算出する、請求項２に記載の物体検出装置。
前記底面領域算出部は、前記種別判定部で判定された前記物体の種別に基づいて実世界座標上での前記物体の幅、長さ及び幅と長さの比のうちいずれかを用いて前記物体の画像上での底面領域及び実世界座標上での底面領域を算出する、請求項２に記載の物体検出装置。
【請求項4】
実世界座標上での位置に応じて物体方向が定義された物体方向マップをさらに備え、
前記方向算出部は、前記物体抽出部で抽出された前記物体の画像上での方向を、前記物体方向マップを用いて算出する、請求項１に記載の物体検出装置。
前記方向算出部は、前記物体抽出部で抽出された前記物体の画像上での方向を、前記物体方向マップを用いて算出する、請求項１に記載の物体検出装置。
【請求項5】
前記矩形の縦横比に応じて画像上及び実世界座標上での方向が規定された物体方向テーブルをさらに備え、
前記方向算出部は、前記物体抽出部で抽出された前記物体の画像上での方向を、前記物体方向テーブルを用いて算出する、請求項１に記載の物体検出装置。
前記方向算出部は、前記物体抽出部で抽出された前記物体の画像上での方向を、前記物体方向テーブルを用いて算出する、請求項１に記載の物体検出装置。
【請求項6】
請求項１から５のいずれか１項に記載の物体検出装置と、
前記撮像部と、を備えた物体検出システム。
前記撮像部と、を備えた物体検出システム。
【請求項7】
前記撮像部はカメラを搭載した路側機を備える、請求項６に記載の物体検出システム。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、物体検出装置及び物体検出システムに関するものである。
【背景技術】
【0002】
近年、自動車の自動運転技術の開発が盛んに行われている。自動運転の実現のために領域内の物体を検知して、検知した物体情報を車両、人、及びダイナミックマップなどに報知する路側機を設置することが検討されている。路側機には、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ：ライダー）及びカメラ等のセンサが搭載されており、各センサから物体を検出し、検出した物体の位置及び種別等の情報を算出して報知する。
【0003】
例えば自動運転車が他車を追い越すといった状況を想定すると、自動運転車は路側機で検知した物体情報から物体の存在領域を高い位置精度（０．１～１ｍ程度）で取得する必要がある。存在領域とは、具体的にはダイナミックマップ上で「位置」、「長さ、幅、高さ」及び「方向」の情報を持つ直方体を示す。「高さ」の情報が重要でない場合には、存在領域は底面領域で読み替え、底面領域とはダイナミックマップ上で「位置」「長さ、幅」及び「方向」の情報を持つ長方形を示す。
【0004】
また、路側機で取得した画像情報から物体を検知した場合、検知した物体の実世界における位置を算出する必要がある。一般的に、画像上で物体を２次元の矩形（２Dバウンディングボックス：以下、２Ｄ－ＢＢＯＸと称する）として検出した後、検出した２Ｄ－ＢＢＯＸの任意の位置の座標を、カメラの外部パラメータまたはホモグラフィ行列を用いて、実世界上の座標に変換することで、実世界における位置を算出することができる。例えば、特許文献１においては、テンプレート画像とのマッチングを用いてカメラの揺れによる画像のズレを補正した上で実世界座標を算出することにより、位置精度を高める方法が提案されている。
【0005】
さらに、非特許文献１には、画像中の物体のサイズ及び方向を推定するために、ニューラルネットワークモデルを用いて、３次元的な直方体（３Dバウンディングボックス：以下、３Ｄ－ＢＢＯＸと称する）を出力する方法が記載されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０２２－３４０３４号公報
【非特許文献】
【0007】
【非特許文献1】Peixuan Li, Huaici Zhao, Pengfei Liu, Feidao Cao”RTM3D: Real-time Monocular 3D Detection from Object Keypoints for Autonomous Driving” arXiv preprint arXiv:2001.03343,2020
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献１に記載の方法では、２Ｄ－ＢＢＯＸから物体位置を算出する場合、２Ｄ－ＢＢＯＸの中心位置あるいは下端中心の位置を物体の代表位置として、実世界座標上に変換することになる。しかし、画像中の物体の方向に応じて実際の物体の中心位置は変化するが、上述の方法で画像から変換された物体位置は実際の物体の中心位置を反映していないことになり、位置の推定精度が悪くなる。
【0009】
また、非特許文献１に記載の方法では、３Ｄ－ＢＢＯＸを出力可能なニューラルネットワークを用いるために、ニューラルネットワークの訓練のために大量の３次元直方体のアノテーションデータが必要である。２Ｄ－ＢＢＯＸは算出するための既存の技術が数多く存在し、アノテーションが必要な場合でも小さいコストで実施可能である。しかし、３Ｄ－ＢＢＯＸについては、アノテーション及び学習に多くのコストを要するという課題がある。
【0010】
本願は、上記のような課題を解決するための技術を開示するものであり、２Ｄ－ＢＢＯＸから物体位置を高精度に推定可能な物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
本願に開示される物体検出装置は、
撮像部で取得した画像から物体を抽出し、実世界座標上での前記物体の位置を算出する物体検出装置であって、
前記画像から前記物体を抽出し、前記物体を内接して囲む矩形を出力する物体抽出部と、
前記物体抽出部で抽出された前記物体の画像上での方向を算出する方向算出部と、
前記物体抽出部から出力される前記矩形の幅及び前記方向算出部で算出された前記物体の画像上での方向を用いて、前記物体の画像上及び実世界座標上での底面領域を算出する底面領域算出部と、を備え、
前記底面領域は前記画像上及び実世界座標上それぞれにおいて前記物体の位置、大きさ及び方向を含んでいる、ものである。
撮像部で取得した画像から物体を抽出し、実世界座標上での前記物体の位置を算出する物体検出装置であって、
前記画像から前記物体を抽出し、前記物体を内接して囲む矩形を出力する物体抽出部と、
前記物体抽出部で抽出された前記物体の画像上での方向を算出する方向算出部と、
前記物体抽出部から出力される前記矩形の幅及び前記方向算出部で算出された前記物体の画像上での方向を用いて、前記物体の画像上及び実世界座標上での底面領域を算出する底面領域算出部と、を備え、
前記底面領域は前記画像上及び実世界座標上それぞれにおいて前記物体の位置、大きさ及び方向を含んでいる、ものである。
【発明の効果】
【0012】
本願によれば、取得画像から、２Ｄ－ＢＢＯＸを用いて物体の底面領域を高精度に推定でき、物体位置を高精度に推定可能となる。
【図面の簡単な説明】
【0013】
【図1】実施の形態１に係る物体検出システムの構成を示すブロック図である。
【図2】実施の形態１に係る物体検出装置の構成を示す機能ブロック図である。
【図3】路側機の配置例と路側機の検出範囲を示す図である。
【図4】路側機で取得された画像において、物体を抽出した例を示す図である。
【図6】画像座標における底面領域の算出方法を説明するための図である。
【図11】実施の形態１に係る物体検出装置での物体検出の手順を説明するためのフローチャートである。
【図12】実施の形態２に係る物体検出装置の構成を示す機能ブロック図である。
【図13】実施の形態３に係る物体検出装置の構成を示す機能ブロック図である。
【図14】物体方向マップを説明するための図である。
【図15】実施の形態３に係る物体検出装置での物体検出の手順を説明するためのフローチャートである。
【図16】実施の形態４に係る物体検出装置の構成を示す機能ブロック図である。
【図17】物体方向テーブルの例を示す図である。
【図18】実施の形態１から４に係る物体検出システム及び物体検出装置のハードウエア構成を示す図である。
【図19】実施の形態１から４に係る物体検出システム及び物体検出装置のハードウエア構成の他の例を示す図である。
【発明を実施するための形態】
【0014】
実施の形態１．
以下に、実施の形態１に係る物体検出システム及び物体検出装置について図を用いて説明する。
＜物体検出システムの構成＞
図１は、実施の形態１に係る物体検出システムの構成を示すブロック図である。物体検出システム１０は、路側機に搭載したカメラ等により撮像を行う撮像部１００と、撮像部１００が撮像した画像から物体を抽出し、その物体の位置、大きさ及び向いている方向（角度、姿勢）を算出する物体検出装置２００と、物体検出装置２００での処理において必要な情報を記憶する記憶部３００と、を備える。記憶部３００は例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等、任意の記憶デバイスのいずれか１つまたは複数からなる。この記憶部３００には、撮像部１００が撮像した画像、物体検出装置２００で算出された物体の位置、大きさ及び方向等の情報も記憶される。
以下に、実施の形態１に係る物体検出システム及び物体検出装置について図を用いて説明する。
＜物体検出システムの構成＞
図１は、実施の形態１に係る物体検出システムの構成を示すブロック図である。物体検出システム１０は、路側機に搭載したカメラ等により撮像を行う撮像部１００と、撮像部１００が撮像した画像から物体を抽出し、その物体の位置、大きさ及び向いている方向（角度、姿勢）を算出する物体検出装置２００と、物体検出装置２００での処理において必要な情報を記憶する記憶部３００と、を備える。記憶部３００は例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等、任意の記憶デバイスのいずれか１つまたは複数からなる。この記憶部３００には、撮像部１００が撮像した画像、物体検出装置２００で算出された物体の位置、大きさ及び方向等の情報も記憶される。
【0015】
＜物体検出装置２００の構成＞
図２は、実施の形態１に係る物体検出装置２００の構成を示す機能ブロック図である。図２において、物体検出装置２００は、撮像部１００で撮像された画像が入力され、その画像から物体を抽出する物体抽出部２０１と、物体抽出部２０１により抽出された物体の画像上での物体の向いている方向を算出する方向算出部２０２と、物体抽出部２０１で抽出された物体の領域及び方向算出部２０２から得られる物体の方向情報を用いて物体の底面領域を算出する底面領域算出部２０３と、底面領域算出部２０３から算出された物体の底面領域を配信する出力部２０４と、を備える。以下、各部分に関して詳細を説明する。
図２は、実施の形態１に係る物体検出装置２００の構成を示す機能ブロック図である。図２において、物体検出装置２００は、撮像部１００で撮像された画像が入力され、その画像から物体を抽出する物体抽出部２０１と、物体抽出部２０１により抽出された物体の画像上での物体の向いている方向を算出する方向算出部２０２と、物体抽出部２０１で抽出された物体の領域及び方向算出部２０２から得られる物体の方向情報を用いて物体の底面領域を算出する底面領域算出部２０３と、底面領域算出部２０３から算出された物体の底面領域を配信する出力部２０４と、を備える。以下、各部分に関して詳細を説明する。
【0016】
撮像部１００は、路側機ＲＵに搭載されたカメラにより撮像したカメラ画像（以下、単に「画像」と称する）を、物体抽出部２０１に送信する。画像は通常数ｆｐｓ～３０ｆｐｓ程度の間隔で撮像され、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）／ＬＡＮ（Ｌｏａｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブルあるいは無線通信など任意の通信手法を介して送信される。
【0017】
ここで、撮像部１００で撮像される画像について説明する。図３は、撮像部１００の具備する路側機ＲＵの配置及び路側機ＲＵの検知範囲の一例を示す図である。図３に示すように、交差点の近傍に設置された路側機ＲＵは、路上から一定程度（例えば６ｍ）の高さに、検知したい範囲をカバーするように物体の斜め上から見下ろすような形でカメラが設置されている。ここで、カメラの撮像する検知範囲は、交差点の中心部を含む放射状の領域であり、ドットのハッチングがなされた領域である。また、検知対象の物体は、自動運転を行うために検知が必要となる物体であり、例えば車両及び人等である。検知可能な物体及び検出精度は物体抽出部２０１で使用するアルゴリズム及びモデル等に依存する。なお、図３では、ある時刻において、路側機ＲＵは交差点に向かう２台の車両ＶＥ１，ＶＥ２を撮像範囲に捉えている。以下の説明では、２台の車両ＶＥ１，ＶＥ２のうち車両ＶＥ１の位置検出を例にして説明する。
【0018】
物体抽出部２０１は、撮像部１００により撮像された画像を取得し、パターンマッチング、ニューラルネットワーク、背景差分法など公知の技術により画像内の物体を内接して囲む矩形を出力する。ここで、撮像部１００から取得した画像は物体抽出部２０１で使用する物体抽出アルゴリズム、物体抽出モデルに応じて、拡大縮小及び規格化等の処理を行うことが一般的である。また、ニューラルネットワーク等を用いる場合は物体種別も同時に出力されることが一般的だが、本実施の形態においては必ずしも必要でない。
図４は路側機ＲＵで取得された画像に対し、物体抽出部２０１が物体を抽出した例を示す図である。図中の抽出した物体である車両ＶＥ１を囲む点線の矩形が２Ｄ―ＢＢＯＸである。
図４は路側機ＲＵで取得された画像に対し、物体抽出部２０１が物体を抽出した例を示す図である。図中の抽出した物体である車両ＶＥ１を囲む点線の矩形が２Ｄ―ＢＢＯＸである。
【0019】
方向算出部２０２は、物体抽出部２０１で抽出した物体に関し、物体が向いている（車両であれば前面が向いている）方向を算出する。路側機ＲＵにおいては事前に画像上の画像座標と実世界座標との対応が既知であるため、画像座標上での方向と実世界座標上での方向は相互に変換可能である。
【0020】
ここで、画像座標と実世界座標との変換について図５を用いて説明する。図５中、図５Ａは取得された画像、図５Ｂは例えばダイナミックマップを示す。画像上の座標を画像座標、ダイナミックマップ上の座標を実世界座標とする。ダイナミックマップは、車両が自動運転する場合に参照する地図で、障害物情報等を含んだものである。本実施の形態に係る物体検出システム１０及び物体検出装置２００の出力は自動運転に適用されることを想定しているため、実世界座標の対象をダイナミックマップとしている。
【0021】
図５Ａに示すように、一般的に画像座標は画像左上を原点とし、右方向をｘ軸の正方向、下方向をｙ軸の正方向としたピクセル（ｐｉｘ）単位で定義される。図５Ｂに示すように、一般的に実世界座標はｘ軸を経度、ｙ軸を緯度、ｚ軸を高さとして定義するか、もしくは適当な位置を原点とし、東方向をｘ軸の正方向、北方向をｙ軸の正方向、高さ方向をｚ軸の正方向としたメートル単位の座標系で定義される。
【0022】
路側機ＲＵのカメラは固定されているため、画像座標と実世界座標との間の変換式を事前に作成しておくことで、実世界座標での高さが同一の平面内であれば相互に変換可能である。例えば、地面（高さ＝０）上の点に対し、図５Ａ中の画像座標の４組（ａ，ｂ，ｃ，ｄ）に対し、図５Ｂ中の実世界座標の組（Ａ，Ｂ，Ｃ，Ｄ）が対応するものであれば、画像座標から実世界座標に変換するホモグラフィ行列Ｍを求めることができる。ホモグラフィ行列Ｍの逆行列Ｍ-１を用いれば実世界座標から画像座標への変換も可能となる。ホモグラフィ行列の代わりにカメラの姿勢（回転、並進）を規定したカメラ外部パラメータ行列を用いても同様の変換が実現できるが、以下の説明ではホモグラフィ行列を用いる場合を例に説明する。
【0023】
方向算出部２０２は、上述の画像座標と実世界座標との間の変換に基づき、実世界座標上での物体の方向を算出する。方向の定義方法は任意であり、例えば、画像座標上では画像のｘ軸方向を０°、反時計回りを正とし０～３６０°の範囲で定義し、実世界座標上では東側（ｘ軸方向）を０°、東から北側（ｙ軸方向）に回転する方向を正とし０～３６０°の範囲で定義すればよい。
【0024】
また、方向の算出方法に関しても任意であり、例えば２Ｄ―ＢＢＯＸの移動方向の履歴を用いてもよい。その場合は、２Ｄ―ＢＢＯＸの任意の位置、例えば底辺中心とし、その座標のフレーム間での差分を取り、その差分ベクトルの方向を画像中での物体の方向とする、という方法で求める。また、オプティカルフロー、ニューラルネットワークによる方向推定など、既知の画像処理アルゴリズムを用いて求めても良い。
さらに、ＬｉＤＡＲあるいはミリ波レーダなど他のセンサからの情報が使用できる場合は、そのセンサから求めた方向を用いてもよい。また、設置位置が異なる他のカメラから得た画像情報を用いて算出しても良い。さらに、抽出された物体が車両の場合その車両のＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ：衛星測位システム）センサからの情報または速度の情報が取得できる場合にはその情報を用いてもよい。
さらに、ＬｉＤＡＲあるいはミリ波レーダなど他のセンサからの情報が使用できる場合は、そのセンサから求めた方向を用いてもよい。また、設置位置が異なる他のカメラから得た画像情報を用いて算出しても良い。さらに、抽出された物体が車両の場合その車両のＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ：衛星測位システム）センサからの情報または速度の情報が取得できる場合にはその情報を用いてもよい。
【0025】
底面領域算出部２０３は、物体抽出部２０１から取得した矩形である２Ｄ－ＢＢＯＸの情報と、方向算出部２０２で算出された物体の画像上での方向情報を用いて、物体の底面領域を算出する。
図６は、画像座標における物体の底面領域を算出する方法を説明するための図、図７は画像座標における底面領域から実世界座標における底面領域への算出方法を説明するための図である。図７中、図７Ａは画像座標、図７Ｂは実世界座標を示す。
各図において、以下の通り物理量を定義する。
ｗbbox：２Ｄ―ＢＢＯＸの横幅
ｈbbox：２Ｄ―ＢＢＯＸの縦幅
Ｌpix：画像上での物体の縦幅
Ｗpix：画像上での物体の横幅
ｒａｔｉｏ＿pix：画像上での物体の縦幅と横幅の比率（Ｌpix／Ｗpix）
θ：Ｌpixとｘ軸とのなす角度
φ：Ｗpixとｘ軸とのなす角度
図６は、画像座標における物体の底面領域を算出する方法を説明するための図、図７は画像座標における底面領域から実世界座標における底面領域への算出方法を説明するための図である。図７中、図７Ａは画像座標、図７Ｂは実世界座標を示す。
各図において、以下の通り物理量を定義する。
ｗbbox：２Ｄ―ＢＢＯＸの横幅
ｈbbox：２Ｄ―ＢＢＯＸの縦幅
Ｌpix：画像上での物体の縦幅
Ｗpix：画像上での物体の横幅
ｒａｔｉｏ＿pix：画像上での物体の縦幅と横幅の比率（Ｌpix／Ｗpix）
θ：Ｌpixとｘ軸とのなす角度
φ：Ｗpixとｘ軸とのなす角度
【0026】
次に底面領域算出の手順を説明する。
１）図７Ａにおいて、２Ｄ―ＢＢＯＸの下端の中心（座標（(x0＋x1)/2，y1））に物体がｘ軸とのなす角度θを有すると仮定する。角度θは方向算出部２０２で推定された物体の画像上における方向を示す角度である。
２）図７Ａにおいて、Ｌtmp、Ｗ’tmpを作成する。Ｌtmpは、２Ｄ―ＢＢＯＸの下端中心から角度θで任意の長さ（例えば、２Ｄ―ＢＢＯＸの高さの半分）を伸ばしたベクトルであり、任意の長さは例えば２Ｄ―ＢＢＯＸの縦の長さの半分とする。Ｗ’tmpは、２Ｄ―ＢＢＯＸの下端中心から任意の角度で、長さＬtmp／ｒａｔｉｏ＿wだけ伸ばしたベクトルである。任意の角度は例えば９０°―θである。ここでは、予めｒａｔｉｏ＿wを設定しておく。
３）ベクトルＬtmp、ベクトルＷ’tmpをホモグラフィ行列Ｍを用いて、それぞれ実世界座標系のベクトルＬtmp_w、ベクトルＷ’tmp_wに変換する。
４）図７Ｂの実世界座標系において、ベクトルＷ’tmp_wをベクトルＬtmp_wと直角をなすように回転し、長さがＬtmp_wの１／ｒａｔｉｏ＿wとなるように拡大あるいは縮小して調整し、それをベクトルＷtmp_wとする。すなわち、
｜Ｗtmp_w｜＝｜Ｌtmp_w｜／ｒａｔｉｏ＿w
とする。上述したとおり、実世界座標上での物体の縦幅と横幅の比率であるｒａｔｉｏ＿wは予め設定しておく。
５）ベクトルＷtmp_wをホモグラフィ行列の逆行列Ｍ-１で変換し、それをベクトルＷtmpとする。
６）図７Ａにおいて、ベクトルＬtmpとベクトルＷtmpの長さの比がｒａｔｉｏ＿pixであり、ベクトルＷtmpとｘ軸とのなす角度が角度φである。
７）図６において、２Ｄ―ＢＢＯＸは画像中の物体を内接して囲む、ｘ軸に平行な辺を有する矩形で表される。そのため、２Ｄ―ＢＢＯＸの横幅ｗbboxは式（１）で表すことができる。式（１）を用いて、画像上での物体の横幅Ｗpixに関して解くことで、物体の横幅Ｗpixと、画像上での物体の縦幅Ｌpix（Ｌpix＝Ｗpix×ｒａｔｉｏ＿pix）を求めることができる。
１）図７Ａにおいて、２Ｄ―ＢＢＯＸの下端の中心（座標（(x0＋x1)/2，y1））に物体がｘ軸とのなす角度θを有すると仮定する。角度θは方向算出部２０２で推定された物体の画像上における方向を示す角度である。
２）図７Ａにおいて、Ｌtmp、Ｗ’tmpを作成する。Ｌtmpは、２Ｄ―ＢＢＯＸの下端中心から角度θで任意の長さ（例えば、２Ｄ―ＢＢＯＸの高さの半分）を伸ばしたベクトルであり、任意の長さは例えば２Ｄ―ＢＢＯＸの縦の長さの半分とする。Ｗ’tmpは、２Ｄ―ＢＢＯＸの下端中心から任意の角度で、長さＬtmp／ｒａｔｉｏ＿wだけ伸ばしたベクトルである。任意の角度は例えば９０°―θである。ここでは、予めｒａｔｉｏ＿wを設定しておく。
３）ベクトルＬtmp、ベクトルＷ’tmpをホモグラフィ行列Ｍを用いて、それぞれ実世界座標系のベクトルＬtmp_w、ベクトルＷ’tmp_wに変換する。
４）図７Ｂの実世界座標系において、ベクトルＷ’tmp_wをベクトルＬtmp_wと直角をなすように回転し、長さがＬtmp_wの１／ｒａｔｉｏ＿wとなるように拡大あるいは縮小して調整し、それをベクトルＷtmp_wとする。すなわち、
｜Ｗtmp_w｜＝｜Ｌtmp_w｜／ｒａｔｉｏ＿w
とする。上述したとおり、実世界座標上での物体の縦幅と横幅の比率であるｒａｔｉｏ＿wは予め設定しておく。
５）ベクトルＷtmp_wをホモグラフィ行列の逆行列Ｍ-１で変換し、それをベクトルＷtmpとする。
６）図７Ａにおいて、ベクトルＬtmpとベクトルＷtmpの長さの比がｒａｔｉｏ＿pixであり、ベクトルＷtmpとｘ軸とのなす角度が角度φである。
７）図６において、２Ｄ―ＢＢＯＸは画像中の物体を内接して囲む、ｘ軸に平行な辺を有する矩形で表される。そのため、２Ｄ―ＢＢＯＸの横幅ｗbboxは式（１）で表すことができる。式（１）を用いて、画像上での物体の横幅Ｗpixに関して解くことで、物体の横幅Ｗpixと、画像上での物体の縦幅Ｌpix（Ｌpix＝Ｗpix×ｒａｔｉｏ＿pix）を求めることができる。
【0027】
【数1】
【0028】
出力部２０４では底面領域算出部２０３で算出された、検知した物体の底面領域を出力する。図８は、底面領域算出部２０３で算出された物体の底面領域の例を示す図である。図８Ａは画像中に破線の矩形で底面領域ＢＡｐを示し、図８Ｂはダイナミックマップ中に破線の矩形で底面領域ＢＡｗを示している。両者は領域の各頂点をホモグラフィ変換／逆変換することで相互に変換可能である。なお、出力の形式はこのような矩形に限らず任意であり、例えば「４頂点それぞれの実世界座標上での位置」あるいは「実世界座標上での物体中心（底面領域中心）の位置と、横幅縦幅、方向」等で出力してもよい。
【0029】
上述の底面領域の算出における条件について説明する。図９は、物体の方向に応じて底面領域が変化することを説明するための図で、図９Ａは画像上で角度θ１の方向の物体の例であり底面領域ＢＡｐ１を示し、図９Ｂは画像上で角度θ２の方向の物体の例を示す図であり底面領域ＢＡｐ２を示す。図１０は、物体の長さに関する条件について説明するための図である。図１０中、図１０Ａは２Ｄ―ＢＢＯＸの下端の中心に物体がｘ軸とのなす角度θを有する場合の底面領域を示す例であり、図１０Ｂは２Ｄ―ＢＢＯＸの下端の中心から離れた位置に物体がｘ軸とのなす角度θを有する場合の底面領域の例である。換言すると図９中図９Ａと図９Ｂとは同一車両で方向の異なる例、図１０中図１０Ａと図１０Ｂとは大きさ（長さ、幅）の異なる車両が同一方向の状態である例である。
【0030】
中心座標は、通常物体位置の中心を示す座標であるが、画像上の２Ｄ―ＢＢＯＸにおいて、どの位置が物体の中心座標として最適であるかは、物体の位置、大きさ、方向及びカメラの位置に応じて変化する。例えば２Ｄ―ＢＢＯＸの中心を物体中心として実世界座標に変換する場合、図９Ｂの物体の方向は角度θ２であり、図９Ａの物体の角度θ１より小さい方向となっており、通常のホモグラフィ行列による変換において高い位置精度で底面領域を取得することができない。また、図１０Ａ及び図１０Ｂに示す同じ角度θを有する物体については、ホモグラフィ行列による変換において、何らかの条件がないと両者を区別することができない。
【0031】
本実施の形態では、２Ｄ―ＢＢＯＸの下端の中心に物体がｘ軸とのなす角度θを有すること、及び実世界座標上のベクトルＷtmp_wとベクトルＬtmp_wとの比ｒａｔｉｏ＿w（＝Ｌtmp_w／Ｗtmp_w）を用いることにより、ホモグラフィ行列による変換において高い精度で底面領域を推定でき、物体の位置精度を向上させることが可能となった。すなわち、画像上での「物体の方向θ」、「２Ｄ―ＢＢＯＸの横幅Ｗbbox」及び「実世界座標における物体の縦横比」を条件として用いることで、式（１）を解くことができる。さらに、図９中図９Ａと図９Ｂとは同一車両で方向の異なる例、図１０中図１０Ａと図１０Ｂとは大きさ（長さ、幅）の異なる車両が同一方向の状態である例においても、これらの条件を用いることで、精度よく底面領域を推定でき、物体の位置も精度よく算出することが可能となった。
【0032】
なお、画像において、物体がｘ軸とのなす角度θが２Ｄ―ＢＢＯＸの下端の中心近傍であれば、角度φ及び画像上での物体の縦幅と横幅との比率ｒａｔｉｏ＿pixはほぼ変化がない。
また、検知する物体を各種車両で考えた場合、例えばトラックと乗用車とでは縦の長さは大きく異なるが、縦横比は大きくは変わらないと想定されるため、本実施の形態では、この縦横比として比ｒａｔｉｏ＿wを予め設定して用いた。この条件は、縦横比に限るものではなく、実世界座標における物体の縦もしくは横の長さであってもよい。
また、検知する物体を各種車両で考えた場合、例えばトラックと乗用車とでは縦の長さは大きく異なるが、縦横比は大きくは変わらないと想定されるため、本実施の形態では、この縦横比として比ｒａｔｉｏ＿wを予め設定して用いた。この条件は、縦横比に限るものではなく、実世界座標における物体の縦もしくは横の長さであってもよい。
【0033】
例えば、「実世界座標における物体の縦の長さＬw」が既知あるいは設定されているとする。
１）ベクトルＬtmp、ベクトルＷ’tmpをホモグラフィ行列Ｍを用いて、それぞれ実世界座標系のベクトルＬtmp_w、ベクトルＷ’tmp_wに変換した後、ベクトルＬtmp_wの長さをＬw／｜Ｌtmp_w｜倍する。
２）ベクトルＷ’tmp_wをベクトルＬtmp_wと直交させるように回転させ、それをベクトルＷtmp_wとする。
３）ベクトルＬtmp_wとベクトルＷtmp_wをホモグラフィ行列の逆行列Ｍ-１で変換し、それぞれベクトルＬtmp_w_pix、ベクトルＷtmp_w_pixとする。
４）ベクトルＬtmp_w_pixの先端が２Ｄ―ＢＢＯＸに接するように平行移動させ、それを画像上での物体の縦幅Ｌpixとする。ベクトルＬtmp_w_pixと同じだけベクトルＷtmp_w_pix を平行移動させたのち、ベクトルＷtmp_w_pixの先端が２Ｄ―ＢＢＯＸに接するように長さを調整したものをスケールしたものを画像上での物体の横幅Ｗpixとする。
「実世界座標における物体の横の長さＷw」が既知あるいは設定されている場合も同様に、画像上での物体の縦幅Ｌpix、物体の横幅Ｗpixを求めることができる。
これらの条件は「物体の長さ」に関する条件である。
１）ベクトルＬtmp、ベクトルＷ’tmpをホモグラフィ行列Ｍを用いて、それぞれ実世界座標系のベクトルＬtmp_w、ベクトルＷ’tmp_wに変換した後、ベクトルＬtmp_wの長さをＬw／｜Ｌtmp_w｜倍する。
２）ベクトルＷ’tmp_wをベクトルＬtmp_wと直交させるように回転させ、それをベクトルＷtmp_wとする。
３）ベクトルＬtmp_wとベクトルＷtmp_wをホモグラフィ行列の逆行列Ｍ-１で変換し、それぞれベクトルＬtmp_w_pix、ベクトルＷtmp_w_pixとする。
４）ベクトルＬtmp_w_pixの先端が２Ｄ―ＢＢＯＸに接するように平行移動させ、それを画像上での物体の縦幅Ｌpixとする。ベクトルＬtmp_w_pixと同じだけベクトルＷtmp_w_pix を平行移動させたのち、ベクトルＷtmp_w_pixの先端が２Ｄ―ＢＢＯＸに接するように長さを調整したものをスケールしたものを画像上での物体の横幅Ｗpixとする。
「実世界座標における物体の横の長さＷw」が既知あるいは設定されている場合も同様に、画像上での物体の縦幅Ｌpix、物体の横幅Ｗpixを求めることができる。
これらの条件は「物体の長さ」に関する条件である。
【0034】
＜物体検出装置２００の動作＞
次に、実施の形態１に係る物体検出装置２００における物体検出の手順を図１１のフローチャートを用いて説明する。なお、図１１のフローチャートの処理は、繰り返し実行される。図１１の各ステップを図２の物体検出装置２００の機能ブロック図に示される各機能部と対応付けて説明する。
次に、実施の形態１に係る物体検出装置２００における物体検出の手順を図１１のフローチャートを用いて説明する。なお、図１１のフローチャートの処理は、繰り返し実行される。図１１の各ステップを図２の物体検出装置２００の機能ブロック図に示される各機能部と対応付けて説明する。
【0035】
まず、ステップＳ１０１において、物体抽出部２０１は路側機ＲＵに搭載されたカメラで撮像した画像を撮像部１００により取得する。
【0036】
次に、ステップＳ１０２において、物体抽出部２０１は撮像部１００から取得した画像から物体を抽出し、物体を内接して囲む２Ｄ―ＢＢＯＸを出力する。
【0037】
次に、ステップＳ１０３において、方向算出部２０２は物体抽出部２０１から出力された２Ｄ―ＢＢＯＸを用い、物体の画像上での方向を算出する。
【0038】
次に、ステップＳ１０４において、底面領域算出部２０３は物体抽出部２０１から出力された２Ｄ―ＢＢＯＸ及び方向算出部２０２で算出された物体の方向を用い、画像上及びダイナミックマップ上での物体の底面領域を算出する。
【0039】
最後に、出力部２０４は底面領域算出部２０３で算出された物体の底面領域を出力する。
以上の動作により、物体検出装置２００は、路側機ＲＵのカメラで取得した画像から物体を検出し、物体の位置、大きさ（幅、長さ）及び方向を含む、物体の底面領域の情報を出力する。
以上の動作により、物体検出装置２００は、路側機ＲＵのカメラで取得した画像から物体を検出し、物体の位置、大きさ（幅、長さ）及び方向を含む、物体の底面領域の情報を出力する。
【0040】
以上のように、実施の形態１によれば、物体検出装置２００は、撮像部１００で取得した画像から物体を抽出し、物体を内接して囲む矩形である２Ｄ―ＢＢＯＸとして出力する物体抽出部２０１と、物体抽出部２０１で抽出された物体の画像上での方向θを算出する方向算出部２０２と、２Ｄ―ＢＢＯＸの幅及び方向算出部２０２で算出された物体の画像上での方向θを用いて、物体の画像上での底面領域及び実世界座標上での底面領域を算出する底面領域算出部２０３と、を備えている。この構成において、物体の画像上での方向θを用いてホモグラフィ行列による変換を行っているので、物体の方向に応じた中心位置の変化にも対応可能となる。そのため、従来の手法より、物体の画像上及び実世界座標上での底面領域を精度よく算出可能となるので、物体の位置、大きさ（幅、長さ）及び方向を高精度に推定可能な物体検出装置２００を得ることができる。
【0041】
また、底面領域算出部２０３は、実世界座標における「物体の縦の長さ」。「物体の横の長さ」及び「物体の縦横比」のいずれかである「物体の長さ」の条件を用いて演算処理するので、同じ方向の大きさの異なる車両を区別して、物体の画像上での底面領域及び実世界座標上での底面領域を算出可能となる。
【0042】
実施の形態２．
以下に、実施の形態２に係る物体検出システム及び物体検出装置について図を用いて説明する。
なお、実施の形態２に係る物体検出システムの構成は実施の形態１の図１と同様であり、説明を省略する。
以下に、実施の形態２に係る物体検出システム及び物体検出装置について図を用いて説明する。
なお、実施の形態２に係る物体検出システムの構成は実施の形態１の図１と同様であり、説明を省略する。
【0043】
＜物体検出装置２００の構成＞
図１２は、実施の形態２に係る物体検出装置２００の構成を示す機能ブロック図である。図１２において、物体検出装置２００は、実施の形態１の図２の構成において、物体抽出部２０１に種別判定部２０１ａを具備する。
物体抽出部２０１は、撮像部１００により取得した画像から物体を抽出し物体を内接して囲む２Ｄ―ＢＢＯＸとして出力するとともに、種別判定部２０１ａによりその物体の種別を判定する。ここで、物体の種別の判定とは、例えば、普通車両、トラック等の大型車両、二輪車両、人等を判別することである。種別判定部２０１ａは、ニューラルネットワークを用いた物体検出モデル等の既存技術により種別判定を実施する。なお、種別判定に用いられる学習済モデル等は物体検出システム１０の具備する記憶部３００に格納され、種別判定実施時に読み出されるようにしてもよい。
図１２は、実施の形態２に係る物体検出装置２００の構成を示す機能ブロック図である。図１２において、物体検出装置２００は、実施の形態１の図２の構成において、物体抽出部２０１に種別判定部２０１ａを具備する。
物体抽出部２０１は、撮像部１００により取得した画像から物体を抽出し物体を内接して囲む２Ｄ―ＢＢＯＸとして出力するとともに、種別判定部２０１ａによりその物体の種別を判定する。ここで、物体の種別の判定とは、例えば、普通車両、トラック等の大型車両、二輪車両、人等を判別することである。種別判定部２０１ａは、ニューラルネットワークを用いた物体検出モデル等の既存技術により種別判定を実施する。なお、種別判定に用いられる学習済モデル等は物体検出システム１０の具備する記憶部３００に格納され、種別判定実施時に読み出されるようにしてもよい。
【0044】
方向算出部２０２は実施の形態１と同様に物体抽出部２０１により抽出された物体の画像上での物体の方向を算出する。
【0045】
底面領域算出部２０３において、実施の形態１と同様に物体抽出部２０１で抽出された物体の２Ｄ―ＢＢＯＸ及び方向算出部２０２で算出された物体の方向情報を用いて物体の底面領域を算出する。この時、種別判定部２０１ａにより判定された物体の種別に応じた「物体の長さ」「物体の縦横比」を用いて、底面領域を算出する。例えば、普通車両であれば縦横比３：１、大型車両であれば４：１、人であれば１：１等である。普通車両であれば縦の長さ３ｍ、大型車両であれば縦の長さ８ｍ、人であれば縦の長さ１ｍ、等としても良い。これら種別に紐づけられたデータは、物体検出システム１０の具備する記憶部３００に格納され、底面領域算出部２０３に読みだされて底面領域の算出に用いられる。
【0046】
出力部２０４は底面領域算出部２０３で算出された物体の位置、大きさ（幅、長さ）及び方向を含む、物体の底面領域の情報を出力する。
【0047】
以上のように、実施の形態２によれば、実施の形態１と同様の効果を奏する。また、物体抽出部２０１に種別判定部２０１ａを備えるので、撮像部１００により取得した画像から物体を抽出し物体を内接して囲む２Ｄ―ＢＢＯＸとして出力するとともに、種別判定部２０１ａによりその物体の種別を判定することが可能となる。これにより、底面領域算出部２０３で判別された物体の種別に基づいた「物体の長さ」あるいは「物体の縦横比」等を用いて、底面領域を算出するので、より高精度に底面領域を算出することが可能となり、推定された物体の位置精度が向上する。
【0048】
実施の形態３．
以下に、実施の形態３に係る物体検出システム及び物体検出装置について図を用いて説明する。
なお、実施の形態３に係る物体検出システムの構成は実施の形態１の図１と同様であり、説明を省略する。
以下に、実施の形態３に係る物体検出システム及び物体検出装置について図を用いて説明する。
なお、実施の形態３に係る物体検出システムの構成は実施の形態１の図１と同様であり、説明を省略する。
【0049】
＜物体検出装置２００の構成＞
図１３は、実施の形態３に係る物体検出装置２００の構成を示す機能ブロック図である。図１３において、物体検出装置２００は、実施の形態１の図２の構成において、物体方向マップ２０２ａを具備する。方向算出部２０２は物体方向マップ２０２ａを参照して、物体の方向を算出する。
図１３は、実施の形態３に係る物体検出装置２００の構成を示す機能ブロック図である。図１３において、物体検出装置２００は、実施の形態１の図２の構成において、物体方向マップ２０２ａを具備する。方向算出部２０２は物体方向マップ２０２ａを参照して、物体の方向を算出する。
【0050】
図１４は、物体方向マップ２０２ａを説明するための図である。物体方向マップ２０２ａは、物体の実世界座標での位置に応じて物体の方向を定義したものである。図１４に示すように、例えば南北に延びる道路上では９０°、東西に延びる道路上では１８０°のように定義する。本実施の形態３では２Ｄ－ＢＢＯＸの任意の位置を物体の中心座標として行列Ｍで実世界座標での位置に変換した後、その位置に応じた物体の方向をこのマップから取得することで物体の方向を決定する。
【0051】
【0052】
実施の形態１と同様に、まずステップＳ２０１において、物体抽出部２０１は路側機ＲＵに搭載されたカメラで撮像した画像を撮像部１００により取得し、ステップＳ２０２において、物体抽出部２０１は画像から物体を抽出し、物体を内接して囲む２Ｄ―ＢＢＯＸとして出力する。
【0053】
次に、ステップＳ２０３において、方向算出部２０２は物体抽出部２０１から出力された２Ｄ―ＢＢＯＸを用い、実施の形態１で示したように、２Ｄ―ＢＢＯＸの下端の中心位置など、任意の位置を設定して画像座標から実世界座標への変換を行う。
【0054】
ステップＳ２０４において、変換後の実世界座標上の位置での物体方向を物体方向マップ２０２ａから取得する。取得した実世界座標上の方向は、画像座標上での方向に変換後、底面領域算出部２０３に出力される。
【0055】
ステップＳ２０５において、底面領域算出部２０３は物体抽出部２０１から出力された２Ｄ―ＢＢＯＸ及び方向算出部２０２で出力された物体の方向を用い、画像上及びダイナミックマップ上での物体の底面領域を算出する。
出力部２０４は底面領域算出部２０３で算出された物体の底面領域を出力する。
出力部２０４は底面領域算出部２０３で算出された物体の底面領域を出力する。
【0056】
実施の形態１、２のように、物体方向マップ２０２ａを用いずに、物体の方向を算出することも可能である。しかし、他の手法により算出した物体方向の信頼度が低い場合に物体方向マップ２０２ａから取得した方向を用いる、あるいは一部の検出領域に対してのみ物体方向マップ２０２ａから取得した方向を用いる、といった構成が考えられる。具体的には、２Ｄ―ＢＢＯＸ位置の時系列的な変化量が小さく予め設定された閾値以下の場合、あるいは車線が狭く車両の方向が限定されている場合では、本実施の形態３に係る物体方向マップ２０２ａから取得した方向を物体方向として使用する方が、底面領域の算出精度が高くなる。このように、使い分けることで、物体検出の精度が向上する。
【0057】
以上のように、実施の形態３によれば、実施の形態１と同様の効果を奏する。また、物体検出装置２００に物体方向マップ２０２ａを備えるので、他の手法により算出した物体方向の信頼度が低い場合に物体方向マップ２０２ａを用いて補完することが可能となる。これにより、より高精度に底面領域を算出することが可能となり、検出された物体の位置精度が向上する。
【0058】
実施の形態４．
以下に、実施の形態４に係る物体検出システム及び物体検出装置について図を用いて説明する。
なお、実施の形態４に係る物体検出システムの構成は実施の形態１の図１と同様であり、説明を省略する。
以下に、実施の形態４に係る物体検出システム及び物体検出装置について図を用いて説明する。
なお、実施の形態４に係る物体検出システムの構成は実施の形態１の図１と同様であり、説明を省略する。
【0059】
＜物体検出装置２００の構成＞
図１６は、実施の形態４に係る物体検出装置２００の構成を示す機能ブロック図である。図１６において、物体検出装置２００は、実施の形態４の図１３の構成において、物体方向マップ２０２ａの代わりに物体方向テーブル２０２ｂを具備する。方向算出部２０２は物体方向テーブル２０２ｂを参照して、物体の方向を算出する。
図１６は、実施の形態４に係る物体検出装置２００の構成を示す機能ブロック図である。図１６において、物体検出装置２００は、実施の形態４の図１３の構成において、物体方向マップ２０２ａの代わりに物体方向テーブル２０２ｂを具備する。方向算出部２０２は物体方向テーブル２０２ｂを参照して、物体の方向を算出する。
【0060】
物体方向テーブル２０２ｂは、２Ｄ―ＢＢＯＸの縦横比に応じて物体の方向を定義したものである。図９中図９Ａ，９Ｂに示したように、同一の物体であれば物体の位置及び方向に応じて２Ｄ―ＢＢＯＸの縦横比が変化することが想定される。そのため、物体の種別、位置と縦横比に応じた物体の方向の対応表を事前に作成し、テーブル化しておく。
【0061】
図１７は物体方向テーブル２０２ｂの一例を示す図である。種別、画像座標上の中心座標、２Ｄ―ＢＢＯＸの縦横比、実世界座標上での角度及び画像座標上での角度に対する情報をテーブル化しておけばよい。ここでは普通車両、画像座標上での中心座標（ｘ１，ｙ１）、２Ｄ―ＢＢＯＸの縦横比３：１、実世界座標上での角度３０°、画像座標上での角度１７０°の例が示されている。このような物体方向テーブル２０２ｂを備えておけば、例えば、物体抽出部２０１で抽出された物体が静止した物体であり、２Ｄ―ＢＢＯＸ位置の時系列履歴が方向算出に使用できない場合であっても物体の方向を推定することが可能となる。
【0062】
ただし、底面領域が同じでも物体の高さが変わると２Ｄ―ＢＢＯＸの縦幅ｈbboxが変わり縦横比も変わるため、本手法は幅、長さ、高さが同一の物体の間でしか適用できない。そのため、本手法は「種別ごとで車両の大きさが全て同一」という仮定ができる場合に有効である。具体的には、工場内の運搬車両が全て同一の型番であれば、幅、長さ、高さが同一の物体として抽出され、物体方向テーブル２０２ｂを用いることができる。
【0063】
また、この縦横比からでは画像座標上でｙ軸に関して対称な方向（１０°と１７０°、６０°と１２０°など）の区別ができないため、そのどちらが真の方向かは別途２Ｄ―ＢＢＯＸ位置の履歴から推定する、あるいは区別せずにそのまま２種類の底面情報を出力すればよい。２Ｄ―ＢＢＯＸ位置の履歴から推定する場合、例えば、縦横比が３：２のとき、２Ｄ―ＢＢＯＸ位置が右上方向に動いている場合は７０°、左上方向に動いている場合は１１０°と判断できる。
【0064】
実施の形態１、２のように、物体方向テーブル２０２ｂを用いずに、物体の方向を算出することも可能である。しかし、実施の形態３と同様、他の手法により算出した物体方向の信頼度が低い場合に物体方向テーブル２０２ｂから取得した方向を用いる、あるいは一部の検出領域に対してのみ物体方向テーブル２０２ｂから取得した方向を用いる、といった構成が考えられる。
【0065】
以上のように、実施の形態４によれば、実施の形態１と同様の効果を奏する。また、物体検出装置２００に物体方向テーブル２０２ｂを備えるので、幅、長さ、高さが同一の物体が検出対象の場合、他の手法により算出した物体方向の信頼度が低い場合に物体方向マップ２０２ａを用いて補完することが可能となる。これにより、より高精度に底面領域を算出することが可能となり、検出された物体の位置精度が向上する。
【0066】
上述の実施の形態１から４における物体検出システム１０及び物体検出装置２００の各機能部は、図１８に例示のハードウエア構成、つまり演算処理回路１００１、各機能部の機能を実行するプログラムが格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びプログラムによる演算結果である各機能部の実行結果の各データを保存するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む記憶装置１００２、及び入出力回路１００３を具備して構成される。
入出力回路１００３には、撮像部１００からの画像情報が入力されるとともに、記憶装置１００２に画像情報が格納される。また、物体検出装置２００の出力は自動運転システムに適用されるため、例えば自動運転車両あるいは管制システムに出力される。
入出力回路１００３には、撮像部１００からの画像情報が入力されるとともに、記憶装置１００２に画像情報が格納される。また、物体検出装置２００の出力は自動運転システムに適用されるため、例えば自動運転車両あるいは管制システムに出力される。
【0067】
また、上述の実施の形態１から４における物体検出システム１０及び物体検出装置２００の各機能部は、図１９に例示のハードウエア構成、すなわち、図１８の構成にさらに通信回路１００４を備えた構成であってもよい。撮像部１００，物体検出装置２００及び記憶部３００の間を有線または無線で信号の授受が可能となる。
通信回路１００４は通信モジュールとして、例えば広域通信部と狭域通信部とを備える。広域通信部は、所定の広域無線通信規格、例えばＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）あるいは４Ｇ、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ；第５世代移動通信システム）に準拠したものを用いる。狭域通信部は例えば、ＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）などを用いればよい。
通信回路１００４は通信モジュールとして、例えば広域通信部と狭域通信部とを備える。広域通信部は、所定の広域無線通信規格、例えばＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）あるいは４Ｇ、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ；第５世代移動通信システム）に準拠したものを用いる。狭域通信部は例えば、ＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）などを用いればよい。
【0068】
なお、演算処理回路１００１には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのプロセッサが適用される。また、演算処理回路１００１には、専用のハードウエアが適用されても良い。演算処理回路１００１が専用のハードウエアである場合、演算処理回路１００１は、たとえば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたもの等が該当する。
【0069】
また、物体検出システム１０及び物体検出装置２００は各機能部が個別の演算処理回路で実現されていても良いし、それらがまとめて１つの演算処理回路で実現されていてもよい。
さらに、物体検出システム１０及び物体検出装置２００の各機能部は、一部の機能については専用のハードウエアとして演算処理回路でその機能を実現し、他の機能についてはソフトウエアで実現する等、ハードウエア、ソフトウエア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
さらに、物体検出システム１０及び物体検出装置２００の各機能部は、一部の機能については専用のハードウエアとして演算処理回路でその機能を実現し、他の機能についてはソフトウエアで実現する等、ハードウエア、ソフトウエア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
【0070】
＜その他の実施の形態＞
なお、実施の形態１から４に示した物体検出装置２００を備えた物体検出システム１０を自動運転システムに適用した場合、路側機ＲＵで取得した画像から高精度に物体位置を検出してダイナミックマップに反映可能となるので、走行車両は計画的に障害物を回避可能なるなどの効果を奏する。
なお、実施の形態１から４に示した物体検出装置２００を備えた物体検出システム１０を自動運転システムに適用した場合、路側機ＲＵで取得した画像から高精度に物体位置を検出してダイナミックマップに反映可能となるので、走行車両は計画的に障害物を回避可能なるなどの効果を奏する。
【0071】
また、上述の物体検出システム１０及び物体検出装置２００が適用される自動運転システムは、自動車に限るものではなく、他の各種の移動体に適用することが可能である。例えばビル内を点検するようなビル内移動ロボット、ライン点検ロボット、及びパーソナルモビリティなどの自動走行の移動体に対して適用することができる。
【0072】
本願は、様々な例示的な実施の形態及び実施例が記載されているが、１つ、または複数の実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも１つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。
従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも１つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。
【0073】
以下、本開示の諸態様を付記としてまとめて記載する。
【0074】
（付記１）
撮像部で取得した画像から物体を抽出し、実世界座標上での前記物体の位置を算出する物体検出装置であって、
前記画像から前記物体を抽出し、前記物体を内接して囲む矩形を出力する物体抽出部と、
前記物体抽出部で抽出された前記物体の画像上での方向を算出する方向算出部と、
前記物体抽出部から出力される前記矩形の幅及び前記方向算出部で算出された前記物体の画像上での方向を用いて、前記物体の画像上及び実世界座標上での底面領域を算出する底面領域算出部と、を備え、
前記底面領域は前記画像上及び実世界座標上それぞれにおいて前記物体の位置、大きさ及び方向を含んでいる、物体検出装置。
（付記２）
前記底面領域算出部は、さらに実世界座標上での前記物体の幅、長さ及び幅と長さの比のうちいずれかを用いて前記物体の画像上での底面領域及び実世界座標上での底面領域を算出する、付記１に記載の物体検出装置。
（付記３）
前記物体抽出部は、抽出された前記物体の種別判定を行う種別判定部を備え、前記物体を内接して囲む矩形を出力するとともに、前記種別判定部で判定された前記物体の種別を出力し、
前記底面領域算出部は、前記種別判定部で判定された前記物体の種別に基づいて実世界座標上での前記物体の幅、長さ及び幅と長さの比のうちいずれかを用いて前記物体の画像上での底面領域及び実世界座標上での底面領域を算出する、付記２に記載の物体検出装置。
（付記４）
実世界座標上での位置に応じて物体方向が定義された物体方向マップをさらに備え、
前記方向算出部は、前記物体抽出部で抽出された前記物体の画像上での方向を、前記物体方向マップを用いて算出する、付記１から３のいずれか１項に記載の物体検出装置。
（付記５）
前記矩形の縦横比に応じて画像上及び実世界座標上での方向が規定された物体方向テーブルをさらに備え、
前記方向算出部は、前記物体抽出部で抽出された前記物体の画像上での方向を、前記物体方向テーブルを用いて算出する、付記１から３のいずれか１項に記載の物体検出装置。
（付記６）
付記１から５のいずれか１項に記載の物体検出装置と、
前記撮像部と、を備えた物体検出システム。
（付記７）
前記撮像部はカメラを搭載した路側機を備える、付記６に記載の物体検出システム。
撮像部で取得した画像から物体を抽出し、実世界座標上での前記物体の位置を算出する物体検出装置であって、
前記画像から前記物体を抽出し、前記物体を内接して囲む矩形を出力する物体抽出部と、
前記物体抽出部で抽出された前記物体の画像上での方向を算出する方向算出部と、
前記物体抽出部から出力される前記矩形の幅及び前記方向算出部で算出された前記物体の画像上での方向を用いて、前記物体の画像上及び実世界座標上での底面領域を算出する底面領域算出部と、を備え、
前記底面領域は前記画像上及び実世界座標上それぞれにおいて前記物体の位置、大きさ及び方向を含んでいる、物体検出装置。
（付記２）
前記底面領域算出部は、さらに実世界座標上での前記物体の幅、長さ及び幅と長さの比のうちいずれかを用いて前記物体の画像上での底面領域及び実世界座標上での底面領域を算出する、付記１に記載の物体検出装置。
（付記３）
前記物体抽出部は、抽出された前記物体の種別判定を行う種別判定部を備え、前記物体を内接して囲む矩形を出力するとともに、前記種別判定部で判定された前記物体の種別を出力し、
前記底面領域算出部は、前記種別判定部で判定された前記物体の種別に基づいて実世界座標上での前記物体の幅、長さ及び幅と長さの比のうちいずれかを用いて前記物体の画像上での底面領域及び実世界座標上での底面領域を算出する、付記２に記載の物体検出装置。
（付記４）
実世界座標上での位置に応じて物体方向が定義された物体方向マップをさらに備え、
前記方向算出部は、前記物体抽出部で抽出された前記物体の画像上での方向を、前記物体方向マップを用いて算出する、付記１から３のいずれか１項に記載の物体検出装置。
（付記５）
前記矩形の縦横比に応じて画像上及び実世界座標上での方向が規定された物体方向テーブルをさらに備え、
前記方向算出部は、前記物体抽出部で抽出された前記物体の画像上での方向を、前記物体方向テーブルを用いて算出する、付記１から３のいずれか１項に記載の物体検出装置。
（付記６）
付記１から５のいずれか１項に記載の物体検出装置と、
前記撮像部と、を備えた物体検出システム。
（付記７）
前記撮像部はカメラを搭載した路側機を備える、付記６に記載の物体検出システム。
【符号の説明】
【0075】
１０：物体検出システム、 １００：撮像部、 ２００：物体検出装置、 ２０１：物体抽出部、 ２０１ａ：種別判定部、 ２０２：方向算出部、 ２０２ａ：物体方向マップ、 ２０２ｂ：物体方向テーブル、 ２０３：底面領域算出部、 ２０４：出力部、 ３００：記憶部、 １００１：演算処理回路、 １００２：記憶装置、 １００３：入出力回路、 １００４：通信回路、 ＢＡｐ，ＢＡｗ，ＢＡｐ１，ＢＡｐ２：底面領域、 ＲＵ：路側機、 ＶＥ１，ＶＥ２：車両。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】