特許 7571886 寸法推定装置、寸法推定方法、及び寸法推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-15

(45)【発行日】2024-10-23

(54)【発明の名称】寸法推定装置、寸法推定方法、及び寸法推定プログラム

(51)【国際特許分類】

   G01B 11/04 20060101AFI20241016BHJP

   G06T 7/00 20170101ALI20241016BHJP

   G06V 20/58 20220101ALI20241016BHJP

   G06V 10/48 20220101ALI20241016BHJP

   G08G 1/16 20060101ALI20241016BHJP

   H04N 7/18 20060101ALI20241016BHJP

   G06T 7/60 20170101ALI20241016BHJP

【ＦＩ】

G01B11/04 H

G06T7/00 650B

G06V20/58

G06V10/48

G08G1/16 C

H04N7/18 D

H04N7/18 K

G06T7/60 150Z

【請求項の数】 8

(21)【出願番号】P 2023537874

(86)(22)【出願日】2021-07-29

(86)【国際出願番号】 JP2021028218

(87)【国際公開番号】W WO2023007684

(87)【国際公開日】2023-02-02

【審査請求日】2024-01-24

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】森 皓平

(72)【発明者】

【氏名】横畑 夕貴

(72)【発明者】

【氏名】林 亜紀

(72)【発明者】

【氏名】秦 崇洋

(72)【発明者】

【氏名】尾花 和昭

【審査官】山▲崎▼ 和子

(56)【参考文献】

【文献】特開２０１６－１９２１７７（ＪＰ，Ａ）

【文献】特開２０１３－１１４５８５（ＪＰ，Ａ）

【文献】特開２０１５－２１５６６１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０１Ｃ ３／００－３／３２

Ｇ０６Ｔ ７／００

７／６０

Ｇ０６Ｖ ２０／５８

１０／４８

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

移動体において取得される画像を取得する取得部と、
前記画像における、消失点、及び所定の判定線を算出する画像情報算出部と、
前記画像における物体を検出し、前記物体について、撮影位置から近い側の面であって、前記判定線に近接した第１の面を含む矩形である検知矩形を検知する検知部と、
前記検知矩形と前記消失点との関係から求まる前記第１の面の高さと撮影位置から遠い側の面である第２の面の高さとの比に基づいて、前記物体の寸法を推定する寸法推定部と、
を含む寸法推定装置。

【請求項2】

前記寸法推定部は、前記消失点から前記検知矩形の前記第１の面に対する線分を算出し、外接直方体の側面成分としての前記第１の面の高さを算出する請求項１に記載の寸法推定装置。

【請求項3】

前記画像情報算出部は、前記判定線の算出において、カメラのカメラ情報から得られるカメラの位置及び画角に基づいて、撮影可能範囲を算出し、前記画像の下部の所定の距離になる位置に線を引くことにより前記判定線を算出する、請求項１又は請求項２に記載の寸法推定装置。

【請求項4】

前記検知部は、前記物体の側面を検知し、前記検知矩形の前記消失点から遠い側の前記物体の側面と前記消失点とを結ぶ線分を求め、
前記寸法推定部は、前記側面についての前記第１の面と前記第２の面の高さを算出する請求項１～請求項３の何れか１項に記載の寸法推定装置。

【請求項5】

前記画像情報算出部は、複数の判定線を算出し、
前記検知部は、複数の判定線ごとに、前記検知矩形を検出する請求項１～請求項４の何れか１項に記載の寸法推定装置。

【請求項6】

前記判定線までの距離に応じた予め定められた式と高さの前記比を用いて、前記物体の寸法を推定する請求項１～請求項５の何れか１項に記載の寸法推定装置。

【請求項7】

移動体において取得される画像を取得し、
前記画像における、消失点、及び所定の判定線を算出し、
前記画像における物体を検出し、前記物体について、撮影位置から近い側の面である第１の面であって、前記判定線に近接した第１の面を含む矩形である検知矩形を検知し、
前記検知矩形と前記消失点との関係から求まる前記第１の面の高さと撮影位置から遠い側の面である第２の面の高さとの比に基づいて、前記物体の寸法を推定する、
処理をコンピュータに実行させる寸法推定方法。

【請求項8】

移動体において取得される画像を取得し、
前記画像における、消失点、及び所定の判定線を算出し、
前記画像における物体を検出し、前記物体について、撮影位置から近い側の面である第１の面であって、前記判定線に近接した第１の面を含む矩形である検知矩形を検知し、
前記検知矩形と前記消失点との関係から求まる前記第１の面の高さと撮影位置から遠い側の面である第２の面の高さとの比に基づいて、前記物体の寸法を推定する、
処理をコンピュータに実行させる寸法推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、寸法推定装置、寸法推定方法、及び寸法推定プログラムに関する。

【背景技術】

【0002】

ドライブレコーダ等の車載カメラの映像に映った他の物体を検知する技術がある。例えば、ＹＯＬＯに代表される物体検知システムが知られている。

【0003】

また、自動運転の分野においては、例えば観測車両の周囲の他の車両の寸法をもとにして車線変更のタイミングを計る、といった対応が必要となる。寸法を求める手法として、映像内に映った車両の車名を特定し、そのカタログスペックを参照する方式が存在する（非特許文献１参照）。

【0004】

図１は、観測車両から他の車両を観測する場合について模式的に示す図である。図１に示すように、観測車両（Ａ１）から他の車両（Ａ２）を観測して、他の車両の全長の寸法を推定することが想定される。

【先行技術文献】

【非特許文献】

【0005】

【文献】"車名認識システム powered by Zinrai",URL:"https://www.fujitsu.com/jp/products/network/managed-services-network/transport/name-recognition/"

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、車両は、新たな車名ごとに独自の寸法で設計された車両がたびたび登場するため、登場するたびに代表する物体検知システムの学習内容をアップデートする必要があり、ランニングコストが増大する。また、物体検知システムでは車種レベルでの特定が一般的であり、上記の非特許文１献のような専用システムは一般的ではない。なお、ここでいう車種とは、乗用車／トラック／バスといった大まかな分類を指し、例えば同じトラックでも軽トラックのように全長３．４ｍ以下と定められたトラック、全長１２ｍ以下と定められた大型トラックなど様々なものが含まれるため、同分類の中で寸法を求めることができれば汎用性の向上にも貢献する。

【0007】

開示の技術は、上記の点に鑑みてなされたものであり、道路上における他の物体の寸法を精度良く推定できる寸法推定装置、寸法推定方法、及び寸法推定プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示の第１態様は、寸法推定装置であって、移動体において取得される画像を取得する取得部と、前記画像における、消失点、及び所定の判定線を算出する画像情報算出部と、前記画像における物体を検出し、前記物体について、撮影位置から近い側の面であって、前記判定線に近接した第１の面を含む矩形である検知矩形を検知する検知部と、前記検知矩形と前記消失点との関係から求まる前記第１の面の高さと撮影位置から遠い側の面である第２の面の高さとの比に基づいて、前記物体の寸法を推定する寸法推定部と、を含む。

【0009】

本開示の第２態様は、寸法推定方法であって、移動体において取得される画像を取得し、前記画像における、消失点、及び所定の判定線を算出し、前記画像における物体を検出し、前記物体について、撮影位置から近い側の面である第１の面であって、前記判定線に近接した第１の面を含む矩形である検知矩形を検知し、前記検知矩形と前記消失点との関係から求まる前記第１の面の高さと撮影位置から遠い側の面である第２の面の高さとの比に基づいて、前記物体の寸法を推定する、処理をコンピュータに実行させる。

【0010】

本開示の第３態様は、寸法推定プログラムであって、移動体において取得される画像を取得し、前記画像における、消失点、及び所定の判定線を算出し、前記画像における物体を検出し、前記物体について、撮影位置から近い側の面である第１の面であって、前記判定線に近接した第１の面を含む矩形である検知矩形を検知し、前記検知矩形と前記消失点との関係から求まる前記第１の面の高さと撮影位置から遠い側の面である第２の面の高さとの比に基づいて、前記物体の寸法を推定する、処理をコンピュータに実行させる。

【発明の効果】

【0011】

開示の技術によれば、道路上における他の物体の寸法を精度良く推定できることができる。

【図面の簡単な説明】

【0012】

【図1】観測車両から他の車両を観測する場合について模式的に示す図である。

【図2】軽トラック及び大型トラックを観測した映像の一例である。

【図3】カメラと物体との写り方の関係を説明する図である。

【図4】横方向にスライドした複数のカメラと物体との写り方の関係を説明する図である。

【図5】カメラで撮影した地物が直方体、又は当該地物を直方体として捉えたときの一例を示す図である。

【図6】観測車両の前方を撮影するよう設置された車載カメラで撮影した映像において、対象の地物として車両を捉え、車両に対応する外接直方体を描画した場合の一例を示す図である。

【図7】異なる車種の画像を比較した場合の一例を示す図である。

【図8】寸法推定装置のハードウェア構成を示すブロック図である。

【図9】本実施形態の寸法推定装置の機能的な構成を示すブロック図である。

【図10】車載カメラのカメラ情報を模式的に示す図である。

【図11】画像における消失点の一例を示す図である。

【図12】画像上の任意の座標に設けた判定線の一例を示す図である。

【図13】撮影可能範囲の算出における画角の関係を示す図である。

【図14】算出される撮影可能範囲の一例を示す図である。

【図15】画像中の判定線の想定の例を示す図である。

【図16】検知矩形と消失点との関係を模式的に示す図である。

【図17】検知矩形と消失点との関係を模式的に示す図である。

【図18】寸法推定装置による寸法推定の流れを示すフローチャートである。

【図19】消失点の算出のフローチャートである。

【図20】判定線の算出のフローチャートである。

【図21】本実施形態の手法の適用例を示す図である。

【図22】本実施形態の手法の評価を示す図である。

【図23】物体の側面に線分を引く例を示す図である。

【図24】タクシーの評価の例を示す図である。

【図25】タクシーの評価の例を示す図である。

【発明を実施するための形態】

【0013】

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0014】

まず、本開示の概要について説明する。以下、本実施形態で説明する例では、移動体である観測車両から捉えた他の車両の全長の寸法を推定する場合を説明する。なお、画像において、他の車両のフォルムが丸みを帯びている場合等、全長が写り込まない場合も想定されるが、その場合であっても同様に本実施形態の手法を適用可能である。本実施形態の手法によって得られた推定結果は、例えば観測車両が走行した道路上に存在した他の車両の寸法の分布として評価できる。評価において、全長が長いトラック及びバスなどが頻繁に通行していると判断された場合には、道路又は交差点の拡張計画の参考にする、といった用途が想定される。例えば、１２ｍ程度の大型トラックが頻繁に右折／左折している交差点であれば、車線数の増加及び信号の周期の変更についての検討に活用し得る。

【0015】

また、乗用車／トラック／バスを単位時間あたりに追い抜いた台数から車線単位の混雑及び渋滞（レーン別の渋滞）を検知できる。図２は、軽トラック及び大型トラックを観測した映像の一例である。３、４ｍ程度の軽トラックを追い抜く場合と、１２ｍ程度の大型トラックを追い抜く場合とでは要する時間、及び必要な距離が異なる。そのため、「何ｍクラスの車両を追い抜いたのか」を映像から推定する必要が出てくる。

【0016】

また、本実施形態の手法によって得られた推定結果は、例えば観測車両が走行中に追い越そうとしている路上駐車中の車両、又は走行中の周辺車両についての寸法を認識することで、その道路の密集度、又は空白地帯の有無を認識できる。このような認識をすることで、路上駐車や車線変更を図る等の自動運転の操作において観測車両が当該操作を行ってよいかを判断するための自動運転の補助に活用できる。

【0017】

本実施形態で活用する既存技術について説明する。本実施形態では、参考文献１に記載されているようなカメラの原理を活用する。
［参考文献１］"遠近感",URL:" http://www.persfreaks.jp/main/intro/pers/"

【0018】

一般的な車載カメラのような単眼カメラを用いる場合、他車両、又はビルといった地物は消失点に対して収束するように描画される。また、非広角レンズを用いた場合、又は広角レンズの歪みの少ない領域を切り出す場合等、レンズ歪みの影響を受けない画像を用いるのであれば、画像に写る物体のサイズは、透視図のように近似することができ、基準となる地点からの距離に対して法則に従って変化する。画像に写る物体の大きさは「辺の長さ」で表され、面積は正方形であれば辺の長さの２乗で変化する。

【0019】

図３は、カメラと物体との写り方の関係を説明する図である。レンズの歪みがない前提であれば、カメラが撮影している領域において、投影面に並行な面は奥行方向の距離が同一なら同じサイズに映る。カメラと投影面は、３角形の相似で表現でき、底辺の長さと高さは同じ値になるからである。図４は、横方向にスライドした複数のカメラと物体との写り方の関係を説明する図である。側面は画像の横方向に向かって物体とカメラとの距離が離れると大きく見えることになる。側面を底辺として高さが２倍、３倍になった三角形になり、投影面までの距離も２倍、３倍になる。このように、投影面に対して平行な被写体面（例えば他の車両の車幅）は、カメラから当該平行な被写体面までの距離が同一なら被写体が映っている方向によらず同じ大きさに映る。また、投影面に対して奥行方向の被写体面（例えば他の車両の車長）は、被写体がカメラの正面よりも端に映る場合ほど大きく映る、という特性を持つ。

【0020】

図５は、カメラで撮影した地物が直方体、又は当該地物を直方体として捉えたときの一例を示す図である。このとき、次のような特徴を有する。奥行方向のカメラとの距離Ｄが同一の場所に存在する地物は、（１）の直方体の背面と（２）の奥面との辺の長さ及び面積は画像横方向の移動によらず一定である。図５の左及び右では、（１）同士、及び（２）同士の大きさ、すなわち辺の長さ、及び面積は同一である。同様に、背面と奥面の大きさの比、つまり縮小率は距離Ｄ１及び距離Ｄ２の変化に依存する。そのため、例えば同じ全長の矩形であれば（１）及び（２）の大きさ及び画像の横軸方向の位置によらず一定である。また、区画線等と同様に、直方体の面のうち側面を構成する線分は消失点に収束する。

【0021】

図６は、観測車両の前方を撮影するよう設置された車載カメラで撮影した映像において、対象の地物として車両を捉え、車両に対応する外接直方体を描画した場合の一例を示す図である。この場合、車両の外接直方体を描画すると次の特徴を有する。車両について、奥行方向のカメラとの距離Ｄが同一の箇所、ここでは「車両後部（以降リア）」に相当する面（１）が存在し、対応する「車両前部（以降フロント）」に相当する面（２）が存在するとする。このとき、面（１）及び面（２）の大きさの比による縮小率が、距離Ｄ２と距離Ｄ１の差分、つまり当該車両の全長によって決まる。外接直方体は全長が同じになり、例えば全長が４．８ｍで均一であれば別車名又は別車種でも、走行車線が１車線隣でも２車線隣であっても、同じ縮小率になる。

【0022】

図７は、異なる車種の画像を比較した場合の一例を示す図である。図７のように走行車線が異なっており、車線内の中央ではなく端を走行していたとしても、異なる車種、つまり車両の幅が違い側面の見え方が違う場合であっても同じ計算式で全長を求めることができる。図７左の１車線隣かつ中型トラックと、図７右の２車線隣かつ乗用車であっても、上述したように、距離Ｄが同じであれば面（１）と面（２）の縮小率は全長にのみ依存する。本実施形態の技術は、このような原理の特徴を利用した技術である。

【0023】

以下、本実施形態の構成について説明する。

【0024】

図８は、寸法推定装置１００のハードウェア構成を示すブロック図である。

【0025】

図８に示すように、寸法推定装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。

【0026】

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、寸法推定プログラムが格納されている。

【0027】

ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

【0028】

入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。

【0029】

表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能してもよい。

【0030】

通信インタフェース１７は、端末等の他の機器と通信するためのインタフェースである。当該通信には、例えば、イーサネット（登録商標）若しくはＦＤＤＩ等の有線通信の規格、又は、４Ｇ、５Ｇ、若しくはＷｉ－Ｆｉ（登録商標）等の無線通信の規格が用いられる。

【0031】

次に、寸法推定装置１００の各機能構成について説明する。図９は、本実施形態の寸法推定装置の構成を示すブロック図である。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶された寸法推定プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。

【0032】

図９に示すように、寸法推定装置１００は、取得部１１０と、画像情報算出部１１２と、検知部１１４と、寸法推定部１１６と、記憶部１１８とを含んで構成されている。画像情報算出部１１２は、消失点算出部１２０と、判定線算出部１２２とを含んで構成されている。

【0033】

取得部１１０は、観測車両の車載カメラにより撮影された映像から時系列の画像を取得する。時系列の画像とはフレームごとの画像である。また、映像を撮影した車載カメラのカメラ情報を取得する。カメラ情報は、車載カメラの設置位置の座標の情報を含む。図１０は車載カメラのカメラ情報を模式的に示す図である。例として、車載カメラは手前にあり、奥を向いて設置されており、路面から１．３２ｍの位置に設置され，水平は取れていると仮定する。また、垂直画角４７°、水平画角７５°と仮定される。

【0034】

画像情報算出部１１２は、各部の処理により、画像の消失点、及び判定線を算出する。

【0035】

消失点算出部１２０は、取得部１１０で取得した画像から消失点を算出する。消失点算出部１２０では、ハフ変換又は確率的ハフ変換等を用いて、画像内の直線を検出することにより直線成分を抽出し、必要に応じて延長処理を行うことにより、直線間の交点を求め消失点を算出する。なお、消失点の算出について、例えば走行中の道路が左右にカーブしていることが既知である場合、カーブの影響が少ない画像の下領域で検出された直線成分だけを用いるよう範囲を限定して処理を行うようにしてもよい。図１１は、画像における消失点の一例を示す図である。まず（１）画像内の区画線、及びビル等の構造物による複数の直線を検出する。（２）複数の直線を延長し、それらの交点を求め、直線が交わる点が消失点（Ｖ１）となる。実際には、ゼブラゾーンや軽トラックのリアの縦方向の直線等、消失点に向かわない直線も検出される。そのため、各直線を延長した線が最も交差する交点を消失点とするように処理する。また、直線の画像内の傾き等の情報から交点の対象とする直線を厳選したりするといった処理も補助的に追加する必要がある。なお、車載カメラは水平かつ真正面を向くよう設置されることが想定されており、直線を走行中であれば消失点は中央に来るため、画像の中央座標で消失点を代用してもよい。

【0036】

判定線算出部１２２は、取得部１１０で取得したカメラ情報のカメラの位置及び画角から撮影可能範囲を算出し、画像における撮影可能範囲の下部の半分の距離の位置に線を引くことにより判定線を算出する。図１２は、画像上の任意の座標に設けた判定線の一例を示す図である。この例では、判定線が地物に近接しており判定線までの距離が距離Ｄに相当する。距離Ｄは任意の座標に設定すればよい。他の設定方法については後述する。図１３は、撮影可能範囲の算出における画角の関係を示す図である。車載カメラで撮影した画像においては、図１３の（Ａ）のように垂直画角４７°の１／２の角度で下方向が見える。画像の下端はカメラから３．０３５．．．ｍ前方と算出できる。また、（Ｂ）のように、水平画角７５°の１／２の角度で高さを求め、２倍すると、車載カメラの横方向は４．６５．．．ｍの幅が見えていること算出できる。図１４は、算出される撮影可能範囲の一例を示す図である。図１５は、画像中の判定線の想定の例を示す図である。画像下部の左右の隅から消失点に向けて線を引き、画像下部の半分の長さになる位置は、つまりカメラから画像下部までの距離の２倍、本例の場合は６．０７．．．ｍとなる。判定線算出部１２２は、この位置に判定線（Ｌ１）を引く。

【0037】

なお、判定線の算出について、例えば路面が平坦でなく傾斜があった場合は考慮してもよい。逆に、１０ｍ前方程度であれば高さの変化は軽微とみなし影響を考慮しなくてもよい。また、判定線の算出について、車載カメラの路面からの高さを元に算出するのではなく、車載カメラ前方の路面に一定距離ごとにマーキングを実施し、車載カメラの高さとは関係なく、車載カメラからの距離が一定となる画像上の座標が判定線となるよう設定してもよい。また、消失点の算出及び判定線の算出は、映像全体の中の一部の画像を抜粋して算出してよく、同一の車両の映像の場合は一度算出した座標情報を使いまわしてもよい。

【0038】

次に、以下の検知部１１４及び寸法推定部１１６に関する処理の概要を、図１６及び図１７を参照して説明する。図１６及び図１７は、検知矩形と消失点との関係を模式的に示す図である。

【0039】

検知部１１４は、画像における物体を検出し、判定線に近接した第１の面を含む矩形である検知矩形を検知する。第１の面は撮影位置から近い側の面であり、逆に消失点から遠い側の面である。例ではリア側とする。また、第２の面は撮影位置から遠い側の面であり、逆に消失点から近い側の面である。例ではフロント側とする。以降の処理では、図１２に示したような、判定線と物体検知した検知矩形の下端座標が合致する抽出画像を用いて寸法を推定する処理を行う。なお、検知部１１４における入力は、時系列の画像、消失点、及び判定線である。

【0040】

寸法推定部１１６は、検知矩形と消失点との関係から求まる第１の面の高さと第２の面の高さとの比による縮小率に基づいて、他の物体の寸法を推定する。なお、寸法推定部１１６における入力は、抽出画像、消失点、判定線、及び検知矩形の座標情報である。

【0041】

記憶部１１８には、距離Ｄに応じた線形比例の式が格納されている。

【0042】

検知部１１４においては、物体検知技術により他の車両を物体として検知し、検知矩形を検知する。本実施形態において、車両の検知矩形は画像上で算出するため、図１６の平面の矩形形状（Ｋ１）の座標情報が検知される。

【0043】

検知部１１４では、さらに、車両の「背面（リア）」を物体検知する。図１６に示すように、他の車両の検知矩形に「背面（リア）」を重ね合わせる。なお、図１６に示しているフロントの第２の面（Ｆ１）は、検知部１１４によって検知したものではなく、説明の便宜のために仮定したものである。実際には、後述する寸法推定部１１６によりリアとフロントの縮小率から、「フロント」の矩形が求められる。対象の外接直方体を表現することもでき、全線分を明らかにして映像には映らない奥側の線分を用いて縮小率を計算し直すこともできる。

【0044】

Ｒ１とＦ１との位置関係は、消失点の方向に向いた直線上に存在する。ここでは、フロントの車載カメラの映像を用いて、観測車両と同方向に進行する前方車両の全長を求める場合を例としている。しかし、実際には対向車も映像内に存在しフロントが第１の面として映る場合もある。またリアカメラを用いる場合、観測車両と同方向に進行する後方車両もフロントが第１の面として映る。このため、検知部１１４ではリアだけでなくフロントの検知も実施することとしてよい。

【0045】

寸法推定部１１６では、検知矩形を用いて寸法を推定する。図１７に示すように、リア（Ｒ１）の検知矩形の四隅と消失点とを結ぶ線分を算出する。この直線が外接直方体の側面成分になる。なお、実際には四隅すべてから求める必要はなく、当該車両が消失点より右にあるか左にあるかに応じて、使用する線分が左右で変化するため４つとも求めておき、必要に応じて使い分ければよい。この直線成分と、最初に求めた車両の物体としての検知矩形との交点が左右に得られ、これらの交点を結ぶ線が外接直方体のＦ１の一辺に相当する。

【0046】

Ｒ１の検知矩形の高さ（Ｈ１）と、外接直方体のＦ１の高さに相当する線分の長さ（Ｈ２）が求まる。そして、これらの比率を縮小率＝Ｈ２／Ｈ１と求める。ここで、前述のとおり外接直方体の高さは距離Ｄに依存して変化するが、その変化は反比例となる。寸法推定部１１６では、記憶部１１８に格納した式と求めた縮小率から対象の外接直方体の全長を求める。縮小しているほど、つまりＨ２/Ｈ１が小さい値を取るほど、全長が長いことを意味する。

【0047】

全長の寸法の推定方法について説明する。前述の図５に示したように、画像の下から判定線までの距離をＤ１、外接直方体のＦ１までの距離をＤ２としたとき、縮小率は以下の（１）式で表される。

【数1】

・・・（１）
ここでＤ２はつまりＤ１＋対象の全長であることから（１）式を変形していくと対象の全長（寸法）は以下の（２）式で求めることができる。

【数2】

・・・（２）

【0048】

次に、寸法推定装置１００の作用について説明する。

【0049】

図１８は、寸法推定装置１００による寸法推定の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から寸法推定プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、寸法推定処理が行なわれる。

【0050】

ステップＳ１００において、ＣＰＵ１１は、取得部１１０として、観測車両の車載カメラにより撮影された映像から時系列の画像、及び車載カメラのカメラ情報を取得する。

【0051】

ステップＳ１０２において、ＣＰＵ１１は、画像情報算出部１１２として、画像の消失点を算出する。消失点算出部１２０による消失点の算出の作用の詳細については後述する。

【0052】

ステップＳ１０４において、ＣＰＵ１１は、画像情報算出部１１２として、画像の判定線を算出する。判定線算出部１２２による判定線の算出の作用の詳細については後述する。

【0053】

ステップＳ１０６において、ＣＰＵ１１は、検知部１１４として、物体検知技術を用いて、画像における物体を検出する。

【0054】

ステップＳ１０８において、ＣＰＵ１１は、検知部１１４として、画像の各々から、物体について、判定線に近接した第１の面を含む矩形である検知矩形を検知する。なお、これにより、判定線に近接した第１の面を含む抽出画像が得られ、以降の処理はこの抽出画像を用いる。

【0055】

ステップＳ１１０において、ＣＰＵ１１は、寸法推定部１１６として、検知矩形の第１の面の四隅と消失点を結ぶ線分を求め、第１の面の高さを算出する。

【0056】

ステップＳ１１２において、ＣＰＵ１１は、寸法推定部１１６として、線分と検知矩形の第２の面に相当する交点を算出し、交点を結ぶ線をフロントの高さに相当する第２の面の高さとして算出する。

【0057】

ステップＳ１１４において、ＣＰＵ１１は、寸法推定部１１６として、第１の面の高さと第２の面の高さとを比較し縮小率を算出する。

【0058】

ステップＳ１１６において、ＣＰＵ１１は、寸法推定部１１６として、判定線までの距離に応じて判定式を記憶部１１８から取得し、縮小率に応じた全長を推定し、推定結果を出力する。

【0059】

図１９を参照して消失点の算出について説明する。消失点算出部１２０の消失点の算出における入力は、画像である。

【0060】

ステップＳ２００において、ＣＰＵ１１は、消失点算出部１２０として、ハフ変換又は確率的ハフ変換等を用いて、画像内の区画線、及びビル等の構造物による複数の直線を検出する。

【0061】

ステップＳ２０２において、ＣＰＵ１１は、必要に応じて直線に補正処理を施し、直線を延長する。

【0062】

ステップＳ２０４において、ＣＰＵ１１は、直線が交わる点を消失点として算出する。

【0063】

図２０を参照して判定線の算出について説明する。判定線算出部１２２における判定線の算出の入力は、カメラ情報である。

【0064】

ステップＳ３００において、ＣＰＵ１１は、判定線算出部１２２として、カメラ情報のカメラの位置及び画角から撮影可能範囲を算出する。

【0065】

ステップＳ３０２において、ＣＰＵ１１は、判定線算出部１２２として、撮影可能範囲の下部半分の位置に線を引くことにより判定線を算出する。

【0066】

以上説明したように本実施形態の寸法推定装置１００によれば、道路上における他の物体の寸法を精度良く推定できる。

【0067】

本実施形態を適用すると、図２１の例に示すように、約３．４ｍの軽トラックと約１０ｍのバスの外接直方体では縮小率が異なってくる。

【0068】

図２２を参照して、本実施形態の手法の評価について説明する。実施形態では、寸法（全長）が求められるが、実際には物体検知の形状が理想通りに検知されるとは限らない。そのためおおよそ「５ｍ以下、５～１０ｍ、１０ｍ以上」といった分類を実施するに留めてもよい。また判定線までの距離が既知であったり、別手段で求められる前提での処理及び式を記載しているが、これに限られない。映像内に収めた他車両の縮小率のデータを蓄積し、その分布から判定線までの距離がいくつのときのグラフに近しいかを判別することで代用してもよく、また同方法により判定線を求め活用してもよい。

【0069】

説明の便宜のために上記の例では地物を外接直方体として捉えると記載したが、これに限られない。図２３に示すように、地物の「側面」だけを物体検知しても同様の処理が可能である。例えば、検知部１１４は、物体の側面を含む検知矩形を検知し、寸法推定部１１６は、検知矩形の消失点から遠い側の四隅と消失点とを結ぶ線分を引いて、側面についての第１の面の高さと第２の面の高さとを算出してもよい。この場合、リアが見切れていても側面が映っていればよいため対応可能な対象との距離が広がる。

【0070】

また、対象について、図２４のように、例えばタクシー等のようにリアとフロントが車両中央部ほどの高さが無いような形状だとリアの検知矩形は高さが車両の検知矩形に対して小さいことがある。この場合、求めたリアの面を画像の上下方向に拡張し、車両の検知矩形と同じ高さになるよう調整するといった対処を追加してもよい。

【0071】

また、対象の外接直方体を用いた手法を例にしたが、それ以外の直方体を用いてもよい。図２５のように、例えば、タクシーのようにリアとフロントが車両中央部ほどの高さが無いような形状だとリアの検知矩形は高さが車両の検知矩形に対して小さいことがある。この場合でも同様に、消失点に向けた直線を引くことで、車両に対するリアの検知矩形を第１の面とした内接直方体が構成され、その第１の面及び第２の面の間の縮小率を求めることができる。

【0072】

乗用車、トラック、及びバスを対象にする場合を例に説明したが、これに限定されない。例えば、車載カメラの映像内において消失点に向かう立方体又は直方体で表現可能な地物であれば、例えばバイクや自転車も対応可能である。同様に、例えば車載カメラを用いる場合、道路に並行して建造されたビル又は路上変圧器等の建造物の寸法求めることも可能である。道路上ではないものだと、例えば自動配達ロボットがビルの廊下を移動中、前方の段ボールの全長を求めることで最適なルートを算出する等の用途にも利用可能である。

【0073】

また、車載カメラの設置向きについて、観測車両のフロントに設置され前方を向いている前提とする例を説明したがこれに限定されない。例えば、リアに設置され後方を向いたリアカメラを用いてもよい。同様にサイドカメラであれば、同手法を用いて周囲を走行する車両等の地物の「幅員」の寸法を求めることが可能である。

【0074】

また、判定線を決定する手法を応用し、それぞれの交点座標から横に線を引いて、その線が車載カメラから何ｍ先であるかを求めることで、対象の全長を求めることができる。また、側面の横幅の差異からも全長を求めることができる。ただし側面の見え方はカメラと他の車両との実空間における横方向の距離によって変化する。そのため、求めた検知矩形（フロント又はリア）と消失点を結ぶ線分の傾き等から各他の車両の走行車線を推定し、各走行車線の幅員情報を地図データ等から取得し、条件ごとに評価する、といった工程が必要となる。また、車両の全長以外の寸法も算出できる。これにより、例えば幅員と高さが推定できる。このように、判定線算出の手法を活用することにより、車両の全長以外の寸法も算出できる。

【0075】

また、判定線算出部１２２は、複数の判定線を算出してもよい。この場合、例えば、距離Ｄ１、距離Ｄ２と距離の異なる２つの判定線を算出したとすれば、記憶部１１８から取得する判定線までの距離に応じた判定式が異なってくる。また、検知部１１４は、複数の判定線ごとに、近接する第１の面を含む検知矩形を検出すればよい。

【0076】

なお、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した寸法推定処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、寸法推定処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0077】

また、上記実施形態では、寸法推定プログラムがストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0078】

以上の実施形態に関し、更に以下の付記を開示する。

【0079】

（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
移動体において取得される画像を取得し、
前記画像における、消失点、及び所定の判定線を算出し、
前記画像における物体を検出し、前記物体について、撮影位置から近い側の面である第１の面であって、前記判定線に近接した第１の面を含む矩形である検知矩形を検知し、
前記検知矩形と前記消失点との関係から求まる前記第１の面の高さと撮影位置から遠い側の面である第２の面の高さとの比に基づいて、前記物体の寸法を推定する、
ように構成されている寸法推定装置。

【0080】

（付記項２）
寸法推定処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
移動体において取得される画像を取得し、
前記画像における、消失点、及び所定の判定線を算出し、
前記画像における物体を検出し、前記物体について、撮影位置から近い側の面である第１の面であって、前記判定線に近接した第１の面を含む矩形である検知矩形を検知し、
前記検知矩形と前記消失点との関係から求まる前記第１の面の高さと撮影位置から遠い側の面である第２の面の高さとの比に基づいて、前記物体の寸法を推定する、
非一時的記憶媒体。

【符号の説明】

【0081】

１００ 寸法推定装置
１１０ 取得部
１１２ 画像情報算出部
１１４ 検知部
１１６ 寸法推定部
１１８ 記憶部
１２０ 消失点算出部
１２２ 判定線算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】