特開 2023-29065 画像処理装置、撮像装置、及び移動体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023029065

(43)【公開日】2023-03-03

(54)【発明の名称】画像処理装置、撮像装置、及び移動体

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230224BHJP

   B60W 50/14 20200101ALI20230224BHJP

   G06T 7/00 20170101ALI20230224BHJP

【ＦＩ】

G08G1/16 C

B60W50/14

G06T7/00 650A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021135147

(22)【出願日】2021-08-20

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(74)【代理人】

【識別番号】100173794

【弁理士】

【氏名又は名称】色部 暁義

(72)【発明者】

【氏名】原田 直樹

(72)【発明者】

【氏名】山中 一希

(72)【発明者】

【氏名】永元 亮太

(72)【発明者】

【氏名】福井 康弘

【テーマコード（参考）】

3D241

5H181

5L096

【Ｆターム（参考）】

3D241BA60

3D241CE05

3D241DB20Z

3D241DC33Z

5H181AA01

5H181AA26

5H181CC04

5H181LL01

5H181LL02

5H181LL08

5H181LL17

5L096AA06

5L096CA02

5L096DA01

5L096FA66

5L096KA04

(57)【要約】

【課題】所望の目的を達成するように走行する際に、走行可能であるか否かを判別しする。
【解決手段】画像処理装置１４は画像インタフェース１５とプロセッサ１８とを有する。画像インタフェース１５は撮像部１３から撮像画像を取得する。プロセッサ１８は撮像画像の複数の箇所における深度を推定する。プロセッサ１８は複数の箇所における深度及び画像座標を、複数の箇所それぞれに対応する三次元座標に変換する。プロセッサ１８は複数の箇所それぞれに対応する前記三次元座標から移動体１１が走行可能領域を決定する。
【選択図】図８

【特許請求の範囲】

【請求項1】

撮像画像を取得する画像インタフェースと、
前記撮像画像の複数の箇所における深度を推定し、前記複数の箇所における前記深度及び画像座標を、前記複数の箇所それぞれに対応する三次元座標に変換し、前記複数の箇所それぞれに対応する前記三次元座標から移動体の走行可能領域を決定するプロセッサと、を備える
画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記プロセッサは、前記走行可能領域に基づいて、前記移動体の走行経路を計算する
画像処理装置。

【請求項3】

請求項２に記載の画像処理装置において、
前記プロセッサは、障害物の少なくとも一部を回避するように前記走行経路を計算する
画像処理装置。

【請求項4】

請求項２又は３に記載の画像処理装置において、
前記プロセッサは、前記三次元座標に基づく特定の視点からの画像に、決定した前記走行経路上又は該走行経路の近傍に位置する障害物の少なくとも一部を重畳させた画像を生成する
画像処理装置。

【請求項5】

請求項１～４のいずれか一項に記載の画像処理装置において、
前記プロセッサは、前記画像から路面の種類を認識し、前記路面の種類に基づいて前記移動体の駐車可能領域を決定する
画像処理装置。

【請求項6】

請求項５に記載の画像処理装置において、
前記路面の種類は少なくとも車道を含む
画像処理装置。

【請求項7】

請求項５又は６に記載の画像処理装置において、
前記プロセッサは、前記三次元座標に基づく特定の視点からの画像に、駐車可能領域に駐車した状態の前記移動体を重畳させた画像を生成する
画像処理装置。

【請求項8】

請求項５～７のいずれか一項に記載の画像処理装置において、
前記プロセッサは、前記路面の傾斜に基づいて、前記移動体の駐車可能領域を決定する
画像処理装置。

【請求項9】

撮像により画像信号を生成する撮像部と、
前記画像信号に相当する撮像画像の複数の箇所における深度を推定し、前記複数の箇所における前記深度及び画像座標を、前記複数の箇所それぞれに対応する三次元座標に変換し、前記複数の箇所それぞれに対応する前記三次元座標から移動体の走行可能領域を決定するプロセッサと、を備える
撮像装置。

【請求項10】

移動体であり、
本体と、
前記本体の所定の位置に所定の姿勢で固定されており、撮像により画像信号を生成する撮像部と、
前記画像信号に相当する撮像画像の複数の箇所における深度を推定し、前記複数の箇所における前記深度及び画像座標を、前記複数の箇所それぞれに対応する三次元座標に変換し、前記複数の箇所それぞれに対応する前記三次元座標から前記移動体の走行可能領域を決定するプロセッサと、を備える
移動体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、撮像装置、及び移動体に関するものである。

【背景技術】

【0002】

白線で囲まれるとともに車両を駐車させるために必要な面積が確保されたスペースを、駐車位置として検出する技術が、提案されている（特許文献１参照）

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００１－１０４２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

移動体が駐車等の所望の目的を達成するために走行する際に、走行経路近傍の立体物及び移動体自身の寸法を考慮して走行可能領域を決定することが要望されている。

【0005】

従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、所望の目的を達成するように走行する際に、走行可能であるか否かを判別し得る画像処理装置、撮像装置、及び移動体を提供することにある。

【課題を解決するための手段】

【0006】

上述した諸課題を解決すべく、第１の観点による画像処理装置は、
撮像画像を取得する画像インタフェースと、
前記撮像画像の複数の箇所における深度を推定し、前記複数の箇所における前記深度及び画像座標を、前記複数の箇所それぞれに対応する三次元座標に変換し、前記複数の箇所それぞれに対応する前記三次元座標から移動体の走行可能領域を決定するプロセッサと、を備える。

【0007】

また、第２の観点による撮像装置は、
撮像により画像信号を生成する撮像部と、
前記画像信号に相当する撮像画像の複数の箇所における深度を推定し、前記複数の箇所における前記深度及び画像座標を、前記複数の箇所それぞれに対応する三次元座標に変換し、前記複数の箇所それぞれに対応する前記三次元座標から移動体の走行可能領域を決定するプロセッサと、を備える。

【0008】

また、第３の観点による移動体は、
本体と、
前記本体の所定の位置に所定の姿勢で固定されており、撮像により画像信号を生成する撮像部と、
前記画像信号に相当する撮像画像の複数の箇所における深度を推定し、前記複数の箇所における前記深度及び画像座標を、前記複数の箇所それぞれに対応する三次元座標に変換し、前記複数の箇所それぞれに対応する前記三次元座標から前記移動体の走行可能領域を決定するプロセッサと、を備える。

【発明の効果】

【0009】

上記のように構成された本開示に係る画像処理装置、撮像装置、および移動体によれば、所望の目的を達成するように走行する際に、走行可能であるか否かを判別し得る。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る画像処理装置を含む撮像装置の移動体における位置を概念的に例示する外観図である。

【図2】図１の撮像装置の概略構成を示すブロック図である。

【図3】撮像画像中の各物点を鉛直上方から俯瞰した図を示す。

【図4】図２のプロセッサが駐車可能領域を算出する処理を説明する図である。

【図5】図２のプロセッサが駐車ロットを算出する処理を説明する図である。

【図6】図２のプロセッサが駐車可能領域を決定する処理を説明する図である。

【図7】図２のプロセッサが生成する画像を説明する図である。

【図8】図２のプロセッサが実行する処理を説明するためのフローチャートである。

【発明を実施するための形態】

【0011】

以下、本開示を適用した画像処理装置の実施形態が、図面を参照して説明される。

【0012】

図１に示すように、本開示の一実施形態に係る画像処理装置を含む撮像装置１０は、移動体１１の本体１２に搭載される。撮像装置１０は、移動体１１の周辺を撮像可能に取り付けられている。撮像装置１０は、例えば、本体１２の前方、後方、および左方、右方の少なくとも１つに設けられてよい。

【0013】

移動体１１は、路面を移動可能な車両および航空機等を含んでよい。移動体１１は、自動運転機能を有してよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。

【0014】

撮像装置１０は、移動体１１の走行可能領域を決定する。撮像装置１０は、移動体１１の走行可能領域を、例えば、移動体１１に搭載されるＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）などの外部機器に通知する。当該外部機器は、物体の種類および三次元座標の位置に基づいて、例えば、操舵、加速、および減速の操作を移動体１１に実行させてよく、警報を乗員に向けて報知させてよい。また、撮像装置１０は、三次元座標に基づく特定の視点からの画像を、画像信号として例えば運転者に視認可能な位置に設けられているディスプレイなどの外部機器に出力してよい。当該外部機器は、取得した画像信号に相当する画像を表示する。

【0015】

図２に示すように、撮像装置１０は、撮像部１３および画像処理装置１４を含んで構成される。

【0016】

撮像部１３は、移動体１１の周辺を撮像して撮像画像を生成し、画像処理装置１４に送信する。図１に示すように、撮像部１３は、移動体１１の本体１２の所定の位置に、所定の姿勢で固定されてよい。本実施形態においては、撮像部１３は、本体１２の上下方向における屋根近傍で、前方の、幅方向における中央に位置してよい。撮像部１３は、光軸が本体１２の幅方向に垂直かつ、移動体１１を静止させた状態で水平となるように、固定されていてよい。また、撮像部１３には上下方向が定められており、撮像部１３は、光軸から見て撮像部１３の上下方向が本体１２の上下方向に重なるように、固定されてよい。撮像部１３は、本体１２の、例えば、前方周辺を撮像することにより撮像画像を生成する。

【0017】

図２に示すように、画像処理装置１４は、画像インタフェース１５、記憶部１６、送信部１７、およびプロセッサ１８を含んで構成される。

【0018】

画像インタフェース１５は、画像処理装置１４の外部機器からの多様な情報、および指令を受信する。画像インタフェース１５は、例えば、撮像部１３から撮像画像を取得する。

【0019】

記憶部１６は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。記憶部１６は、プロセッサ１８を機能させる多様なプログラム、およびプロセッサ１８が用いる多様な情報を記憶する。

【0020】

記憶部１６は、二次元の画像座標及び深度からの、撮像部１３の位置を基準にした三次元の世界座標（以後、「三次元座標」とも呼ぶ。）への座標の変換式または変換表を記憶してよい。世界座標は、本体１２の前後方向、幅方向、および上下方向を軸としてよい。画像座標は、撮像部１３の撮像画像における縦方向および横方向を軸としてよい。深度は、移動体１１の撮像部１３から撮像画像の各画素に対応する物点までの距離である。変換式または変換表は、撮像部１３を本体１２に固定する所定の位置および所定の姿勢に基づいて作成されていてよい。

【0021】

送信部１７は、後述するプロセッサ１８が画像処理により生成する情報を外部機器１９に送信する。

【0022】

プロセッサ１８は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。プロセッサ１８は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。

【0023】

プロセッサ１８は、受信する画像信号に相当する撮像画像の複数の箇所における深度を推定する。プロセッサ１８は、任意の方法によって深度推定を行ってよい。プロセッサ１８は、例えば、機械学習により構築された深度推定モデルを用いて、深度推定を行ってよい。プロセッサ１８は、例えば撮像画像の各画素に対応する物点の、移動体１１の撮像部１３からの深度ＤＥＰＴＨ＿Ｙを推定してもよい。

【0024】

プロセッサ１８は、複数の箇所における前記深度及び画像座標を、複数の箇所それぞれに対応する三次元座標に変換する。具体的には、プロセッサ１８は、複数の各箇所、言換えると各画素の画像座標（ｕ，ｖ）及び複数の箇所それぞれに対して推定した深度を用いて、世界座標に変換する。例えば、プロセッサ１８は、画像座標から、変換式を用いて世界座標の単位ベクトル（ｅｘ，ｅｙ，ｅｚ）を算出する。プロセッサ１８は、世界座標の単位ベクトルにおける奥行き方向成分座標ｅｙで、推定した深度ＤＥＰＴＨ＿Ｙを割ることにより、スケール（実距離）パラメータＫを算出する。Ｋは、世界座標の単位ベクトルと位置ベクトルとの比を示す。プロセッサ１８は、Ｋを単位ベクトルの全成分（ｅｘ，ｅｙ，ｅｚ）に乗じることにより、世界座標を算出する。

【0025】

プロセッサ１８は、画像から路面の種類を認識してよい。路面は、例えば、車道及び非車道路面である。路面の種類の認識は、任意の方法によって行われてよい。プロセッサ１８は、例えば、上述した三次元座標から得られる路面の高度情報を利用して認識を行ってよい。一般に、車道と非車道路面との間には高低差がある。非車道路面は、車道よりも高いことが一般的である。プロセッサ１８は、車道と非車道路面との間の高低差を利用して、路面の種類の認識精度を向上し得る。プロセッサ１８は、非車道路面を駐車可能領域と判定する。

【0026】

プロセッサ１８は、移動体１１の駐車可能領域を決定してよい。具体的には、プロセッサ１８は、図３に示されるように、歩道と認識された領域と、車道と認識された領域と、の境界に位置する画素の三次元座標の近似線ｌを決定する。図３において、点４２，４３は、歩道と認識された領域と、車道と認識された領域と、の境界に位置する画素の三次元座標を示す。本実施形態では、近似線は曲線である。近似線は直線であってもよい。

【0027】

プロセッサ１８は、図４に示すように、近似線ｌ上の任意の点を、駐車可能領域の判定の基準点Ｃに一時的に設定する。プロセッサ１８は、基準点Ｃにおける近似線ｌの接線Ｌ（図５に示す）を算出する。プロセッサ１８は、点Ｃを中心にして互いに幅ｗｖで離れた、接線Ｌの垂線ｍ、ｍ’を算出する。幅ｗｖは、移動体１１の幅である。プロセッサ１８は、接線Ｌ、垂線ｍ、ｍ’で囲繞される非車道路面において、接線Ｌとの距離が最小となる点群を抽出する。プロセッサ１８は、当該点群と接線Ｌとの距離ｄｍｉｎが移動体１１の全長以上であるか否かを判別する。プロセッサ１８は、当該距離ｄｍｉｎが移動体１１の全長以上である場合、接線Ｌ、垂線ｍ、ｍ’、及び抽出した点群に囲まれる、図４でハッチングされた空間Ｓ_ｐ０を、駐車可能領域と判別する。

【0028】

抽出した点群について、プロセッサ１８は、車道又は非車道路面と認識された領域の画素を抽出する。そして、プロセッサ１８は、スケールパラメータＫが第１閾値以下であり、高度が第２閾値以上であるときに、障害物と認識する。第１閾値は、例えば１０メートルであってよい。第２閾値は、例えば移動体１１が乗り越えることが困難な高さであり、１０センチメートルであってよい。障害物の抽出は任意の方法によって行われてよい。

【0029】

なお、上述の垂線ｍ、ｍ’の算出と、点群及び接線Ｌとの距離ｄｍｉｎの算出の説明では、便宜上、鉛直上方から俯瞰した図４が用いられ、垂線ｍ、ｍ’の幅ｗｖ及び距離ｄｍｉｎは、駐車可能領域が水平である状態で図示されている。しかし、プロセッサ１８は実際には、三次元座標を用いて、傾斜した路面における幅ｗｖ及び距離ｄｍｉｎを算出する。上面視すると、傾斜した路面は実際よりも狭い。それゆえ、上面視による領域の大きさと、移動体１１の幅及び全長を比較すると、駐車不可能と判別されうる。一方、プロセッサ１８が、傾斜した路面に対して垂直な方向から見たサイズを算出して、移動体１１のサイズと比較することにより、傾斜した路面に対しても高い精度で駐車の可否を判別し得る。

【0030】

プロセッサ１８は、基準点Ｃを、幅ｗｖ未満の一定の間隔で近似線ｌに沿って移動させる。プロセッサ１８は、その後、上述した処理を繰り返し行い、駐車可能領域を広げる。プロセッサ１８は、点Ｃと近似線ｌの一端との距離が幅ｗｖ／２よりも小さくなった場合に、処理を終了する。図５で着色して示す幅Ｍの領域Ｓ_ｐが、最終的な駐車可能領域である。プロセッサ１８は、もう一方の近似線ｌｂにおいても、同様の処理を行う。

【0031】

プロセッサ１８は、駐車可能領域の寸法及び移動体１１の寸法により、駐車ロット数を算出してよい。またプロセッサ１８は、駐車可能領域の寸法及び移動体１１の寸法により、どの向きで駐車可能か判定し得る。

【0032】

プロセッサ１８は、駐車ロットを算出する。プロセッサ１８は、複数の駐車ロットを算出してもよい。具体的には、プロセッサ１８は、図５に示すように、駐車ロットの中心位置Ｃ’を算出する。本開示では、駐車可能領域の幅Ｍと移動体１１の幅ｗｖとの間の関係から、中心位置Ｃ’の算出方法が、分岐している。

【0033】

駐車可能領域の幅Ｍが移動体１１の幅ｗｖの１．５倍以下である場合には、プロセッサ１８は、中心位置Ｃ’の位置を、駐車可能領域の幅方向中心に定める。

【0034】

駐車可能領域の幅Ｍが移動体１１の幅ｗｖの１．５倍より大きいときには、図５に示すように、プロセッサ１８は、中心位置Ｃ’が撮像部１３又は移動体１１からできるだけ離れた位置になるように定める。言い換えれば、プロセッサ１８は、Ｃ’の中心位置ができるだけ奥側になるように定める。中心位置Ｃ’が撮像部１３又は移動体１１からできるだけ離れた位置になることで、移動体１１より後に他の移動体を駐車する運転手が、駐車可能領域を視認しやすくなる。具体的には、プロセッサ１８は、中心位置Ｃ’の位置を、駐車可能領域の最奥である垂線ｍから、（移動体１１の幅ｗｖ／２＋α）だけ離隔させる。ここで、αは定数である。

【0035】

プロセッサ１８は、中心位置Ｃ’における近似線ｌの接線Ｌを算出する。プロセッサ１８は、点Ｃ’を中心にして互いに幅ｗｖで離れた、接線Ｌの垂線ｍ、ｍ’を算出する。幅ｗｖは、移動体１１の幅である。プロセッサ１８は、接線Ｌを、最小距離ｄｍｉｎと移動体１１の全長との差よりも小さい値である所定の距離βだけ、非車道路面側に移動させた直線であるｌ’’を算出する。プロセッサ１８は、直線ｌ’’を、移動体１１の全長だけ平行移動させた直線ｌ’を算出する。プロセッサ１８は、４つの直線ｌ’，ｌ’’，ｍ及びｍ’で囲まれた領域を１台分の駐車ロットＳｐｌとして算出する。

【0036】

プロセッサ１８は、図５に示すように、三次元座標に基づく特定の視点から俯瞰した画像に、駐車可能領域に駐車した状態の移動体１１を重畳させた画像６０を生成してもよい。特定の視点は、例えば、移動体１１の鉛直上方である。

【0037】

プロセッサ１８は、移動体１１の高さ（例えば１５５０ミリメートル）の制限に基づいて駐車ロットを算出してもよい。プロセッサ１８は、４つの直線ｌ’，ｌ’’，ｍ及びｍ’で囲まれた領域において、撮像画像から認識される障害物が、移動体１１の高さまでの間に存在するか判別する。撮像画像から認識される障害物が路面から移動体１１の高さまでの間に存在する場合、プロセッサ１８は、４つの直線ｌ’，ｌ’’，ｍ及びｍ’で囲まれた領域を駐車ロットから除外する。

【0038】

プロセッサ１８は、点Ｃ’を幅ｗｖ未満の一定の間隔で近似線ｌに沿って移動させて同様の処理を繰り返し、２台目以降の駐車ロットを算出する。プロセッサ１８は、点Ｃ’と近似線ｌの一端との距離が幅ｗｖ／２よりも小さくなった場合に、処理を終了する。プロセッサ１８は、もう一方の近似線ｌｂにおいても、同様の処理を行う。プロセッサ１８は、２台目以降の駐車ロットの情報を、送信部１７を介して、外部機器１９（他の移動体等）に送信してもよい。

【0039】

プロセッサ１８は、複数の箇所それぞれに対応する前記三次元座標から、移動体１１が走行可能な領域を決定する。具体的には、立体情報を考慮しない場合の走行可能領域は、車道であると認識された領域と、駐車可能領域と、を合わせた領域である。図６の太線Ｌｈ１，Ｌｈ２の内側の領域が、立体情報を考慮しない場合の走行可能領域である。一方、立体情報を考慮する場合の走行可能領域について説明する。図６に示すように、プロセッサ１８は、駐車可能領域と車道との境界近傍Ｓの中において、一定の高さ以上の障害物が存在するか確認する。このような障害物が確認された場合には、図７に示すように、プロセッサ１８は、走行可能領域から当該障害物付近の領域Ｓｏを除外する。

【0040】

ここで、プロセッサ１８は、図７に示すような、三次元座標に基づく特定の視点から俯瞰した画像に、決定した走行経路上又は該走行経路の近傍に位置する障害物の少なくとも一部を重畳させた画像７０を生成してもよい。

【0041】

プロセッサ１８は、走行可能領域に基づいて、移動体１１の走行経路を計算してよい。プロセッサ１８は、走行経路の計算を任意の方法によって行ってよい。プロセッサ１８は、障害物の少なくとも一部を回避するように走行経路を計算してよい。

【0042】

次に、本実施形態においてプロセッサ１８により実行される、走行可能領域を決定する処理が、図８のフローチャートを用いて説明される。走行可能領域を決定する処理は、例えば、移動体１１が事前に登録された駐車場に近接する場合に開始しても良いし、運転者の指示により開始しても良い。

【0043】

ステップＳ１００において、プロセッサ１８は、撮像部１３に画像を撮像させる。プロセッサ１８は、画像インタフェース１５を介して、撮像部１３に生成させた撮像画像を取得する。ステップＳ１０１において、プロセッサ１８は、受信した画像信号に相当する画像（以下、「撮像画像」という）に対して深度推定を行う。ステップＳ１０２において、プロセッサ１８は、撮像画像の各画素に対してステップＳ１０１において推定した深度を用いて、三次元座標変換を行う。ステップＳ１０３において、プロセッサ１８は、撮像画像から路面の種類を認識する。

【0044】

ステップＳ１０４において、プロセッサ１８は、撮像画像から障害物を抽出する。ステップＳ１０５において、プロセッサ１８は、駐車可能領域を算出する。ステップＳ１０６において、プロセッサ１８は、駐車ロットを算出する。ステップＳ１０７において、プロセッサ１８は、走行可能領域を算出する。ステップＳ１０８において、プロセッサ１８は、走行可能領域を通る走行経路を計算する。計算後、走行可能領域を算出する処理は、終了する。

【0045】

以上のような構成の本実施形態の画像処理装置１４は、撮像画像の複数の箇所における深度を推定し、複数の箇所における深度及び画像座標を、複数の箇所それぞれに対応する三次元座標に変換し、複数の箇所それぞれに対応する三次元座標から移動体１１が走行可能領域を決定する。このような構成により、画像処理装置１４は駐車時に、撮像画像の複数の箇所それぞれに対応する三次元座標に基づいて、障害物を把握し得る。

【0046】

また、本実施形態の画像処理装置１４は、画像から路面の種類を認識し、路面の種類に基づいて移動体１１が駐車可能領域を決定する。このような構成により、画像処理装置１４は、白線で囲まれていない場所に対しても適切に駐車可能領域を決定し得る。

【0047】

また、本実施形態の画像処理装置１４では、プロセッサ１８が、画像インタフェース１５が取得した撮像画像に基づいて、走行可能領域を決定する。障害物の検出に超音波を用いることが考えられる。しかし、超音波センサは測定範囲が短いため、移動体が障害物に近接する範囲に近接することにより初めて当該障害物が検出されることもあり得る。それゆえ、障害物の検出前に算出された走行経路が検出後に再計算されるため、移動体の切り返し等が必要であった。その結果、駐車に長時間かかっていた。このような事象に対し、上述の構成を有する本実施形態の画像処理装置１４では、超音波センサよりも広い範囲まで撮像可能な撮像部１３の撮像画像を用いて、障害物を検出する。それゆえ、画像処理装置は、遠方において障害物の検出漏れを低減させ得る。したがって、画像処理装置は、移動体の切り返しや走行経路の再計算を低減させ、速やかに駐車させ得る。

【0048】

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

【符号の説明】

【0049】

１０ 撮像装置
１１ 移動体
１２ 本体
１３ 撮像部
１４ 画像処理装置
１５ 画像インタフェース
１６ 記憶部
１７ 送信部
１８ プロセッサ
１９ 外部機器
６０，７０ 画像
ｌ,ｌｂ 近似線
Ｃ 中心位置
Ｌ 接線
ｌ’，ｌ’’，ｍ，ｍ’ 直線
Ｌｈ１，Ｌｈ２ 太線
ｗｖ 移動体の幅
ｄｍｉｎ 接線Ｌと点群との最小距離
Ｍ 駐車可能領域の幅
Ｓ_ｐ０ 駐車可能領域と判別された領域
Ｓ_ｐ 駐車可能領域
Ｓ_ｐｌ 駐車ロット
Ｓ 駐車可能領域と車道との境界近傍
Ｓｏ 障害物付近の領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】