特開 2024-38608 車両の周辺監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024038608

(43)【公開日】2024-03-21

(54)【発明の名称】車両の周辺監視装置

(51)【国際特許分類】

   B60W 40/06 20120101AFI20240313BHJP

   H04N 7/18 20060101ALI20240313BHJP

   G08G 1/16 20060101ALI20240313BHJP

   G08G 1/00 20060101ALI20240313BHJP

   B60W 30/18 20120101ALI20240313BHJP

【ＦＩ】

B60W40/06

H04N7/18 J

G08G1/16 C

G08G1/00 J

B60W30/18

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022142734

(22)【出願日】2022-09-08

(71)【出願人】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100121821

【弁理士】

【氏名又は名称】山田 強

(74)【代理人】

【識別番号】100139480

【弁理士】

【氏名又は名称】日野 京子

(74)【代理人】

【識別番号】100125575

【弁理士】

【氏名又は名称】松田 洋

(74)【代理人】

【識別番号】100175134

【弁理士】

【氏名又は名称】北 裕介

(74)【代理人】

【識別番号】100207859

【弁理士】

【氏名又は名称】塩谷 尚人

(72)【発明者】

【氏名】石神 裕丈

(72)【発明者】

【氏名】夏目 充啓

【テーマコード（参考）】

3D241

5C054

5H181

【Ｆターム（参考）】

3D241BA15

3D241BA18

3D241BA49

3D241CE01

3D241CE05

3D241DB02Z

3D241DB12Z

3D241DC46A

3D241DC50A

5C054FC01

5C054FC12

5C054FC15

5C054FF06

5C054FF07

5C054HA30

5H181AA01

5H181BB08

5H181CC04

5H181FF10

5H181FF27

5H181LL01

5H181LL09

(57)【要約】

【課題】車両の周辺監視装置において、低処理負荷で平面領域と非平面領域とを判定可能とする。
【解決手段】車両の周辺監視装置１０は、路面上を走行する車両に取り付けられ、車両の周辺を路面が映るように撮影する単眼カメラ（１１）と、単眼カメラにより撮影された過去の撮影画像を記憶する画像記憶部（１２）と、車両の走行情報を取得する走行情報取得部（１３）と、画像記憶部により記憶された過去の撮影画像、走行情報取得部により取得された走行情報、及び路面と車両と単眼カメラとの位置関係に基づいて、路面に対するホモグラフィ行列を算出する行列算出部（１６）と、画像記憶部により記憶された過去の撮影画像を、行列算出部により算出されたホモグラフィ行列で変換した変換画像と、単眼カメラにより撮影された現在の撮影画像との差分に基づいて、現在の撮影画像における平面領域と非平面領域とを判定する判定部（１７、１８、１９）と、を備える。
【選択図】 図２

【特許請求の範囲】

【請求項1】

路面（Ｒ）上を走行する車両（５０）に取り付けられ、前記車両の周辺を前記路面が映るように撮影する単眼カメラ（１１）と、
前記単眼カメラにより撮影された過去の撮影画像を記憶する画像記憶部（１２）と、
前記車両の走行情報を取得する走行情報取得部（１３）と、
前記画像記憶部により記憶された前記過去の撮影画像、前記走行情報取得部により取得された前記走行情報、及び前記路面と前記車両と前記単眼カメラとの位置関係に基づいて、前記路面に対するホモグラフィ行列を算出する行列算出部（１６）と、
前記画像記憶部により記憶された前記過去の撮影画像を、前記行列算出部により算出された前記ホモグラフィ行列で変換した変換画像と、前記単眼カメラにより撮影された現在の撮影画像との差分に基づいて、前記現在の撮影画像における平面領域と非平面領域とを判定する判定部（１７、１８、１９）と、
を備える、車両の周辺監視装置（１０）。

【請求項2】

前記判定部は、前記現在の撮影画像において前記非平面領域の外縁が消失点（Ｖ）に向かって連続している場合に、前記非平面領域を前記路面よりも低い領域であると判定する、請求項１に記載の車両の周辺監視装置。

【請求項3】

前記判定部は、前記現在の撮影画像において前記非平面領域が上方に連続している場合に、前記非平面領域を立体物であると判定する、請求項１に記載の車両の周辺監視装置。

【請求項4】

前記走行情報取得部により取得された前記走行情報、及び前記位置関係に基づいて、前記現在の撮影画像において前記車両の進路（Ａ１）を推定する進路推定部（１４）と、
前記進路推定部により推定された前記進路が前記非平面領域に交わる場合に、前記車両の安全を図る所定制御を実行させる実行指令を出力する制御指令部（２０）と、
を備える、請求項１～３のいずれか１項に記載の車両の周辺監視装置。

【請求項5】

前記所定制御は、前記進路推定部により推定される前記進路が前記非平面領域に交わらない前記進路（Ａ２）になるように、前記車両の走行状態を変更する制御である、請求項４に記載の車両の周辺監視装置。

【請求項6】

前記制御指令部は、前記判定部により前記非平面領域が立体物であると判定された場合に前記路面よりも低い領域であると判定された場合よりも、前記実行指令を出力する時期を遅くする、請求項４に記載の車両の周辺監視装置。

【請求項7】

前記制御指令部は、前記判定部により前記非平面領域が前記路面よりも低い領域であると判定された場合に立体物であると判定された場合よりも、前記所定制御を前記非平面領域に対する安全性が高い制御に変更する、請求項４に記載の車両の周辺監視装置。

【請求項8】

前記行列算出部は、前記画像記憶部により記憶された前記過去の撮影画像における前記路面上に互いに位置が異なる任意の４点（Ｐ１～Ｐ４）を設定し、前記走行情報取得部により取得された前記過去の撮影画像の撮影時から現在までの前記走行情報、及び前記位置関係に基づいて、現在の前記単眼カメラの位置及び向きにおいて撮影した場合の画像において前記任意の４点に対応する４点（Ｐ１ａ～Ｐ４ａ）を算出し、前記任意の４点と前記対応する４点とに基づいて前記ホモグラフィ行列を算出する、請求項１～３のいずれか１項に記載の車両の周辺監視装置。

【請求項9】

前記車両は、３０［ｋｍ／ｈ］以下の速度で走行する車両である、請求項１～３のいずれか１項に記載の車両の周辺監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の周辺をカメラにより監視する装置に関する。

【背景技術】

【0002】

従来、歩行中にヘッドマウントカメラで撮影した時間的に連続する２つの画像を取得し、２つの画像間の対応点探索により求めた対応点からホモグラフィ行列を計算する手法がある（非特許文献１参照）。非特許文献１に記載の手法では、計算したホモグラフィ行列により１つ目の画像を変換し、変換した画像と２つ目の画像との誤差が小さい領域を平面と推定し、誤差が大きい領域を立体と推定している。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】日本知能情報ファジィ学会ファジィシステムシンポジウム講演論文集第２７回ファジィシステムシンポジウム２０１１“ウェアラブルカメラ画像における人検出結果に基づく道路平面領域推定”

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、非特許文献１に記載の手法では、ホモグラフィ行列を計算するために、２つの画像間の対応点探索を行っている。対応点探索では、全ての点から特徴点の検出及び特徴量の記述等を行う必要があり、処理負荷が高くなる。

【0005】

本発明は、上記課題を解決するためになされたものであり、その主たる目的は、車両の周辺監視装置において、低処理負荷で平面領域と非平面領域とを判定可能とすることにある。

【課題を解決するための手段】

【0006】

上記課題を解決するための第１の手段は、車両の周辺監視装置（１０）であって、
路面（Ｒ）上を走行する車両（５０）に取り付けられ、前記車両の周辺を前記路面が映るように撮影する単眼カメラ（１１）と、
前記単眼カメラにより撮影された過去の撮影画像を記憶する画像記憶部（１２）と、
前記車両の走行情報を取得する走行情報取得部（１３）と、
前記画像記憶部により記憶された前記過去の撮影画像、前記走行情報取得部により取得された前記走行情報、及び前記路面と前記車両と前記単眼カメラとの位置関係に基づいて、前記路面に対するホモグラフィ行列を算出する行列算出部（１６）と、
前記画像記憶部により記憶された前記過去の撮影画像を、前記行列算出部により算出された前記ホモグラフィ行列で変換した変換画像と、前記単眼カメラにより撮影された現在の撮影画像との差分に基づいて、前記現在の撮影画像における平面領域と非平面領域とを判定する判定部（１７、１８、１９）と、
を備える。

【0007】

上記構成によれば、単眼カメラは、路面上を走行する車両に取り付けられ、前記車両の周辺を前記路面が映るように撮影する。画像記憶部は、前記単眼カメラにより撮影された過去の撮影画像を記憶する。このため、単眼カメラにより過去に撮影された路面を含む撮影画像を、画像記憶部により記憶することができる。走行情報取得部は、前記車両の走行情報を取得する。このため、走行情報に基づいて、過去の撮影画像の撮影時から現在までの単眼カメラの移動量及び向きの変化量を把握することができる。

【0008】

ここで、ホモグラフィ行列は、２つの画像間に対応する４点があれば算出することができる。この点、過去の撮影画像における路面上の互いに位置が異なる任意の４点について、現在の単眼カメラの位置及び向きにおいて撮影した場合の画像における対応する４点を、過去の撮影画像の撮影時から現在までの車両の走行情報、及び路面と車両と単眼カメラとの位置関係に基づいて算出することができる。したがって、行列算出部は、前記画像記憶部により記憶された前記過去の撮影画像、前記走行情報取得部により取得された前記走行情報、及び前記路面と前記車両と前記単眼カメラとの位置関係に基づいて、前記路面に対するホモグラフィ行列を算出することができる。このホモグラフィ行列を算出する処理は、任意の４点に対する演算に基づく処理であり、対応点探索において全ての点から特徴点の検出及び特徴量の記述等を行う処理と比較して処理負荷が低い。

【0009】

路面に対するホモグラフィ行列により過去の撮影画像を変換した変換画像と、現在の撮影画像との差分は、路面に対応する平面領域では小さくなり、溝や立体物等の非平面領域では大きくなる。このため、判定部は、前記画像記憶部により記憶された前記過去の撮影画像を、前記行列算出部により算出された前記ホモグラフィ行列で変換した変換画像と、前記単眼カメラにより撮影された現在の撮影画像との差分に基づいて、前記現在の撮影画像における平面領域と非平面領域とを判定することができる。以上により、低処理負荷で平面領域と非平面領域とを判定可能となる。

【0010】

道路脇の側溝や路肩の外縁は、道路に沿って延びているため、撮影画像においてそれらは消失点に向かって連続している。そして、側溝や、路肩よりも外側の部分は、一般的に路面よりも低くなっている。

【0011】

この点、第２の手段では、前記判定部は、前記現在の撮影画像において前記非平面領域の外縁が消失点に向かって連続している場合に、前記非平面領域を前記路面よりも低い領域であると判定する。こうした構成によれば、撮影画像における側溝や路肩の外縁の映り方の特徴を利用して、非平面領域のうち路面よりも低い領域を判定することができる。

【0012】

支柱や、木、壁、人は、立体物であり、上方に連続している。

【0013】

この点、第３の手段では、前記判定部は、前記現在の撮影画像において前記非平面領域が上方に連続している場合に、前記非平面領域を立体物であると判定する。こうした構成によれば、撮影画像における支柱や、木、壁、人の映り方の特徴を利用して、非平面領域のうち立体物を判定することができる。

【0014】

第４の手段では、前記走行情報取得部により取得された前記走行情報、及び前記位置関係に基づいて、前記現在の撮影画像において前記車両の進路（Ａ１）を推定する進路推定部（１４）と、前記進路推定部により推定された前記進路が前記非平面領域に交わる場合に、前記車両の安全を図る所定制御を実行させる実行指令を出力する制御指令部（２０）と、を備える。

【0015】

上記構成によれば、進路推定部は、前記走行情報取得部により取得された前記走行情報、及び前記位置関係に基づいて、前記現在の撮影画像において前記車両の進路を推定する。すなわち、進路推定部は、撮影画像を３次元空間に変換して車両の進路を３次元空間内の位置として推定するのではなく、車両の進路を撮影画像内の位置として推定する。そして、制御指令部は、前記進路推定部により推定された前記進路が前記非平面領域に交わる場合に、前記車両の安全を図る所定制御を実行させる実行指令を出力する。このため、撮影画像内での処理に基づいて所定制御の実行指令を出力することができ、処理負荷を低減することができる。なお、所定制御の実行指令を出力することは、所定制御を実行する（所定制御の実行が必要）と判断することを含む。

【0016】

第５の手段では、前記所定制御は、前記進路推定部により推定される前記進路が前記非平面領域に交わらない前記進路になるように、前記車両の走行状態を変更する制御である。こうした構成によれば、前記進路推定部により推定された前記進路が前記非平面領域に交わる場合に、前記進路推定部により推定される前記進路が前記非平面領域に交わらない前記進路になるように、前記車両の走行状態を変更させることができる。したがって、車両が非平面領域へ進入することを抑制することができ、車両の安全を図ることができる。

【0017】

非平面領域が人や他車両等の立体物である場合は、自車両の運転者が気付きやすいとともに、時間が経てば自車両の進路から外れることがある。このような場合に、自車両の安全を図る所定制御が過剰に実行されると、自車両の運転者が所定制御を煩わしく感じるおそれがある。

【0018】

この点、第６の手段では、前記制御指令部は、前記判定部により前記非平面領域が前記立体物であると判定された場合に前記路面よりも低い領域であると判定された場合よりも、前記実行指令を出力する時期を遅くする。このため、非平面領域が人や他車両等の立体物である場合に自車両の安全を図る所定制御が早期に実行されることを抑制することができ、自車両の運転者が所定制御を煩わしく感じることを抑制することができる。

【0019】

非平面領域が路面より低い領域である場合は、車両が転落するおそれがあるため、車両が非平面領域に進入することを抑制する必要がある。

【0020】

この点、第７の手段では、前記制御指令部は、前記判定部により前記非平面領域が前記路面よりも低い領域であると判定された場合に前記立体物であると判定された場合よりも、前記所定制御を前記非平面領域に対する安全性が高い制御に変更する。こうした構成によれば、非平面領域が路面より低い領域である場合に非平面領域に対する安全性が高い制御を実行させることができ、車両が非平面領域に進入することを抑制することができる。

【0021】

ホモグラフィ行列の算出方法として、具体的には、第８の手段のように、前記行列算出部は、前記画像記憶部により記憶された前記過去の撮影画像における前記路面上に互いに位置が異なる任意の４点を設定し、前記走行情報取得部により取得された前記過去の撮影画像の撮影時から現在までの前記走行情報、及び前記位置関係に基づいて、現在の前記単眼カメラの位置及び向きにおいて撮影した場合の画像において前記任意の４点に対応する４点を算出し、前記任意の４点と前記対応する４点とに基づいて前記ホモグラフィ行列を算出する、といった構成を採用することができる。

【0022】

ホモグラフィ行列により撮影画像中の路面を正確に変換するためには、対象とする路面が平面である必要がある。

【0023】

この点、第９の手段では、前記車両は、３０［ｋｍ／ｈ］以下の速度で走行する車両である。こうした構成によれば、車両の速度が低いため、車両の走行中に単眼カメラにより撮影される路面の範囲が、車両から近距離の範囲になる。したがって、撮影された路面の範囲が平面に近くなり、ホモグラフィ行列により撮影画像中の路面を正確に変換することができ、ひいては平面領域と非平面領域とを正確に判定することができる。

【図面の簡単な説明】

【0024】

【図1】シニアカーが側溝に嵌まる態様を示す模式図。

【図2】シニアカーの周辺監視装置のブロック図。

【図3】走行中にカメラにより路面を含む周囲を撮影する態様を示す模式図。

【図4】第１視点から撮影した画像と任意の４点を示す模式図。

【図5】第２視点から撮影した画像と任意の４点に対応する４点を示す模式図。

【図6】路面よりも低い領域を判定する態様を示す模式図。

【図7】立体物を判定する態様を示す模式図。

【図8】予測進路が非平面領域に交わる態様と修正後の予測進路とを示す模式図。

【発明を実施するための形態】

【0025】

以下、シニアカーに後付けされる周辺監視装置に具現化した一実施形態について、図面を参照しつつ説明する。

【0026】

図１に示すように、シニアカー５０（車両）は、主に高齢者Ｍ（運転者）が利用し、座りながら移動することができる電動車椅子である。シニアカー５０は、車体５１、ハンドル５２、アクセル操作部材、ブレーキ操作部材、前輪５３、後輪５４、バッテリ、モータ、駆動機構、制御部等を備えている。シニアカー５０は、バッテリから供給される電力によりモータを回転させ、モータの動力を駆動機構により後輪５４に伝達して走行する。すなわち、シニアカー５０は、車輪により陸上を走る移動体である。高齢者Ｍは、アクセル操作部材を操作してシニアカー５０を加速させ、ハンドル５２を操作して進行方向を制御し、ブレーキ操作部材を操作してシニアカー５０を減速させる。シニアカー５０は、最高速度が３０［ｋｍ／ｈ］以下であり、３０［ｋｍ／ｈ］以下の速度で走行する。制御部は、シニアカー５０の加速度、減速度、ハンドル５２の操作量等を制御可能である。

【0027】

高齢者Ｍは、シニアカー５０を運転して道路の路面Ｒ上を走行する。道路の幅方向の端部付近に、側溝Ｇが設けられていることがある。シニアカー５０の走行中に、高齢者Ｍが側溝Ｇに気付かないと、二点鎖線で示すようにシニアカー５０の前輪５３が側溝Ｇに嵌まるおそれがある。その場合、シニアカー５０が転倒して、高齢者Ｍが負傷するおそれがある。そこで、シニアカー５０には、周辺監視装置が取り付けられている。

【0028】

図２は、シニアカー５０の周辺監視装置１０のブロック図である。周辺監視装置１０は、単眼カメラ１１、画像記憶部１２、走行情報センサ１３、進路推定部１４、カメラ取付情報記憶部１５、ホモグラフィ行列算出部１６、過去画像ホモグラフィ変換部１７、画像差分算出部１８、領域判定部１９、及び制御判断部２０等を備えている。

【0029】

単眼カメラ１１は、シニアカー５０の車体５１の前部に取り付けられている。単眼カメラ１１は、シニアカー５０の前方の所定範囲（周辺）を道路の路面Ｒが映るように撮影可能である。単眼カメラ１１は、動画を撮影するカメラでもよいし、数秒以下の周期で静止画を撮影するカメラでもよい。単眼カメラ１１は、撮影画像を画像記憶部１２及び画像差分算出部１８へ送信する。

【0030】

画像記憶部１２は、単眼カメラ１１により撮影された撮影画像を所定数だけ記憶し、所定数を超えた場合に古い画像から順に消去する。すなわち、画像記憶部１２は、単眼カメラ１１により撮影された過去の撮影画像を記憶する。

【0031】

走行情報センサ１３（走行情報取得部）は、シニアカー５０の車速及びヨーレート（走行情報）を検出する。走行情報センサ１３は、検出した車速及びヨーレートを進路推定部１４及びホモグラフィ行列算出部１６へ送信する。

【0032】

カメラ取付情報記憶部１５は、シニアカー５０の各部と道路の路面Ｒとの位置及び向き、シニアカー５０への単眼カメラ１１の取付位置及び取付向き、単眼カメラ１１の焦点距離等のカメラ取付情報を記憶している。すなわち、カメラ取付情報記憶部１５は、道路の路面Ｒとシニアカー５０と単眼カメラ１１との位置関係を記憶している。

【0033】

進路推定部１４は、走行情報センサ１３により検出されたシニアカー５０の車速及びヨーレート、及びカメラ取付情報記憶部１５に記憶されたカメラ取付情報に基づいて、単眼カメラ１１による現在の撮影画像においてシニアカー５０の進路を推定する。進路推定部１４は、車速及びヨーレートからシニアカー５０の移動量及び移動方向を推定し、推定した移動量及び移動方向とカメラ取付情報とに基づいて、現在の撮影画像におけるシニアカー５０の進路を推定する。すなわち、進路推定部１４は、現在の撮影画像内において、路面、側溝、及び物体等の画像に対する位置として進路を推定する。進路推定部１４は、推定した進路を制御判断部２０へ送信する。

【0034】

ホモグラフィ行列算出部１６（行列算出部）は、画像記憶部１２により記憶された過去の撮影画像、走行情報センサ１３により取得された車速及びヨーレート、及びカメラ取付情報に基づいて、道路の路面Ｒに対するホモグラフィ行列を算出する。具体的には、図３に示すように、シニアカー５０の高さｈの位置に取り付けられた単眼カメラ１１により、シニアカー５０の走行中に道路の路面Ｒを含む周囲を撮影する。図３において、下側の図は現在の撮影状態（第２視点）を示しており、上側の図は現在から所定時間前の撮影状態（第１視点）を示している。

【0035】

図４は、現在から所定時間前に第１視点から撮影した撮影画像を示している。ホモグラフィ行列算出部１６は、画像記憶部１２により記憶された所定時間前の撮影画像における路面Ｒ上に、互いに位置が異なる任意の４点Ｐ１～Ｐ４の座標を設定する。図５は、現在第２視点から撮影した撮影画像を示している。ホモグラフィ行列算出部１６は、走行情報センサ１３により検出された所定時間前から現在までの車速及びヨーレート、及びカメラ取付情報に基づいて、現在第２視点から撮影した撮影画像において４点Ｐ１～Ｐ４にそれぞれ対応する４点Ｐ１ａ～Ｐ４ａの座標を算出する。なお、所定時間は、所定時間前に撮影した撮影画像における路面Ｒ上の４点Ｐ１～Ｐ４が、現在撮影した撮影画像における路面Ｒ上に対応する４点Ｐ１ａ～Ｐ４ａとして映ることができる時間である。所定時間は、シニアカー５０の速度、単眼カメラ１１の撮影画角等に基づいて設定することができる。４点Ｐ１ａ～Ｐ４ａの座標は、現在第２視点から撮影したと仮想した場合の仮想画像における４点Ｐ１ａ～Ｐ４ａの座標であってもよく、現在第２視点から実際に撮影した撮影画像における４点Ｐ１ａ～Ｐ４ａの座標でなくてもよい。そして、ホモグラフィ行列算出部１６は、４点Ｐ１～Ｐ４の座標と、４点Ｐ１～Ｐ４にそれぞれ対応する４点Ｐ１ａ～Ｐ４ａの座標とに基づいて、既知の手法により道路の路面Ｒに対するホモグラフィ行列を算出する。

【0036】

図２に戻り、過去画像ホモグラフィ変換部１７は、画像記憶部１２により記憶された所定時間前の撮影画像を、ホモグラフィ行列算出部１６により算出されたホモグラフィ行列で変換した変換画像を作成する。過去画像ホモグラフィ変換部１７は、作成した変換画像を画像差分算出部１８へ送信する。

【0037】

画像差分算出部１８は、過去画像ホモグラフィ変換部１７により作成された変換画像と、単眼カメラ１１により撮影された現在の撮影画像との差分を算出する。具体的には、画像差分算出部１８は、変換画像と現在の撮影画像とを重ね合わせた場合の誤差（差分）を算出する。このとき、道路の路面Ｒを表示する点（路面Ｒに対応する平面領域）では差分が小さくなり、路面Ｒ以外の溝や立体物を表示する点（非平面領域）では差分が大きくなる。これは、ホモグラフィ行列算出部１６により算出されたホモグラフィ行列が、道路の路面Ｒを平面とみなして路面Ｒ上の点を変換する行列であることによる。画像差分算出部１８は、算出した差分を領域判定部１９へ送信する。

【0038】

領域判定部１９は、変換画像と現在の撮影画像との差分に基づいて、現在の撮影画像における平面領域と非平面領域とを判定する。具体的には、領域判定部１９は、差分が閾値よりも小さい点（領域）を平面領域と判定し、差分が閾値よりも大きい点（領域）を非平面領域と判定する。図６は、現在の撮影画像において、平面領域を黒で表し、非平面領域を白で表している。さらに、領域判定部１９は、現在の撮影画像において、楕円Ｂ１で囲って示すように非平面領域（連続する白部分）の外縁が消失点Ｖに向かって連続している場合に、非平面領域を路面Ｒよりも低い領域であると判定する。路面Ｒよりも低い領域は、例えば楕円Ｂ１で囲った側溝や、斜面等である。また、領域判定部１９は、現在の撮影画像において、図７に矩形Ｂ２で囲って示すように非平面領域（連続する白部分）が上方に連続している場合に、非平面領域を立体物であると判定する。立体物は、例えば矩形Ｂ２で囲った壁や、支柱、木、人等である。領域判定部１９は、判定結果を制御判断部２０へ送信する。なお、過去画像ホモグラフィ変換部１７、画像差分算出部１８、及び領域判定部１９により、判定部が構成されている。

【0039】

制御判断部２０（制御指令部）は、図８に示すように、進路推定部１４により推定された進路Ａ１が非平面領域（連続する白部分）に交わる場合に、シニアカー５０の安全を図る所定制御を実行させる実行指令（判断結果）を出力する。例えば、所定制御は、進路推定部１４により推定される進路が非平面領域に交わらない進路Ａ２になるように、シニアカー５０の走行状態を変更する制御である。制御判断部２０は、例えば所定制御の実行指令をシニアカー５０の制御部へ出力する。シニアカー５０の制御部は、所定制御の実行指令に基づいて、シニアカー５０のハンドル５２の操作量を制御する。なお、所定制御の実行指令を出力することは、所定制御を実行する（所定制御の実行が必要）と判断することを含む。

【0040】

以上詳述した本実施形態は、以下の利点を有する。

【0041】

・ホモグラフィ行列は、２つの画像間に対応する４点があれば算出することができる。この点、過去の撮影画像における路面Ｒ上の互いに位置が異なる任意の４点Ｐ１～Ｐ４について、現在の画像（現在の単眼カメラ１１の位置及び向きにおいて撮影した場合の画像）における対応する４点を、過去の撮影画像の撮影時から現在までのシニアカー５０の走行情報（車速、ヨーレート）、及び路面Ｒとシニアカー５０と単眼カメラ１１との位置関係（カメラ取付情報）に基づいて算出することができる。したがって、ホモグラフィ行列算出部１６は、画像記憶部１２により記憶された過去の撮影画像、走行情報センサ１３により取得された走行情報、及び路面Ｒとシニアカー５０と単眼カメラ１１との位置関係に基づいて、路面Ｒに対するホモグラフィ行列を算出することができる。このホモグラフィ行列を算出する処理は、任意の４点Ｐ１～Ｐ４に対する演算に基づく処理であり、対応点探索において全ての点から特徴点の検出及び特徴量の記述等を行う処理と比較して処理負荷が低い。

【0042】

・路面Ｒに対するホモグラフィ行列により過去の撮影画像を変換した変換画像と、現在の撮影画像との差分は、路面Ｒに対応する平面領域では小さくなり、溝や立体物等の非平面領域では大きくなる。このため、過去画像ホモグラフィ変換部１７、画像差分算出部１８、及び領域判定部１９は、画像記憶部１２により記憶された過去の撮影画像を、ホモグラフィ行列算出部１６により算出されたホモグラフィ行列で変換した変換画像と、単眼カメラ１１により撮影された現在の撮影画像との差分に基づいて、現在の撮影画像における平面領域と非平面領域とを判定することができる。以上により、低処理負荷で平面領域と非平面領域とを判定可能となる。

【0043】

・領域判定部１９は、現在の撮影画像において非平面領域の外縁が消失点Ｖに向かって連続している場合に、非平面領域を路面Ｒよりも低い領域であると判定する。こうした構成によれば、撮影画像における側溝Ｇや路肩の外縁の映り方の特徴を利用して、非平面領域のうち路面Ｒよりも低い領域を判定することができる。

【0044】

・領域判定部１９は、現在の撮影画像において非平面領域が上方に連続している場合に、非平面領域を立体物であると判定する。こうした構成によれば、撮影画像における支柱や、木、壁、人の映り方の特徴を利用して、非平面領域のうち立体物を判定することができる。

【0045】

・進路推定部１４は、走行情報センサ１３により取得された走行情報、及びカメラ取付情報に基づいて、現在の撮影画像においてシニアカー５０の進路Ａ１を推定する。すなわち、進路推定部１４は、撮影画像を３次元空間に変換してシニアカー５０の進路Ａ１を３次元空間内の位置として推定するのではなく、シニアカー５０の進路Ａ１を撮影画像内の位置として推定する。そして、制御判断部２０は、進路推定部１４により推定された進路Ａ１が非平面領域に交わる場合に、シニアカー５０の安全を図る所定制御を実行させる実行指令を出力する。このため、撮影画像内での処理に基づいて所定制御の実行指令を出力することができ、処理負荷を低減することができる。

【0046】

・所定制御は、進路推定部１４により推定される進路が非平面領域に交わらない進路Ａ２になるように、シニアカー５０の走行状態を変更する制御である。こうした構成によれば、進路推定部１４により推定された進路Ａ１が非平面領域に交わる場合に、進路推定部１４により推定される進路が非平面領域に交わらない進路Ａ２になるように、シニアカー５０の走行状態を変更させることができる。したがって、シニアカー５０が非平面領域へ進入することを抑制することができ、シニアカー５０の安全を図ることができる。

【0047】

・シニアカー５０は、３０［ｋｍ／ｈ］以下の速度で走行するシニアカー５０である。こうした構成によれば、シニアカー５０の速度が低いため、シニアカー５０の走行中に単眼カメラ１１により所定時間に撮影される路面Ｒの範囲が、シニアカー５０から近距離の範囲になる。したがって、撮影された路面Ｒの範囲が平面に近くなり、ホモグラフィ行列により撮影画像中の路面Ｒを正確に変換することができ、ひいては平面領域と非平面領域とを正確に判定することができる。

【0048】

なお、上記実施形態を、以下のように変更して実施することもできる。上記実施形態と同一の部分については、同一の符号を付すことにより説明を省略する。

【0049】

・走行情報取得部としての走行情報センサ１３は、車速及びヨーレートに加えて、シニアカー５０のピッチ角やロール角を検出してもよい。走行情報取得部は、シニアカー５０の走行状態を検出する走行情報センサ１３に限らず、シニアカー５０から車速及びハンドル５２の操作量等の走行情報を入力する走行情報入力部であってもよい。

【0050】

・ホモグラフィ行列算出部１６は、画像記憶部１２により記憶された所定時間前の撮影画像における路面Ｒ上に、互いに位置が異なる任意の４点よりも多い点の座標を設定してもよい。そして、ホモグラフィ行列算出部１６は、その中から４点の組み合わせを複数作成して、それぞれの組み合わせについてホモグラフィ行列を算出し、算出した複数のホモグラフィ行列を最適化あるいは平均化して最終的なホモグラフィ行列を算出してもよい。

【0051】

・非平面領域が人や他車両等の立体物である場合は、シニアカー５０（自車両）の運転者が気付きやすいとともに、時間が経てばシニアカー５０の進路Ａ１から外れることがある。このような場合に、シニアカー５０の安全を図る所定制御が過剰に実行されると、シニアカー５０の運転者が所定制御を煩わしく感じるおそれがある。

【0052】

そこで、制御判断部２０は、領域判定部１９により非平面領域が立体物であると判定された場合に路面Ｒよりも低い領域であると判定された場合よりも、実行指令を出力する時期を遅くしてもよい。こうした構成によれば、非平面領域が人や他車両等の立体物である場合にシニアカー５０の安全を図る所定制御が早期に実行されることを抑制することができ、シニアカー５０の運転者が所定制御を煩わしく感じることを抑制することができる。

【0053】

・非平面領域が路面Ｒより低い領域である場合は、シニアカー５０が転落するおそれがあるため、シニアカー５０が非平面領域に進入することを抑制する必要がある。

【0054】

そこで、制御判断部２０は、領域判定部１９により非平面領域が路面Ｒよりも低い領域であると判定された場合に立体物であると判定された場合よりも、所定制御を非平面領域に対する安全性が高い制御に変更してもよい。例えば、非平面領域が路面Ｒよりも低い領域であると判定された場合に立体物であると判定された場合よりも、早期に警報を鳴らしたり、大きな音量で警報を鳴らしたり、非平面領域を早期に避けたり、非平面領域を大きく避けたり、シニアカー５０を早期に減速させたり、シニアカー５０を大きく減速させたりしてもよい。こうした構成によれば、非平面領域が路面Ｒよりも低い領域である場合に非平面領域に対する安全性が高い制御を実行させることができ、シニアカー５０が非平面領域に進入することを抑制することができる。

【0055】

・シニアカー５０の周辺監視装置１０は、シニアカー５０に後付けするものに限らず、シニアカー５０に最初から搭載されているものでもよい。

【0056】

・シニアカー５０に限らず、ゴルフカート、電動キックボード等の３０［ｋｍ／ｈ］以下の速度で走行する車両に周辺監視装置１０を適用することもできる。また、人が乗る車両に限らず、無人搬送車、走行型ロボット等の３０［ｋｍ／ｈ］以下の速度で走行する車両に周辺監視装置１０を適用することもできる。また、平面領域と非平面領域とを判定する精度は低下するが、３０［ｋｍ／ｈ］を超える速度で走行する車両に周辺監視装置１０を適用することもできる。要するに、車輪により陸上を走る移動体である車両に、周辺監視装置１０を適用することができる。

【0057】

なお、上記の各変更例を組み合わせて実施することもできる。

【符号の説明】

【0058】

１０…周辺監視装置、１１…単眼カメラ、１２…画像記憶部、１３…走行情報センサ、１５…カメラ取付情報記憶部、１６…ホモグラフィ行列算出部、１７…過去画像ホモグラフィ変換部、１８…画像差分算出部、１９…領域判定部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】