ホーム > 特許ランキング > いすゞ自動車株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023140691
(43)【公開日】2023-10-05
(54)【発明の名称】車両の後方監視システム及び車両の後方監視方法
(51)【国際特許分類】
G08G 1/16 20060101AFI20230928BHJP
H04N 7/18 20060101ALI20230928BHJP
B60R 1/26 20220101ALI20230928BHJP
【ＦＩ】
G08G1/16 D
H04N7/18 J
B60R1/26 100
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022046660
(22)【出願日】2022-03-23
(71)【出願人】
【識別番号】000000170
【氏名又は名称】いすゞ自動車株式会社
(74)【代理人】
【識別番号】110001368
【氏名又は名称】清流国際弁理士法人
(74)【代理人】
【識別番号】100129252
【弁理士】
【氏名又は名称】昼間 孝良
(74)【代理人】
【識別番号】100155033
【弁理士】
【氏名又は名称】境澤 正夫
(72)【発明者】
【氏名】津田 隆太
【テーマコード（参考）】
5C054
5H181
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054EA05
5C054FC14
5C054FD03
5C054FE09
5C054FE17
5C054FE18
5C054FE28
5C054FF06
5C054HA30
5H181AA07
5H181CC02
5H181CC04
5H181FF25
5H181FF32
5H181KK04
5H181LL02
5H181LL07
5H181LL08
5H181LL15
5H181LL17
(57)【要約】
【課題】単眼カメラが撮像した画像から車両後方の物体が車両に衝突する可能性の判定が簡易にできる車両の後方監視システムの提供。
【解決手段】トラック１００の後方の路面１０９を撮像する下部カメラ３と、トラック１００の、下部カメラ３より上方に配置され、トラック１００の後方の路面１０９を撮像する上部カメラ５と、下部カメラ３が撮像した下部カメラ画像Ｇ１を、下部鳥瞰ビューＴ１に変換し、上部カメラ５が撮像した上部カメラ画像Ｇ２を、上部鳥瞰ビューＴ２に変換する変換部と、上部鳥瞰ビューＴ２と下部鳥瞰ビューＴ１を比較して、上部カメラ画像Ｇ２と下部カメラ画像Ｇ１では路面１０９にある物体に隠れていた補正部６５の差分６４から路面１０９にある物体を検出する物体検出部１７と、物体検出部１７が検出した物体がトラック１００に衝突する可能性がある場合は衝突の可能性をトラックの運転手に知得させる衝突可能性判定部１９を備える後方監視システム１。
【選択図】図２
【解決手段】トラック１００の後方の路面１０９を撮像する下部カメラ３と、トラック１００の、下部カメラ３より上方に配置され、トラック１００の後方の路面１０９を撮像する上部カメラ５と、下部カメラ３が撮像した下部カメラ画像Ｇ１を、下部鳥瞰ビューＴ１に変換し、上部カメラ５が撮像した上部カメラ画像Ｇ２を、上部鳥瞰ビューＴ２に変換する変換部と、上部鳥瞰ビューＴ２と下部鳥瞰ビューＴ１を比較して、上部カメラ画像Ｇ２と下部カメラ画像Ｇ１では路面１０９にある物体に隠れていた補正部６５の差分６４から路面１０９にある物体を検出する物体検出部１７と、物体検出部１７が検出した物体がトラック１００に衝突する可能性がある場合は衝突の可能性をトラックの運転手に知得させる衝突可能性判定部１９を備える後方監視システム１。
【選択図】図２
【特許請求の範囲】
【請求項1】
車両の後方にある物体を監視する車両の後方監視システムであって、
前記車両に設けられ、前記車両の後方の路面を撮像する単眼カメラである下部カメラと、
前記車両の、前記下部カメラより上方に配置され、前記車両の後方の前記路面を撮像する単眼カメラである上部カメラと、
前記下部カメラが撮像した前記路面の画像である下部カメラ画像を、前記路面を上方から見た平面図である下部鳥瞰ビューに変換し、前記上部カメラが撮像した前記路面の画像である上部カメラ画像を、前記路面を上方から見た平面図である上部鳥瞰ビューに変換する変換部と、
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記上部カメラ画像と前記下部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の差分から前記路面にある前記物体を検出する物体検出部と、
前記物体検出部が検出した前記物体が前記車両に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる衝突可能性判定部と、
を備えることを特徴とする車両の後方監視システム。
前記車両に設けられ、前記車両の後方の路面を撮像する単眼カメラである下部カメラと、
前記車両の、前記下部カメラより上方に配置され、前記車両の後方の前記路面を撮像する単眼カメラである上部カメラと、
前記下部カメラが撮像した前記路面の画像である下部カメラ画像を、前記路面を上方から見た平面図である下部鳥瞰ビューに変換し、前記上部カメラが撮像した前記路面の画像である上部カメラ画像を、前記路面を上方から見た平面図である上部鳥瞰ビューに変換する変換部と、
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記上部カメラ画像と前記下部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の差分から前記路面にある前記物体を検出する物体検出部と、
前記物体検出部が検出した前記物体が前記車両に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる衝突可能性判定部と、
を備えることを特徴とする車両の後方監視システム。
【請求項2】
前記物体検出部は、
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記上部カメラ画像と前記下部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の差分がある位置から前記物体の位置を検出する、請求項１に記載の車両の後方監視システム。
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記上部カメラ画像と前記下部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の差分がある位置から前記物体の位置を検出する、請求項１に記載の車両の後方監視システム。
【請求項3】
前記物体検出部は、
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記上部カメラ画像と前記下部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の差分の前記車両の前後方向の長さから前記物体の高さを検出する、請求項１又は２に記載の車両の後方監視システム。
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記上部カメラ画像と前記下部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の差分の前記車両の前後方向の長さから前記物体の高さを検出する、請求項１又は２に記載の車両の後方監視システム。
【請求項4】
前記物体検出部は、
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記上部カメラ画像と前記下部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の、差分の面積から前記物体の高さを検出する、請求項１又は２に記載の車両の後方監視システム。
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記上部カメラ画像と前記下部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の、差分の面積から前記物体の高さを検出する、請求項１又は２に記載の車両の後方監視システム。
【請求項5】
前記衝突可能性判定部は、
前記車両と、検出した前記物体との距離が予め定められた所定の距離以内の場合に衝突する可能性があると判定して、衝突の可能性を前記車両の運転手に知得させる、請求項１～４のいずれか一項に記載の車両の後方監視システム。
前記車両と、検出した前記物体との距離が予め定められた所定の距離以内の場合に衝突する可能性があると判定して、衝突の可能性を前記車両の運転手に知得させる、請求項１～４のいずれか一項に記載の車両の後方監視システム。
【請求項6】
前記衝突可能性判定部は、
前記車両と前記物体の相対速度及び移動する向きに基づき前記所定の距離を設定する、請求項５に記載の車両の後方監視システム。
前記車両と前記物体の相対速度及び移動する向きに基づき前記所定の距離を設定する、請求項５に記載の車両の後方監視システム。
【請求項7】
車両の後方にある物体を監視する車両の後方監視方法であって、
前記車両に設けられた単眼カメラである下部カメラと、前記車両の、前記下部カメラより上方に配置された単眼カメラである上部カメラに前記車両の後方の路面を撮像させる撮像工程と、
前記下部カメラが撮像した前記路面の画像である下部カメラ画像を、前記路面を上方から見た平面図である下部鳥瞰ビューに変換し、前記上部カメラが撮像した前記路面の画像である上部カメラ画像を、前記路面を上方から見た平面図である上部鳥瞰ビューに変換する変換工程と、
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記下部カメラ画像と前記上部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の差分から前記路面にある前記物体を検出する物体検出工程と、
前記物体検出工程で検出した前記物体が前記車両に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる衝突可能性判定工程と、
を実施することを特徴とする車両の後方監視方法。
前記車両に設けられた単眼カメラである下部カメラと、前記車両の、前記下部カメラより上方に配置された単眼カメラである上部カメラに前記車両の後方の路面を撮像させる撮像工程と、
前記下部カメラが撮像した前記路面の画像である下部カメラ画像を、前記路面を上方から見た平面図である下部鳥瞰ビューに変換し、前記上部カメラが撮像した前記路面の画像である上部カメラ画像を、前記路面を上方から見た平面図である上部鳥瞰ビューに変換する変換工程と、
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記下部カメラ画像と前記上部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の差分から前記路面にある前記物体を検出する物体検出工程と、
前記物体検出工程で検出した前記物体が前記車両に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる衝突可能性判定工程と、
を実施することを特徴とする車両の後方監視方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両の後方監視システム及び車両の後方監視方法に関する。
【背景技術】
【0002】
車両には衝突防止を目的として車両の周囲の物体を検出する検出部を設けたものがある。検出部としてはソナーセンサ又はクリアランスソナーと呼ばれる超音波センサの一種が知られている（特許文献１）。また、検出部としてカメラを設け、カメラが撮像した画像から機械学習で物体を抽出する技術も知られている（特許文献２）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－２３８７０号公報
【特許文献2】特開２０２２－１６０２７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、貨物車両の後方の物体を検出する場合、検出部を荷台である架装の上に搭載する必要がある。しかしながら貨物車両の架装の形状や寸法は用途に応じて多種多様である。そのため、特許文献１のようなクリアランスソナーを取り付ける場合、最適な位置が架装によって変わる。また架装には種々の突出部や可動部があるため、クリアランスソナーが照射した超音波がこれらに当たると架装を車両の周囲の物体と誤検出する可能性がある。そのため、クリアランスソナーを貨物車両に設けるのは取付位置や誤検出の問題から困難な場合があった。
【0005】
また特許文献２のような機械学習で物体を抽出する方法では機械学習のための膨大なデータと、そのデータを学習させる工数とコストが必要であるという問題があった。また、貨物車両のカメラの設置高さは架装によって多種多様であり、特定の高さに決められないため、設置高さによって物体の見え方が変わる。そのため精度良く機械学習ができない問題があった。
【0006】
本開示は上記課題に鑑みてなされたもので、単眼カメラが撮像した画像から車両後方の物体が車両に衝突する可能性の判定が簡易にできる車両の後方監視システムの提供を目的とする。
【課題を解決するための手段】
【0007】
上記の目的を達成するための本開示の一態様は、車両の後方にある物体を監視する車両の後方監視システムであって、前記車両に設けられ、前記車両の後方の路面を撮像する単眼カメラである下部カメラと、前記車両の、前記下部カメラより上方に配置され、前記車両の後方の前記路面を撮像する単眼カメラである上部カメラと、前記下部カメラが撮像した前記路面の画像である下部カメラ画像を、前記路面を上方から見た平面図である下部鳥瞰ビューに変換し、前記上部カメラが撮像した前記路面の画像である上部カメラ画像を、前記路面を上方から見た平面図である上部鳥瞰ビューに変換する変換部と、前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記上部カメラ画像と前記下部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の差分から前記路面にある前記物体を検出する物体検出部と、前記物体検出部が検出した前記物体が前記車両に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる衝突可能性判定部と、を備えることを特徴とする。
【0008】
本開示の他の態様は、車両の後方にある物体を監視する車両の後方監視方法であって、前記車両に設けられた単眼カメラである下部カメラと、前記車両の、前記下部カメラより上方に配置された単眼カメラである上部カメラに前記車両の後方の路面を撮像させる撮像工程と、前記下部カメラが撮像した前記路面の画像である下部カメラ画像を、前記路面を上方から見た平面図である下部鳥瞰ビューに変換し、前記上部カメラが撮像した前記路面の画像である上部カメラ画像を、前記路面を上方から見た平面図である上部鳥瞰ビューに変換する変換工程と、前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記下部カメラ画像と前記上部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の差分から前記路面にある前記物体を検出する物体検出工程と、前記物体検出工程で検出した前記物体が前記車両に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる衝突可能性判定工程と、を実施することを特徴とする。
【発明の効果】
【0009】
本開示によれば、単眼カメラが撮像した画像から車両後方の物体が車両に衝突する可能性の判定が簡易にできる車両の後方監視システムを提供できる。
【図面の簡単な説明】
【0010】
【図1】本開示の実施形態に係る後方監視システムを備えた貨物車両の側面図である。
【図2】後方監視システムを示す機能ブロック図である。
【図3】後方監視システムで貨物車両の後方の物体を検出する手順を説明するための図であって、（ａ）は側面図、（ｂ）は（ａ）の平面図である。
【図4】（ａ）は下部カメラが撮像した車両後方の画像である下部カメラ画像の模式図であって、（ｂ）は上部カメラが撮像した車両後方の画像である上部カメラ画像の模式図である。
【図6】本実施形態に係る後方監視システムを用いた後方監視方法の手順を示すフロー図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して本開示に好適な実施形態を詳細に説明する。ここでは後方監視システム１として、バンボディ型の荷台１０７を備えた車両であるトラック１００の荷台１０７の後方の路面１０９上の物体を検出するシステムを例示している。また、以下の図ではＸ方向をトラック１００の前後方向、Ｙ方向をトラック１００の車幅方向、Ｚ方向を鉛直方向として図示している。
【0012】
まず、図１を参照してトラック１００の構造の概要を説明する。図１に示すトラック１００はトラック１００を構成する装置を支持する構造体であるシャシ１０３、シャシ１０３の前端に設けられた運転室であるキャブ１０５、キャブ１０５の後方のシャシ１０３に設けられた荷台１０７、及び後方監視システム１を備える。
【0013】
次に、図１～図５を参照して後方監視システム１の構造の詳細を説明する。後方監視システム１は荷台１０７の後方の路面１０９上の物体を検出して、検出した物体とトラック１００が衝突する可能性がある場合は、衝突する可能性をトラック１００の運転手に知得させるシステムである。図１及び図２に示すように後方監視システム１は下部カメラ３、上部カメラ５、及び監視制御部１３を備える。
【0014】
下部カメラ３はトラック１００に設けられ、トラック１００の荷台１０７の後方の路面１０９を撮像する単眼カメラである。具体的なカメラの構造は公知の単眼カメラを用いればよい。また下部カメラ３が路面１０９を撮像する際の光源は図示しないテールランプ等の、トラック１００の後端に設置された灯火類で十分であるが、赤外線カメラのように光源を必要としないカメラを用いてもよい。
【0015】
具体的な下部カメラ３の、前後方向の設置位置は、トラック１００の後方を撮像しやすくするため、トラック１００の後端であるのが好ましい。下部カメラ３の、車幅方向の設置位置は車幅方向の中心位置であると、車幅方向左右の同じ長さの領域を撮像できるので、好ましい。下部カメラ３の高さ方向の設置位置は、車両後方の物体を撮像できる位置で、なるべく下方に設けられる。ただし、設置位置が低すぎると下部カメラ３が路面１０９と接触する可能性があるため、路面１０９と接触しない範囲で設定する。具体的には図１に示すようにシャシ１０３の後端に設けられるのが好ましい。
【0016】
下部カメラ３の撮像範囲は図３（ａ）及び図３（ｂ）に示す撮像範囲Ｒ１のように、トラック１００の後方の路面１０９を含む。下部カメラ３の画角及び光軸Ａ２は、撮像範囲Ｒ１を撮像できるように設定する。なお、下部カメラ３は路面１０９付近に設けられるため、光軸Ａ２は水平でよい。ただし下部カメラ３は荷台１０７の後端が撮像範囲Ｒ１に入っているのが好ましい。撮像した画像における荷台１０７の後端と検出した物体の距離が求めやすいためである。
【0017】
例えば、図３（ｂ）に示すように、トラック１００が白線３３、３５で囲まれた駐車領域４１、４３、４５のうち、駐車領域４３に駐車しようとしてＸ１の向きに後進していたとする。また、駐車領域４３にはロードコーン等の高さＨ１の支柱３１が建てられており、一次的に駐車できない領域であったとする。この場合、下部カメラ３が撮像した画像である下部カメラ画像Ｇ１を模式的に示すと図４（ａ）に示すようになる。図４（ａ）に示すように下部カメラ３が撮像した下部カメラ画像Ｇ１は少なくとも荷台１０７の後端、白線３３、３５、及び支柱３１が映っている。ただし下部カメラ画像Ｇ１では支柱３１の背後の部分は支柱３１に隠れており、映っていない。
【0018】
図１及び図２に示す上部カメラ５はトラック１００の、下部カメラ３より上方に配置され、トラック１００の後方の路面１０９を撮像する単眼カメラである。具体的な上部カメラ５の構造は下部カメラ３の構造と同じである。
【0019】
具体的な上部カメラ５の前後方向の設置位置は、下部カメラ３と同様にトラック１００の後方を撮像しやすくするため、トラック１００の後端であるのが好ましい。上部カメラ５の車幅方向の設置位置は下部カメラ３と同様である。上部カメラ５の高さ方向の設置位置は、車両後方の物体を撮像できる位置で、なるべく上方に設けられる。本実施形態では下部カメラ３と上部カメラ５の撮像した映像を鳥瞰ビューに変換し、鳥瞰ビューの差分から物体を検出するが、下部カメラ３と上部カメラ５高さの差が大きくなるほど鳥瞰ビューの差分が大きくなり、より高さが低い物体を検出できるためである。具体的には歩行者として幼児を検出できる程度の高さに設置するのが好ましく、荷台１０７の上端かつ後端に設けるのが、より好ましい。
【0020】
上部カメラ５の撮像範囲は図３（ａ）及び図３（ｂ）に示す撮像範囲Ｒ１のように、トラック１００の後方の路面１０９を含む。上部カメラ５の画角及び光軸Ａ１は、撮像範囲Ｒ１を撮像できるように設定する。ただし上部カメラ５は荷台１０７の後端が撮像範囲Ｒ１に入っているのが好ましい。撮像した画像における荷台１０７の後端と検出した物体の距離が求めやすいためである。
【0021】
例えば、図３（ａ）及び図３（ｂ）に示すように、トラック１００が駐車領域４３に駐車しようとしてＸ１の向きに後進していた場合に、上部カメラ５が撮像した画像である上部カメラ画像Ｇ２を模式的に示すと図４（ｂ）に示すようになる。図４（ｂ）に示すように上部カメラ５が撮像した上部カメラ画像Ｇ２は少なくとも荷台１０７の後端、白線３３、３５、及び支柱３１が映っている。上部カメラ画像Ｇ２も支柱３１の背後の部分は支柱３１に隠れており、映っていない。ただし上部カメラ画像Ｇ２は下部カメラ３よりも上方から撮像した画像であるため、支柱３１に隠れている部分は図４（ａ）に示す下部カメラ３が撮像した下部カメラ画像Ｇ１で支柱３１に隠れている部分よりも小さい。
【0022】
図２に示す監視制御部１３は下部カメラ３と上部カメラ５が撮像したトラック１００の後方の下部カメラ画像Ｇ１及び上部カメラ画像Ｇ２から物体を検出するコンピュータである。監視制御部１３は、検出した物体がトラック１００に衝突する可能性がある場合は、衝突する可能性を運転手に知得させるコンピュータでもあり、例えばキャブ１０５に設けられる。図２に示すように監視制御部１３は変換部１５、物体検出部１７、及び衝突可能性判定部１９を備える。
【0023】
変換部１５は下部カメラ３が撮像した路面１０９の下部カメラ画像Ｇ１を、路面１０９を上方から見た平面図である下部鳥瞰ビューＴ１に変換する部分である。変換部１５は上部カメラ５が撮像した路面１０９の上部カメラ画像Ｇ２を、路面１０９を上方から見た平面図である上部鳥瞰ビューＴ２に変換する部分でもある。下部鳥瞰ビューＴ１及び上部鳥瞰ビューＴ２を生成する際の仮想視点は撮像範囲Ｒ１の図心の上方とすればよい。また鳥瞰ビューの生成手段は公知の画像処理技術を用いればよい。また、図２では変換部１５が監視制御部１３の構成に含まれているが、下部カメラ３及び上部カメラ５自体が変換部１５を持っていてもよい。さらに、アラウンドビューモニタのように、鳥瞰ビューを表示する装置をトラック１００が備えている場合、アラウンドビューモニタに表示する鳥瞰ビューを生成する装置を変換部１５として流用してもよい。
【0024】
図４（ａ）に示す下部カメラ３が撮像したトラック１００の後方の下部カメラ画像Ｇ１を下部鳥瞰ビューＴ１に変換した模式図を図５（ａ）に示す。図４（ｂ）に示す上部カメラ５が撮像したトラック１００の後方の上部カメラ画像Ｇ２を上部鳥瞰ビューＴ２に変換した模式図を図５（ｂ）に示す。
【0025】
図５（ａ）及び図５（ｂ）に示すように、白線３３、３５のように高さがないものは下部鳥瞰ビューＴ１と上部鳥瞰ビューＴ２では、実際の形状と差がない。また下部鳥瞰ビューＴ１と上部鳥瞰ビューＴ２では表示された白線３３、３５の形状や寸法に違いは無い。一方で、支柱３１のように高さがあるものは、下部鳥瞰ビューＴ１と上部鳥瞰ビューＴ２に映る形状と、実際の形状とが大きく異なっている。また下部鳥瞰ビューＴ１と上部鳥瞰ビューＴ２を比較しても、表示された形状や寸法に大きな違いがある。具体的には下部カメラ画像Ｇ１と上部カメラ画像Ｇ２では支柱３１に隠れて映っていなかった部分の後方が支柱３１と同じものとして画像補正されている。支柱３１はトラック１００の車幅方向の中央付近にあるため、下部カメラ画像Ｇ１と上部カメラ画像Ｇ２では支柱３１に隠れて映っていなかった部分の後方が台形状の補正部６５として画像補正されている。補正部６５の大きさは図５（ｂ）に示す上部鳥瞰ビューＴ２の方が図５（ａ）に示す下部鳥瞰ビューＴ１より小さい。上部鳥瞰ビューＴ２は上部カメラ５が撮像した路面１０９の上部カメラ画像Ｇ２を鳥瞰ビューに変換したものであるため、下部カメラ画像Ｇ１と比べて、支柱３１の背後に隠れている部分が小さいためである。
【0026】
図２に示す物体検出部１７は上部鳥瞰ビューＴ２と下部鳥瞰ビューＴ１を比較して、下部カメラ画像Ｇ１と上部カメラ画像Ｇ２では路面１０９にある支柱３１に隠れて映っていなかった補正部６５の差分６４から路面１０９にある支柱３１を検出する部分である。具体的には差分６４から物体としての支柱３１の位置、高さ、及び車幅方向の幅を検出する。これらを検出する具体的な手段は以下の手段を例示できる。
【0027】
まず、上部鳥瞰ビューＴ２と下部鳥瞰ビューＴ１を比較して見え方が異なる部分、具体的には図５（ａ）及び図５（ｂ）に示す上部鳥瞰ビューＴ２と下部鳥瞰ビューＴ１の補正部６５の差分６４を抽出する。この部分が、物体が存在する部分の後方である。
【0028】
次に、物体の平面上の位置については、上部鳥瞰ビューＴ２と下部鳥瞰ビューＴ１を比較して、差分６４の位置から物体の平面上の位置を検出できる。具体的には、図５（ａ）に示す差分６４は支柱３１の後方にあるため、差分６４の位置と、実際の支柱３１の位置には相関がある。そのため、この相関として、予め実験で求めたものを図２に示すように差分相関情報１７ａとして物体検出部１７が有する構成とし、差分６４の位置を差分相関情報１７ａに当てはめて支柱３１の位置を求めてもよい。なお差分６４の位置と、実際の支柱３１の位置の相関は実験ではなく計算で求めてもよい。また、差分６４は補正部６５の一部であり、補正部６５は支柱３１と同じものとして画像補正された部分である。そのため、補正部６５の前端６１を支柱３１の中心位置として検出してもよい。支柱３１の位置が検出できれば支柱３１とトラック１００のキャブ１０５の後端との距離Ｄも上部鳥瞰ビューＴ２と下部鳥瞰ビューＴ１から検出できる。
【0029】
次に、支柱３１の高さを検出する手段は以下の２通りを例示できる。まず上部鳥瞰ビューＴ２と下部鳥瞰ビューＴ１を比較して、差分６４の前後方向の長さΔＬから物体の高さを検出する手段を例示できる。長さΔＬは支柱３１が高くなるほど大きくなるため、長さΔＬと、支柱３１の高さには相関があるためである。このような、差分６４の長さΔＬと、物体の実際の高さの相関は、予め実験で求めたものを図２に示すように差分相関情報１７ａとして物体検出部１７が有してもよい。この場合、物体検出部１７は差分６４の長さΔＬを求め、求めた値を差分相関情報１７ａに当てはめて物体の高さを検出する。また、長さΔＬと、支柱３１の高さの相関は実験値ではなく、計算で求めてもよい。
【0030】
支柱３１の高さを検出する手段としては上部鳥瞰ビューＴ２と下部鳥瞰ビューＴ１を比較して、補正部６５の差分６４の面積ΔＳから物体の高さを検出する手段も例示できる。面積ΔＳは支柱３１が高くなるほど大きくなるため、面積ΔＳと、支柱３１の高さには相関があるためである。この相関は実験で求めたものを差分相関情報１７ａとして物体検出部１７が有してもよいし、計算で求めてもよい。
【0031】
差分６４の長さΔＬと、面積ΔＳのどちらを用いるかは、各々の利点を考慮して適宜選択すればよい。例えば差分６４の長さΔＬから物体の高さを検出する手段は、差分６４の面積ΔＳから物体の高さを検出する手段と比べて物体の高さとの相関が強いため、検出精度の点で有利である。一方で差分６４の面積ΔＳから物体の高さを検出する手段は、長さΔＬを算出する手段と比べて、長さを求めるための基準点を設定する必要がないため、面積ΔＳを算出する処理が容易である点で有利である。
【0032】
次に、支柱３１の幅を検出する手段は以下の２通りを例示できる。まず上部鳥瞰ビューＴ２と下部鳥瞰ビューＴ１を比較して、差分６４の車幅方向の幅から物体の幅を検出する手段を例示できる。例えば図５（ａ）に示す下部鳥瞰ビューＴ１の補正部６５の差分６４のＹ方向の最短幅ΔＷを検出する。最短幅ΔＷは支柱３１の幅が長くなるほど長くなるため、最短幅ΔＷと、支柱３１の幅には相関があるためである。差分６４の最短幅ΔＷと、物体の実際の幅の相関は、予め実験で求めたものを図２に示す差分相関情報１７ａとして物体検出部１７が有してもよいし、計算で求めてもよい。
【0033】
支柱３１の幅を検出する手段としては補正部６５の差分６４の面積ΔＳから物体の幅を検出する手段も例示できる。例えば図５（ａ）に示す下部鳥瞰ビューＴ１の補正部６５の差分６４の面積ΔＳから支柱３１の幅を検出する。面積ΔＳは支柱３１の幅が長くなるほど大きくなるため、面積ΔＳと、支柱３１の幅には相関があるためである。この相関は実験で求めたものを差分相関情報１７ａとして物体検出部１７が有してもよいし、計算で求めてもよい。
【0034】
図２に示す衝突可能性判定部１９は物体検出部１７が検出した物体がトラック１００に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性をトラック１００の運転手に知得させる装置である。衝突の可能性をトラック１００の運転手に知得させる手段としては図２に示すようにキャブ１０５にスピーカ２５を設けて音で衝突する可能性を伝えてもよい。またキャブ１０５内に文字や図形を表示する液晶等の表示部２３を設けて、表示部２３に文字で衝突する可能性を伝えてもよい。特にトラック１００のキャブ１０５内にアラウンドビューモニタがある場合、アラウンドビューモニタを表示部２３として用い、アラウンドビューモニタに表示された映像のうち、検出された物体を強調表示することで衝突する可能性を伝えてもよい。
【0035】
このように後方監視システム１は、下部カメラ３と上部カメラ５が撮像したカメラ画像から生成した鳥瞰ビューを比較して、カメラ画像では物体に隠れて映っていなかった部分の差分６４から物体を検出して車両に衝突する可能性を判定する。そのため、後方監視システム１は単眼カメラが撮像した画像からトラック１００の後方の物体がトラック１００に衝突する可能性の判定が簡易にできる。特に、アラウンドビューモニタのように、鳥瞰ビューを表示する装置をトラック１００が備えている場合、アラウンドビューモニタに表示する鳥瞰ビューを生成する装置を変換部１５として流用できる。そのため、画像処理用の装置やソフトウェアを追加せずにトラック１００の後方の物体がトラック１００に衝突する可能性の判定が簡易にできる。
【0036】
具体的に衝突可能性判定部１９が衝突の可能性があると判定する基準は、トラック１００の後端と、物体検出部１７が検出した物体、図３では支柱３１との距離Ｄが予め定められた所定の距離以下になった場合を例示できる。予め定められた所定の距離とは、トラック１００の運転手がブレーキを踏めば支柱３１と衝突する前にトラック１００が停止する距離、つまり制動距離に、予め定められた安全率を乗じた値である。
【0037】
このように支柱３１とトラック１００の後端との距離Ｄが予め定められた所定の距離以下になった場合に衝突の可能性があると判定することで、運転手が衝突の可能性を知得した時点でブレーキを踏めば、支柱３１と衝突するのを回避できる。
【0038】
なお、衝突可能性判定部１９が衝突の可能性を判定する基準となる予め定められた距離は、トラック１００と物体の相対速度や移動する向きによって異なる場合がある。例えば物体が支柱３１のような設置物ではなく歩行者のような移動体の場合で、歩行者が車両に向かって歩いている場合は、予め定められた所定の距離は、物体が支柱３１のように動かない設置物の場合よりも短くなる。また、トラック１００が物体に相対的に近づいている場合、トラック１００や物体の速度が速くなるほど予め定められた所定の距離は短くなる。そのため、衝突可能性判定部１９はトラック１００に設けられた舵角センサ２７や速度センサ２９からトラック１００の進行する向きや速度を取得して予め定められた所定の距離を設定する。また所定の時間間隔で下部カメラ３と上部カメラ５に路面１０９を撮像させて鳥瞰ビューを生成して差分６４から物体を検出し、差分６４の位置や大きさの変動を取得することで、物体の移動速度と向きを検出して予め定められた所定の距離を設定する。より具体的には、トラック１００と物体が互いに近づく向きに相対的に移動しており、かつ相対速度が速くなるほど、所定の距離を短く設定する。
【0039】
このように、衝突可能性判定部１９がトラック１００と、検出した物体の相対速度及び移動する向きに基づき所定の距離を設定することで、トラック１００と、検出した物体が衝突する可能性をより高い精度で判定できる。
【0040】
また、衝突可能性判定部１９は検出した物体の内、予め定められた高さ以上の高さの物体のみを、衝突する可能性がある物体として扱う。予め定められた高さとは、図３（ａ）に示すようにトラック１００の路面１０９からの高さのうち、最も低い部分の高さである最低地上高Ｈ２を例示できる。最低地上高Ｈ２よりも高さが低い物体は路面１０９上の小石のようにトラック１００の荷台１０７に衝突する可能性が低いためである。
【0041】
なお、図２に示す変換部１５、物体検出部１７、及び衝突可能性判定部１９は各々をハードウェアで構成してもよい。あるいはこれらの機能をコンピュータに実行させるソフトウェアと、ソフトウェアの指令に基づきこれらの機能を実行する汎用コンピュータで構成してもよい。以上が後方監視システム１の構造の詳細の説明である。
【0042】
次に後方監視システム１を用いた後方監視方法の手順について、図６を参照して簡単に説明する。まず図２に示す監視制御部１３や監視制御部１３の変換部１５は、下部カメラ３と上部カメラ５に所定の時間間隔でトラック１００の後方の路面１０９の撮像範囲Ｒ１を撮像させる指令を出す。指令を受けた下部カメラ３と上部カメラ５は撮像範囲Ｒ１を撮像し、撮像した下部カメラ画像Ｇ１と上部カメラ画像Ｇ２を変換部１５に送信する（図６のＳ１、撮像工程）。
【0043】
次に図２に示す変換部１５は、取得した下部カメラ画像Ｇ１と上部カメラ画像Ｇ２を下部鳥瞰ビューＴ１及び上部鳥瞰ビューＴ２に変換して物体検出部１７に送信する（図６のＳ２、変換工程）。物体検出部１７は下部鳥瞰ビューＴ１と上部鳥瞰ビューＴ２を比較して、下部カメラ画像Ｇ１と上部カメラ画像Ｇ２では路面１０９にある物体に隠れて映っていなかった部分である補正部６５の差分６４を抽出する。さらに物体検出部１７は、補正部６５の差分６４から路面１０９にある物体を検出して、検出した物体の位置、高さ、幅、移動速度と向き等を算出して衝突可能性判定部１９に送信する（図６のＳ３、物体検出工程）。
【0044】
次に、図２に示す衝突可能性判定部１９は、物体検出部１７が検出した物体がトラック１００に衝突する可能性があるか無いかを判定し、衝突する可能性があると判定した場合はＳ５に進み、衝突の可能性が無いと判定した場合はリターンする（図６のＳ４）。Ｓ４で物体がトラック１００に衝突する可能性があると判定した場合、衝突可能性判定部１９は図２に示す表示部２３やスピーカ２５を用いて衝突の可能性をトラック１００の運転手に知得させる（図６のＳ５）。なお、Ｓ４とＳ５を衝突可能性判定工程ともいう。以上が後方監視システム１を用いた後方監視方法の手順の説明である。
【0045】
このように本実施形態によれば後方監視システム１は下部カメラ３と上部カメラ５と、変換部１５と、物体検出部１７と、衝突可能性判定部１９を備える。この構成では、下部カメラ３と上部カメラ５のカメラ画像から生成した鳥瞰ビューを比較して、カメラ画像では物体に隠れて映っていなかった部分の差分６４から物体を検出してトラック１００に物体が衝突する可能性を判定する。そのため、単眼カメラが撮像した画像からトラック１００の後方の物体がトラック１００に衝突する可能性の判定が簡易にできる。
【0046】
以上、実施形態に基づき本開示を説明したが本開示は実施形態に限定されない。当業者であれば本開示の技術思想の範囲内において各種変形例及び改良例に想到するのは当然のことであり、これらも当然に本開示に含まれる。
【符号の説明】
【0047】
１ ：後方監視システム
３ ：下部カメラ
５ ：上部カメラ
１３ ：監視制御部
１５ ：変換部
１７ ：物体検出部
１７ａ ：差分相関情報
１９ ：衝突可能性判定部
２３ ：表示部
２５ ：スピーカ
２７ ：舵角センサ
２９ ：加速度センサ
３１ ：支柱
３３、３５ ：白線
４１、４３、４５ ：駐車領域
６１ ：前端
６４ ：差分
６５ ：補正部
１００ ：トラック
１０３ ：シャシ
１０５ ：キャブ
１０７ ：荷台
１０９ ：路面
３ ：下部カメラ
５ ：上部カメラ
１３ ：監視制御部
１５ ：変換部
１７ ：物体検出部
１７ａ ：差分相関情報
１９ ：衝突可能性判定部
２３ ：表示部
２５ ：スピーカ
２７ ：舵角センサ
２９ ：加速度センサ
３１ ：支柱
３３、３５ ：白線
４１、４３、４５ ：駐車領域
６１ ：前端
６４ ：差分
６５ ：補正部
１００ ：トラック
１０３ ：シャシ
１０５ ：キャブ
１０７ ：荷台
１０９ ：路面
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2023-08-07
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
車両の後方にある物体を監視する車両の後方監視システムであって、
前記車両に設けられ、前記車両の後方の路面を撮像する単眼カメラである下部カメラと、
前記車両の、前記下部カメラより上方に配置され、前記車両の後方の前記路面を撮像する単眼カメラである上部カメラと、
前記下部カメラが撮像した前記路面の画像である下部カメラ画像を、前記路面を上方から見た平面図である下部鳥瞰ビューに変換し、前記上部カメラが撮像した前記路面の画像である上部カメラ画像を、前記路面を上方から見た平面図である上部鳥瞰ビューに変換する変換部と、
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記上部カメラ画像と前記下部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の差分から前記路面にある前記物体を検出する物体検出部と、
前記物体検出部が検出した前記物体が前記車両に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる衝突可能性判定部と、
を備え、
前記物体検出部は、
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記上部カメラ画像と前記下部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の、差分の面積から前記物体の高さを検出することを特徴とする車両の後方監視システム。
前記車両に設けられ、前記車両の後方の路面を撮像する単眼カメラである下部カメラと、
前記車両の、前記下部カメラより上方に配置され、前記車両の後方の前記路面を撮像する単眼カメラである上部カメラと、
前記下部カメラが撮像した前記路面の画像である下部カメラ画像を、前記路面を上方から見た平面図である下部鳥瞰ビューに変換し、前記上部カメラが撮像した前記路面の画像である上部カメラ画像を、前記路面を上方から見た平面図である上部鳥瞰ビューに変換する変換部と、
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記上部カメラ画像と前記下部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の差分から前記路面にある前記物体を検出する物体検出部と、
前記物体検出部が検出した前記物体が前記車両に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる衝突可能性判定部と、
を備え、
前記物体検出部は、
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記上部カメラ画像と前記下部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の、差分の面積から前記物体の高さを検出することを特徴とする車両の後方監視システム。
【請求項2】
前記物体検出部は、
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記上部カメラ画像と前記下部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の差分がある位置から前記物体の位置を検出する、請求項１に記載の車両の後方監視システム。
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記上部カメラ画像と前記下部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の差分がある位置から前記物体の位置を検出する、請求項１に記載の車両の後方監視システム。
【請求項3】
車両の後方にある物体を監視する車両の後方監視システムであって、
前記車両に設けられ、前記車両の後方の路面を撮像する単眼カメラである下部カメラと、
前記車両の、前記下部カメラより上方に配置され、前記車両の後方の前記路面を撮像する単眼カメラである上部カメラと、
前記下部カメラが撮像した前記路面の画像である下部カメラ画像を、前記路面を上方から見た平面図であって、前記路面にある前記物体の前記下部カメラ画像では前記物体に隠れて映っていなかった部分が補正部として画像補正された下部鳥瞰ビューに変換し、前記上部カメラが撮像した前記路面の画像である上部カメラ画像を、前記路面を上方から見た平面図であって、前記路面にある前記物体の前記上部カメラ画像では前記物体に隠れて映っていなかった部分が補正部として画像補正された上部鳥瞰ビューに変換する変換部と、
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、それぞれの前記補正部の差分から前記路面にある前記物体の位置、高さ、及び前記車両の車幅方向の幅を検出する物体検出部と、
前記物体検出部が検出した前記物体が前記車両に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる衝突可能性判定部と、
を備えることを特徴とする車両の後方監視システム。
前記車両に設けられ、前記車両の後方の路面を撮像する単眼カメラである下部カメラと、
前記車両の、前記下部カメラより上方に配置され、前記車両の後方の前記路面を撮像する単眼カメラである上部カメラと、
前記下部カメラが撮像した前記路面の画像である下部カメラ画像を、前記路面を上方から見た平面図であって、前記路面にある前記物体の前記下部カメラ画像では前記物体に隠れて映っていなかった部分が補正部として画像補正された下部鳥瞰ビューに変換し、前記上部カメラが撮像した前記路面の画像である上部カメラ画像を、前記路面を上方から見た平面図であって、前記路面にある前記物体の前記上部カメラ画像では前記物体に隠れて映っていなかった部分が補正部として画像補正された上部鳥瞰ビューに変換する変換部と、
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、それぞれの前記補正部の差分から前記路面にある前記物体の位置、高さ、及び前記車両の車幅方向の幅を検出する物体検出部と、
前記物体検出部が検出した前記物体が前記車両に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる衝突可能性判定部と、
を備えることを特徴とする車両の後方監視システム。
【請求項4】
前記物体検出部は、
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、それぞれの前記補正部の差分がある位置から前記物体の位置を検出する、請求項３に記載の車両の後方監視システム。
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、それぞれの前記補正部の差分がある位置から前記物体の位置を検出する、請求項３に記載の車両の後方監視システム。
【請求項5】
前記物体検出部は、
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、それぞれの前記補正部の差分の前記車両の前後方向の長さと前記車両の車幅方向の最短幅から前記物体の高さと前記物体の幅を検出する、請求項３又は４に記載の車両の後方監視システム。
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、それぞれの前記補正部の差分の前記車両の前後方向の長さと前記車両の車幅方向の最短幅から前記物体の高さと前記物体の幅を検出する、請求項３又は４に記載の車両の後方監視システム。
【請求項6】
前記物体検出部は、
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、それぞれの前記補正部の差分の面積から前記物体の高さと前記物体の幅を検出する、請求項３又は４に記載の車両の後方監視システム。
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、それぞれの前記補正部の差分の面積から前記物体の高さと前記物体の幅を検出する、請求項３又は４に記載の車両の後方監視システム。
【請求項7】
車両の後方にある物体を監視する車両の後方監視方法であって、
監視制御部により、
前記車両に設けられた単眼カメラである下部カメラと、前記車両の、前記下部カメラより上方に配置された単眼カメラである上部カメラに前記車両の後方の路面を撮像させる撮像工程と、
前記下部カメラが撮像した前記路面の画像である下部カメラ画像を、前記路面を上方から見た平面図である下部鳥瞰ビューに変換し、前記上部カメラが撮像した前記路面の画像である上部カメラ画像を、前記路面を上方から見た平面図である上部鳥瞰ビューに変換する変換工程と、
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記下部カメラ画像と前記上部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の差分から前記路面にある前記物体を検出する物体検出工程と、
前記物体検出工程で検出した前記物体が前記車両に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる衝突可能性判定工程と、
を実施し、
前記物体検出工程では、前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記上部カメラ画像と前記下部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の、差分の面積から前記物体の高さを検出することを特徴とする車両の後方監視方法。
監視制御部により、
前記車両に設けられた単眼カメラである下部カメラと、前記車両の、前記下部カメラより上方に配置された単眼カメラである上部カメラに前記車両の後方の路面を撮像させる撮像工程と、
前記下部カメラが撮像した前記路面の画像である下部カメラ画像を、前記路面を上方から見た平面図である下部鳥瞰ビューに変換し、前記上部カメラが撮像した前記路面の画像である上部カメラ画像を、前記路面を上方から見た平面図である上部鳥瞰ビューに変換する変換工程と、
前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記下部カメラ画像と前記上部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の差分から前記路面にある前記物体を検出する物体検出工程と、
前記物体検出工程で検出した前記物体が前記車両に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる衝突可能性判定工程と、
を実施し、
前記物体検出工程では、前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記上部カメラ画像と前記下部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の、差分の面積から前記物体の高さを検出することを特徴とする車両の後方監視方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
上記の目的を達成するための本開示の一態様は、車両の後方にある物体を監視する車両の後方監視システムであって、前記車両に設けられ、前記車両の後方の路面を撮像する単眼カメラである下部カメラと、前記車両の、前記下部カメラより上方に配置され、前記車両の後方の前記路面を撮像する単眼カメラである上部カメラと、前記下部カメラが撮像した前記路面の画像である下部カメラ画像を、前記路面を上方から見た平面図である下部鳥瞰ビューに変換し、前記上部カメラが撮像した前記路面の画像である上部カメラ画像を、前記路面を上方から見た平面図である上部鳥瞰ビューに変換する変換部と、前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記上部カメラ画像と前記下部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の差分から前記路面にある前記物体を検出する物体検出部と、前記物体検出部が検出した前記物体が前記車両に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる衝突可能性判定部と、を備え、前記物体検出部は、前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記上部カメラ画像と前記下部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の、差分の面積から前記物体の高さを検出することを特徴とする。
本開示の一態様は、車両の後方にある物体を監視する車両の後方監視システムであって、前記車両に設けられ、前記車両の後方の路面を撮像する単眼カメラである下部カメラと、前記車両の、前記下部カメラより上方に配置され、前記車両の後方の前記路面を撮像する単眼カメラである上部カメラと、前記下部カメラが撮像した前記路面の画像である下部カメラ画像を、前記路面を上方から見た平面図であって、前記路面にある前記物体の前記下部カメラ画像では前記物体に隠れて映っていなかった部分が補正部として画像補正された下部鳥瞰ビューに変換し、前記上部カメラが撮像した前記路面の画像である上部カメラ画像を、前記路面を上方から見た平面図であって、前記路面にある前記物体の前記上部カメラ画像では前記物体に隠れて映っていなかった部分が補正部として画像補正された上部鳥瞰ビューに変換する変換部と、前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、それぞれの前記補正部の差分から前記路面にある前記物体の位置、高さ、及び前記車両の車幅方向の幅を検出する物体検出部と、前記物体検出部が検出した前記物体が前記車両に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる衝突可能性判定部と、を備えることを特徴とする。
本開示の一態様は、車両の後方にある物体を監視する車両の後方監視システムであって、前記車両に設けられ、前記車両の後方の路面を撮像する単眼カメラである下部カメラと、前記車両の、前記下部カメラより上方に配置され、前記車両の後方の前記路面を撮像する単眼カメラである上部カメラと、前記下部カメラが撮像した前記路面の画像である下部カメラ画像を、前記路面を上方から見た平面図であって、前記路面にある前記物体の前記下部カメラ画像では前記物体に隠れて映っていなかった部分が補正部として画像補正された下部鳥瞰ビューに変換し、前記上部カメラが撮像した前記路面の画像である上部カメラ画像を、前記路面を上方から見た平面図であって、前記路面にある前記物体の前記上部カメラ画像では前記物体に隠れて映っていなかった部分が補正部として画像補正された上部鳥瞰ビューに変換する変換部と、前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、それぞれの前記補正部の差分から前記路面にある前記物体の位置、高さ、及び前記車両の車幅方向の幅を検出する物体検出部と、前記物体検出部が検出した前記物体が前記車両に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる衝突可能性判定部と、を備えることを特徴とする。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
本開示の他の態様は、車両の後方にある物体を監視する車両の後方監視方法であって、監視制御部により、前記車両に設けられた単眼カメラである下部カメラと、前記車両の、前記下部カメラより上方に配置された単眼カメラである上部カメラに前記車両の後方の路面を撮像させる撮像工程と、前記下部カメラが撮像した前記路面の画像である下部カメラ画像を、前記路面を上方から見た平面図である下部鳥瞰ビューに変換し、前記上部カメラが撮像した前記路面の画像である上部カメラ画像を、前記路面を上方から見た平面図である上部鳥瞰ビューに変換する変換工程と、前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記下部カメラ画像と前記上部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の差分から前記路面にある前記物体を検出する物体検出工程と、前記物体検出工程で検出した前記物体が前記車両に衝突する可能性を判定し、衝突する可能性があると判定した場合は衝突の可能性を前記車両の運転手に知得させる衝突可能性判定工程と、を実施し、前記物体検出工程では、前記上部鳥瞰ビューと前記下部鳥瞰ビューを比較して、前記上部カメラ画像と前記下部カメラ画像では前記路面にある前記物体に隠れて映っていなかった部分の、差分の面積から前記物体の高さを検出することを特徴とする。