ホーム > 特許ランキング > アルプスアルパイン株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024167770
(43)【公開日】2024-12-04
(54)【発明の名称】後方映像表示システム
(51)【国際特許分類】
H04N 7/18 20060101AFI20241127BHJP
H04N 23/60 20230101ALI20241127BHJP
B60R 1/20 20220101ALI20241127BHJP
B60R 1/27 20220101ALI20241127BHJP
【ＦＩ】
H04N7/18 J
H04N23/60 500
B60R1/20 100
B60R1/27
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2023084078
(22)【出願日】2023-05-22
(71)【出願人】
【識別番号】000010098
【氏名又は名称】アルプスアルパイン株式会社
(74)【代理人】
【識別番号】100099748
【弁理士】
【氏名又は名称】佐藤 克志
(74)【代理人】
【識別番号】100103171
【弁理士】
【氏名又は名称】雨貝 正彦
(74)【代理人】
【識別番号】100105784
【弁理士】
【氏名又は名称】橘 和之
(74)【代理人】
【識別番号】100098497
【弁理士】
【氏名又は名称】片寄 恭三
(72)【発明者】
【氏名】工藤 信範
【テーマコード（参考）】
5C054
5C122
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054FC12
5C054FE14
5C054FE18
5C054HA30
5C122DA14
5C122EA47
5C122FA18
5C122FH09
5C122FH18
5C122FK37
5C122FK41
5C122HB05
(57)【要約】
【課題】死角少なく自然な形態で牽引車後方の映像を表示する「後方映像表示システム」を提供する。
【解決手段】牽引車２の後部の牽引車後方カメラ２１５で後方を撮影した映像ｂ中の、トレーラ１によって遮蔽されている領域の部分のうち、牽引車後方カメラ２１５から見た、その部分の方向の様子がトレーラ１の側部のカメラでトレーラ１に遮蔽されることなく撮影される部分は、側部のカメラの映像を牽引車後方カメラ２１５の視点に視点変換した映像ｃ１、ｃ３で置換し、残る部分のうちの、牽引車後方カメラ２１５から見た、その部分の方向の様子がトレーラ１の後部のカメラでトレーラ１に遮蔽されることなく撮影される部分は、トレーラ１の後部のカメラの映像を牽引車後方カメラ２１５の視点に視点変換した映像ｃ２で置換して、表示する後方映像ｄを生成する。各領域は、検出したトレーラ１のヒッチ角に基づいて算定する。
【選択図】図６
【解決手段】牽引車２の後部の牽引車後方カメラ２１５で後方を撮影した映像ｂ中の、トレーラ１によって遮蔽されている領域の部分のうち、牽引車後方カメラ２１５から見た、その部分の方向の様子がトレーラ１の側部のカメラでトレーラ１に遮蔽されることなく撮影される部分は、側部のカメラの映像を牽引車後方カメラ２１５の視点に視点変換した映像ｃ１、ｃ３で置換し、残る部分のうちの、牽引車後方カメラ２１５から見た、その部分の方向の様子がトレーラ１の後部のカメラでトレーラ１に遮蔽されることなく撮影される部分は、トレーラ１の後部のカメラの映像を牽引車後方カメラ２１５の視点に視点変換した映像ｃ２で置換して、表示する後方映像ｄを生成する。各領域は、検出したトレーラ１のヒッチ角に基づいて算定する。
【選択図】図６
【特許請求の範囲】
【請求項1】
トレーラを牽引する牽引車の後方の様子を表す映像である後方映像を表示する後方映像表示システムであって、
前記牽引車の後部から後方を撮影するカメラである牽引車後方カメラと、
前記トレーラの後部から後方を撮影するカメラであるトレーラ後方カメラと、
前記トレーラの右側部から前記トレーラの周辺を撮影するカメラであるトレーラ右カメラと、
前記トレーラの左側部から前記トレーラの周辺を撮影するカメラであるトレーラ左カメラと、
前記トレーラのヒッチ角を検出するヒッチ角検出手段と、
前記後方映像を生成する後方映像生成部とを有し、
前記後方映像生成部は、
前記ヒッチ角検出手段が検出したヒッチ角に基づいて、前記牽引車後方カメラに対して前記トレーラによって後方が遮蔽されている前記牽引車後方カメラから見た方向範囲である遮蔽方向範囲と、前記遮蔽方向範囲中の前記牽引車後方カメラから見た方向範囲であって当該方向範囲が前記トレーラ右カメラに対して前記トレーラによって一切遮蔽されていない方向範囲である右置換方向範囲と、前記遮蔽方向範囲中の前記牽引車後方カメラから見た方向範囲であって当該方向範囲が前記トレーラ左カメラに対して前記トレーラによって一切遮蔽されていない方向範囲である左置換方向範囲と、前記遮蔽方向範囲中の前記右置換方向範囲と前記左方向範囲を除く方向範囲であって当該方向範囲が前記トレーラ後方カメラに対して前記トレーラによって遮蔽されていない方向範囲である後方置換方向範囲とを算定する範囲算定手段と、
前記牽引車後方カメラが撮影した映像である牽引車後方映像の前記右置換方向範囲に対応する部分を、前記トレーラ右カメラが撮影した映像を、前記牽引車後方映像と同じ視点から観察した映像に置換した映像の前記右置換方向範囲に対応する部分に相当する映像で置換し、前記牽引車後方映像の前記左置換方向範囲に対応する部分を、前記トレーラ左カメラが撮影した映像を前記牽引車後方映像と同じ視点から観察した映像に置換した映像の前記左置換方向範囲に対応する部分に相当する映像で置換し、前記牽引車後方映像の前記後方置換方向範囲に対応する部分を、前記トレーラ後方カメラが撮影した映像を、前記牽引車後方映像と同じ視点から観察した映像に置換した映像の前記後方置換方向範囲に対応する部分に相当する映像で置換して、前記後方映像を生成する置換手段とを有することを特徴とする後方映像表示システム。
前記牽引車の後部から後方を撮影するカメラである牽引車後方カメラと、
前記トレーラの後部から後方を撮影するカメラであるトレーラ後方カメラと、
前記トレーラの右側部から前記トレーラの周辺を撮影するカメラであるトレーラ右カメラと、
前記トレーラの左側部から前記トレーラの周辺を撮影するカメラであるトレーラ左カメラと、
前記トレーラのヒッチ角を検出するヒッチ角検出手段と、
前記後方映像を生成する後方映像生成部とを有し、
前記後方映像生成部は、
前記ヒッチ角検出手段が検出したヒッチ角に基づいて、前記牽引車後方カメラに対して前記トレーラによって後方が遮蔽されている前記牽引車後方カメラから見た方向範囲である遮蔽方向範囲と、前記遮蔽方向範囲中の前記牽引車後方カメラから見た方向範囲であって当該方向範囲が前記トレーラ右カメラに対して前記トレーラによって一切遮蔽されていない方向範囲である右置換方向範囲と、前記遮蔽方向範囲中の前記牽引車後方カメラから見た方向範囲であって当該方向範囲が前記トレーラ左カメラに対して前記トレーラによって一切遮蔽されていない方向範囲である左置換方向範囲と、前記遮蔽方向範囲中の前記右置換方向範囲と前記左方向範囲を除く方向範囲であって当該方向範囲が前記トレーラ後方カメラに対して前記トレーラによって遮蔽されていない方向範囲である後方置換方向範囲とを算定する範囲算定手段と、
前記牽引車後方カメラが撮影した映像である牽引車後方映像の前記右置換方向範囲に対応する部分を、前記トレーラ右カメラが撮影した映像を、前記牽引車後方映像と同じ視点から観察した映像に置換した映像の前記右置換方向範囲に対応する部分に相当する映像で置換し、前記牽引車後方映像の前記左置換方向範囲に対応する部分を、前記トレーラ左カメラが撮影した映像を前記牽引車後方映像と同じ視点から観察した映像に置換した映像の前記左置換方向範囲に対応する部分に相当する映像で置換し、前記牽引車後方映像の前記後方置換方向範囲に対応する部分を、前記トレーラ後方カメラが撮影した映像を、前記牽引車後方映像と同じ視点から観察した映像に置換した映像の前記後方置換方向範囲に対応する部分に相当する映像で置換して、前記後方映像を生成する置換手段とを有することを特徴とする後方映像表示システム。
【請求項2】
トレーラを牽引する牽引車の後方の様子を表す映像である後方映像を表示する後方映像表示システムであって、
前記牽引車の後部から後方を撮影するカメラである牽引車後方カメラと、
前記トレーラの後部から後方を撮影するカメラであるトレーラ後方カメラと、
前記トレーラの右側部から前記トレーラの周辺を撮影するカメラであるトレーラ右カメラと、
前記トレーラの左側部から前記トレーラの周辺を撮影するカメラであるトレーラ左カメラと、
前記トレーラのヒッチ角を検出するヒッチ角検出手段と、
前記後方映像を生成する後方映像生成部とを有し、
前記後方映像生成部は、
前記ヒッチ角検出手段が検出したヒッチ角に基づいて、前記牽引車後方カメラから見て前記トレーラの右側面に重なる方向範囲である右置換方向範囲と、前記牽引車後方カメラから見て前記トレーラの左側面に重なる方向範囲である左置換方向範囲と、前記牽引車後方カメラから見て前記トレーラの後面に重なる方向範囲である後方置換方向範囲とを算定する範囲算定手段と、
前記牽引車後方カメラが撮影した映像である牽引車後方映像の前記右置換方向範囲に対応する部分を、前記トレーラ右カメラが撮影した映像を前記牽引車後方映像と同じ視点から観察した映像に置換した映像の前記右置換方向範囲に対応する部分に相当する映像で置換し、前記牽引車後方映像の前記左置換方向範囲に対応する部分を、前記トレーラ左カメラが撮影した映像を前記牽引車後方映像と同じ視点から観察した映像に置換した映像の前記左置換方向範囲に対応する部分に相当する映像で置換し、前記牽引車後方映像の前記後方置換方向範囲に対応する部分を、前記トレーラ後方カメラが撮影した映像を前記牽引車後方映像と同じ視点から観察した映像に置換した映像の前記後方置換方向範囲に対応する部分に相当する映像で置換して、前記後方映像を生成する置換手段とを有することを特徴とする後方映像表示システム。
前記牽引車の後部から後方を撮影するカメラである牽引車後方カメラと、
前記トレーラの後部から後方を撮影するカメラであるトレーラ後方カメラと、
前記トレーラの右側部から前記トレーラの周辺を撮影するカメラであるトレーラ右カメラと、
前記トレーラの左側部から前記トレーラの周辺を撮影するカメラであるトレーラ左カメラと、
前記トレーラのヒッチ角を検出するヒッチ角検出手段と、
前記後方映像を生成する後方映像生成部とを有し、
前記後方映像生成部は、
前記ヒッチ角検出手段が検出したヒッチ角に基づいて、前記牽引車後方カメラから見て前記トレーラの右側面に重なる方向範囲である右置換方向範囲と、前記牽引車後方カメラから見て前記トレーラの左側面に重なる方向範囲である左置換方向範囲と、前記牽引車後方カメラから見て前記トレーラの後面に重なる方向範囲である後方置換方向範囲とを算定する範囲算定手段と、
前記牽引車後方カメラが撮影した映像である牽引車後方映像の前記右置換方向範囲に対応する部分を、前記トレーラ右カメラが撮影した映像を前記牽引車後方映像と同じ視点から観察した映像に置換した映像の前記右置換方向範囲に対応する部分に相当する映像で置換し、前記牽引車後方映像の前記左置換方向範囲に対応する部分を、前記トレーラ左カメラが撮影した映像を前記牽引車後方映像と同じ視点から観察した映像に置換した映像の前記左置換方向範囲に対応する部分に相当する映像で置換し、前記牽引車後方映像の前記後方置換方向範囲に対応する部分を、前記トレーラ後方カメラが撮影した映像を前記牽引車後方映像と同じ視点から観察した映像に置換した映像の前記後方置換方向範囲に対応する部分に相当する映像で置換して、前記後方映像を生成する置換手段とを有することを特徴とする後方映像表示システム。
【請求項3】
請求項１記載の後方映像表示システムであって、
前記置換手段は、牽引車後方映像の、前記遮蔽方向範囲中の前記右置換方向範囲と前記左置換方向範囲と前記後方置換方向範囲とを除く方向範囲に対応する部分を、所定のパターンで置換して前記後方映像を生成することを特徴とする後方映像表示システム。
前記置換手段は、牽引車後方映像の、前記遮蔽方向範囲中の前記右置換方向範囲と前記左置換方向範囲と前記後方置換方向範囲とを除く方向範囲に対応する部分を、所定のパターンで置換して前記後方映像を生成することを特徴とする後方映像表示システム。
【請求項4】
請求項２記載の後方映像表示システムであって、
前記範囲算定手段は、前記ヒッチ角検出手段が検出したヒッチ角に基づいて、前記牽引車後方カメラから見て前記トレーラの底面に重なる方向範囲であるマスク方向範囲を算定し、
前記置換手段は、牽引車後方映像の、前記マスク方向範囲に対応する部分を、所定のパターンで置換して前記後方映像を生成することを特徴とする後方映像表示システム。
前記範囲算定手段は、前記ヒッチ角検出手段が検出したヒッチ角に基づいて、前記牽引車後方カメラから見て前記トレーラの底面に重なる方向範囲であるマスク方向範囲を算定し、
前記置換手段は、牽引車後方映像の、前記マスク方向範囲に対応する部分を、所定のパターンで置換して前記後方映像を生成することを特徴とする後方映像表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、トレーラを牽引する牽引車のユーザに対して、後方の映像を表示する技術に関するものである。
【背景技術】
【0002】
トレーラ（被牽引車）を牽引する牽引車のユーザに対して後方の映像を表示する技術としては、トレーラの後部に設けたカメラで撮影した映像と、牽引車に設けたカメラから後方を撮影した映像とを、一つのシーンを表すように合成して表示する技術が知られている（たとえば、特許文献１）。
【0003】
また、トレーラを牽引する牽引車のユーザに対して後方の映像を表示する技術としては、トレーラの左右側部と後部に設けた３台のカメラで撮影した映像を合成して、トレーラの周辺の様子を広く表すパノラマビュー映像を生成し、パノラマビュー映像中の一部の固定サイズの範囲を切り出して、牽引車の後部のカメラから後方を撮影した映像のトレーラが表れる領域に重ねて表示する技術が知られている（たとえば、特許文献２）。ここで、この技術では、パノラマビュー映像中から切り出して表示する範囲を、トレーラの前後方向の牽引車の前後方向に対する相対角度であるヒッチ角に応じて変化させている。
【0004】
また、トレーラ（被牽引車）のヒッチ角を検出する技術として、カメラで撮影した映像からトレーラのドローバーの中心軸を認識してヒッチ角を検出する技術や（たとえば、特許文献３）、レーザ距離計で計測したトレーラの左右両端部までの牽引車からの牽引車の前後方向の距離からヒッチ角を算出する技術や（たとえば、特許文献４）、カメラで撮影した、トレーラのドローバーの上面に貼付したマーカーのパターンの傾きからトレーラのヒッチ角を検出する技術（たとえば、特許文献５）等が知られている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２１-１７０８２６号公報
【特許文献2】特表２０２２-５４７０６８号公報
【特許文献3】特開２０２０-１６３１号公報
【特許文献4】特開２０２１-１７７１４５号公報
【特許文献5】特開２０１９-１９９１５０号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
トレーラの後部に設けたカメラで撮影した映像と、牽引車に設けたカメラから後方を撮影した映像とを合成して表示する技術によれば、トレーラのヒッチ角が大きくなると、牽引車の後方に、牽引車に設けたカメラに対してトレーラの側面によって隠蔽される領域が発生し、結果、いずれのカメラでも撮影できない、したがって表示することのできない、牽引車の利用者にとって死角となる範囲が生じる。
【0007】
また、上述したトレーラのヒッチ角に応じてパノラマビュー映像中の一部を切り出して表示する技術では、ヒッチ角に応じて、牽引車に設けたカメラに対してトレーラの側面によって隠蔽され、かつ、パノラマビュー映像から切り出されない部分に該当する範囲が、牽引車の利用者にとって死角となる牽引車の後方の範囲として生じる。
【0008】
また、牽引車に設けたカメラで撮影した映像と、パノラマビュー映像から切り出した映像とでは、視点や視線方向が異なることや、トレーラのヒッチ角に応じて、牽引車の後部のカメラで後方を撮影した映像に表れるトレーラの側面の大きさ、したがって、映像に表れるトレーラが表れる領域の大きさが変化するのに対して、トレーラが表れる領域に重ねて表示されるパノラマビュー映像中の部分のサイズは固定であること等のために、この技術によって表示される映像は不連続で不自然な映像となる。
【0009】
そこで、本発明は、より死角となる範囲が少なく、より自然な形態で、牽引車後方の様子を表す映像を表示することを課題とする。
【課題を解決するための手段】
【0010】
前記課題達成のために、本発明は、トレーラを牽引する牽引車の後方の様子を表す映像である後方映像を表示する後方映像表示システムに、前記牽引車の後部から後方を撮影するカメラである牽引車後方カメラと、前記トレーラの後部から後方を撮影するカメラであるトレーラ後方カメラと、前記トレーラの右側部から前記トレーラの周辺を撮影するカメラであるトレーラ右カメラと、前記トレーラの左側部から前記トレーラの周辺を撮影するカメラであるトレーラ左カメラと、前記トレーラのヒッチ角を検出するヒッチ角検出手段と、前記後方映像を生成する後方映像生成部とを備えたものである。ここで、前記後方映像生成部は、前記ヒッチ角検出手段が検出したヒッチ角に基づいて、前記牽引車後方カメラに対して前記トレーラによって後方が遮蔽されている前記牽引車後方カメラから見た方向範囲である遮蔽方向範囲と、前記遮蔽方向範囲中の前記牽引車後方カメラから見た方向範囲であって当該方向範囲が前記トレーラ右カメラに対して前記トレーラによって一切遮蔽されていない方向範囲である右置換方向範囲と、前記遮蔽方向範囲中の前記牽引車後方カメラから見た方向範囲であって当該方向範囲が前記トレーラ左カメラに対して前記トレーラによって一切遮蔽されていない方向範囲である左置換方向範囲と、前記遮蔽方向範囲中の前記右置換方向範囲と前記左方向範囲を除く方向範囲であって当該方向範囲が前記トレーラ後方カメラに対して前記トレーラによって遮蔽されていない方向範囲である後方置換方向範囲とを算定する範囲算定手段と、前記牽引車後方カメラが撮影した映像である牽引車後方映像の前記右置換方向範囲に対応する部分を、前記トレーラ右カメラが撮影した映像を前記牽引車後方映像と同じ視点から観察した映像に置換した映像の前記右置換方向範囲に対応する部分に相当する映像で置換し、前記牽引車後方映像の前記左置換方向範囲に対応する部分を、前記トレーラ左カメラが撮影した映像を前記牽引車後方映像と同じ視点から観察した映像に置換した映像の前記左置換方向範囲に対応する部分に相当する映像で置換し、前記牽引車後方映像の前記後方置換方向範囲に対応する部分を、前記トレーラ後方カメラが撮影した映像を前記牽引車後方映像と同じ視点から観察した映像に置換した映像の前記後方置換方向範囲に対応する部分に相当する映像で置換して、前記後方映像を生成する置換手段とを備えている。
【0011】
ここで、このような後方映像表示システムは、前記置換手段において、牽引車後方映像の、前記遮蔽方向範囲中の前記右置換方向範囲と前記左置換方向範囲と前記後方置換方向範囲とを除く方向範囲に対応する部分を、所定のパターンで置換して前記後方映像を生成するように構成してもよい。
【0012】
また、前記課題達成のために、本発明は、トレーラを牽引する牽引車の後方の様子を表す映像である後方映像を表示する後方映像表示システムに、前記牽引車の後部から後方を撮影するカメラである牽引車後方カメラと、前記トレーラの後部から後方を撮影するカメラであるトレーラ後方カメラと、前記トレーラの右側部から前記トレーラの周辺を撮影するカメラであるトレーラ右カメラと、前記トレーラの左側部から前記トレーラの周辺を撮影するカメラであるトレーラ左カメラと、前記トレーラのヒッチ角を検出するヒッチ角検出手段と、前記後方映像を生成する後方映像生成部とを備えたものである。ここで、前記後方映像生成部は、前記ヒッチ角検出手段が検出したヒッチ角に基づいて、前記牽引車後方カメラから見て前記トレーラの右側面に重なる方向範囲である右置換方向範囲と、前記牽引車後方カメラから見て前記トレーラの左側面に重なる方向範囲である左置換方向範囲と、前記牽引車後方カメラから見て前記トレーラの後面に重なる方向範囲である後方置換方向範囲とを算定する範囲算定手段と、前記牽引車後方カメラが撮影した映像である牽引車後方映像の前記右置換方向範囲に対応する部分を、前記トレーラ右カメラが撮影した映像を前記牽引車後方映像と同じ視点から観察した映像に置換した映像の前記右置換方向範囲に対応する部分に相当する映像で置換し、前記牽引車後方映像の前記左置換方向範囲に対応する部分を、前記トレーラ左カメラが撮影した映像を前記牽引車後方映像と同じ視点から観察した映像に置換した映像の前記左置換方向範囲に対応する部分に相当する映像で置換し、前記牽引車後方映像の前記後方置換方向範囲に対応する部分を、前記トレーラ後方カメラが撮影した映像を前記牽引車後方映像と同じ視点から観察した映像に置換した映像の前記後方置換方向範囲に対応する部分に相当する映像で置換して、前記後方映像を生成する置換手段とを備えている。
【0013】
ここで、このような後方映像表示システムは、前記範囲算定手段において、前記ヒッチ角検出手段が検出したヒッチ角に基づいて、前記牽引車後方カメラから見て前記トレーラの底面に重なる方向範囲であるマスク方向範囲を算定し、前記置換手段において、牽引車後方映像の、前記マスク方向範囲に対応する部分を、所定のパターンで置換して前記後方映像を生成するように構成してもよい。
【0014】
以上のように後方映像表示システムは、牽引車の後部のカメラで撮影した映像のトレーラで遮蔽されている部分を、トレーラの後部とトレーラの右側部とトレーラの左側部に配置した３台のカメラで、当該部分と同じ方向範囲を撮影した映像を牽引車後部のカメラの視点に視点変換した映像で置換して牽引車の後方の様子を表す後方映像を生成する。
【0015】
ここで、トレーラの後部とトレーラの右側部とトレーラの左側部に配置した３台のカメラによれば、トレーラ後方、右方、左方を漏れなく撮影することができる。
また、牽引車の後部のカメラで撮影した映像のトレーラで遮蔽されている部分は、当該映像と同じ視点の映像で置換される。
したがって、本後方映像表示システムによれば、おおよそトレーラが透明であれば牽引車の後部のカメラの視点から観察される牽引車後方の広い範囲を死角少なく、シームレスに不自然感なく表した映像を後方映像として生成し表示することができる。
また、牽引車の後部のカメラで撮影した映像のトレーラで遮蔽されている部分は、当該映像と同じ視点の映像で置換される。
したがって、本後方映像表示システムによれば、おおよそトレーラが透明であれば牽引車の後部のカメラの視点から観察される牽引車後方の広い範囲を死角少なく、シームレスに不自然感なく表した映像を後方映像として生成し表示することができる。
【発明の効果】
【0016】
以上のように、本発明によれば、より死角となる範囲が少なく、より自然な形態で、牽引車後方の様子を表す映像を表示することができる。
【図面の簡単な説明】
【0017】
【図1】本発明の実施形態に係る運転支援システムの構成を示すブロック図である。
【図2】本発明の実施形態に係る牽引車とトレーラを示す図である。
【図3】本発明の実施形態において検出するヒッチ角を示す図である。
【図4】本発明の実施形態に係る映像の使用範囲を示す図である。
【図5】本発明の実施形態に係る映像の合成領域を示す図である。
【図6】本発明の実施形態に係る後方映像の例を示す図である。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態について説明する。
図１に本実施形態に係る運転支援システムの構成を示す
運転支援システムは、図２ａ、ｂに示すキャンピングトレーラなどのトレーラ１を牽引する牽引車２の運転の支援を行う。
図１に戻り、運転支援システムは、トレーラ１に搭載されたトレーラ側システム１１と、牽引車２に搭載された牽引車側システム２１とよりなる。
トレーラ側システム１１は、トレーラ右カメラ１１１、トレーラ後方カメラ１１２、トレーラ左カメラ１１３の３台のカメラと、以上の各カメラで撮影した映像を牽引車側システム２１に無線伝送する送信装置１１４を備えている。
また、牽引車側システム２１は、入力装置２１１、牽引車２の前進/後進の走行状態や牽引車２の舵角等の牽引車２の各種状態を検出する状態センサ２１２、表示装置２１３、トレーラ側システム１１の送信装置１１４が無線伝送する映像を受信する受信装置２１４、牽引車後方カメラ２１５、トレーラ１のヒッチ角を検出するヒッチ角センサ２１６、受信装置２１４が受信したトレーラ右カメラ１１１、トレーラ後方カメラ１１２、トレーラ左カメラ１１３の映像と、牽引車後方カメラ２１５で撮影した映像を合成して後方映像を生成し表示装置２１３に表示する後方映像合成部２１７、以上の各部を制御する制御部２１８を備えている。
図１に本実施形態に係る運転支援システムの構成を示す
運転支援システムは、図２ａ、ｂに示すキャンピングトレーラなどのトレーラ１を牽引する牽引車２の運転の支援を行う。
図１に戻り、運転支援システムは、トレーラ１に搭載されたトレーラ側システム１１と、牽引車２に搭載された牽引車側システム２１とよりなる。
トレーラ側システム１１は、トレーラ右カメラ１１１、トレーラ後方カメラ１１２、トレーラ左カメラ１１３の３台のカメラと、以上の各カメラで撮影した映像を牽引車側システム２１に無線伝送する送信装置１１４を備えている。
また、牽引車側システム２１は、入力装置２１１、牽引車２の前進/後進の走行状態や牽引車２の舵角等の牽引車２の各種状態を検出する状態センサ２１２、表示装置２１３、トレーラ側システム１１の送信装置１１４が無線伝送する映像を受信する受信装置２１４、牽引車後方カメラ２１５、トレーラ１のヒッチ角を検出するヒッチ角センサ２１６、受信装置２１４が受信したトレーラ右カメラ１１１、トレーラ後方カメラ１１２、トレーラ左カメラ１１３の映像と、牽引車後方カメラ２１５で撮影した映像を合成して後方映像を生成し表示装置２１３に表示する後方映像合成部２１７、以上の各部を制御する制御部２１８を備えている。
【0019】
ただし、トレーラ右カメラ１１１、トレーラ後方カメラ１１２、トレーラ左カメラ１１３の映像はトレーラ側システム１１から有線伝送によって、牽引車側システム２１に伝送してもよく、この場合には、送信装置１１４と受信装置２１４は設けずに、トレーラ右カメラ１１１、トレーラ後方カメラ１１２、トレーラ左カメラ１１３の映像は、直接、後方映像合成部２１７に伝送する
次に、図２ａ、ｂに示すように、トレーラ側システム１１のトレーラ右カメラ１１１はトレーラ１の右側部の前端近くの位置から後方を撮影し、トレーラ後方カメラ１１２はトレーラ１の後部の左右方向について中央の位置から後方を撮影し、トレーラ左カメラ１１３はトレーラ１の左側部の前端近くの位置から後方を撮影する。
次に、図２ａ、ｂに示すように、トレーラ側システム１１のトレーラ右カメラ１１１はトレーラ１の右側部の前端近くの位置から後方を撮影し、トレーラ後方カメラ１１２はトレーラ１の後部の左右方向について中央の位置から後方を撮影し、トレーラ左カメラ１１３はトレーラ１の左側部の前端近くの位置から後方を撮影する。
【0020】
また、牽引車側システム２１の牽引車後方カメラ２１５は牽引車２の後部の左右方向について中央の位置から後方を撮影する。
トレーラ１の前端下部からはシャシーに連結するドローバー１２がトレーラ１の前方に延びており、ドローバー１２の前端部に設けたカプラを、牽引車２の後端下部から牽引車２の後方に延びるヒッチメンバ２２の後端部に設けられているヒッチボールに、カプラとヒッチボールの上下方向の中心軸回りに揺動可能に係合することにより、トレーラ１は牽引車２に連結される。
トレーラ１の前端下部からはシャシーに連結するドローバー１２がトレーラ１の前方に延びており、ドローバー１２の前端部に設けたカプラを、牽引車２の後端下部から牽引車２の後方に延びるヒッチメンバ２２の後端部に設けられているヒッチボールに、カプラとヒッチボールの上下方向の中心軸回りに揺動可能に係合することにより、トレーラ１は牽引車２に連結される。
【0021】
したがって、図３ａ、ｂに示すように、トレーラ１はカプラとヒッチボールの上下方向の中心軸回りに牽引車２に対して揺動することができ、この揺動の角度θが、ヒッチ角センサ２１６が検出するトレーラ１のヒッチ角となる。
以下、後方映像合成部２１７が行う後方映像の生成について説明する。
ここで、後方映像の生成と表示は、常時行うようにしても良いし、状態センサ２１２が牽引車２の後進を検出している期間のみ行うようにしても良いし、ユーザ操作に応答して行うようにしても良い
以下、トレーラ右カメラ１１１が出力する映像をトレーラ右映像、トレーラ左カメラ１１３が出力する映像をトレーラ左映像、トレーラ後方カメラ１１２が出力する映像をトレーラ後方映像、牽引車後方カメラ２１５が出力する映像を牽引車後方映像として説明を行う。但し、各カメラからは、左右を反転した映像（鏡像）が出力されるものとする。
以下、後方映像合成部２１７が行う後方映像の生成について説明する。
ここで、後方映像の生成と表示は、常時行うようにしても良いし、状態センサ２１２が牽引車２の後進を検出している期間のみ行うようにしても良いし、ユーザ操作に応答して行うようにしても良い
以下、トレーラ右カメラ１１１が出力する映像をトレーラ右映像、トレーラ左カメラ１１３が出力する映像をトレーラ左映像、トレーラ後方カメラ１１２が出力する映像をトレーラ後方映像、牽引車後方カメラ２１５が出力する映像を牽引車後方映像として説明を行う。但し、各カメラからは、左右を反転した映像（鏡像）が出力されるものとする。
【0022】
まず、ヒッチ角センサ２１６が検出したトレーラ１のヒッチ角θから、トレーラ右カメラ１１１、トレーラ左カメラ１１３、トレーラ後方カメラ１１２のそれぞれと、牽引車後方カメラ２１５との位置関係を求め、求めた位置関係に従って、トレーラ右映像を牽引車後方カメラ２１５の位置から撮影した映像に視点変換する視点変換関数と、トレーラ左映像を牽引車後方カメラ２１５の位置から撮影した映像に視点変換する視点変換関数と、トレーラ後方映像を牽引車後方カメラ２１５の位置から撮影した映像に視点変換する視点変換関数を設定する。
【0023】
但し、予めヒッチ角毎に、各ヒッチ角に対応する各映像の視点変換関数を求めて登録しておき、後方映像の生成時には、ヒッチ角センサ２１６が検出したヒッチ角θに対応して登録されている視点変換関数を、設定する視点変換関数として用いるようにしてよい。
また、後方映像合成部２１７は、トレーラ右映像、トレーラ左映像、トレーラ後方映像から牽引車後方映像に合成する映像部分を抽出する領域である抽出領域を、ヒッチ角センサ２１６で検出したトレーラ１のヒッチ角θに基づいて設定する。
抽出領域の設定は以下のように行う。
すなわち、図４ａに示す牽引車後方カメラ２１５から見た仰俯角（上下方向角度）がγAである左右方向の角度範囲について、図４ｂ１、図４ｂ２に示すように、牽引車後方カメラ２１５の水平方向の撮影画角φmR+Sφm+φmLのうちの、ヒッチ角θに応じて定まる、トレーラ１によって牽引車後方カメラ２１５に対して遮蔽される角度範囲Sφmを算定する。
また、後方映像合成部２１７は、トレーラ右映像、トレーラ左映像、トレーラ後方映像から牽引車後方映像に合成する映像部分を抽出する領域である抽出領域を、ヒッチ角センサ２１６で検出したトレーラ１のヒッチ角θに基づいて設定する。
抽出領域の設定は以下のように行う。
すなわち、図４ａに示す牽引車後方カメラ２１５から見た仰俯角（上下方向角度）がγAである左右方向の角度範囲について、図４ｂ１、図４ｂ２に示すように、牽引車後方カメラ２１５の水平方向の撮影画角φmR+Sφm+φmLのうちの、ヒッチ角θに応じて定まる、トレーラ１によって牽引車後方カメラ２１５に対して遮蔽される角度範囲Sφmを算定する。
【0024】
そして、角度範囲Sφmのうち、設定した視点変換関数を用いてトレーラ右映像を牽引車後方カメラ２１５の位置から撮影した映像に視点変換した場合に、視点変換したトレーラ右映像にトレーラ１によって一切遮蔽されることなく牽引車２後方の仰俯角γA方向の映像が表れる角度範囲φRに対応するトレーラ右映像の領域をヒッチ角θに応じて定める。
【0025】
また、牽引車後方カメラ２１５の画角内の他の仰俯角についても、同様に、角度範囲φRに対応するトレーラ右映像の領域をヒッチ角θに応じて定め、各仰俯角について定めた各領域を合わせた領域をトレーラ右映像から映像部分を抽出する抽出領域として設定する。
【0026】
また、角度範囲Sφmのうち、設定した視点変換関数を用いてトレーラ左映像を牽引車後方カメラ２１５の位置から撮影した映像に視点変換した場合に、視点変換したトレーラ左映像にトレーラ１によって一切遮蔽されることなく牽引車２後方の仰俯角γA方向の映像が表れる角度範囲φLに対応するトレーラ左映像の領域をヒッチ角θに応じて定める。
【0027】
また、牽引車後方カメラ２１５の画角内の他の仰俯角についても、同様に、角度範囲φLに対応するトレーラ左映像の領域をヒッチ角θに応じて定め、各仰俯角について定めた各領域を合わせた領域をトレーラ左映像から映像部分を抽出する抽出領域として設定する。
【0028】
また、角度範囲φRと角度範囲φLの間の角度範囲SφRLのうちの、設定した視点変換関数を用いてトレーラ後方映像を牽引車後方カメラ２１５の位置から撮影した映像に視点変換した場合に、視点変換したトレーラ後方映像に牽引車２後方の仰俯角γA方向の映像が表れる角度範囲φBに対応するトレーラ後方映像の領域をヒッチ角θに応じて定める。
【0029】
また、牽引車後方カメラ２１５の画角内の他の仰俯角についても、同様に、角度範囲φBに対応するトレーラ後方映像の領域をヒッチ角θに応じて定め、各仰俯角について定めた各領域を合わせた領域をトレーラ後方映像から映像部分を抽出する抽出領域として設定する。
【0030】
ここで、このように映像を抽出する角度範囲φR、角度範囲φL、角度範囲φLは、ヒッチ角θに応じて定まり、図４ｂ１、図４ｂ２に示すように、ヒッチ角θに応じて変化する。
また、このように映像を抽出する角度範囲φR、角度範囲φL、角度範囲φBは、牽引車後方カメラ２１５から見た仰俯角の範囲毎に異なったものとなる。たとえば、図４ａの牽引車後方カメラ２１５によって牽引車２のトレーラ１の間の部分が撮影される仰俯角γBの左右方向の範囲については、（ドローバー１２による遮蔽は考慮しないものとして）トレーラ１によって牽引車後方カメラ２１５に対して遮蔽される角度範囲Sφmは存在しない。また、牽引車後方カメラ２１５から見てトレーラ１の直下の方向となる仰俯角γCの左右方向の範囲については、トレーラ右カメラ１１１やトレーラ左カメラ１１３やトレーラ後方カメラ１１２によって撮影されないので角度範囲φR、角度範囲φL、角度範囲φBは設定されない。
また、このように映像を抽出する角度範囲φR、角度範囲φL、角度範囲φBは、牽引車後方カメラ２１５から見た仰俯角の範囲毎に異なったものとなる。たとえば、図４ａの牽引車後方カメラ２１５によって牽引車２のトレーラ１の間の部分が撮影される仰俯角γBの左右方向の範囲については、（ドローバー１２による遮蔽は考慮しないものとして）トレーラ１によって牽引車後方カメラ２１５に対して遮蔽される角度範囲Sφmは存在しない。また、牽引車後方カメラ２１５から見てトレーラ１の直下の方向となる仰俯角γCの左右方向の範囲については、トレーラ右カメラ１１１やトレーラ左カメラ１１３やトレーラ後方カメラ１１２によって撮影されないので角度範囲φR、角度範囲φL、角度範囲φBは設定されない。
【0031】
なお、抽出領域の設定は、予めヒッチ角毎に、各ヒッチ角に対応する各映像の抽出領域を求めて登録しておき、後方映像の生成時に、ヒッチ角センサ２１６が検出したヒッチ角θに対応して登録されている抽出領域を、設定する抽出領域として用いることにより行ってもよい。
次に、ヒッチ角θに応じて設定したトレーラ右映像、トレーラ左映像、トレーラ後方映像の各々の抽出領域から抽出領域内の映像部分を抽出し、抽出した映像部分を設定した視点変換関数を用いて牽引車後方カメラ２１５の位置から撮影した映像に視点変換する。
但し、映像部分の抽出と視点変換の順序は入れ替えても良く、トレーラ右映像、トレーラ左映像、トレーラ後方映像を牽引車後方カメラ２１５の位置から撮影した映像に視点変換した後に、各映像部分を抽出するようにしてもよい。
そして、トレーラ右映像から抽出した映像部分を視点変換した映像であるトレーラ右映像部分で、牽引車後方映像のトレーラ右映像部分に対応する領域を置き換え、トレーラ左映像から抽出した映像部分を視点変換した映像であるトレーラ左映像部分で、牽引車後方映像のトレーラ左映像部分に対応する領域を置き換え、トレーラ後方映像から抽出した映像部分を視点変換した映像であるトレーラ後方映像部分で、牽引車後方映像のトレーラ後方映像部分に対応する領域を置き換えて、後方映像を生成する。
次に、ヒッチ角θに応じて設定したトレーラ右映像、トレーラ左映像、トレーラ後方映像の各々の抽出領域から抽出領域内の映像部分を抽出し、抽出した映像部分を設定した視点変換関数を用いて牽引車後方カメラ２１５の位置から撮影した映像に視点変換する。
但し、映像部分の抽出と視点変換の順序は入れ替えても良く、トレーラ右映像、トレーラ左映像、トレーラ後方映像を牽引車後方カメラ２１５の位置から撮影した映像に視点変換した後に、各映像部分を抽出するようにしてもよい。
そして、トレーラ右映像から抽出した映像部分を視点変換した映像であるトレーラ右映像部分で、牽引車後方映像のトレーラ右映像部分に対応する領域を置き換え、トレーラ左映像から抽出した映像部分を視点変換した映像であるトレーラ左映像部分で、牽引車後方映像のトレーラ左映像部分に対応する領域を置き換え、トレーラ後方映像から抽出した映像部分を視点変換した映像であるトレーラ後方映像部分で、牽引車後方映像のトレーラ後方映像部分に対応する領域を置き換えて、後方映像を生成する。
【0032】
図５ａ１、ｂ１、ｃ１は、以上のようにしてトレーラ右映像部分、トレーラ左映像部分、トレーラ後方映像部分で置き換えられる牽引車後方映像の領域を表しており、Ｒがトレーラ右映像部分で置き換えられる領域、Ｌがトレーラ左映像部分で置き換えられる領域、Ｂがトレーラ後方映像部分で置き換えられる領域である。また、Ｍは、いずれのカメラによっても、牽引車２後方の様子が撮影されない死角領域を示している。
【0033】
また、図５ａ１はヒッチ角θが図５ａ２であった場合、図５ｂ１はヒッチ角θが図５ｂ２であった場合、図５ｃ１はヒッチ角θが図５ｃ２であった場合に置き換えられる牽引車後方映像の領域を示してしており、図示するように、これらの領域は、ヒッチ角θに応じて変化する。
【0034】
図４、５より示されるように、トレーラ１の形状がおおよそ箱型（直方体）である場合、トレーラ右映像部分およびトレーラ右映像部分で置き換えられる牽引車後方映像の領域Ｒは、おおよそ、牽引車後方カメラ２１５から見てトレーラ１の右側面と重なる方向にある範囲を表す部分となり、トレーラ左映像部分及びトレーラ左映像部分で置き換えられる牽引車後方映像の領域Ｌは、おおよそ、牽引車後方カメラ２１５から見てトレーラ１の左側面と重なる方向にある範囲を表す部分となり、トレーラ後方映像部分及びトレーラ後方映像部分で置き換えられる牽引車後方映像の領域Ｂは、おおよそ、牽引車後方カメラ２１５から見てトレーラ１の後面と重なる方向にある範囲を表す部分となり、死角領域Ｍは、おおよそ、牽引車後方カメラ２１５から見てトレーラ１の底面と重なる方向にある範囲を表す部分となる。
【0035】
したがって、牽引車後方映像の領域Ｒ、領域Ｌ、領域Ｂを、それぞれ、トレーラ右映像部分、トレーラ左映像部分、トレーラ後方映像部分で置き換えることにより、おおよそ、牽引車後方カメラ２１５の位置から、トレーラ１の底面と重なる方向にある部分を除くトレーラ１の各部分を透視して牽引車２の後方の様子を観察した映像が後方映像として生成されることになる。
【0036】
図６に、このようにして生成される後方映像の例を示す。
いま、図６ａに示すように、トレーラ１の後方に他車３が存在し、トレーラ１の右方に人４がおり、トレーラ１によって牽引車後方カメラ２１５に対して他車３と人４が遮蔽されているシチュエーションにおいて、牽引車後方カメラ２１５で図６ｂに示すように牽引車後方映像が撮影され、トレーラ左カメラ１１３で撮影したトレーラ左映像を視点変換した映像が図６ｃ１に示すものであり、トレーラ後方カメラ１１２で撮影したトレーラ後方映像を視点変換した映像が図６ｃ２に示すように他車３の像を含むものであり、トレーラ右カメラ１１１で撮影したトレーラ右映像を視点変換した映像が図６ｃ３に示すように人４の像を含むものあったものとする。
いま、図６ａに示すように、トレーラ１の後方に他車３が存在し、トレーラ１の右方に人４がおり、トレーラ１によって牽引車後方カメラ２１５に対して他車３と人４が遮蔽されているシチュエーションにおいて、牽引車後方カメラ２１５で図６ｂに示すように牽引車後方映像が撮影され、トレーラ左カメラ１１３で撮影したトレーラ左映像を視点変換した映像が図６ｃ１に示すものであり、トレーラ後方カメラ１１２で撮影したトレーラ後方映像を視点変換した映像が図６ｃ２に示すように他車３の像を含むものであり、トレーラ右カメラ１１１で撮影したトレーラ右映像を視点変換した映像が図６ｃ３に示すように人４の像を含むものあったものとする。
【0037】
この場合、後方映像は、図６ｄに示すように生成され表示される。
図示するように、後方映像は、牽引車後方映像の、トレーラの底面と重なる方向にある部分を除くトレーラ１の各部分によって牽引車後方カメラ２１５に対して遮蔽されている領域の映像を、図６ｃ１の視点変換後のトレーラ左映像、図６ｃ２の視点変換後のトレーラ後方映像、図６ｃ３の視点変換後のトレーラ右映像中の破線で示した領域の映像で置換したものとなり、後方映像には、牽引車後方カメラ２１５では撮影できない他車３や人４の像が含まれる。
図示するように、後方映像は、牽引車後方映像の、トレーラの底面と重なる方向にある部分を除くトレーラ１の各部分によって牽引車後方カメラ２１５に対して遮蔽されている領域の映像を、図６ｃ１の視点変換後のトレーラ左映像、図６ｃ２の視点変換後のトレーラ後方映像、図６ｃ３の視点変換後のトレーラ右映像中の破線で示した領域の映像で置換したものとなり、後方映像には、牽引車後方カメラ２１５では撮影できない他車３や人４の像が含まれる。
【0038】
したがって、後方映像は、おおよそトレーラ１が透明であれば牽引車後方カメラ２１５の視点から観察される、他車３や人４の像を含む牽引車２後方の広い範囲を死角少なくシームレスに表したものとなる。
なお、この例では、図５に示した、いずれのカメラによっても、牽引車２後方の様子が撮影されない死角領域Ｍについては、そのまま、牽引車後方映像を表示すると周辺と不連続となって不自然となるため、単色で塗りつぶして後方映像を生成している。なお、この塗りつぶしは、他のパターンによって行ってよい。
以上、本発明の実施形態について説明した。
なお、この例では、図５に示した、いずれのカメラによっても、牽引車２後方の様子が撮影されない死角領域Ｍについては、そのまま、牽引車後方映像を表示すると周辺と不連続となって不自然となるため、単色で塗りつぶして後方映像を生成している。なお、この塗りつぶしは、他のパターンによって行ってよい。
以上、本発明の実施形態について説明した。
【0039】
ここで、上述のように、トレーラ１の形状がおおよそ箱型（直方体）である場合、トレーラ右映像部分およびトレーラ右映像部分で置き換えられる牽引車後方映像の領域Ｒは、おおよそ、牽引車後方カメラ２１５から見てトレーラ１の右側面と重なる方向にある範囲を表す部分となり、トレーラ左映像部分及びトレーラ左映像部分で置き換えられる牽引車後方映像の領域Ｌは、おおよそ、牽引車後方カメラ２１５から見てトレーラ１の左側面と重なる方向にある範囲を表す部分となり、トレーラ後方映像部分及びトレーラ後方映像部分で置き換えられる牽引車後方映像の領域Ｂは、おおよそ、牽引車後方カメラ２１５から見てトレーラ１の後面と重なる方向にある範囲を表す部分となる。そこで、形状がおおよそ箱型（直方体）であるトレーラ１に適用する場合には、以上の実施形態において、トレーラ右映像部分、トレーラ左映像部分、トレーラ後方映像部分を、ヒッチ角θに基づいて次のように生成してもよい。
【0040】
すなわち、トレーラ右映像部分は、視点変換した場合にトレーラ右映像のトレーラ１の右側面と重なる方向の範囲を表すこととなる領域をトレーラ右映像から抽出し、これを視点変換したもの、もしくは、視点変換したトレーラ右映像のトレーラ１の右側面と重なる方向の範囲を表す領域を抽出したものとしてもよい。同様に、トレーラ左映像部分は、視点変換した場合にトレーラ左映像のトレーラ１の左側面と重なる方向の範囲を表すこととなる領域をトレーラ左映像から抽出し、これを視点変換したもの、もしくは、視点変換したトレーラ左映像のトレーラ１の左側面と重なる方向の範囲を表す領域を抽出したものとしてもよい。また、トレーラ後方映像部分は、視点変換した場合にトレーラ後方映像のトレーラ１の後面と重なる方向の範囲を表すこととなる領域をトレーラ左映像から抽出し、これを視点変換したもの、もしくは、視点変換したトレーラ後方映像のトレーラ１の後面と重なる方向の範囲を表す領域を抽出したものとしてもよい。
【符号の説明】
【0041】
１…トレーラ、２…牽引車、３…他車、４…人、１１…トレーラ側システム、１２…ドローバー、２１…牽引車側システム、２２…ヒッチメンバ、１１１…トレーラ右カメラ、１１２…トレーラ後方カメラ、１１３…トレーラ左カメラ、１１４…送信装置、２１１…入力装置、２１２…状態センサ、２１３…表示装置、２１４…受信装置、２１５…牽引車後方カメラ、２１６…ヒッチ角センサ、２１７…後方映像合成部、２１８…制御部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
