特開2015-154406(P2015-154406A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クラリオン株式会社の特許一覧
<>
  • 特開2015154406-牽引車用周囲監視装置 図000003
  • 特開2015154406-牽引車用周囲監視装置 図000004
  • 特開2015154406-牽引車用周囲監視装置 図000005
  • 特開2015154406-牽引車用周囲監視装置 図000006
  • 特開2015154406-牽引車用周囲監視装置 図000007
  • 特開2015154406-牽引車用周囲監視装置 図000008
  • 特開2015154406-牽引車用周囲監視装置 図000009
  • 特開2015154406-牽引車用周囲監視装置 図000010
  • 特開2015154406-牽引車用周囲監視装置 図000011
  • 特開2015154406-牽引車用周囲監視装置 図000012
  • 特開2015154406-牽引車用周囲監視装置 図000013
  • 特開2015154406-牽引車用周囲監視装置 図000014
  • 特開2015154406-牽引車用周囲監視装置 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2015-154406(P2015-154406A)
(43)【公開日】2015年8月24日
(54)【発明の名称】牽引車用周囲監視装置
(51)【国際特許分類】
   H04N 7/18 20060101AFI20150728BHJP
   B60R 1/00 20060101ALI20150728BHJP
   B60R 11/02 20060101ALI20150728BHJP
   G06T 1/00 20060101ALI20150728BHJP
   B60R 9/042 20060101ALI20150728BHJP
【FI】
   H04N7/18 J
   B60R1/00 A
   B60R11/02 C
   G06T1/00 330A
   B60R9/042
【審査請求】未請求
【請求項の数】8
【出願形態】OL
【全頁数】34
(21)【出願番号】特願2014-28625(P2014-28625)
(22)【出願日】2014年2月18日
(71)【出願人】
【識別番号】000001487
【氏名又は名称】クラリオン株式会社
(74)【代理人】
【識別番号】100082670
【弁理士】
【氏名又は名称】西脇 民雄
(74)【代理人】
【識別番号】100180068
【弁理士】
【氏名又は名称】西脇 怜史
(72)【発明者】
【氏名】田川 晋也
(72)【発明者】
【氏名】加藤 賢治
【テーマコード(参考)】
3D020
5B057
5C054
【Fターム(参考)】
3D020BA20
3D020BB02
3D020BC13
3D020BC19
3D020BD05
3D020BE03
5B057AA16
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CD11
5B057CE08
5B057CE10
5B057CH16
5B057CH18
5B057CH20
5C054DA07
5C054FC11
5C054FE11
5C054FE13
5C054HA30
(57)【要約】      (修正有)
【課題】牽引車と被牽引車の周囲を監視して、周囲状況をわかりやすく表示する。
【解決手段】連結検出部22aが、牽引車10と被牽引車30が連結したことを検出したとき、画像変換部16bが、牽引車10の周囲の撮像部12a,12b,12c,12dで撮像された各画像を、牽引車10を俯瞰した複数の第1俯瞰画像に変換し、被牽引車30の周囲の撮像部32a,32b,32cで撮像された各画像を、被牽引車30を俯瞰した複数の第2俯瞰画像に変換し、画像合成部16cが、牽引車10に対する被牽引車30の姿勢に基づいて、複数の第1俯瞰画像と、複数の第2俯瞰画像と、を合成して第3合成画像を生成し、画像表示部26aに表示する。
【選択図】図4
【特許請求の範囲】
【請求項1】
車体の周囲に、複数の撮像部からなる第1周囲監視部を有する牽引車と、
車体の周囲に、複数の撮像部からなる第2周囲監視部を有する、前記牽引車に連結されて牽引される被牽引車と、
前記牽引車および前記被牽引車が有する複数の前記撮像部の各設置位置,各設置方向,各校正データ、および前記牽引車と前記被牽引車の連結位置を記憶した情報記憶部と、
前記牽引車と前記被牽引車が連結されたことを検出する連結検出部と、
前記牽引車に対する前記被牽引車の姿勢を検出する姿勢検出部と、
前記牽引車の前輪の向きを算出するタイヤ方向算出部と、
前記牽引車と前記被牽引車の予測進路を算出する予測進路算出部と、
前記第1周囲監視部で撮像された各画像を、前記第1周囲監視部が有する複数の撮像部の各設置位置,各設置方向,各校正データに基づいて、第1仮想視点から俯瞰した複数の第1俯瞰画像に変換するとともに、前記第2周囲監視部で撮像された各画像を、前記第2周囲監視部が有する複数の撮像部の各設置位置,各設置方向,各校正データに基づいて、第2仮想視点から俯瞰した複数の第2俯瞰画像に変換する画像変換部と、
前記複数の第1俯瞰画像と前記複数の第2俯瞰画像とを前記牽引車と前記被牽引車の連結位置において1枚の合成画像に合成する画像合成部と、
前記牽引車の運転者が視認可能な位置に、前記合成画像を表示する画像表示部と、を有して、前記連結検出部が前記牽引車と前記被牽引車の連結を検出したときに、前記画像変換部は複数の前記第1俯瞰画像と複数の前記第2俯瞰画像を生成して、前記画像合成部は前記姿勢検出部で検出された姿勢に基づいて前記合成画像を生成して、前記合成画像に前記牽引車の前輪の向きと前記牽引車、および前記被牽引車の予測進路を重畳して前記画像表示部に表示することを特徴とする牽引車用周囲監視装置。
【請求項2】
前記被牽引車は、前記第2周囲監視部が有する複数の前記撮像部の各設置位置,各設置方向,各校正データ、および前記牽引車との連結位置を記憶した第2情報記憶部と、
前記第2周囲監視部で撮像された各画像と前記第2情報記憶部に記憶された情報をそれぞれ前記牽引車に送信する情報送信部と、を備えて、
前記牽引車は、前記第1周囲監視部が有する複数の撮像部の各設置位置,各設置方向,各校正データ、および前記被牽引車との連結位置を記憶した第1情報記憶部と、
前記情報送信部から送信された情報を受信する情報受信部と、
前記第1周囲監視部が有する複数の撮像部の各設置位置,各設置方向,各校正データに基づいて複数の前記第1俯瞰画像を生成し、前記第2周囲監視部が有する複数の撮像部の各設置位置,各設置方向,各校正データに基づいて複数の前記第2俯瞰画像を生成する画像変換部と、
前記第1周囲監視部が有する複数の撮像部の各設置位置,各設置方向,各校正データに基づいて複数の前記第1俯瞰画像を1枚の第1合成画像に合成し、前記第2周囲監視部が有する複数の撮像部の各設置位置,各設置方向,各校正データに基づいて複数の前記第2俯瞰画像を1枚の第2合成画像に合成して、さらに、前記牽引車と前記被牽引車の連結位置、および、前記姿勢検出部で検出された姿勢に基づいて前記第1合成画像と前記第2合成画像を1枚の第3合成画像に合成する画像合成部と、を備えて、
前記連結検出部が前記牽引車と前記被牽引車の連結を検出したときに、前記情報受信部は前記情報送信部から送信された情報を受信して、前記画像変換部は複数の前記第1俯瞰画像と複数の前記第2俯瞰画像を生成して、前記画像合成部は前記第3合成画像を生成することを特徴とする請求項1に記載の牽引車用周囲監視装置。
【請求項3】
前記被牽引車は、前記被牽引車を特定する識別情報を記憶した識別情報記憶部と、前記第2周囲監視部で撮像された各画像と前記識別情報記憶部に記憶された識別情報をそれぞれ前記牽引車に送信する情報送信部と、を備えて、
前記牽引車は、前記第1周囲監視部が有する複数の撮像部の各設置位置、各設置方向,各校正データ、および前記被牽引車との連結位置を記憶した第1情報記憶部と、
前記送信部から送信された情報を受信する情報受信部と、
前記牽引車と連結される複数の被牽引車をそれぞれ特定する識別情報と複数の被牽引車がそれぞれ有する複数の撮像部の各設置位置、各設置方向,各校正データ、および前記牽引車と複数の被牽引車それぞれとの連結位置を記憶した第3情報記憶部と、
前記第1周囲監視部が有する複数の撮像部の各設置位置,各設置方向,各校正データに基づいて複数の前記第1俯瞰画像を生成し、前記第2周囲監視部が有する複数の撮像部の各設置位置,各設置方向,各校正データに基づいて複数の前記第2俯瞰画像を生成する画像変換部と、
前記第1周囲監視部が有する複数の撮像部の各設置位置,各設置方向,各校正データに基づいて複数の前記第1俯瞰画像を1枚の第1合成画像に合成し、前記第2周囲監視部が有する複数の撮像部の各設置位置,各設置方向,各校正データに基づいて複数の前記第2俯瞰画像を1枚の第2合成画像に合成して、さらに、前記牽引車と前記被牽引車の連結位置、および、前記姿勢検出部で検出された姿勢に基づいて前記第1合成画像と前記第2合成画像を1枚の第3合成画像に合成する画像合成部と、を備えて、
前記連結検出部が前記牽引車と前記被牽引車の連結を検出したときに、前記情報受信部は前記情報送信部から送信された情報を受信して、前記画像変換部は前記識別情報に基づいて前記牽引車に連結された前記被牽引車を特定して複数の前記第1俯瞰画像と複数の前記第2俯瞰画像を生成して、前記画像合成部は前記第3合成画像を生成することを特徴とする請求項1に記載の牽引車用周囲監視装置。
【請求項4】
前記画像合成部は、前記第1合成画像と前記第2合成画像の中から、同一位置が撮像される重複撮像領域を検出して、検出された前記重複撮像領域の中においては、前記第1周囲監視部と前記第2周囲監視部のうち、より高い解像度で撮像された情報を前記第3合成画像に反映させることを特徴とする請求項2または請求項3に記載の牽引車用周囲監視装置。
【請求項5】
前記画像合成部は、前記重複撮像領域の中で、前記第1周囲監視部と前記第2周囲監視部のうち、より近くから撮像された画像を前記第3合成画像に反映させることを特徴とする請求項4に記載の牽引車用周囲監視装置。
【請求項6】
前記第3合成画像は、同一位置に同一方向に向けて配置した前記第1合成画像の中の前記被牽引車との連結位置を示す位置に、前記第2合成画像の中の前記牽引車との連結位置を示す位置を合致させて、さらに、前記第2合成画像を、前記姿勢検出部が検出した姿勢に応じた量だけ回転して合成したものであることを特徴とする請求項2から請求項5のいずれか1項に記載の牽引車用周囲監視装置。
【請求項7】
前記第1合成画像は、前記牽引車の前方が上部に位置する向きに配置されることを特徴とする請求項6に記載の牽引車用周囲監視装置。
【請求項8】
前記連結検出部が前記牽引車と前記被牽引車の連結を検出したときには、前記第1周囲監視部が有する複数の撮像部のうち、前記被牽引車の陰となって前記牽引車の周囲が監視できない状態となる撮像部の出力を使用しないことを特徴とする請求項1から請求項7のいずれか1項に記載の牽引車用周囲監視装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、牽引車、および牽引車に牽引される被牽引車に搭載されて、車両の周囲状況を画像化して運転者に提示する牽引車用周囲監視装置に関するものである。
【背景技術】
【0002】
近年、車両の周囲に複数のカメラを設置して、これらの複数のカメラで撮影した画像を、それぞれ座標変換して合成し、車両周囲の状況を1枚の俯瞰画像で表現して運転者に提示する周囲監視システムが実用化されている。(例えば、特許文献1)
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−221863号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載された周囲監視装置は、1両の車両に搭載されることを前提とした周囲監視装置であった。このような周囲監視装置では、複数のカメラで撮像されたそれぞれの画像を、予め決められた規則に基づいて座標変換して、座標変換された各画像を1枚の画像に合成して表示している。したがって、牽引車とそれに連結された被牽引車のように、複数の車両が連結されて、なおかつ、前方の車両と後方の車両とで姿勢(向き)が変化する車両にあっては、座標変換された複数の画像を1枚の画像に合成する際の規則が、車両の姿勢に応じて変化するため、従来の周囲監視装置をそのまま適用することができなかった。
【0005】
本発明は、上記課題に鑑みてなされたもので、牽引車、および牽引車に牽引される被牽引車に搭載されて、連結された複数の車両の姿勢に関わらず、車両の周囲状況を画像化して運転者に提示し、車両の周囲に存在する障害物の方向や位置を容易に認識させることができる牽引車用周囲監視装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る牽引車用周囲監視装置は、牽引車の周囲に存在する障害物と牽引車との位置関係を容易に確認することができるものである。
【0007】
すなわち、本発明に係る牽引車用周囲監視装置は、車体の周囲に、複数の撮像部からなる第1周囲監視部を有する牽引車と、車体の周囲に、複数の撮像部からなる第2周囲監視部を有する、前記牽引車に連結されて牽引される被牽引車と、前記牽引車および前記被牽引車が有する複数の前記撮像部の各設置位置,各設置方向,各校正データ、および前記牽引車と前記被牽引車の連結位置を記憶した情報記憶部と、前記牽引車と前記被牽引車が連結されたことを検出する連結検出部と、前記牽引車に対する前記被牽引車の姿勢を検出する姿勢検出部と、前記牽引車の前輪の向きを算出するタイヤ方向算出部と、前記牽引車と前記被牽引車の予測進路を算出する予測進路算出部と、前記第1周囲監視部で撮像された各画像を、前記第1周囲監視部が有する複数の撮像部の各設置位置,各設置方向,各校正データに基づいて、第1仮想視点から俯瞰した複数の第1俯瞰画像に変換するとともに、前記第2周囲監視部で撮像された各画像を、前記第2周囲監視部が有する複数の撮像部の各設置位置,各設置方向,各校正データに基づいて、第2仮想視点から俯瞰した複数の第2俯瞰画像に変換する画像変換部と、前記複数の第1俯瞰画像と前記複数の第2俯瞰画像とを前記牽引車と前記被牽引車の連結位置において1枚の合成画像に合成する画像合成部と、前記牽引車の運転者が視認可能な位置に、前記合成画像を表示する画像表示部と、を有して、前記連結検出部が前記牽引車と前記被牽引車の連結を検出したときに、前記画像変換部は複数の前記第1俯瞰画像と複数の前記第2俯瞰画像を生成して、前記画像合成部は前記姿勢検出部で検出された姿勢に基づいて前記合成画像を生成して、前記合成画像に前記牽引車の前輪の向きと前記牽引車、および前記被牽引車の予測進路を重畳して前記画像表示部に表示することを特徴とする。
【0008】
このように構成された本発明に係る牽引車用周囲監視装置によれば、連結検出部が、牽引車と被牽引車が連結したことを検出したときに、画像変換部が、牽引車の周囲に設置された第1周囲監視部を構成する複数の撮像部で撮像された各画像を、情報記憶部に記憶された、第1周囲監視部が有する複数の撮像部の各設置位置,各設置方向,各校正データに基づいて第1仮想視点から俯瞰した複数の第1俯瞰画像に変換して、被牽引車の周囲に設置された第2周囲監視部を構成する複数の撮像部で撮像された各画像を、情報記憶部に記憶された、第2周囲監視部が有する複数の撮像部の各設置位置,各設置方向,各校正データに基づいて第2仮想視点から俯瞰した複数の第2俯瞰画像に変換する。そして、画像合成部が、牽引車と被牽引車の連結位置と姿勢検出部が検出した姿勢に基づいて、複数の第1俯瞰画像と複数の第2俯瞰画像を合成して合成画像を生成する。さらに、生成された合成画像に、タイヤ方向算出部が算出した牽引車の前輪の向きと、予測進路算出部が算出した牽引車および被牽引車の予測進路を重畳して画像表示部に表示する。したがって、牽引車と被牽引車の周囲にある障害物の位置と方向を、牽引車と被牽引車の姿勢によらずに、容易に認識することができる。
【発明の効果】
【0009】
本発明に係る牽引車用周囲監視装置によれば、牽引車が被牽引車を牽引しているときであっても、牽引車の周囲における障害物の位置と方向を容易に認識することができる。
【図面の簡単な説明】
【0010】
図1】(a)は代表的な牽引車の概略構造を示す上面図である。(b)は図1(a)に示した牽引車の側面図である。
図2】(a)は代表的な被牽引車の概略構造を示す上面図である。(b)はコンテナ一体型の被牽引車の側面図である。(c)はコンテナ別体型の被牽引車の側面図である。
図3】本発明の一実施形態である実施例1のハードウェア構成要素を示すブロック図である。
図4】本発明の一実施形態である実施例1の機能構成要素を示す機能ブロック図である。
図5】(a)は、牽引車が被牽引車を牽引した状態で、上空に仮想視点を設置した様子を示す図である。(b)は仮想視点を図5(a)の状態に設置したときに生成される合成画像の一例を示す図である。
図6】複数の俯瞰画像同士を合成する際に行う画像の重ね合わせ処理について説明する図である。
図7】実施例1において、牽引車が前進している際に生成される合成画像の一例を示す図である。
図8】実施例1において、牽引車が後退している際に生成される合成画像の一例を示す図である。
図9】実施例1において、画像表示部に表示される画像の一例を示す図である。
図10】実施例1で行う処理全体の流れを示すフローチャートである。
図11図10のフローチャートの中で行われる俯瞰画像の重ね合わせ処理の流れを示すフローチャートである。
図12】本発明の一実施形態である実施例2の機能構成要素を示す機能ブロック図である。
図13】実施例2で行う処理全体の流れを示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明の一実施形態である実施例1について、図面を参照して説明する。
【実施例1】
【0012】
本実施例は、本発明を、牽引車と、その牽引車に牽引された被牽引車の周囲の画像を撮像して、運転者に、車両の周囲の画像を表示する、牽引車用周囲監視装置に適用したものである。
【0013】
(牽引車と被牽引車の概略構造の説明)
まず、牽引車と被牽引車の概略構造について、図1(a),(b)と図2(a),(b),(c)を用いて説明する。
【0014】
牽引車10は、図1(a),(b)に示す概略構造を有している。すなわち、牽引車10は図示しない動力源を有して、運転者の操作に応じて走行する。牽引車10の前方には前方カメラ12a(撮像部)が設置されて、牽引車10の左側方には左側方カメラ12b(撮像部)が設置され、牽引車10の後方には後方カメラ12c(撮像部)が設置されて、牽引車10の右側方には右側方カメラ12d(撮像部)が設置されている。各カメラ(12a,12b,12c,12d)は、それぞれ、牽引車10の周囲に向けて設置されて、第1周囲監視部12を構成し、牽引車10の周囲の地面を含む画像を撮像する。
【0015】
牽引車10には、孔部を有する牽引車側連結部14が設けられており、後述するように、この牽引車側連結部14において被牽引車30(40)(図2(b),(c))と連結される。
【0016】
各カメラ(12a,12b,12c,12d)の設置位置,設置方向,校正データであるカメラ内部パラメータ(焦点距離,画像中心位置,歪収差係数等)と、牽引車側連結部14の位置は予め計測されて、後述するメモリ17(図3)に記憶されている。
【0017】
被牽引車30(40)は、図2(a),(b),(c)に示す概略構造を有している。被牽引車30(40)は、前述した牽引車10(図1(b))に連結されて荷物の運搬等に使用され、その形態の違いによって様々なバリエーションを有している。図2(b)は、被牽引車の一例であるコンテナ一体型被牽引車30の側面図を示し、図2(c)は、被牽引車の別の例であるコンテナ別体型被牽引車40の側面図を示す。
【0018】
被牽引車30(40)の左側方には左側方カメラ32a(42a)(撮像部)が設置されて、被牽引車30(40)の後方には後方カメラ32b(42b)(撮像部)が設置されて、被牽引車30(40)の右側方には右側方カメラ32c(42c)(撮像部)が設置されている。各カメラ(32a,32b,32c)は、それぞれ、被牽引車30(40)の周囲に向けて設置されて、第2周囲監視部32(42)を構成し、被牽引車30(40)の周囲の地面を含む画像を撮像する。
【0019】
被牽引車30(40)には、棒状の被牽引車側連結部34(44)が設けられており、この被牽引車側連結部34(44)が前述した牽引車側連結部14と嵌合することによって、牽引車10と被牽引車30(40)とが連結される。
【0020】
各カメラ(32a,32b,32c(42a,42b,42c))の設置位置,設置方向,校正データであるカメラ内部パラメータ(焦点距離,画像中心位置,歪収差係数等)、および、被牽引車側連結部34(44)の位置は予め計測されて、後述するメモリ37(図3)に記憶されている。
【0021】
牽引車10が被牽引車30(40)を連結して走行するときには、牽引車10の向きと被牽引車30(40)の向きが牽引車側連結部14または被牽引車側連結部34(44)を支点として変化するため、牽引車10が単独で走行しているときと比べて、内輪差が大きくなる。したがって、交差点等においては、旋回時に歩行者や他の車両の巻き込みにより一層注意する必要がある。
【0022】
なお、以後の説明は、コンテナ一体型被牽引車30が牽引車10に牽引される例を用いて行う。
(実施例1のシステム構成の説明)
【0023】
次に、図3を用いて、実施例1に係る牽引車用周囲監視装置100のハードウェア構成について説明する。牽引車用周囲監視装置100は、牽引車側連結部14と被牽引車側連結部34において連結された、牽引車10と、被牽引車30と、からなり、牽引車10には、第1周囲監視部12を構成する前方カメラ12a,左側方カメラ12b,後方カメラ12c,右側方カメラ12dが設置されている。また、被牽引車30には、第2周囲監視部32を構成する左側方カメラ32a,後方カメラ32b,右側方カメラ32cが設置されている。なお、各カメラ(12a,12b,12c,12d,32a,32b,32c)には、それぞれ約180度の画角を有する超広角レンズが装着されており、上記した各カメラによって、牽引車10と被牽引車30の全周囲を網羅する画像が撮像される。
【0024】
被牽引車30は、さらに、第2カメラECU36と、メモリ37と、第2CANコントローラ38を有する。
【0025】
第2カメラECU36は、各カメラから出力されたコンポジット信号(アナログ信号)をデジタル化された画像信号に変換するAD変換器と、デジタル化された画像信号をRGB信号、または、輝度色差信号であるYCbCr,H−Sync,V−Sync信号に変換するデコーダを有している。
【0026】
メモリ37には、第2周囲監視部32を構成する各カメラ(32a,32b,32c)の設置位置,設置方向,校正データであるカメラ内部パラメータ(焦点距離,画像中心位置,歪収差係数等)と、被牽引車側連結部34の位置が記憶されている。
【0027】
第2周囲監視部32を構成する各カメラ(32a,32b,32c)で撮像された画像は、第2カメラECU36でデジタル画像に変換されて、第2CANコントローラ38を経て、CAN通信線50を介して牽引車10に送信される。また、メモリ37に記憶された情報も、第2CANコントローラ38を経て、CAN通信線50を介して牽引車10に送信される。
【0028】
牽引車10は、前述した各カメラ(12a,12b,12c,12d)の他に、第1カメラECU16と、メモリ17と、第1CANコントローラ18と、姿勢センサ20と、連結検出センサ22と、タイヤ切れ角センサ24と、タッチパネル付モニタ26と、ECU28を有する。
【0029】
第1カメラECU16は、第1周囲監視部12を構成する各カメラ(12a,12b,12c,12d)から出力されたコンポジット信号(アナログ信号)をデジタル化された画像信号に変換するAD変換器と、デジタル化された画像信号をRGB信号、または、輝度色差信号であるYCbCr,H−Sync,V−Sync信号に変換するデコーダを有している。
【0030】
メモリ17には、第1周囲監視部12を構成する各カメラ(12a,12b,12c,12d)の設置位置,設置方向,校正データであるカメラ内部パラメータ(焦点距離,画像中心位置,歪収差係数等)、および牽引車側連結部14の位置が記憶されている。
【0031】
CAN通信線50を介して被牽引車30から送信された情報は、第1CANコントローラ18を経て、第1カメラECU16とECU28で受信される。
【0032】
姿勢センサ20は、例えば角度センサで構成されて、牽引車10と被牽引車30の連結角度(姿勢)を検出する。
【0033】
連結検出センサ22は、例えば接触による通電を検出することによって、牽引車10と被牽引車30が連結されたことを検出する。
【0034】
タイヤ切れ角センサ24は、牽引車10の前輪の向きを検出する。
【0035】
タッチパネル付モニタ26は、生成された画像を表示するとともに、タッチパネル機能を有しており、画面切り替え等の操作指示を検出する。
【0036】
ECU28は、牽引車用周囲監視装置100の全体の動きを制御するとともに、第1周囲監視部12と第2周囲監視部32がそれぞれ撮影した画像を合成する際に、重複する領域の合成方法を決定する。また、牽引車10と被牽引車30の予測進路の算出を行う
(実施例1の機能構成の説明)
【0037】
次に、図4を用いて、牽引車用周囲監視装置100の機能構成について説明する。図4は牽引車用周囲監視装置100の機能構成を示す機能ブロック図である。
【0038】
被牽引車30は、それぞれ前述した、第2周囲監視部32を構成する複数のカメラ(32a,32b,32c)(撮像部)と、第2カメラECU36(図3)で構成された画像入力部36aと、メモリ37(図3)で構成された被牽引車情報記憶部37a(第2情報記憶部,情報記憶部)と、第2CANコントローラ38(図3)で構成された情報送信部38aからなる。
【0039】
牽引車10は、それぞれ前述した、第1周囲監視部12を構成する複数のカメラ(12a,12b,12c,12d)(撮像部)と、第1カメラECU16(図3)で構成された画像入力部16aと画像変換部16bと画像合成部16cと、メモリ17(図3)で構成された牽引車情報記憶部17a(第1情報記憶部,情報記憶部)と、第1CANコントローラ18(図3)で構成された情報受信部18aと、姿勢センサ20(図3)で構成された姿勢検出部20aと、連結検出センサ22(図3)で構成された連結検出部22aと、タイヤ切れ角センサ24(図3)で構成されたタイヤ切れ角検出部24aと、ECU28(図3)で構成された画像境界位置算出部28aと予測進路算出部28bとタイヤ方向算出部28cと、タッチパネル付モニタ26(図3)で構成された画像表示部26aからなる。
【0040】
画像入力部16aは、第1周囲監視部12を構成する各カメラ(12a,12b,12c,12d)(撮像部)で撮像された画像をデジタル化する。
【0041】
画像変換部16bは、第1周囲監視部12を構成する各カメラ(12a,12b,12c,12d)で撮像された画像を、それぞれ第1仮想視点から俯瞰した複数の第1俯瞰画像IVA,IVB,IVD(詳しくは後述する)に変換するとともに、第2周囲監視部32を構成する各カメラ(32a,32b,32c)(撮像部)で撮像された画像を、それぞれ第2仮想視点から俯瞰した複数の第2俯瞰画像IVE,IVF,IVG(詳しくは後述する)に変換する。
【0042】
画像合成部16cは、複数の第1俯瞰画像IVA,IVB,IVDを合成して第1合成画像IV1(詳しくは後述する)を生成し、複数の第2俯瞰画像IVE,IVF,IVGを合成して第2合成画像IV2(詳しくは後述する)を生成する。さらに、第1合成画像IV1と第2合成画像IV2を第3合成画像I(合成画像)(詳しくは後述する)に合成する。
【0043】
画像境界位置算出部28aは、第1周囲監視部12で撮像された各画像から生成された複数の第1俯瞰画像IVA,IVB,IVDと、第2周囲監視部32で撮像された各画像から生成された複数の第2俯瞰画像IVE,IVF,IVGと、を重ね合わせる際の境界線の位置を算出する。
【0044】
予測進路算出部28bは、牽引車10のタイヤの向き(前輪の向き)と、牽引車10、および被牽引車30のサイズを利用して牽引車10、被牽引車30の予測進路を算出する。
【0045】
タイヤ方向算出部28cは、タイヤ切れ角検出部24aで検出された牽引車10の前輪の切れ角に基づいて、牽引車10の前輪の向きを算出する。
(合成画像の構成の説明)
【0046】
次に、図5(a),(b)を用いて、牽引車用周囲監視装置100によって生成される第3合成画像I(合成画像)の構成を説明する。
【0047】
第1周囲監視部12を構成する各カメラ(12a,12b,12c,12d)(撮像部)で撮像された各画像は、牽引車10の上空の第1仮想視点V1に仮想的に設置された第1仮想カメラから観測されると予測される第1合成画像IV1に変換される。
【0048】
また、第2周囲監視部32を構成する各カメラ(32a,32b,32c)(撮像部)で撮像された各画像は、被牽引車30の上空の第2仮想視点V2に仮想的に設置された第2仮想カメラから観測されると予測される第2合成画像IV2に変換される。
【0049】
第1仮想カメラの設置位置である第1仮想視点V1と第2仮想カメラの設置位置である第2仮想視点V2は、それぞれ自由な位置に設置することができるが、第1仮想視点V1は牽引車10の真上に設置するのが望ましい。そして、第2仮想視点V2は被牽引車30の真上に、第1仮想視点V1と同じ高さに、第1仮想視点V1の観測範囲と第2仮想視点V2の観測範囲が重複するように設置するのが望ましい。
【0050】
これは、最終的に牽引車10と被牽引車30の周囲を見渡した1枚の第3合成画像I(合成画像)を生成するため、この第3合成画像Iに途切れが生じず、なおかつ均一な画質の第3合成画像Iを得るためである。図5(a)は、このようにして第1仮想視点V1と第2仮想視点V2を設置した様子を示している。
【0051】
第1仮想視点V1から観測されると予測される第1合成画像IV1は、第1周囲監視部12を構成する各カメラ(12a,12b,12c,12d)で撮像された各画像を、それぞれ、第1仮想視点V1から観測されると予測される複数の第1俯瞰画像IVA,IVB,IVDに変換して、さらに、それらの画像を1枚の画像に合成することによって生成される。
【0052】
ここで、牽引車10に設置された後方カメラ12cの観測範囲には、連結された被牽引車30の像が映り込んでしまい、本来観測したい牽引車10の後方が映らないため、以後の処理では、後方カメラ12cで撮像された画像は使用しない。なお、後方カメラ12cで撮像された画像は、牽引車10が単独で(被牽引車を連結しないで)走行するときに、牽引車10の後方を監視する目的で利用される。
【0053】
なお、第2仮想視点V2から観測されると予測される第2合成画像IV2は、第2周囲監視部32を構成する各カメラ(32a,32b,32c)で撮像された各画像を、それぞれ、第2仮想視点V2から観測されると予測される複数の第2俯瞰画像IVE,IVF,IVGに変換して、さらに、それらの画像を1枚の画像に合成することによって生成される。
【0054】
第1周囲監視部12を構成する各カメラ(12a,12b,12c)で撮影した各画像を、第1仮想視点V1から観測されると予測される複数の第1俯瞰画像IVA,IVB,IVDに変換する手法には様々なものがあり、そのいずれを用いてもよい。例えば、各カメラ(12a,12b,12c)で撮影された各画像に、全て平坦な地面(高さ0の平面)が映っているものと仮定して、その地面の点が、第1仮想視点V1から見て、複数の第1俯瞰画像IVA,IVB,IVD上でどの位置(座標)に観測されるかを逐次計算することによって生成することができる。複数の第2俯瞰画像IVE,IVF,IVGについても同様にして生成することができる。
【0055】
そして、複数の第1俯瞰画像IVA,IVB,IVDは第1合成画像IV1に合成されて、複数の第2俯瞰画像IVE,IVF,IVGは第2合成画像IV2に合成されて、第1合成画像IV1と第2合成画像IV2は、境界線L1,L2の位置で1枚の第3合成画像Iに合成される。
【0056】
このとき、第1合成画像IV1と第2合成画像IV2は、第1合成画像IV1の中で牽引車10の牽引車側連結部14の位置に対応する画素と、第2合成画像IV2の中で被牽引車30の被牽引車側連結部34の位置に対応する画素とを合致させることによって合成する。すなわち、図5(b)に示す点C8の位置で第1合成画像IV1と第2合成画像IV2を合成する。
【0057】
なお、点C8を合致させただけでは、2枚の画像の向きが特定されない。そのため、牽引車10と被牽引車30のなす角度(姿勢)を検出して、この姿勢に応じた角度で第1合成画像IV1と第2合成画像IV2を合成する。図5(a),(b)の場合、牽引車10と被牽引車30は直進状態にあるため、第1合成画像IV1と第2合成画像IV2は、図5(b)に示すように、同じ向きで合成される。
【0058】
次に、第1俯瞰画像IVA,IVB,IVDと第2俯瞰画像IVE,IVF,IVGを生成する方法について説明する。第1周囲監視部12を構成する各カメラ(12a,12b,12c)で撮影した画像を、第1仮想視点V1から観測されると予測される複数の第1俯瞰画像IVA,IVB,IVDに変換して、さらに第1合成画像IV1に合成するためには、各カメラ(12a,12b,12c)の設置位置,設置方向と、各カメラ(12a,12b,12c)のカメラ内部パラメータ(焦点距離,画像中心位置,歪収差係数等)が必要である。このうち、各カメラ(12a,12b,12c)の設置位置と設置方向は予め計測しておくことができる。またカメラ内部パラメータは、各カメラ(12a,12b,12c)の校正(キャリブレーション)を行って推定することができる。このようにして予め取得された値は、牽引車情報記憶部17a(第1情報記憶部,情報記憶部)(図4)に記憶しておく。なお、必要な座標変換、合成の演算は、牽引車情報記憶部17aに記憶された値を用いてその都度行ってもよいが、演算をより効率的に行うために、座標変換、合成の規則を、予めLUT(ルックアップテーブル)で構成された座標変換合成テーブルの形式で用意しておいてもよい。
【0059】
同様に、第2周囲監視部32を構成する各カメラ(32a,32b,32c)で撮像された各画像を、それぞれ、第2仮想視点V2から観測されると予測される複数の第2俯瞰画像IVE,IVF,IVGに変換して、さらに第2合成画像IV2に合成するためには、各カメラ(32a,32b,32c)の取付位置,設置方向と、各カメラ(32a,32b,32c)のカメラ内部パラメータが必要である。これらの値は、前述したように、予め測定して被牽引車情報記憶部37a(第2情報記憶部,情報記憶部)(図4)に記憶しておく。また、必要な座標変換、合成の演算をより効率的に行うために、前述したように、座標変換、合成の規則を、予めLUT(ルックアップテーブル)で構成された座標変換合成テーブルの形式で用意しておいてもよい。
【0060】
このようにして生成された第1合成画像IV1と第2合成画像IV2を合成して第3合成画像I(合成画像)を生成するためには、前述した点C8の位置、および、牽引車10と被牽引車30の姿勢が必要である。
【0061】
このうち、点C8の位置は、牽引車情報記憶部17aに記憶された牽引車側連結部14の位置と、被牽引車情報記憶部37aに記憶された被牽引車側連結部34の位置を参照することによって取得することができる。また、牽引車10と被牽引車30の姿勢は、姿勢検出部20aで検出することができる。
【0062】
ここで、図5(b)に示す境界線L1,L2の位置は、牽引車10に対する被牽引車30の姿勢(牽引車10と被牽引車30のなす角度)に応じて変化する。したがって、牽引車10と被牽引車30の姿勢が変化すると、境界線L1,L2の位置が変化して、それに応じて第3合成画像I(合成画像)の形態も変化する。姿勢変化に応じた第3合成画像Iの具体的な形態については後述する。
【0063】
第3合成画像I(合成画像)には、さらに、図5(b)に示すように、牽引車10を真上から俯瞰した牽引車アイコンRと、被牽引車30を真上から俯瞰した被牽引車アイコンRがそれぞれ重畳される。
【0064】
さらに、第3合成画像I(合成画像)には、牽引車10の左前輪Tと右前輪Tの向きが描画されて、牽引車10の左前輪Tの予測進路Traと、牽引車10の右前輪Tの予測進路Trbと、被牽引車30の左後輪の予測進路Trcと、被牽引車30の右後輪の予測進路Trdが、それぞれ描画される。牽引車10の左前輪Tと右前輪Tの向きは、タイヤ切れ角検出部24a(図4)で検出されたタイヤ切れ角に基づいて、タイヤ方向算出部28c(図4)で算出される。また、各予測進路Tra,Trb,Trc,Trdは、牽引車10と被牽引車のサイズとタイヤ設置位置を用いて、予測進路算出部28bにおいて算出される。なお、必要な車両情報は、予め記憶されて、必要に応じて使用されるものとする。
【0065】
このようにして生成された第3合成画像I(合成画像)は、牽引車10に設置された画像表示部26a(図4)に出力される。そして、牽引車10の運転者は、この第3合成画像Iを確認して、牽引車10,被牽引車30の周囲の障害物の存在や牽引車10,被牽引車30の予測進路を把握して運転を行う。
【0066】
なお、以後の説明を簡単にするため、第1周囲監視部12を構成する各カメラ(12a,12b,12d)(図1(a))は、それぞれ点C1,点C2,点C4の位置に設置されているものとする。また、第2周囲監視部32を構成する各カメラ(32a,32b,32c)(図2(a))は、それぞれ点C5,点C6,点C7の位置に設置されているものとする。
(第1合成画像と第2合成画像の合成方法の説明)
【0067】
次に、第1合成画像IV1と第2合成画像IV2の合成方法について、図6を用いて説明する。
【0068】
図6は、図5(b)に示した第3合成画像I(合成画像)の右半分の領域のみを、説明のために拡大して示したものである。図6に示すように、第1仮想視点V1(図5(a))から観測されると予測される第1合成画像IV1と、第2仮想視点V2(図5(a))から観測されると予測される第2合成画像IV2は、境界線L1の位置で合成される。
【0069】
ここで、点C4の位置に設置された、牽引車10の右側方カメラ12d(図1(a))の撮像領域Z04と、点C7の位置に設置された、被牽引車30の右側方カメラ32c(図2(a))の撮像領域Z07と、は重複撮像領域Zを有するように配置されているものとする。
【0070】
したがって、例えば、図6に示す点Aの位置,点Bの位置は、それぞれ、牽引車10の右側方カメラ12d(図1(a))と被牽引車30の右側方カメラ32c(図2(a))の両方で観測される。そのため、第1合成画像IV1と第2合成画像IV2を合成する際、重複撮像領域Zについては、右側方カメラ12d,32cのうちいずれか一方のカメラで観測された情報を選択する必要がある。
【0071】
本実施例1では、重複撮像領域Zの中の着目した点A,点Bから見て、牽引車10の右側方カメラ12dと被牽引車30の右側方カメラ32cのうち、より近いカメラで撮像された情報を選択する。これは、カメラから近い位置で撮像された、より解像度の高い情報を選択して利用することによって、より高画質な第3合成画像I(合成画像)を生成するためである。
【0072】
例えば、図6に示す例では、点Aにおいて、線分AC4の長さ<線分AC7の長さとなるため、牽引車10の点C4に設置された右側方カメラ12dで撮像された情報が選択される。また、点Bにおいては、線分BC4の長さ>線分BC7の長さとなるため、被牽引車30の点C7に設置された右側方カメラ32cで撮像された情報が選択される。
【0073】
すなわち、点C4と点C7を結ぶ線分の垂直2等分線を境界線L1として、境界線L1よりも上方では、牽引車10の右側方カメラ12dで撮像された情報が選択される。また、境界線L1よりも下方では、被牽引車30の右側方カメラ32cで撮像された情報が選択される。そして、第1合成画像IV1と第2合成画像IV2が合成されて第3合成画像I(合成画像)が生成される。
(第3合成画像(合成画像)の実例の説明)
【0074】
次に、図7図8図9を用いて、本実施例1で生成される第3合成画像I(合成画像)の実例について説明する。
【0075】
図7は、牽引車10が被牽引車30を連結した状態で前進しながら右旋回している際に生成される第3合成画像I(合成画像)の例である。牽引車10と被牽引車30が図7の状態にあるとき、牽引車10は被牽引車30に対して、牽引車側連結部14(被牽引車側連結部34)を支点として右方向を向いている。その角度は姿勢検出部20a(図4)で検出される。そして、第1周囲監視部12を構成する各カメラ(12a,12b,12d)(図1(a))で撮像された複数の第1俯瞰画像IVA,IVB,IVDから生成された第1合成画像IV1と、第2周囲監視部32を構成する各カメラ(32a,32b,32c)(図2(a))で撮像された複数の第2俯瞰画像IVE,IVF,IVGから生成された第2合成画像IV2と、が検出された角度に応じて合成される。なお、このとき、第3合成画像I(合成画像)の視認性を高めるために、牽引車10を含む第1合成画像IV1は、常に同じ位置に、真上を向いた状態で表示される。
【0076】
第1合成画像IV1の一部である第1俯瞰画像IVDと第2合成画像IV2の一部である第2俯瞰画像IVGを合成する際の境界線L1は、前述したように、点C4と点C7を結ぶ線分の垂直2等分線として設定される。同様にして、第1合成画像IV1の一部である第1俯瞰画像IVBと第2合成画像IV2の一部である第2俯瞰画像IVEを合成する際の境界線L2は、牽引車10の左側方カメラ32aが設置された点C2と被牽引車30の左側方カメラ32aが設置された点C5を結ぶ線分の垂直2等分線として設定される。
【0077】
牽引車10と被牽引車30のなす角度が大きくなると、各カメラ(12a,12b,12d,32a,32b,32c)から死角となる領域が発生する。この死角領域Zに対応する位置には、図7に示すように所定の値(例えば0)を格納して、情報がないことを示す。
【0078】
また、牽引車10の左前輪Tと右前輪Tの向き、および牽引車10,被牽引車30の予測進路Tra,Trb,Trc,Trdが、それぞれ第3合成画像I(合成画像)の上に重畳されて、牽引車10,被牽引車30の今後の動きが可視化される。
【0079】
図8は、牽引車10が被牽引車30を連結した状態で、左に操舵しながら後退している際に生成される第3合成画像I(合成画像)の例である。
【0080】
この場合も、前述した通り、牽引車10と被牽引車30の姿勢に応じた角度で第1合成画像IV1と第2合成画像IV2が合成される。そして、境界線L1,L2の位置も、前述した通りに計算されて、第1合成画像IV1と第2合成画像IV2の合成が行われる。
【0081】
図9は、図8に示す第3合成画像I(合成画像)が得られたときに、画像表示部26a(図4)に表示される表示情報Iの例である。画像表示部26aはタッチパネル機能を併せ持っており、図9に示すように、第3合成画像Iと、被牽引車30の後方カメラ32b(図2(a))で撮像された後方画像Iと、表示情報Iを必要に応じて切り換える操作スイッチである情報操作アイコンQ,Qがそれぞれ表示される。それぞれの画像およびアイコンは、表示画面Iの上に、予め設定された位置に配置される。牽引車10の運転者は、この表示情報Iを確認して、周囲の状況を認識した上で運転を行う。
(実施例1の処理の流れの説明)
【0082】
次に、実施例1の具体的な処理の流れについて、図10図11のフローチャートを用いて説明する。
【0083】
図10は、実施例1で行う処理の全体の流れを示したフローチャートである。以下、順を追って説明する。なお、図10のフローチャートは、所定の周期で自動的に繰り返して実行される。
【0084】
(ステップS10)牽引車10と被牽引車30が連結したか否かを検出する。連結したことが確認されたらステップS15に進み、連結が確認できないときは図10の処理を終了する。
【0085】
(ステップS15)被牽引車30にカメラ(撮像部)が設置されているか否かを、画像入力部36aを構成する第2カメラECU36(図3)が設置されているか否かを判定することによって判断する。被牽引車30に第2カメラECU36が設置されていることが確認されたときはステップS20に進み、それ以外のときは図10の処理を終了する。
【0086】
(ステップS20)ステップS20を以前に実行したか否かを判断する。ステップS20を初めて実行したときはステップS25に進み、それ以外のときはステップS35に進む。
【0087】
(ステップS25)被牽引車情報記憶部37a(第2情報記憶部,情報記憶部)に記憶された情報を牽引車10に転送する。これによって、第2周囲監視部32を構成する各カメラ(32a,32b,32c)の設置位置,設置方向,カメラ内部パラメータ、および被牽引車側連結部34の位置が、それぞれ牽引車10に転送される。
【0088】
(ステップS30)牽引車10に設置された第1周囲監視部12を構成するカメラ(撮像部)の中で、被牽引車30が連結されたときに不要となるカメラの有無を判断する。本実施例1の場合、前述したように後方カメラ12cが不要と判断されて、後方カメラ12cへの電源供給を停止し、後方カメラ12cは以降の処理には使用しない。なお、不要になるカメラは、連結される被牽引車の形式によって異なるため、予め、例えば牽引車情報記憶部17a(第1情報記憶部,情報記憶部)に、該当する被牽引車が連結されたときには所定のカメラの電源供給を切断する旨(例えば、被牽引車30が連結されたときには、後方カメラ12cを停止する)の規則を記憶しておき、この規則に基づいて判断すればよい。
【0089】
(ステップS35)被牽引車30に設置された第2周囲監視部32を構成する各カメラ(32a,32b,32c)(撮像部)で撮像された画像を牽引車10に転送する。
【0090】
(ステップS40)画像変換部16bにおいて、第1俯瞰画像IVA,IVB,IVDと第2俯瞰画像IVE,IVF,IVGを生成する。
【0091】
(ステップS45)画像合成部16cにおいて、第1俯瞰画像IVA,IVB,IVDを合成して第1合成画像IV1を生成し、第2俯瞰画像IVE,IVF,IVGを合成して第2合成画像IV2を生成する。
【0092】
(ステップS50)第1合成画像IV1と第2合成画像IV2を重ね合わせて、第3合成画像I(合成画像)を生成する。この処理の詳細な流れは後述する。
【0093】
(ステップS55)タイヤ切れ角センサ24によって牽引車10の前輪T,Tの向きを検出して、検出された前輪T,Tの向きに基づいて、牽引車10の前輪を描画する。また、牽引車10と被牽引車30の予測進路Tra,Trb,Trc,Trdを推定して、推定された予測進路Tra,Trb,Trc,Trdを第3合成画像I(合成画像)に重畳表示する。
【0094】
(ステップS60)第3合成画像I(合成画像)を画像表示部26aに表示する。
【0095】
なお、図10のフローチャートには記載していないが、牽引車10のエンジンが停止したとき,牽引車10と被牽引車30の連結が解除されたとき、または、運転者の操作によって第3合成画像I(合成画像)の表示が消去されたときには、図10の処理が中止される。
【0096】
次に、図11を用いて、ステップS50で行う第1合成画像IV1と第2合成画像IV2の重ね合わせ処理の流れについて、詳しく説明する。
【0097】
(ステップS80)姿勢検出部20aにおいて、牽引車10と被牽引車30のなす角度に基づいて、牽引車10と被牽引車30の姿勢を算出する。
【0098】
(ステップS82)画像境界位置算出部28aにおいて、第1合成画像IV1と第2合成画像IV2を重ね合わせる際の境界線L1,L2の位置を算出する。
【0099】
(ステップS84)画像合成部16cにおいて、第1合成画像IV1と第2合成画像IV2を重ね合わせて第3合成画像I(合成画像)を生成する。具体的には、前述した通り、境界線L1,L2を境にして、必要な画像情報を選択して重ね合わせる。その後、メインルーチン(図10のフローチャート)に戻る。
【実施例2】
【0100】
次に、本発明の別の実施形態である牽引車用周囲監視装置110について説明する。
(実施例2のシステム構成の説明)
【0101】
実施例2は、本発明を、被牽引車30が連結された牽引車10の周囲状況を監視する牽引車用周囲監視装置110に適用したものである。図12は、牽引車用周囲監視装置110の機能構成を示す機能ブロック図である。以下、牽引車用周囲監視装置100(図4)との相違点についてのみ簡単に説明する。
(実施例2の機能,作用の説明)
【0102】
牽引車用周囲監視装置110は、実施例1で説明した牽引車用周囲監視装置100と同じ機能を有するが、内部の機能構成が異なっている。なお、牽引車用周囲監視装置110によって生成される第1俯瞰画像IVA,IVB,IVD,第2俯瞰画像IVE,IVF,IVG,第1合成画像IV1,第2合成画像IV2,第3合成画像I(合成画像)は、いずれも、実施例1で説明したものと同じである。
【0103】
牽引車用周囲監視装置110と牽引車用周囲監視装置100の構成上の違いは、牽引車用周囲監視装置100では、被牽引車30が、被牽引車情報記憶部37a(第2情報記憶部)に、第2周囲監視部32を構成する各カメラ(32a,32b,32c)の設置位置,設置方向,カメラ内部パラメータと牽引車側連結部14の位置を記憶しており、牽引車10と被牽引車30が連結したときに、これらの情報を牽引車10に転送しているのに対し、牽引車用周囲監視装置110では、被牽引車30は、被牽引車30を識別することができる識別情報のみを記憶している点である。この識別情報は、図12に示す識別情報記憶部39aに記憶されている。
【0104】
そして、牽引車10に設置された被牽引車情報記憶部19a(第3情報記憶部)には、牽引車10に連結される可能性のある複数の被牽引車(30,40,…)のそれぞれの識別情報と、それぞれの被牽引車に設置された各カメラの設置位置,設置方向,カメラ内部パラメータと、各被牽引車(30,40,…)の被牽引車側連結部(34,44,…)の位置が記憶されている。
【0105】
牽引車10と被牽引車30が連結されたときには、被牽引車30に記憶された識別情報が、牽引車10に転送される。
【0106】
牽引車10は、被牽引車30の識別情報を受信すると、被牽引車情報記憶部19a(第3情報記憶部)に記憶された識別情報と照合して、連結された被牽引車30を特定する。そして、牽引車10に転送された、被牽引車30に設置されたカメラの設置位置,設置方向,カメラ内部パラメータと、被牽引車側連結部34の位置を読み出す。
【0107】
読み出された情報を基づいて、被牽引車30から逐次送信される、第2周囲監視部32を構成する各カメラ(32a,32b,32c)で撮像された複数の画像が、それぞれ俯瞰画像に変換されるとともに、変換された複数の俯瞰画像が、牽引車10と被牽引車30の姿勢に応じて合成されて、実施例1で説明した第3合成画像I(合成画像)が生成される。
【0108】
牽引車10には様々な形式の被牽引車(30,40,…)が連結されるため、このような構成を採ることによって、実施例1において被牽引車30に設置していた被牽引車情報記憶部37a(図4)の記憶容量を削減することができる。また、被牽引車が連結されたときに識別情報のみを送信すればよいため、連結後、即座に牽引車用周囲監視装置110が第3合成画像I(合成画像)を出力することができ、運用の効率化を図ることができる。
(実施例2の処理の流れの説明)
【0109】
次に、実施例2の具体的な処理の流れについて、図13のフローチャートを用いて説明する。なお、図13のフローチャートは、所定の周期で自動的に繰り返して実行される。
【0110】
(ステップS100)牽引車10と被牽引車30が連結したか否かを検出する。連結したことが確認されたらステップS105に進み、連結が確認できないときは図13の処理を終了する。
【0111】
(ステップS105)被牽引車30にカメラ(撮像部)が設置されているか否かを、画像入力部36aを構成する第2カメラECU36(図3)が設置されているか否かを用いて判断する。被牽引車30に第2カメラECU36が設置されていることが確認されたときはステップS110に進み、それ以外のときは図13の処理を終了する。
【0112】
(ステップS110)ステップS110を以前に実行したか否かを判断する。ステップS110を初めて実行したときはステップS115に進み、それ以外のときはステップS125に進む。
【0113】
(ステップS115)識別情報記憶部39aに記憶されている被牽引車30の識別情報を牽引車10に転送する。そして、牽引車10側で、連結された被牽引車30を特定する。
【0114】
(ステップS120)牽引車10に設置された第1周囲監視部12を構成するカメラ(撮像部)の中で、被牽引車30が連結されたときに不要となるカメラの有無を判断する。本実施例2の場合、後方カメラ12cが不要と判断されて、カメラ12cへの電源供給を停止し、カメラ12cは以降の処理には使用しない。
【0115】
(ステップS125)被牽引車30に設置された第2周囲監視部32を構成する各カメラ(32a,32b,32c)(撮像部)で撮像された画像を牽引車10に転送する。
【0116】
(ステップS130)画像変換部16bにおいて、第1俯瞰画像IVA,IVB,IVDと第2俯瞰画像IVE,IVF,IVGを生成する。
【0117】
(ステップS135)画像合成部16cにおいて、第1俯瞰画像IVA,IVB,IVDを合成して第1合成画像IV1を生成し、第2俯瞰画像IVE,IVF,IVGを合成して第2合成画像IV2を生成する。
【0118】
(ステップS140)第1合成画像IV1と第2合成画像IV2を重ね合わせて、第3合成画像I(合成画像)を生成する。この処理の流れは、図11のフローチャートで説明した通りである。
【0119】
(ステップS145)タイヤ切れ角センサ24によって牽引車10の前輪T,Tの向きを検出して、検出された前輪T,Tの向きに基づいて、牽引車10の前輪を描画する。また、牽引車10と被牽引車30の予測進路Tra,Trb,Trc,Trdを推定して、推定された予測進路Tra,Trb,Trc,Trdを第3合成画像I(合成画像)に重畳表示する。
【0120】
(ステップS150)第3合成画像I(合成画像)を画像表示部26aに表示する。
【0121】
なお、図13のフローチャートには記載していないが、牽引車10のエンジンが停止したとき,牽引車10と被牽引車30の連結が解除されたとき、または、運転者の操作によって第3合成画像I(合成画像)の表示が消去されたときには、図13の処理が中止される。
【0122】
以上説明したように、このように構成された本発明の実施例1に係る牽引車用周囲監視装置100によれば、連結検出部22aが、牽引車10と被牽引車30が連結したことを検出したときに、画像変換部16bが、牽引車10の周囲に設置された第1周囲監視部12を構成する複数のカメラ(12a,12b,12c,12d)(撮像部)で撮像された各画像を、牽引車情報記憶部17a(情報記憶部)に記憶された、第1周囲監視部12が有する複数のカメラ(12a,12b,12c,12d)(撮像部)の各設置位置,各設置方向,各校正データに基づいて第1仮想視点V1から俯瞰した複数の第1俯瞰画像(IVA,IVB,IVD)に変換して、被牽引車30の周囲に設置された第2周囲監視部32を構成する複数のカメラ(32a,32b,32c)(撮像部)で撮像された各画像を、被牽引車情報記憶部37a(情報記憶部)に記憶された、第2周囲監視部32が有する複数のカメラ(32a,32b,32c)(撮像部)の各設置位置,各設置方向,各校正データに基づいて第2仮想視点V2から俯瞰した複数の第2俯瞰画像(IVE,IVF,IVG)に変換する。そして、画像合成部16cが、牽引車10と被牽引車30の連結位置と姿勢検出部20aが検出した姿勢に基づいて、複数の第1俯瞰画像(IVA,IVB,IVD)と複数の第2俯瞰画像(IVE,IVF,IVG)を合成して第3合成画像I(合成画像)を生成する。さらに、生成された第3合成画像Iに、タイヤ方向算出部28cが算出した牽引車10の前輪T,Tの向きと、予測進路算出部28bが算出した牽引車10および被牽引車30の予測進路Tra,Trb,Trc,Trdを重畳して画像表示部26aに表示する。したがって、牽引車10と被牽引車30の周囲にある障害物の位置と方向を、牽引車10と被牽引車30の姿勢によらずに、容易に認識することができる。
【0123】
特に、本発明の実施例1に係る牽引車用周囲監視装置100によれば、連結検出部22aが、牽引車10と被牽引車30が連結したことを検出したときに、被牽引車情報記憶部37a(第2情報記憶部)に記憶された、複数のカメラ(32a,32b,32c)(撮像部)の各設置位置,各設置方向,各校正データと、牽引車10との連結位置と、第2周囲監視部32で撮像した各画像を情報送信部38aによって牽引車10に送信する。そして、牽引車10の情報受信部18aは、送信された情報を受信して、受信した情報に基づいて、複数のカメラ(32a,32b,32c)で撮像された各画像を画像変換部16bで複数の第2俯瞰画像(IVE,IVF,IVG)に変換する。さらに、牽引車10に備えられた第1周囲監視部12で撮像した各画像を、牽引車情報記憶部17a(第1情報記憶部)に記憶された、複数のカメラ(12a,12b,12c,12d)(撮像部)の各設置位置,各設置方向,各校正データに基づいて複数の第1俯瞰画像(IVA,IVB,IVD)に変換する。そして、画像合成部16cで、牽引車情報記憶部17aに記憶された、カメラ(12a,12b,12c,12d)(撮像部)の各設置位置と、被牽引車30との連結位置と、被牽引車情報記憶部37aに記憶された、複数のカメラ(32a,32b,32c)(撮像部)の各設置位置と、牽引車10との連結位置と、に基づいて、複数の第1俯瞰画像(IVA,IVB,IVD)を合成した第1合成画像IV1と複数の第2俯瞰画像(IVE,IVF,IVG)を合成した第2合成画像IV2をそれぞれ生成し、さらに、第1合成画像IV1と第2合成画像IV2を合成して第3合成画像I(合成画像)を生成する。したがって、牽引車10に、形態が異なる複数種の被牽引車が連結する場合であっても、牽引車と被牽引車の周囲を俯瞰した画像を容易に生成することができる。
【0124】
また、このように構成された本発明の実施例1に係る牽引車用周囲監視装置100によれば、画像合成部16cは、第1合成画像IV1と第2合成画像IV2の中から、同一位置が撮像される重複撮像領域Zを検出して、検出された重複撮像領域Zの中においては、第1周囲監視部12と第2周囲監視部32のうち、より高い解像度で撮像された情報を第3合成画像Iに反映させる。したがって、視認性が高い第3合成画像Iを生成することができる。
【0125】
そして、このように構成された本発明の実施例1に係る牽引車用周囲監視装置100によれば、画像合成部16cは、重複撮像領域Zの中で、第1周囲監視部12と第2周囲監視部32のうち、より近くから撮像された情報を第3合成画像Iに反映させる。したがって、簡単な演算で、より一層視認性が高い第3合成画像Iを生成することができる。
【0126】
さらに、このように構成された本発明の実施例1に係る牽引車用周囲監視装置100によれば、第3合成画像Iは、同一位置に同一方向に向けて配置した第1合成画像IV1の中の被牽引車30との連結位置を示す位置に、第2合成画像IV2の中の牽引車10との連結位置を示す位置を合致させて、さらに、第2合成画像IV2を、姿勢検出部20aが検出した姿勢に応じた量だけ回転して合成する。したがって、牽引車10と被牽引車30の周囲状況を認識しやすい第3合成画像Iを得ることができる。
【0127】
また、このように構成された本発明の実施例1に係る牽引車用周囲監視装置100によれば、第1合成画像IV1は、牽引車10の前方が上部に位置する向きに配置される。したがって、牽引車10の前方が、常に画像表示部26aの上部に表示されるため、周囲状況をより一層認識しやすい第1合成画像IV1を得ることができる。
【0128】
そして、このように構成された本発明の実施例1に係る牽引車用周囲監視装置100によれば、連結検出部22aが牽引車10と被牽引車30の連結を検出したときに、第1周囲監視部12が有する複数のカメラ(12a,12b,12c,12d)(撮像部)のうち、被牽引車30の陰となって牽引車10の周囲が監視できない状態となる撮像部の出力は使用しない。したがって、第3合成画像Iの中に不要な情報が表示されないため、第3合成画像Iの質を向上させることができる。また、不要な撮像部を使用しないため、牽引車用周囲監視装置100の消費電力を節約することができる。
【0129】
また、このように構成された本発明の実施例2に係る牽引車用周囲監視装置110によれば、連結検出部22aが、牽引車10と被牽引車30が連結したことを検出したときに、被牽引車30が識別情報記憶部39aに記憶した、被牽引車30を特定する識別情報と、第2周囲監視部32で撮像した各画像を情報送信部38aによって牽引車10に送信する。牽引車10の情報受信部18aは、送信された情報を受信して、画像変換部16bが、識別情報を参照して被牽引車30を特定して、受信した各画像を、被牽引車情報記憶部19a(第3情報記憶部)に記憶された、複数のカメラ(32a,32b,32c)(撮像部)の各設置位置,各設置方向,各校正データと、牽引車10との連結位置と、に基づいて複数の第2俯瞰画像(IVE,IVF,IVG)に変換する。さらに、画像変換部16bが牽引車10に備えられた第1周囲監視部12で撮像した各画像を、牽引車情報記憶部17a(第1情報記憶部)に記憶された、複数のカメラ(12a,12b,12c,12d)(撮像部)の各設置位置,各設置方向,各校正データに基づいて複数の第1俯瞰画像(IVA,IVB,IVD)に変換する。そして、画像合成部16cで、牽引車情報記憶部17aに記憶された、複数のカメラ(12a,12b,12c,12d)の各設置位置と、被牽引車30との連結位置と、被牽引車情報記憶部19aに記憶された、複数のカメラ(32a,32b,32c)の各設置位置と、牽引車10との連結位置と、に基づいて、複数の第1俯瞰画像(IVA,IVB,IVD)を合成した第1合成画像IV1と複数の第2俯瞰画像(IVE,IVF,IVG)を合成した第2合成画像IV2をそれぞれ生成し、さらに、第1合成画像IV1と第2合成画像IV2を合成して第3合成画像Iを生成する。したがって、被牽引車30の識別情報記憶部39aには被牽引車30の識別情報のみを記憶すればよいため、被牽引車30に記憶しておくべき記憶容量を削減することができ、ハードウェア構成の簡素化を図ることができる。さらに、被牽引車30が連結されたときに識別情報のみを送信すればよいため、牽引車10と被牽引車30の連結後、即座に牽引車用周囲監視装置110が第3合成画像Iを出力することができ、運用の効率化を図ることができる。
【0130】
なお、実施例1,実施例2では、各カメラ(12a,12b,12c,12d,32a,32b,32c)(撮像部)から出力されたアナログ信号をデジタル変換して、必要な変換合成処理を行った後、再びアナログ信号に変換して画像表示部26aに表示する構成としたが、その構成に限定されるものではなく、デジタル出力が可能なカメラを用いたシステム構成を採り、カメラから出力されたデジタル信号をそのまま画像処理する構成を採ってもよい。
【0131】
また、実施例1,実施例2では、CAN通信線50を用いて、牽引車10と被牽引車30の間で情報のやり取りを行ったが、この通信手段はCAN通信線50に限定されるものではなく、他の通信線、例えば一般的なシリアル通信線等を用いて行ってもよい。
【0132】
また、実施例1,実施例2では、画像境界位置算出部28aにて第1合成画像IV1と第2合成画像IV2を重ね合わせる際の境界線L1,L2の位置を算出したが、この方法は、複数の第1俯瞰画像IVA,IVB,IVDを合成して第1合成画像IV1を生成する際、また、複数の第2俯瞰画像IVE,IVF,IVGを合成して第2合成画像IV2を生成する際にも、同様に適用することができる。
【0133】
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
【符号の説明】
【0134】
10 牽引車
12 第1周囲監視部
12a 前方カメラ(撮像部)
12b 左側方カメラ(撮像部)
12c 後方カメラ(撮像部)
12d 右側方カメラ(撮像部)
14 牽引車側連結部
16 第1カメラECU
16a 画像入力部
16b 画像変換部
16c 画像合成部
17a 牽引車情報記憶部(第1情報記憶部)
18a 情報受信部
20a 姿勢検出部
22a 連結検出部
24a タイヤ切れ角検出部
26a 画像表示部
28a 画像境界位置算出部
28b 予測進路算出部
28c タイヤ方向算出部
30 被牽引車
32 第2周囲監視部
32a 左側方カメラ(撮像部)
32b 後方カメラ(撮像部)
32c 右側方カメラ(撮像部)
34 被牽引車側連結部
36 第2カメラECU
36a 画像入力部
37a 被牽引車情報記憶部(第2情報記憶部)
38a 情報送信部
50 CAN通信線
100 牽引車用周囲監視装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13