特開2024-69321 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ジャガー　ランド　ローバー　リミテッドの特許一覧

特開2024-69321制御システム及び方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024069321

(43)【公開日】2024-05-21

(54)【発明の名称】制御システム及び方法

(51)【国際特許分類】

H04N 7/18 20060101AFI20240514BHJP

B60R 1/28 20220101ALI20240514BHJP

B60R 1/20 20220101ALI20240514BHJP

【ＦＩ】

H04N7/18 J

B60R1/28 200

B60R1/20 100

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024033967

(22)【出願日】2024-03-06

(62)【分割の表示】P 2022514224の分割

【原出願日】2020-08-27

(31)【優先権主張番号】1912628.3

(32)【優先日】2019-09-03

(33)【優先権主張国・地域又は機関】GB

(71)【出願人】

【識別番号】512308720

【氏名又は名称】ジャガーランドローバーリミテッド

【氏名又は名称原語表記】ＪａｇｕａｒＬａｎｄＲｏｖｅｒＬｉｍｉｔｅｄ

【住所又は居所原語表記】ＡｂｂｅｙＲｏａｄＷｈｉｔｌｅｙＣｏｖｅｎｔｒｙＣＶ３４ＬＦＵＮＩＴＥＤＫＩＮＧＤＯＭ

(74)【代理人】

【識別番号】100100158

【弁理士】

【氏名又は名称】鮫島睦

(74)【代理人】

【識別番号】100112911

【弁理士】

【氏名又は名称】中野晴夫

(72)【発明者】

【氏名】ハトザキス，ジョン

(72)【発明者】

【氏名】ゴビンダンクッティ，アナンド

(57)【要約】（修正有）

【課題】牽引する車両の乗員に対する支援を提供する。
【解決手段】制御システム（１）は、牽引車（Ｖ１）に結合された被牽引車（Ｖ２）のヒッチ角（α）を示すヒッチ角データを受信するように構成されている。制御システム（１）は、少なくとも第１画像データ（ＤＩＭＧ１）の第１及び第２画像データサブセットを選択する。第１の画像データサブセット及び第２の画像データサブセットを示す信号（ＳＯＵＴ１）は、第１のビューポート（ＶＰＬ、ＶＰＲ）及び第２のビューポート（ＶＰＬ、ＶＰＲ）を牽引車（Ｖ１）の乗員に対して表示するための少なくとも１つのディスプレイ（５）に対して出力される。制御システム（１）は、ヒッチ角データに依存して、第１の画像データサブセット及び第２の画像データサブセットを選択するように構成されている。
【選択図】図１

【特許請求の範囲】

【請求項1】

牽引車の乗員に支援を提供するための制御システムであって、１つ以上のコントローラを備え、前記制御システムは、
牽引車に結合された被牽引車のヒッチ角度を示すヒッチ角度データを受け取り、
少なくとも第１の画像データの第１および第２の画像データサブセットを選択し、前記第１の画像データサブセットは、前記牽引車の第１の側の第１のビューポートを表し、前記第２の画像データサブセットは、前記牽引車の第２の側の第２のビューポートを表し、
前記牽引車の乗員に対して前記第１のビューポートおよび前記第２のビューポートを表示するために、前記第１の画像データサブセットおよび前記第２の画像データサブセットを示す信号を前記少なくとも１つのディスプレイに出力し、
前記制御システムは、ヒッチ角データに依存して前記第１の画像データサブセットおよび前記第２の画像データサブセットを選択するように構成され、
前記第１の画像データサブセットは、前記ヒッチ角データが前記被牽引車が前記牽引車の第１の側に配置されることを示すとき、前記第２のビューポートに対して前記第１のビューポートの目立ち具合を増加させるように選択され、
前記第２の画像データサブセットは、前記ヒッチ角データが前記被牽引車が前記牽引車の第２の側に配置されることを示すとき、前記第１のビューポートに対して前記第２のビューポートの目立ち具合を増加させるように選択されることを特徴とする、制御システム。

【請求項2】

車両の乗員に支援を提供するための制御システムであって、１つ以上のコントローラを備え、制御システムは、
操舵角度を示す操舵角データを受信し、
少なくとも第１の画像データの第１及び第２の画像データサブセットを選択し、
前記第１の画像データサブセットは、車両の第１の側の第１のビューポートを表し、
前記第２のサブ画像データは、車両の第２の側の第２のビューポートを表し、
前記第１のビューポートおよび前記第２のビューポートを前記車両の乗員に表示するために、前記第１の画像データサブセットおよび前記第２の画像データサブセットを示す信号を前記少なくとも１つのディスプレイに出力し、
前記制御システムは、操舵角データに依存して前記第１の画像データサブセットおよび前記第２の画像データサブセットを選択するように構成され、
前記第１の画像データサブセットは、前記操舵角データが前記車両の第１の側の前記第１のビューポートに向かう走行方向を示すときに前記第２のビューポートに対する前記第１のビューポートの目立ち具合を増大させるように選択され、
前記第２の画像データサブセットは、前記操舵角データが前記車両の第２の側の前記第２のビューポートに向かう走行方向を示すときに前記第１のビューポートに対する前記第２のビューポートの目立ち具合を増大させるように選択される、ことを特徴とする制御システム。

【請求項3】

前記制御システムは、
第１の画像装置から第１の画像データを受信し、
前記第１の画像データは、前記牽引車の前記第１の側における第１の画像を表し、
前記第１の画像データサブセットは、前記第１の画像データから選択され、
前記第１のビューポートは、前記第１の画像の一部を構成する、請求項１または２に記載の制御システム。

【請求項4】

前記制御システムは、
第２の画像装置から第２の画像データを受信し、
前記第２の画像データは、前記牽引車の前記第２の側の第２の画像を表し、
前記第２の画像データサブセットは、前記第２の画像データから選択され、
前記第２のビューポートは、前記第２の画像の一部を構成する、請求項１、２、又は３のいずれか１項に記載の制御システム。

【請求項5】

前記第１の画像データは、第１の撮像装置から受信されて第１の画像を表し、
前記第１の画像データサブセット及び前記第２の画像データサブセットは、前記第１の画像データから選択される、請求項１又は２に記載の制御システム。

【請求項6】

前記第１のビューポートの目立ち具合を高めることは、前記第２のビューポートに対して前記第１のビューポートのサイズを大きくすることを含み、および／または、前記第２のビューポートの目立ち具合を高めることは、前記第１のビューポートに対して前記第２のビューポートのサイズを大きくすることを含む、請求項１～５のいずれか１項に記載の制御システム。

【請求項7】

前記第１のビューポートのサイズを大きくすることは、前記第１のビューポートの幅を大きくすることを含み、前記第２のビューポートのサイズを大きくすることは、前記第２のビューポートの幅を大きくすることを含む、請求項６に記載の制御システム。

【請求項8】

請求項１～７のいずれかに記載の制御システムを含む車両。

【請求項9】

牽引車の乗員に支援を提供する方法であって、前記方法は、
牽引車に結合された被牽引車のヒッチ角度を決定すること、
前記牽引車の第１の側にある第１のビューポートと前記牽引車の第２の側にある第２のビューポートを選択すること、
前記第１のビューポートおよび前記第２のビューポートを前記牽引車の乗員に対して表示することを含み、
前記第１のビューポートおよび前記第２のビューポートは、決定されたヒッチ角に依存して選択され、
前記決定されたヒッチ角が、前記被牽引車が前記牽引車の前記第１の側に配置されることを示すとき、前記第１のビューポートの目立ち具合は、前記第２のビューポートに対して増大され、
前記決定されたヒッチ角が、前記被牽引車が前記牽引車の前記第２の側に配置されることを示すとき、前記第２のビューポートの目立ち具合は、前記第１のビューポートに対して増大される、方法。

【請求項10】

車両の乗員に支援を提供する方法であって、前記方法は、
前記車両の操舵角度を決定することと、
牽引車の第１の側にある第１のビューポートと、牽引車の第２の側にある第２のビューポートとを選択するステップと
前記第１のビューポートおよび前記第２のビューポートを前記牽引車の乗員に対して表示することを含み、
前記第１のビューポートおよび前記第２のビューポートは、決定された前記操舵角に依存して選択され、
前記決定された操舵角が前記車両の前記第１の側の前記第１のビューポートに向かう移動方向を示すとき、前記第１のビューポートの目立ち具合は前記第２のビューポートに対して増大され、
前記決定された操舵角が前記車両の前記第２の側の前記第２のビューポートに向かう移動方向を示すとき、前記第２のビューポートの目立ち具合は前記第１のビューポートに対して増大される、ことを特徴とする方法。

【請求項11】

前記第１のビューポートは、第１の画像の一部を含むか、または前記第１の画像の一部からなり、
前記第１の画像は、前記牽引車の前記第１の側に配置された第１の撮像装置によって撮像される、請求項９又は１０に記載の方法。

【請求項12】

前記第２のビューポートは、第２の画像の一部から構成されるか、または前記第２の画像の一部から成り、
前記第２の画像は、前記牽引車の第２の側に配置された第２の撮像装置によって撮像されることを特徴とする、請求項９、１０、又は１１に記載の方法。

【請求項13】

前記第１のビューポートおよび前記第２のビューポートは、ともに前記第１の画像から選択される、請求項９又は１０に記載の方法。

【請求項14】

前記第１ビューポートの目立ち具合を高めることは、前記第２ビューポートに対して前記第１ビューポートのサイズを大きくすることを含み、および／または
前記第２ビューポートの目立ち具合を高めることは、前記第１ビューポートに対して前記第２ビューポートのサイズを大きくすることを含む、請求項９～１３のいずれか一項に記載の方法。

【請求項15】

前記第１のビューポートのサイズを増加させることは、前記第１のビューポートの幅を増加させることを含み、
前記第２のビューポートのサイズを増加させることは、前記第２のビューポートの幅を増加させることを含む、請求項１４に記載の方法。

【請求項16】

実行されると、請求項９～１５のいずれか一項に記載の方法を実行するように構成されたコンピュータソフトウェア。

【請求項17】

１つ以上の電子プロセッサによって実行されると、１つ以上の電子プロセッサに請求項９～１５のいずれか１項に記載の方法を実行させる命令を記憶する非一過性のコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、制御システム及び方法に関する。本発明の態様は、車両乗員に支援を提供するための制御システム、車両、車両乗員を支援する方法、コンピュータソフトウェアおよび非一過性のコンピュータ読み取り可能な記憶媒体に関連する。

【背景技術】

【0002】

車両の周囲の領域の画像を撮影するために動作する１つ以上のカメラを含むカメラシステムを車両に提供することが知られている。カメラシステムは、典型的には、ユーザに対して出力されるよりも広い視野を有するカメラを利用する。カメラシステムは、例えば合成画像（鳥瞰図など）を形成するために、各カメラの視野の固定部分のみを選択するように構成される。カメラシステムによって提供される異なる透視ビューは、水平および垂直の視野が固定された画像の変換によって実現されてもよい。画像変換を適用することは、画像データの品質の劣化につながり、潜在的に、結果として得られる合成画像の知覚品質の低下につながる可能性がある。

【0003】

本発明の目的は、先行技術に関連する１つ以上の欠点に対処することである。

【発明の概要】

【0004】

本発明の態様及び形態は、添付の特許請求の範囲に記載されるように、車両乗員に援助を提供するための制御システム、車両、車両乗員を援助する方法、コンピュータソフトウェア及び非一過性のコンピュータ読取可能な記憶媒体を提供する。

【0005】

本発明の一態様によれば、牽引車の乗員に援助を提供するための制御システムが提供され、この制御システムは、１つ以上のコントローラを備え、この制御システムは、
牽引車に結合された被牽引車のヒッチ角度を示すヒッチ角度データを受け取り、
少なくとも第１の画像データの第１および第２の画像データサブセットを選択し、第１の画像データサブセットは、牽引車の第１の側の第１のビューポートを表し、第２の画像データサブセットは、牽引車の第２の側の第２のビューポートを表し、
前記牽引車の乗員に対して前記第１のビューポートおよび前記第２のビューポートを表示するために、前記第１の画像データサブセットおよび前記第２の画像データサブセットを示す信号を前記少なくとも１つのディスプレイに出力し、
制御システムは、ヒッチ角データに依存して第１の画像データサブセットおよび第２の画像データサブセットを選択するように構成され、第１の画像データサブセットは、ヒッチ角データが被牽引車が牽引車の第１の側に配置されることを示す場合に第２のビューポートに対して第１のビューポートの目立ち具合（顕著性）を増加させるように選択され、第２の画像データサブセットは、ヒッチ角データが被牽引車が牽引車の第２の側に配置されることを示す場合に第１のビューポートに対して第２のビューポートの目立ち具合を増大させるように選択される、ように構成される。

【0006】

前記又は各コントローラは、前記牽引車に結合された被牽引車のヒッチ角度を示すヒッチ角度データを受信するための少なくとも１つの電子プロセッサを含んでいてもよい。少なくとも１つの電子プロセッサは、ヒッチ角データを受信するための１つまたは複数の電気入力を含んでいてもよい。少なくとも１つの電子プロセッサは、第１及び第２の画像データサブセットを選択するように構成されてもよい。

【0007】

前記又は各コントローラは、少なくとも１つの電子プロセッサに電気的に結合され、そこに記憶された命令を有する少なくとも１つのメモリデバイスを含んでもよい。少なくとも１つの電子プロセッサは、少なくとも１つのメモリデバイスにアクセスし、その上で命令を実行するように構成されてもよい。少なくとも１つの電子プロセッサは、ヒッチ角データに依存して、第１の画像データサブセット及び第２の画像データサブセットを選択するように構成されてもよい。

【0008】

少なくとも１つの電子プロセッサは、第１の画像データサブセット及び第２の画像データサブセットを示す信号を出力するための１つ又は複数の電気出力を含んでいてもよい。少なくとも１つの電子プロセッサは、スクリーンなどの適切な表示装置に信号を出力してもよい。

【0009】

制御システムは、牽引車の操舵角度を示す操舵角データを受信してもよい。制御システムは、ヒッチ角データおよび操舵角データに依存して、第１の画像データサブセットおよび第２の画像データサブセットを選択するように構成されてもよい。

【0010】

本発明のさらなる態様によれば、車両の乗員に支援を提供するための制御システムが提供され、制御システムは、１つまたは複数のコントローラを備え、制御システムは、
車両の操舵角度を示す操舵角データを受信し、
少なくとも第１の画像データの第１および第２の画像データサブセットを選択し、第１の画像データサブセットは、車両の第１の側の第１のビューポートを表し、第２のサブ画像データは、車両の第２の側の第２のビューポートを表し、
前記第１のビューポートおよび前記第２のビューポートを前記車両の乗員に表示するために、前記第１の画像データサブセットおよび前記第２の画像データサブセットを示す信号を前記少なくとも１つのディスプレイに出力し、
制御システムは、操舵角データに依存して第１の画像データサブセットおよび第２の画像データサブセットを選択するように構成され、第１の画像データサブセットは、操舵角データが車両の第１の側の第１のビューポートに向かう走行方向を示すときに第２のビューポートに対する第１のビューポートの目立ち具合を増大させるように選択され、第２の画像データサブセットは、操舵角データが車両の第２の側の第２のビューポートに向かう走行方向を示すときに第１のビューポートに対する第２のビューポートの目立ち具合を増大させるように選択されるように構成される。

【0011】

前記又は各コントローラは、前記車両の操舵角を示す操舵角データを受信するための少なくとも１つの電子プロセッサを含んでいてもよい。少なくとも１つの電子プロセッサは、操舵角データを受信するための１つまたは複数の電気入力を含んでいてもよい。少なくとも１つの電子プロセッサは、第１及び第２の画像データサブセットを選択するように構成されてもよい。

【0012】

前記又は各コントローラは、少なくとも１つの電子プロセッサに電気的に結合され、そこに格納された命令を有する少なくとも１つのメモリデバイスを含んでもよい。少なくとも１つの電子プロセッサは、少なくとも１つのメモリデバイスにアクセスし、その上で命令を実行するように構成されてもよい。少なくとも１つの電子プロセッサは、ヒッチ角データに依存して、第１の画像データサブセット及び第２の画像データサブセットを選択するように構成されてもよい。

【0013】

少なくとも１つの電子プロセッサは、第１の画像データサブセット及び第２の画像データサブセットを示す信号を出力するための１つ又は複数の電気出力を含んでいてもよい。少なくとも１つの電子プロセッサは、スクリーンなどの適切な表示デバイスに信号を出力してもよい。

【0014】

制御システムは、車両に結合されたトレーラなどの被牽引車のヒッチ（連結）角度を示すヒッチ角度データを受信するように構成されていてもよい。制御システムは、操舵角データ及びヒッチ角データに依存して、第１の画像データサブセット及び第２の画像データサブセットを選択するように構成されてもよい。

【0015】

少なくとも特定の実施形態において、制御システムは、車両の運転者のために改善された状況認識を提供してもよい。第１及び第２のビューポートのディスプレイは、関心領域の増加した認識を提供するように制御されてもよい。関心領域は、例えば、車両またはトレーラなどの被牽引車の進行方向に対応する領域を表すことができる。第１及び第２のビューポートの表示を動的に変更することによって、少なくとも特定の実施形態では、制御システムによって出力される品質が改善され得る。

【0016】

第１ビューポート及び第２ビューポートは、別々の画像として表示されてもよい。あるいは、第１および第２のビューポートは、合成画像の少なくとも一部を形成してもよい。合成画像は、例えば、前記第１及び第２のビューポートから構成されてもよいし、構成されてもよい。合成画像は、任意選択で、例えば第３の撮像装置によって撮像された第３の画像に由来する第３のビューポートを含んでいてもよい。前記第３の撮像装置は、前記車両に集中的に搭載されてもよい。あるいは、第３の撮像装置は、車両に結合されたトレーラ上に配置されてもよい。第３の撮像装置は、例えば、後方向きの向きでトレーラに搭載されてもよい。第３の撮像装置は、適切な位置及び向きを有するトレーラの後部に搭載されてもよい。第３の撮像画像は、トレーラの後方の領域を構成してもよいし、構成されてもよい。第１及び第２のビューポートは、合成画像において、第３のビューポートの対向する側に表示されてもよい。

【0017】

第１及び第２のビューポートの目立ち具合は、動的に調整することができる。一例として、合成画像の構成は、決定されたアーティキュレーション角及び／又は操舵角に依存して変更されてもよい。第１及び第２のビューポートによって占められる合成画像の比率は、動的に調整されてもよい。第１及び第２のビューポートの各々は、例えば、合成画像の一部を形成する副画像を構成してもよい。第１及び第２のビューポートのサイズ及び／又は位置は、決定された連結角及び／又は決定された操舵角に依存して変更されてもよい。例えば、被牽引車の走行方向（又は軌道）は、アーティキュレーション角及び操舵角の両方に依存して決定されてもよい。第１及び第２のビューポートの相対的な目立ち具合は、決定された被牽引車の移動方向に応じて調整されてもよい。

【0018】

制御システムは、第１の撮像装置から第１の画像データを受信するように構成されてもよく、第１の画像データは、牽引車の第１の側面の第１の画像を表す。第１の画像データサブセットは、第１の画像データから選択される。第１ビューポートは、第１画像の一部を構成してもよいし、第１画像の一部から構成されてもよい。

【0019】

制御システムは、第２の撮像装置から第２の画像データを受信するように構成されてもよく、第２の画像データは、牽引車の第２の側における第２の画像を表す。第２の画像データのサブセットは、第２の画像データから選択されてもよい。第２ビューポートは、第２画像の一部を構成してもよいし、第２画像の一部から構成されてもよい。

【0020】

第１の画像データは、第１の撮像装置から受信されてもよい。第１の画像データは、第１の画像を表してもよい。第１及び第２画像データサブセットは、第１画像データから選択されてもよい。第１及び第２の画像データサブセットは、互いに部分的に重なってもよい。しかし、第１画像データサブセットと第２画像データサブセットとの間に重なりが生じる可能性は小さいと考えられる。第１画像データサブセットと第２画像データサブセットとは、互いに独立したものであってもよい。第１の画像データサブセットは、第２の画像データサブセットと別個のものであってもよい。第１の撮像装置は、広角撮像装置、例えば、広角レンズを有する光学カメラであってもよい。第１画像データサブセット及び第２画像データサブセットは、いずれも第１画像データから選択されてもよい。第１画像データサブセット及び第２画像データサブセットは、第１画像データの離散的な部分から構成されてもよい。

【0021】

第１ビューポートの目立ち具合を高めることは、第２ビューポートに対する第１ビューポートのサイズを増大させることを含んでもよい。第１のビューポートのサイズを大きくすることは、第１のビューポートの幅を大きくすることを含んでもよい。代替的に、または追加的に、第１ビューポートおよび第２ビューポートの相対的な位置または向きを変更することによって、第１ビューポートの目立ち具合を増加させてもよい。

【0022】

第２のビューポートの目立ち具合を増加させることは、第１のビューポートに対する第２のビューポートのサイズを増加させることを含んでもよい。第２のビューポートのサイズを増加させることは、第２のビューポートの幅を増加させることを含んでいてもよい。代替的に、または追加的に、第２ビューポートの目立ち具合は、第１および第２ビューポートの相対的な位置または向きを変更することによって増加されてもよい。

【0023】

本発明のさらなる態様によれば、本明細書に記載される制御システムを備える車両が提供される。車両は、トレーラなどの被牽引車に結合される牽引車であってもよい。制御システムは、車両が反転しているときにのみ、アシストを提供するように構成されてもよい。

【0024】

本発明のさらに別の態様によれば、牽引車の乗員に援助を提供する方法が提供され、この方法は、
牽引車に結合された被牽引車のヒッチ角度を決定するステップと、
牽引車の第１の側にある第１のビューポートおよび牽引車の第２の側にある第２のビューポートを選択するステップと、
前記第１のビューポートおよび前記第２のビューポートを前記牽引車の乗員に対して表示するステップとを含み、
第１および第２のビューポートは、決定されたヒッチ角度に依存して選択され、
決定されたヒッチ角度が、被牽引車が牽引車の第１の側に配置されることを示すとき、第１のビューポートの目立ち具合は、第２のビューポートに対して増加され、
決定されたヒッチ角度が、被牽引車が牽引車の第２の側に配置されることを示すとき、第２のビューポートの目立ち具合は、第１のビューポートに対して増加される。

【0025】

本発明のさらに別の態様によれば、車両の乗員に援助を提供する方法が提供され、この方法は、
車両の操舵角度を決定するステップと、
牽引車の第１の側にある第１のビューポートおよび牽引車の第２の側にある第２のビューポートを選択するステップと、
前記第１のビューポートおよび前記第２のビューポートを前記牽引車の乗員に対して表示するステップを含み、
第１および第２のビューポートは、決定された操舵角に依存して選択され、
決定された操舵角が車両の第１の側の第１のビューポートに向かう移動方向を示すとき、第１のビューポートの目立ち具合は第２のビューポートに対して増大し、
決定された操舵角が車両の第２の側の第２のビューポートに向かう移動方向を示すとき、第２のビューポートの目立ち具合は第１のビューポートに対して増大する。

【0026】

第１ビューポートは、第１画像の一部から構成されてもよいし、第１画像の一部から構成されてもよい。第１の画像は、牽引車の第１の側に配置された第１の撮像装置によって撮像されてもよい。

【0027】

第２ビューポートは、第２画像の一部から構成されてもよいし、第２画像の一部から構成されてもよい。第２の画像は、牽引車の第２の側に配置された第２の撮像装置によって撮像されてもよい。

【0028】

第１及び第２のビューポートは、両方とも第１の画像から選択されてもよい。

【0029】

第１のビューポートの目立ち具合を増大させることは、第２のビューポートに対する第１のビューポートのサイズを増大させることを含んでもよい。第１のビューポートのサイズを増加させることは、第１のビューポートの幅を増加させることを含んでいてもよい。代替的に、または追加的に、第１ビューポートおよび第２ビューポートの相対的な位置または向きを変更することによって、第１ビューポートの目立ち具合を増加させてもよい。

【0030】

【0031】

本発明のさらなる態様によれば、実行されると、本明細書に記載の方法を実行するように配置されるコンピュータソフトウェアが提供される。

【0032】

本発明のさらに別の態様によれば、１つ以上の電子プロセッサによって実行されると、１つ以上の電子プロセッサに本明細書に記載の方法を実行させる命令をその上に記憶する、非一時的なコンピュータ可読記憶媒体が提供される。

【0033】

本出願の範囲内で、前の段落、特許請求の範囲及び／又は以下の説明及び図面に記載された様々な態様、実施形態、例及び代替案、特にその個々の特徴は、独立して又は任意の組み合わせで取り得ることが明示的に意図される。すなわち、すべての実施形態および／または任意の実施形態の特徴は、そのような特徴が両立しない場合を除き、任意の方法および／または組み合わせで結合することができる。出願人は、元々そのように請求されていないが、他の請求項の任意の特徴に依存し、及び／又はそれを組み込むように、元々提出された請求項を修正する権利を含む、元々提出された請求項を変更し、又はそれに応じて新しい請求項を提出する権利を留保する。

【0034】

次に、本発明の１つ以上の実施形態について、添付図面を参照しながら、例示的にのみ説明する。

【図面の簡単な説明】

【0035】

【図1】図１は、被牽引車に結合された牽引車に実装された本発明の一実施形態による制御システムの概略図を示す。

【図2】図２は、図１に示す牽引車の概略図である。

【図3】図３は、牽引車と被牽引車とが互いに整列しているときに生成される合成画像である。

【図4】図４は、牽引車と被牽引車が第一の連結位置にあるときの合成画像である。

【図5】図５は、牽引車と被牽引車が第二の連結位置にあるときに生成された合成画像である。

【図6】図６は、牽引車と被牽引車が第３の連結位置にあるときに生成された合成画像である。

【図7】図７は、牽引車と被牽引車が第４の連結位置にあるときに生成される合成画像である。

【図8】図８は、本発明の一実施形態に係る制御システムの動作を表すブロック図である。

【図9】図９は、本発明の実施形態に係る制御システムのコントローラを表す概略図である；及び

【図10】図１０は、本発明のさらなる実施形態に係る制御システムの動作を表すブロック図である。

【発明を実施するための形態】

【0036】

以下、本発明の一実施形態に係る制御システム１について、添付図を参照しながら説明する。制御システム１は、車両Ｖ１の運転者ＤＲＶに対する支援を行うのに好適である。

【0037】

図１に示すように、車両Ｖ１は牽引車であり、多関節連結部２によって被牽引車Ｖ２に連結されている。図１には、牽引車Ｖ１と被牽引車Ｖ２の模式図が示されている。本実施形態における牽引車Ｖ１は、自動車である。他の種類の牽引車Ｖ１も考えられ、例えば、ユーティリティビークル、スポーツユーティリティビークル、トラクタ、トラック等である。本実施形態に係る被牽引車Ｖ２は、トレーラである。牽引車Ｖ１は、第１縦軸ＸＶ１を有し、被牽引車Ｖ２は、第２縦軸ＸＶ２を有する。図２に、牽引車Ｖ１の概略図を示す。

【0038】

図２に示すように、第１及び第２の撮像装置Ｃ１、Ｃ２は、牽引車Ｖ１上に配置されている。第１及び第２の撮像装置Ｃ１、Ｃ２は、牽引車Ｖ１の対向する側面に配置されている。第１撮像装置Ｃ１は、牽引車Ｖ１の左側に配置され、第２撮像装置Ｃ２は、牽引車Ｖ１の右側に配置されている。本実施形態における第１及び第２の撮像装置Ｃ１、Ｃ２は、それぞれの第１及び第２のサイドハウジング４－１，４－２に装着されている。なお、第１及び第２の撮像装置Ｃ１、Ｃ２の取付位置は、他の取付位置も想定される。本実施形態における第１及び第２の撮像装置Ｃ１、Ｃ２は、光学カメラである。第１及び第２の撮像装置Ｃ１、Ｃ２は、牽引車Ｖ１と被牽引車Ｖ２の対向する側面の第１及び第２の横方向画像ＩＭＧ１、ＩＭＧ２を撮影するために、後向き方向に向けられている。図１に示すように、第１及び第２の撮像装置Ｃ１、Ｃ２は、それぞれの第１及び第２の視野ＦＯＶ１、ＦＯＶ２を有している。第１及び第２の撮像装置Ｃ１、Ｃ２は、第１の縦軸ＸＶ１に対して鋭角に傾斜しているそれぞれの第１及び第２の光軸０１，０２を有している。第１及び第２の視野ＦＯＶ１、ＦＯＶ２は、牽引車Ｖ１の側面へのカバー率を高めるように配向される。使用時、第１撮像装置Ｃ１は、第１横方向画像ＩＭＧ１を表す第１画像データＤＩＭＧ１を生成する。第１撮像装置Ｃ１は、第１横方向画像ＩＭＧ１を表す当該第１画像データＤＩＭＧ１からなる第１信号ＳＩＮ１を出力する。使用時において、第２の撮像装置Ｃ２は、第２の横方向画像ＩＭＧ２を表す第２の画像データＤＩＭＧ２を生成する。第２の撮像装置Ｃ２は、第２の横方向画像ＩＭＧ２を表す前記第２の画像データＤＩＭＧ２からなる第２の信号ＳＩＮ２を出力する。

【0039】

第３の撮像装置Ｃ３は、牽引車Ｖ２の後部に配置され、後向き方向に向いている。第３の撮像装置Ｃ３は、牽引車Ｖ１の後部において、例えばリアナンバープレート（図示せず）の上方に中心的に取り付けられている。第３の撮像装置Ｃ３の他の取り付け位置も考えられる。第３の撮像装置Ｃ３は、中央カメラＣ３を含んで構成される。第３の撮像装置Ｃ３は、第１の長手方向軸ＸＶ１に実質的に平行な光軸を有する。第３の撮像装置Ｃ３は、牽引車Ｖ１の後方への中央領域を包含する第３の視野ＦＯＶ３を有している。第３の撮像装置Ｃ３は、第１の長手方向軸ＸＶ１と整列している第３の光軸０３を有している。使用時、第３の撮像装置Ｃ３は、中央画像ＩＭＧ３に対応する第３画像データＤＩＭＧ３を生成する。中央車両画像ＩＭＧ３は、第３の撮像装置Ｃ３によって撮像された牽引車Ｖ１の後方向きのシーンから構成される。第３の撮像装置Ｃ３は、第３車両画像ＩＭＧ３に対応する前記第３画像データＤＩＭＧ３からなる第３信号ＳＩＮ３を出力する。

【0040】

第１、第２、第３の撮像装置Ｃ１、Ｃ２、Ｃ３は、１秒間に複数の画像フレームを撮像するように動作可能なデジタルビデオカメラである。第１、第２及び第３の撮像装置Ｃ３は、例えば約１８０°の画角を有する広角レンズを有していてもよい。第１、第２及び第３の撮像装置Ｃ１、Ｃ２、Ｃ３は、より狭い画角を有していてもよいことが理解される。第１、第２及び第３の撮像デバイスＣ１、Ｃ２、Ｃ３は、モノカメラであってもよいし、ステレオカメラであってもよい。第３の撮像装置Ｃ３は、牽引車Ｖ１の駐車補助を行うための反転カメラとして機能することができる。

【0041】

制御システム１は、１つ又は複数の制御装置１０を含んで構成される。制御装置１０は、第１、第２及び第３の撮像装置Ｃ１、Ｃ２，Ｃ３のそれぞれと通信可能である。特に、制御システム１は、第１、第２及び第３の画像データＤＩＭＧ１、ＤＩＭＧ２、ＤＩＭＧ３を受信するように構成される。制御装置１０は、第１画像データＤＩＭＧ１、第２画像データＤＩＭＧ２及び第３画像データＤＩＭＧ３の各々の少なくとも一部からなる合成画像ＩＭＧＣＯＭを生成するように構成されている。合成画像ＩＭＧＣＯＭは、少なくとも実質的にリアルタイムで生成される。制御装置１０は、合成画像ＩＭＧＣＯＭを表現する合成画像データＤＣＯＭを生成する。合成画像データＤＣＯＭは、例えば牽引車Ｖ１の車室内の計器盤（図示せず）又はセンターコンソール（図示せず）に設けられた表示画面５に出力される。表示画面５は、例えば、車両インフォテインメントシステムの一部を構成してもよい。制御装置１０は、合成画像データＤＣＯＭを構成する出力信号ＳＯＵＴ１を生成する。

【0042】

図３～図７に、合成画像ＩＭＧＣＯＭの模式図が示されている。本明細書では、合成画像ＩＭＧＣＯＭは、横軸Ｘ及び縦軸Ｙを参照して説明され、合成画像ＩＭＧＣＯＭは、縦中心線ＣＬＹを有する。合成画像ＩＭＧＣＯＭは、中央ビューポートＶＰＣ、左ビューポートＶＰＬ、及び右ビューポートＶＰＲによって構成されている。中央ビューポートＶＰＣは、第３撮像素子Ｃ３から受信した第３画像ＩＭＧ３の一部又は全部で構成され、又は構成されている。左ビューポートＶＰＬは、第１の撮像装置Ｃ１によって撮像された第１の画像ＩＭＧ１の少なくとも一部で構成され、又は構成される。左ビューポートＶＰＬは、第１画像データＤＩＭＧ１の第１画像データ部分集合を選択することにより生成される。右ビューポートＶＰＲは、第２の撮像素子Ｃ２によって撮像された第２の画像ＩＭＧ２の少なくとも一部から構成されるか、または、第２の画像ＩＭＧ２によって撮像された第２の画像ＩＭＧ２の少なくとも一部から構成される。右ビューポートＶＰＲは、第２画像データＤＩＭＧ２の第２画像データサブセットを選択することにより生成される。合成画像ＩＭＧＣＯＭは、牽引車Ｖ１の後方及び側方の領域を実質的に連続的に表現している。第１、第２及び第３の画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３は、実質的に中断されない合成視野を提供するように選択され得る。代替的に、又は追加的に、例えば牽引車Ｖ１上の第１、第２及び第３の撮像装置Ｃ１、Ｃ２、Ｃ２の異なる位置を考慮するために、第１、第２及び第３の画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３のうちの１つ以上に画像処理技術（ブレンド、スケーリング、透視シフト等）が適用されてもよい。

【0043】

本実施形態では、合成画像ＩＭＧＣＯＭ内の中央ビューポートＶＰＣの寸法は、実質的に固定されている。特に、中央ビューポートＶＰＣの幅ＷＣは固定されている。中央ビューポートＶＰＣの寸法を少なくとも実質的に一定に保つことによって、ユーザは、牽引車Ｖ１の後方の中央領域の一貫したビューを提供される。ＩＭＧＣＯＭ内の中央ビューポートＶＰＣの横方向の限界を識別するために、１つ以上のグラフィック要素またはインジケータが表示されてもよい。代替的に、または追加的に、合成画像ＩＭＧＣＯＭ内の牽引車２の横方向の範囲を特定するために、１つまたは複数のグラフィカル要素またはインジケータが表示されてもよい。代替の実施形態では、中央ビューポートＶＰＣの寸法は、可変であり得る。制御システム１は、左右のビューポートＶＰＬ，ＶＰＲの相対的な目立ち具合を調整するように構成される。本実施形態では、左右のビューポートＶＰＬ，ＶＰＲの相対的な目立ち具合は、左右のビューポートＶＰＬ，ＶＰＲの各々の寸法を動的に変更することによって制御される。本実施形態では、少なくとも、左右のビューポートＶＰＬ，ＶＰＲの各々の幅（すなわち、水平方向Ｘ軸における寸法）が調整される。制御装置１は、第１画像データＤＩＭＧ１から第１画像データサブセットを選択して左ビューポートＶＰＬを生成し、第２画像データＤＩＭＧ１から第２画像データサブセットを選択して右ビューポートＶＰＲを生成するよう構成されている。第１及び第２の画像データサブセットは、第１及び第２の画像データＤＩＭＧ１、ＤＩＭＧ２の適切なセット又は不適切なセットであってよい。特定の実施形態では、第１および第２のデータサブセットはそれぞれ、第１および第２の画像データＤＩＭＧ１、ＤＩＭＧ２のそれぞれの一部のみから構成されてもよい。代替的に、または追加的に、左右のビューポートＶＰＬ，ＶＰＲのそれぞれの高さ（すなわち、垂直Ｙ軸の寸法）を調整することができる。変形例では、左右のビューポートＶＰＬ，ＶＰＲを外した表示位置を変更することにより、左右のビューポートＶＰＬ，ＶＰＲの相対的な目立ち具合を制御してもよい。

【0044】

合成画像ＩＭＧＣＯＭの幅を実質的に一定に保つために、左右のビューポートＶＰＬ，ＶＰＲの幅は相補的に調節される。左ビューポートＶＰＬの幅ＷＬの増加は、右ビューポートＶＰＲの幅ＷＲの対応する減少を伴う。逆に、右ビューポートＶＰＲの幅ＷＲの増加は、左ビューポートＶＰＬの幅ＷＬの減少に対応することを伴う。合成画像ＩＭＧＣＯＭ内の中央ビューポートＶＰＣの横方向の位置は、左右のビューポートＶＰＬ，ＶＰＲの幅の変化に依存して調整される。中央ビューポートＶＰＣは、左ビューポートＶＰＬの幅ＷＬの減少（および右ビューポートＶＰＲの幅ＷＲの対応する増加）がある場合、合成画像ＩＭＧＣＯＭの垂直中心線ＣＬＹの左側にシフトする。逆に、右ビューポートＶＰＲの幅ＷＲの縮小（及びそれに伴う左ビューポートＶＰＬの幅ＷＬの拡大）により、中央ビューポートＶＰＣは合成画像ＩＭＧＣＯＭの垂直中心線ＣＬＹより右側に移動する。変形例では、合成画像ＩＭＧＣＯＭの幅は可変であってよい。例えば、中央ビューポートＶＰＣの位置及び寸法を固定し、左右のビューポートＶＰＬ，ＶＰＲの各々の幅を変化させてもよい。合成画像ＩＭＧＣＯＭの幅の変化は、例えば、情報やグラフィックを再配置することで、ディスプレイ５内に収容することができる。

【0045】

以上のように、牽引車Ｖ１は、被牽引車Ｖ２と多関節連結部２によって連結されている。ヒッチ（関節）角ａは、第１の長手方向軸ＸＶ１と第２の長手方向軸ＸＶ２との角度的な向きを規定する。牽引車Ｖ１と被牽引車Ｖ２とが互いに実質的に整列しているとき、ヒッチ角αは０度（α＝０°）である。ヒッチ角αは、本明細書では、被牽引車Ｖ２が牽引車Ｖ１に対して（上から見て）時計回り方向に変位する場合には正の変数（＋ｖｅ）であり、被牽引車Ｖ２が牽引車Ｖ１に対して（上から見て）反時計回り方向に変位する場合には負の変数（－ｖｅ）であるとして説明される。なお、ヒッチ角αの基準フレームは逆でもよいことは理解されよう。ヒッチ角αが０度（α＝０°）である場合、牽引車Ｖ１と被牽引車Ｖ２とは、実質的に一直線に並ぶ。第１及び第２縦軸ＸＶＩ，ＸＶ２は、ヒッチ角αがゼロ度（α＝０°）であるとき、互いに整列している。ヒッチ角αがゼロ度より大きい場合（α＞０°）、被牽引車Ｖ２は、牽引車Ｖ１の右側（後方から見た場合）に外側に突出するように配向される。ヒッチ角αが０度未満（α＜０°）の場合、被牽引車Ｖ２は、牽引車Ｖ１の左側（後方から見た場合）に外向きに突出するように配向される。

【0046】

なお、ヒッチ角αは、例えば、多関節連結体２に設けられたヒッチ角センサ６によって測定することができる。制御装置１は、ヒッチ角センサ６によって取り込まれたヒッチ角データからなるヒッチ角信号ＳＩＮ４を受信する。代替的に、又は追加的に、制御システム１は、被牽引車Ｖ２の前部の少なくとも一部（例えば、被牽引車の前面及び／又は被牽引車Ｖ１に連結された連結部材）を包含する第３の撮像装置Ｃ３によって撮像された第３画像ＩＭＧ３を解析することによってヒッチ角αを決定してもよい。被牽引車Ｖ２には、ヒッチ角αの判定を容易にするために、任意にターゲットが取り付けられてもよい。

【0047】

制御装置１０は、決定されたヒッチ角αに依存して、左及び右ビューポートＶＰＬ，ＶＰＲの相対的なサイズを調整するように動的に構成される。制御装置１０は、ヒッチ角センサ６からヒッチ角信号を受信し、牽引車Ｖ１に対する被牽引車Ｖ２の向きを判定する。牽引車Ｖ２が牽引車Ｖ１の左側で外側に突出するように方向付けられている場合（すなわち、ヒッチ角αが０度未満（α＜０°））、第１の画像データサブセットは、左ビューポートＶＰＬの幅が増加するように選択され、第２の画像データサブセットは、右ビューポートＶＰＲの幅が減少するように選択される。被牽引車Ｖ２が牽引車Ｖ１の右側の外側に突出するように配向されている場合（すなわち、ヒッチ角αが０度より大きい（α＞０°））、第１画像データサブセットは、左ビューポートＶＰＬの幅が減少するように選択され、第２画像データサブセットは、右ビューポートＶＰＲの幅が増加するように選択される。左右のビューポートＶＰＬ，ＶＰＲの幅は、決定されたヒッチ角αに比例し、左右のビューポートＶＰＬ，ＶＰＲの幅ＷＬ，ＷＲを変更することにより、ディスプレイ５へ出力するビューを動的に制御することが可能である。少なくとも特定の実施形態では、運転者ＤＲＶは、牽引車Ｖ１の側方への視界の動的な表現を提供されてもよい。

【0048】

本実施形態では、制御装置１０は、牽引車Ｖ１が反転している（すなわち、後方に走行する）場合にのみ、左右のビューポートＶＰＬ，ＶＰＲのサイズを変更するように構成されている。牽引車Ｖ１の走行方向は、選択された変速比に依存して決定されてもよい。本実施形態における制御装置１０は、現在の変速比を決定するために、変速制御ユニット７から変速信号ＳＩＮ５を受信する。制御装置１０は、リバースギアが選択された場合に、牽引車Ｖ１がリバースしていると判断する。制御装置１０は、選択された変速比が前進方向の走行を提供する場合、左右のビューポートＶＰＬ，ＶＰＲの幅を設定するように構成されてもよい。制御装置１０は、選択された変速比が逆方向の走行を提供するときに、左右のビューポートＶＰＬ、ＲＲの幅を修正するように構成されてもよい。代替的に、または追加的に、制御装置１０は、例えばユーザ入力に依存して、ユーザが選択したモードで左および右ビューポートＶＰＬ，ＶＰＲの寸法を修正するように構成されてもよい。変形例では、制御装置１０は、牽引車Ｖ１が前方に走行しているときに、左右のビューポートＶＰＬ，ＶＰＲの大きさを修正するように構成されてもよい。牽引車Ｖ１の走行方向は、例えば、選択された伝達比が前方走行を提供するときを決定することによって、伝達制御ユニット７を形成する伝達信号ＳＩＮ５に依存して決定されてもよい。左右のビューポートＶＰＬ，ＶＰＲの相対的な大きさは、ヒッチ角αおよび／または操舵角βに依存して決定されてもよい。合成画像ＩＭＧＣＯＭは、例えば、ユーザ入力に依存して、表示のために選択的に出力されてもよい。代替的に、または追加的に、得られた画像（複数可）は、例えばデジタルミラー機能を提供するために、表示のために連続的に出力されてもよい。合成画像ＩＭＧＣＯＭを表示するために、１つ以上の専用表示画面が提供されてもよい。表示画面は、例えば、リアビューミラーに組み込まれてもよい。

【0049】

次に、合成画像ＩＭＧＣＯＭの構成を調整するための制御システム１の動作について、図３～図７を参照して説明する。合成画像ＩＭＧＣＯＭ内の左右のビューポートＶＰＬ，ＶＰＲの相対的目立ち具合の変更は、例えば、以下の構成からなる漸進的に実施されることが理解される。左右のビューポートＶＰＬ，ＶＰＲの幅ＷＬ，ＷＲを連続的または段階的に変化させる。

【0050】

図３に示す構成では、牽引車Ｖ１及び被牽引車Ｖ２は、ヒッチ角α（第１及び第２の縦軸ＶＸ１，ＶＸ２の間で測定）が実質的にゼロ度（α＝０°）となるように整列される。制御システム１は、合成画像ＩＭＧＣＯＭ内で、左右のビューポートＶＰＬ，ＶＰＲが実質的に同じ幅を有するように、第１及び第２の画像データサブセットを選択するように構成される。

【0051】

図４に示す構成では、牽引車Ｖ１及び被牽引車Ｖ２は、正の変数（＋ｖｅ）である第１のヒッチ角α１（第１及び第２の縦軸ＶＸ１、ＶＸ２間で測定）で連結される。一例として、第１ヒッチ角α１は、約３０度（α１”＋３０°）の値を有する正の変数であってよい。被牽引車Ｖ２は、被牽引車Ｖ１の右側面において外側に突出している。制御システム１は、合成画像ＩＭＧＣＯＭ内で、左ビューポートＶＰＬの幅が減少し、右ビューポートＶＰＲの幅が増加するように、第１及び第２の画像データサブセットを選択するように構成される。

【0052】

図５に示す構成では、牽引車Ｖ１及び被牽引車Ｖ２は、正の変数（＋ｖｅ）である第２ヒッチ角α２（第１及び第２縦軸ＶＸ１，ＶＸ２間で測定）で連結される。一例として、第２のヒッチ角α２は、約４５度（α２～＋４５°）の値を有する正の変数であってよい。被牽引車Ｖ２は、被牽引車Ｖ１の右側面において外側に突出している。制御システム１は、合成画像ＩＭＧＣＯＭ内で、左ビューポートＶＰＬの幅がさらに減少し、右ビューポートＶＰＲの幅が増加するように、第１及び第２の画像データサブセットを選択するように構成される。図示された配置では、左ビューポートＶＰＬの幅はゼロ（０）に減少される。第２ヒッチ角α２は、最大ヒッチαに対応してもよい（例えば、ジャックナイフ角に対応する）。

【0053】

図６に示す構成では、牽引車Ｖ１及び被牽引車Ｖ２は、負の変数（－ｖｅ）である第３ヒッチ角α３（第１及び第２縦軸ＶＸ１，ＶＸ２間で測定）で連結されている。一例として、第３のヒッチ角ａ３は、約３０度（α１”－３０°）の値を有する負の変数であってもよい。被牽引車Ｖ２は、被牽引車Ｖ１の左側面において外側に突出している。制御システム１は、合成画像ＩＭＧＣＯＭ内で、左ビューポートＶＰＬの幅ＷＬが増加し、右ビューポートＶＰＲの幅ＷＲが減少するように、第１及び第２の画像データサブセットを選択するように構成される。

【0054】

図７に示す構成では、牽引車Ｖ１及び被牽引車Ｖ２は、負の変数（－ｖｅ）である第４ヒッチ角α４（第１及び第２縦軸ＶＸ１，ＶＸ２の間で計測）で連結されている。一例として、第４のヒッチ角α４は、約４５度（α４”－４５°）の値を有する負の変数であってもよい。被牽引車Ｖ２は、被牽引車Ｖ１の左側面において外側に突出している。制御システム１は、合成画像ＩＭＧＣＯＭ内で、左ビューポートＶＰＬの幅ＷＬが最大値まで増加し、右ビューポートＶＰＲの幅ＷＲが最小値まで減少するように、第１及び第２の画像データサブセットを選択するように構成される。図示された配置では、右ビューポートＶＰＲの幅ＷＲはゼロ（０）に減少される。第４のヒッチ角α４は、予め定義されたヒッチ角閾値に対応してもよい。ヒッチ角閾値は、最大ヒッチ角α（例えばジャックナイフ角に相当する）を表してもよい。

【0055】

次に、図８に示すブロック図１００を参照しながら、制御システム１の動作について説明する。制御システム１が起動される（ＢＬＯＣＫ１０５）。制御システム１は、変速機制御装置７からの送信信号ＳＩＮ５を受信し、牽引車Ｖ１がリバース状態であると判定する（ＢＬＯＣＫ１１０）。制御システム１は、各第１、第２及び第３の撮像装置Ｃ１、Ｃ２、Ｃ３から第１、第２及び第３画像データＤＩＭＧ１、ＤＩＭＧ２、ＤＩＭＧ３を受信する（ＢＬＯＣＫ１１５）。制御システム１は、ヒッチ角センサ６からヒッチ角信号ＳＩＮ４を受信し、ヒッチ角αを決定する（ＢＬＯＣＫ１２０）。制御システム１は、決定されたヒッチ角αに依存して第１及び第２の画像データサブセットを選択し、制御システム１は、決定されたヒッチ角αに依存して合成画像ＩＭＧＣＯＭを生成する（ＢＬＯＣＫ１２５）。合成画像ＩＭＧＣＯＭは、中央ビューポートＶＰＣ、左ビューポートＶＰＬ、及び右ビューポートＶＰＲから構成される。ヒッチ角αが０度（０°）の場合、左ビューポートＶＰＬと右ビューポートＶＰＲが実質的に同じ幅を有するように合成画像ＩＭＧＣＯＭが生成される（ＢＬＯＣＫ１３０）。ヒッチ角αが０度より大きい場合（α＞０°）、左ビューポートＶＰＬの幅ＷＬが右ビューポートＶＰＲの幅ＷＲより小さくなるように合成画像ＩＭＧＣＯＭが生成される（ＢＬＯＣＫ１３５）。また、ヒッチ角αが０度未満（α＜０°）の場合、左ビューポートＶＰＬの幅（ＷＬ）が右ビューポートＶＰＲの幅（ＷＲ）より大きくなるように合成画像ＩＭＧＣＯＭを生成する（ＢＬＯＣＫ１４０）。制御システム１は、合成画像ＩＭＧＣＯＭを少なくとも実質的にリアルタイムで生成するように構成される。合成画像ＩＭＧＣＯＭは、ヒッチ角αの変化に依存して動的に変更され、合成画像ＩＭＧＣＯＭは、ディスプレイ７に出力される（ＢＬＯＣＫ１４５）。制御システム１は、牽引車Ｖ１が後退している間、合成画像ＩＭＧＣＯＭの生成を継続する。制御システム１は、変速機制御装置７から、前進ギヤが選択され、牽引車Ｖ１が前進走行中であることを示す変速信号ＳＩＮ５を受信する（ＢＬＯＣＫ１５０）。その後、本処理は終了する（ＢＬＯＣＫ１５５）。

【0056】

なお、本実施形態では、制御装置１０は、牽引車Ｖ１に配置されている。制御装置１０は、１つ以上の電子プロセッサ（例えば、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）等）を有する制御ユニット又は計算装置を構成することができ、単一の制御ユニット又は計算装置を構成してもよく、代替的に制御装置１０の異なる機能が異なる制御ユニット又は計算装置において具現化又はホストされてもよいことが理解される。本明細書で使用される場合、「コントローラ」、「制御ユニット」、または「計算デバイス」という用語は、単一のコントローラ、制御ユニット、または計算デバイス、および必要な制御機能を提供するために集合的に動作する複数のコントローラ、制御ユニット、または計算デバイスを含むと理解されるであろう。実行されると、制御装置１０に本明細書に記載される制御技術（本明細書に記載される方法に必要とされる機能の一部または全部を含む）を実施させる、命令のセットが提供され得る。命令のセットは、制御装置１０の前記１つ以上の電子プロセッサに埋め込まれ得る；または、代替的に、命令のセットは、制御装置１０において実行されるソフトウェアとして提供され得る。第１のコントローラまたは制御ユニットは、１つまたは複数のプロセッサ上で実行されるソフトウェアで実装され得る。１つ以上の他のコントローラまたは制御ユニットは、１つ以上のプロセッサ、任意選択的に第１のコントローラまたは制御ユニットと同じ１つ以上のプロセッサ上で実行されるソフトウェアで実装されてもよい。他の配置も有用である。

【0057】

図９に示されるように、又は各制御装置１０は、第１、第２及び第３イメージング装置Ｃ１、Ｃ２、Ｃ３から１つ又は複数の入力信号ＳＩＮ１、ＳＩＮ２、ＳＩＮ３を受信するための１つ又は複数の電気入力（複数可）１４と、出力信号ＳＯＵＴ１を出力するための１つ又は複数の電気出力（複数可）１６とを有する少なくとも一つの電子プロセッサ１２から構成される。または各制御装置１０は、少なくとも１つの電子プロセッサ１２に電気的に結合され、そこに記憶された命令２０を有する少なくとも１つのメモリデバイス１８をさらに備える。少なくとも１つの電子プロセッサ１２は、本明細書に記載された方法（複数可）を実行するように、少なくとも１つのメモリデバイス１８にアクセスし、その上で命令２０を実行するように構成される。

【0058】

電子プロセッサ１２は、電子命令を実行するように構成された任意の適切な電子プロセッサ（例えば、マイクロプロセッサ、マイクロコントローラ、ＡＳＩＣなど）で構成されてもよい。電子メモリデバイス１８、または各電子メモリデバイスは、任意の適切なメモリデバイスから構成されてもよく、様々なデータ、情報、閾値（複数可）、ルックアップテーブルまたは他のデータ構造、および／または命令をそこにまたはその上に格納してもよい。実施形態では、メモリデバイス１８は、ソフトウェア、ファームウェア、プログラム、アルゴリズム、スクリプトのための情報および命令を有する。本明細書に記載される方法論の全てまたは一部を支配し得る、その中またはその上に格納されたアプリケーションなど。プロセッサ、または各、電子プロセッサ１２は、メモリデバイス１８にアクセスし、そのまたはそれらの命令および情報を実行および／または使用して、本明細書に記載される機能性および方法論の一部または全部を実行または実行することができる。

【0059】

少なくとも１つのメモリデバイス１８は、機械または電子プロセッサ／計算機によって読み取り可能な形態で情報を格納するための任意の機構を含んでいてもよいコンピュータ読み取り可能な記憶媒体（例えば、非一過性のまたは非一時的な記憶媒体）を含んでいてよく、これには限定されないが、磁気記憶媒体（例えば、磁気記憶媒体（例えばフロッピーディスク）、光学記憶媒体（例えばＣＤ－ＲＯＭ）、光磁気記憶媒体；読み取り専用メモリ（ＲＯＭ）；ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブルメモリ（例えばＥＰＲＯＭａｄＥＥＰＲＯＭ）；フラッシュメモリ、または電気または他の種類の媒体であってそのような情報／命令を記憶するためのものを含むがこれらに限定されない。

【0060】

第１画像データＤＩＭＧ１を構成する第１信号ＳＩＮ１は、１つ以上の入力（複数可）１４を介して制御装置１０に入力される。制御装置１０と第１、第２及び第３の撮像装置Ｃ１、Ｃ２、Ｃ３のそれぞれとの間の接続は、有線接続であってもよいし、無線接続であってもよい。例えば、第１、第２及び第３の撮像装置Ｃ１、Ｃ２、Ｃ３は、イーサネット／ブロードＲリーチ接続又は非圧縮シリアル化ビデオ接続などの車両通信ネットワーク上で制御装置１０に接続され得る。使用時には、第１、第２及び第３の画像データＤＩＭＧ１、ＤＩＭＧ３、ＤＩＭＧ３が制御装置１０に入力される。制御装置１０は、第１、第２及び第３の画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３の各々の少なくとも一部を合成して、合成画像ＩＭＧＣＯＭを生成するように構成される。

【0061】

本願発明の範囲から逸脱することなく、本発明に様々な変更及び修正を加えることができることは理解されよう。

【0062】

本明細書では、制御システム１は、ヒッチ角αに依存して合成画像ＩＭＧＣＯＭを生成するものとして説明したが、代替的に、又は追加的に、制御システム１は、牽引車Ｖ１の操舵角βに依存して合成画像ＩＭＧＣＯＭを生成するよう構成されてもよい。操舵角βは、例えば、牽引車Ｖ１のステアリングホイールに関連付けられた操舵角センサ８によって出力されてもよい。図２に示すように、舵角センサ８は、舵角信号ＳＩＮ６を制御装置１へ出力してもよい。操舵角信号ＳＩＮ６は、操舵角センサ８が取り込んだ操舵角データから構成される。左右のビューポートＶＰＬ，ＶＰＲの幅ＷＬ，ＷＲは、操舵角βに依存して動的に調整されてもよい。制御システム１は、被牽引車Ｖ２とともに、または被牽引車Ｖ２なしで使用され得ることが理解されよう。第１の副画像データは、操舵角データが車両Ｖ１の左側への走行方向を示している場合に、右ビューポートＶＰＲに対して左ビューポートＶＰＬの突出度を高めるように選択されてもよい。また、第２副画像データは、操舵角データが車両Ｖ１の右側に向かう走行方向を示す場合に、左ビューポートＶＰＬに対して右ビューポートＶＰＲの突出量を増加させるように選択されてもよい。制御システム１は、前方を向いた向きを有する１つ以上の撮像装置Ｃｎから合成画像ＩＭＧＣＯＭを形成するように構成されてもよい。例えば、第１及び第２の撮像装置Ｃ１、Ｃ２は、第１及び第２の視野ＦＯＶ１、ＦＯＶ２が前方に突出するように第１及び第２のサイドハウジング４－１，４－２に装着されてもよい。第１及び第２の撮像装置Ｃ１、Ｃ２の取り付け位置は、他の位置も想定される。第３の撮像装置Ｃ３は、例えば、車両Ｖ１のグリルやフロントバンパーなどの中央部に取り付けられてもよい。あるいは、第３の撮像装置Ｃ３は、バックミラーの前方に取り付けられてもよい。さらなる変形例では、第３の撮像装置Ｃ３は、車両Ｖ１の下側の地面を構成する画像を撮像するために、車両Ｖ１の下側に取り付けられてもよい。例えば、第３の撮像装置Ｃ３は、エンジンルームの下方に搭載されてもよい。制御システム１は、車両Ｖ１が前方及び／又は後方に走行しているときに動作するように構成されていてもよい。

【0063】

制御システム１は、被牽引車Ｖ２上に配置された１つ以上の前方向撮像装置Ｃｎから画像データを受信してもよい。例えば、制御システム１は、牽引車Ｖ１の少なくとも一部を含む画像を受信してもよい。合成画像ＩＭＧＣＯＭは、牽引車Ｖ１に沿った障害物（複数可）の識別を容易にしてもよい。

【0064】

次に、制御システム１の動作について、図１０に示すブロック図２００を参照して説明する。制御システム１が起動される（ＢＬＯＣＫ２０５）。制御システム１は、変速機制御装置７から送信信号ＳＩＮ５を受信し、牽引車Ｖ１が後退中であると判断する（ＢＬＯＣＫ２１０）。制御システム１は、各第１、第２及び第３の撮像装置Ｃ１、Ｃ２、Ｃ３から第１、第２及び第３画像データＤＩＭＧ１、ＤＩＭＧ２、ＤＩＭＧ３を受信する（ＢＬＯＣＫ２１５）。制御システム１は、操舵角センサ８から操舵角信号ＳＩＮ６を受信し、操舵角βを決定する（ＢＬＯＣＫ２２０）。制御システム１は、決定された操舵角βに依存して第１及び第２の画像データサブセットを選択し、制御システム１は、決定されたヒッチ角αに依存して合成画像ＩＭＧＣＯＭを生成する（ＢＬＯＣＫ２２５）。合成画像ＩＭＧＣＯＭは、中央ビューポートＶＰＣ、左ビューポートＶＰＬ及び右ビューポートＶＰＲから構成される。操舵角βが０度（０°）である場合、合成画像ＩＭＧＣＯＭは、左ビューポートＶＰＬと右ビューポートＶＰＲとが実質的に同じ幅を有するように生成される（ＢＬＯＣＫ２３０）。操舵角度ｂが０度より大きい場合（α＞０°）、左ビューポートＶＰＬの幅ＷＬが右ビューポートＶＰＲの幅ＷＲより小さくなるように合成画像ＩＭＧＣＯＭが生成される（ＢＬＯＣＫ２３５）。操舵角βが０度未満（α＜０°）の場合、左ビューポートＶＰＬの幅（ＷＬ）が右ビューポートＶＰＲの幅（ＷＲ）より大きくなるように合成画像ＩＭＧＣＯＭを生成する（ＢＬＯＣＫ２４０）。制御システム１は、合成画像ＩＭＧＣＯＭを少なくとも実質的にリアルタイムで生成するように構成される。合成画像ＩＭＧＣＯＭは、操舵角βの変化に応じて動的に変更され、合成画像ＩＭＧＣＯＭはディスプレイ７に出力される（ＢＬＯＣＫ２４５）。制御システム１は、牽引車Ｖ１が後退している間、合成画像ＩＭＧＣＯＭの生成を継続する。制御システム１は、変速機制御装置７から、前進ギヤが選択され、牽引車Ｖ１が前進走行中であることを示す変速信号ＳＩＮ５を受信する（ＢＬＯＣＫ２５０）。その後、処理を終了する（ＢＬＯＣＫ２５５）。

【0065】

さらなる変形例では、合成画像ＩＭＧＣＯＭは、牽引車Ｖ１に設けられた第１及び第２の撮像装置Ｃ１、Ｃ２によって撮像された第１及び第２の画像ＩＭＧ１、ＩＭＧ２を、牽引車Ｖ２に配置された撮像装置（図示せず）からの画像と合成することによって形成され得る。例えば、第３の撮像装置Ｃ３は、被牽引車Ｖ２に配置されていてもよい。第３の撮像装置Ｃ３は、例えば、第３視野ＦＯＶ３が後方方向に向けられて被牽引車Ｖ２に搭載されてもよい。合成画像ＩＭＧＣＯＭは、第１画像ＩＭＧ１、第２画像ＩＭＧ２、及び第３画像ＩＭＧ３を合成することによって形成されてもよい。合成画像ＩＭＧＣＯＭは、例えば、第１画像ＩＭＧ１、第２画像ＩＭＧ２、第３画像ＩＭＧ３のうちの少なくとも１つの一部又は全部で構成されてもよい。

【0066】

さらにさらなる変形例では、制御装置１０は、第４の画像を撮像するように構成された第４の撮像装置（図示せず）から画像データを受信してもよい。第４の撮像装置は、例えば、牽引車Ｖ１の高所に配置されてもよく、例えば、牽引車Ｖ１の屋根に取り付けられてもよく、牽引車Ｖ１に設けられたアンテナ（屋根取り付け型アンテナなど）に組み込まれてもよい。なお、合成画像ＩＭＧＣＯＭは、第１画像、第２画像、第３画像及び第４画像を合成することにより形成されてもよい。合成画像ＩＭＧＣＯＭは、例えば、第１画像、第２画像、第３画像及び第４画像のうち少なくとも１つの画像の一部又は全部を含んで構成されてもよい。第４の画像によって形成される合成画像ＩＭＧＣＯＭのコンポーネントは、例えば固定（非可変）視野角を有する、固定ビューポートを構成してもよい。第４の画像は、第１、第２及び第３の画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３を合成することによって形成される合成画像ＩＭＧＣＯＭの部分の上又は下に表示されてもよい。第４の画像は、例えば、風景画の構図を有していてもよい。合成画像ＩＭＧＣＯＭは、例えば、バックミラーに設けられる表示画面５に出力される。

【0067】

さらに別の変形例では、合成画像ＩＭＧＣＯＭを形成することなく、左右のビューポートＶＰＬ，ＶＰＲを動的に調整することができる。例えば、左及び右のビューポートＶＰＬ，ＶＰＲは、それぞれの表示画面（図示せず）に出力されてもよいし、表示画面５へ出力されてもよい。また、左右のビューポートＶＰＬ，ＶＰＲは、センタービューポートＶＰＣを介さずに表示されてもよい。左右のビューポートＶＰＬ，ＶＰＲの幅は、例えばヒッチ角α及び／又は操舵角βに依存して、本明細書に記載の技術を使用して動的に調整されてもよい。

【0068】

第１及び第２の撮像装置Ｃ１、Ｃ２は、第１及び第２のサイドハウジング４－１，４－２に取り付けられるものとして本明細書で説明されている。第１及び第２のサイドハウジング４－１，４－２は、任意に、それぞれサイドミラーを含んで構成されてもよい。あるいは、第１および第２のサイドハウジング４－１，４－２は、第１および第２の撮像装置Ｃ１、Ｃ２のための専用のアセンブリであってもよい。

【0069】

さらに別の変形例では、左右のビューポートＶＰＬ，ＶＰＲは、同じ画像から選択されてもよい。第３の撮像装置Ｃ３は、広角レンズで構成されてもよい。第１及び第２の画像ＩＭＧ１、ＩＭＧ２は、第３の撮像装置Ｃ３によって撮像された画像から選択されてもよい。

【0070】

説明した制御システム１は、牽引車Ｖ１及び／又は被牽引車Ｖ２の周辺領域の鳥瞰図（平面仰角図）を提供する合成画像ＩＭＧＣＯＭを生成するように変更され得る。鳥瞰図画像は、画像ＩＭＧ１、ＩＭＧ２．．．の各々に適切な変換を適用することによって生成され得る。ＩＭＧｎのそれぞれに適切な変換を適用し、適切なスティッチング技術を使用して画像を結合することにより、鳥瞰図画像を生成することができる。代替的に、又は追加的に、合成画像ＩＭＧＣＯＭは、車両Ｖ１，Ｖ２の進行方向に依存して、前方ビューポート（車両Ｖ１，Ｖ２の前に配置される）及び／又は後方ビューポート（車両Ｖ１，Ｖ２の後ろに配置される）の範囲を調整するように動的に修正され得る。例えば、車両Ｖ１，Ｖ２が前方に走行しているときに前方ビューポートの目立ち具合を大きくし、牽引車Ｖ１が後方に走行しているときに後方ビューポートの目立ち具合を大きくしてもよい。制御システム１は、追加の撮像装置Ｃｎから画像データを受信し得る。例えば、牽引車Ｖ２には、３つの撮像装置Ｃｎが設けられていてもよい。例えば、少なくとも１つの撮像装置Ｃｎが牽引車Ｖ２の各側面に設けられてもよく、任意で撮像装置Ｃｎが牽引車Ｖ２の後部に設けられてもよい。

【図1】