特開 2022-148223 表示制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022148223

(43)【公開日】2022-10-06

(54)【発明の名称】表示制御装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220929BHJP

【ＦＩ】

H04N7/18 J

H04N7/18 V

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021049820

(22)【出願日】2021-03-24

(71)【出願人】

【識別番号】000000170

【氏名又は名称】いすゞ自動車株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100124084

【弁理士】

【氏名又は名称】黒岩 久人

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】津田 隆太

(72)【発明者】

【氏名】平原 英人

【テーマコード（参考）】

5C054

【Ｆターム（参考）】

5C054FD03

5C054FE09

5C054FE13

5C054FE28

5C054HA30

(57)【要約】

【課題】車両が旋回する際に、車両のオーバーハングと障害物との接触の可能性を運転者に容易に把握させる。
【解決手段】表示制御装置１０は、車両に設けられた撮像装置３ａ、３ｂ、３ｃ、３ｄが車両の周囲を撮像した撮像画像から、車両を含む鳥瞰画像を生成する画像生成部３４と、車両の旋回時の車両の走行軌跡を推定する軌跡推定部３５と、画像生成部３４が生成した鳥瞰画像に、軌跡推定部３５が推定した走行軌跡を重畳して、表示部７に表示させる表示制御部３６とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両の運転者の視線よりも高い位置に設けられた複数の撮像装置が前記車両の周囲を撮像した撮像画像から、前記車両を含む鳥瞰画像を生成する画像生成部と、
前記車両の旋回時の前記車両の走行軌跡を推定する軌跡推定部と、
前記画像生成部が生成した前記鳥瞰画像に、前記軌跡推定部が推定した前記走行軌跡を重畳して、表示部に表示させる表示制御部と、
を備える、表示制御装置。

【請求項2】

前記表示制御部は、前記車両の旋回時に生じる、前記鳥瞰画像に前記車両の内輪差、外輪差とリアオーバーハングの軌跡を重畳して前記表示部に表示させる、
請求項１に記載の表示制御装置。

【請求項3】

前記表示制御部は、前記車両の曲がる方向に応じて、前記表示部における前記鳥瞰画像の表示エリアを変更する、
請求項２に記載の表示制御装置。

【請求項4】

前記表示制御部は、
前記車両の進行方向に沿って所定のラインを前記鳥瞰画像に重畳して表示させ、
前記車両の旋回時に生じる前記走行軌跡のうち前記ラインに抵触する部分を、強調表示させる、
請求項１から３のいずれか１項に記載の表示制御装置。

【請求項5】

前記表示制御部は、前記ラインとして、前記車両が旋回する直前に、前記車両の前輪中心と後輪中心とを進行方向に沿って通る基準線から所定距離だけ離れた位置に前記側面に沿ったラインを表示させる、
請求項４に記載の表示制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の周辺の撮像画像を表示させる表示制御装置に関する。

【背景技術】

【0002】

車両の運転支援の技術として、車両に搭載されたカメラによって車両の周辺を撮像し、撮像した結果である撮像画像データを表示部に表示させる技術が提案されている（下記の特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－６９４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

乗用車等の車両の場合は、一般的にコーナー部分のデザインを工夫して、旋回時に、旋回直前の車両側面より外側に車体（例えば、車両のオーバーハング）が振り出すことがないようにされている。一方で、トラック等の商用車の場合は、積載量等が優先され、上記の対策が講じられていない。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、車両が旋回する際に、車両のオーバーハングと障害物との接触の可能性を運転者に容易に把握させることを目的とする。

【課題を解決するための手段】

【0006】

本発明の一の態様においては、車両の運転者の視線よりも高い位置に設けられた複数の撮像装置が前記車両の周囲を撮像した撮像画像から、前記車両を含む鳥瞰画像を生成する画像生成部と、前記車両の旋回時の前記車両の走行軌跡を推定する軌跡推定部と、前記画像生成部が生成した前記鳥瞰画像に、前記軌跡推定部が推定した前記走行軌跡を重畳して、表示部に表示させる表示制御部と、を備える、表示制御装置を提供する。

【0007】

また、前記表示制御部は、前記車両の旋回時に生じる、前記鳥瞰画像に前記車両の内輪差、外輪差とリアオーバーハングの軌跡を重畳して前記表示部に表示させることとしてもよい。

【0008】

また、前記表示制御部は、前記車両の曲がる方向に応じて、前記表示部における前記鳥瞰画像の表示エリアを変更することとしてもよい。

【0009】

また、前記表示制御部は、前記車両の進行方向に沿って所定のラインを前記鳥瞰画像に重畳して表示させ、前記車両の旋回時に生じる前記走行軌跡のうち前記ラインに抵触する部分を、強調表示させることとしてもよい。

【0010】

また、前記表示制御部は、前記ラインとして、前記車両が旋回する直前に、前記車両の前輪中心と後輪中心とを進行方向に沿って通る基準線から所定距離だけ離れた位置に前記側面に沿ったラインを表示させることとしてもよい。

【発明の効果】

【0011】

本発明によれば、車両が旋回する際に、車両のオーバーハングと障害物との接触の可能性を運転者が容易に把握できるという効果を奏する。

【図面の簡単な説明】

【0012】

【図1】一の実施形態に係る表示システム１の構成を説明するための模式図である。

【図2】撮像装置の位置を説明するための模式図である。

【図3】鳥瞰画像の一例を説明するための模式図である。

【図4】表示部７に表示される鳥瞰画像Ｉを説明するための模式図である。

【図5】鳥瞰画像の表示エリアの変更例を説明するための模式図である。

【図6】鳥瞰画像における強調表示の一例を説明するための模式図である。

【発明を実施するための形態】

【0013】

＜表示システムの概要＞
一の実施形態に係る表示システムの構成について、図１を参照しながら説明する。

【0014】

図１は、一の実施形態に係る表示システム１の構成を説明するための模式図である。表示システム１は、車両に搭載されており、車両の周囲の状況を示す鳥瞰画像を車載モニターに表示するアラウンドビューモニターシステムである。車両は、一例として荷台を有する架装車であり、具体的にはトラックである。表示システム１は、図１に示すように、複数の撮像装置３ａ、３ｂ、３ｃ、３ｄと、センサ群５と、表示部７と、表示制御装置１０とを有する。

【0015】

撮像装置３ａ、３ｂ、３ｃ、３ｄは、例えばカメラであり、車両の周囲を撮像する。撮像装置３ａ、３ｂ、３ｃ、３ｄは、車両の異なる位置に設けられている。撮像装置３ａは車両の前方を撮像し、撮像装置３ｂは車両の左側方を撮像し、撮像装置３ｃは車両の右側方を撮像し、撮像装置３ｄは車両の後方を撮像する。広角カメラである４つの撮像装置３ａ、３ｂ、３ｃ、３ｄを用いることで、車両の周囲全体を撮像可能である。撮像装置３ａ、３ｂ、３ｃ、３ｄは、撮像した撮像画像を、表示制御装置１０に出力する。
４つの撮像撮像３ａ、３ｂ、３ｃ、３ｄは、運転者の視線よりも高い位置（例えば、車両のミラーよりも高い位置）に設けられている。なお、４つの撮像装置のうちの３つの撮像装置のみが、運転者の視線よりも高い位置に設けられてもよい。

【0016】

図２は、撮像装置の位置を説明するための模式図である。図２には、フロントカメラである撮像装置３ａと、サイドカメラである撮像装置３ｂと、リアカメラである撮像装置３ｄが示されている。撮像装置３ａ、３ｂ、３ｄは、車両Ｖの運転者の視線Ｅよりも高い位置に位置する。なお、図２には示されていない撮像装置３ｃは、撮像装置３ｂと対称な位置に設けられている。撮像装置３ａ等が運転者の視線Ｅよりも高い位置に位置する場合には、撮像装置が運転者の視線Ｅよりも低い位置に位置する場合に比べて、図２に示す死角（視線Ｅの下方の領域）も適切に撮像することが可能となる。また、撮像装置３ａ等が高い位置から斜め下を撮像するため、物体を立体的に認識して撮像することが可能となる。さらに、周囲の広い範囲まで撮像することが可能となる。

【0017】

センサ群５は、車両の状態を検出する。センサ群５は、例えばステアリングホイールの回転量を検出するセンサを有しており、車両の操舵角を検出可能である。センサ群５は、検出した結果を表示制御装置１０に出力する。

【0018】

表示部７は、例えば車両内に設けられたディスプレイであり、車両等に関する各種情報を表示する。表示部７は、撮像装置３ａ、３ｂ、３ｃ、３ｄが撮像した撮像画像に基づいた鳥瞰画像を表示する。鳥瞰画像は、車両の上方から車両及び周囲を見下ろした際の状況を示す画像である。鳥瞰画像は、一般的に、撮像装置で撮像された３次元ビューを、路面を基準として２次元変換した後に、複数の撮像装置の撮像画像が合成されたものである。

【0019】

図３は、鳥瞰画像の一例を説明するための模式図である。図３において枠９０で囲まれた部分が、表示部７に表示される鳥瞰画像Ｉである。鳥瞰画像Ｉは、車両及び周囲の物体を含む。物体は、ここでは車両Ｖの周囲に位置する人物Ａ１、Ａ２と、障害物Ｂ１、Ｂ２、Ｂ３である。上述したように撮像装置３ａ～３ｄが運転者の視線よりも高い位置に位置するため、人物Ａ１、Ａ２及び障害物Ｂ１、Ｂ２、Ｂ３が立体的に表示されている。このため、運転者は、鳥瞰画像Ｉ中の人物Ａ１、Ａ２と障害物Ｂ１、Ｂ２、Ｂ３を識別しやすくなる。人物Ａ１、Ａ２を識別した場合には、警報が行われてもよい。

【0020】

表示制御装置１０は、表示システム１の動作を制御する。表示制御装置１０は、車両の走行時に、鳥瞰画像を表示部７に表示させる。表示制御装置１０は、詳細は後述するが、鳥瞰画像に、車両の旋回時に車両の走行軌跡を重畳して、表示部７に表示させる。これにより、運転者は、表示部７に表示された鳥瞰画像を見ることで、車両の旋回時に周囲の障害物と接触する可能性があるか無いかを視覚的に分かりやすい。

【0021】

＜表示制御装置の詳細構成＞
表示制御装置１０の詳細構成について、図１を参照しながら説明する。

【0022】

表示制御装置１０は、図１に示すように、記憶部２０と、制御部３０とを有する。
記憶部２０は、例えばＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む。記憶部２０は、制御部３０が実行するためのプログラムや各種データを記憶する。

【0023】

制御部３０は、例えばＣＰＵ（Central Processing Unit）である。制御部３０は、記憶部２０に記憶されたプログラムを実行することにより、画像取得部３３、画像生成部３４、軌跡推定部３５及び表示制御部３６として機能する。

【0024】

画像取得部３３は、車両の周囲を撮像した画像を取得する。具体的には、画像取得部３３は、撮像装置３ａ、３ｂ、３ｃ、３ｄが車両の周囲を撮像した撮像画像を取得する。例えば、画像取得部３３は、車両の走行中に、撮像装置３ａ、３ｂ、３ｃ、３ｄが撮像した撮像画像を所定間隔で取得する。

【0025】

画像生成部３４は、走行中の車両及び周囲の状況を示す鳥瞰画像を生成する。画像生成部３４は、画像取得部３３が取得した撮像画像から、鳥瞰画像を生成する。具体的には、画像生成部３４は、撮像装置３ａ、３ｂ、３ｃ、３ｄが撮像した撮像画像を合成させて、車両を含む鳥瞰画像を生成する。前述したように撮像装置３ａ、３ｂ、３ｃ、３ｄが運転者の視線よりも高い位置に位置しているので、死角に位置する障害物等を含む鳥瞰画像を生成できる。また、遠方までの広い鳥瞰画像を生成できる。

【0026】

軌跡推定部３５は、車両の旋回時の車両の走行軌跡を推定する。例えば、軌跡推定部３５は、車両の旋回時のリア側のオーバーハング（以下、リアオーバーハングと呼ぶ）の軌跡を推定する。軌跡推定部３５は、車両がトラックである場合には、荷台の後端のリアオーバーハングの軌跡を推定する。なお、軌跡推定部３５は、車両のフロント側のオーバーハングの軌跡を推定してもよい。軌跡推定部３５は、センサ群５の検出結果（例えば、車両の操舵角等）を用いて、リアオーバーハングの軌跡を推定しうる。なお、リアオーバーハングの軌跡は、公知の算出方法によって算出されるため、詳細な説明は省略する。
また、軌跡推定部３５は、走行軌跡として、車両のステアリング角に応じた内輪差と外輪差の軌跡を推定する。例えば、軌跡推定部３５は、車両の旋回時の内輪差及び外輪差の軌跡を推定する。

【0027】

表示制御部３６は、表示部７による表示を制御する。表示制御部３６は、画像生成部３４が生成した鳥瞰画像を表示部７に表示させる。例えば、表示制御部３６は、車両が右折又は左折する際、車両がバック走行する際、車両が低速で走行する際に、鳥瞰画像を表示部７に表示させる。

【0028】

表示制御部３６は、鳥瞰画像に車両の走行軌跡を重畳して、表示部７に表示させる。すなわち、表示制御部３６は、画像生成部３４が生成した鳥瞰画像に、軌跡推定部３５が推定した走行軌跡を重畳して、表示部７に表示させる。例えば、表示制御部３６は、車両の旋回時に、鳥瞰画像に内輪差、外輪差、リアオーバーハングの軌跡を重畳して表示部７に表示させる。

【0029】

図４は、表示部７に表示される鳥瞰画像Ｉを説明するための模式図である。図４において枠９０で囲まれた部分が、表示部７に表示される鳥瞰画像Ｉである。この鳥瞰画像Ｉは、車両Ｖが交差点で右折を開始する際に、表示部７に表示される。ここでは、軌跡推定部３５が推定した３つのオーバーハング軌跡Ｌ１、Ｌ２、Ｌ３が、画像生成部３４が生成した鳥瞰画像Ｉに重畳されている。オーバーハング軌跡Ｌ１、Ｌ２は、リア側のオーバーハングの軌跡であり、オーバーハング軌跡Ｌ３は、フロント側のオーバーハングの軌跡である。なお、図４では、オーバーハング軌跡Ｌ１、Ｌ２、Ｌ３を一点鎖線で示しているが、表示態様はこれに限定されず、例えば実線であってもよい。運転者は、オーバーハング軌跡Ｌ１、Ｌ２、Ｌ３が周囲の障害物と交わる場合には、そのまま走行すると障害物に接触する可能性があると判断できる。なお、車両の内輪差及び外輪差の軌跡も、鳥瞰画像Iに重畳して表示されうる。
図４では、オーバーハング軌跡Ｌ３は車両Ｖの左前端の軌跡であるが、車両が左折する場合には、オーバーハング軌跡Ｌ３は車両Ｖの右前端の軌跡となる。なお、表示制御部３６は、車両のリア側のオーバーハング軌跡Ｌ１、Ｌ２のみ表示させて、車両のフロント側のオーバーハング軌跡Ｌ３を表示させなくてもよい。

【0030】

表示制御部３６は、表示部７における鳥瞰画像の表示エリアを変更してもよい。表示制御部３６は、車両が曲がる際に、鳥瞰画像の表示エリアを変更する。例えば、表示制御部３６は、車両の曲がる方向に応じて、表示部７における鳥瞰画像の表示エリアを変更する。

【0031】

図５は、鳥瞰画像の表示エリアの変更例を説明するための模式図である。車両Ｖが交差点に進入する前には、表示制御部３６は、図５（ａ）に示すような鳥瞰画像Ｉ１を表示させる。鳥瞰画像Ｉ１は、オーバーハングの軌跡を含まない。一方で、車両Ｖが交差点で右折を開始する際には、表示制御部３６は、図５（ｂ）に示すようにオーバーハング軌跡Ｌ１、Ｌ２、Ｌ３が重畳された鳥瞰画像Ｉ２を表示させる。この際、表示制御部３６は、鳥瞰画像Ｉ２の表示エリアを鳥瞰画像Ｉ１の表示エリアよりも広くさせる。すなわち、鳥瞰画像Ｉ２の枠９０は、鳥瞰画像Ｉ１の枠９０よりも大きい。具体的には、表示制御部３６は、右折先（すなわち、右側）を広くする鳥瞰画像を表示させている。これにより、運転者は、右折先で障害物と接触する可能性があるかを事前に判断しやすくなる。
なお、上記では、車両Ｖが右折する場合の表示例を説明したが、車両Ｖが左折する場合には、左折先を広く表示する鳥瞰画像が表示される。

【0032】

表示制御部３６は、車両のオーバーハングが障害物との接触する可能性を運転者に把握させやすくするために、鳥瞰画像において強調表示に行ってもよい。例えば、表示制御部３６は、車両の進行方向に沿って所定の判定ラインを鳥瞰画像に重畳して表示させ、車両の旋回時に生じる走行軌跡（例えば、リアオーバーハングの軌跡）のうち判定ラインに抵触する部分を強調表示させる。ここで、表示制御部３６は、判定ラインとして、車両が旋回する直前に、車両の前輪中心と後輪中心とを進行方向に沿って通る基準線から所定距離だけ離れた位置に側面に沿ったラインを表示させる。

【0033】

図６は、鳥瞰画像における強調表示の一例を説明するための模式図である。ここでは、車両Ｖが交差点を右折するものとし、鳥瞰画像Ｉにオーバーハング軌跡Ｌ１、Ｌ２、Ｌ３及び判定ラインＴを重畳されている。判定ラインＴは、右折する車両Ｖの左側面から所定距離だけ離れた位置に、車両Ｖに左側面に平行になるように表示されている。表示制御部３６は、オーバーハング軌跡Ｌ１、Ｌ２、Ｌ３のうちの判定ラインＴより左側にはみ出す部分を、強調表示する。ここでは、オーバーハング軌跡Ｌ１のうちの判定ラインＴより左側にはみ出す部分が、実線で強調表示されている。なお、強調表示は、線の色を異ならせてもよい。これにより、運転者は、車両が右折する際に判定ラインＴからはみ出すタイミングを、容易に把握できる。なお、車両が左折する際には、判定ラインＴは、車両Ｖの右側面から所定距離だけ離れた位置に表示される。

【0034】

上記では、判定ラインＴが、車両の側面から所定距離だけ離れた位置に表示されるとしたが、これに限定されない。例えば、判定ラインＴは、車両の側面と同一位置に表示されてもよい。また、判定ラインＴは、車両の走行する車線と歩道の境界の位置に表示させてもよい。

【0035】

＜本実施形態における効果＞
上述した実施形態の表示制御装置１０は、車両の周囲を撮像した撮像画像から、車両を含む鳥瞰画像を生成する。また、表示制御装置１０は、車両の旋回時の走行軌跡を推定する。そして、表示制御装置１０は、生成した鳥瞰画像Iに、車両の走行軌跡を重畳して表示部７に表示させる。
これにより、運転者は、旋回時の走行軌跡が重畳された鳥瞰画像を見ることで、旋回時に車両のオーバーハングが障害物と接触する可能性があるか無いかを視覚的に分かりやすくなる。この結果、運転者は、障害物との接触を回避するために、車両の操舵等を行える。

【0036】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0037】

３ａ、３ｂ、３ｃ、３ｄ 撮像装置
７ 表示部
１０ 表示制御装置
３４ 画像生成部
３５ 軌跡推定部
３６ 表示制御部
Ｉ 鳥瞰画像
Ｌ１、Ｌ２、Ｌ３ オーバーハング軌跡
Ｔ 判定ライン
Ｖ 車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】