(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022149557
(43)【公開日】2022-10-07
(54)【発明の名称】表示制御装置
(51)【国際特許分類】
H04N 7/18 20060101AFI20220929BHJP
B60R 1/00 20220101ALI20220929BHJP
G06T 1/00 20060101ALI20220929BHJP
G08G 1/16 20060101ALI20220929BHJP
【FI】
H04N7/18 J
B60R1/00 A
G06T1/00 330A
G08G1/16 C
【審査請求】有
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2021051769
(22)【出願日】2021-03-25
(71)【出願人】
【識別番号】000000170
【氏名又は名称】いすゞ自動車株式会社
(74)【代理人】
【識別番号】100166006
【弁理士】
【氏名又は名称】泉 通博
(74)【代理人】
【識別番号】100124084
【弁理士】
【氏名又は名称】黒岩 久人
(74)【代理人】
【識別番号】100154070
【弁理士】
【氏名又は名称】久恒 京範
(74)【代理人】
【識別番号】100153280
【弁理士】
【氏名又は名称】寺川 賢祐
(72)【発明者】
【氏名】津田 隆太
【テーマコード(参考)】
5B057
5C054
5H181
【Fターム(参考)】
5B057AA16
5B057CA08
5B057CA13
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CD14
5B057CE08
5B057CH20
5B057DB03
5B057DB09
5B057DC16
5B057DC32
5C054CA04
5C054CC02
5C054FD03
5C054FE18
5C054HA30
5H181AA01
5H181CC04
5H181FF27
5H181FF32
5H181LL02
5H181LL17
(57)【要約】
【課題】鳥瞰画像を適切に表示させる。
【解決手段】表示制御装置10は、車両の異なる位置に設けられ車両の周囲を撮像する撮像装置3a、3b、3c、3dの各々から、車両の外郭の一部を含む撮像画像を取得する画像取得部32と、車両の走行中に画像取得部32が所定時間取得した撮像画像中において、変化の無い領域を車体領域として特定する領域特定部33と、撮像装置3a、3b、3c、3dの各々が撮像した撮像画像を合成し、特定された車体領域に対応した車体画像を含む鳥瞰画像を生成する画像生成部34と、画像生成部34が生成した鳥瞰画像を表示部7に表示させる表示制御部36とを備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
車両の異なる位置に設けられ前記車両の周囲を撮像する複数の撮像装置の各々から、前記車両の外郭の一部を含む撮像画像を取得する画像取得部と、
前記車両の走行中に前記画像取得部が所定時間取得した前記撮像画像中において、変化の無い領域を車体領域として特定する領域特定部と、
前記複数の撮像装置の各々が撮像した撮像画像を合成し、特定された前記車体領域に対応した車体画像を含む鳥瞰画像を生成する画像生成部と、
前記画像生成部が生成した鳥瞰画像を表示部に表示させる表示制御部と、
を備える、表示制御装置。
【請求項2】
前記画像生成部は、各撮像装置が撮像した撮像画像に含まれる前記車両の外郭を繋げて、前記車体領域に対応した前記車体画像を生成する、
請求項1に記載の表示制御装置。
【請求項3】
前記画像生成部は、生成した前記車体画像と、前記複数の撮像装置によって架装車である前記車両の四方が撮像された撮像画像とを合成して、前記鳥瞰画像を生成する、
請求項2に記載の表示制御装置。
【請求項4】
前記車両の走行軌跡を推定する軌跡推定部を更に備え、
前記表示制御部は、推定した前記走行軌跡を前記鳥瞰画像に重畳して前記表示部に表示させる、
請求項1から3のいずれか1項に記載の表示制御装置。
【請求項5】
前記軌跡推定部は、前記車両の旋回時の前記車両の前記走行軌跡を推定する、
請求項4に記載の表示制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の周辺の撮像画像を表示させる表示制御装置に関する。
【背景技術】
【0002】
車両の運転支援の技術として、車両に搭載されたカメラによって車両の周辺を撮像し、撮像した結果である撮像画像データを表示部に表示させる技術が提案されている(下記の特許文献1を参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、車両及び周辺を含む鳥瞰画像の表示のニーズがある。ところで、カメラは車両の複数の位置に取り付けられるが、車両によってカメラの取付位置や取付角度が異なりうる。カメラの取付状態が正確に把握できない場合には、鳥瞰画像を適切に表示できないおそれがある。
【0005】
そこで、本発明はこれらの点に鑑みてなされたものであり、鳥瞰画像を適切に表示させることを目的とする。
【課題を解決するための手段】
【0006】
本発明の一の態様においては、車両の異なる位置に設けられ前記車両の周囲を撮像する複数の撮像装置の各々から、前記車両の外郭の一部を含む撮像画像を取得する画像取得部と、前記車両の走行中に前記画像取得部が所定時間取得した前記撮像画像中において、変化の無い領域を車体領域として特定する領域特定部と、前記複数の撮像装置の各々が撮像した撮像画像を合成し、特定された前記車体領域に対応した車体画像を含む鳥瞰画像を生成する画像生成部と、前記画像生成部が生成した鳥瞰画像を表示部に表示させる表示制御部と、を備える、表示制御装置を提供する。
【0007】
また、前記画像生成部は、各撮像装置が撮像した撮像画像に含まれる前記車両の外郭を繋げて、前記車体領域に対応した前記車体画像を生成することとしてもよい。
【0008】
また、前記画像生成部は、生成した前記車体画像と、前記複数の撮像装置によって架装車である前記車両の四方が撮像された撮像画像とを合成して、前記鳥瞰画像を生成することとしてもよい。
【0009】
また、前記車両の走行軌跡を推定する軌跡推定部を更に備え、前記表示制御部は、推定した前記走行軌跡を前記鳥瞰画像に重畳して前記表示部に表示させることとしてもよい。
【0010】
また、前記軌跡推定部は、前記車両の旋回時の前記車両の前記走行軌跡を推定することとしてもよい。
【発明の効果】
【0011】
本発明によれば、鳥瞰画像を適切に表示できるという効果を奏する。
【図面の簡単な説明】
【0012】
【
図1】一の実施形態に係る表示システム1の構成を説明するための模式図である。
【
図2】撮像装置3a、3b、3c、3dの撮像領域の一例を説明するための模式図である。
【
図3】車体領域の特定方法の一例を説明するための模式図である。
【
図4】表示部7に表示される鳥瞰画像を説明するための模式図である。
【発明を実施するための形態】
【0013】
<表示システムの概要>
一の実施形態に係る表示システムの構成について、
図1を参照しながら説明する。
【0014】
図1は、一の実施形態に係る表示システム1の構成を説明するための模式図である。表示システム1は、車両に搭載されており、車両の周囲の状況を示す鳥瞰画像を車載モニターに表示するアラウンドビューモニターシステムである。車両は、一例として荷台を有する架装車であり、具体的にはトラックである。表示システム1は、
図1に示すように、複数の撮像装置3a、3b、3c、3dと、センサ群5と、表示部7と、表示制御装置10とを有する。
【0015】
撮像装置3a、3b、3c、3dは、例えばカメラであり、車両の周囲を撮像する。撮像装置3a、3b、3c、3dは、車両の異なる位置に設けられている。例えば、撮像装置3aは、車両の前部に設けられ、車両の前方を撮像する。撮像装置3bは、車両の左側部に設けられ、車両の左側方を撮像する。撮像装置3cは、車両の右側部に設けられ、車両の右側方を撮像する。撮像装置3dは、車両の後部に設けられ、車両の後方を撮像する。広角カメラである4つの撮像装置3a、3b、3c、3dを用いることで、車両の周囲全体を撮像可能である。撮像装置3a、3b、3c、3dは、撮像した撮像画像を、表示制御装置10に出力する。
【0016】
センサ群5は、車両の状態を検出する。センサ群5は、例えばステアリングホイールの回転量を検出するセンサを有しており、車両の操舵角を検出可能である。センサ群5は、検出した結果を表示制御装置10に出力する。
【0017】
表示部7は、例えば車両内に設けられたディスプレイであり、車両等に関する各種情報を表示する。表示部7は、撮像装置3a、3b、3c、3dが撮像した撮像画像に基づいた鳥瞰画像を表示する。鳥瞰画像は、車両の上方から車両及び周囲を見下ろした際の状況を示す画像である。鳥瞰画像は、撮像装置で撮像された3次元ビューを2次元変換した後に、複数の撮像装置の撮像画像が合成されたものである。従来では、生成された鳥瞰画像に車両ボディが映り込まないように、マージンをもって鳥瞰画像を生成している。これに対して、本実施形態では、詳細は後述するが、撮像画像に映っていた車両の外郭や車両ボディを含む鳥瞰画像を生成している。
【0018】
表示制御装置10は、表示システム1の動作を制御する。表示制御装置10は、車両の走行時に、撮像装置3a、3b、3c、3dが撮像した撮像画像に基づいて鳥瞰画像を生成して、表示部7に表示させる。表示制御装置10は、詳細は後述するが、撮像画像中において変化の無い領域を車体領域として特定し、特定した車体領域に対応した車体画像を含む鳥瞰画像を生成する。
これにより、撮像装置3a、3b、3c、3dの取付位置や取付角度が不明であっても、撮像装置3a、3b、3c、3dの取付状態を基準にした車体領域を特定できる。そして、撮像装置3a、3b、3c、3dが撮像した撮像画像を、車体領域に合わせて合成することで、車体画像を含む鳥瞰画像を適切に生成できる。
【0019】
<表示制御装置の詳細構成>
表示制御装置10の詳細構成について、
図1を参照しながら説明する。
【0020】
表示制御装置10は、
図1に示すように、記憶部20と、制御部30とを有する。
記憶部20は、例えばROM(Read Only Memory)及びRAM(Random Access Memory)を含む。記憶部20は、制御部30が実行するためのプログラムや各種データを記憶する。
【0021】
制御部30は、例えばCPU(Central Processing Unit)である。制御部30は、記憶部20に記憶されたプログラムを実行することにより、画像取得部32、領域特定部33、画像生成部34、軌跡推定部35及び表示制御部36として機能する。
【0022】
画像取得部32は、車両の周囲を撮像した画像を取得する。具体的には、画像取得部32は、撮像装置3a、3b、3c、3dの各々から、車両の外郭の一部を含む撮像画像を取得する。例えば、画像取得部32は、車両の走行中に、撮像装置3a、3b、3c、3dが撮像した撮像画像を所定間隔で取得する。
【0023】
図2は、撮像装置3a、3b、3c、3dの撮像領域の一例を説明するための模式図である。ここでは、領域R1が撮像装置3aの撮像領域であり、領域R2が撮像装置3bの撮像領域であり、領域R3が撮像装置3cの撮像領域であり、領域R4が撮像装置3dの撮像領域であるものとする。4つの領域R1~R4の各々は、
図2に示すように車両Vの外郭や車両ボディ(外郭の内側の部分)の一部を含む領域となっているため、撮像装置3a、3b、3c、3dの撮像画像には車両Vの外郭や車両ボディの一部が含まれている。なお、撮像装置3a、3b、3c、3dの撮像領域は、重なっていてもよい。
【0024】
領域特定部33は、画像取得部32が取得した撮像画像における車体領域を特定する。例えば、領域特定部33は、車両の走行中に画像取得部32が所定時間取得した撮像画像中において、変化の無い領域を車体領域として特定する。これにより、撮像装置3a、3b、3c、3dの取付位置や取付角度が不明であっても、撮像装置3a、3b、3c、3dの取付状態を基準とした車体領域を特定できる。なお、上記の所定時間は、例えば1分以内の時間であるが、これに限定されない。
【0025】
図3は、車体領域の特定方法の一例を説明するための模式図である。
図3(a)及び
図3(b)には、撮像装置3bの撮像画像が示されており、
図3(b)の撮像画像は、
図3(a)の撮像画像の撮像から所定時間経過した後に撮像されたものとする。
図3(a)と
図3(b)の撮像画像を対比すると分かるように、画像の左側に位置する物体95の位置は変化しているが、右側の縦の外郭線V1は変化していない。このため、領域特定部33は、外郭線V1を車両の外郭の一部(変化の無い領域)であるとして特定する。領域特定部33は、撮像装置3a、3c、3dの撮像画像についても同様な処理を行うことで、車両の外郭の一部としての外郭線を特定する。領域特定部33は、例えば4つの撮像画像の外郭線を繋げることで、車体領域を特定する。
なお、上記では、各撮像装置の撮像画像において変化の無い領域を特定することとしたが、これに限定されない。例えば、4つの撮像装置3a~3dの撮像画像を合成した合成画像において変化の無い領域を特定してもよい。
【0026】
画像生成部34は、走行中の車両及び周囲の状況を示す鳥瞰画像を生成する。画像生成部34は、画像取得部32が取得した撮像画像から、車体画像を含む鳥瞰画像を生成する。具体的には、画像生成部34は、撮像装置3a、3b、3c、3dの各々が撮像した撮像画像を合成し、領域特定部33によって特定された車体領域に対応した車体画像を含む鳥瞰画像を生成する。車体画像は、撮像装置3a、3b、3c、3dが撮像した撮像画像に含まれる車両の外郭やボディを含む画像である。これにより、鳥瞰画像は、車両ボディ及び周囲の状況を示す画像となる。
【0027】
画像生成部34は、領域特定部33が特定した車両領域に合わせて、車体画像を生成する。例えば、画像生成部34は、撮像装置3a、3b、3c、3dが撮像した撮像画像に含まれる車両の外郭を繋げて、車体領域に対応した車体画像を生成する。画像生成部34は、例えば4つの撮像画像で特定した車両の外郭線を繋げて、車体画像を生成する。この際、画像生成部34は、車両の外郭線に加えて車両ボディ(外郭線の内側の部分)が映っている車体画像を生成しうる。なお、画像生成部34は、撮像画像に含まれた外郭線から車両ボディを示す部分を補完して、車体画像を生成してもよい。
【0028】
画像生成部34は、生成した車体画像を用いて、鳥瞰画像を生成する。すなわち、画像生成部34は、生成した車体画像と、撮像装置3a、3b、3c、3dによって車両の四方が撮像された撮像画像とを合成して、鳥瞰画像を生成する。これにより、4つの撮像装置3a、3b、3c、3dの取付位置が不明でも、鳥瞰画像を適切に生成できる。
【0029】
軌跡推定部35は、車両の走行軌跡を推定する。例えば、軌跡推定部35は、車両の旋回時の走行軌跡を推定する。軌跡推定部35は、旋回時の走行軌跡として、車両の旋回時のリア側のオーバーハング(以下、リアオーバーハングとも呼ぶ)の軌跡を推定する。ただし、これに限定されず、軌跡推定部35は、車両のフロント側のオーバーハング軌跡も推定してもよい。軌跡推定部35は、センサ群5の検出結果(例えば、車両の操舵角等)を用いて、オーバーハング軌跡を推定しうる。なお、オーバーハング軌跡は、公知の算出方法によって算出されるため、詳細な説明は省略する。
また、軌跡推定部35は、走行軌跡として、車両のステアリング角に応じた内輪差と外輪差の軌跡を推定してもよい。例えば、軌跡推定部35は、車両の旋回時の内輪差及び外輪差の軌跡を推定する。
【0030】
表示制御部36は、表示部7による表示を制御する。表示制御部36は、画像生成部34が生成した鳥瞰画像を表示部7に表示させる。例えば、表示制御部36は、車両が右折又は左折する際、車両がバック走行する際、車両が低速で走行する際に、鳥瞰画像を表示部7に表示させる。
【0031】
表示制御部36は、鳥瞰画像に車両の走行軌跡を重畳して表示させる。すなわち、表示制御部36は、推定した走行軌跡を鳥瞰画像に重畳して表示部7に表示させる。例えば、表示制御部36は、車両の旋回時に、鳥瞰画像にリアオーバーハングの軌跡を重畳して表示部7に表示させる。ただし、これに限定されず、表示制御部36は、鳥瞰画像に内輪差、外輪差の軌跡も重畳して表示させてもよい。
【0032】
図4は、表示部7に表示される鳥瞰画像を説明するための模式図である。
図4において枠90で囲まれた部分が、表示部7に表示される鳥瞰画像Iである。この鳥瞰画像Iは、車両Vが交差点で右折を開始する際に、表示部7に表示される。ここでは、軌跡推定部35が推定した3つのオーバーハング軌跡L1、L2、L3が、画像生成部34が生成した鳥瞰画像Iに重畳されている。オーバーハング軌跡L1、L2は、リア側のオーバーハングの軌跡であり、オーバーハング軌跡L3は、フロント側のオーバーハングの軌跡である。なお、
図4では、オーバーハング軌跡L1、L2、L3を一点鎖線で示しているが、表示態様はこれに限定されず、例えば実線であってもよい。運転者は、オーバーハング軌跡L1、L2、L3が周囲の障害物と交わる場合には、そのまま走行すると障害物に接触する可能性があると判断できる。
図4では、オーバーハング軌跡L3は車両Vの左前端の軌跡であるが、車両が左折する場合には、オーバーハング軌跡L3は車両Vの右前端の軌跡となる。なお、表示制御部36は、車両のリア側のオーバーハング軌跡L1、L2のみ表示させて、車両のフロント側のオーバーハング軌跡L3を表示させなくてもよい。
【0033】
<本実施形態における効果>
上述した実施形態の表示制御装置10は、車両の走行中に所定時間取得した撮像画像中において、変化の無い領域を車体領域として特定する。表示制御装置10は、撮像装置3a、3b、3c、3dが撮像した撮像画像を合成し、特定された車体領域に対応した車体画像を含む鳥瞰画像を生成する。そして、表示制御装置10は、生成した鳥瞰画像を表示部7に表示させる。
上記の構成の場合には、撮像装置3a、3b、3c、3dの取付位置や取付角度が不明であっても、撮像装置3a、3b、3c、3dの取付状態を基準にした車体領域を特定できる。これにより、撮像装置3a、3b、3c、3dが撮像した撮像画像を、車体領域に合わせて合成することで、車体画像を含む鳥瞰画像を適切に生成できる。この結果、鳥瞰画像を表示部7に適切に表示できる。
【0034】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
【符号の説明】
【0035】
3a、3b、3c、3d 撮像装置
7 表示部
10 表示制御装置
32 画像取得部
33 領域特定部
34 画像生成部
35 軌跡推定部
36 表示制御部
I 鳥瞰画像
L1、L2、L3 オーバーハング軌跡
V 車両