(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-04-22
(45)【発行日】2024-05-01
(54)【発明の名称】表示制御装置及び表示制御方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20240423BHJP
G08G 1/16 20060101ALI20240423BHJP
B60R 1/26 20220101ALI20240423BHJP
B60R 1/20 20220101ALI20240423BHJP
【FI】
H04N7/18 J
G08G1/16 C
B60R1/26 100
B60R1/20 100
(21)【出願番号】P 2023088057
(22)【出願日】2023-05-29
【審査請求日】2023-05-29
(73)【特許権者】
【識別番号】000000170
【氏名又は名称】いすゞ自動車株式会社
(74)【代理人】
【識別番号】110004222
【氏名又は名称】弁理士法人創光国際特許事務所
(74)【代理人】
【識別番号】100166006
【氏名又は名称】泉 通博
(74)【代理人】
【識別番号】100154070
【氏名又は名称】久恒 京範
(74)【代理人】
【識別番号】100153280
【氏名又は名称】寺川 賢祐
(74)【代理人】
【識別番号】100167793
【氏名又は名称】鈴木 学
(72)【発明者】
【氏名】津田 隆太
【審査官】長谷川 素直
(56)【参考文献】
【文献】特開2002-314991(JP,A)
【文献】特開2001-6097(JP,A)
【文献】特開2012-166731(JP,A)
【文献】特開2001-180405(JP,A)
【文献】特開2012-188058(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G08G 1/16
B60R 1/00
B60R 99/00
(57)【特許請求の範囲】
【請求項1】
車両が後退する操作を受け付ける受付部と、
前記車両の後退方向の撮像画像を取得する取得部と、
前記受付部が前記操作を受け付けた時刻から第1時間が経過した第1時刻に、前記車両の高さを示すマーカを前記撮像画像に重畳した重畳画像を表示部に表示させ、前記第1時刻から第2時間が経過した第2時刻までの間において、前記車両が移動している場合は、前記マーカを重畳しない前記撮像画像を前記第2時刻以降に表示させる表示制御部と、
を有する表示制御装置。
【請求項2】
前記表示制御部は、前記第1時刻から前記第2時刻までの間において、前記車両が停止している場合は、前記第2時刻以降も前記重畳画像の表示を継続させる、
請求項1に記載の表示制御装置。
【請求項3】
前記取得部は、前記車両の後退方向に障害物があるか否かを示す障害物情報を取得し、
前記表示制御部は、前記第1時間において前記取得部が取得した前記障害物情報が、前記障害物があることを示す場合は前記第1時刻に前記重畳画像を表示させる、
請求項1に記載の表示制御装置。
【請求項4】
前記表示制御部は、前記撮像画像における前記車両の後方の上端の外郭線に対応する領域に、前記マーカを重畳した前記重畳画像を表示させる、
請求項1に記載の表示制御装置。
【請求項5】
前記取得部は、広角レンズを用いて撮像された前記撮像画像を取得し、
前記表示制御部は、前記広角レンズの歪曲収差に対応する前記マーカを重畳した前記重畳画像を表示させる、
請求項4に記載の表示制御装置。
【請求項6】
前記取得部は、魚眼レンズを用いて撮像された前記撮像画像を取得し、
前記表示制御部は、前記魚眼レンズの樽型収差に対応する前記マーカを重畳した前記重畳画像を表示させる、
請求項4に記載の表示制御装置。
【請求項7】
前記表示制御部は、前記車両の車幅に対応する長さの前記マーカを重畳した前記重畳画像を表示させる、
請求項1から6のいずれか一項に記載の表示制御装置。
【請求項8】
プロセッサが実行する、
車両が後退する操作を受け付ける受付工程と、
前記車両の後退方向の撮像画像を取得する取得工程と、
前記受付工程において前記操作を受け付けた時刻から第1時間が経過した第1時刻に、前記車両の高さを示すマーカを前記撮像画像に重畳した重畳画像を表示部に表示させ、前記第1時刻から第2時間が経過した第2時刻までの間において、前記車両が移動している場合は、前記マーカを重畳しない前記撮像画像を前記第2時刻以降に表示させる表示制御工程と、
を有する表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御装置及び表示制御方法に関する。
【背景技術】
【0002】
特許文献1の運転支援装置は、車両が後退して駐車する際に、車幅を示すマーカを車両の後方の映像に重畳して表示する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の運転支援装置においては、車両が後退している場合は常にマーカを表示する。このため、車両が障害物に接触する可能性がない位置に駐車する際にも後方の映像にマーカが表示されることにより運転者が煩わしさを感じたり、マーカに対する注意力が低下することにより、車両が障害物に接触する可能性があるにもかかわらずマーカの表示を見落としたりする場合がある。
【0005】
そこで、本発明はこれらの点に鑑みてなされたものであり、適切なタイミングでマーカを表示することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1の態様に係る表示制御装置は、車両が後退する操作を受け付ける受付部と、前記車両の後退方向の撮像画像を取得する取得部と、前記受付部が前記操作を受け付けた時刻から第1時間が経過した第1時刻に、前記車両の高さを示すマーカを前記撮像画像に重畳した重畳画像を表示部に表示させ、前記第1時刻から第2時間が経過した第2時刻までの間において、前記車両が移動している場合は、前記マーカを重畳しない前記撮像画像を前記第2時刻以降に表示させる表示制御部と、を有する。
【0007】
前記表示制御部は、前記第1時刻から前記第2時刻までの間において、前記車両が停止している場合は、前記第2時刻以降も前記重畳画像の表示を継続させてもよい。
【0008】
前記取得部は、前記車両の後退方向に障害物があるか否かを示す障害物情報を取得し、前記表示制御部は、前記第1時間において前記取得部が取得した前記障害物情報が、前記障害物があることを示す場合は前記第1時刻に前記重畳画像を表示させてもよい。
【0009】
前記表示制御部は、前記撮像画像における前記車両の後方の上端の外郭線に対応する領域に、前記マーカを重畳した前記重畳画像を表示させてもよい。
【0010】
前記取得部は、広角レンズを用いて撮像された前記撮像画像を取得し、前記表示制御部は、前記広角レンズの歪曲収差に対応する前記マーカを重畳した前記重畳画像を表示させてもよい。
【0011】
前記取得部は、魚眼レンズを用いて撮像された前記撮像画像を取得し、前記表示制御部は、前記魚眼レンズの樽型収差に対応する前記マーカを重畳した前記重畳画像を表示させてもよい。
【0012】
前記表示制御部は、前記車両の車幅に対応する長さの前記マーカを重畳した前記重畳画像を表示させてもよい。
【0013】
本発明の第2の態様に係る表示制御方法は、プロセッサが実行する、車両が後退する操作を受け付ける受付工程と、前記車両の後退方向の撮像画像を取得する取得工程と、前記受付工程において前記操作を受け付けた時刻から第1時間が経過した第1時刻に、前記車両の高さを示すマーカを前記撮像画像に重畳した重畳画像を表示部に表示させ、前記第1時刻から第2時間が経過した第2時刻までの間において、前記車両が移動している場合は、前記マーカを重畳しない前記撮像画像を前記第2時刻以降に表示させる表示制御工程と、を有する。
【発明の効果】
【0014】
本発明によれば、適切なタイミングでマーカを表示するという効果を奏する。
【図面の簡単な説明】
【0015】
【
図1】本実施形態に係る車両Sの概要を説明するための図である。
【
図3】魚眼レンズを用いた撮像画像にマーカMを重畳した重畳画像を示す。
【
図4】表示制御装置30における処理シーケンスの例を示す図である。
【発明を実施するための形態】
【0016】
<車両Sの概要>
図1は、本実施形態に係る車両Sの概要を説明するための図である。
図1に示す車両Sは、シフトレバー10と、カメラ11と、速度センサ12と、障害物センサ13と、表示部20と、表示制御装置30と、を備える。車両Sは、車両Sが後退する際に、車両Sの後退方向の撮像画像に車両Sの高さ及び車幅を示すマーカを重畳した重畳画像を表示する機能を有する。
【0017】
シフトレバー10は、運転者がトランスミッションを操作するためのレバーである。カメラ11は、車両Sの後方の上部に設けられており、広角レンズ又は魚眼レンズを用いて車両Sの後退方向を撮像した撮像画像を生成するための撮像機器である。速度センサ12は、車両Sの速度を検出するためのセンサである。障害物センサ13は、車両Sの後退方向の障害物を検出するためのセンサであり、例えば、ソナーセンサ又は超音波センサである。障害物は、ひさし等の車両Sの上端と接触する可能性がある障害物を含む。表示部20は、撮像画像又は重畳画像を表示するためのディスプレイである。
【0018】
表示制御装置30は、車両Sが後退する際に、カメラ11が車両Sの後退方向を撮像した撮像画像に車両Sの高さ及び車幅を示すマーカを重畳した重畳画像を表示部20に表示させる処理を実行する。表示制御装置30は、電子部品を含む筐体を有していてもよく、電子部品が実装されたプリント基板であってもよい。なお、表示制御装置30の詳細については、後述する。
【0019】
図2は、重畳画像を説明するための図である。
図2においては、車両Sと、カメラ11が撮像する領域Pと、車両Sの高さH及び車幅Wを示すマーカMが示されている。マーカMの両端は、それぞれ車両Sの側面の位置を示す。距離Dは、カメラ11と領域Pとの距離であり、例えば、車両Sの後方から3メートルである。表示制御装置30は、領域Pを撮像した撮像画像における車両Sの後方の上端の外郭線に対応する領域にマーカMを重畳し、表示部20に表示させる。
【0020】
車両Sが後退する際に常にマーカMを表示した場合、車両Sが障害物に接触する可能性がない場合であってもマーカMが表示されることにより、車両Sの運転者は煩わしさを感じる場合がある。また、常にマーカMを表示することによりマーカMに対する注意力が低下し、車両Sが障害物に接触する可能性がある場合にもかかわらず、運転者がマーカMを見落とす場合がある。
【0021】
そこで、表示制御装置30は、マーカMを重畳した重畳画像を表示した時刻から所定時間(例えば5秒)が経過するまでの間に車両Sが後退を継続している場合は、重畳画像を非表示にさせるとともに撮像画像を表示させる。表示制御装置30がこのように動作することで、車両Sが後退を継続している場合は、周囲に接触する可能性がある障害物がなく運転者がマーカMを不要と考えていると判定し、マーカMを非表示にすることができる。その結果、運転者は、マーカMが表示されることにより後方の障害物を意識して後退することができるとともに、マーカMの表示が不要であると考える場合はマーカMが非表示になるため、マーカMに対して煩わしさを感じなくなる。
以下、表示制御装置30の構成及び動作を詳細に説明する。
【0022】
<表示制御装置30の構成>
表示制御装置30は、記憶部31と、制御部32と、を有する。制御部32は、受付部321と、取得部322と、表示制御部323と、を有する。
【0023】
記憶部31は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)又はSSD(Solid State Drive)等の記憶媒体を有する。記憶部31は、制御部32が実行するプログラムを記憶している。記憶部31は、制御部32が撮像画像又は重畳画像を表示部20に表示させるための各種の情報を記憶している。
【0024】
制御部32は、例えば、CPU(Central Processing Unit)又はECU(Electronic Control Unit)等のプロセッサである。制御部32は、記憶部31に記憶されたプログラムを実行することにより、受付部321、取得部322及び表示制御部323として機能する。なお、制御部32は、1つのプロセッサで構成されていてもよいし、複数のプロセッサ又は1以上のプロセッサと電子回路との組み合わせにより構成されていてもよい。
以下、制御部32により実現される各部の構成を説明する。
【0025】
受付部321は、車両Sが後退する操作を受け付ける。受付部321は、例えば、運転者がシフトレバー10を操作することにより、車両Sを後退させるためのギア(いわゆる、バックギア)を選択したことを受け付ける。
【0026】
取得部322は、カメラ11から、車両Sの後退方向の撮像画像を取得する。取得部322は、例えば、一定時間が経過するたびに、カメラ11が広角レンズ又は魚眼レンズを用いて
図2に示す領域Pを撮像した撮像画像を取得する。取得部322は、一定時間が経過するたびに、速度センサ12から車両Sの車速を取得する。取得部322は、障害物センサ13から、車両Sの後退方向に障害物があるか否かを示す障害物情報を取得する。取得部322は、例えば、障害物センサ13が障害物を検出したことを示す通知を、障害物情報として取得する。
【0027】
表示制御部323は、一定時間が経過するたびに、取得部322から撮像画像を取得し、当該撮像画像又は当該撮像画像にマーカMを重畳した重畳画像を表示部20に表示させる。表示制御部323は、受付部321が、車両Sを後退させる操作を受け付けた時刻から第1時間が経過した第1時刻に、車両Sの高さを示すマーカMを撮像画像に重畳した重畳画像を表示部20に表示させる。第1時間は、運転者が、シフトレバー10を操作してから、左後方及び右後方の安全確認を実施し、車両Sの後退を開始させるまでの時間であり、例えば、15秒である。
【0028】
表示制御部323は、例えば、受付部321が、車両Sを後退する操作を受け付けた時刻に撮像画像を表示させ、第1時間において取得部322が取得した障害物情報が、障害物があることを示す場合は第1時刻に重畳画像を表示させる。すなわち、表示制御部323は、第1時刻において、障害物センサ13が第1時間において障害物を検出した場合は重畳画像を表示させ、障害物センサ13が第1時間において障害物を検出しない場合は撮像画像の表示を継続させる。表示制御部323がこのように動作することで、車両Sの後方に障害物がある場合に限りマーカMを表示させることができる。その結果、運転者は、車両Sの後方に障害物があることを意識しやすくなる。
【0029】
表示制御部323は、第1時刻から第2時間が経過した第2時刻までの間において、車両Sが移動している場合は、マーカMを重畳しない撮像画像を第2時刻以降に表示させる。第2時間は、運転者が重畳画像を確認してから車両Sを後退させるか否かを判断するまでの時間であり、例えば、5秒である。表示制御部323は、例えば、第2時間において取得部322が取得した車速が0より大きい状態が所定時間以上継続した場合は、車両Sが移動していると判定し、第2時刻において重畳画像を撮像画像に切り替える。所定時間は、記憶部31に記憶されており、第2時間以下の固定値である。表示制御部323がこのように動作することで、運転者が障害物と接触する可能性がないと判断して車両Sの後退を開始させた場合は、マーカMを非表示にすることができる。
【0030】
一方、表示制御部323は、例えば、第1時刻から第2時刻までの間において、車両Sが停止している場合は、第2時刻以降も重畳画像の表示を継続させる。表示制御部323は、例えば、第2時間において取得部322が取得した車速が0よりも大きい状態が所定時間未満であるか、車速が0である状態が第2時間継続した場合は、車両Sが停止していると判定し、第2時刻以降も重畳画像の表示を継続させる。表示制御部323がこのように動作することで、運転者が障害物に接触する可能性があると判断して車両Sを停止させた場合は、マーカMの表示を継続することができる。また、運転者は、車両Sを停止させることでマーカMの表示を継続させることができる。
【0031】
車両Sがトラック等の大型車両である場合、車両Sが後退する際に、ひさし又は看板等の高所に設置された障害物と車両Sとが接触する可能性がある。そこで、表示制御部323は、撮像画像における車両Sの後方の上端の外郭線に対応する領域に、車両Sの車幅に対応する長さのマーカMを重畳した重畳画像を表示させる。
【0032】
例えば、撮像画像の領域が
図2に示す領域Pである場合、表示制御部323は、領域Pの位置まで車両Sが後退した際の(すなわち、車両Sが距離D後退した際の)車両Sの後方の外郭線の上端の領域を特定する。表示制御部323は、撮像画像の領域における、特定した外郭線の上端の領域(すなわち、
図2に示す領域PにおけるマーカMの領域)にマーカMを重畳する。表示制御部323がこのように動作することで、高所に設置された障害物に接触する可能性があるか否かを示すことができる。さらに、マーカMの両端は、それぞれ車両Sの側面の位置を示すため、マーカMの長さは車両Sの車幅に対応する。したがって、マーカMを重畳することで、車両Sの側面の外郭線に対応する領域にマーカMを重畳しなくても、運転者が車両Sの側面に障害物が接触するか否かを判断できるため、マーカMを表示する領域を小さくできる。
【0033】
表示制御部323は、カメラ11が、広角レンズを用いて撮像した場合は広角レンズの歪曲収差に対応するマーカを重畳した重畳画像を表示させ、魚眼レンズを用いて撮像した場合は魚眼レンズの樽型収差に対応するマーカを重畳した重畳画像を表示させる。表示制御部323は、例えば、記憶部31に記憶された歪曲収差又は樽型収差を参照することにより、
図2に示すマーカMを歪曲させた画像を作成し、撮像画像に重畳する。
【0034】
図3は、魚眼レンズを用いた撮像画像にマーカMを重畳した重畳画像を示す。
図3には、車両Sの後方を示す領域Bと、車両Sの後退方向の床面を示す領域Gと、車両Sの後退方向の側面の壁を示す領域L及び領域Rと、車両Sの後退方向の正面の壁を示す領域Fと、ひさしEと、マーカMとを示す。
図3に示すように、表示制御部323は、車両Sの車幅に対応するマーカMを歪曲させた画像を作成し、撮像画像において車両Sの後方の上端の外郭線に対応する領域に重畳する。表示制御部323がこのように動作することで、レンズの収差にあわせて歪曲させたマーカMを重畳することができる。その結果、運転者が、障害物と車両Sとの距離を把握しやすくなる。
【0035】
<表示制御装置30における処理シーケンス>
図4は、表示制御装置30における処理シーケンスの例を示す図である。
図4に示す処理シーケンスは、車両Sが後退する際に撮像画像又は重畳画像を表示部20に表示させる動作を示す。
【0036】
まず、受付部321は、車両Sが後退するための操作を受け付ける(S11)。受付部321が操作を受け付けた時刻から第1時間が経過していない場合(S12のNO)、表示制御装置30は、第1時間が経過したか否かを確認する処理(S12の処理)を繰り返す。
【0037】
第1時間が経過した場合(S12のYES)、表示制御部323は、受付部321が操作を受け付けた時刻から第1時間が経過した第1時刻において、重畳画像又は撮像画像を表示部20に表示させる処理(すなわち、S13からS16までの処理)を実行する。例えば、表示制御部323は、取得部322が取得した車両Sの後退方向の撮像画像を取得する(S13)。続いて、表示制御部323は、第1時間において車両Sの後退方向に障害物があることを示す障害物情報を取得部322が取得していない場合は障害物がないと判定し(S14のNO)、第1時刻以降に、取得部322が取得した撮像画像を表示部20に表示させる(S15)。一方、表示制御部323は、第1時間において障害物情報を取得部322が取得した場合は障害物があると判定し(S14のYES)、第1時刻以降に、撮像画像にマーカMを重畳した重畳画像を表示部20に表示させる(S16)。
【0038】
第1時間が経過した第1時刻から第2時間が経過していない場合(S17のNO)、表示制御装置30は、S13からS16の動作を繰り返す。すなわち、表示制御部323は、第2時間において、障害物があるか否かを判定し、撮像画像又は重畳画像を表示部20に表示させる処理を繰り返す。第2時間が経過した場合(S17のYES)、表示制御部323は、当該第2時間において車両Sが停止していたか否かを特定する(S18)。第2時間において車両Sが停止していた場合(S18のYES)、表示制御部323は、第1時刻から第2時間が経過した第2時刻以降に重畳画像の表示を継続させる(S19)。一方、第2時間において車両Sが停止していない場合(S18のNO)、表示制御部323は、第2時刻以降に撮像画像を表示させる(S15)。
【0039】
<第1変形例>
以上の説明においては、第2時間において車両Sが移動したか否か、及び第2時間において車両Sが停止しているか否かを、同じ所定時間を用いて判定する動作を例示したが、これに限らない。表示制御部323は、車両Sが移動したか否かを、第1所定時間を用いて判定し、車両Sが停止しているか否かを、第1所定時間と異なる第2所定時間を用いて判定してもよい。
【0040】
<第2変形例>
以上の説明においては、車両Sが後退する操作を受付部321が受け付けたことにより、表示制御部323が撮像画像又は重畳画像を表示部20に表示させる動作を例示したが、これに限らない。表示制御部323は、車両Sが備えるフットブレーキ(不図示)を操作したことを受付部321が受け付けたことにより、撮像画像又は重畳画像を表示部20に表示させてもよい。
【0041】
<第3変形例>
以上の説明においては、速度センサ12が検出した車速に基づいて、第2時間において車両Sが移動したか停止しているかを判定する動作を例示したが、これに限らない。表示制御部323は、受付部321が受け付けた、運転者がフットブレーキを操作した時間に基づいて、車両Sが移動したか停止しているかを判定してもよい。また、取得部322は、速度センサ12が検出した車速を取得した他のECU(不図示)から車速し、車両Sが移動したか停止しているかを判定してもよい。
【0042】
<表示制御装置30による効果>
以上説明したように、表示制御装置30は、車両Sが後退する操作を受け付ける受付部321と、車両の後退方向の撮像画像を取得する取得部322と、受付部321が操作を受け付けた時刻から第1時間が経過した第1時刻に、車両Sの高さを示すマーカMを撮像画像に重畳した重畳画像を表示部20に表示させ、第1時刻から第2時間が経過した第2時刻までの間において、車両Sが移動している場合は、マーカMを重畳しない撮像画像を第2時刻以降に表示させる表示制御部323と、を有する。
【0043】
表示制御装置30がこのように構成されることで、マーカMを重畳した重畳画像を表示部20に表示させた後に、車両Sが移動している場合は、マーカMを非表示にすることができる。その結果、後退時に接触する障害物がないため運転者がマーカMの領域を確認する必要がない動作を行った場合にはマーカMを非表示にすることができるため、適切なタイミングでマーカMを表示させることができる。
【0044】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
【符号の説明】
【0045】
10 シフトレバー
11 カメラ
12 速度センサ
13 障害物センサ
20 表示部
30 表示制御装置
31 記憶部
32 制御部
321 受付部
322 取得部
323 表示制御部
【要約】
【課題】適切なタイミングでマーカを表示する。
【解決手段】表示制御装置30は、車両が後退する操作を受け付ける受付部321と、車両の後退方向の撮像画像を取得する取得部322と、受付部321が操作を受け付けた時刻から第1時間が経過した第1時刻に、車両の高さを示すマーカを撮像画像に重畳した重畳画像を表示部20に表示させ、第1時刻から第2時間が経過した第2時刻までの間において、車両が移動している場合は、マーカを重畳しない撮像画像を第2時刻以降に表示させる表示制御部323と、を有する。
【選択図】
図1