(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024111130
(43)【公開日】2024-08-16
(54)【発明の名称】表示制御装置、表示制御方法及びプログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20240808BHJP
【FI】
G08G1/16 C
【審査請求】有
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2024098381
(22)【出願日】2024-06-18
(62)【分割の表示】P 2019071346の分割
【原出願日】2019-04-03
(71)【出願人】
【識別番号】000005016
【氏名又は名称】パイオニア株式会社
(74)【代理人】
【識別番号】100122426
【弁理士】
【氏名又は名称】加藤 清志
(72)【発明者】
【氏名】和田 幸人
(57)【要約】
【課題】車両の周囲を撮像した互いに異なる画像情報の位置関係を識別することができる表示制御装置、表示制御方法及びプログラムを提供する。
【解決手段】表示制御装置1は、画像情報取得部3と、第1画像情報生成部41と、第2画像情報生成部42と、を備える。画像情報取得部3は、車両の周囲が撮像された撮像情報を取得する。第1画像情報生成部41は、画像情報の領域の一部である第1領域に対応し、表示装置30に表示させる第1画像情報を生成する。第2画像情報生成部42は、画像情報の領域の一部であって第1領域とは異なる第2領域に対応し、表示装置30に表示させる第2画像情報を生成する。表示制御装置1は更に識別情報生成部43を備える。識別情報生成部43は、第1画像情報と第2画像情報との位置関係を識別させる識別情報を生成し、表示装置30に表示させる。
【選択図】
図2
【特許請求の範囲】
【請求項1】
車両の周囲が撮像された画像情報を取得する取得部と、
前記車両に対する障害物の有無を判定する判定部と、
前記判定部により前記障害物が無いと判定された場合に、前記画像情報の領域の一部である第1領域に対応する第1画像情報を表示装置に表示させ、且つ、前記判定部により前記障害物が有ると判定された場合に、前記画像情報の領域の一部であって前記障害物が含まれる第2領域に対応する第2画像情報を、前記第1画像情報と前記第2画像情報の位置関係を識別可能な態様で前記表示装置に表示させる表示制御部と、
前記車両の運転者の視線方向を検知する視線検知部と、
を備え、
前記表示制御部は、前記第2画像情報を含む画像を前記表示装置に表示している間に、前記運転者の視線方向に基づき、前記運転者が前記表示装置を確認したと判定した場合に、前記第2画像情報を含まず、且つ前記第1画像情報を含む画像を前記表示装置に表示させる表示制御装置。
【請求項2】
前記表示制御部は、前記判定部により前記障害物が有ると判定された場合に、前記障害物が含まれるまで前記第1領域を拡張した前記第2領域に対応する前記第2画像情報を前記表示装置に表示させる、請求項1に記載の表示制御装置。
【請求項3】
前記表示制御部は、前記判定部により前記障害物が有ると判定された場合に、前記第2画像情報、及び前記第1画像情報と前記第2画像情報の位置関係を識別させる識別情報を前記表示装置に表示させる、請求項1又は2に記載の表示制御装置。
【請求項4】
前記表示制御部は、前記判定部により前記障害物が有ると判定された場合に、前記第1領域に対する前記第2領域の配置方向に一致させて、縮小した前記第1画像情報、及び前記画像情報の領域の一部であって前記障害物が含まれ、且つ前記第1領域が含まれない前記第2領域に対応する前記第2画像情報を前記表示装置に表示させる、請求項1に記載の表示制御装置。
【請求項5】
表示制御装置が実行する表示制御方法であって、
車両の周囲が撮像された画像情報を取得する取得工程と、
前記車両に対する障害物の有無を判定する判定工程と、
前記判定工程により前記障害物が無いと判定された場合に、前記画像情報の領域の一部である第1領域に対応する第1画像情報を表示装置に表示させ、且つ、前記判定工程により前記障害物が有ると判定された場合に、前記画像情報の領域の一部であって前記障害物が含まれる第2領域に対応する第2画像情報を、前記第1画像情報と前記第2画像情報の位置関係を識別可能な態様で前記表示装置に表示させる表示制御工程と、
前記車両の運転者の視線方向を検知する視線検知工程と、
を有し、
前記表示制御工程は、前記第2画像情報を含む画像を前記表示装置に表示している間に、前記運転者の視線方向に基づき、前記運転者が前記表示装置を確認したと判定した場合に、前記第2画像情報を含まず、且つ前記第1画像情報を含む画像を前記表示装置に表示させる表示制御方法。
【請求項6】
表示制御装置のコンピュータにより実行されるプログラムであって、
前記コンピュータを、
車両の周囲が撮像された画像情報を取得する取得部と、
前記車両に対する障害物の有無を判定する判定部と、
前記判定部により前記障害物が無いと判定された場合に、前記画像情報の領域の一部である第1領域に対応する第1画像情報を表示装置に表示させ、且つ、前記判定部により前記障害物が有ると判定された場合に、前記画像情報の領域の一部であって前記障害物が含まれる第2領域に対応する第2画像情報を、前記第1画像情報と前記第2画像情報の位置関係を識別可能な態様で前記表示装置に表示させる表示制御部と、
前記車両の運転者の視線方向を検知する視線検知部と、
して機能させ、
前記表示制御部は、前記第2画像情報を含む画像を前記表示装置に表示している間に、前記運転者の視線方向に基づき、前記運転者が前記表示装置を確認したと判定した場合に、前記第2画像情報を含まず、且つ前記第1画像情報を含む画像を前記表示装置に表示させるプログラム。
【請求項7】
車両の周囲が撮像された画像情報を取得する取得部と、
前記画像情報の領域の一部である第1領域に対応する第1画像情報を生成する第1画像情報生成部と、
前記車両に接近している障害物の有無を判定する判定部と、
前記判定部により前記障害物が有ると判定された場合に、前記画像情報の領域の一部であって、前記障害物が含まれるまで前記第1領域を拡張した第2領域に対応する第2画像情報を生成する第2画像情報生成部と、
前記判定部により前記障害物が無いと判定された場合に、前記第1画像情報を表示装置に表示させ、前記判定部により前記障害物が有ると判定された場合に、前記第2画像情報を前記表示装置に表示させる表示切替部と、
前記第1画像情報と前記第2画像情報との位置関係を識別させる識別情報を生成し、前記表示装置に表示させる識別情報生成部と、
前記車両の運転者の視線方向を検知する視線検知部と、
を備え、
前記表示切替部は、前記第2画像情報を含む画像が前記表示装置に表示させている間に、前記運転者の視線方向に基づき、前記運転者が前記表示装置を確認したと判定された場合に、前記第2画像情報を含まず、且つ前記第1画像情報を含む画像を前記表示装置に表示させる表示制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御装置、表示制御方法及びプログラムに関する。
【背景技術】
【0002】
下記特許文献1には、運転支援装置、運転支援方法及び運転支援プログラムに関する技術が開示されている。この技術では、自車両のリアカメラ、左サイドカメラ、右サイドカメラのそれぞれを用いて撮像された3つの画像を合成して「基準画像」が生成される。
自車両の通常走行時には、リアカメラによる自車両の真後ろの後方視界を表す表示画像が「基準画像」から切り出され、この表示画像が表示部に表示される。表示部はインストルメンツパネルに配置されたナビゲーションシステムのディスプレイである。
一方、自車両の非通常走行時には、サイドカメラによる自車両の後側方の後方視界を表す表示画像及びリアカメラによる自車両の真後ろの後方視界を表す表示画像が「基準画像」から切り出され、この表示画像が表示部に表示される。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上記技術では、表示部において、通常走行時から非通常走行時へ切替わった際に、通常走行時の表示画像に対する、非通常走行時に加えられた表示画像の位置関係が運転者にとって把握し難い。このため、改善の余地があった。これは、発明が解決しようとする課題の一例として挙げられる。
【0005】
本発明は、車両の周囲を撮像した互いに異なる画像情報の位置関係を識別することができる表示制御装置、表示制御方法及びこの表示制御方法を実行するためのプログラムを提供する。
【課題を解決するための手段】
【0006】
請求項1に記載の発明は、表示制御装置において、車両の周囲が撮像された画像情報を取得する取得部と、前記車両に対する障害物の有無を判定する判定部と、前記判定部により前記障害物が無いと判定された場合に、前記画像情報の領域の一部である第1領域に対応する第1画像情報を表示装置に表示させ、且つ、前記判定部により前記障害物が有ると判定された場合に、前記画像情報の領域の一部であって前記障害物が含まれる第2領域に対応する第2画像情報を、前記第1画像情報と前記第2画像情報の位置関係を識別可能な態様で前記表示装置に表示させる表示制御部と、前記車両の運転者の視線方向を検知する視線検知部と、を備え、前記表示制御部は、前記第2画像情報を含む画像を前記表示装置に表示している間に、前記運転者の視線方向に基づき、前記運転者が前記表示装置を確認したと判定した場合に、前記第2画像情報を含まず、且つ前記第1画像情報を含む画像を前記表示装置に表示させることを特徴とする。
【0007】
請求項5に記載の発明は、表示制御装置が実行する表示制御方法であって、車両の周囲が撮像された画像情報を取得する取得工程と、前記車両に対する障害物の有無を判定する判定工程と、前記判定工程により前記障害物が無いと判定された場合に、前記画像情報の領域の一部である第1領域に対応する第1画像情報を表示装置に表示させ、且つ、前記判定工程により前記障害物が有ると判定された場合に、前記画像情報の領域の一部であって前記障害物が含まれる第2領域に対応する第2画像情報を、前記第1画像情報と前記第2画像情報の位置関係を識別可能な態様で前記表示装置に表示させる表示制御工程と、前記車両の運転者の視線方向を検知する視線検知工程と、を有し、前記表示制御工程は、前記第2画像情報を含む画像を前記表示装置に表示している間に、前記運転者の視線方向に基づき、前記運転者が前記表示装置を確認したと判定した場合に、前記第2画像情報を含まず、且つ前記第1画像情報を含む画像を前記表示装置に表示させることを特徴とする。
【0008】
請求項6に記載の発明は、表示制御装置のコンピュータにより実行されるプログラムであって、前記コンピュータを、車両の周囲が撮像された画像情報を取得する取得部と、前記車両に対する障害物の有無を判定する判定部と、前記判定部により前記障害物が無いと判定された場合に、前記画像情報の領域の一部である第1領域に対応する第1画像情報を表示装置に表示させ、且つ、前記判定部により前記障害物が有ると判定された場合に、前記画像情報の領域の一部であって前記障害物が含まれる第2領域に対応する第2画像情報を、前記第1画像情報と前記第2画像情報の位置関係を識別可能な態様で前記表示装置に表示させる表示制御部と、前記車両の運転者の視線方向を検知する視線検知部と、して機能させ、前記表示制御部は、前記第2画像情報を含む画像を前記表示装置に表示している間に、前記運転者の視線方向に基づき、前記運転者が前記表示装置を確認したと判定した場合に、前記第2画像情報を含まず、且つ前記第1画像情報を含む画像を前記表示装置に表示させることを特徴とする。
【0009】
請求項7に記載の発明は、表示制御装置において、車両の周囲が撮像された画像情報を取得する取得部と、前記画像情報の領域の一部である第1領域に対応する第1画像情報を生成する第1画像情報生成部と、前記車両に接近している障害物の有無を判定する判定部と、前記判定部により前記障害物が有ると判定された場合に、前記画像情報の領域の一部であって、前記障害物が含まれるまで前記第1領域を拡張した第2領域に対応する第2画像情報を生成する第2画像情報生成部と、前記判定部により前記障害物が無いと判定された場合に、前記第1画像情報を表示装置に表示させ、前記判定部により前記障害物が有ると判定された場合に、前記第2画像情報を前記表示装置に表示させる表示切替部と、前記第1画像情報と前記第2画像情報との位置関係を識別させる識別情報を生成し、前記表示装置に表示させる識別情報生成部と、前記車両の運転者の視線方向を検知する視線検知部と、を備え、前記表示切替部は、前記第2画像情報を含む画像が前記表示装置に表示させている間に、前記運転者の視線方向に基づき、前記運転者が前記表示装置を確認したと判定された場合に、前記第2画像情報を含まず、且つ前記第1画像情報を含む画像を前記表示装置に表示させることを特徴とする。
【図面の簡単な説明】
【0010】
【
図1】
図1は本発明の第1実施例に係る表示制御装置を含んで構築される表示制御システムと、この表示制御システムが搭載された車両及びその周囲との位置関係を説明する概略平面図である。
【
図2】
図2は
図1に示される表示制御装置及び表示制御システムのブロック構成図である。
【
図3】
図3(A)は
図1及び
図2に示される表示制御システムの表示装置の第1画像情報が表示されている状態を示す、車両の運転席に着座状態の運転者から見た正面図、
図3(B)は第2画像情報及び識別情報が表示されている状態を示す表示装置の正面図である。
【
図4】
図4(A)は
図2に示される表示制御装置において取得される画像情報を説明する概略斜視図、
図4(B)は
図4(A)に示される1フレームの画像情報とこの画像情報から生成される第1画像情報及び第2画像情報との関係を説明する模式図である。
【
図5】
図5は
図2に示される表示制御装置を用いた表示制御方法及びこの表示制御方法をコンピュータに実行させるためのプログラムを説明するフローチャートである。
【
図6】
図6(A)は第1実施例の第1変形例に係る表示制御装置及び表示制御システムにおいて表示装置の第1画像情報が表示されている状態を示す正面図、
図6(B)は第2画像情報及び識別情報が表示されている状態を示す表示装置の正面図、
図6(C)は画像情報と第1画像情報及び第2画像情報との関係を説明する模式図である。
【
図7】
図7(A)は第1実施例の第2変形例に係る表示制御装置及び制御表示システムにおいて表示装置の第1画像情報が表示されている状態を示す正面図、
図7(B)は第2画像情報及び識別情報が表示されている状態を示す表示装置の正面図、
図7(C)は画像情報と第1画像情報及び第2画像情報との関係を説明する模式図である。
【
図8】
図8は本発明の第2実施例に係る表示制御装置及び表示制御システムのブロック構成図である。
【
図9】
図9は
図8に示される表示制御装置を用いた表示制御方法及びこの表示制御方法をコンピュータに実行させるためのプログラムを説明するフローチャートである。
【
図10】
図10は
図8に示される表示制御装置において取得される画像情報とこの画像情報から生成される第1画像情報、第2画像情報及び中間画像情報との関係を説明する模式図である。
【
図11】
図11は第2実施例の第1変形例に係る表示制御装置及び表示制御システムにおいて画像情報と第1画像情報、第2画像情報及び中間画像情報との関係を説明する模式図である。
【
図12】
図12は第2実施例の第2変形例に係る表示制御装置及び表示制御システムにおいて画像情報と第1画像情報、第2画像情報及び中間画像情報との関係を説明する模式図である。
【
図13】
図13は第2実施例の第3変形例に係る表示制御装置及び表示制御システムにおいて画像情報と第1画像情報、第2画像情報及び中間画像情報との関係を説明する模式図である。
【
図14】
図14(A)は本発明の第3実施例に係る表示制御装置及び表示制御システムにおいて表示装置の第1画像情報及び識別情報が表示されている状態を示す正面図、
図14(B)は表示装置の第2画像情報及び識別情報が表示されている状態を示す正面図、
図14(C)、
図14(D)のそれぞれは識別情報の他の例を示す図である。
【
図15】
図15は本発明の第4実施例に係る表示制御装置及び表示制御システムにおいて取得される画像情報と第1画像情報及び第2画像情報との関係を説明する概略斜視図である。
【発明を実施するための形態】
【0011】
本発明の第1実施態様に係る表示制御装置は、車両の周囲が撮像された画像情報を取得する取得部と、画像情報の領域の一部である第1領域に対応し、表示装置に表示させる第1画像情報を生成する第1画像情報生成部と、画像情報の領域の一部であって第1領域とは異なる第2領域に対応し、表示装置に表示させる第2画像情報を生成する第2画像情報生成部と、第1画像情報と第2画像情報との位置関係を識別させる識別情報を生成し、表示装置に表示させる識別情報生成部と、を備えている。
【0012】
第1実施態様に係る表示制御装置は、取得部と、第1画像情報生成部と、第2画像情報生成部と、を備える。
取得部は、車両の周囲が撮像された撮像情報を取得する。第1画像情報生成部は、画像情報の領域の一部である第1領域に対応し、表示装置に表示させる第1画像情報を生成する。第2画像情報生成部は、画像情報の領域の一部であって第1領域とは異なる第2領域に対応し、表示装置に表示させる第2画像情報を生成する。
【0013】
ここで、表示制御装置は更に識別情報生成部を備える。識別情報生成部は、第1画像情報と第2画像情報との位置関係を識別させる識別情報を生成し、表示装置に表示させる。このため、車両の周囲を撮像した互いに異なる第1画像情報と第2画像情報との位置関係を表示装置において識別させることができる。
【0014】
本発明の第2実施態様に係る表示制御装置では、第1実施態様に係る表示制御装置において、第2領域は、第1領域の少なくとも一部を含む。
【0015】
第2実施態様に係る表示制御装置によれば、第2領域は第1領域の少なくとも一部を含むので、第1画像情報の少なくとも一部が含まれる第2画像情報を生成することができる。
例えば、表示装置に表示される第1画像情報に対して、第1画像情報の更に左右方向に車両の周囲の視野を拡張した第2画像情報を表示装置に表示させることができる。また、表示装置に表示される第1画像情報と、第1画像情報の一部を拡大した拡大画像情報とを第2画像情報として表示装置に表示させることができる。
さらに、表示制御装置では、第1画像情報から第2画像情報への切替えなので、表示装置において表示の切替えを瞬時に行うことができる。
【0016】
本発明の第3実施態様に係る表示制御装置では、第1実施態様に係る表示制御装置において、第2領域は、第1領域を含まない。
【0017】
第3実施態様に係る表示制御装置によれば、第2領域は第1領域を含まないので、第2画像情報は第1画像情報を含まないで生成され、第1画像情報の生成に対して第2画像情報を独立に生成することができる。
例えば、車両の周囲の後方を撮像した第1画像情報と、第1画像情報とは独立の車両の周囲の後側方を撮像した第2画像情報とを表示装置に表示させることができる。
【0018】
本発明の第4実施態様に係る表示制御装置では、第1実施態様又は第2実施態様に係る表示制御装置であって、第1画像情報の表示と第2画像情報の表示との切替えにおいて、第1画像情報の表示と第2画像情報の表示との間に表示装置に表示させる中間画像情報を生成する中間画像生成部を更に備え、中間画像情報には、画像情報の領域のうち第1領域と第2領域との間に位置する第3領域に対応する第3画像情報が含まれる。
【0019】
第4実施態様に係る表示制御装置は、中間画像生成部を更に備える。中間画像生成部は、第1画像情報の表示と第2画像情報の表示との切替えにおいて、第1画像情報の表示と第2画像情報の表示との間に表示装置に表示させる中間画像情報を生成する。中間画像情報には、画像情報の領域のうち第1領域と第2領域との間に位置する第3領域に対応する第3画像情報が含まれる。
このため、表示装置では、第1画像情報の表示から中間画像情報の表示を介して第2画像情報が表示されるので、表示の切替えが徐々に、或いは段階的に行われる。
また、中間画像情報には、画像情報の領域のうち第1領域と第2領域との間に位置する第3領域に対応する第3画像情報が含まれるので、第1画像情報から第2画像情報への切替え方向を把握し易くすることができる。
【0020】
本発明の第5実施態様に係る表示制御装置は、第1実施態様~第4実施態様のいずれか1つに係る表示制御装置において、第2画像情報の表示から第1画像情報の表示に切替える表示切替手段を更に備えている。
【0021】
第5実施態様に係る表示制御装置は、更に表示切替手段を備える。表示切替手段は、表示装置における第2画像情報の表示から第1画像情報の表示に切替えられる。このため、運転者においては、表示装置に表示された第2画像情報を確認した後に、表示装置の表示を第1画像情報に切替えることができる。
【0022】
本発明の第6実施態様に係る表示制御装置では、第1実施態様又は第3実施態様に係る表示制御装置において、第1領域に対する第2領域の配置方向に一致させて、第1画像情報に対して第2画像情報が表示装置に表示される。
【0023】
第6実施態様に係る表示制御装置によれば、車両の周囲を撮像した第1領域と第2領域との位置関係と表示装置に表示される第1画像情報と第2画像情報との位置関係を一致させることができる。
【0024】
本発明の第7実施態様に係る表示制御装置では、第1実施態様~第6実施態様のいずれか1つに係る表示制御装置において、識別情報は、表示装置に表示される第1画像情報に相当する領域を強調するマーク、又は第1画像情報に対して第2画像情報の位置関係を表すマークの情報とされる。
【0025】
第7実施態様に係る表示制御装置によれば、識別情報はマークの情報とされる。マークは、表示装置に表示される第1画像情報に相当する領域を強調する、又は第1画像情報に対して第2画像情報の位置関係を表す。このため、運転者においては、表示装置に表示されるマークの識別情報を見れば、一目瞭然で第1画像情報に対する第2画像情報の位置関係を識別することができる。
【0026】
本発明の第8実施態様に係る表示制御装置では、第1実施態様~第7実施態様のいずれか1つに係る表示制御装置において、画像情報、第1画像情報、第2画像情報及び識別情報を記憶する記憶部を更に備えている。
【0027】
第8実施態様に係る表示制御装置は、記憶部を更に備える。記憶部は、画像情報、第1画像情報、第2画像情報及び識別情報を記憶する。このため、記憶部において、車両の周囲を撮像した画像情報に加えて、表示装置に表示される第1画像情報、第2画像情報及び識別情報を記憶することができる。
【0028】
本発明の第9実施態様に係る表示制御装置では、第1実施態様~第7実施態様のいずれか1つに係る表示制御装置において、少なくとも画像情報を記憶する記憶部を更に備え、記憶部に記憶された画像情報において第1画像情報、第2画像情報のそれぞれが特定可能とされている。
【0029】
第9実施態様に係る表示制御装置は、記憶部を更に備える。記憶部は少なくとも画像情報を記憶する。記憶部に記憶された画像情報においては、第1画像情報、第2画像情報のそれぞれが特定可能とされる。例えば、第1画像情報、第2画像情報のそれぞれの生成の際に、画像情報の第1領域、第2領域のそれぞれに識別子が付けられて画像情報が記憶部に記憶される。このため、記憶部に記憶された画像情報から第1画像情報、第2画像情報のそれぞれが取出し可能とされる。
【0030】
本発明の第10実施態様に係る表示制御装置は、第1実施態様~第7実施態様のいずれかに係る表示制御装置において、表示装置に表示される第1画像情報及び第2画像情報を記憶する記憶部を更に備えている。
【0031】
第10実施態様に係る表示制御装置は、記憶部を更に備える。記憶部は表示装置に表示される第1画像情報及び第2画像情報を記憶する。このため、表示装置に表示される第1画像情報及び第2画像情報が記憶部から取出し可能とされる。
【0032】
本発明の第11実施態様に係る表示制御装置は、第1実施態様~第10実施態様に係る表示制御装置において、画像情報は、所定のフレームレートにおいて複数生成され、第1画像情報、第2画像情報のそれぞれは、画像情報の同一のフレーム又は異なるフレームにおける第1領域、第2領域の各々に対応して生成される。
【0033】
第11実施態様に係る表示制御装置では、画像情報は所定のフレームにおいて複数生成される。そして、第1画像情報、第2画像情報のそれぞれは画像情報の同一のフレームにおける第1領域、第2領域の各々に対応して生成される。このため、1つのフレームにおける画像情報から第1画像情報、第2画像情報のそれぞれが生成されるので、画像情報の使用効率を向上させることができ、更に時間差が無い同一タイミングにおいて第1画像情報、第2画像情報のそれぞれを生成することができる。
また、第1画像情報、第2画像情報のそれぞれを画像情報の異なるフレームにおける第1領域、第2領域の各々に対応して生成することができる。
【0034】
本発明の第12実施態様に係る表示制御装置は、車両の周囲の一部が撮像された第1画像情報、車両の周囲の一部が撮像された第1画像情報とは異なる第2画像情報のそれぞれを取得する取得部と、第1画像情報と第2画像情報との位置関係を識別させる識別情報を生成し、第1画像情報が表示される表示装置に第2画像情報を表示するときに、表示装置に識別情報を表示させる識別情報生成部と、を備えている。
【0035】
第12実施態様に係る表示制御装置は、取得部を備える。取得部は、車両の周囲の一部が撮像された第1画像情報、車両の周囲の一部が撮像された第1画像情報とは異なる第2画像情報のそれぞれを取得する。
【0036】
ここで、表示制御装置は、更に識別情報生成部を備える。識別情報生成部は、第1画像情報と第2画像情報との位置関係を識別させる識別情報を生成する。そして、識別情報生成部は、第1画像情報が表示される表示装置に第2画像情報を表示するときに、表示装置に識別情報を表示させる。このため、車両の周囲を撮像した互いに異なる第1画像情報と第2画像情報との位置関係を表示装置において識別させることができる。
【0037】
本発明の第13実施態様に係る表示制御方法は、車両の周囲が撮像された画像情報を取得する工程と、画像情報の領域の一部である第1領域に対応し、表示装置に表示させる第1画像情報を生成する工程と、画像情報の領域の一部であって第1領域とは異なる第2領域に対応し、表示装置に表示させる第2画像情報を生成する工程と、第1画像情報と第2画像情報との位置関係を識別させる識別情報を生成し、表示装置に表示させる工程と、を備えている。
【0038】
第13実施態様に係る表示制御方法では、まず車両の周囲が撮像された画像情報が取得される。この画像情報の領域の一部である第1領域に対応し、表示装置に表示させる第1画像情報が生成される。一方、画像情報の一部であって第1領域とは異なる第2領域に対応し、表示装置に表示させる第2画像情報が生成される。
【0039】
ここで、表示制御方法は、更に第1画像情報と第2画像情報との位置関係を識別させる識別情報を生成し、表示装置に識別情報を表示させる。このため、車両の周囲を撮像した互いに異なる第1画像情報と第2画像情報との位置関係を表示装置において識別させることができる。
【0040】
本発明の第14実施態様に係るプログラムは、取得部と、第1画像情報生成部と、第2画像情報生成部と、識別情報生成部とを備える表示制御装置の表示制御方法をコンピュータに実行させるためのプログラムであって、取得部が、車両の周囲が撮像された画像情報を取得する工程と、第1画像情報生成部が、画像情報の領域の一部である第1領域に対応し、表示装置に表示させる第1画像情報を生成する工程と、第2画像情報生成部が、画像情報の領域の一部であって第1領域とは異なる第2領域に対応し、表示装置に表示させる第2画像情報を生成する工程と、識別情報生成部が、第1画像情報と第2画像情報との位置関係を識別させる識別情報を生成し、表示装置に表示させる工程と、を備えている。
【0041】
第14実施態様に係るプログラムは、取得部と、第1画像情報生成部と、第2画像情報生成部と、識別情報生成部とを備える表示制御装置の表示制御方法をコンピュータに実行させる。
このプログラムでは、取得部が、車両の周囲が撮像された画像情報を取得する。第1画像情報生成部は、画像情報の領域の一部である第1領域に対応し、表示装置に表示させる第1画像情報を生成する。第2画像情報生成部は、画像情報の領域の一部であって第1領域とは異なる第2領域に対応し、表示装置に表示させる第2画像情報を生成する。
【0042】
ここで、プログラムでは、更に識別情報生成部が、第1画像情報と第2画像情報との位置関係を識別させる識別情報を生成し、表示装置に識別情報を表示させる。このため、車両の周囲を撮像した互いに異なる第1画像情報と第2画像情報との位置関係を表示装置において識別させることができる。
【実施例0043】
[第1実施例]
以下、
図1~
図5を用いて、第1実施例に係る表示制御装置、表示制御方法及びその方法をコンピュータに実行させるためのプログラムについて説明する。
なお、図中、適宜、示される矢印FRは一例としての普通自動車を対象とする車両の前方方向を示し、矢印RRは車両の後方方向を示す。また、矢印WLは車両の幅方向左側を示し、矢印WRは車両の幅方向右側を示し、矢印UPは車両の車両上方向を示す。これらの方向は、実施例を説明するために便宜的に使用される方向であって、本発明における方向を限定するものではない。
【0044】
(表示制御装置1及び表示制御システム100の構成)
図2に示されるように、第1実施例に係る表示制御システム100は表示制御装置1を含んで構築されている。表示制御システム100では、自車両としての車両Vm(
図1参照)の停止中や走行中において車両Vmの車室外の周囲の状況が撮像され、この撮像により取得された画像情報が記憶(録画)される構成とされている。また、表示制御システム100は、画像情報の特定の領域に対応する第1画像情報、第2画像情報のそれぞれを生成し、適宜、表示装置30に表示する構成とされている。
なお、本実施例では、車両として普通自動車に適用された例を説明するが、車両には、バス、トラック、二輪車、自転車が少なくとも含まれる。車両として、更に鉄道、船舶、航空機が含まれてもよい。
【0045】
詳しく説明すると、表示制御システム100は、表示制御装置1と、撮像装置10と、画像認識部15と、接近センサ16と、視線センサ17と、表示装置30とを含んで構築されている。
以下、表示制御システム100の各構成要素について説明する。
【0046】
(撮像装置10の構成)
図1及び
図2に示されるように、撮像装置10は、車両室外用カメラとして、フロントカメラ11と、リアカメラ(バックカメラ)12と、右サイドカメラ13と、左サイドカメラ14とを備えている。
【0047】
図1に示されるように、フロントカメラ11は、車両Vmの例えば車両室内のフロントウインドウガラスに近接した位置に車両前方に向けて装着されている。フロントカメラ11は、車両Vmの周囲であって車両前方の撮像を行い、車両前方の画像情報PFを取得する。
リアカメラ12は、車両Vmの例えば車両室内のリアウインドウガラスに近接した位置に車両後方に向けて装着されている。リアカメラ12は、車両Vmの周囲であって車両後方の撮像を行い、車両後方の画像情報PRを取得する。
【0048】
右サイドカメラ13は、車両Vmの例えば車両室外の右サイドミラー(ここでは右ドアミラー)の位置に、又はその近傍の位置に、又は右サイドミラーが配設可能な位置に車両後右側方に向けて装着されている。右サイドカメラ13は、車両Vmの周囲であって車両後右側方の撮像を行い、車両後右側方の画像情報PWRを取得する。
左サイドカメラ14は、車両Vmの例えば車両室外の左サイドミラー(ここでは左ドアミラー)の位置に、又はその近傍の位置に、又は左サイドミラーが配設可能な位置に車両後左側方に向けて装着されている。左サイドカメラ14は、車両Vmの周囲であって車両後左側方の撮像を行い、車両後左側方の画像情報PWLを取得する。
【0049】
フロントカメラ11、リアカメラ12、右サイドカメラ13、左サイドカメラ14は、いずれも、例えば二次元イメージセンサを主要な撮像デバイスとして構成されている。二次元イメージセンサには、例えばCCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを実用的に使用することができる。
特に、フロントカメラ11、リアカメラ12のそれぞれは広角カメラとされ、広角カメラでは視野角が例えば120度~170度の広角度に設定されている。つまり、フロントカメラ11、リアカメラ12のそれぞれでは、広角の画像情報PF、画像情報PRの各々を取得することができる。
ここでは、撮像装置10として4つのカメラ(フロントカメラ11~左サイドカメラ14)が配設されているが、本実施例では、少なくともフロントカメラ11及びリアカメラ12が装着されていればよい。また、表示制御システム100は、4つのカメラに加えて、車両室内を撮像する車両室内用カメラが装着され、車両Vmの周囲だけでなく、車両室内を撮像した画像情報を取得してもよい。
【0050】
(画像認識部15の構成)
図1に示されるように、画像認識部15は、本実施例では、フロントカメラ11の近傍であって、車両室内のフロントウインドウガラスの近傍の位置に車両前方に向けて装着されている。また、画像認識部15は、リアカメラ12の近傍であって、車両室内のリアウインドウガラスの近傍の位置にも車両後方に向けて装着されている。
画像認識部15では、車両Vmの周囲に停止中や走行中の他車両、人、障害物等(以下、単に「他車両等」という。)がカメラにより撮像され、ここでは撮像された画像情報が画像認識処理により解析され、他車両等が認識される。この認識された認識情報は表示制御装置1へ伝送される。
なお、画像認識部15は、ここでは表示制御装置1の外付け部品として構成されているが、表示制御装置1に含まれてもよい。また、撮像装置10のカメラ毎に画像認識部15が配設される必要はなく、例えば必要性が最も高い車両前方側に向けて装着された画像認識部15だけが車両Vmに装着されていればよい。
【0051】
(接近センサ16の構成)
図1に示されるように、接近センサ16は、本実施例では、フロントカメラ11の近傍であって、車両室内のフロントウインドウガラスの近傍の位置に車両前方に向けて装着されている。また、接近センサ16は、リアカメラ12の近傍であって、車両室内のリアウインドウガラスの近傍にも車両後方に向けて装着されている。
接近センサ16として、例えばレーザレーダセンサ、マイクロ波レーダセンサ、赤外線センサ、超音波センサ等のセンサを実用的に使用することができる。接近センサ16では車両Vmの周囲の他車両等を検知することができる。この検知された近接検知情報は表示制御装置1に伝送される。
なお、画像認識部15と同様に、接近センサ16は表示制御装置1に含まれていてもよく、又接近センサ16の配置数は限定されるものではない。
【0052】
(視線センサ17の構成)
図1に示されるように、視線センサ17は、本実施例では、フロントカメラ11の近傍であって、フロントカメラ11よりも車両後方側において、
図3(A)に示されるように、表示装置30の周囲の下部に車両室内に向かって装着されている。視線センサ17は、車両Vmの運転席に着座状態の運転者の視線方向を検知する構成とされている。
ここでは、運転者の視線が車両前方から表示装置30へ、つまり、右ハンドル車の場合、運転者の視線が正面から左斜め上方へ切替った際に、視線センサ17はこの視線方向の変化を検知する。この検知された視線検知情報は表示制御装置1へ伝送させ、表示制御装置1では表示装置30に表示されている画像情報が切替えられる。本実施例では、視線センサ17は、表示装置30に表示されている第2画像情報を第1画像情報の表示に切替える表示切替部(表示切替手段)18を構築している。表示装置30に表示される第1画像情報、第2画像情報については、後に詳述する。
なお、画像認識部15と同様に、視線センサ17は表示制御装置1に含まれていてもよい。
【0053】
(表示装置30の構成)
図1に示されるように、表示装置30は、フロントカメラ11の近傍であって、フロントカメラ11よりも車両後方側において車両室内に向かって装着されている。表示装置30は、車両後方側を視認するルームミラー(又はバックミラー)に代えて、このルームミラーの装着位置に装着されている。
表示装置30は、
図3(A)に示されるように、筐体32と、表示部31とを含んで構成されている。
筐体32は、車両幅方向を長手方向とし、車両上下方向を短手方向とし、車両前後方向を厚さ方向とする矩形立方体形状に形成されている。筐体32は例えば樹脂成形品とされている。
表示部31は筐体32の車両後方側のほぼ全面に配設されている。表示部31には液晶ディスプレイが使用されている。この表示部31の駆動回路等の図示省略の回路部は、表示部31の車両前方側であって筐体32の内部に配置されている。なお、表示部31としては、液晶ディスプレイに代えて、有機エレクトロルミネッセンスディスプレイを使用することができる。
【0054】
(表示制御装置1の構成)
図2に示されるように、表示制御装置1は、インターフェイス(IF)2及びインターフェイス(IF)9と、画像情報取得部3と、画像情報生成部4と、判定部5と、中央演算処理ユニット(CPU)6と、第1記憶部7と、第2記憶部8とを備えている。これらインターフェイス2等は共通バス20を介して相互に接続されている。
【0055】
(1)インターフェイス2の構成
インターフェイス2は入力側インターフェイスとして配設されている。インターフェイス2には、撮像装置10のフロントカメラ11、リアカメラ12、右サイドカメラ13、左サイドカメラ14のそれぞれが接続され、更に画像認識部15、接近センサ16、視線センサ17のそれぞれが接続されている。一方、インターフェイス2は、共通バス20に接続されている。
インターフェイス2は、撮像装置10から出力される画像情報、及び画像認識部15から出力される認識情報、接近センサ16から出力される近接検知情報、視線センサ17から出力される視線検知情報のそれぞれを含む各種情報を表示制御装置1の内部へ取込む。そして、インターフェイス2では、取込まれた画像情報が共通バス20を介して画像情報取得部3等へ伝送され、又取込まれた各種情報が共通バス20を介して判定部5等へ伝送される。
【0056】
(2)画像情報取得部3の構成
画像情報取得部3では、撮像装置10のフロントカメラ11により撮像された車両Vmの周囲(車両前方)の画像情報PFがインターフェイス2を介して取得される。同様に、画像情報取得部3では、リアカメラ12により撮像された車両Vmの周囲(車両後方)の画像情報PRがインターフェイス2を介して取得される。また、画像情報取得部3では、右サイドカメラ13により撮像された画像情報PWR、左サイドカメラ14により撮像された画像情報PWLのそれぞれが取得される。
【0057】
なお、本実施例では、リアカメラ12により撮像された画像情報PRの特定の領域を表示装置30に表示させる例を主体として説明する。それ以外のフロントカメラ11により撮像された画像情報PFの特定の領域を表示させる例等は、画像情報PRの特定の領域を表示させる例と同様であるので、ここでの説明を省略する。
【0058】
図4(A)に示されるように、例えばリアカメラ12では、所定のフレームレートにおいて、時間の経過と共に、複数の画像情報PR(1)、画像情報PR(2)、…、画像情報PR(n-1)、画像情報PR(n)のそれぞれが順次撮像される。ここで、実施例の説明において、nはゼロを除く自然数、すなわち、1、2、3、…である。所定のフレームレートとしては、例えば30FPS(Frames Per Second)或いは27.5FPSが使用され、記憶容量の増加が抑制されている。
画像情報PR(1)等の1フレームの画像情報PRは、
図4(B)に示されるように、縦横にマトリックス形状に配列されたリアカメラ12の画素に対応して生成されている。ここでは、理解し易くするために、縦方向に12個、横方向に20個、合計240個の画素に対応して画像情報PRが生成されるものとし、画像情報PRを簡略的に説明する。
【0059】
(3)画像情報生成部4の構成
図2に示されるように、画像情報生成部4は、第1画像情報生成部41と、第2画像情報生成部42とを備え、更に識別情報生成部43を備えて構成されている。
【0060】
第1画像情報生成部41は、
図1、
図4(A)及び
図4(B)に示されるように、リアカメラ12により撮像された画像情報PRの領域の一部である第1領域に対応し、表示装置30に表示させる第1画像情報PR1を生成する。第1画像情報PR1は、
図4(B)に示される画像情報PRでは、中央部分の縦方向に4個、横方向に10個、合計40個の画素に対応する領域を第1領域として切り出して生成される。第1画像情報PR1は、
図3(A)に示されるように、車両Vmの通常走行時(ここでは通常停車時)として、常時、表示装置30に表示させる画像として生成される。
なお、第1画像情報PR1は、1フレームの画像情報PRでは静止画として生成されるが、所定のフレームレートにおいて複数の画像情報PRから生成されるので、動画として生成されている。
【0061】
第2画像情報生成部42は、
図1、
図4(A)及び
図4(B)に示されるように、画像情報PRの領域の一部であって第1領域とは異なる第2領域に対応し、表示装置30に表示させる第2画像情報PR2を生成する。第2画像情報PR2は、
図4(B)に示される画像情報PRでは、第1領域をすべて含んでこの第1領域と重複し、縦方向に6個、横方向に16個、合計96個の画素に対応する領域を第2領域として切り出して生成される。第2画像情報PR2は、
図3(B)に示されるように、車両Vmの非通常走行時(ここでは非通常停車時)として、第1画像情報PR1の表示から切替えて表示装置30に表示させる画像として生成される。
【0062】
ここで、非通常停車時とは、
図1及び
図2に示される画像認識部15により車両Vmの車両後方左側に例えば「人H」が認識されたときであって、通常停車時よりも安全性を向上させるとき、という意味で使用されている。接近センサ16により例えば「人H」が検知されたときは、同様に非通常停車時である。第2画像情報PR2は、「人H」が表示される領域まで拡張されて生成され、そして、
図3(B)に示されるように表示装置30に表示される。ここで、リアカメラ12により撮像された画像情報PR、第1画像情報PR1、第2画像情報PR2のそれぞれは、一般的に左右が反転されて表示装置30に表示される。
なお、
図3(B)に示される第2画像情報PR2は第1画像情報PR1をすべて含んで生成されているが、第1画像情報PR1の一部を含んで第2画像情報PR2が生成されてもよい。
【0063】
ここで、前述の通り、第1画像情報PR1、第2画像情報PR2のそれぞれは画像情報PRから生成され、この画像情報PRには第1画像情報PR1及び第2画像情報PR2が含まれている。このため、
図2に示される画像情報取得部3では、画像情報PRが取得されると共に、少なくとも第1画像情報PR1、第2画像情報PR2のそれぞれが取得される。
【0064】
識別情報生成部43は、
図3(B)に示されるように、第1画像情報PR1と第2画像情報PR2との位置関係を識別させる識別情報IMを生成し、この識別情報IMを表示装置30に表示させる。識別情報IMは、表示装置30に表示される第2画像情報PR2に重ね合わせて表示される。識別情報IMは、第1画像情報PR1に相当する輪郭を取囲み、第1画像情報PR1に相当する領域を強調するマークの情報とされている。識別情報IMは、第1画像情報PR1の輪郭形状に対応して、車両幅方向を長手方向とする矩形枠形状に設定されている。
なお、表示装置30に第2画像情報PR2を表示させる際に、識別情報IMの表示に加えて、「注意」、「注意して下さい」、「後方を確認して下さい」等の注意を喚起するメッセージや記号が表示されてもよい。
【0065】
(4)判定部5及び表示切替部18の構成
図2に示される判定部5では、画像認識部15により認識された他車両等の認識情報が取得され、この認識情報に基づいて車両(自車両)Vmに他車両等が接近しているか否かが判定される。また、判定部5では、接近センサ16から出力される近接検知情報が取得され、この近接検知情報に基づいて車両Vmに他車両等が接近しているか否かが判定される。
判定部5は、他車両等の車両Vmへの接近距離が一定の閾値を超えたときに、第2画像情報生成部42において第2画像情報PR2を生成させる。第2画像情報PR2が生成されると、表示装置30では、第1画像情報PR1を切替えて第2画像情報PR2が表示される。
【0066】
さらに、判定部5及び視線センサ17は表示切替部(表示切替手段)18を構成する。判定部5では、視線センサ17により検知された視線検知情報に基づいて、運転者が視線方向を変えたか否かが判定される。ここでは、運転者が正面方向から表示装置30の方向へ視線方向を変えたか否かが判定される。表現を代えれば、判定部5において、表示装置30に表示される第2画像情報PR2を運転者が確認したか否かが判定される。
判定部5は、運転者が視線方向を変えたと判定したとき、表示装置30において第2画像情報PF2の表示から第1画像情報PF1の表示に切替える。つまり、表示切替部18は、表示装置30の表示を元の通常停車時の第1画像情報PF1へ戻す構成とされている。
【0067】
(5)中央演算処理ユニット6、第1記憶部7及び第2記憶部8の構成
図2に示されるように、中央演算処理ユニット6は、コンピュータを構築し、共通バス20を介して表示制御装置1の画像情報取得部3、画像情報生成部4、判定部5等の各構成要素の動作を制御する。
【0068】
第1記憶部7は、例えば読出し専用記憶回路(例えば、ROM:Read Only Memory)及び書込み読出し記憶回路(例えば、RAM:Random Access Memory)を含んで構成されている。第1記憶部7は共通バス20に接続されている。第1記憶部7には、表示制御装置1の動作制御に必要なプログラムが格納され、又中央演算処理ユニット6において実行中の情報が一時的に格納される。
【0069】
第2記憶部8は、例えば不揮発性記憶装置、ハードディスク等の大記憶容量を有する記憶装置として配設されている。第2記憶部8は共通バス20に接続されている。第2記憶部8には、画像情報取得部3により取得された画像情報PRが記憶される。さらに、第2記憶部8には、第1画像情報生成部41により生成された第1画像情報PR1、第2画像情報生成部42により生成された第2画像情報PR2、識別情報生成部43により生成された識別情報IMが記憶される。
また、本実施例に係る表示制御装置1は、図示省略の衝撃センサ(加速度センサ)を備え、ドライブレコーダとしての機能を含んでいるので、第2記憶部8には、衝撃を受けた前後の画像情報PRが別ファイルとして自動的に記憶される。
【0070】
勿論、第2記憶部8には、
図1に示されるように、フロントカメラ11により撮像された画像情報PFが記憶される。併せて、第2記憶部8には、第1画像情報生成部41により生成された第1画像情報PF1、第2画像情報生成部42により生成された第2画像情報PF2、識別情報生成部43により生成された識別情報IM(
図3(B)参照)が記憶される。
さらに、第2記憶部8には、右サイドカメラ13により撮像された画像情報PWR、左サイドカメラ14により撮像された画像情報PWLが記憶される。
【0071】
また、第2記憶部8は少なくとも画像情報PRを記憶する構成とし、第2記憶部8に記憶された画像情報PRにおいて第1画像情報PR1、第2画像情報PR2のそれぞれが特定可能とされる構成としてもよい。例えば、第2記憶部8に画像情報PRを記憶する際に、画像情報PRの第1領域に対応する第1画像情報PR1にこの第1画像情報PR1を識別する識別子が付加され、第2領域に対応する第2画像情報PR2にこの第2画像情報PR2を識別する識別子が付加される。第1画像情報PR1、第2画像情報PR2のそれぞれは、第2記憶部8に記憶される際には、時系列な情報であるので、この情報の例えば前段に識別子が付加される。このように識別子が付加された第1画像情報PR1、第2画像情報PR2のそれぞれは、必要に応じて、適宜、第2記憶部8から取出し可能とされる。
【0072】
さらに、第2記憶部8は、2以上の記憶領域を有する、又は2個以上の記憶装置により構成してもよい。そして、第2記憶部8の1つの記憶領域又は記憶装置には画像情報PRが記憶され、他の1つの記憶領域又は記憶装置には表示装置30に表示させる第1画像情報PR1、第2画像情報PR2のそれぞれが記憶される。
【0073】
(6)インターフェイス9の構成
インターフェイス9は出力側インターフェイスとして配設されている。インターフェイス9は共通バス20に接続され、このインターフェイス9には表示装置30が接続されている。インターフェイス9は、第1画像情報生成部41により生成された第1画像情報PR1、第2画像情報生成部42により生成された第2画像情報PR2、識別情報生成部43により生成された識別情報IMのそれぞれを表示装置30へ出力する。
【0074】
(表示制御方法及びその方法を実行するためのプログラム)
図1~
図4を参照しつつ、
図5を用いて、表示制御装置1及び表示制御システム100を用いた表示制御方法について説明し、併せて表示制御方法を実行するためのプログラムについて説明する。
前述の通り、リアカメラ12により撮像された画像情報PRの特定の領域(第1領域及び第2領域)を表示装置30に表示させる方法を主体に説明するが、フロントカメラ11により撮像された画像情報PFの特定の領域を表示させる例についても説明する。なお、画像情報PFの特定の領域は、車両Vmの車両室内に装着された図示省略の表示装置に表示される。この表示装置としては、例えばナビゲーションシステムの表示装置、ドライブレコーダの表示装置等が使用される。
【0075】
図5に示されるように、表示制御方法が開始され、プログラムが実行されると、最初に、車両Vmのアクセサリ電源(ACC)がONであるか否かが判定される(ステップS1)。アクセサリ電源がOFFであると判定されると、表示制御方法は終了し、プログラムの実行が停止される。
【0076】
アクセサリ電源がONであると判定されると、表示制御装置1及び表示制御システム100が起動される(ステップS2)。表示制御システム100が起動されると、撮像装置10のフロントカメラ11、リアカメラ12等の撮像装置10、画像認識部15、接近センサ16、視線センサ17、表示装置30のそれぞれが起動される。また、表示制御装置1が起動されると、インターフェイス2、画像情報取得部3、画像情報生成部4、判定部5、中央演算処理ユニット6、第1記憶部7、第2記憶部8、インターフェイス9のそれぞれが起動される。
【0077】
引き続き、車両Vmが前進走行であるか、後進走行であるかが判定される(ステップS3)。ここで、前進走行ではないと判定されると、後進走行であるか否かが判定される(ステップS14)。
ここで、前進走行であるか、後進走行であるかの判定には、例えば車両Vmの図示省略のシフト装置が使用されている。具体的には、シフト装置のシフトレバーがドライブレンジ等の前進走行のポジションにあるとき、前進走行であると判定される。逆に、シフトレバーがリバースレンジの後進走行のポジションにあるとき、後進走行であると判定される。なお、この場合、シフトレバーのポジションにより前進走行か後進走行かが判定されるので、車両Vmが実際に走行しているか否かは判定には関係無い。
【0078】
ステップS14において、後進走行でないと判定されると、表示制御装置1の起動を継続するか否かが判定される(ステップS12)。継続すると判定されると、ステップS3へ処理が戻る。継続しないと判定されると、アクセサリ電源をOFFにするか否かが判定される(ステップS13)。アクセサリ電源をOFFにしないと判定されると、ステップS3に処理が戻る。アクセサリ電源をOFFにすると判定されると、本実施例に係る表示制御方法が終了し、プログラムの実行が終了する。
【0079】
一方、ステップS14において、車両Vmが後進走行であると判定されると、
図1に示されるように、撮像装置10のリアカメラ12により車両Vmの周囲の車両後方を撮像した画像情報PRが、表示制御装置1の画像情報取得部3に取得される(ステップS15)。画像情報PRは、リアカメラ12からインターフェイス2、共通バス20のそれぞれを介して画像情報取得部3に取得される。また、画像情報PRは、
図4(A)及び
図4(B)に示されるように、広角の画像情報として所定のフレームレートにおいて取得される。
画像情報取得部3により取得された画像情報PRは、
図2に示される第2記憶部8に記憶される(ステップS16)。
【0080】
画像情報取得部3に取得された画像情報PRに基づいて、
図2に示される第1画像情報生成部41は、
図4(B)に示されるように、画像情報PRの領域の一部である第1領域に対応する第1画像情報PR1を生成する。この第1画像情報PR1は、共通バス20、インターフェイス9のそれぞれを介して表示装置30へ伝送され、
図3(A)に示されるように、車両Vmの周囲の車両後方を撮像した映像として表示装置30に表示される(ステップS17)。
【0081】
なお、本実施例に係る表示制御方法及びプログラムでは、ステップS3、ステップS14において後進走行であるか否かの判定に関わらず、表示制御装置1及び表示制御システム100が起動されると、常時、画像情報PRが画像情報取得部3に取得される。そして、常時、画像情報PRが第2記憶部8に記憶され、更に、常時、第1画像情報生成部41により第1画像情報PR1が生成されて表示装置30に表示される方法とされている。すなわち、ルームミラーに代えて、ルームミラーに相当する表示装置30が表示制御システム100に組込まれているので、常時、表示装置30には第1画像情報PR1が表示される構成とされている。
【0082】
引き続き、他車両等の障害物が接近しているか否かが判定される(ステップS18)。障害物の接近は、
図2に示される画像認識部15からの認識情報又は接近センサ16からの検知情報に基づいて判定部5により判定される。本実施例では、画像認識部15及び接近センサ16の2種類の手法を用いて、障害物の接近に対する判定精度を向上させているが、基本的にはいずれか一方の手法により判定が実施可能である。
障害物が接近していないと判定されると、ステップS12へ処理が移行する。
【0083】
一方、ステップS18において、障害物が近接していると判定されると、画像情報PRに基づいて、
図2に示される第2画像情報生成部42は、
図4(B)に示されるように、画像情報PRの領域の一部である第2領域に対応する第2画像情報PR2を生成する。この第2画像情報PR2は、共通バス20、インターフェイス9のそれぞれを介して表示装置30へ伝送され、
図3(B)に示されるように、車両Vmの周囲の車両後方を左右方向へ拡張して撮像した映像として表示装置30に表示される(ステップS19)。
ここでは、ステップS18において車両Vmの後左側方に「人H」を障害物が接近していると判定したので、障害物が表示される範囲まで拡張された第2画像情報PR2が、第2画像情報生成部42により生成され、表示装置30に表示される。
【0084】
さらに、第2画像情報PR2の生成と同時に、又は前後して、
図2に示される識別情報生成部43では、第1画像情報PR1に対する第2画像情報PR2の位置関係を識別させる識別情報IMが生成される。識別情報IMは、共通バス20、インターフェイス9のそれぞれを介して表示装置30へ伝送され、
図3(B)に示されるように、表示装置30に表示される(ステップS20)。
識別情報IMは、
図3(B)及び
図4(B)に示されるように、画像情報PRの第1領域、つまり第1画像情報PR1の輪郭を取囲み、第1画像情報PR1に相当する領域を視覚的に強調するマークの情報として表示される。
【0085】
引き続き、表示装置30での第2画像情報PR2の表示を解除するか否か、つまり第2画像情報PR2から元の第1画像情報PR1の表示に切替えるか否かが判定される(ステップS21)。この判定には、
図2に示される表示切替部18が使用される。表示切替部18では、車両Vmの運転席に着座状態の運転者の視線方向が視線センサ17により検知され、この検知情報に基づいて、運転者が表示装置30に表示されている第2画像情報PR2を確認したか否かが判定部5により判定される。
ステップS21において、運転者が表示装置30に表示されている第2画像情報PR2を確認したと判定されると、第2画像情報PR2の表示が解除され(ステップS22)、表示装置30に第1画像情報PR1が表示される。つまり、第2画像情報PR2から元の第1画像情報PR1の表示に切替えられる。この後、ステップS12へ処理が移行される。
【0086】
ステップS21において、第2画像情報PR2の表示が解除されないと判定されると、ステップS12へ処理が移行する。このとき、ステップS22における表示の解除に比し長い切替時間に設定された一定の時間経過後に、第2画像情報PR2から元の第1画像情報PR1へ切替えられる。一定の時間としては、例えば数秒~十数秒が適切である。なお、車両Vmに他車両等の接近がなくなったときに、第2画像情報PR2から元の第1画像情報PR1へ切替えが行われてもよい。
【0087】
また、ステップS3において、車両Vmが前進走行であると判定されると、
図1に示される撮像装置10のフロントカメラ11により車両Vmの周囲の車両前方を撮像した画像情報PFが表示制御装置1の画像情報取得部3に取得される(ステップS4)。画像情報PFは、フロントカメラ11からインターフェイス2、共通バス20のそれぞれを介して画像情報取得部3に取得される。また、画像情報PFは、画像情報PRと同様に、広角の画像情報として所定のフレームレートにおいて取得される(
図4(A)及び
図4(B)参照)。
画像情報取得部3により取得された画像情報PFは、
図2に示される第2記憶部8に記憶される(ステップS5)。
【0088】
画像情報取得部3に取得された画像情報PFに基づいて、
図2に示される第1画像情報生成部41は、第1画像情報PR1と同様に、画像情報PFの領域の一部である第1領域に対応する第1画像情報PF1を生成する(
図1及び
図4(B)参照)。第1画像情報PF1は、共通バス20、インターフェイス9のそれぞれを介して図示省略の表示装置へ伝送され、車両Vmの周囲の車両前方を撮像した映像として表示装置に表示される(ステップS6。
図3(A)参照)。
【0089】
ここで、本実施例に係る表示制御方法及びプログラムでは、表示装置30の第1画像情報PR1の表示と同様に、前進走行であるか否かの判定に関わらず、常時、画像情報PFが取得されて記憶され、そして第1画像情報PF1が生成されて表示装置に表示される。
【0090】
引き続き、障害物が接近しているか否かが判定される(ステップS7)。障害物の接近は、
図2に示される画像認識部15からの認識情報又は接近センサ16からの検知情報に基づいて判定部5により判定される。
障害物が接近していないと判定されると、ステップS3へ処理が戻る。
【0091】
一方、ステップS7において、障害物が近接していると判定されると、画像情報PFに基づいて、
図2に示される第2画像情報生成部42は、画像情報PFの領域の一部である第2領域に対応する第2画像情報PF2を生成する(
図4(B)参照)。この第2画像情報PF2は、共通バス20、インターフェイス9のそれぞれを介して図示省略の表示装置へ伝送され、車両Vmの周囲の車両前方を左右方向へ拡張して撮像した映像として表示装置に表示される(ステップS8。
図3(B)参照)。
【0092】
さらに、第2画像情報PF2の生成と同時に、又は前後して、
図2に示される識別情報生成部43では、第1画像情報PF1に対する第2画像情報PF2の位置関係を識別させる図示省略の識別情報(
図3(B)に示される識別情報IM参照)が生成される。識別情報は、共通バス20、インターフェイス9のそれぞれを介して表示装置へ伝送され、表示装置に表示される(ステップS9)。
識別情報は、
図3(B)に示される識別情報IMと同様に、画像情報PFの第1領域、つまり第1画像情報PF1の輪郭を取囲み、第1画像情報PF1に相当する領域を視覚的に強調するマークの情報として表示される。
【0093】
引き続き、表示装置での第2画像情報PF2の表示を解除するか否か、つまり第2画像情報PF2から元の第1画像情報PF1の表示に切替えるか否かが判定される(ステップS10)。この判定には、
図2に示される表示切替部18が使用される。
ステップS10において、運転者が表示装置に表示されている第2画像情報PF2を確認したと判定されると、第2画像情報PF2の表示が解除され(ステップS11)、表示装置に元の第1画像情報PF1が表示される。この後、ステップS12へ処理が移行される。
【0094】
ステップS10において、第2画像情報PF2の表示が解除されないと判定されると、一定の時間経過後に、第2画像情報PF2の表示が解除され、ステップS12へ処理が移行する。なお、車両Vmに他車両等の接近がなくなったときに、第2画像情報PR2から元の第1画像情報PR1へ切替えが行われてもよい。
【0095】
なお、ここでは、フロントカメラ11により撮像された画像情報PFの特定の領域、リアカメラ12により撮像された画像情報PRの特定の領域の表示制御方法及びプログラムについて説明している。
図1に示される右サイドカメラ13により撮像された画像情報PWRの特定の領域、左サイドカメラ14により撮像された画像情報PWLの特定の領域の表示制御方法及びプログラムは同様であるので、ここでの説明は省略する。
【0096】
(作用効果)
以上説明したように、本実施例に係る表示制御装置1は、
図2に示されるように、画像情報取得部(取得部)3と、第1画像情報生成部41と、第2画像情報生成部42と、を備える。
画像情報取得部3は、
図1に示される車両Vmの周囲、ここでは特に車両後方が撮像された画像情報PRを取得する。第1画像情報生成部41は、画像情報PRの領域の一部である第1領域に対応し、表示装置30に表示させる第1画像情報PR1を生成する。第2画像情報生成部42は、画像情報PRの領域の一部であって第1領域とは異なる第2領域に対応し、表示装置30に表示させる第2画像情報PR2を生成する。
【0097】
ここで、
図2に示されるように、表示制御装置1は更に識別情報生成部43を備える。識別情報生成部43は、第1画像情報PR1と第2画像情報PR2との位置関係を識別させる識別情報IMを生成し、
図3(B)に示されるように、表示装置30に表示させる。このため、車両Vmの周囲を撮像した互いに異なる第1画像情報PR1と第2画像情報PR2との位置関係を表示装置30において識別させることができる。すなわち、表示装置30に表示される、通常停車時の第1画像情報PR1に対する、非通常停車時の第2画像情報PR2の位置関係が、運転者にとって一目瞭然に把握し易くすることができる。
【0098】
また、表示制御装置1では、
図4(B)に示されるように、第2領域は第1領域の少なくとも一部を含むので、
図3(B)に示されるように、第1画像情報PR1の少なくとも一部が含まれる第2画像情報PR2を生成することができる。ここでは、表示装置30に表示される第1画像情報PR1(
図3(A)参照)に対して、第1画像情報PR1の更に左右方向に車両Vmの周囲の車両後方の視野を拡張した第2画像情報PR2を表示装置30に表示させることができる。
そして、表示制御装置1では、
図3(A)及び
図3(B)に示されるように、第1画像情報PR1から第2画像情報PR2への切替えなので、表示装置30において表示の切替えを瞬時に行うことができる。これにより、仮に、障害物が接近したときには、その情報を瞬時に表示装置30に表示させることができるので、即座に障害物を回避することができる。
【0099】
また、表示制御装置1では、
図3(B)及び
図4(B)に示されるように、ここでは表示装置30に表示される第2画像情報PR2は第1画像情報PR1を含んで1画面として生成される。このため、表示装置30の表示部31の全域に第2画像情報PR2が大画面表示とされるので、第2画像情報PR2に対する運転者の視認性を向上させることができる。
【0100】
さらに、表示制御装置1は、
図2に示されるように、表示切替部(表示切替手段)18を備える。表示切替部18は、運転者の視線方向を検知する視線センサ17と、視線センサ17の検知情報に基づいて視線方向の変化を判定して第2画像情報PR2から第1画像情報PR1へ表示装置30の表示を切替える判定部5とを含んで構成される。
このため、運転者においては、表示装置30に表示された第2画像情報PR2を確認した後に、表示装置30の表示を第1画像情報PR1に自動的に切替えることができる。
【0101】
また、表示制御装置1では、
図3(B)に示されるように、識別情報IMはマークの情報とされる。マークは、表示装置30に表示される第1画像情報PR1に相当する領域を強調する。このため、運転者においては、表示装置30に表示されるマークの識別情報IMを見れば、一目瞭然で第1画像情報PR1に対する第2画像情報PR2の位置関係を識別することができる。
【0102】
さらに、表示制御装置1は、
図2に示されるように、第2記憶部(記憶部)8を備える。第2記憶部8は、画像情報PR、第1画像情報PR1、第2画像情報PR2及び識別情報IMを記憶する。このため、第2記憶部8において、車両Vmの周囲の車両後方を撮像した画像情報PRに加えて、表示装置30に表示される第1画像情報PR1、第2画像情報PR2及び識別情報IMを記憶することができる。
例えば、第2記憶部8に記憶された後に、表示装置30に表示された第1画像情報PR1、第2画像情報PR2、そして識別情報IMが取出し可能とされる。取出された画像情報PR等は、運転者の管理や交通事故の証拠として利用することができる。
詳しく説明する。例えば交通事故の後に第2記憶部8に記憶された画像情報PRを取出し可能とすることにより、表示装置30に表示された画像情報を含み、車両Vmの周囲の広範囲を撮像した画像情報PRに基づいて、交通事故当時の状況を確認することができる。また、第2記憶部8に記憶された第1画像情報PR1、第2画像情報PR2及び識別情報IMを取出し可能とすることにより、交通事故当時に表示装置30に表示されていた画像情報を確認することができる。
【0103】
また、表示制御装置1は、少なくとも画像情報PRを記憶する第2記憶部8を備えてもよい。第2記憶部8に記憶された画像情報PRにおいては、第1画像情報PR1、第2画像情報PR2のそれぞれが特定可能とされる。例えば、第1画像情報PR1、第2画像情報PR2のそれぞれの生成の際に、画像情報PRの第1領域、第2領域のそれぞれに識別子が付けられて画像情報PRが第2記憶部8に記憶される。このため、第2記憶部8に記憶された画像情報PRから第1画像情報PR1、第2画像情報PR2のそれぞれが取出し可能とされる。
【0104】
さらに、表示制御装置1は、
図2に示される表示装置30に表示される第1画像情報PR1及び第2画像情報PR2を記憶する第2記憶部8を備えてもよい。第1画像情報PR1及び第2画像情報PR2は、画像情報PRが記憶される記憶領域又は記憶装置とは別の記憶領域又は記憶装置に記憶される。このため、表示装置30に表示される第1画像情報PR1及び第2画像情報PR2が第2記憶部8から容易に取出し可能とされる。
【0105】
また、表示制御装置1では、
図4(A)に示されるように、画像情報PRは所定のフレームにおいて複数生成される。そして、第1画像情報PR1、第2画像情報PR2のそれぞれは画像情報PRの同一のフレームにおける第1領域、第2領域の各々に対応して生成される。このため、1つのフレームにおける画像情報PRから第1画像情報PR1、第2画像情報PR2のそれぞれが生成されるので、画像情報PRの使用効率を向上させることができ、更に時間差が無い同一タイミングにおいて第1画像情報PR1、第2画像情報PR2のそれぞれを生成することができる。
仮に、本実施例に係る表示制御装置1又は表示制御システム100がドライブレコーダを構築する場合、常時、広角な画像情報PRが取得されて第2記憶部に記憶される。加えて、画像情報PRの一部が有効に利用され、運転者に必要とされる、車両Vmの周囲の車両後方の第1画像情報PR1、第2画像情報PR2のそれぞれを表示装置30に表示させることができる。
【0106】
さらに、本実施例に係る表示制御装置1は、
図2に示されるように、画像情報取得部3を備える。画像情報取得部3は、
図1に示される車両Vmの周囲の車両後方の一部が撮像された第1画像情報PR1、車両Vmの周囲の車両後方の一部が撮像された第1画像情報PR1とは異なる第2画像情報PR2のそれぞれを取得する。
【0107】
ここで、表示制御装置1は、更に識別情報生成部43を備える。識別情報生成部43は、
図3(B)に示されるように、第1画像情報PR1と第2画像情報PR2との位置関係を識別させる識別情報IMを生成する。そして、識別情報生成部43は、第1画像情報PR1が表示される表示装置30に第2画像情報PR2を表示するときに、表示装置30に識別情報IMを表示させる。このため、車両Vmの周囲の車両後方を撮像した互いに異なる第1画像情報PR1と第2画像情報PR2との位置関係を表示装置30において識別させることができる。
【0108】
また、本実施例に係る表示制御方法では、
図5に示されるように、まず車両Vmの周囲の車両後方を撮像した画像情報PRが取得される(
図4(A)参照)。この画像情報PRの領域の一部である第1領域に対応し、表示装置30に表示させる第1画像情報PR1が生成される(
図4(B)参照)。一方、画像情報PRの一部であって第1領域とは異なる第2領域に対応し、表示装置30に表示させる第2画像情報PR2が生成される(
図4(B)参照)。
【0109】
ここで、表示制御方法は、更に第1画像情報PR1と第2画像情報PR2との位置関係を識別させる識別情報IMを生成し、
図3(B)に示されるように、表示装置30に識別情報IMを表示させる。このため、車両Vmの周囲の車両後方を撮像した互いに異なる第1画像情報PR1と第2画像情報PR2との位置関係を表示装置30において識別させることができる。
【0110】
さらに、本実施例に係るプログラムは、
図2に示される画像情報取得部(取得部)3と、第1画像情報生成部41と、第2画像情報生成部42と、識別情報生成部43とを備える表示制御装置1の表示制御方法をコンピュータに実行させる。
このプログラムでは、
図5に示されるように、画像情報取得部3が、
図1に示される車両Vmの周囲の車両後方を撮像した画像情報PRを取得する。第1画像情報生成部41は、画像情報PRの領域の一部である第1領域に対応し、表示装置30に表示させる第1画像情報PR1を生成する(
図4(B)参照)。第2画像情報生成部42は、画像情報PRの領域の一部であって第1領域とは異なる第2領域に対応し、表示装置30に表示させる第2画像情報PR2を生成する(
図4(B)参照)。
【0111】
ここで、プログラムでは、更に識別情報生成部43が、第1画像情報PR1と第2画像情報PR2との位置関係を識別させる識別情報IMを生成し、表示装置30に識別情報IMを表示させる(
図3(B)参照)。このため、車両Vmの周囲の車両後方を撮像した互いに異なる第1画像情報PR1と第2画像情報PR2との位置関係を表示装置30において識別させることができる。
【0112】
なお、上記作用効果は、
図2に示される表示制御装置1及び表示制御システム100において、リアカメラ12により撮像された画像情報PRの特定の領域を表示させる場合に得られる。本実施例では、フロントカメラ11により撮像された画像情報PFの特定の領域を表示させる場合にも、同様の作用効果が得られる。さらに、右サイドカメラ13により撮像された画像情報PWRの特定の領域を表示させる場合、左サイドカメラ14により撮像された画像情報PWLの特定の領域を表示させる場合のそれぞれにも、同様の作用効果が得られる。
【0113】
(第1変形例)
図6を用いて、第1実施例の第1変形例に係る表示制御装置1、表示制御システム100、表示制御方法及びプログラムについて説明する。
なお、第1変形例以降の各変形例並びに第2実施例以降の各実施例の説明において、第1実施例において説明した各構成要素と同一の構成要素或いは実質的に同一の構成要素には同一の符号を付し、重複する説明は省略する。
【0114】
第1変形例に係る表示制御装置1(
図2参照)では、第2画像情報生成部42において生成される第2画像情報PR2が、第1実施例における第2画像情報PR2と異なる。ここで、第1変形例、それ以降の変形例並びに第2実施例以降でも、撮像装置10のリアカメラ12により車両Vmの周囲の車両後方を撮像した画像情報PRに基づいた表示手法を主体に説明する。フロントカメラ11により撮像された画像情報PF、右サイドカメラ13により撮像された画像情報PWR、左サイドカメラ14により撮像された画像情報PWLのそれぞれに基づく表示手法は、画像情報PRに基づく表示手法と同様であるので、説明を省略する。
【0115】
詳しく説明すると、
図6(A)に示されるように、表示装置30には、表示制御装置1の第1画像情報生成部41により生成された第1画像情報PR1が表示される。第1画像情報PR1は、
図6(C)に示されるように、通常走行時における車両Vmの周囲の車両後方を撮像した画像情報PRの領域の一部である第1領域に対応して生成される。
非通常走行時には、
図6(B)に示されるように、第2画像情報生成部42により生成された第2画像情報PR2が表示装置30に表示される。第2画像情報PR2は、
図6(C)に示されるように、画像情報PRの領域の一部である第2領域に対応して生成される。第2画像情報PR2は、第1領域の要部を拡大した画像情報とされる。第2画像情報PR2は、表示面積が縮小された第1画像情報PR1の左側方に第1画像情報PR1と並べて表示装置30に表示される。
【0116】
第2画像情報PR2は、第1画像情報PR1の要部に基づいて生成されているので、第1画像情報PR1を含んで生成されている。また、第1画像情報PR1の要部は、
図2に示される画像認識部15又は接近センサ16と判定部5とを用いて特定される。ここでは、車両(自車両)Vmが走行する車線と同一の車線又は隣接する車線において後方から接近する他車両が画像認識部15により、或いは接近センサ16により検知されたので、第1画像情報PR1に並べて第2画像情報PR2が表示される。
【0117】
そして、
図6(B)に示されるように、第1画像情報PR1と第2画像情報PR2との位置関係を識別させる識別情報IMが、識別情報生成部43(
図2参照)により生成され、表示装置30に表示される。識別情報IMは、第1画像情報PR1の要部を取囲んだ矩形枠状のマークの情報として生成され、第1画像情報PR1に重複させて表示装置30に表示される。
【0118】
第1変形例では、第2画像情報PR2の表示手法が異なるだけで、表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれの構成要素は、第1実施例と実質的に同様であるので、ここでの説明を省略する。
【0119】
以上説明したように、第1変形例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれでは、第1実施例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれにより得られる作用効果と同様の作用効果を得ることができる。
【0120】
また、第1変形例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれでは、
図6(B)に示されるように、第2画像情報PR2は、第1画像情報PR1の要部を拡大して第1画像情報PR1に並べて表示装置30に表示される。このため、運転者による他車両等の視認性を向上させることができる。例えば、
図6(B)に示されるように、車両Vmに他車両が接近する非通常走行中では、安全性を向上させることができる。
【0121】
(第2変形例)
図7を用いて、第1実施例の第2変形例に係る表示制御装置1、表示制御システム100、表示制御方法及びプログラムについて説明する。
第2変形例に係る表示制御装置1(
図2参照)では、第2画像情報生成部42において生成される第2画像情報PR2が、第1実施例、第1変形例のそれぞれにおける第2画像情報PR2と異なる。
【0122】
詳しく説明すると、第1変形例における第1画像情報PR1と同様に、
図7(A)に示されるように、表示装置30には、表示制御装置1の第1画像情報生成部41により生成された第1画像情報PR1が表示される。第1画像情報PR1は、
図7(C)に示されるように、通常走行時における車両Vmの周囲の車両後方を撮像した画像情報PRの領域の一部である第1領域に対応して生成される。
非通常走行時には、
図7(B)に示されるように、第2画像情報生成部42により生成された第2画像情報PR2が表示装置30に表示される。第2画像情報PR2は、
図7(C)に示されるように、画像情報PRの領域の一部である第2領域に対応して生成される。第2画像情報PR2は、第1領域の左側(車両Vmの左側方)の画像情報である。
図7(B)に示されるように、第1画像情報PR1は縮小され、この第1画像情報PR1の左側方に第1画像情報PR1と並べて第2画像情報PR2が表示装置30に表示される。
【0123】
第2画像情報PR2は、
図7(C)に示されるように、画像情報PRの第1領域とは重複しない第2領域に基づいて生成されているので、第1画像情報PR1を含まないで生成されている。また、第2画像情報PR2の第2領域は、
図2に示される画像認識部15又は接近センサ16と判定部5とを用いて画像情報PRから特定される。
ここでは、車両Vmの車線に対して左側の車線に接近する(存在する)他車両が画像認識部15により、或いは接近センサ16により検知されたので、第2画像情報PR2は第1画像情報PR1の左側方に並べて表示される。
【0124】
そして、
図7(B)に示されるように、第1画像情報PR1と第2画像情報PR2との位置関係を識別させる識別情報IMが、識別情報生成部43(
図2参照)により生成され、表示装置30に表示される。識別情報IMは、第1画像情報PR1の周囲を取囲んだ矩形枠状のマークの情報として生成され、表示装置30に表示される。
【0125】
第2変形例では、第2画像情報PR2の表示手法が異なるだけで、表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれの構成要素は第1実施例と同様であるので、ここでの説明は省略する。
【0126】
以上説明したように、第2変形例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれでは、第1実施例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれにより得られる作用効果と同様の作用効果を得ることができる。
【0127】
また、第2変形例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれでは、
図7(C)に示されるように、画像情報PRにおける第2領域は第1領域を含まない。このため、第2画像情報PR2は第1画像情報PR1を含まないで生成されるので、第1画像情報PR1の生成に対して第2画像情報PR2を独立に生成することができる。
例えば、
図1及び
図7(B)に示されるように、車両Vmの周囲の後方を撮像した第1画像情報PR1と、第1画像情報PR1とは独立の車両Vmの周囲の後側方を撮像した第2画像情報PR2とを表示装置30に表示させることができる。
さらに、表示制御装置1等では、第1画像情報PR1から第1画像情報PR1及び第2画像情報PR2への切替えなので、表示装置30において表示の切替えを瞬時に行うことができる。
【0128】
さらに、表示制御装置1等では、
図7(B)及び
図7(C)に示されるように、画像情報PRの第1領域に対する第2領域の配置方向に一致させて、第1画像情報PR1に対して第2画像情報PR2が表示装置30に表示される。このため、車両Vm(
図1参照)の周囲を撮像した第1領域と第2領域との位置関係と表示装置30に表示される第1画像情報PR1と第2画像情報PR2との位置関係を一致させることができる。具体的に説明すると、車両Vmと左側方に接近する他車両との位置関係並びに接近する方向に一致させて、
図7(B)に示されるように、表示装置30において右側に第1画像情報PR1が表示され、左側に他車両の画像を含む第2画像情報PR2が表示される。つまり、運転者が実際に目視する、車両Vmの周囲の第1領域に相当する景観に対する第2領域に相当する景観の位置関係を、表示装置30に表示される第1画像情報PR1に対する第2画像情報PR2の位置関係に一致させることができる。従って、第1画像情報PR1に対する第2画像情報PR2の位置関係が、表示装置30においてより一層識別し易くなる。
【0129】
[第2実施例]
図8~
図10を用いて、本発明の第2実施例に係る表示制御装置1、表示制御システム100、表示制御方法及びプログラムについて説明する。
【0130】
(表示制御装置1及び表示制御システム100の構成)
図8に示されるように、本実施例に係る表示制御装置1は、画像情報生成部4に構成要素として中間画像情報生成部44を備えている。中間画像情報生成部44以外の各構成要素は第1実施例に係る表示制御装置1の各構成要素と同一である。
中間画像情報生成部44は、第1画像情報PR1の表示と第2画像情報PR2との切替えにおいて、第1画像情報PR1の表示と第2画像情報PR2との表示との間に、表示装置30に表示させる中間画像情報PRMを生成する。第2画像情報PR2には、第1実施例の第2変形例における第2画像情報PR2と同様の画像情報が使用される。勿論、図示省略の識別情報IMが表示装置30には表示される。中間画像情報PRMには、
図10に示されるように、画像情報PRの領域のうち第1領域と第2領域との間に位置する第3領域に対応する第3画像情報が含まれている。
【0131】
(表示制御方法及びその方法を実行するためのプログラム)
本実施例に係る表示制御方法及びその方法を実行するためのプログラムは、基本的には第1実施例に係る表示制御方法及びその方法を実行するためのプログラム(
図5参照)と同様である。異なる点は、
図9に示されるように、後進走行において、ステップS18とステップS19との間に、中間画像情報生成部44により中間画像情報PRMが生成され、表示装置30に中間画像情報PRMが表示される工程(ステップS25)を備えることである。つまり、表示装置30において、表示されている第1画像情報PR1に切替えて中間画像情報PRMが表示され、引き続き中間画像情報PRMに切替えて第2画像情報PR2が表示される。
【0132】
前進走行においても同様に、ステップS7とステップS8との間に、中間画像情報生成部44により中間画像情報PFMが生成され、表示装置30に中間画像情報PFMが表示される。
中間画像情報PRM、中間画像情報PFMのそれぞれの生成並びにそれぞれの表示以外は、
図5に示される第1実施例に係る表示制御方法及びプログラムと同様の工程を備えているので、重複する説明は省略する。
【0133】
(作用効果)
以上説明したように、第2実施例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれでは、第1実施例の第2変形例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれにより得られる作用効果と同様の作用効果を得ることができる。
【0134】
また、本実施例に係る表示制御装置1は、
図8に示されるように、中間画像情報生成部44を更に備える。中間画像情報生成部44は、第1画像情報PR1の表示と第2画像情報PR2の表示との切替えにおいて、第1画像情報PR1の表示と第2画像情報PR2の表示との間に表示装置30に表示させる中間画像情報PRMを生成する。中間画像情報PRMには、画像情報PRの領域のうち第1領域と第2領域との間に位置する第3領域に対応する第3画像情報が含まれる。
このため、表示装置30では、第1画像情報PR1の表示から中間画像情報PRMの表示を介して第2画像情報PR2が表示されるので、表示の切替えが徐々に、或いは段階的に行われる。
【0135】
また、中間画像情報PRMには、画像情報PRの領域のうち第1領域と第2領域との間に位置する第3領域に対応する第3画像情報が含まれるので、第1画像情報PR1から第2画像情報PR2への切替え方向を把握し易くすることができる。
例えば、
図1に示される車両Vmの周囲の車両後方を撮像した第1画像情報PR1から、車両Vmの周囲の後左側方を撮像した第2画像情報PR2への切替えにおいて、後方と後左側方との間を撮像した第3画像情報が含まれる中間画像情報PRMが表示される。この場合、運転者では、表示装置30において車両後方から後左側方へ、第1画像情報PR1、中間画像情報PRM、第2画像情報PR2のそれぞれの表示の切替えの流れを認識することができる。
【0136】
(第1変形例)
図11を用いて、第2実施例の第1変形例に係る表示制御装置1、表示制御システム100、表示制御方法及びプログラムについて説明する。この第1変形例、その後に説明する第2変形例及び第3変形例では、中間画像情報PRMの表示手法の変形例について説明する。
【0137】
第1変形例に係る表示制御装置1及び表示制御システム100では、
図11に示されるように、中間画像情報生成部44は、中間画像情報PRMと、この中間画像情報PRMとは異なる第1中間画像情報PRM1及び第2中間画像情報PRM2との複数の中間画像情報を生成する。
中間画像情報PRMは、第2実施例に係る中間画像情報生成部44により生成される中間画像情報PRMと同様に、画像情報PRの第1領域と第2領域との間に位置する第3領域に対応する第3画像情報を含んで生成される。
第1中間画像情報PRM1は、第1領域に対応する第1画像情報PR1の一部を含んで生成され、ここでは画像情報PRの第1領域の左側半分と第3領域の右側半分とに対応して生成される。第2中間画像情報PRM2は、第2領域に対応する第2画像情報PR2の一部を含んで生成され、ここでは第3領域の左側半分と第2領域の右側半分とに対応して生成される。
表示装置30では、第1画像情報PR1の表示から第2画像情報PR2の表示へ切替える際に、第1中間画像情報PRM1、中間画像情報PRM、第2中間画像情報PRM2のそれぞれの順番において表示される。
なお、ここでは、中間画像情報生成部44は、各々、1つの中間画像情報PRM、第1中間画像情報PRM1、第2中間画像情報PRM2を生成しているが、それらのうち、少なくとも1つを2以上生成してもよい。
【0138】
第1変形例では、中間画像情報PRM、第1中間画像情報及び第2中間画像情報の生成手法並びに表示手法が異なるだけで、表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれの構成要素は、第2実施例と同様である。このため、ここでの表示制御装置1等の説明は省略する。
【0139】
以上説明したように、第1変形例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれでは、第2実施例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれにより得られる作用効果と同様の作用効果を得ることができる。
【0140】
また、第1変形例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれでは、
図11に示されるように、中間画像情報生成部44により複数の中間画像情報PRM、第1中間画像情報PRM1、第2中間画像情報PRM2が生成され、表示装置30に表示される。このため、第1画像情報PR1から第2画像情報PR2への切替えの際に、複数の中間画像情報PRM、第1中間画像情報PRM1、第2中間画像情報PRM2を含んで切替え方向へ流れるように画像情報が表示されるので、切替え方向をより一層把握し易くすることができる。
【0141】
(第2変形例)
図12を用いて、第2実施例の第2変形例に係る表示制御装置1、表示制御システム100、表示制御方法及びプログラムについて説明する。
【0142】
第2変形例に係る表示制御装置1及び表示制御システム100では、
図12に示されるように、中間画像情報生成部44は、表示装置30に表示される第3中間画像情報PRM3を生成する。第3中間画像情報PRM3は、画像情報PRの領域のうち第1領域に対応する第1画像情報PR1、第2領域に対応する第2画像情報PR2、第3領域に対応する第3画像情報のそれぞれを含んで生成されている。つまり、第3中間画像情報PRM3は、第1画像情報PR1、中間画像情報PRM及び第2画像情報PR2を含む広範囲において撮像された画像情報として生成される。さらに、第3中間画像情報PRM3は、第1画像情報PR1、第2画像情報PR2のそれぞれを含んでいるので、第1画像情報PR1又は第2画像情報PR2の情報量よりも多い情報量とされている。
【0143】
第2変形例では、第3中間画像情報PRM3の生成手法並びに表示手法が異なるだけで、表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれの構成要素は、第2実施例と同様である。このため、ここでの表示制御装置1等の説明は省略する。
【0144】
以上説明したように、第2変形例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれでは、第2実施例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれにより得られる作用効果と同様の作用効果を得ることができる。
【0145】
また、第2変形例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれでは、
図12に示されるように、中間画像情報生成部44により第3中間画像情報PRM3が生成され、この第3中間画像情報PRM3が表示装置30に表示される。このため、第1画像情報PR1から第2画像情報PR2への切替えの際に、第1画像情報PR1、第2画像情報PR2及び中間画像情報PRMを含む広範囲において撮像された第3中間画像情報PRM3が表示装置30に表示されるので、切替え方向をより一層把握し易くすることができる。
【0146】
(第3変形例)
図13を用いて、第2実施例の第3変形例に係る表示制御装置1、表示制御システム100、表示制御方法及びプログラムについて説明する。
【0147】
第3変形例に係る表示制御装置1及び表示制御システム100では、
図13に示されるように、中間画像情報生成部44は、第3中間画像情報PRM3と、第4中間画像情報PRM4と、第5中間画像情報PRM5とを生成する。第1画像情報PR1から第2画像情報PR2へ切替えるときに、中間画像情報生成部44では、表示装置30に第4中間画像情報PRM4、第3中間画像情報PRM3、第5中間画像情報PRM5のそれぞれを順次表示させる。
【0148】
第3中間画像情報PRM3は、前述の
図12に示される第2変形例に係る第3中間画像情報PRM3と同一である。
第4中間画像情報PRM4は、第1画像情報PR1に第3領域の第3画像情報の一部を徐々に含んで、更に第3中間画像情報PRM3の一歩手前まで第2画像情報PR2の一部も徐々に含んで生成される複数の中間画像情報PRM41~PRM4nにより形成される。つまり、第4中間画像情報PRM4は、第1画像情報PR1から第3中間画像情報PRM3に至るまでに段階的に拡張された中間画像情報として生成される。
逆に、第5中間画像情報PRM5は、第3中間画像情報PRM3から第2画像情報PR2の一歩手前まで、第1画像情報PR1の一部、第3画像情報の一部のそれぞれを徐々に外して生成される複数の中間画像情報PRM51~PRM5nにより形成される。つまり、第5中間画像情報PRM5は、第3中間画像情報PRM3から第2画像情報PR2に至るまでに段階的に縮小された中間画像情報として生成される。
【0149】
第3変形例では、中間画像情報PRMの表示手法が異なるだけで、表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれの構成要素は、第2実施例と同様であるので、ここでの説明を省略する。
【0150】
以上説明したように、第3変形例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれでは、第2実施例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれにより得られる作用効果と同様の作用効果を得ることができる。
【0151】
また、第3変形例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれでは、
図13に示されるように、中間画像情報生成部44により複数の第3中間画像情報PRM3、第4中間画像情報PRM4、第5中間画像情報PRM5のそれぞれが生成される。この第3中間画像情報PRM3~第5中間画像情報PRM5は中間画像情報生成部44により表示装置30に表示される。加えて、第4中間画像情報PRM4は、第1画像情報PR1から第3中間画像情報PRM3へ至るまで段階的に拡大され、その後に第3中間画像情報PRM3から第2画像情報PR2に収束するまで段階的に縮小される。このため、第1画像情報PR1から第2画像情報PR2への切替えの際に、第4中間画像情報PRM4、第3中間画像情報PRM3、第5中間画像情報PRM5が切替え方向へ流れるように表示され、かつ、拡大縮小によりインパクトのある第3中間画像情報PRM3とされるので、切替え方向をより一層把握し易くすることができる。
【0152】
[第3実施例]
図14を用いて、本発明の第3実施例に係る表示制御装置1、表示制御システム100、表示制御方法及びプログラムについて説明する。
本実施例に係る表示制御装置1の識別情報生成部43(
図2及び
図8参照)では、
図14(A)に示されるように、識別情報IM(1)が生成され、識別情報IM(1)は表示装置30に表示される。識別情報IM(1)は、第1画像情報PR1に対して第2画像情報PR2の位置関係を表すマークの情報である。本実施例では、識別情報IM(1)は、車両(自車両)Vmの周囲の車両後方を表す「車両の図形」と、第2画像情報PR2の第1画像情報PR1に対する位置関係を表す「方向を示す図形」とを上下に組み合わせて形成されている。識別情報IM(1)は、通常走行時の第1画像情報PR1が表示装置30に表示される際に、第1画像情報PR1に重複させて表示されている。
【0153】
前述の
図7(B)に示される第2画像情報PR2の表示では、
図14(B)に示されるように、「方向を示す図形」が左側に変形した識別情報IM(2)が識別情報生成部43により生成され、識別情報IM(2)が第1画像情報PR1に重複させて表示される。なお、識別情報IM(2)は、第1画像情報PR1に必ずしも重複させて表示させる必要はなく、第2画像情報PR2に重複させて表示させてもよい。
また、車両Vmの周囲の後右側方から他車両等が接近する際には、
図14(C)に示されるように、「方向を示す図形」が右側に変形した識別情報IM(3)が識別情報生成部43により生成される。図示を省略するが、識別情報IM(3)は第1画像情報PR1に重複させて表示される。
さらに、前述の
図3(B)に示される第2画像情報PR2の表示では、
図14(D)に示されるように、「方向を示す図形」の底辺が拡大して変形された識別情報IM(4)が識別情報生成部43により生成される。図示を省略するが、識別情報IM(4)は第1画像情報PR1に重複させて表示される。
【0154】
第3実施例では、識別情報IM(1)~IM(4)の形態が異なるだけで、表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれの構成要素は、第1実施例又は第2実施例と同様であるので、ここでの説明を省略する。
【0155】
以上説明したように、第3実施例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれでは、第1実施例又は第2実施例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれにより得られる作用効果と同様の作用効果を得ることができる。
【0156】
[第4実施例]
図15を用いて、本発明の第4実施例に係る表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれについて説明する。
図15に示されるように、第4実施例に係る表示制御装置1及び表示制御システム100では、所定のフレームレートにおいて生成された複数フレームの画像情報PR(1)、PR(2)、…PR(n-1)、PR(n)のそれぞれにより画像情報PRが生成される。そして、画像情報PRの異なるフレームの画像情報、ここでは画像情報PR(1)、PR(2)のそれぞれの領域の一部である第1領域に対応して第1画像情報PR1が生成される。また、画像情報PR(3)~PR(n)のそれぞれの領域の一部である第2領域に対応して第2画像情報PR2が生成される。
【0157】
第4実施例では、複数フレームにより生成された画像情報PRが使用される点が異なるだけで、表示制御装置1、表示制御システム100、表示制御方法、プログラムのそれぞれの構成要素は、第1実施例又は第2実施例と同様である。このため、ここでの説明は省略する。
【0158】
本実施例に係る表示制御装置1では、画像情報PRが複数フレームの画像情報PR(1)~PR(n)により生成され、この画像情報PRのすべてが第2記憶部8(
図2参照)に記憶される。仮に、画像情報PR(1)、PR(2)のそれぞれから第1画像情報PR1が生成され、画像情報PR(3)~PR(n)のそれぞれから第2画像情報PR2が生成される。このような場合でも、第1画像情報PR1と第2画像情報PR2との生成が画像情報PRの異なるフレームに跨がったとしても、画像情報PRの使用効率に影響を及ぼすことがない。
また、第1画像情報PR1、第2画像情報PR2のそれぞれの生成に時間差があったとしても、所定のフレームレートが例えば30FPSに設定された場合には、運転者はフレーム差を認識することが難しい。このため、画像情報PRの実質的に同一のフレームにおいて第1画像情報PR1、第2画像情報PR2のそれぞれが生成されたものと見なすことができる。
【0159】
[その他の実施例]
本発明は、上記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変形可能である。
例えば、上記実施例では、表示制御システムに視線センサ及び判定部を含んで表示切替部が構成されている。表示制御装置及び表示制御システムは、第2画像情報に重複させて「undo(元に戻す)ボタン」を表示装置に表示させる構成としてもよい。この場合、表示装置の表示部はタッチパネルにより構成され、表示部に表示される「undoボタン」に運転者がタッチすれば、表示装置において第2画像情報の表示から第1画像情報の表示に切替えることができる。
また、上記実施例では、撮像装置が4つのカメラを備えて構成されている。表示制御システムは、リアカメラ、或いはフロントカメラ及びリアカメラを備えて撮像装置を構成し、撮像装置から伝送される画像情報に基づいて第1画像情報、第2画像情報のそれぞれを生成する構成としてもよい。
さらに、上記実施例では、撮像装置が広角カメラにより構成されている。この広角カメラには、360度の範囲において撮像することができるパノラマカメラが含まれる。