特開 2022-165847 画像表示制御装置、画像表示制御方法、及び、画像表示制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022165847

(43)【公開日】2022-11-01

(54)【発明の名称】画像表示制御装置、画像表示制御方法、及び、画像表示制御プログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20221025BHJP

   G08G 1/09 20060101ALI20221025BHJP

   G08G 1/04 20060101ALI20221025BHJP

   G09G 5/00 20060101ALI20221025BHJP

   G09G 5/36 20060101ALI20221025BHJP

   G09G 5/377 20060101ALI20221025BHJP

   B60R 1/00 20220101ALI20221025BHJP

   H04N 7/18 20060101ALI20221025BHJP

   G16Y 10/40 20200101ALI20221025BHJP

   G16Y 40/10 20200101ALI20221025BHJP

【ＦＩ】

G08G1/16 A

G08G1/09 F

G08G1/04 C

G09G5/00 510A

G09G5/00 550C

G09G5/36 520B

G09G5/36 520M

G09G5/00 555D

B60R1/00 A

H04N7/18 J

G16Y10/40

G16Y40/10

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021071390

(22)【出願日】2021-04-20

(71)【出願人】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】110002468

【氏名又は名称】特許業務法人後藤特許事務所

(72)【発明者】

【氏名】寺口 剛仁

【テーマコード（参考）】

5C054

5C182

5H181

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054DA07

5C054FE14

5C054FE17

5C054HA30

5C182AB25

5C182AB31

5C182AB33

5C182AC03

5C182BA14

5C182BA47

5C182BA54

5C182BC01

5C182BC14

5C182CB47

5C182CB52

5C182CB54

5H181AA01

5H181BB04

5H181CC04

5H181FF13

5H181FF27

5H181FF33

5H181LL01

5H181LL04

5H181LL15

(57)【要約】

【課題】死角を形成する車両を透明化するとともに、当該車両の表示する伝達情報を表示する。
【解決手段】画像表示制御装置（１）は、データ取得部（１２）と、視野画像生成部（１３１）と、死角範囲判別部（１３２）と、情報表示判定部（１３３）と、画像取得装置（３）により取得される画像データを処理することで、視野画像の死角範囲に、第２車両の前方の死角情報が重畳された重畳画像を生成する画像生成部（１３０）と、重畳画像を、画像表示装置に対して送信可能な通信部（１１）と、を備える。画像生成部は、情報表示部が伝達情報を表示していないと判定される場合には、死角範囲に死角情報が示された重畳画像を生成し、情報表示部が伝達情報を表示していると判定される場合には、死角範囲に死角情報に加えて情報表示部により表示される伝達情報が示された重畳画像を生成する。
【選択図】図４

【特許請求の範囲】

【請求項1】

第１車両に搭載された画像表示装置に対して、前記第１車両の前方に存在する第２車両により形成される死角の画像を表示させる画像表示制御装置であって、
画像取得装置により取得される前記第１車両の周囲及び前記第２車両の前方を示す画像データ、並びに、前記画像表示装置及び前記画像取得装置の位置データを取得するデータ取得部と、
前記位置データに基づいて前記画像データを処理することで、前記第１車両の前方を前記第１車両から見た視野画像を生成する視野画像生成部と、
前記視野画像において、前記第２車両により形成される死角範囲を判別する死角範囲判別部と、
前記視野画像において、前記第２車両が備える情報表示部による外部への伝達情報の表示の有無を判定する情報表示判定部と、
前記画像取得装置により取得される前記画像データを処理することで、前記視野画像の前記死角範囲に、前記第２車両の前方の死角情報が重畳された重畳画像を生成する画像生成部と、
前記重畳画像を、前記画像表示装置に対して送信可能な通信部と、を備え、
前記画像生成部は、
前記情報表示判定部により前記情報表示部が前記伝達情報を表示していないと判定される場合には、前記死角範囲に前記死角情報が示された前記重畳画像を生成し、
前記情報表示判定部により前記情報表示部が前記伝達情報を表示していると判定される場合には、前記死角範囲に前記死角情報に加えて前記情報表示部により表示される前記伝達情報が示された前記重畳画像を生成する、画像表示制御装置。

【請求項2】

請求項１に記載の画像表示制御装置であって、
前記第２車両の前方に存在する前記死角範囲に示される前記第２車両の停車要因の有無を判定する、停車要因判定部を、さらに備え、
前記画像生成部は、
前記停車要因判定部によって前記停車要因が存在すると判定され、かつ、前記情報表示判定部により前記情報表示部が前記伝達情報を表示していると判定される場合には、前記死角範囲に前記死角情報に加えて前記情報表示部による前記伝達情報を示し、
前記停車要因判定部によって前記停車要因が存在しないと判定される場合には、前記死角範囲に前記死角情報を示す前記重畳画像を生成する、画像表示制御装置。

【請求項3】

請求項１または２に記載の画像表示制御装置であって、
前記画像生成部は、
前記情報表示判定部により前記情報表示部が前記伝達情報を表示していないと判定される場合には、前記死角範囲において前記第２車両の全領域について前記死角情報が示された死角範囲画像を生成し、
前記情報表示判定部により前記情報表示部が前記伝達情報を表示していると判定される場合には、前記死角範囲において前記第２車両の前記情報表示部以外の領域について前記死角情報が示された前記死角範囲画像を生成する死角範囲画像生成部と、
前記視野画像に対して、前記死角範囲画像を重畳させることで、前記重畳画像を生成する画像重畳部と、を備える画像表示制御装置。

【請求項4】

請求項３に記載の画像表示制御装置であって、
前記画像データを処理することで、前記第１車両から見た前記第２車両の輪郭を示す輪郭画像を生成する輪郭画像生成部を、さらに備え、
前記画像生成部は、前記輪郭画像が含まれる前記重畳画像を生成する、画像表示制御装置。

【請求項5】

請求項１から４のいずれか１項に記載の画像表示制御装置であって、
前記情報表示部は、前記第１車両と同じ車線を走行する前記第２車両の方向指示器、ブレーキランプ、バックライトの少なくとも１つである、画像表示制御装置。

【請求項6】

請求項１から４のいずれか１項に記載の画像表示制御装置であって、
前記情報表示部は、前記第１車両の隣接車線を走行する前記第２車両の方向指示器である、画像表示制御装置。

【請求項7】

請求項１から４のいずれか１項に記載の画像表示制御装置であって、
前記情報表示部は、前記第２車両の発光装置、ルームミラー、文字表示装置の少なくとも１つである、画像表示制御装置。

【請求項8】

請求項１から７のいずれか１項に記載の画像表示制御装置であって、
前記画像生成部は、前記重畳画像を生成する際に、前記情報表示判定部により前記伝達情報を表示していると判定された前記情報表示部を強調して表示する、画像表示制御装置。

【請求項9】

請求項８に記載の画像表示制御装置であって、
前記画像生成部は、前記重畳画像を生成する際に、前記情報表示判定部により前記伝達情報を表示していると判定された前記情報表示部に対して、前記情報表示部から放射状に伸びる光線画像を付与することにより強調して表示する、画像表示制御装置。

【請求項10】

請求項１から９のいずれか１項に記載の画像表示制御装置であって、
前記画像生成部は、前記重畳画像を生成する際に、さらに、前記画像表示装置を備える前記第１車両と、前記情報表示判定部により前記伝達情報を表示していると判定された前記情報表示部を備える前記第２車両との位置関係を示す情報を表示する、画像表示制御装置。

【請求項11】

第１車両に搭載された画像表示装置に対して、前記第１車両の前方に存在する第２車両により形成される死角の画像を表示させる画像表示制御方法であって、
画像取得装置により取得される前記第１車両の周囲及び前記第２車両の前方を示す画像データ、並びに、前記画像表示装置及び前記画像取得装置の位置データを取得し、
前記位置データに基づいて前記画像データを処理することで、前記第１車両の前方を前記第１車両から見た視野画像を生成し、
前記視野画像において、前記第２車両により形成される死角範囲を判別し、
前記視野画像において、前記第２車両が備える情報表示部による外部への伝達情報の表示の有無を判定し、
前記取得される前記画像データを処理することで、前記視野画像の前記死角範囲に、前記第２車両の前方の死角情報が重畳された重畳画像を生成する場合において、
前記情報表示部が前記伝達情報を表示していないと判定される場合には、前記死角範囲に前記死角情報が示された前記重畳画像を生成し、
前記情報表示部が前記伝達情報を表示していると判定される場合には、前記死角範囲に前記死角情報に加えて前記情報表示部により表示される前記伝達情報が示された前記重畳画像を生成し、
前記重畳画像を、前記画像表示装置に対して送信する、画像表示制御方法。

【請求項12】

第１車両に搭載された画像表示装置、及び、前記第１車両の周囲及び前記第１車両の前方に存在する第２車両の前方を示す画像データを取得する画像取得装置と相互に通信可能な通信部と、
前記通信部を介して、前記画像取得装置により取得される前記画像データ、並びに、前記画像表示装置及び前記画像取得装置の位置データを取得するデータ取得部と、
前記画像表示装置に対して、前記第２車両により形成される死角の画像を表示させるコントローラと、を備える画像表示制御装置において、前記コントローラを動作させる画像表示制御プログラムであって、
前記画像表示制御プログラムは、前記コントローラに対して、
前記データ取得部を介して、前記画像データ及び前記位置データを取得させ、
前記位置データに基づいて前記画像データを処理することで、前記第１車両の前方を前記第１車両から見た視野画像を生成させ、
前記視野画像において、前記第２車両により形成される死角範囲を判別させ、
前記視野画像において、前記第２車両が備える情報表示部による外部への伝達情報の表示の有無を判定させ、
前記画像データを処理することで、前記視野画像の前記死角範囲に、前記第２車両の前方の死角情報が重畳された重畳画像を生成させる場合において、
前記情報表示部が前記伝達情報を表示していないと判定される場合には、前記死角範囲に前記死角情報が示された前記重畳画像を生成させ、
前記情報表示部が前記伝達情報を表示していると判定される場合には、前記死角範囲に前記死角情報に加えて前記情報表示部により表示される前記伝達情報が示された前記重畳画像を生成させ、
前記重畳画像を、前記画像表示装置に対して送信させる、画像表示制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の運転者の視野の画像を生成する画像表示制御装置、画像表示制御方法、及び、画像表示制御プログラムに関する。

【背景技術】

【0002】

近年、車両が備える画像表示装置において、車両が直接取得することが難しい情報を運転者に対して表示するために、車両以外から取得した画像を加工して生成した画像を表示させる画像表示制御装置が開発されている。例えば、特許文献１には、運転者からの視野画像を生成して画像表示装置に表示させる際に、前方車両により生成される死角領域については、前方車両を透明化するとともに、運転車両以外から取得した画像を加工して前方車両より前方の死角を表示させる技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１２６４７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、死角を形成する前方車両を透明化すると、当該車両が備える方向指示器やバックライト等の情報表示装置も透明化されてしまう。そのため、情報表示装置が他車両に対して伝達する情報を表示しても、当該伝達情報が画像表示装置に表示されなくなり、運転者が前方車両から他車両に対して表示する伝達情報を得ることが難しくなる。

【0005】

そこで、本発明は、死角を形成する車両を透明化するとともに、当該車両の表示する伝達情報を表示することのできる画像表示制御装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明のある態様によれば、画像表示制御装置は、第１車両に搭載された画像表示装置に対して、第１車両の前方に存在する第２車両により形成される死角の画像を表示させる。画像表示制御装置は、画像取得装置により取得される第１車両の周囲及び第２車両の前方を示す画像データ、並びに、画像表示装置及び画像取得装置の位置データを取得するデータ取得部と、位置データに基づいて画像データを処理することで、第１車両の前方を第１車両から見た視野画像を生成する視野画像生成部と、視野画像において、第２車両により形成される死角範囲を判別する死角範囲判別部と、視野画像において、第２車両が備える情報表示部による外部への伝達情報の表示の有無を判定する情報表示判定部と、画像取得装置により取得される画像データを処理することで、視野画像の死角範囲に、第２車両の前方の死角情報が重畳された重畳画像を生成する画像生成部と、重畳画像を、画像表示装置に対して送信可能な通信部と、を備える。画像生成部は、情報表示判定部により情報表示部が伝達情報を表示していないと判定される場合には、死角範囲に死角情報が示された重畳画像を生成し、情報表示判定部により情報表示部が伝達情報を表示していると判定される場合には、死角範囲に死角情報に加えて情報表示部により表示される伝達情報が示された重畳画像を生成する。

【発明の効果】

【0007】

本発明の画像表示制御装置によれば、画像が表示される車両の運転者からの視野において、死角を形成する車両について透明化して前方の視野を表示させる際に、当該車両の外部への伝達情報を示すことができる。

【図面の簡単な説明】

【0008】

【図1】図１は、第１実施形態における車両の走行状態を示す説明図である。

【図2】図２は、車両の走行状態を示す他の説明図である。

【図3】図３は、生成される重畳画像の表示例である。

【図4】図４は、画像表示制御システムの構成を示すブロック図である。

【図5】図５は、重畳画像の生成制御を示すフローチャートである。

【図6】図６は、第２実施形態の走行状態を示す図である。

【図7】図７は、生成される重畳画像の表示例である。

【図8】図８は、画像表示制御システムの構成を示すブロック図である。

【図9】図９は、重畳画像の生成制御を示すフローチャートである。

【図10】図１０は、生成される重畳画像の他の表示例である。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら本発明の実施形態について説明する。

【0010】

（第１実施形態）
図１、図２は、本実施形態における車両の走行状態を示す説明図である。図１は、車両の側方から見た図であり、図２は、車両の上部から見た図である。

【0011】

画像表示制御システム１００は、ネットワーク接続された機器である画像表示制御装置１と、車両Ｖ１に搭載される画像表示装置２と、車両Ｖ１が走行する道路の路側に設けられる画像取得装置３とを有する。なお、この図に示されるように、車両Ｖ１の前方には、車両Ｖ２が走行している。なお、車両Ｖ１の運手者の視野においては、車両Ｖ２により死角が形成され、一部が車両Ｖ２により遮られて視認できないようになっている。

【0012】

画像表示装置２は、車両Ｖ１に搭載され、運転席から視認可能な表示部を備える。表示部は、例えば、フロントガラスの前面に設けられる透過性のヘッドアップディスプレイや、運転者が装着可能なＶＲゴーグル等である。画像表示装置２は、自身の位置情報を画像表示制御装置１へ送信するとともに、画像表示制御装置１において生成された画像データを受信して画像データに応じた画像を表示部に表示する。

【0013】

画像取得装置３は、車両Ｖ１の走行車線の路肩において、車両Ｖ１の車高よりも高い位置に設けられるカメラを備える。画像取得装置３は、車両Ｖ１の運転席からの視野Ｘに加えて、視野Ｘ内に存在する車両Ｖ２により形成される死角Ｄの画像を取得できる。画像取得装置３は、取得した画像、及び、画像取得装置３の位置情報を、画像表示制御装置１へと送信する。なお、画像取得装置３は、複数設けられていてもよいし、路肩以外の場所、例えば、車両Ｖ２や他の車両（不図示）のルーフ部に取り付けられていてもよい。

【0014】

画像表示制御装置１は、画像取得装置３から取得した位置データ及び画像データ、並びに、画像表示装置２から取得した位置データを用いて、車両Ｖ１の運転席からの視野を示す画像を生成し、生成した画像に応じた画像データを画像表示装置２へと送信する。なお、この画像は、車両Ｖ１の運転席からの視野の画像であって、車両Ｖ２が透明化されており、車両Ｖ２により遮られる死角を示す情報（以降、死角情報と称する）が示された画像が重畳されている。そのため、画像表示制御装置１により最終的に生成される画像を、重畳画像と称するものとする。

【0015】

図３は、画像表示制御装置１によって生成される重畳画像の例である。この図に示されるように、重畳画像は、車両Ｖ１に搭載された画像表示装置２に示される車両Ｖ１の運転席からの視野の画像であって、車両Ｖ２が透明化されて輪郭が表示されるとともに、車両Ｖ１の運転席からの視野における車両Ｖ２により遮られた領域の死角情報が示されている。なお、重畳画像においては、走行に関連する情報が示されていればよく、全ての景色が示される必要はない。このような重畳画像は、車両Ｖ１において、運転者が例えばフロントガラスを通じて直接視認する前方視野とは別に、画像表示装置２により表示されている。そして、運転者は重畳画像によって前方の車両Ｖ２により遮られる死角を視認することができる。なお、車両Ｖ２において、運転者が前方を直接視認できず、画像表示装置２のみを視認可能なように構成されていてもよい。

【0016】

画像表示制御装置１は、画像取得装置３が取得した画像データから、車両Ｖ１の運転席からの視野を示す前方視野画像を生成する。画像表示制御装置１は、前方視野画像における車両Ｖ２が示される範囲を、死角が形成された範囲（以降、死角範囲と称する）として判別する。そして、画像表示制御装置１は、取得した画像データから、死角範囲において死角情報を示す画像（死角範囲画像）を生成する。

【0017】

さらに、画像表示制御装置１は、前方視野画像の死角範囲に示される車両Ｖ２を透明化して輪郭を表示する輪郭画像を生成する。最終的に、画像表示制御装置１は、前方視野画像に対して、死角範囲画像及び輪郭画像を重畳させて重畳画像を生成する。その結果、図示されるように、死角領域に車両Ｖ２の前方の死角に存在する走行車線等が示された重畳画像が生成される。

【0018】

さらに、画像表示制御装置１は、前方視野画像において車両Ｖ２の情報表示部Ｓ１を抽出する。ここで、情報表示部Ｓ１は、車両Ｖ２が備える外側から視認可能であって外部へ伝達する情報（以下、伝達情報と称する）を表示するデバイスであって、例えば、ウィンカー、ブレーキランプ、バックランプ等の点灯状態に応じて運転状態を表示するものである。画像表示制御装置１は、前方視野画像において車両Ｖ２の情報表示部Ｓ１を抽出し、情報表示部Ｓ１による伝達情報の表示の有無を判定する。

【0019】

そして、画像表示制御装置１は、車両Ｖ２の情報表示部Ｓ１が伝達情報を表示中であると判定する場合には、車両Ｖ２のうちの情報表示部Ｓ１以外の一部を透明化して、車両Ｖ２の前方の死角情報を示す死角範囲画像を生成する。一方、画像表示制御装置１は、車両Ｖ２の情報表示部Ｓ１が情報を表示中でないと判定する場合には、死角範囲にある車両Ｖ２の全体を透明化して、死角情報を示す死角範囲画像を生成する。

【0020】

このようにすることで、死角範囲画像には、情報表示部Ｓ１が伝達情報を表示中でない場合には車両Ｖ２よりも前方の死角情報が示され、情報表示部Ｓ１が伝達情報を表示中である場合には死角情報に加えて情報表示部Ｓ１が表示される。その結果、最終的に生成される重畳画像において、情報表示部Ｓ１が伝達情報を表示中である場合には、車両Ｖ２については情報表示部Ｓ１以外の一部が透明化されて死角情報が示されるため、死角情報に加えて情報表示部Ｓ１による伝達情報が示される。

【0021】

図４は、画像表示制御システム１００のブロック図である。画像表示制御システム１００は、画像表示制御装置１、画像表示装置２及び画像取得装置３を有している。画像表示制御装置１、画像表示装置２及び画像取得装置３は、それぞれが通信部１１、２１、３１を備えており、相互に通信可能に構成されている。

【0022】

画像表示装置２は、通信部２１に加えて、位置情報取得部２２、表示部２３及びコントローラ２４を備える。位置情報取得部２２は、画像表示装置２の位置情報を取得すると、取得した位置情報を画像表示制御装置１へ送信する。表示部２３は、画像表示制御装置１において生成された画像データを取得して画像データが示す重畳画像を表示する。コントローラ２４は、画像表示装置２の全体を制御する。

【0023】

画像取得装置３は、通信部３１に加えて、位置情報取得部３２、カメラ３３及びコントローラ３４を備える。位置情報取得部３２は、画像表示装置２の位置情報を取得すると、取得した位置情報を画像表示制御装置１へ送信する。カメラ３３は、画像取得装置３の周辺の画像を取得すると、取得した画像を画像表示制御装置１へ送信する。コントローラ３４は、画像取得装置３の全体を制御する。

【0024】

画像表示制御装置１は、通信部１１に加えて、データ取得部１２及び画像処理部１３を備える。なお、データ取得部１２及び画像処理部１３は、１つまたは複数のコントローラによって構成されており、コントローラが所定のプログラムを実行することにより、重畳画像が生成される。

【0025】

データ取得部１２は、位置データ取得部１２１、及び、画像データ取得部１２２を備える。位置データ取得部１２１は、位置情報取得部２２により取得される画像表示装置２の位置データ、及び、位置情報取得部３２により取得される画像取得装置３の位置データを取得する。そして、位置データ取得部１２１は、後述の画像処理に用いるために、画像表示装置２が搭載された車両Ｖ１と画像取得装置３との位置関係を求める。画像データ取得部１２２は、画像取得装置３により取得された画像データを受信する。

【0026】

画像処理部１３は、前方視野画像生成部１３１、死角範囲判別部１３２、情報表示判定部１３３、死角範囲画像生成部１３４、輪郭画像生成部１３５、及び、画像重畳部１３６を備える。なお、死角範囲画像生成部１３４、輪郭画像生成部１３５、及び、画像重畳部１３６を、まとめて、画像生成部１３０と称する。

【0027】

前方視野画像生成部１３１は、画像取得装置３により取得された画像データと、位置データ取得部１２１により求められた画像表示装置２と画像取得装置３との位置関係を用いて、画像表示装置２が搭載された車両Ｖ１の運転席からの視野を示す前方視野画像を生成する。

【0028】

死角範囲判別部１３２は、前方視野画像生成部１３１により生成された前方視野画像において、画像表示装置２を備える車両Ｖ１の前方に存在する物体（車両Ｖ２）により形成される死角範囲を判別する。なお、死角範囲判別部１３２は、画像取得装置３により取得された画像データや、位置データ取得部１２１により求められた画像表示装置２と画像取得装置３との位置関係を補助的に用いて、前方視野画像中の死角範囲を判別してもよい。なお、死角範囲は車両Ｖ２が示される領域に限らず、前方視野画像に含まれる複数の車両が示される領域が死角範囲として判別されてもよい。

【0029】

情報表示判定部１３３は、死角範囲判別部１３２によって前方視野画像において判別された死角範囲から車両Ｖ２が備える情報表示部Ｓ１を抽出し、情報表示部Ｓ１が伝達情報を表示中であるか否かを判定する。

【0030】

情報表示部Ｓ１が伝達情報を表示中ではないと判定する場合には、死角範囲画像生成部１３４は、画像取得装置３により取得された画像データを用いて、車両Ｖ１の運転席からの視野における車両Ｖ２よりも前方の死角情報を示す死角範囲画像を生成する。このようにすることで、死角範囲画像には、車両Ｖ２の全領域について前方の死角情報が示される。なお、死角範囲画像においては、車両Ｖ２により遮られる死角範囲（車両Ｖ２の全領域）以外の領域は透明化されている。

【0031】

一方、情報表示部Ｓ１が伝達情報を表示中であると判定される場合には、死角範囲画像生成部１３４は、死角範囲を形成する車両Ｖ２のうちの情報表示部Ｓ１を除く一部について、死角情報を示す死角範囲画像を生成する。このようにすることで、死角範囲画像には、車両Ｖ２のうち情報表示部Ｓ１を除く一部における死角情報が示される。なお、この場合には、死角範囲画像には、死角範囲以外の領域に加えて、死角範囲内の情報表示部Ｓ１を示す領域が透明化されている。そのため、後述のように、前方視野画像に対して死角範囲画像を重畳させて生成される重畳画像には、情報表示部Ｓ１による伝達情報が示される。

【0032】

輪郭画像生成部１３５は、死角範囲判別部１３２により判別された前方視野画像における死角範囲について、死角範囲を形成する車両Ｖ２の輪郭を抽出することで輪郭画像を生成する。

【0033】

画像重畳部１３６は、前方視野画像生成部１３１により生成される前方視野画像に対して、死角範囲画像生成部１３４により生成される死角範囲画像、及び、輪郭画像生成部１３５により生成される輪郭画像を重畳して、重畳画像を生成する。このように生成された重畳画像を示す画像データは画像表示装置２に送信されて、画像表示装置２の表示部２３に重畳画像が表示される。

【0034】

図５は、画像表示制御装置１による重畳画像の生成制御を示すフローチャートである。以下の処理は、画像表示制御装置１を構成するコントローラがプログラムを実行することにより行われるが、データ取得部１２及び画像処理部１３に含まれる複数の機能ブロックが実行するものとして説明する。

【0035】

ステップＳ１０１において、データ取得部１２（位置データ取得部１２１、画像データ取得部１２２）は、画像取得装置３により取得される画像データ、及び、画像表示装置２及び画像取得装置３の位置データを、通信部１１、２１、３１を介して取得する。そして、位置データ取得部１２１は、後述の画像処理のために、画像表示装置２と画像取得装置３との位置関係を求める。

【0036】

ステップＳ１０２において、前方視野画像生成部１３１は、ステップＳ１０１において得られた画像データ、及び、画像表示装置２と画像取得装置３との位置関係を用いて、自車両Ａの運転者の視野を示す前方視野画像を生成する。なお、前方視野画像生成部１３１は、画像データが不足している場合には、他の画像取得装置３（不図示）から取得した画像データや、事前に記録された地図データ等を用いて、不足している画像データを補って前方視野画像を生成する。なお、車両Ｖ１の前方に車両Ｖ２が存在する場合には、前方視野画像には車両Ｖ２が示され、車両Ｖ２の前方が死角範囲となる。

【0037】

ステップＳ１０３において、死角範囲判別部１３２は、前方視野画像生成部１３１により生成された前方視野画像において、車両Ｖ１の前方に存在する物体（車両Ｖ２）により形成される死角範囲の存在の有無を判定する。

【0038】

前方視野画像に死角範囲が存在しないと判定される場合には、次にステップＳ１０９の処理が行われる。ステップＳ１０９においては、画像処理部１３は、ステップＳ１０２において生成された前方視野画像を示す画像データを画像表示装置２へ送信し、画像表示装置２の表示部２３に前方視野画像が表示される。一方、死角範囲が存在すると判定される場合には、次にステップＳ１０４の処理が行われる。

【0039】

ステップＳ１０４において、情報表示判定部１３３は、ステップＳ１０３において存在すると判定された死角範囲について、死角範囲を形成する車両Ｖ２が備える情報表示部Ｓ１を抽出し、情報表示部Ｓ１が伝達情報を表示中（ランプが点灯中）であるか否かを判定する。情報表示部Ｓ１が伝達情報を表示中でない場合には、次にステップＳ１０５の処理が行われ、情報表示部Ｓ１が伝達情報を表示中である場合には、次にステップＳ１０６の処理が行われる。

【0040】

ステップＳ１０５において、情報表示部Ｓ１が伝達情報を表示中でない場合には、死角範囲画像生成部１３４は、画像取得装置３により取得された画像データを用いて、車両Ｖ１の運転席からの視野からの画像であって、死角範囲を形成する車両Ｖ２よりも前方の死角情報を示す死角範囲画像を生成する。

【0041】

一方、ステップＳ１０６において、情報表示部Ｓ１が伝達情報を表示中である場合には、死角範囲画像生成部１３４は、死角範囲における情報表示部Ｓ１を除く一部における死角情報を示す死角範囲画像を生成する。このようにすることで、死角範囲画像のうち情報表示部Ｓ１の領域については死角情報が示されておらず、情報表示部Ｓ１を除く領域について死角情報が示される。

【0042】

ステップＳ１０７において、輪郭画像生成部１３５は、画像取得装置３により取得される画像データ、及び、画像表示装置２と画像取得装置３との位置関係を用いて、死角範囲を形成する車両Ｖ２を透明化して輪郭のみを示す輪郭画像を生成する。なお、輪郭画像においては、輪郭以外の部分は透明化されている。

【0043】

ステップＳ１０８において、画像重畳部１３６は、ステップＳ１０２において生成された前方視野画像に対して、ステップＳ１０５又はＳ１０６において生成された死角範囲画像、及び、ステップＳ１０７において生成された輪郭画像を重畳して、重畳画像を生成する。

【0044】

そして、ステップＳ１０９においては、ステップＳ１０８において生成された重畳画像を示す画像データを画像表示装置２へと送信する。そして、画像表示装置２の表示部２３において、画像データに応じた重畳画像が表示される。

【0045】

このようにすることで、ステップＳ１０６においては、車両Ｖ２の情報表示部Ｓ１が伝達情報を表示している場合には、車両Ｖ２の情報表示部Ｓ１以外の部分についての死角情報を示す死角範囲画像が生成される。死角範囲画像において情報表示部Ｓ１の領域は透明化されているため、重畳画像には、情報表示部Ｓ１による伝達情報が示される。

【0046】

なお、ステップＳ１０５～Ｓ１０８の処理について、最終画像である重畳画像を生成する処理であるため、最終画像生成ステップＳ１１０としてまとめて示してもよい。

【0047】

なお、情報表示部Ｓ１は、方向指示器、ブレーキランプ、バックライト等の発光装置に限らず、車両Ｖ２の運転者の動作を確認可能なルームミラーや、車両Ｖ２に取り付けられた外部に対して視覚的に情報を伝達する表示装置であってもよい。

【0048】

また、ステップＳ１０８において、画像重畳部１３６は、前方視野画像に対して、死角範囲画像のみを重畳させて、輪郭画像を含めずに重畳画像を生成してもよい。このようにしても、重畳画像に情報表示部Ｓ１による伝達情報が示されるため、車両Ｖ１の運転者は車両Ｖ２の情報表示部Ｓ１が示す伝達情報を取得できる。

【0049】

また、本実施形態においては、死角を形成する車両Ｖ２は、車両Ｖ１と同じ車線を走行していたがこれに限らない。車両Ｖ２は、車両Ｖ１の隣接車線を走行していてもよい。隣接車線を走行している車両Ｖ２が、車両Ｖ１と同じ車線に車線変更する場合には、方向指示器を点滅させる。死角情報を表示するために車両Ｖ２が透明化されていたとしても、本実施形態により重畳画面には方向指示器による伝達情報が示されるため、車両Ｖ１の運転者は車両Ｖ２が自車線に車線変更しようとしていることを知ることができる。

【0050】

また、本実施形態においては、ステップＳ１０８において、画像重畳部１３６は、前方視野画像に対して、死角範囲画像、及び、輪郭画像を重畳して重畳画像を生成した。画像重畳部１３６は、重畳画像の生成時において、死角範囲を形成する物体（車両Ｖ２）において伝達情報を表示中の情報表示部Ｓ１を強調するような画像加工等を行ってもよい。例えば、情報表示部Ｓ１が発光装置である場合には、光源である情報表示部Ｓ１から放射状に伸びる光線を明示的に光線のような表示態様で示す光線画像を付与してもよい。このようにすることで、車両Ｖ１の運転者が必要な情報を取得しやすくなる。なお、このような情報表示部Ｓ１の伝達情報の表示を強調することは、ステップＳ１０８に限らず、任意のステップで実行してもよい。

【0051】

また、本実施形態においては、画像表示制御装置１は、通信部１１、２１を介して画像表示装置２と接続されたがこれに限らない。画像表示制御装置１は、画像表示装置２と同じ車両Ｖ１に搭載されてもよい。また、画像取得装置３は、複数設けられてもよく、車両Ｖ１、Ｖ２だけでなく、他の車両のルーフ部分に取り付けられてもよいし、路肩に設けられてもよい。

【0052】

また、本実施形態の重畳画像の生成制御においては、情報表示部Ｓ１が伝達情報を表示中である場合には、画像表示制御装置１は、死角範囲画像において情報表示部Ｓ１を透明化したが、これに限らない。情報表示部Ｓ１の伝達情報の表示の有無に関わらず、死角範囲の全体について死角情報を示す死角範囲画像を生成し、輪郭画像において情報表示部Ｓ１による伝達情報を含めてもよい。

【0053】

重畳画像の生成制御の他の形態として、情報表示部Ｓ１が伝達情報を表示中である場合には、情報表示部Ｓ１の伝達情報を示す情報表示画像を生成し、前方視野画像に対して、死角範囲画像、輪郭画像、及び、情報表示画像を重畳して重畳画像を生成してもよい。このような場合には、画像生成部１３０は、さらに、情報表示画像を生成する機能ブロックを備え、最終画像生成ステップＳ１１０において、情報表示画像を生成する処理が含まれる。

【0054】

第１実施形態によれば、以下の効果を得ることができる。

【0055】

第１実施形態の画像表示制御装置１によれば、画像取得装置３により取得される画像データ、並びに、画像取得装置３の位置データを取得するデータ取得部１２と、第１車両Ｖ１の前方を第１車両Ｖ１から見た前方視野画像を生成する前方視野画像生成部１３１と、前方視野画像において第２車両Ｖ２により形成される死角範囲を判別する死角範囲判別部１３２と、前方視野画像において、第２車両Ｖ２が備える情報表示部Ｓ１による伝達情報の表示の有無を判定する情報表示判定部１３３と、第１車両Ｖ１の前方を第１車両Ｖ１から見た画像であって、死角範囲に示される第２車両Ｖ２の前方の死角情報が示される重畳画像を生成する画像生成部１３０と、を備える。

【0056】

画像生成部１３０は、情報表示部Ｓ１が伝達情報を表示していないと判定される場合には、死角範囲に第２車両Ｖ２の前方の死角情報が示される重畳画像を生成し、情報表示部Ｓ１が伝達情報を表示していると判定される場合には、死角範囲には死角情報に加えて情報表示部Ｓ１よる伝達情報が示される重畳画像を生成する。

【0057】

このようにすることで、第２車両Ｖ２の情報表示部Ｓ１が伝達情報を表示している場合には、重畳画像において情報表示部Ｓ１により表示される伝達情報が示される。その結果、車両Ｖ１の運転者は車両Ｖ２の情報表示部Ｓ１が外部に対して示す伝達情報をより確実に認識することができる。

【0058】

第１実施形態の画像表示制御装置１によれば、画像生成部１３０は、第１車両Ｖ１からの視野の画像であって第２車両Ｖ２の前方の死角情報を示す死角範囲画像を生成する死角範囲画像生成部１３４と、前方視野画像に対して、死角範囲画像を重畳させることで、重畳画像を生成する画像重畳部１３６と、を備える。

【0059】

死角範囲画像生成部１３４は、情報表示判定部１３３により情報表示部Ｓ１が伝達情報を表示していないと判定される場合には、前方視野画像の死角範囲の全領域について死角情報が示された死角範囲画像を生成する。一方、死角範囲画像生成部１３４は、情報表示判定部１３３により情報表示部Ｓ１が伝達情報を表示していると判定される場合には、前方視野画像の死角範囲において情報表示部Ｓ１以外の一部の領域について死角情報を示す死角範囲画像を生成する。

【0060】

このようにすることで、第２車両Ｖ２の情報表示部Ｓ１が伝達情報を表示している場合には、車両Ｖ２の情報表示部Ｓ１以外の一部についての死角情報を示す死角範囲画像が生成される。その結果、前方視野画像に対して死角範囲画像を重畳させて生成される重畳画像において、前方視野画像に示される情報表示部Ｓ１により表示される伝達情報が示されるので、車両Ｖ１の運転者は車両Ｖ２の情報表示部Ｓ１が示す伝達情報をより確実に認識することができる。

【0061】

第１実施形態の画像表示制御装置１によれば、画像生成部１３０は、さらに、画像データを画像処理することで、第１車両Ｖ１からの視野において第２車両Ｖ２の輪郭を示す輪郭画像を生成する輪郭画像生成部１３５を備える。そして、画像重畳部１３６は、前方視野画像に対して、死角範囲画像及び輪郭画像を重畳させることで、重畳画像を生成する。このように重畳画像に第２車両Ｖ２の輪郭画像が表示されることにより、車両Ｖ１の運転者は車両Ｖ２の前方の死角情報を確認しながら、車両Ｖ２の存在を輪郭画像により把握することができるので、重畳画像において情報表示部Ｓ１の伝達情報が示される場合の運転者の違和感を少なくすることができる。

【0062】

第１実施形態の画像表示制御装置１によれば、第２車両Ｖ２の情報表示部Ｓ１は、第１車両Ｖ１と同じ車線を走行する第２車両Ｖ２の方向指示器、ブレーキランプ、バックライトの少なくとも１つである。このような構成である場合には、第１車両Ｖ１の運転者は、同一車線の前方の第２車両Ｖ２の死角を確認しながら、前方の第２車両Ｖ２の情報表示部Ｓ１である方向指示器、ブレーキランプ、バックライトの示す走行必要な伝達情報を取得することができる。

【0063】

第１実施形態の画像表示制御装置１によれば、第２車両Ｖ２の情報表示部Ｓ１は、第１車両Ｖ１の隣接車線の前方を走行する第２車両Ｖ２の方向指示器である。このような構成である場合には、第１車両Ｖ１の運転者は、隣接車線の前方の第２車両Ｖ２の死角を確認しながら、第２車両Ｖ２の情報表示部Ｓ１である方向指示器の示す必要な情報を取得することで、第２車両Ｖ２が自車線へと車線変更することを知ることができる。

【0064】

第１実施形態の画像表示制御装置１によれば、第２車両Ｖ２の情報表示部Ｓ１は、発光装置、ルームミラー、文字表示装置の少なくとも１つである。このような構成である場合には、情報表示判定部１３３は、前方視野画像を画像解析することで種々の表示デバイスである情報表示部Ｓ１における伝達情報の表示の有無を判別する。その結果、種々の表示デバイスにより示される伝達情報が重畳画像に含められることになるため、車両Ｖ１の運転者はより多くの伝達情報を取得することができる。

【0065】

第１実施形態の画像表示制御装置１によれば、画像重畳部１３６は、重畳画像の生成時において、死角範囲を形成する物体（車両Ｖ２）の情報表示部Ｓ１を強調して表示する。例えば、情報表示部Ｓ１がブレーキランプである場合には、ブレーキランプの領域の拡大や、光源から放射状に伸びる光線画像の付与等が行われる。これにより情報表示部Ｓ１により表示される伝達情報の視認性が向上し、車両Ｖ１の運転者は車両Ｖ２の情報表示部Ｓ１が示す伝達情報をより確実に視認することができる。

【0066】

（第２実施形態）
第１実施形態においては、死角領域を形成する物体に示される情報表示部Ｓ１が伝達情報を表示中である場合に（Ｓ１０４：Ｙｅｓ）、車両Ｖ２における情報表示部Ｓ１以外の部分における死角情報を示す死角範囲画像を生成した（Ｓ１０６）が、これに限らない。第２実施形態においては、車両Ｖ２の前方の死角に歩行者等のリスク物が存在し、かつ、車両Ｖ２の情報表示部が伝達情報を表示中である場合に、車両Ｖ２における情報表示部Ｓ２以外の一部における死角情報を示す死角範囲画像を生成する例について説明する。

【0067】

図６は、第２実施形態における車両の走行状態を示す説明図であり、図１と対応する。

【0068】

この図に示されるように、画像表示装置２を搭載した車両Ｖ１の前方には車両Ｖ２が走行しており、車両Ｖ２の前方には、さらに他の車両Ｖ３が走行している。そして、車両Ｖ３の前方には、歩行者Ｗが車線を横切ろうとしている。このような場合には、歩行者Ｗは停車要因となりえるリスク物であるため、車両Ｖ３は停車制御を行っておりブレーキランプが点灯している。

【0069】

図７は、画像表示制御装置１によって生成される重畳画像の例であり、図３と対応する。

【0070】

この図に示されるように、重畳画像には、車両Ｖ２、Ｖ３がともに透明化されて輪郭が示されている。そして、重畳画像は、車両Ｖ１の運転席からの視野の画像であって、車両Ｖ１の運転席からの視野における車両Ｖ２、Ｖ３よりも前方の死角が示されている。

【0071】

ここで、車両Ｖ３の前方において歩行者Ｗが存在するため、車両Ｖ３は停車制御を行っており、情報表示部Ｓ２（ブレーキランプ）が停車制御中であることを示す伝達情報を表示中である。そのため、車両Ｖ３の情報表示部Ｓ２以外の一部の死角情報を示す死角範囲画像が生成される。その結果、重畳画像においては、伝達情報を表示中である情報表示部Ｓ２が示される。

【0072】

さらに、この図によれば、補助情報表示領域Ｓ３において、伝達情報を表示中の情報表示部Ｓ２を備える車両Ｖ３が車両Ｖ１からの何台前の車両（本実施形態では２台前）であるかが示される。このような補助情報によって、車両Ｖ１の運転者は、伝達情報を表示中の車両Ｖ３までの距離を把握することができる。

【0073】

図８は、画像表示制御システム１００のブロック図である。この図によれば、図４に示された第１実施形態の画像表示制御システム１００の構成と比較すると、画像処理部１３は、さらに停車要因判定部２０１を備える。

【0074】

停車要因判定部２０１は、画像取得装置３により取得された画像データを解析することにより、車両Ｖ１、Ｖ２、及び、Ｖ３の前方における停車要因となりえるリスク物の有無を判定する。リスク物とは、歩行者、自転車、及び、路上落下物等であって、車両の走行の妨げるものである。具体的には、停車要因判定部２０１は、動体検出により歩行者や自転車の検出や、路面状態の解析により路上落下物の検出を行うと、リスク物（停車要因）が存在すると判定する。

【0075】

そして、停車要因判定部２０１により車両Ｖ１の前方に存在する車両Ｖ２、Ｖ３の前方に停車要因（リスク物）が存在すると判定される場合には（本実施形態では、車両Ｖ３の前方にリスク物が存在すると判定される）、さらに、情報表示判定部１３３により車両Ｖ３が備える情報表示部Ｓ２が伝達情報を表示中であるか否かが判定される。

【0076】

このような停車要因判定部２０１の判定結果を受けて、死角範囲画像生成部１３４は、車両Ｖ３の前方に停車要因（リスク物）が存在すると判定され、かつ、車両Ｖ３の情報表示部Ｓ２が伝達情報を表示中であると判定する場合には、死角範囲のうち車両Ｖ３における情報表示部Ｓ２を除く一部について死角情報を示す死角範囲画像を生成する。その結果、重畳画像には、車両Ｖ３の情報表示部Ｓ２による伝達情報が示されることになる。

【0077】

図９は、画像表示制御装置１による重畳画像の生成制御を示すフローチャートである。この図によれば、図５に示された第１実施形態の重畳画像の生成制御を示すフローチャートと比較すると、ステップＳ１０３とステップＳ１０４との間に、ステップＳ２１１の処理が含まれている。

【0078】

ステップＳ２１１においては、停車要因判定部２０１は、画像取得装置３により取得された画像データを解析することにより、車両Ｖ１よりも前方に存在する車両Ｖ２、Ｖ３について、それらの車両Ｖ２、Ｖ３の前方のリスク物の有無を判定する。詳細には、上述のように、停車要因判定部２０１は、動体検出により歩行者や自転車の検出や、路面状態の解析により路上落下物の検出を行うと、停車要因（リスク物）があると判定する。

【0079】

そして、車両Ｖ２、Ｖ３の前方に停車要因（リスク物）が存在すると判定される場合には、次に、ステップＳ１０４の処理が行われる。車両Ｖ２、Ｖ３の前方に停車要因（リスク物）が存在しないと判定される場合には、次に、ステップＳ１０５の処理が行われる。このようにすることで、車両Ｖ３の前方に停車要因（リスク物）が存在すると判定され、かつ、車両Ｖ３の情報表示部Ｓ２が伝達情報を表示中であると判定される場合に、重畳画像には、停車要因（リスク物）が前方に存在する車両Ｖ３の情報表示部Ｓ２により表示される伝達情報が示される。

【0080】

なお、ステップＳ１０８において、重畳画像を生成する際に、さらに、補助情報表示領域Ｓ３が追加的に示され、補助情報表示領域Ｓ３に、情報を表示中の情報表示部Ｓ２を備える車両Ｖ３が車両Ｖ１からの何台前の車両（本実施形態では２台前）であるかが示される。

【0081】

第２実施形態の画像表示制御装置１によれば、第２車両Ｖ３の前方に、第２車両Ｖ３の停車要因となりえるリスク物の歩行者Ｗの存在の有無を判定する停車要因判定部２０１を、さらに備える。そして、停車要因判定部２０１によって停車要因が存在すると判定され（Ｓ２１１：Ｙｅｓ）、かつ、情報表示判定部１３３により情報表示部Ｓ２が伝達情報を表示していると判定される場合（Ｓ１０４：Ｙｅｓ）には、死角範囲において情報表示部Ｓ２以外の一部の領域について死角情報を示す死角領域画像を生成する（Ｓ１０６）。一方、停車要因判定部２０１によって停車要因が存在しないと判定される場合には（Ｓ２１１：Ｎｏ）、死角範囲における全領域について死角情報を示す死角領域画像を生成する（Ｓ１０５）。

【0082】

ここで、前方に停車要因（リスク物）が存在する車両Ｖ３においては、停車制御を行う必要性が高いため、制動時間が長くなる可能性が高い。そこで、停車要因判定部２０１によって停車要因が存在すると判定され（Ｓ２１１：Ｙｅｓ）、かつ、情報表示判定部１３３により情報表示部Ｓ２が伝達情報を表示していると判定される場合（Ｓ１０４：Ｙｅｓ）には、死角範囲において車両Ｖ３の情報表示部Ｓ２以外の一部の領域について、前方の死角を示す死角範囲画像を生成する（Ｓ１０６）。これにより、重畳画像には車両Ｖ３の情報表示部Ｓ２が示す伝達情報が示されるので、車両Ｖ１の運転者は車両Ｖ３の停車制御に関する情報を事前に取得することができる。このように、情報表示部による伝達情報の表示を、停車要因が前方に存在する車両について行うことで、車両Ｖ１の運転者は自車の走行に影響する情報を得やすくなる。

【0083】

第２実施形態の画像表示制御装置１によれば、画像重畳部１３６は、補助情報表示領域Ｓ３において、情報を表示中の情報表示部Ｓ２を備える車両Ｖ３が車両Ｖ１からの何台前の車両（本実施形態では２台前）であるかを示される重畳画像を生成する。このようにすることで、図８に示されるように、重畳画像に補助情報表示領域Ｓ３が示され、車両Ｖ１の運転者は、情報を表示中の車両Ｖ３までの距離を把握することができる。

【0084】

（第１変形例）
第２実施形態においては、補助情報表示領域Ｓ３において、情報を表示中の情報表示部Ｓ２を備える車両Ｖ３が車両Ｖ１からの何台前の車両（本実施形態では２台前）であるかが示されたが、これに限らない。図１０に示されるように、重畳画像とは別に設けられる補助情報表示領域Ｓ４に、上方から車両Ｖ１、及び、車両Ｖ２、Ｖ３を見た図が示され、表示領域Ｓ５によって情報表示中の情報表示部Ｓ２を備える車両Ｖ３の位置が特定されてもよい。このようにしても、車両Ｖ１の運転者は、伝達情報を表示中の車両Ｖ３までの距離を把握することができる。

【0085】

なお、本実施形態で示した各処理は、各処理手順をコンピュータに実行させるためのプログラムに基づいて実行されるものである。このため、本実施形態は、それらの各処理を実行する機能を実現するプログラム、そのプログラムを記憶する記録媒体の実施形態としても把握することができる。例えば、情報処理装置に新機能を追加するためのアップデート処理により、そのプログラムを情報処理装置の記憶装置に記憶させることができる。これにより、そのアップデートされた情報処理装置に本実施形態で示した各処理を実施させることが可能となる。

【0086】

以上、本発明の実施形態について説明したが、上記実施形態及び各変形例で説明した構成は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を限定する趣旨ではない。例えば、上記各実施形態及び変形例は、その一部または全部を組み合わせて実施することができる。

【符号の説明】

【0087】

１００ 画像表示制御システム、１ 画像表示制御装置、２ 画像表示装置、３ 画像取得装置、１１ 通信部、１２ データ取得部、１３ 画像処理部、１３０ 画像生成部、１３１ 前方視野画像生成部、１３２ 死角範囲判別部、１３３ 情報表示判定部、１３４ 死角範囲画像生成部、１３５ 輪郭画像生成部、１３６ 画像重畳部、２０１ 停車要因判定部、Ｓ１、Ｓ２ 情報表示部、Ｓ３、Ｓ４ 補助情報表示領域、Ｓ５ 表示領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】