(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024169137
(43)【公開日】2024-12-05
(54)【発明の名称】制御装置、表示システム、及び映像生成方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20241128BHJP
B60R 1/20 20220101ALI20241128BHJP
B60R 1/22 20220101ALI20241128BHJP
【FI】
H04N7/18 J
H04N7/18 U
H04N7/18 K
B60R1/20 100
B60R1/22
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023086356
(22)【出願日】2023-05-25
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100132045
【弁理士】
【氏名又は名称】坪内 伸
(74)【代理人】
【識別番号】100195534
【弁理士】
【氏名又は名称】内海 一成
(72)【発明者】
【氏名】岡田 遼太朗
(72)【発明者】
【氏名】藤原 信吾
(72)【発明者】
【氏名】河野 嵩
(72)【発明者】
【氏名】大塚 泰介
(72)【発明者】
【氏名】竹内 凌一
【テーマコード(参考)】
5C054
【Fターム(参考)】
5C054CA04
5C054CC02
5C054FC12
5C054FD02
5C054FD03
5C054FD07
5C054FE09
5C054FE13
5C054FE16
5C054FE28
5C054HA30
(57)【要約】
【課題】運転者が車両の周囲の状況を適切に認識するための情報を生成する制御装置、表示システム、及び映像生成方法を提供する。
【解決手段】制御装置40は、車両50の周囲の映像を生成する。制御装置40は、車両50の内部の特定の空間領域から見た場合に、車両50の外部領域の中で車両50の車体の一部に遮蔽される光景の映像である透視映像70を生成し、車両50の周囲の光景の映像であって、車両50の内部にある表示装置に表示される映像である俯瞰映像80における注意範囲を映すように透視映像70を生成する。
【選択図】
図7
【特許請求の範囲】
【請求項1】
車両の周囲の映像を生成する制御装置であって、
前記車両の内部の特定の空間領域から見た場合に、前記車両の外部領域の中で前記車両の車体の一部に遮蔽される光景の映像である透視映像を生成し、
前記車両の周囲の光景の映像であって、前記車両の内部にある表示装置に表示される映像である俯瞰映像における注意範囲を映すように前記透視映像を生成する、
制御装置。
【請求項2】
前記透視映像の中で前記注意範囲に対応する物体又は領域を含む部分に付加画像を重畳する、請求項1に記載の制御装置。
【請求項3】
前記車両の周囲を撮影した複数の画像に基づいて前記俯瞰映像を生成し、
前記俯瞰映像を構成する複数の画像同士の境界を前記注意範囲として前記透視映像を生成する、請求項1又は2に記載の制御装置。
【請求項4】
前記表示装置において、前記透視映像の中で前記俯瞰映像の注意範囲を映している部分が前記俯瞰映像を表示している部分に重ならないように前記俯瞰映像を生成する、請求項1又は2に記載の制御装置。
【請求項5】
前記透視映像が前記俯瞰映像に映っている範囲の少なくとも一部を映すように前記透視映像を生成する、請求項1又は2に記載の制御装置。
【請求項6】
前記俯瞰映像に映っている範囲が前記透視映像に映っている範囲よりも広くなるように前記俯瞰映像及び前記透視映像を生成する、請求項1又は2に記載の制御装置。
【請求項7】
請求項1又は2に記載の制御装置と、車両に搭載される表示装置とを備える、表示システム。
【請求項8】
前記表示装置は、前記透視映像を表示する第1表示装置と、前記俯瞰映像を表示する第2表示装置とを含む、請求項7に記載の表示システム。
【請求項9】
前記車両の周囲を撮影する撮影装置を更に備える、請求項7に記載の表示システム。
【請求項10】
車両の周囲の映像を生成する映像生成方法であって、
前記車両の内部の特定の空間領域から見た場合に、前記車両の外部領域の中で前記車両の車体の一部に遮蔽される光景の映像である透視映像を生成し、
前記車両の周囲の光景の映像であって、前記車両の内部にある表示装置に表示される映像である俯瞰映像における注意範囲を映すように前記透視映像を生成する、
映像生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、制御装置、表示システム、及び映像生成方法に関する。
【背景技術】
【0002】
従来、車両の周辺を撮影した画像に基づいて複数の部分俯瞰映像を生成し、複数の部分俯瞰映像に基づいて全体俯瞰映像を表示するシステムが知られている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
複数の部分俯瞰映像を合成して全体俯瞰映像を生成する際に歪み又は画像の欠損が生じることがある。運転者が俯瞰映像だけで車両の周囲の状況を適切に認識することは難しい。
【0005】
本開示の目的は、運転者が車両の周囲の状況を適切に認識するための情報を生成する制御装置、表示システム、及び映像生成方法を提供することにある。
【課題を解決するための手段】
【0006】
本開示の一実施形態に係る制御装置は、車両の周囲の映像を生成する。前記制御装置は、前記車両の内部の特定の空間領域から見た場合に、前記車両の外部領域の中で前記車両の車体の一部に遮蔽される光景の映像である透視映像を生成する。前記制御装置は、前記車両の周囲の光景の映像であって、前記車両の内部にある表示装置に表示される映像である俯瞰映像における注意範囲を映すように前記透視映像を生成する。
【0007】
本開示の一実施形態に係る表示システムは、上記制御装置と、車両に搭載される表示装置とを備える。
【0008】
本開示の一実施形態に係る映像生成方法は、車両に搭載される表示装置に映像を表示する。前記映像生成方法は、前記車両の内部の特定の空間領域から見た場合に、前記車両の外部領域の中で前記車両の車体の一部に遮蔽される光景の映像である透視映像を生成する。前記映像生成方法は、前記車両の周囲の光景の映像であって、前記車両の内部にある表示装置に表示される映像である俯瞰映像における注意範囲を映すように前記透視映像を生成する。
【発明の効果】
【0009】
本開示の一実施形態に係る制御装置、表示システム、及び映像生成方法によれば、運転者が車両の周囲の状況を適切に認識するための情報が生成される。
【図面の簡単な説明】
【0010】
【
図1】一実施形態に係る表示システムの概略構成例を示すブロック図である。
【
図2】表示システムを搭載した車両の構成例を示す側面図である。
【
図3】
図2の車両を運転者の視点で表現した図である。
【
図4】
図2の車両を地面に向かって俯瞰した平面図である。
【
図5】車両の運転者の視点と、運転者が車両の前方を視認できる範囲との関係の一例を示す図である。
【
図8】一実施形態に係る映像生成方法の手順例を示すフローチャートである。
【発明を実施するための形態】
【0011】
(表示システム1の概要)
図1に示されるように、本開示の一実施形態に係る表示システム1は、第1表示装置10と、第2表示装置20と、撮影装置30と、制御装置40とを備える。本実施形態に係る表示システム1の少なくとも一部は、車両50(
図2等参照)に搭載される。
【0012】
表示システム1は、車両50の運転者が車両50の周囲を視認する際に死角になる範囲の情報を含む情報を表示する。具体的に、表示システム1は、俯瞰映像80(
図6参照)を表示する。俯瞰映像80は、地面の上に位置する車両50及び車両50の周囲の物体を、車両の上空の視点から地面に向かって見下ろす視点で生成された映像である。
【0013】
俯瞰映像80は、撮影装置30によって車両50の周囲を撮影した画像に基づいて制御装置40によって生成される。俯瞰映像80は、車両50の周囲を撮影した画像を俯瞰映像80に変換するための画像処理に起因する歪みを含むことがある。俯瞰映像80の歪みは、画像の端部等の種々の位置で生じることがある。
【0014】
俯瞰映像80は、複数の画像に基づいて生成される場合、複数の画像を合成する際の画像処理に起因する歪みを含むことがある。俯瞰映像80は、複数の画像同士の境界で生じる歪みを含むことがある。
【0015】
他に、俯瞰映像80は、車両50の周囲を撮影した画像を俯瞰映像80に変換するための画像処理に起因して、車両50の周囲の領域で俯瞰映像80に映るはずの領域が俯瞰映像80から消失することがある。この場合、消失した領域に存在する物体は、俯瞰映像80には含まれない。領域又は物体の消失は、画像の端部等の種々の位置で生じることがある。また、領域又は物体の消失は、複数の画像同士の境界で生じることもある。
【0016】
以上のように、俯瞰映像80において、画像の歪み、又は、領域若しくは物体の消失等の表示の不具合が生じることがある。俯瞰映像80における表示の不具合は、車両50の運転者に車両50の周囲の状況を誤って認識させることにつながる。
【0017】
そこで、表示システム1は、俯瞰映像80を補完する情報として透視映像70(
図7参照)を更に表示する。透視映像70は、例えば車両50の運転者が車両50の前方を視認する際にダッシュボード55(
図2等参照)等の不透明な車体の一部の物体の存在によって運転者が視認できない範囲を運転者が透視できたと仮定して生成された映像である。透視映像70は、車両50の内部の特定の空間領域から見た場合に、車両50の外部領域の中で車両50の車体の一部に遮蔽される光景の映像である。言い換えれば、透視映像70は、ダッシュボード55が透明であったならば運転者が視認できる景色の映像である。透視映像70は、撮影装置30によって車両50の周囲を撮影した画像に基づいて制御装置40によって生成される。表示システム1は、俯瞰映像80において表示の不具合が生じる可能性がある範囲を透視映像70で運転者に視認させることによって、俯瞰映像80の表示の不具合によって運転者が車両50の周囲の状況を誤って認識する可能性を低減できる。俯瞰映像80において表示の不具合が生じる可能性がある範囲、又は不具合が生じた範囲は、俯瞰映像80の注意範囲とも称される。この注意範囲を透視映像70によって運転者に視認させることで、運転者が車両50の周囲の状況を誤って認識する可能性が低減し得る。
【0018】
(表示システム1の構成例)
以下、表示システム1の各部の構成例が説明される。
【0019】
<車両50>
図2及び
図3に示されるように、車両50は、第1表示装置10を備える。第1表示装置10は、車両50の運転者がフロントガラス52を通して車両50の前方を視認する際に、フロントガラス52の範囲外を運転者が透視する視点で生成された透視映像70(
図7参照)を表示する。透視映像70は、例えばフロントガラス52の下のダッシュボード55等で遮られて視認できない範囲を透視する映像として生成される。
【0020】
車両50は、第2表示装置20を更に備える。第2表示装置20は、地面の上に位置する車両50及び車両50の周囲の物体を、地面に向かって俯瞰する視点で生成された俯瞰映像80(
図6参照)を表示する。地面に向かう方向は、Z軸負方向に対応する。
【0021】
車両50は、
図4に示されるように、タイヤ56を有し、Y軸正方向に向かって前進すするように構成される。車両50は、
図3又は
図4に示されるように、サイドミラー53及び54を有する。
【0022】
車両50は、透視映像70及び俯瞰映像80を生成するために用いる画像を撮影する撮影装置30を備える。
図4に示されるように、車両50は、撮影装置30として、車両50の前方を撮影する前方カメラ31を備える。車両50の前方は、Y軸正方向に対応する。前方カメラ31は、例えば車両50の前方のバンパー等に設置されてよい。
【0023】
車両50は、撮影装置30として、車両50の前方に向かって右側を撮影する側方カメラ32と、車両50の前方に向かって左側を撮影する側方カメラ33とを備える。車両50の前方に向かって右側は、X軸正方向に対応する。車両50の前方に向かって左側は、X軸負方向に対応する。側方カメラ32は、例えば右側のサイドミラー53に設置されてよい。側方カメラ33は、例えば左側のサイドミラー54に設置されてよい。
【0024】
車両50は、車両50の後方を撮影する後方カメラ34を備える。車両50の後方は、Y軸負方向に対応する。後方カメラ34は、例えば車両50の後方のバンパー等に設置されてよい。
【0025】
車両50は、車両50の前方から右に45度傾斜した方向を撮影する斜方カメラ35と、車両50の前方から左に45度傾斜した方向を撮影する斜方カメラ36とを備える。斜方カメラ35及び36は、例えば車両50の前方のバンパー等に設置されてよい。
【0026】
<表示装置>
上述したように、第1表示装置10は、透視映像70(
図7参照)を表示する。第1表示装置10は、
図2に示されるように、プロジェクタ12とスクリーン14とを備える。
【0027】
プロジェクタ12は、車両50の室内で、スクリーン14に透視映像70を含む映像を結像するための映像光を投影できるように設置されてよい。プロジェクタ12は、例えば、車両50の室内の天井、又は、運転席のヘッドレストに設けられてよい。
【0028】
スクリーン14は、プロジェクタ12から投影された映像光によって結像された透視映像70を含む映像を運転者が視認できるように構成される。つまり、スクリーン14は、映像の表示面として機能する。スクリーン14は、運転者が車両50の進行方向を向いた状態で映像を視認できるように、車両50の運転者から見て車両50の進行方向に配置される。スクリーン14は、再帰性反射材及び車両50の上下方向に光を拡散させる拡散板を積層させることによって形成されていてよい。車両50の上下方向はZ軸方向に対応する。なお、透視映像70を表示させるスクリーンの位置は車両50の進行方向に限定されない。車両の搭乗者が透視して視認する必要のある、車両内の任意の部材に配置されてよい。例えば、スクリーンは車体のピラーに配置されてよい。スクリーンは車体のA~Dピラーのうち、任意のピラーに配置されてよい。プロジェクタ12はそれぞれのスクリーンに透視映像70を投影してよい。
【0029】
第1表示装置10は、プロジェクタ12とスクリーン14とを組み合わせた、表示面に映像を投影するデバイスに限られず、表示面に映像を形成するディスプレイを含んで構成されてもよい。ディスプレイは、LCD(Liquid Crystal Display)、又は、有機EL(Electro-Luminescence)若しくは無機ELディスプレイ等の種々の態様のディスプレイを含んでよい。
【0030】
上述したように、第2表示装置20は、俯瞰映像80(
図6参照)を運転者が視認できるように構成される。第2表示装置20は、車両50の運転者から見て車両50の進行方向に配置される。第2表示装置20は、表示面に映像を形成するディスプレイを含んで構成される。第2表示装置20は、表示面に映像を投影するデバイスを含んで構成されてもよい。第2表示装置20は、LCD、又は、有機EL若しくは無機ELディスプレイ等の種々の態様のディスプレイを含んでよい。
【0031】
第2表示装置20は、第1表示装置10の一部として構成されてもよい。つまり、第1表示装置10は、第2表示装置20を含んでよい。例えば、第1表示装置10は、スクリーン14の一部に俯瞰映像80を表示してよい。例えば、第1表示装置10は、透視映像70の一部に俯瞰映像80を合成して表示してよい。
【0032】
第2表示装置20が第1表示装置10の一部として構成される場合、又は、第1表示装置10と第2表示装置20とが別体として構成される場合のいずれであっても、第1表示装置10及び第2表示装置20は、表示装置と総称されるとする。
【0033】
<撮影装置30>
撮影装置30は、車両50の周囲を撮影するカメラを含んで構成される。撮影装置30は、上述したように、前方カメラ31、側方カメラ32及び33、後方カメラ34、並びに、斜方カメラ35及び36を含む。カメラは、RGB画像を撮影できるように構成される。カメラは、CCD(Charge Coupled Device Image Sensor)又はCMOS(Complementary Metal Oxide Semiconductor)センサ等のように、光電変換を行う撮影素子を含んで構成されてよい。
【0034】
撮影装置30として車両50に搭載されるカメラの数は、上述したように6台に限られず5台以下であってもよいし7台以上であってもよい。撮影装置30は、車両50に搭載されていないカメラを含んでもよい。撮影装置30は、車両50に搭載されていてもよいし車両50に搭載されていなくてもよい。つまり、車両50は、本開示の一実施形態に係る表示システム1の一部を搭載しなくてよい。
【0035】
車両50が撮影装置30として搭載するカメラの組み合わせは、
図4に例示される6台のカメラの組み合わせに限られない。例えば、車両50は、前方カメラ31及び側方カメラ32を備える場合、斜方カメラ35を備えなくてもよい。例えば、車両50は、前方カメラ31及び側方カメラ33を備える場合、斜方カメラ36を備えなくてもよい。例えば、車両50は、斜方カメラ35及び36を備える場合、前方カメラ31並びに側方カメラ33及び34を備えなくてもよい。
【0036】
<制御装置40>
制御装置40は、撮影装置30から、車両50の周囲を撮影した画像を取得する。制御装置40は、車両50の周囲を撮影した画像に基づいて、俯瞰映像80及び透視映像70を生成する。
【0037】
制御装置40は、車両50の周囲を撮影した画像に基づいて俯瞰映像80を生成する。制御装置40は、既知のアルゴリズムに基づいて俯瞰映像80を生成してよい。
【0038】
制御装置40は、車両50の運転者の視点に基づいて透視映像70を生成する。
図5に示されるように、車両50の運転者の視点がアイボックスebで表されるとする。例えば、車両50の前方において、運転者が直接視認できない範囲は、第1範囲s1と称される。一方で、車両50の前方において、運転者がフロントガラス52を通して直接視認できる範囲は、第2範囲s2と称される。第1範囲s1と第2範囲s2とは、アイボックスebとフロントガラス52の下端とを結ぶ線で区切られる。
【0039】
制御装置40は、第1範囲s1を前方カメラ31で撮影した画像に基づいて、運転者の視点から第1範囲s1の風景を透視した場合の映像として透視映像70を生成する。制御装置40は、斜方カメラ35又は36で撮影した画像に基づいて透視映像70を生成してもよい。
【0040】
制御装置40は、運転者が視認する第2範囲s2の風景に対して透視映像70が自然につながって見えるように透視映像70を生成してよい。例えば、制御装置40は、第2範囲s2の風景に対して透視映像70が連続するように透視映像70を生成してよい。制御装置40は、運転者が透視映像70を見て感じる明度又は彩度と、運転者が視認する第2範囲s2の風景の明度又は彩度とが近づくように、透視映像70を生成してよい。
【0041】
制御装置40は、アイボックスebの位置を、運転者の体格等のデータに基づいて定まる運転者の目の位置に決定してよい。制御装置40は、アイボックスebの位置を、アイトラッキングによって検出した運転者の目の位置に決定してよい。表示システム1は、アイトラッキングのための装置を更に備えてよい。
【0042】
制御装置40は、種々の機能を実行するための制御及び処理能力を提供するために、少なくとも1つのプロセッサを備えてよい。制御装置40の機能は、1つのプロセッサで実現されてもよいし、いくつかのプロセッサで実現されてもよい。プロセッサは、単一の集積回路(IC)として実現されてよい。プロセッサは、複数の通信可能に接続された集積回路又はディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。
【0043】
プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、又は、特定の処理に特化した専用のプロセッサを含んでよい。汎用のプロセッサは、例えばCPU(Central Processing Unit)又はDSP(Digital Signal Processor)を含んでよい。専用のプロセッサは、特定用途向けIC(ASIC;Application Specific Integrated Circuit)を含んでよい。プロセッサは、プログラマブルロジックデバイス(PLD;Programmable Logic Device)を含んでよい。PLDは、FPGA(Field-Programmable Gate Array)を含んでよい。制御装置40は、1つ又は複数のプロセッサが協働するSoC(System-on-a-Chip)、及びSiP(System In a Package)のいずれかを含んでもよい。
【0044】
制御装置40は、記憶部を備えてよい。記憶部は、磁気ディスク等の電磁記憶媒体を含んでよいし、半導体メモリ又は磁気メモリ等のメモリを含んでもよい。記憶部は、各種情報を格納する。記憶部は、プロセッサ等で実行されるプログラム等を格納する。記憶部は、非一時的な読み取り可能媒体として構成されてもよい。記憶部は、プロセッサ等のワークメモリとして機能してよい。記憶部の少なくとも一部は、プロセッサ等と一体に構成されてよい。
【0045】
制御装置40は、第1表示装置10、第2表示装置20及び撮影装置30と有線又は無線で通信するための通信インタフェースを備えてよい。通信インタフェースは、種々の通信規格に基づく通信方式で通信可能に構成されてよい。通信インタフェースは、既知の通信技術に基づいて構成されてよい。第1表示装置10、第2表示装置20又は撮影装置30は、制御装置40と通信するための通信インタフェースを備えてよい。
【0046】
制御装置40は、ユーザからの入力を受け付ける入力デバイスを備えてよい。入力デバイスは、例えば、キーボード又は物理キーを含んでよいし、タッチパネル若しくはタッチセンサ又はマウス等のポインティングデバイスを含んでよい。入力デバイスは、これらの例に限られず、他の種々のデバイスを含んで構成されてよい。制御装置40は、外部の入力デバイスと通信可能に構成されてもよい。
【0047】
制御装置40は、車両50に搭載されていてもよいし車両50に搭載されていなくてもよい。
【0048】
(表示システム1の動作例)
表示システム1は、俯瞰映像80と透視映像70とを表示する。俯瞰映像80は、車両50の周囲を撮影した画像を俯瞰映像80に変換する画像処理に起因する画像の歪み又は物体の消失等の表示の不具合を含み得る。以下、車両50が駐車枠に前進駐車しているときに車両50の運転者が俯瞰映像80の注意範囲を透視映像70で視認できるように、表示システム1が俯瞰映像80及び透視映像70を生成する動作例が説明される。
【0049】
<俯瞰映像80の表示>
制御装置40は、
図6に例示される俯瞰映像80を生成し、第2表示装置20に表示する。駐車枠は、白線63によって区画され、車止め62を有する。また、駐車枠の外側にブロック61が存在している。
【0050】
俯瞰映像80は、車両50を俯瞰した車両画像88と、前方画像81と、右方画像82と、左方画像83とを含む。俯瞰映像80は、車両50の進行方向の反対側である車両50後方の画像を更に含んでもよい。
【0051】
制御装置40は、車両画像88として、車両50に固有の画像としてあらかじめ準備されている画像を用いるとする。制御装置40は、車両50の前方を前方カメラ31で撮影した画像に基づいて前方画像81を生成する。制御装置40は、車両50の右方を側方カメラ32で撮影した画像に基づいて右方画像82を生成する。制御装置40は、車両50の左方を側方カメラ33で撮影した画像に基づいて左方画像83を生成する。
【0052】
俯瞰映像80は、前方画像81と右方画像82との境界に位置する境界部86と、前方画像81と左方画像83との境界に位置する境界部87とを含む。
【0053】
俯瞰映像80における表示の不具合は、俯瞰映像80が複数の画像に基づいて生成される場合に、複数の画像同士の境界において生じやすい。したがって、
図6に例示される俯瞰映像80において、境界部86及び87、並びに、境界部86及び87を含む範囲が注意範囲に対応する。
【0054】
制御装置40は、俯瞰映像80に含まれる境界部86及び87、並びに、境界部86及び87を含む注意範囲において画像の歪み又は物体の消失等の表示の不具合が発生しているおそれがあることを運転者に気づかせるために、注意範囲を区画する枠84を重畳して表示してよい。枠84は、図示されているように破線で表示されてよいが実線又は一点鎖線等の他の線種で表示されてもよい。枠84は、赤又は黄色等の運転者の注意を喚起しやすい色で表示されてもよい。枠84は、俯瞰映像80に対して高いコントラストを有する色で表示されてもよい。
【0055】
制御装置40は、運転者に対して前方への注意を促すように、俯瞰映像80の前方画像81にマーク85を重畳して表示してよい。マーク85は、図示されているように「!」に限られず他の種々の態様で表示されてよい。マーク85は、赤又は黄色等の運転者の注意を喚起しやすい色で表示されてもよい。マーク85は、俯瞰映像80に対して高いコントラストを有する色で表示されてもよい。また、制御装置40は、マーク85に加えて文字による説明を表示させてよい。具体的には、制御装置40は、俯瞰映像80の注意範囲に相当する箇所に、目視又は透視映像70によって確認すべきことを示唆するメッセージを表示してもよい。
【0056】
枠84又はマーク85等の俯瞰映像80に対して重畳される画像は、付加画像とも称される。制御装置40は、俯瞰映像80の境界部86又は87において実際に画像の歪み又は物体の消失等の表示の不具合が生じているかにかかわらず、付加画像を俯瞰映像80に重畳してよい。制御装置40は、俯瞰映像80の境界部86又は87において画像の歪み又は物体の消失等の表示の不具合が生じているかを判定せずに、付加画像を俯瞰映像80に重畳してよい。つまり、制御装置40は、俯瞰映像80の境界部86又は87において表示の不具合が発生している可能性を運転者に通知するために、付加画像を俯瞰映像80に重畳してよい。
【0057】
<透視映像70の表示>
制御装置40は、
図7に例示される透視映像70を生成し、第1表示装置10のスクリーン14に表示する。
図7に例示される透視映像70は、運転者から直接視認できない第1範囲s1(
図5参照)の風景を、運転者が直接視認できる第2範囲s2(
図5参照)の風景と自然につながるように表した映像として生成されている。
【0058】
図7の透視映像70において、例えば、透視映像70の中の白線63の透視画像73は、フロントガラス52を通して運転者が直接視認している白線63と自然につながって見えるように描かれている。また、透視映像70の中の車止め62の透視画像74は、運転者が直接視認できない第1範囲s1に位置するにもかかわらず、運転者が車止め62を直接視認できているように描かれている。
【0059】
上述したように、俯瞰映像80の境界部86及び87、並びに、境界部86及び87を含む注意範囲において、表示の歪み又は物体の消失等の表示の不具合が生じている可能性がある。俯瞰映像80の境界部86又は87における表示の不具合が生じている場合、車両50の運転者は、俯瞰映像80の表示の不具合に気づかずに車両50の周囲の状況を誤って理解して車両50の運転を誤ることがある。
【0060】
制御装置40は、車両50の運転者が俯瞰映像80の注意範囲を透視映像70で確認できるように、透視映像70が俯瞰映像80の注意範囲を映すように透視映像70を生成する。
【0061】
言い換えれば、制御装置40は、車両50の前方の透視映像70を生成して表示装置の少なくとも一部又は第1表示装置10に表示し、車両50の周囲の俯瞰映像80を生成して表示装置の少なくとも一部又は第2表示装置20に表示する。制御装置40は、透視映像70が俯瞰映像80の注意範囲を映すように透視映像70を生成する。制御装置40は、車両50の周囲を撮影した複数の画像に基づいて俯瞰映像80を生成する場合、俯瞰映像80を構成する複数の画像同士の境界を注意範囲として透視映像70を生成してよい。
【0062】
制御装置40は、車両50の周囲のうち俯瞰映像80に映っている範囲の少なくとも一部を透視映像70が映すように透視映像70を生成してよい。制御装置40は、車両50の周囲のうち俯瞰映像80に映っている範囲が透視映像70に映っている範囲よりも広くなるように俯瞰映像80及び透視映像70を生成してよい。
【0063】
なお、本実施形態では透視映像70が車両50の前方の景色を表示するものとして説明するが、これに限られず、車両50の周囲の景色を表示してよい。具体的には、透視映像70は車両50の後方、側方、上方(すなわち、天井)、下方(すなわち、床)の景色を含む映像であってよい。
【0064】
<<付加画像の重畳>>
制御装置40は、俯瞰映像80の注意範囲を確認するために透視映像70のどの部分を見ればよいかを示す画像を透視映像70に重畳してよい。
【0065】
制御装置40は、例えば
図7に示されるように、透視映像70の中の、
図6の俯瞰映像80における境界部86及び87のそれぞれに対応する注意範囲に対応する部分を囲む枠71を、透視映像70に重畳して表示してよい。車両50の運転者は、透視映像70のうち枠71で囲まれている部分を見ることによって、俯瞰映像80の注意範囲の状況を確認できる。
【0066】
枠71は、図示されているように破線で表示されてよいが実線又は一点鎖線等の他の線種で表示されてもよい。枠71は、赤又は黄色等の運転者の注意を喚起しやすい色で表示されてもよい。枠71は、透視映像70に対して高いコントラストを有する色で表示されてもよい。
【0067】
制御装置40は、透視映像70に重畳した枠71を車両50の運転者に気づかせるように、枠71の近傍にマーク72を重畳して表示してもよい。マーク72は、図示されているように「!」に限られず他の種々の態様で表示されてよい。マーク72は、赤又は黄色等の運転者の注意を喚起しやすい色で表示されてもよい。マーク72は、透視映像70に対して高いコントラストを有する色で表示されてもよい。
【0068】
以上述べてきたように、制御装置40は、透視映像70の中で俯瞰映像80の注意範囲を映している部分に付加画像を重畳してよい。制御装置40は、透視映像70に付加画像を重畳することによって、俯瞰映像80の注意範囲において表示の不具合が発生している可能性を車両50の運転者に認識させることができる。
【0069】
制御装置40は、俯瞰映像80に枠84又はマーク85等の付加画像を重畳することによって、俯瞰映像80の注意範囲において表示の不具合が生じている可能性を運転者に認識させてもよい。制御装置40は、透視映像70に枠71又はマーク72等の付加画像を重畳した場合、俯瞰映像80に枠84又はマーク85等の付加画像を重畳しなくてもよい。逆に、制御装置40は、俯瞰映像80に枠84又はマーク85等の付加画像を重畳した場合、透視映像70に枠71又はマーク72等の付加画像を重畳しなくてもよい。つまり、制御装置40は、透視映像70又は俯瞰映像80の少なくとも一方に付加画像を重畳すればよい。
【0070】
<表示方法の手順例>
制御装置40は、
図8に例示されるフローチャートの手順を含む表示方法を実行してもよい。表示方法は、制御装置40を構成するプロセッサに実行させる表示プログラムとして実現されてもよい。表示プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。表示方法に含まれる手順のうち、映像を生成する手順は、映像生成方法とも称される。
【0071】
制御装置40は、撮影装置30から車両50の周囲を撮影した画像を取得する(ステップS1)。制御装置40は、車両50の周囲を撮影した画像に基づいて車両50の俯瞰映像80を生成し、第2表示装置20に表示する(ステップS2)。制御装置40は、車両50の前方を撮影した画像に基づいて車両50の運転者の視点で第1範囲s1(
図5参照)を透視したと仮定した透視映像70を生成し、第1表示装置10に表示する(ステップS3)。制御装置40は、透視映像70において、俯瞰映像80の境界部86又は87等の注意範囲に対応する位置に枠71又はマーク72等の画像を重畳する(ステップS4)。制御装置40は、ステップS4の手順の実行後、
図8のフローチャートの手順の実行を終了する。制御装置40は、ステップS4の手順の実行後、ステップS1の手順に戻って俯瞰映像80及び透視映像70を更新してよい。
【0072】
(まとめ)
以上述べてきたように、本実施形態に係る表示システム1及び制御装置40によれば、車両50の運転者が車両50の周囲の状況を適切に認識できるように、俯瞰映像80と透視映像70とが生成され、表示される。制御装置40は、車両50の運転者が俯瞰映像80の注意範囲を透視映像70で確認できるように透視映像70を生成する。このようにすることで、俯瞰映像80の注意範囲において表示の不具合が生じている場合であっても、車両50の運転者が車両50の周囲の状況を適切に認識するための情報が生成され、表示される。その結果、車両50の運転者は、車両50の周囲の状況の認識を誤りにくい。
【0073】
また、制御装置40は、俯瞰映像80の注意範囲を透視映像70で確認することを車両50の運転者に促すための付加画像を透視映像70又は俯瞰映像80に重畳する。付加画像を重畳することによって、車両50の運転者は、俯瞰映像80の注意範囲における表示の不具合の可能性を考慮して、車両50の周囲の状況を適切に認識できる。
【0074】
上述してきた実施形態において、制御装置40は、俯瞰映像80を構成する複数の画像同士の境界が俯瞰映像80の注意範囲であると仮定して、透視映像70及び俯瞰映像80を生成したり、透視映像70又は俯瞰映像80に付加画像を重畳する位置を決定したりした。俯瞰映像80の注意範囲は、複数の画像同士の境界に限られない。したがって、制御装置40は、複数の画像同士の境界に限られず、俯瞰映像80における表示の不具合が発生する可能性のある範囲を注意範囲に設定してよい。制御装置40は、例えば、俯瞰映像80において画像処理のアルゴリズムに固有の特異点に起因する表示の不具合が生じやすい位置を含む範囲を注意範囲に設定してよい。画像処理のアルゴリズムに固有の特異点は、例えば、画像処理の計算において画像が無限大に拡大する点を含んでよいし、画像処理の計算において画像が消失してしまう点を含んでよい。
【0075】
(他の実施形態)
以下、表示システム1及び制御装置40の他の実施形態が説明される。
【0076】
<透視映像70の注意範囲>
制御装置40は、車両50の前方を撮影した複数の画像に基づいて透視映像70を生成してよい。この場合、透視映像70は、複数の画像を合成した画像として生成される。したがって、透視映像70は、複数の画像同士の境界を有する。透視映像70における複数の画像同士の境界、及び、境界を含む所定の範囲は、透視映像70の注意範囲とも称される。
【0077】
制御装置40は、透視映像70の注意範囲が俯瞰映像80の注意範囲に重ならないように透視映像70を生成してよい。逆に、制御装置40は、俯瞰映像80の注意範囲が透視映像70の注意範囲に重ならないように俯瞰映像80を生成してよい。このようにすることで、透視映像70の注意範囲と俯瞰映像80の注意範囲とが互いに補完される。その結果、車両50の運転者が車両50の周囲の状況を適切に認識できる。
【0078】
例えば、制御装置40は、斜方カメラ35で撮影した車両50の右斜め前方の画像と斜方カメラ36で撮影した車両50の左斜め前方の画像とに基づいて透視映像70を生成してよい。また、制御装置40は、前方カメラ31で撮影した車両50の前方の画像と側方カメラ32及び33で撮影した車両50の左右の画像とに基づいて俯瞰映像80を生成してよい。この場合において、透視映像70を構成する2枚の画像の境界を含む透視映像70の注意範囲は、車両50の真正面に位置する。一方で、俯瞰映像80を構成する3枚の画像の境界を含む俯瞰映像80の注意範囲は、車両50の右斜め前方及び左斜め前方に位置する。その結果、制御装置40は、透視映像70の注意範囲と俯瞰映像80の注意範囲とが互いに重ならないように、透視映像70及び俯瞰映像80を生成できる。
【0079】
制御装置40は、車両50の前方を広角で撮影した1枚の画像に基づいて透視映像70を生成してよい。このようにすることで、制御装置40は、透視映像70が注意範囲を有しないように透視映像70を生成できる。透視映像70が注意範囲を有しないことによって、透視映像70の注意範囲と俯瞰映像80の注意範囲とが互いに重ならない。
【0080】
<俯瞰映像80における複数の画像同士の境界の位置の変更>
例えば、制御装置40は、斜方カメラ35で撮影した車両50の右斜め前方の画像と、斜方カメラ36で撮影した車両50の左斜め前方の画像とに基づいて俯瞰映像80を生成することがある。この場合、俯瞰映像80における複数の画像同士の境界に対応する範囲が透視映像70の中央付近に位置する。ここで、
図7に例示されるように、透視映像70を表示するスクリーン14の中央付近に、俯瞰映像80を表示する第2表示装置20が配置されている場合、透視映像70の中で俯瞰映像80における複数の画像同士の境界に対応する範囲の表示が、第2表示装置20によって妨げられる。そこで、制御装置40は、俯瞰映像80における複数の画像同士の境界に対応する範囲が透視映像70のうち第2表示装置20から外れる位置に表示されるように、俯瞰映像80における複数の画像同士の境界の位置を変更して俯瞰映像80を生成してよい。
【0081】
また、第1表示装置10が第2表示装置20の機能を代わりに実現してスクリーン14の一部に俯瞰映像80を表示する場合、制御装置40は、スクリーン14において俯瞰映像80を表示する位置を、俯瞰映像80における複数の画像同士の境界に対応する範囲から外れる位置に変更してよい。つまり、制御装置40は、表示装置において、透視映像70の中で俯瞰映像80の注意範囲を映している部分が俯瞰映像80を表示している部分に重ならないように俯瞰映像80を生成してよい。
【0082】
<俯瞰映像80又は透視映像70の生成に用いる画像を撮影するカメラの組み合わせ>
制御装置40は、車両50に搭載されていないカメラで車両50の周囲を撮影した画像に基づいて俯瞰映像80又は透視映像70を生成してもよい。例えば、車両50を駐車場又は車庫等に駐車する際の運転操作を支援するために、制御装置40は、駐車場又は車庫等の風景を撮影するカメラで撮影した画像に基づいて俯瞰映像80又は透視映像70を生成してもよい。表示システム1は、車両50に搭載されていないカメラを撮影装置30として備えてもよい。
【0083】
制御装置40は、車両50に搭載されていないカメラで車両50の周囲を撮影した画像だけに基づいて俯瞰映像80又は透視映像70を生成してよい。制御装置40は、車両50に搭載されていないカメラで車両50の周囲を撮影した画像と、車両50に搭載されているカメラで車両50の周囲を撮影した画像との両方に基づいて俯瞰映像80又は透視映像70を生成してよい。
【0084】
制御装置40は、車両50に搭載されている複数のカメラのうち任意の組み合わせのカメラで車両50の周囲を撮影した画像に基づいて俯瞰映像80又は透視映像70を生成してよい。例えば、制御装置40は、車両50の前方を前方カメラ31の他に斜方カメラ35又は36等を含む複数のカメラのそれぞれで撮影した画像に基づいて透視映像70を生成してもよい。制御装置40は、前方カメラ31で車両50の前方を撮影した画像に加えて、車両50に搭載されていないカメラで車両50の前方を撮影した画像に基づいて透視映像70を生成してもよい。
【0085】
<第2範囲s2の風景への付加画像の重畳>
俯瞰映像80における複数の画像同士の境界等の注意範囲は、車両50の運転者がフロントガラス52を通して視認できる第2範囲s2に含まれることがある。この場合、表示システム1は、俯瞰映像80の注意範囲を車両50の運転者がフロントガラス52を通して直接視認することを促すように、例えばHUD(Head Up Display)等を用いてフロントガラス52に付加画像の虚像を表示し、運転者が視認する第2範囲s2の風景に付加画像を重畳して表示してよい。この場合、表示装置は、HUD等の、フロントガラス52に虚像を表示するデバイスを含んでよい。
【0086】
本開示に係る実施形態について説明する図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。
【0087】
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部などに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部などを1つに組み合わせたり、或いは分割したりすることが可能である。本開示の範囲にはこれらも包含されるものと理解されたい。
【0088】
本開示に記載された構成要件の全て、及び/又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。
【0089】
さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。
【0090】
本開示に係る車両50は、例えば自動車、産業車両、鉄道車両、生活車両、又は滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、又はトロリーバス等を含んでよい。産業車両は、例えば農業又は建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフト又はゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、又は芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、又はロードローラ等を含んでよい。車両50は、人力で走行するものを含んでよい。車両50の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。同一の態様の車両50が複数の分類に含まれてもよい。
【0091】
本開示において「第1」及び「第2」等の記載は、当該構成を区別するための識別子である。本開示における「第1」及び「第2」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第1表示装置10は、第2表示装置20と識別子である「第1」と「第2」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第1」及び「第2」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
【0092】
以上、表示システム1を用いた表示方法の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体(一例として、光ディスク、光磁気ディスク、CD-ROM、CD-R、CD-RW、磁気テープ、ハードディスク、又はメモリカード等)としての実施態様をとることも可能である。
【0093】
また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であってもよい。さらに、プログラムは、制御基板上のCPUにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。
【0094】
上述してきたように、本開示に係る表示システム1は、俯瞰映像80における注意範囲を透視映像70にも表示するように構成される。表示システム1は、俯瞰映像80に限られず、運転者の視点と異なる視点で生成された、バードビュー等の種々の画像に含まれる表示の不具合に対応する範囲を透視映像70に表示するように構成されてもよい。
【0095】
一実施形態において、(1)車両の周囲の映像を生成する制御装置は、前記車両の内部の特定の空間領域から見た場合に、前記車両の外部領域の中で前記車両の車体の一部に遮蔽される光景の映像である透視映像を生成し、前記車両の周囲の光景の映像であって、前記車両の内部にある表示装置に表示される映像である俯瞰映像における注意範囲を映すように前記透視映像を生成する。
【0096】
(2)上記(1)に記載の制御装置は、前記透視映像の中で前記注意範囲に対応する物体又は領域を含む部分に付加画像を重畳してよい。
【0097】
(3)上記(1)又は(2)に記載の制御装置は、前記車両の周囲を撮影した複数の画像に基づいて前記俯瞰映像を生成し、前記俯瞰映像を構成する複数の画像同士の境界を前記注意範囲として前記透視映像を生成してよい。
【0098】
(4)上記(1)から(3)までのいずれか1つに記載の制御装置は、前記表示装置において、前記透視映像の中で前記俯瞰映像の注意範囲を映している部分が前記俯瞰映像を表示している部分に重ならないように前記俯瞰映像を生成してよい。
【0099】
(5)上記(1)から(4)までのいずれか1つに記載の制御装置は、前記透視映像が前記俯瞰映像に映っている範囲の少なくとも一部を映すように前記透視映像を生成してよい。
【0100】
(6)上記(1)から(5)までのいずれか1つに記載の制御装置は、前記俯瞰映像に映っている範囲が前記透視映像に映っている範囲よりも広くなるように前記俯瞰映像及び前記透視映像を生成してよい。
【0101】
一実施形態において、(7)表示システムは、上記(1)から(6)までのいずれか1つに記載の制御装置と、車両に搭載される表示装置とを備える。
【0102】
(8)上記(7)に記載の表示システムにおいて、前記表示装置は、前記透視映像を表示する第1表示装置と、前記俯瞰映像を表示する第2表示装置とを含んでよい。
【0103】
(9)上記(7)又は(8)に記載の表示システムは、前記車両の周囲を撮影する撮影装置を更に備えてよい。
【0104】
一実施形態において、(10)車両の周囲の映像を生成する映像生成方法は、前記車両の内部の特定の空間領域から見た場合に、前記車両の外部領域の中で前記車両の車体の一部に遮蔽される光景の映像である透視映像を生成し、前記車両の周囲の光景の映像であって、前記車両の内部にある表示装置に表示される映像である俯瞰映像における注意範囲を映すように前記透視映像を生成する。
【符号の説明】
【0105】
1 表示システム
10 第1表示装置(12:プロジェクタ、14:スクリーン)
20 第2表示装置
30 撮影装置(31:前方カメラ、32、33:側方カメラ、34:後方カメラ、35、36:斜方カメラ)
40 制御装置
50 車両(52:フロントガラス、53、54:サイドミラー、55:ダッシュボード、56:タイヤ)
61 ブロック
62 車止め
63 白線
70 透視映像(71:枠、72:マーク、73、74:透視画像)
80 俯瞰映像(81:前方画像、82:右方画像、83:左方画像、84:枠、85:マーク、86、87:境界部、88:車両画像)
eb アイボックス
s1 第1範囲
s2 第2範囲