(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025012054
(43)【公開日】2025-01-24
(54)【発明の名称】表示制御装置、表示制御方法、および表示制御プログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20250117BHJP
B60R 1/27 20220101ALI20250117BHJP
G06T 1/00 20060101ALI20250117BHJP
G06T 7/00 20170101ALI20250117BHJP
【FI】
H04N7/18 J
B60R1/27
G06T1/00 330A
G06T7/00 650A
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023114590
(22)【出願日】2023-07-12
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】110001128
【氏名又は名称】弁理士法人ゆうあい特許事務所
(72)【発明者】
【氏名】土生田 理恵
(72)【発明者】
【氏名】山本 祐来
【テーマコード(参考)】
5B057
5C054
5L096
【Fターム(参考)】
5B057AA16
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CD11
5B057CE08
5C054CA04
5C054CC02
5C054EA01
5C054EA05
5C054FC12
5C054FC15
5C054FD03
5C054FE12
5C054FF03
5C054HA30
5L096AA09
5L096BA04
5L096CA05
5L096DA01
5L096DA02
5L096FA60
5L096FA67
5L096FA69
(57)【要約】
【課題】障害物と車両との位置関係をより直感的に把握できるように表示する技術を提供すること。
【解決手段】表示制御装置(6)は、周囲を撮影領域とする撮像部(4)と画像を表示する表示装置(5)とを搭載した車両(V)に適用され、撮像部による撮影画像を車両よりも上方に設定した仮想視点(PV)による鳥瞰画像に変換した表示画像を表示装置に表示させる。表示制御装置は、撮影領域に存在する物体(B)と車両とを結ぶ仮想線分(Lb)と直交する仮想平面である直交面(Mb)内に仮想視点を設定し、車両の下方の路面(Rs)に対応する底面(Mp1)と底面の周囲にて底面から立設した壁面(Mp2)とを有する仮想面である投影面(Mp)における壁面に向かうように仮想視点からの視線(LV)の方向を設定する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
周囲を撮影領域とする撮像部(4)と画像を表示する表示装置(5)とを搭載した車両(V)に適用され、前記撮像部による撮影画像を前記車両よりも上方に設定した仮想視点(PV)による鳥瞰画像に変換した表示画像を前記表示装置に表示させる表示制御装置(6)であって、
コンピュータプログラム指令を実行可能なプロセッサ(61)と、
前記プロセッサに接続され、前記コンピュータプログラム指令を記憶したメモリ(62)と、
を備え、
前記プロセッサは、前記コンピュータプログラム指令を実行することにより、
前記撮影領域に存在する物体(B)と前記車両とを結ぶ仮想線分(Lb)と直交する仮想平面である直交面(Mb)内に前記仮想視点を設定し、
前記車両の下方の路面(Rs)に対応する底面(Mp1)と前記底面の周囲にて前記底面から立設した壁面(Mp2)とを有する仮想面である投影面(Mp)における前記壁面に向かうように前記仮想視点からの視線(LV)の方向を設定する、
表示制御装置。
【請求項2】
前記視線を、前記物体に近接した前記壁面が位置する方向に設定する、
請求項1に記載の表示制御装置。
【請求項3】
前記視線を、前記車両の進行方向に基づいて設定する、
請求項1に記載の表示制御装置。
【請求項4】
前記視線における、前記仮想視点からの俯角(θ2)を、前記壁面と直交するように設定する、
請求項1に記載の表示制御装置。
【請求項5】
前記視線を、前記車両の少なくとも一部が前記表示画像に含まれるように設定する、
請求項1に記載の表示制御装置。
【請求項6】
前記車両の少なくとも一部は、車両中心点(Pc)、車体(V1)における前記物体に近接する外縁部、フロントバンパー(V2)、ヘッドライト(V3)、リアバンパー(V4)、ブレーキランプ(V5)、ドアミラー(V6,V7)、または運転席(V8)を含む、
請求項5に記載の表示制御装置。
【請求項7】
前記直交面を、前記仮想線分の中心位置を通るように設定する、
請求項1に記載の表示制御装置。
【請求項8】
周囲を撮影領域とする撮像部(4)と画像を表示する表示装置(5)とを搭載した車両(V)に適用され、前記撮像部による撮影画像を前記車両よりも上方に設定した仮想視点(PV)による鳥瞰画像に変換した表示画像を前記表示装置に表示させる表示制御装置(6)によって実行される表示制御方法であって、
前記撮影領域に存在する物体(B)と前記車両とを結ぶ仮想線分(Lb)と直交する仮想平面である直交面(Mb)内に前記仮想視点を設定し、
前記車両の下方の路面(Rs)に対応する底面(Mp1)と前記底面の周囲にて前記底面から立設した壁面(Mp2)とを有する仮想面である投影面(Mp)における前記壁面に向かうように前記仮想視点からの視線(LV)の方向を設定する、
表示制御方法。
【請求項9】
周囲を撮影領域とする撮像部(4)と画像を表示する表示装置(5)とを搭載した車両(V)に適用され、前記撮像部による撮影画像を前記車両よりも上方に設定した仮想視点(VP)による鳥瞰画像に変換した表示画像を前記表示装置に表示させる表示制御装置(6)によって実行される表示制御プログラムであって、
前記表示制御装置により実行される処理は、
前記撮影領域に存在する物体(B)と前記車両とを結ぶ仮想線分(Lb)と直交する仮想平面である直交面(Mb)内に前記仮想視点を設定する処理と、
前記車両の下方の路面(Rs)に対応する底面(Mp1)と前記底面の周囲にて前記底面から立設した壁面(Mp2)とを有する仮想面である投影面(Mp)における前記壁面に向かうように前記仮想視点からの視線(VL)の方向を設定する処理と、
を含む、
表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御装置、表示制御方法、および表示制御プログラムに関するものである。
【背景技術】
【0002】
障害物と車両との位置関係を直感的に把握できるように表示することを目的とした俯瞰映像生成装置が、特許文献1に開示されている。かかる装置は、映像データ取得部と、障害物情報取得部と、俯瞰映像生成部と、表示制御部とを備えている。映像データ取得部は、車両の周辺を撮影した周辺映像データを取得する。障害物情報取得部は、車両の周辺において検出した障害物の位置情報を取得する。俯瞰映像生成部は、障害物情報取得部が取得した障害物の位置情報に基づいて、映像データ取得部が取得した周辺映像を、車両および障害物が俯瞰できるように視点変換処理を行って合成した俯瞰映像を生成する。具体的には、俯瞰映像生成部は、車両から障害物への延長線上に仮想視点が位置するように視点変換処理を行う。表示制御部は、俯瞰映像生成部が生成した俯瞰映像を表示パネルに表示させる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、ポール等の、高さのある障害物の場合、車両から障害物への延長線上に仮想視点を位置させた俯瞰映像では、かかる障害物と車両との距離感が掴みにくくなることがある。このように、特許文献1に開示された装置においては、車両とその周辺の障害物との距離感が映像上掴みにくい状況が生じ得る。
【0005】
本発明は、上記に例示した事情等に鑑みてなされたものである。すなわち、本発明は、例えば、障害物と車両との位置関係をより直感的に把握できるように表示する技術を提供するものである。
【課題を解決するための手段】
【0006】
表示制御装置(6)は、周囲を撮影領域とする撮像部(4)と画像を表示する表示装置(5)とを搭載した車両(V)に適用され、前記撮像部による撮影画像を前記車両よりも上方に設定した仮想視点(PV)による鳥瞰画像に変換した表示画像を前記表示装置に表示させるように構成されている。
請求項1に記載の表示制御装置は、
コンピュータプログラム指令を実行可能なプロセッサ(61)と、
前記プロセッサに接続され、前記コンピュータプログラム指令を記憶したメモリ(62)と、
を備え、
前記プロセッサは、前記コンピュータプログラム指令を実行することにより、
前記撮影領域に存在する物体(B)と前記車両とを結ぶ仮想線分(Lb)と直交する仮想平面である直交面(Mb)内に前記仮想視点を設定し、
前記車両の下方の路面(Rs)に対応する底面(Mp1)と前記底面の周囲にて前記底面から立設した壁面(Mp2)とを有する仮想面である投影面(Mp)における前記壁面に向かうように前記仮想視点からの視線(LV)の方向を設定する。
請求項8に記載の表示制御方法は、前記表示制御装置によって実行される方法であって、
前記撮影領域に存在する物体(B)と前記車両とを結ぶ仮想線分(Lb)と直交する仮想平面である直交面(Mb)内に前記仮想視点を設定し、
前記車両の下方の路面(Rs)に対応する底面(Mp1)と前記底面の周囲にて前記底面から立設した壁面(Mp2)とを有する仮想面である投影面(Mp)における前記壁面に向かうように前記仮想視点からの視線(LV)の方向を設定する。
請求項9に記載の表示制御プログラムは、前記表示制御装置によって実行されるコンピュータプログラムであって、
前記表示制御装置により実行される処理として、
前記撮影領域に存在する物体(B)と前記車両とを結ぶ仮想線分(Lb)と直交する仮想平面である直交面(Mb)内に前記仮想視点を設定する処理と、
前記車両の下方の路面(Rs)に対応する底面(Mp1)と前記底面の周囲にて前記底面から立設した壁面(Mp2)とを有する仮想面である投影面(Mp)における前記壁面に向かうように前記仮想視点からの視線(LV)の方向を設定する処理と、
を含む。
【0007】
なお、出願書類の各欄において、各要素に括弧付きの参照符号が付される場合がある。しかしながら、かかる参照符号は、同要素と後述する実施形態に記載の具体的手段との対応関係の一例を、単に示すものにすぎない。よって、本発明は、上記の参照符号の記載によって、何ら限定されるものではない。
【図面の簡単な説明】
【0008】
【
図1】本発明の一実施形態に係る表示制御装置を備えた車載システムを搭載した車両の概略的な構成を示す平面図である。
【
図2】
図1に示された車載システムの概略的な装置構成を示すブロック図である。
【
図3】
図2に示された表示制御装置の概略的な機能構成を示すブロック図である。
【
図4】
図3に示された表示制御装置の動作場面の一例を示す側面図である。
【
図5】
図3に示された表示制御装置の動作概要を示す概念図である。
【
図6】
図3に示された表示制御装置の動作概要を示す概念図である。
【
図7】
図3に示された表示制御装置の動作概要を示す概念図である。
【
図8】
図3に示された表示制御装置の動作概要を示す概念図である。
【
図9】
図3に示された表示制御装置の動作概要を示すフローチャートである。
【発明を実施するための形態】
【0009】
(実施形態)
以下、本発明の実施形態を、図面に基づいて説明する。なお、一つの実施形態に対して適用可能な各種の変形例については、当該実施形態に関する一連の説明の途中に挿入されると当該実施形態の理解が妨げられるおそれがある。このため、変形例は、一つの実施形態に関する一連の説明の後に、まとめて記載する。
【0010】
(システム全体構成)
まず、
図1および
図2を参照しつつ、車載システム1の全体構成について説明する。車載システム1は、いわゆる車両周辺監視システムであって、道路を走行する自動車等である車両Vに搭載されることで、当該車両Vの周囲に存在する障害物を当該車両Vの内側の車室V0内から監視可能に構成されている。車体V1は、車室V0を外側から覆う箱状に形成されている。なお、
図1において、車両Vにおける、「前」、「後」、「左」、「右」、および「上」を、図示の通り定義する。これらの方向概念は、水平な地面に設けられた直線道路を前進走行する車両Vに搭乗するドライバを基準として設定したものである。車幅中心線LC1は、車両中心点Pcを通り前後方向すなわち車両全長方向と平行な仮想直線である。車長中心線LC2は、車両中心点Pcを通り左右方向すなわち車幅方向と平行な仮想直線である。
【0011】
図1に示されているように、車体V1の前端部には、フロントバンパーV2およびヘッドライトV3が装着されている。車体V1の後端部には、リアバンパーV4およびブレーキランプV5が装着されている。車体V1における左側の端部には、左ドアミラーV6が装着されている。車体V1における右側の端部には、右ドアミラーV7が装着されている。車室V0内における、運転席V8の前方には、ダッシュボードV9およびハンドルV10が設けられている。
【0012】
図2に示されているように、車載システム1は、車両状態センサ2と、障害物検知センサ3と、撮像部4と、表示装置5と、表示制御装置6とを備えている。以下、車載システム1を構成する、これらの構成要素のそれぞれにおける具体的な装置構成あるいは機能構成について、順に説明する。
【0013】
車両状態センサ2は、車両Vの走行状態に対応する情報あるいは信号を取得して、表示制御装置6に出力するように設けられている。「走行状態」は、例えば、車速、角速度、等の、自車両の挙動に関連する物理量を含む。また、「走行状態」は、例えば、アクセル操作量、ブレーキ操作量、シフトポジション、操舵角、等の、運転操作状態に関連する諸量を含む。すなわち、車両状態センサ2は、シフトポジションセンサ、車速センサ、操舵角センサ、ヨーレートセンサ、等の、車両運転制御に必要な周知のセンサ類を、図示および説明の簡略化のために総称したものである。
【0014】
障害物検知センサ3は、車両Vの周囲の障害物を検知して、かかる検知結果を表示制御装置6に出力するように設けられている。具体的には、車両Vには、障害物検知センサ3として、超音波センサ、レーダセンサ、レーザレーダセンサ、等の、車両Vの周囲の障害物を検知可能な周知のセンサのうちの少なくとも一種が搭載されている。
【0015】
撮像部4は、車両Vの周囲すなわち近傍の所定範囲を撮影領域とし、かかる撮影領域に存在する障害物等を撮影するように、車両Vに搭載されている。具体的には、撮像部4として、前方カメラ41と、後方カメラ42と、左側方カメラ43と、右側方カメラ44とが設けられている。前方カメラ41は、車両Vの前方を撮影領域とする撮像装置であって、車体V1における前端部に装着されている。後方カメラ42は、車両Vの後方を撮影領域とする撮像装置であって、車体V1における後端部に装着されている。左側方カメラ43は、車両Vの左側方を撮影領域とする撮像装置であって、左ドアミラーV6に装着されている。右側方カメラ44は、車両Vの右側方を撮影領域とする撮像装置であって、右ドアミラーV7に装着されている。
【0016】
表示装置5は、少なくともドライバを含む乗員に視認可能に各種画像を表示するように、車室V0内に設けられている。具体的には、表示装置5は、ダッシュボードV9に装着されている。表示装置5により表示される画像には、例えば、ナビゲーション画像や、自動運転中におけるテレビ画面等のセカンドタスクコンテンツ画像や、渋滞情報等の各種情報表示画像や、撮像部4による撮影画像や、かかる撮影画像に各種画像処理を施した画像等が含まれる。表示制御装置6は、表示制御動作、すなわち、表示装置5における画像表示の制御動作を実行するように構成されている。
【0017】
具体的には、表示制御装置6は、プロセッサ61とメモリ62とを備えている。コンピュータプログラム指令を実行可能なプロセッサ61は、CPUあるいはMPUとしての構成を有している。CPUはCentral Processing Unitの略である。MPUはMicro Processing Unitの略である。メモリ62は、プロセッサ61に接続されている。メモリ62は、プロセッサ61により実行されるコンピュータプログラム指令や、かかるコンピュータプログラム指令の実行の際に必要となるルックアップテーブル等の各種データを保持する、不揮発性の非遷移的実体的記憶媒体としての構成を有している。具体的には、メモリ62として、ROM、フラッシュメモリ、磁気ディスク、等のうちの少なくとも一種が備えられている。ROMはRead Only Memoryの略である。そして、表示制御装置6は、プロセッサ61がメモリ62からコンピュータプログラム指令を読み出して実行することにより、表示制御動作のための各種処理を実行するように構成されている。
【0018】
(表示制御装置)
図3は、
図2に示された表示制御装置6においてプロセッサ61が、メモリ62から表示制御プログラムを読み出して実行することで、表示制御装置6にて実現される機能構成の一例を示す。
図4は、車両Vの周囲すなわち近傍に障害物である物体Bが存在する状態を示す。
図4に示された「前」、「後」、「左」、「上」、および「下」の方向概念は、
図1と整合しているものとする。
図5~
図8は、かかる状態において、物体Bを含む撮影画像に基づく表示画像を表示装置5に表示させるときの表示制御動作の一例を説明するための図である。以下、
図1~
図8を参照しつつ、本実施形態に係る表示制御装置6の具体的な構成について説明する。
【0019】
表示制御装置6は、撮像部4による撮影画像を車両Vよりも上方に設定した仮想視点PVからの視線LVによる鳥瞰画像に変換した表示画像を、表示装置5に表示させるように構成されている。具体的には、
図3に示されているように、表示制御装置6は、機能構成として、画像データ取得部601と、車両情報取得部602と、障害物情報取得部603と、表示情報生成部604とを有している。
【0020】
画像データ取得部601は、撮像部4による撮影画像データを、撮像部4から取得すなわち受信して所定時間分保持するようになっている。車両情報取得部602は、車両Vの走行状態を、車両状態センサ2から取得するようになっている。障害物情報取得部603は、撮像部4による撮影領域内の物体Bの検知状態を、障害物検知センサ3から取得するようになっている。表示情報生成部604は、画像データ取得部601、車両情報取得部602、および障害物情報取得部603にて取得した情報等に基づいて表示画像を生成して表示装置5に出力するようになっている。
【0021】
具体的には、表示情報生成部604は、視線設定部641と、視点変換処理部642と、合成処理部643とを有している。視線設定部641は、視線LVを設定する、すなわち、仮想視点PVおよび当該仮想視点PVからの視線LVの方向を設定するようになっている。視点変換処理部642は、撮像部4による撮影画像を、仮想視点PVからの視線LVによる鳥瞰画像に変換するようになっている。合成処理部643は、視点変換処理部642による変換後の画像に対して各種画像表示コンテンツ等を重畳すなわち合成することで、表示装置5に表示させるための表示画像データを生成するようになっている。
【0022】
(動作概要)
以下、本実施形態に係る表示制御装置6の動作の概要、ならびに、かかる表示制御装置6により実行される方法およびプログラムの概要について、これらにより奏される効果とともに、各図を参照しつつ説明する。なお、以下の説明において、上記構成を有する表示制御装置6と、これにより実行される方法である表示制御方法と、これにより実行されるコンピュータプログラムである表示制御プログラムとを総称して、単に「本実施形態」と称することがある。
【0023】
図4~
図8は、車両Vの右後方にポール状の障害物である物体Bが存在する場合の動作例を示す。かかる物体Bは、路面Rsから所定程度の高さ(例えば65~80cm程度)を有している。
図5~
図8において、投影面Mpは、車両Vの下方の路面Rsに対応する平面状の底面Mp1と、かかる底面Mp1の周囲にて底面Mp1から立設した壁面Mp2とを有する仮想面である。本実施形態においては、底面Mp1は、車幅中心線LC1および車長中心線LC2と平行な辺を有する矩形状に形成されている。なお、かかる矩形状における角部は、所定曲率半径を有するR形状に形成され得る。壁面Mp2は、底面Mp1の周囲を囲む4つの平面をリング状に繋げた形状を有していて、底面Mp1の外縁部から斜め外側に向かって広がるように立設されている。底面Mp1と壁面Mp2とのなす角を、壁面Mp2の立設角θ1と称する。立設角θ1は、例えば、30~60°程度であって、典型的には45°である。底面Mp1と壁面Mp2との接続部、および、壁面Mp2の角部は、曲面状に形成され得る。壁面Mp2は、底面Mp1における水平面部分からの高さが所定高さ以上の部分、例えば、車両Vの実寸で0.2m以上の部分と定義され得る。このように、本実施形態においては、投影面Mpは、上方に向かって開口するバスタブ状に形成されている。
【0024】
まず、
図5および
図6に示されているように、視線設定部641は、物体Bと車両Vとを結ぶ仮想線分である物体方位線分Lbを算出する。本実施形態においては、物体方位線分Lbは、物体中心点Pbと車両中心点Pcとを結ぶ仮想直線における、物体Bと車両Vとの間の空間を通る部分、すなわち、物体Bの外縁と車両Vの外縁との間の部分である。物体中心点Pbは、撮影領域に存在する物体Bの、平面視における中心点である。「平面視」とは、上下方向と平行で上から下に向かう方向の視線で、対象物を見ることをいう。すなわち、物体方位線分Lbは、上下方向と直交する、水平な線分である。
【0025】
次に、視線設定部641は、かかる物体方位線分Lbと直交する仮想平面である直交面Mbを算出する。直交面Mbは、物体方位線分Lbの内分点である中間点Pxを通るように設定される。中間点Pxは、典型的には、中点である。よって、直交面Mbは、典型的には、物体方位線分Lbにおける中心位置を通る平面である。本実施形態においては、直交面Mbは、水平面と直交する鉛直面として形成されている。
【0026】
続いて、視線設定部641は、直交面Mb内に仮想視点PVを設定する。また、視線設定部641は、
図6および
図7に示されているように、第一壁面Mp21に向かうように、仮想視点PVからの視線LVの方向を設定する。第一壁面Mp21は、壁面Mp2のうちの、物体Bに最も近接した部分である。壁面Mp2の周方向における、第一壁面Mp21に隣接し且つ物体Bに近接する部分を、第二壁面Mp22と称する。すなわち、
図6に示されているように、物体Bに近接し且つ互いに隣接する第一壁面Mp21および第二壁面Mp22において、物体Bと第一壁面Mp21との距離をD1とし、物体Bと第二壁面Mp22との距離をD2とすると、D1<D2である。本実施形態においては、視線設定部641は、視線LVを、物体Bに近接した第一壁面Mp21が位置する方向に設定する。
【0027】
また、視線設定部641は、視線LVにおける、仮想視点PVからの俯角θ2を、設定する。俯角θ2は、仮想視点PVを通る水平線LHと視線LVとのなす角度である。ここで、
図7は、
図6における、直交面Mbによる側断面図に相当する。本実施形態においては、視線設定部641は、
図7に示されているように、直交面Mbによる側断面視にて、視線LVが第一壁面Mp21と直交するように、俯角θ2を設定する。すなわち、θ2[°]≒90-θ1となる。具体的には、例えば、θ1=45°の場合、θ2≒45°となる。
【0028】
さらに、視線設定部641は、視線LVを、車両Vの少なくとも一部である特徴形状部が表示画像すなわち視野に含まれるように設定する。「特徴形状部」とは、表示画像において、車両Vにおけるどの部分が表示されているかが視認しやすい部分である。具体的には、特徴形状部分は、車両中心点Pc、車体V1における物体Bに近接する外縁部、フロントバンパーV2、ヘッドライトV3、リアバンパーV4、ブレーキランプV5、左ドアミラーV6、右ドアミラーV7、または運転席V8を含む。
図8は、本具体例における表示画像の一例を概念的に示す。
図8の表示例においては、車両Vにおける第一形状特徴部GV1として、ブレーキランプV5に相当する画像表示コンテンツが表示されている。また、第二形状特徴部GV2として、リアバンパーV4に相当する画像表示コンテンツが表示されている。
【0029】
視点変換処理部642は、視線設定部641にて設定した仮想視点PVおよび視線LVを用いた視点変換処理により、撮像部4による撮影画像データを投影面Mpに投影した鳥瞰画像データを生成する。そして、合成処理部643は、かかる鳥瞰画像データに対して、車両Vに対応する画像表示コンテンツである自車両ポリゴン等を重畳すなわち合成することで、表示画像データを生成する。なお、これらの視点変換処理や合成処理の内容は、仮想視点PVの位置や視線LVの方向や投影面Mpの形状以外は、特開2011-182059号公報、特開2019-153138号公報、特開2021-118435号公報に記載された、公知あるいは周知の技術と同様である。よって、これらの処理についての、これ以上の詳細については、本明細書においては説明を省略する。
【0030】
図9は、本実施形態に係る動作の概要を示すフローチャートである。
図9において、「S」は、「ステップ」を略記したものである。プロセッサ61は、メモリ62から本実施形態に係る表示制御プログラムを読み出して実行することで、
図9に示された表示制御処理を行う。かかる表示制御処理において、プロセッサ61は、ステップ101~ステップ106の処理を順に実行する。
【0031】
ステップ101にて、プロセッサ61は、障害物となり得る、撮像部4による撮影領域内の物体Bの検知状態を取得する。ステップ102にて、プロセッサ61は、検知した物体Bに対応する直交面Mbを算出する。ステップ103にて、プロセッサ61は、視線LVの方位を決定する。すなわち、プロセッサ61は、
図6に示されているように、物体Bに最も近接する第一壁面Mp21を特定し、かかる第一壁面Mp21に向かうように仮想視点PVおよび視線LVの平面視における方向を決定する。ステップ104にて、プロセッサ61は、俯角θ2を決定する。ステップ105にて、プロセッサ61は、上記のステップによって決定すなわち設定された仮想視点PVおよび視線LVを用いて視点変換処理を実行する。ステップ106にて、プロセッサ61は、合成処理により表示画像データを生成するとともに、生成した表示画像データを表示装置5に出力する。
【0032】
以上に詳述した通り、本実施形態は、障害物となり得る物体Bと車両Vとの距離感が掴みやすくなるように、仮想視点PVおよび視線LVを設定する。具体的には、本実施形態は、物体Bと車両Vとを結ぶ仮想線分である物体方位線分Lbと直交する直交面Mb内に仮想視点PVを設定する。また、本実施形態は、かかる仮想視点PVから壁面Mp2に向かって斜めに見下ろすように、視線LVの方向を設定する。これにより、障害物となり得る、高さのある物体Bが、立体的に見えることで車両Vとの距離感が映像上掴みやすくなる。したがって、本実施形態によれば、障害物と車両Vとの位置関係をより直感的に把握できるように表示装置5にて表示することが可能となる。
【0033】
本実施形態は、視線LVを、物体Bに近接した第一壁面Mp21が位置する方向に設定する。これにより、
図8に示されているように、車両Vと物体Bとの距離感が映像上掴みやすくなる。なお、視線LVを第二壁面Mp22に向けても、距離感が掴みやすい表示画像とすることが可能であるが、視線LVを第一壁面Mp21に向けることで、よりいっそう距離感が感覚的に掴みやすくなる。
【0034】
本実施形態は、直交面Mbによる側断面視にて、視線LVが第一壁面Mp21と直交するように、視線LVにおける俯角θ2を設定する。具体的には、例えば、θ1=45°の場合、鉛直線に対する約45°の角度で見下ろすような視線LVが設定される。これにより、ポールのような、高さのある物体Bを、ドライバ等の乗員に対する違和感を可及的に抑制しつつ良好に表示することが可能となる。なお、上記の具体例では、俯角θ2が小さすぎると、第一壁面Mp21の立ち上がり部分すなわち第一壁面Mp21と底面Mp1との境界部分における、ポール状の物体Bの折れ曲がりが目立つようになる。また、かかる物体Bが実際よりも太く且つ短く見えるようになる。これに対し、俯角θ2が大きすぎると、かかる物体Bが実際よりも細く且つ長く見えるようになる。また、投影面Mpのグリッド線の折れ曲がりが目立つようになる。
【0035】
本実施形態は、視線LVを、車両Vの少なくとも一部である特徴形状部分が表示画像に含まれるように設定する。これにより、物体Bと合わせて表示されている車両Vあるいは自車両ポリゴンの一部がどの部分であるかがドライバ等の乗員により視認しやすくなる。したがって、本実施形態によれば、障害物と車両Vとの位置関係をよりいっそう直感的に把握できるように表示装置5にて表示することが可能となる。
【0036】
(変形例)
本発明は、上記の実施形態や実施例に限定されるものではない。故に、上記実施形態等に対しては、適宜変更が可能である。以下、代表的な変形例について説明する。以下の変形例の説明においては、上記実施形態等との相違点を主として説明する。また、上記実施形態等と以下の変形例とにおいて、互いに同一または均等である部分には、同一の符号が付されている。したがって、以下の変形例の説明において、上記実施形態等と同一の符号を有する構成要素に関しては、技術的矛盾または特段の追加説明なき限り、上記実施形態等における説明が適宜援用され得る。
【0037】
本発明は、上記実施形態に示された具体的な装置構成に限定されるものではない。例えば、本発明の適用対象は、道路を走行する自動車等に限定されず、オフロード専用車や軍用車や有人ドローン等にも適用され得る。また、障害物検知センサ3は、省略され得る。すなわち、障害物情報取得部603は、撮像部4による撮影画像データに基づく物体Bの検知情報を取得するようになっていてもよい。また、撮像部4におけるカメラの種類、個数、搭載位置、等についても、特段の限定はない。すなわち、例えば、前方カメラ41は、車室V0内に配置されていてもよい。さらに、表示制御装置6は、車両Vの外側に設けられていて当該車両Vと無線通信により接続された外部コンピュータに設けられていてもよい。
【0038】
図3に示された各機能構成部は、あくまで、本発明の一実施形態の説明を簡略化するための便宜上のものである。よって、
図3における図示は、表示制御装置6において、これらの機能構成部が何らかのモジュールあるいはハードウェアとして実現されていなければならないことを意味しない。
【0039】
上記実施形態にて説明した、各種の動作、手順、あるいは処理を実行可能とする、本発明に係るプログラムは、V2X通信を介してダウンロードあるいはアップグレードされ得る。V2XはVehicle to Xの略である。あるいは、かかるプログラムは、自車両の製造工場、整備工場、販売店、等に設けられた端末機器を介して、ダウンロードあるいはアップグレードされ得る。かかるプログラムの格納先は、メモリーカード、光学ディスク、磁気ディスク、等であってもよい。
【0040】
このように、上記の各機能構成および処理は、コンピュータプログラムにより具体化された一つあるいは複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、上記の各機能構成および処理は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、上記の各機能構成および処理は、一つあるいは複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移的実体的記憶媒体に記憶されていてもよい。すなわち、上記の各機能構成および処理は、これを実現するための手順を含むコンピュータプログラム、あるいは、当該プログラムを記憶した非遷移的実体的記憶媒体としても表現可能である。
【0041】
本発明は、上記実施形態に示された具体的な動作態様に限定されるものではない。すなわち、例えば、上記実施形態においては、投影面Mpの形状は、平面視にて略矩形のバスタブ状に形成されていた。このため、視線LVは、直交面Mbによる側断面視にて第一壁面Mp21と直交するものの、第一壁面Mp21と三次元的に直交するとは限らなかった。すなわち、視線LVは、第一壁面Mp21の法線方向と平行となるとは限らなかった。しかしながら、本発明は、かかる態様に限定されない。すなわち、投影面Mpの形状は、特開2011-182059号公報や特開2021-118435号公報等に記載されているような、椀状あるいは逆ドーム状の形状であってもよい。この場合、視線LVは、第一壁面Mp21の法線方向と平行となる。よって、この場合、視線LVの延長線は、第一壁面Mp21の法線となる。また、投影面Mpの車両中心点Pcとの関係も、特段の限定はない。すなわち、上記の各公報に記載された技術において、投影面Mpの中心と車両中心点Pcとは一致していたが、本発明は、かかる態様には限定されない。よって、車両中心点Pcが投影面Mpの中心からオフセットするように、投影面Mpが設定され得る。具体的には、例えば、車両中心点Pcは、投影面Mpの中心から、最も注目すべき物体Bである注目物体が存在する方向にオフセットされ得る。この場合の、注目物体の選定は、後述するように、車両Vの進行方向に応じて行われ得る。具体的には、例えば、車両Vが前進走行中の場合は、注目物体は、前方カメラ41の撮影範囲である、車両Vの前方あるいは前側方にて選定される。
【0042】
上記実施形態にて示した具体例においては、物体方位線分Lbは、物体中心点Pbと車両中心点Pcとを結ぶ仮想直線と重なる水平な線分であった。このため、直交面Mbは、水平面と直交する鉛直面であった。しかしながら、本発明は、かかる態様に限定されるものではない。すなわち、例えば、物体方位線分Lbは、車両Vと物体Bとの最短距離を結ぶ線分であってもよい。あるいは、物体方位線分Lbは、車両Vの三次元的な重心と物体Bの三次元的な重心とを結ぶ仮想直線と重なる線分であってもよい。この場合、物体方位線分Lbは、物体Bの高さによっては、水平面に対して傾斜し得る。よって、この場合、直交面Mbを鉛直面としようとすると、かかる直交面Mbは物体方位線分Lbに対して傾斜し得る。あるいは、この場合、直交面Mbを、鉛直面に対して僅かに傾斜するように設定してもよい。
【0043】
例えば、車両Vが前進走行中に、車両Vの後方に存在する物体Bを、後方に振り向いたような視点で表示装置5に表示すると、ドライバ等の乗員による状況把握がしづらくなる可能性がある。このように、視線LVが車両Vの進行方向とは異なる方向を向くと、ドライバ等の乗員にとって違和感のある表示画像となり得る。そこで、視線LVや仮想視点PVの設定処理において、車両Vの進行方向を考慮してもよい。換言すれば、視線LVすなわち仮想視点PVを、車両Vの進行方向に基づいて設定してもよい。具体的には、例えば、車両Vが前進走行中の場合は、仮想視点PVを、車両中心点Pcよりも前方に設定する。これに対し、車両Vが後退走行中の場合は、仮想視点PVを、車両中心点Pcよりも後方に設定する。これにより、ドライバ等の乗員にとっての違和感を良好に抑制した表示画像を表示することが可能となる。
【0044】
上記実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、構成要素の個数、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数値に限定される場合等を除き、その特定の数値に本発明が限定されることはない。同様に、構成要素等の形状、方向、位置関係等が言及されている場合、特に必須であると明示した場合および原理的に特定の形状、方向、位置関係等に限定される場合等を除き、その形状、方向、位置関係等に本発明が限定されることはない。また、変形例も、上記の例示に限定されない。また、複数の変形例が、互いに組み合わされ得る。さらに、上記実施形態の全部または一部と、変形例の全部または一部とが、互いに組み合わされ得る。
【0045】
(観点)
上記の通りの、実施形態および変形例における説明から明らかなように、本明細書による開示は、少なくとも、以下の観点を含む。
[観点1-1]
周囲を撮影領域とする撮像部(4)と画像を表示する表示装置(5)とを搭載した車両(V)に適用され、前記撮像部による撮影画像を前記車両よりも上方に設定した仮想視点(PV)による鳥瞰画像に変換した表示画像を前記表示装置に表示させる表示制御装置(6)であって、
コンピュータプログラム指令を実行可能なプロセッサ(61)と、
前記プロセッサに接続され、前記コンピュータプログラム指令を記憶したメモリ(62)と、
を備え、
前記プロセッサは、前記コンピュータプログラム指令を実行することにより、
前記撮影領域に存在する物体(B)と前記車両とを結ぶ仮想線分(Lb)と直交する仮想平面である直交面(Mb)内に前記仮想視点を設定し、
前記車両の下方の路面(Rs)に対応する底面(Mp1)と前記底面の周囲にて前記底面から立設した壁面(Mp2)とを有する仮想面である投影面(Mp)における前記壁面に向かうように前記仮想視点からの視線(LV)の方向を設定する、
表示制御装置。
[観点1-2]
前記視線を、前記物体に近接した前記壁面が位置する方向に設定する、
観点1-1に記載の表示制御装置。
[観点1-3]
前記視線を、前記車両の進行方向に基づいて設定する、
観点1-1または1-2に記載の表示制御装置。
[観点1-4]
前記視線における、前記仮想視点からの俯角(θ2)を、前記壁面と直交するように設定する、
観点1-1~1-3のいずれか1つに記載の表示制御装置。
[観点1-5]
前記視線を、前記車両の少なくとも一部が前記表示画像に含まれるように設定する、
観点1-1~1-4のいずれか1つに記載の表示制御装置。
[観点1-6]
前記車両の少なくとも一部は、車両中心点(Pc)、車体(V1)における前記物体に近接する外縁部、フロントバンパー(V2)、ヘッドライト(V3)、リアバンパー(V4)、ブレーキランプ(V5)、ドアミラー(V6,V7)、または運転席(V8)を含む、
観点1-5に記載の表示制御装置。
[観点1-7]
前記直交面を、前記仮想線分の中心位置を通るように設定する、
観点1-1~1-6のいずれか1つに記載の表示制御装置。
[観点2-1]
周囲を撮影領域とする撮像部(4)と画像を表示する表示装置(5)とを搭載した車両(V)に適用され、前記撮像部による撮影画像を前記車両よりも上方に設定した仮想視点(PV)による鳥瞰画像に変換した表示画像を前記表示装置に表示させる表示制御装置(6)により実行される、表示制御方法であって、
前記撮影領域に存在する物体(B)と前記車両とを結ぶ仮想線分(Lb)と直交する仮想平面である直交面(Mb)内に前記仮想視点を設定し、
前記車両の下方の路面(Rs)に対応する底面(Mp1)と前記底面の周囲にて前記底面から立設した壁面(Mp2)とを有する仮想面である投影面(Mp)における前記壁面に向かうように前記仮想視点からの視線(LV)の方向を設定する、
表示制御方法。
[観点2-2]
前記視線を、前記物体に近接した前記壁面が位置する方向に設定する、
観点2-1に記載の表示制御方法。
[観点2-3]
前記視線を、前記車両の進行方向に基づいて設定する、
観点2-1または2-2に記載の表示制御方法。
[観点2-4]
前記視線における、前記仮想視点からの俯角(θ2)を、前記壁面と直交するように設定する、
観点2-1~2-3のいずれか1つに記載の表示制御方法。
[観点2-5]
前記視線を、前記車両の少なくとも一部が前記表示画像に含まれるように設定する、
観点2-1~2-4のいずれか1つに記載の表示制御方法。
[観点2-6]
前記車両の少なくとも一部は、車両中心点(Pc)、車体(V1)における前記物体に近接する外縁部、フロントバンパー(V2)、ヘッドライト(V3)、リアバンパー(V4)、ブレーキランプ(V5)、ドアミラー(V6,V7)、または運転席(V8)を含む、
観点2-5に記載の表示制御方法。
[観点2-7]
前記直交面を、前記仮想線分の中心位置を通るように設定する、
観点2-1~2-6のいずれか1つに記載の表示制御方法。
[観点3-1]
周囲を撮影領域とする撮像部(4)と画像を表示する表示装置(5)とを搭載した車両(V)に適用され、前記撮像部による撮影画像を前記車両よりも上方に設定した仮想視点(PV)による鳥瞰画像に変換した表示画像を前記表示装置に表示させる表示制御装置(6)により実行される、表示制御プログラムであって、
前記表示制御装置に備えられたプロセッサ(61)により実行される処理は、
前記撮影領域に存在する物体(B)と前記車両とを結ぶ仮想線分(Lb)と直交する仮想平面である直交面(Mb)内に前記仮想視点を設定する処理と、
前記車両の下方の路面(Rs)に対応する底面(Mp1)と前記底面の周囲にて前記底面から立設した壁面(Mp2)とを有する仮想面である投影面(Mp)における前記壁面に向かうように前記仮想視点からの視線(LV)の方向を設定する処理と、
を含む、
表示制御プログラム。
[観点3-2]
前記視線を、前記物体に近接した前記壁面が位置する方向に設定する、
観点3-1に記載の表示制御プログラム。
[観点3-3]
前記視線を、前記車両の進行方向に基づいて設定する、
観点3-1または3-2に記載の表示制御プログラム。
[観点3-4]
前記視線における、前記仮想視点からの俯角(θ2)を、前記壁面と直交するように設定する、
観点3-1~3-3のいずれか1つに記載の表示制御プログラム。
[観点3-5]
前記視線を、前記車両の少なくとも一部が前記表示画像に含まれるように設定する、
観点3-1~3-4のいずれか1つに記載の表示制御プログラム。
[観点3-6]
前記車両の少なくとも一部は、車両中心点(Pc)、車体(V1)における前記物体に近接する外縁部、フロントバンパー(V2)、ヘッドライト(V3)、リアバンパー(V4)、ブレーキランプ(V5)、ドアミラー(V6,V7)、または運転席(V8)を含む、
観点3-5に記載の表示制御プログラム。
[観点3-7]
前記直交面を、前記仮想線分の中心位置を通るように設定する、
観点3-1~3-6のいずれか1つに記載の表示制御プログラム。
【符号の説明】
【0046】
4 撮像部
5 表示装置
6 表示制御装置
61 プロセッサ
62 メモリ
603 障害物情報取得部
604 表示情報生成部
641 視線設定部
642 視点変換処理部
643 合成処理部