(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023006857
(43)【公開日】2023-01-18
(54)【発明の名称】ビュー表示装置およびビュー表示方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20230111BHJP
B60R 1/00 20220101ALI20230111BHJP
G06T 19/00 20110101ALI20230111BHJP
B60R 1/20 20220101ALI20230111BHJP
【FI】
H04N7/18 J
B60R1/00 A
G06T19/00 A
B60R1/20 100
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2021109680
(22)【出願日】2021-06-30
(71)【出願人】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】110002365
【氏名又は名称】特許業務法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】塩口 拓真
【テーマコード(参考)】
5B050
5C054
【Fターム(参考)】
5B050AA10
5B050BA09
5B050BA11
5B050DA04
5B050DA07
5B050EA19
5B050EA27
5B050FA02
5B050FA05
5C054CA04
5C054CC02
5C054EA01
5C054EA05
5C054FC12
5C054FD03
5C054FD07
5C054FE23
5C054FF03
5C054HA30
(57)【要約】
【課題】目的のビューを容易に呼び出し得るビュー表示装置を提供する。
【解決手段】画面生成部は、タッチスクリーンに対する特定の入力操作が検出されたことをトリガーとして、ビュー生成部により生成される第1の視点からのビューを表示するための表示領域を含む画面を生成し、ビュー生成部は、タッチスクリーンに対するスライド操作が検出された場合、第1の視点のカメラ座標を、スライド操作のスライド方面に対して予め設けられている第2の視点のカメラ座標に変更し、第2の視点からのビューを生成するようにした。
【選択図】
図7
【特許請求の範囲】
【請求項1】
車両に搭載され、前記車両に係るビューをタッチスクリーンに表示するビュー表示装置であって、
前記車両の周囲を撮像する撮像部から出力される画像信号に基づいて、所定の視点からのビューを生成するビュー生成部と、
前記ビュー生成部により生成されるビューを表示するための表示領域を含む画面を生成する画面生成部と、を備え、
前記タッチスクリーンに対するスライド操作における複数のスライド方面の各々に対して、各スライド方面のビューを生成するための視点の位置を示すカメラ座標が予め設けられ、
前記画面生成部は、前記タッチスクリーンに対する特定の入力操作が検出されたことをトリガーとして、前記ビュー生成部により生成される第1の視点からのビューを表示するための表示領域を含む画面を生成し、
前記ビュー生成部は、前記タッチスクリーンに対するスライド操作が検出された場合、前記第1の視点のカメラ座標を、前記スライド操作のスライド方面に対して予め設けられている第2の視点のカメラ座標に変更し、前記第2の視点からのビューを生成する、
ビュー表示装置。
【請求項2】
前記複数のスライド方面として、前記タッチスクリーンの上側へのスライド操作が対応付けられる上方面、前記タッチスクリーンの下側へのスライド操作が対応付けられる下方面、前記タッチスクリーンの右側へのスライド操作が対応付けられる右方面、前記タッチスクリーンの左側へのスライド操作が対応付けられる左方面が定義されている場合、前記上方面のビューを生成するための視点の位置を示すカメラ座標として、前記車両の前方の部位がターゲットとして表示されるカメラ座標が設けられ、前記下方面のビューを生成するための視点の位置を示すカメラ座標として、前記車両の後方の部位がターゲットとして表示されるカメラ座標が設けられ、前記右方面のビューを生成するための視点の位置を示すカメラ座標として、前記車両の右側の部位がターゲットとして表示されるカメラ座標が設けられ、前記左方面のビューを生成するための視点の位置を示すカメラ座標として、前記車両の左側の部位がターゲットとして表示されるカメラ座標が設けられている、
請求項1に記載のビュー表示装置。
【請求項3】
各スライド方面のビューを生成するための視点の位置を示すカメラ座標は、スライド方面ごとに複数設けられ、
前記ビュー生成部は、前記タッチスクリーンに対するスライド操作のタッチ座標が、前記スライド操作のスライド方面の所定の移動範囲にあるときは、前記スライド方面にタッチ座標が進むに従って、前記第1の視点のカメラ座標を、前記スライド方面に係るカメラ座標の中の一のカメラ座標に順次に変更する、
請求項1に記載のビュー表示装置。
【請求項4】
前記ビュー生成部は、前記タッチスクリーンに対するスライド操作のタッチ座標が第1の移動範囲にあるときは、前記車両を斜めから捉えたパースビューを生成し、前記スライド操作のスライド方面と反対の方面にある前記タッチスクリーンの端部から前記スライド方面に前記第1の移動範囲よりも離れている第2の移動範囲に前記タッチ座標があるときは、前記車両を真上から捉えたトップビューを生成する、
請求項1に記載のビュー表示装置。
【請求項5】
前記ビュー生成部は、前記タッチスクリーンに対するスライド操作のタッチ座標が、前記所定の移動範囲にあるときは、前記スライド操作のスライド方面と反対の方面にある前記タッチスクリーンの端部から前記タッチ座標が離れるに従って、前記第1の視点のカメラ座標を、前記スライド方面の前記車両の部位が拡大されて表示されるカメラ座標に順次に変更する、
請求項3に記載のビュー表示装置。
【請求項6】
前記画面生成部は、前記タッチスクリーンに対するスライド操作のタッチ座標がスライド方面の第1の移動範囲にあるときは、前記タッチ座標に応じてスライド方面に縮小した表示領域を含む画面を生成する、
請求項1に記載のビュー表示装置。
【請求項7】
前記ビュー生成部は、前記タッチスクリーンに対するスライド操作のタッチ座標がスライド方面の第1の移動範囲にあるときは、前記車両の全体をターゲットとしたビューを生成し、前記スライド操作のスライド方面と反対の方面にある前記タッチスクリーンの端部から前記スライド方面に前記第1の移動範囲よりも離れている第2の移動範囲に前記タッチ座標があるときは、前記スライド方面に対応する前記車両の部位をターゲットとしたビューを生成する、
請求項1に記載のビュー表示装置。
【請求項8】
車両に搭載され、前記車両に係るビューをタッチスクリーンに表示するビュー表示装置が実行するビュー表示方法であって、
前記ビュー表示装置は、
前記車両の周囲を撮像する撮像部から出力される画像信号に基づいて、所定の視点からのビューを生成するビュー生成部と、
前記ビュー生成部により生成されるビューを表示するための表示領域を含む画面を生成する画面生成部と、を備え、
前記タッチスクリーンに対するスライド操作における複数のスライド方面の各々に対して、各スライド方面のビューを生成するための視点の位置を示すカメラ座標が予め設けられ、
前記画面生成部が、前記タッチスクリーンに対する特定の入力操作が検出されたことをトリガーとして、前記ビュー生成部により生成される第1の視点からのビューを表示するための表示領域を含む画面を生成することと、
前記ビュー生成部が、前記タッチスクリーンに対するスライド操作が検出された場合、前記第1の視点のカメラ座標を、前記スライド操作のスライド方面に対して予め設けられている第2の視点のカメラ座標に変更し、前記第2の視点からのビューを生成することと、
を含むビュー表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、車両の周囲を撮像する撮像部から出力される画像信号に基づいて生成される所定の視点からのビューを呼び出す技術に関する。
【背景技術】
【0002】
車両に取り付けられている複数のカメラで撮影された映像を合成した、車両周辺の立体視映像、俯瞰映像といった合成映像(ビュー)をモニターに表示する技術が知られている(特許文献1参照)。ビューによれば、投影面として3次元座標を用いることで、車両とその周辺映像とを立体的に表現することができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許出願公開第2018/0315244号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来のビューの呼び出しにおいては、メニューが複数の階層にわたる場合、何度もタッチ、スワイプ等の操作をして、ビューを呼び出す必要がある。そして、気になる車両周辺の環境(周辺環境)をビューで確認するためには、ビューを呼び出した後に、ビューの視点を調整する操作が必要となり、この調整のために画面を注視しなければならない。ビューを利用する際の手数の多さに加え、画面の注視の必要性は、ビューの利用を億劫にし、運転開始時、駐車時、運転時等において、ビューが利用される機会が損なわれてしまう。
【0005】
本発明は、以上の点を考慮してなされたもので、目的のビューを容易に呼び出し得るビュー表示装置等を提案しようとするものである。
【課題を解決するための手段】
【0006】
かかる課題を解決するため本発明においては、車両に搭載され、前記車両に係るビューをタッチスクリーンに表示するビュー表示装置であって、前記車両の周囲を撮像する撮像部から出力される画像信号に基づいて、所定の視点からのビューを生成するビュー生成部と、前記ビュー生成部により生成されるビューを表示するための表示領域を含む画面を生成する画面生成部と、を備え、前記タッチスクリーンに対するスライド操作における複数のスライド方面の各々に対して、各スライド方面のビューを生成するための視点の位置を示すカメラ座標が予め設けられ、前記画面生成部は、前記タッチスクリーンに対する特定の入力操作が検出されたことをトリガーとして、前記ビュー生成部により生成される第1の視点からのビューを表示するための表示領域を含む画面を生成し、前記ビュー生成部は、前記タッチスクリーンに対するスライド操作が検出された場合、前記第1の視点のカメラ座標を、前記スライド操作のスライド方面に対して予め設けられている第2の視点のカメラ座標に変更し、前記第2の視点からのビューを生成するするようにした。
【0007】
上記構成では、予め定められた複数のスライド方面のうち何れかのスライド方面のスライド操作が行われた場合、当該スライド方面に対して予め設けられている視点からのビューが表示される。上記構成によれば、例えば、ユーザは、気になる周辺環境をビューで確認したいときに、規定のビューの中から、目的に近いビューを少ない手数で呼び出すことができる。
【発明の効果】
【0008】
本発明によれば、利便性の高いビュー表示装置を実現することができる。
【図面の簡単な説明】
【0009】
【
図1】運転支援システムに係る全体構成の一例を示す図である。
【
図2】運転支援システムに係るハードウェア構成の一例を示す図である。
【
図3】ビュー表示装置の機能構成の一例を示す図である。
【
図5】表示領域のレイアウトの一例を示す図である。
【発明を実施するための形態】
【0010】
(I)実施形態
以下、本発明の一実施形態を詳述する。ただし、本発明は、実施形態に限定されるものではない。本実施形態のビュー表示装置は、車両の外部に設置された複数のカメラで撮影された車両周囲の画像を、ユーザにより選択された地点からのビューに合成してタッチスクリーンに表示する。例えば、本ビュー表示装置は、以下のステップA)~C)を実行する。
【0011】
A)特定のタッチ操作をトリガーとして、所定の視点からの車両を含むビューを表示するステップ
B)ユーザによるタッチスクリーン上におけるスライド操作を検出するステップ
C)上記スライド操作に応じた方向の車両部分および周囲が拡大されて表示されるビューとなる視点に変更するステップ
【0012】
上記C)のステップは、例えば、
C1)画面上方向の上記スライド操作が検出された場合には、車両前方が拡大されて表示されるビューとなる視点に変更すること、
C2)画面下方向の上記スライド操作が検出された場合には、車両後方が拡大されて表示されるビューとなる視点に変更すること、
C3)画面右方向の上記スライド操作が検出された場合には、車両右側が拡大されて表示されるビューとなる視点に変更すること、および
C4)画面左方向の上記スライド操作が検出された場合には、車両左側が拡大されて表示されるビューとなる視点に変更すること、を含む。
【0013】
本ビュー表示装置は、上記C)のステップによる表示が行われた後、ユーザによるタッチスクリーン上におけるスライド操作がさらに検出されると、予め定められた視点からのビューに順次表示を変更することを特徴とする。上記C)のステップによる表示は、例えば、車両の真上以外の視点からのパースビューであり、本ビュー表示装置は、ユーザによるタッチスクリーン上におけるスライド操作がさらに検出されると、車両の真上を視点としたトップビューに変更することを特徴とする。本ビュー表示装置は、ユーザによるタッチスクリーン上におけるスライド操作がさらに検出されると、C)のステップによる表示よりもさらに各所が拡大されるビューとなる視点に変更することを特徴とする。
【0014】
このように、本ビュー表示装置は、特定のタッチ操作をトリガーとし、スライド操作による座標移動と、当該座標移動に連動したレイアウト変更と、当該座標移動に連動したビュー上のカメラ座標の変更と、当該座標移動に連動したカメラターゲットの座標変更とを行うことを特徴とする。上記構成によれば、ユーザは、障害物と接触するかを速やかに確認したいときに、規定のパターンの中から目的のビューを非常に少ない手数で呼び出すことができるため、安全な運転に寄与できる。
【0015】
次に、本発明の実施形態を図面に基づいて説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は、単数でも複数でも構わない。
【0016】
なお、以下の説明では、図面において同一要素については、同じ番号を付し、説明を適宜省略する。また、同種の要素を区別しないで説明する場合には、枝番を含む参照符号のうちの共通部分(枝番を除く部分)を使用し、同種の要素を区別して説明する場合は、枝番を含む参照符号を使用することがある。例えば、カメラを特に区別しないで説明する場合には、「カメラ102」と記載し、個々のカメラを区別して説明する場合には、「前方カメラ102-1」のように記載することがある。
【0017】
本明細書等における「第1」、「第2」、「第3」等の表記は、構成要素を識別するために付するものであり、必ずしも、数または順序を限定するものではない。また、構成要素の識別のための番号は、文脈毎に用いられ、1つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。
【0018】
図1は、運転支援システム100に係る全体構成の一例を示す。運転支援システム100は、車両101に搭載され、車両101の運転を支援する。
【0019】
車両101の前後左右には、広範囲を観測可能な広角レンズ、魚眼レンズ等が装着されたカメラ102(撮像部の一例)が設けられている。これらのカメラ102により、車両101の周囲の路面を含む領域を漏れなく観測(撮影)することができる。
【0020】
例えば、運転支援システム100は、前方カメラ102-1、後方カメラ102-2、左側方カメラ102-3、および右側方カメラ102-4を備える。
【0021】
前方カメラ102-1は、車両101の前方に向けて設けられるカメラ102であり、車両101の前方の部位であるフロントバンパ、フロントグリル等に設けられている。後方カメラ102-2は、車両101の後方に向けて設けられるカメラ102であり、車両101の後方の部位であるリアバンパ、リアガーニッシュ等に設けられている。左側方カメラ102-3は、車両101の左側方に向けて設けられるカメラ102であり、車両101の左側方の部位である左ドアミラー等に設けられている。右側方カメラ102-4は、車両101の右側方に向けて設けられるカメラ102であり、車両101の右側方の部位である右ドアミラー等に設けられている。
【0022】
運転支援システム100は、カメラ102により車両101の周囲が撮像された画像に基づいて、所定の視点からの合成画像を生成し、生成した合成画像をドライバ等のユーザに提示する。合成画像としては、パースビュー画像(立体視画像)と、トップビュー画像(俯瞰画像)とがある。パースビュー画像は、車両101の真上以外の視点からの遠近法表示の画像であり、車両101の周囲を斜め上方または側方から見た背景画像と、車両101を表すアイコンとを含む画像である。トップビュー画像は、車両101の真上の視点からの画像であり、車両101の周囲を上方から見た背景画像と、車両101の上面の画像とを含む画像である。以下では、パースビュー画像またはその映像を「パースビュー」と記す。トップビュー画像またはその映像を「トップビュー」と記す。パースビューとトップビューとの区別を要しないときは「ビュー」と記す。
【0023】
図2は、運転支援システム100に係るハードウェア構成の一例を示す。運転支援システム100は、画像処理装置210と、ナビゲーション装置220と、車輪速センサ230と、操舵角センサ240とを備える。
【0024】
画像処理装置210は、例えば、カメラECU(Electronic Control Unit)であり、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を含むマイクロコントローラを主体として構成される。画像処理装置210(ビュー生成部の一例)は、車両101の周囲を撮像するカメラ102を制御するとともに、カメラ102から出力される画像信号に基づいて、所定の視点(例えば、後述の仮想視点411)からのビューを生成する。また、画像処理装置210(画面生成部の一例)は、生成したビューを表示するための表示領域を含む画面を生成する。なお、画像処理装置210の機能については、
図3を用いて後述する。
【0025】
ナビゲーション装置220は、画像処理装置210で生成されたビュー、画面等を表示したり、ユーザからの入力操作を受け付けたりするタッチスクリーンの一例である。より具体的には、ナビゲーション装置220は、画像を表示するモニター221と、ユーザが入力操作するタッチパネル222と、を備える。モニター221には、画像等が表示される表示面に、タッチパネル222が重畳されている。タッチパネル222は、ユーザの入力操作を受けて、仮想カメラ情報を生成する。なお、タッチパネル222のタッチセンサは、タッチパネル222においてタッチされている座標(タッチ座標)が取得できればよく、感圧センサ、静電センサ、光センサ等、どのようなセンサであってもよい。仮想カメラ情報は、ビューを投影する所定の空間モデルに仮想的に設置された仮想カメラに関する情報である。なお、空間モデルについては、
図4を用いて後述する。
【0026】
なお、入力操作が可能な操作部としては、タッチパネル222の他に、モニター221の周囲に設けられる各種の操作ボタン、ロータリーダイヤル、ジョイスティック等があってもよい。付言するならば、ナビゲーション装置220は、経路案内用の地図データ等を記憶し、この地図データと、図示は省略するGPS装置等により検出された車両101の現在の位置データとに基づいて、ユーザが設定した目標地点までの経路案内を行ってもよい。
【0027】
車輪速センサ230は、車両101の車輪速を検出するセンサである。車輪速センサ230で検出された検出情報(車輪速)は、車両制御ECU250に入力される。操舵角センサ240は、車両101のステアリングの操舵角を検出する。操舵角センサ240は、車両101が直進状態で走行するときの操舵角を中立位置(0度)とし、その中立位置からの回転角度を操舵角として検出する。操舵角センサ240で検出された検出情報(操舵角)は、車両制御ECU250に入力される。
【0028】
さらに、運転支援システム100は、車両制御ECU250と、ステアリング制御ユニット260と、スロットル制御ユニット270と、ブレーキ制御ユニット280とを備える。
【0029】
車両制御ECU250は、CPU、ROM、RAM等を含むマイクロコントローラを主体として構成される。車両制御ECU250は、画像処理装置210、ナビゲーション装置220、車輪速センサ230、および操舵角センサ240から入力された各情報に基づいて、パワステアクチュエータ261、スロットルアクチュエータ271、およびブレーキアクチュエータ281を駆動制御し、車両101の運転を支援する各種処理を実行する。
【0030】
ステアリング制御ユニット260は、車両制御ECU250において決定された車両制御情報に基づいて、パワステアクチュエータ261を駆動して、車両101の操舵角を制御する。スロットル制御ユニット270は、車両制御ECU250において決定された車両制御情報に基づいて、スロットルアクチュエータ271を駆動して、車両101のスロットルを制御する。ブレーキ制御ユニット280は、車両制御ECU250において決定された車両制御情報に基づいて、ブレーキアクチュエータ281を駆動して、車両101のブレーキを制御する。
【0031】
なお、画像処理装置210、ナビゲーション装置220、車輪速センサ230、および操舵角センサ240と、車両制御ECU250との間は、センサ情報を通信するための車内LAN(Local Area Network)290-1によって接続される。また、ステアリング制御ユニット260、スロットル制御ユニット270、およびブレーキ制御ユニット280と、車両制御ECU250との間は、車両情報を通信するための車内LAN290-2によって接続される。
【0032】
本実施形態では、ビューの表示に係るビュー表示装置200については、画像処理装置210とナビゲーション装置220とを含んで構成されるケースを例に挙げて説明する。つまり、ビュー表示装置200は、画像処理装置210と、タッチパネル222と、タッチパネル222が取り付けられているモニター221とを備え、車両101に搭載される。なお、ビュー表示装置200には、カメラ102が含まれていてもよいし、カメラ102が含まれていなくてもよい。また、ビュー表示装置200は、画像処理装置210を備え、モニター221およびタッチパネル222が通信可能に接続される構成であってもよい。
【0033】
図3は、ビュー表示装置200の機能構成の一例を示す。
【0034】
画像処理装置210は、制御部310および記憶部320を備える。制御部310は、画像処理装置210全体を制御する。制御部310は、CPU、FPGA、GPU(Graphics Processing Unit)等のプログラマブルロジックデバイス、ASIC等の集積回路に代表される演算素子であってよい。この場合、3Dグラフィック画像処理を高速に行うべく、制御部310は、画像処理に特化したGPU、高速演算可能な演算素子(例えば、FPGA)等の表示制御部を備えることが好ましい。
【0035】
記憶部320は、座標変換処理に用いられる座標変換情報、画像処理に用いられる画像処理情報、パラメータ等の設定情報321を記憶する。さらに、記憶部320は、制御用プログラム(画像処理プログラム)を記憶してもよい。制御用プログラムが画像処理装置210の起動時に実行されることで、画像処理装置210の機能(取得部311、描画制御部312、処理部313、合成部314等)が実現される。
【0036】
取得部311は、タッチパネル222の機能である入力部331から仮想カメラ情報を取得する。取得部311は、取得した仮想カメラ情報を、描画制御部312に送信する。描画制御部312は、空間モデルの投影面の全ての頂点の座標データ、または、ビューの投影先(投影領域)を構成する投影面の頂点の座標データを記憶部320から取得し、GPU設定値とともに処理部313に送信する。GPU設定値には、座標変換に用いられる行列(回転行列、拡大行列、縮小行列、平行移動行列)と、描画条件(光の強さ、方向といったライトの設定、透過率設定、物体の質感)との情報とが含まれる。
【0037】
処理部313は、描画制御部312から入力された座標データに対して座標変換処理を行う。処理部313は、受信した行列を組み合わせて、モデル変換行列、ビュー変換行列、投影変換行列を算出して使用する。モデル変換行列は、空間モデルそのものの移動、回転、拡大縮小を担う変換行列である。ビュー変換行列は、仮想カメラの位置を原点とするように座標を変換する行列である。投影変換行列は、遠近感を出す変換行列である。処理部313は、これらの行列に各頂点の座標データを掛け合せることで、座標変換を行う。なお、座標データと、座標変換情報(変換式を含む)とは、テーブル等によって対応付けられている。
【0038】
合成部314は、処理部313で座標変換された座標データと、カメラ102からの画像信号(撮像画像)を取得し、これらに基づいてモニター221に表示するためのビューを合成する。合成部314は、ビューの合成を行う際には、例えば、テクスチャマッピング等の公知の手法を用いることができる。合成部314は、合成したビューを表示するための表示領域を、タッチパネル222に対する入力操作(タッチ操作、タッチ座標、スライド操作のスライド方面等)に応じて設定した画面を表示させるための表示制御信号をナビゲーション装置220に送信する。ナビゲーション装置220の出力部332は、画像処理装置210からの表示制御信号に基づき、モニター221に画面(ビュー)を表示する。
【0039】
図4は、パースビューを生成するための空間モデルの一例(空間モデル400)を示す。
【0040】
空間モデル400は、車両101を示す車両モデル401を中心に半球状に延在する半球型(お椀形状)の投影面410を備える。投影面410では、半球の中心を天頂とし、天頂を通る鉛直方向をY軸とし、Y軸に直交する1つの軸をX軸とし、X軸およびY軸に直交する軸をZ軸としている。
【0041】
空間モデル400には、仮想的に設置される仮想カメラを、投影面410の3次元空間の任意の位置に設定できる。ユーザは、タッチパネル222を操作することで、モニター221にパースビューを表示する際の所望の仮想カメラの位置と、所望の視線方向(表示方向)とを設定できる。例えば、タッチパネル222を上下左右方向に操作(タッチ、スライド、ドラッグ、スワイプ、フリック等)したり、ロータリーダイヤル等を操作したりすることで、仮想カメラの位置を指定したり、所望の視線方向を選択したりできる。ユーザによる操作をタッチパネル222が検出し、タッチパネル222は、仮想カメラ情報を生成して取得部311に送信する。
【0042】
仮想カメラ情報としては、仮想カメラの空間モデル400上での位置(x,y,z)、仮想カメラの視線方向、仮想カメラの視野角等が含まれる。視線方向は、カメラ102の位置および角度(ロール角、ピッチ角、ヨー角)から算出された方角のベクトル、または仮想カメラの位置と仮想カメラの注視点とから求められるベクトルとして設定される。なお、角度および注視点は、タッチパネル222の操作方向および操作量から求められる。仮想カメラの注視点とは、ユーザが見たい場所を示す座標である。
【0043】
ここで、運転開始時、駐車時、運転時等においては、簡易な操作で、気になる周辺環境が即座に確認できることが求められる。ビュー表示装置200では、予め設定された仮想視点411が設けられ、一度のタッチ操作において、所望の仮想視点411に切り替えることで、気になる周辺環境を確認できる。
【0044】
仮想視点411は、仮想カメラにより撮像される画像を設定可能な情報であり、仮想カメラの位置(x,y,z)と、仮想カメラの視線方向との情報を含む。なお、仮想カメラの視野角については、使用するカメラ102によって予め決まっているので、別途に規定されていてもよいが、仮想視点411に含まれていてもよい。
【0045】
なお、トップビューについては、空間モデルが板形状の投影面である点が主に異なるが、パースビューと基本的に同じであるので、その説明を省略する。
【0046】
図5は、所定の画面(画面500)が表示された後、タッチパネル222に対して上方面にスライド操作が行われたときのビューの表示領域510のレイアウトの一例を示す。なお、ビューの表示領域510は、画面500とは異なる画面(別画面)に含まれるケースを例に挙げて説明する。このケースにおいては、
図5に示すように、第1の範囲501~第3の範囲503、および、第1の細分化範囲521~第3の細分化範囲523がタッチパネル222に対応付けられる。
【0047】
上方面のスライド操作におけるタッチ座標(現在座標)が第1の範囲501内にあるときは、表示領域510-1は、画面500-1より小さい別画面の全面に設けられる。
【0048】
最後に表示されたビューがパースビューであるときは、表示領域510-1には、予め定められたパースビューの第1の仮想視点411、例えば、カメラ座標がパースビューの第1のカメラ座標にある仮想視点411-7からのパースビューが表示される。最後に表示されたビューがトップビューであるときは、表示領域510-1には、予め定められたトップビューの第1の仮想視点、例えば、カメラ座標がトップビューの第1のカメラ座標にある仮想視点(図示は省略)からのトップビューが表示される。
【0049】
上方面のスライド操作におけるタッチ座標が第2の範囲502内にあるときは、表示領域510-1よりも、縦の長さが上方向に短いサイズに変形された表示領域510-2が設けられる。
【0050】
最後に表示されたビューがパースビューであるときは、表示領域510-2には、予め定められたパースビューの第2の仮想視点411からのパースビューが表示される。第2の仮想視点411は、例えば、カメラ座標が、パースビューの第1のカメラ座標よりも車両モデル401から遠いパースビューの第2のカメラ座標(車両101と仮想カメラとの角度は維持のまま、撮影範囲が広くなるカメラ座標)にある仮想視点411-8である。なお、第2のカメラ座標は、撮影範囲は維持のまま、車両101と仮想カメラとの角度が大きくなるカメラ座標であってもよい。最後に表示されたビューがトップビューであるときは、表示領域510-2には、予め定められたトップビューの第2の仮想視点からのトップビューが表示される。第2の仮想視点は、例えば、カメラ座標が、トップビューの第1のカメラ座標よりも車両モデル401から遠いトップビューの第2のカメラ座標にある仮想視点である。
【0051】
上方面のスライド操作におけるタッチ座標が第3の範囲503内にあるときは、表示領域510-2よりも、縦の長さが上方向に短いサイズに変形された表示領域510-3が設けられる。
【0052】
表示領域510-3では、タッチ座標の位置に応じて異なる仮想視点からのビューが表示される。タッチ座標が第1の細分化範囲521内にあり、最後に表示されたビューがパースビューであるときは、表示領域510-3には、予め定められたパースビューの第3の仮想視点411からのパースビューが表示される。第3の仮想視点411は、例えば、カメラ座標が、パースビューの第2のカメラ座標よりも車両モデル401から遠いパースビューの第3のカメラ座標にある仮想視点411-9である。タッチ座標が第1の細分化範囲521内にあり、最後に表示されたビューがトップビューであるときは、表示領域510-3には、予め定められたトップビューの第3の仮想視点からのトップビューが表示される。第3の仮想視点は、例えば、カメラ座標が、トップビューの第2のカメラ座標よりも車両モデル401から遠いトップビューの第3のカメラ座標にある仮想視点である。
【0053】
タッチ座標が第2の細分化範囲522内にあるときは、表示領域510-3には、カメラ座標がトップビューの第4のカメラ座標にある仮想視点からのトップビューが表示される。タッチ座標が第3の細分化範囲523内にあるときは、表示領域510-3には、カメラ座標が、トップビューの第4のカメラ座標よりも車両モデル401から近いトップビューの第5のカメラ座標にある仮想視点からのトップビューが表示される。第5のカメラ座標の仮想視点は、車両101と仮想カメラとの角度は維持のまま、撮影範囲が狭くなるカメラ座標にある仮想視点である。なお、第5のカメラ座標は、撮影範囲は維持のまま、車両101と仮想カメラとの角度が小さくなるカメラ座標であってもよい。
【0054】
なお、
図5では、第1の範囲501~第3の範囲503を例に挙げて説明したが、かかる範囲は、3つに限られず、2つであってもよいし、4つ以上であってもよい。また、第1の細分化範囲521~第3の細分化範囲523を例に挙げて説明したが、細分化範囲は、3つに限られず、2つであってもよいし、4つ以上であってもよい。
【0055】
図5では、タッチパネル222に対して上方面にスライド操作が行われたときの表示領域510のレイアウトについて説明した。上述した方面を他の方面(下方面、右方面、左方面、斜め右上、斜め右下、斜め左上、斜め左下等)に置き換えることにより、他の方面にスライド操作が行われたときの表示領域510のレイアウトとなるので、その説明は省略する。
【0056】
例えば、複数のスライド方面として、タッチパネル222の上側へのスライド操作が対応付けられる上方面、タッチパネル222の下側へのスライド操作が対応付けられる下方面、タッチパネル222の右側へのスライド操作が対応付けられる右方面、タッチパネル222の左側へのスライド操作が対応付けられる左方面が定義される。この場合、上方面のビューを生成するための仮想視点の位置を示すカメラ座標として、車両101の前方がターゲットとして表示されるカメラ座標が設けられている。また、下方面のビューを生成するための仮想視点の位置を示すカメラ座標として、車両101の後方がターゲットとして表示されるカメラ座標が設けられている。また、右方面のビューを生成するための仮想視点の位置を示すカメラ座標として、車両101の右側がターゲットとして表示されるカメラ座標が設けられている。また、左方面のビューを生成するための仮想視点の位置を示すカメラ座標として、車両101の左側がターゲットとして表示されるカメラ座標が設けられている。上記構成によれば、例えば、ユーザは、気になる周辺環境をビューで確認したいときに、前方のビュー、後方のビュー、右側のビュー、および左側のビューの中から、目的に近いビューを少ない手数で呼び出すことができる。
【0057】
このように、ビュー表示装置200では、タッチパネル222に対するスライド操作における複数のスライド方面の各々に対して、各スライド方面のビューを生成するための仮想視点の位置を示すカメラ座標が予め設けられている。また、各スライド方面のビューを生成するための仮想視点の位置を示すカメラ座標は、スライド方面ごとに複数設けられている。
【0058】
図6は、ビュー呼出処理の一例を示す。ビュー呼出処理は、運転支援システム100における所定の機能を利用するために所定の画面を表示する操作が受け付けられたことを契機に開始する。所定の画面は、地図画面、道路案内画面、オーディオ画面、メニュー画面等、任意の画面でよい。
【0059】
S601では、ナビゲーション装置220は、所定の画面をモニター221に表示する。
【0060】
S602では、画像処理装置210は、第1の操作がタッチパネル222において検出されたか否かを判定する。画像処理装置210は、第1の操作が検出されたと判定した場合、S603に処理を移し、第1の操作が検出されなかったと判定した場合、S602に処理を移す。
【0061】
第1の操作は、タッチパネル222に対する特定の入力操作である。第1の操作は、タッチパネル222を複数の指で触れる操作、タッチパネル222を押し込む操作、タッチパネル222を長押しする操作等である。
【0062】
S603では、画像処理装置210は、車両101全体のビューを表示するための表示領域を含む所定の画面とは異なる画面(別画面)を表示するための表示制御信号を生成してナビゲーション装置220に送信する。前回実行されたビュー呼出処理で呼び出された車両101全体を示すビュー(パースビューまたはトップビュー)が表示される。なお、ビューに代えて車両101を示すアイコンが表示されてもよい。
【0063】
S604では、画像処理装置210は、タッチ座標が第1の移動範囲内であるか否かを判定する。画像処理装置210は、タッチ座標が第1の移動範囲内であると判定した場合、S605に処理を移し、タッチ座標が第1の移動範囲内でないと判定した場合、S606に処理を移す。
【0064】
第1の移動範囲は、例えば、タッチ座標の位置に応じてビューの表示領域の大きさ(レイアウト)を変更する範囲であり、例えば、スライド操作が上方面に行われている場合は、第1の範囲501、第2の範囲502、または第1の細分化範囲521である。
【0065】
S605では、画像処理装置210は、スライド操作のスライド方面およびタッチ座標の位置に応じて表示領域のレイアウトを設定し、スライド操作のスライド方面およびタッチ座標の位置に応じてカメラ座標を設定し、仮想カメラのターゲットを車両101全体としたビューを生成する。画像処理装置210は、設定したレイアウトで、生成したビューを表示するための表示制御信号を生成してナビゲーション装置220に送信する。
【0066】
S606では、画像処理装置210は、タッチ座標が第2の移動範囲内であるか否かを判定する。画像処理装置210は、タッチ座標が第2の移動範囲内であると判定した場合、S607に処理を移し、タッチ座標が第2の移動範囲内でないと判定した場合、S608に処理を移す。
【0067】
第2の移動範囲は、仮想カメラのターゲットをスライド方面の車両101の部位としたトップビューを生成する範囲であり、例えば、スライド操作が上方面に行われている場合は、第2の細分化範囲522である。
【0068】
S607では、画像処理装置210は、所定の方面のスライド操作に対応するターゲットを真上から捉える、トップビューのカメラ座標を設定し、当該ターゲットを含むトップビューを生成する。上方面のスライド操作に対応するターゲットは、車両101の前方の部位である。下方面のスライド操作に対応するターゲットは、車両101の後方の部位である。右方面のスライド操作に対応するターゲットは、車両101の右側の部位である。左方面のスライド操作に対応するターゲットは、車両101の左側の部位である。
【0069】
このように、画像処理装置210は、タッチパネル222に対するスライド操作のタッチ座標が第1の移動範囲にあるときは、例えば、車両101を斜めから捉えたパースビューを生成する。また、画像処理装置210は、スライド操作のスライド方面と反対の方面にあるタッチパネル222の端部からスライド方面に第1の移動範囲よりも離れている第2の移動範囲にタッチ座標があるときは、車両101を真上から捉えたトップビューを生成する。上記構成によれば、例えば、前回に起動したビューがパースビューであったとしても、スライド操作を進めることでトップビューに切り替えられるので、気になる周辺環境をトップビューで確認したいときに、目的に近いトップビューを少ない手数で呼び出すことができる。
【0070】
S608では、画像処理装置210は、タッチ座標が第3の移動範囲内であるか否かを判定する。画像処理装置210は、タッチ座標が第3の移動範囲内であると判定した場合、S609に処理を移し、タッチ座標が第3の移動範囲内でないと判定した場合、S604に処理を移す。
【0071】
第3の移動範囲は、タッチ座標の位置に応じてトップビューにおけるターゲットの大きさを拡大する範囲であり、例えば、スライド操作が上方面に行われている場合は、第3の細分化範囲523である。
【0072】
S609では、画像処理装置210は、所定の方面のスライド操作に対応するターゲットを真上から捉える、タッチ座標の位置に応じたトップビューのカメラ座標を設定し、当該ターゲットを拡大したトップビューを生成する。
【0073】
このように、画像処理装置210は、例えば、タッチパネル222に対するスライド操作のタッチ座標が、第2の移動範囲または第3の移動範囲にあるときは、スライド操作のスライド方面と反対の方面にあるタッチパネル222の端部からタッチ座標が離れるに従って、仮想視点のカメラ座標を、スライド方面の車両101の部位が拡大されて表示されるカメラ座標に順次に変更する。上記構成によれば、例えば、所定のスライド方面のビューが順次に拡大されて表示されるので、ユーザは、目的に近いビューであるかを早期に判断することができる。
【0074】
S610では、画像処理装置210は、第2の操作がタッチパネル222等において検出されたか否かを判定する。画像処理装置210は、第2の操作が検出されたと判定した場合、S611に処理を移し、第2の操作が検出されなかったと判定した場合、S604に処理を移す。
【0075】
第2の操作は、第1の操作を確定する操作である。例えば、タッチパネル222から指を離す操作、ロータリーダイヤルを回してON/OFFを切り替える操作等である。
【0076】
S611では、画像処理装置210は、表示領域のレイアウトを固定(ビューを確定)し、ビュー呼出処理を終了する。
【0077】
なお、ビュー呼出処理は、上述の内容に限らない。例えば、S604およびS605の処理は、設けられなくてもよい。
【0078】
このように、画像処理装置210は、タッチパネル222に対する第1の操作が検出されたことをトリガーとして、第1の視点からのビューを表示するための表示領域を含む別画面を生成する。また、画像処理装置210は、タッチパネル222に対するスライド操作が検出された場合、上記第1の視点のカメラ座標を、当該スライド操作のスライド方面に対して予め設けられている第2の視点のカメラ座標に変更し、第2の視点からのビューを生成する。上記構成では、例えば、複数のスライド方面の中からユーザが確認したいスライド方面にスライド操作した場合、当該スライド方面に対応する仮想視点からのビューが表示される。上記構成によれば、例えば、ユーザは、気になる周辺環境をビューで確認したいときに、規定のビューの中から、目的に近いビューを少ない手数で呼び出すことができる。例えば、ユーザは、運転中に左側が気になった場合、S607で生成されるビューを用いて、左側にバイクが通っていないかを確認する。また、例えば、ユーザは、低速時または発進時に、シビアに状況を確認したい場合、S609で生成されるビューを用いて、「子供が前にいない」、「後ろに、動物がいたり、自転車があったりしない」かを確認する。このように、確認の程度に応じてビューを呼び出せるので、運転を適切に支援することができる。
【0079】
図7は、ビューの呼出しにおける画面遷移の一例を示す。
【0080】
画面710は、所定の画面の一例であり、本例では地図画面を示す。画面710において、2本の指701でタッチ操作(第1の操作)が行われることで、画面710から画面720に画面が遷移する。
【0081】
画面720では、車両101全体を示すビュー(本例ではパースビュー)が別の画面721で表示される。画面720よりも画面721を小さく表示することで、画面721が2本の指701に吸着されて移動できることがアフォーダンスされている。
【0082】
例えば、タッチパネル222から2本の指701を離す操作(第2の操作)が検出されたときは、画面721から画面730に画面が遷移する。また、例えば、上方面のスライド操作であり、タッチ座標が第1の移動範囲内であるときは、画面721から画面740に画面が遷移する。左方面のスライド操作であり、タッチ座標が第1の移動範囲内であるときは、画面721から画面750に画面が遷移する。右方面のスライド操作であり、タッチ座標が第1の移動範囲内であるときは、画面721から画面760に画面が遷移する。下方面のスライド操作であり、タッチ座標が第1の移動範囲内であるときは、画面721から画面770に画面が遷移する。
【0083】
画面730では、車両101全体を示すビューが画面730全体に表示される。本例では、当該ビューがパースビューであるので、ユーザは、仮想カメラの位置を指定したり、所望の視線方向を選択したりできる。
【0084】
画面740は、上方面のスライド操作が進むに連れて、段階的に、表示領域510の大きさが上方向に小さく変更される画面である。なお、本例では、画面740自体が小さくなっている。上方面のスライド操作が第1の細分化範囲521に達すると、上方面のスライド操作に対応したレイアウトの表示領域510-3が設定され、上方面のスライド操作が第2の細分化範囲522に達すると、画面740から画面741に画面が遷移する。
【0085】
このように、画像処理装置210は、タッチパネル222に対するスライド操作のタッチ座標が上方面の第1の移動範囲にあるときは、タッチ座標に応じて上方面に縮小した表示領域510を含む別画面を生成する。上記構成によれば、上方面のスライド操作に応じて表示領域510が縮小されるので、例えば、ユーザは、車両101の前方のビューが表示されることを容易に推測することができる。なお、上記内容は、他の方面についても同様であり、その説明は省略する。
【0086】
画面741は、車両101の最も前方の部位を仮想カメラのターゲットとしたトップビューを第1の大きさで表示領域510-3に表示する画面である。上方面のスライド操作が第3の細分化範囲523に達すると、画面741から画面742に画面に遷移する。画面742は、車両101の最も前方の部位をターゲットとしたトップビューを、第1の大きさよりも大きい第2の大きさで、表示領域510-3に表示する画面である。
【0087】
このように、画像処理装置210は、タッチパネル222に対するスライド操作のタッチ座標が上方面の第1の移動範囲にあるときは、車両101全体をターゲットとしたビューを生成する。また、画像処理装置210は、スライド操作の上方面と反対の下方面にあるタッチパネル222の端部から上方面に第1の移動範囲よりも離れている第2の移動範囲にタッチ座標があるときは、上方面に対応する車両101の最も前方の部位をターゲットとしたビューを生成する。上記構成によれば、例えば、車両101全体のビューが表示された後に、車両101の部位のビューが表示されるので、目的に近いビューを容易に呼び出すことができる。なお、上記内容は、他の方面についても同様であり、その説明は省略する。
【0088】
画面750は、左方面のスライド操作が進むに連れて、段階的に、表示領域の大きさが左方向に小さく変更される画面である。なお、本例では、画面750自体が小さくなっている。左方面のスライド操作が第1の細分化範囲に達すると、左方面のスライド操作に対応したレイアウトの表示領域(左表示領域)が設定され、左方面のスライド操作が第2の細分化範囲に達すると、画面750から画面751に画面が遷移する。
【0089】
画面751は、車両101の最も左側の部位を仮想カメラのターゲットとしたトップビューを第1の大きさで左表示領域に表示する画面である。左方面のスライド操作が第3の細分化範囲に達すると、画面751から画面752に画面が遷移する。画面752は、車両101の最も左側の部位をターゲットとしたトップビューを、第1の大きさよりも大きい第2の大きさで、左表示領域に表示する画面である。
【0090】
画面760は、右方面のスライド操作が進むに連れて、段階的に、表示領域の大きさが右方向に小さく変更される画面である。なお、本例では、画面760自体が小さくなっている。右方面のスライド操作が第1の細分化範囲に達すると、右方面のスライド操作に対応したレイアウトの表示領域(右表示領域)が設定され、右方面のスライド操作が第2の細分化範囲に達すると、画面760から画面761に画面が遷移する。
【0091】
画面761は、車両101の最も右側の部位を仮想カメラのターゲットとしたトップビューを第1の大きさで右表示領域に表示する画面である。右方面のスライド操作が第3の細分化範囲に達すると、画面761から画面762に画面が遷移する。画面762は、車両101の最も右側の部位をターゲットとしたトップビューを、第1の大きさよりも大きい第2の大きさで、右表示領域に表示する画面である。
【0092】
画面770は、下方面のスライド操作が進むに連れて、段階的に、表示領域の大きさが下方向に小さく変更される画面である。なお、本例では、画面770自体が小さくなっている。下方面のスライド操作が第1の細分化範囲に達すると、下方面のスライド操作に対応したレイアウトの表示領域(下表示領域)が設定され、下方面のスライド操作が第2の細分化範囲に達すると、画面770から画面771に画面が遷移する。
【0093】
画面771は、車両101の最も後方の部位を仮想カメラのターゲットとしたトップビューを第1の大きさで下表示領域に表示する画面である。下方面のスライド操作が第3の細分化範囲に達すると、画面771から画面772に画面が遷移する。画面772は、車両101の最も後方の部位をターゲットとしたトップビューを、第1の大きさよりも大きい第2の大きさで、下表示領域に表示する画面である。
【0094】
このように、画像処理装置210は、タッチパネル222に対するスライド操作のタッチ座標が、当該スライド操作のスライド方面の所定の移動範囲にあるときは、当該スライド方面にタッチ座標が進むに従って、第1の視点のカメラ座標を、当該スライド方面に係るカメラ座標の中から一のカメラ座標に順次に変更する。上記構成によれば、例えば、ユーザは、所望のスライド方面のビューが順次に変更されるので、目的により近いビューを容易に呼び出すことができる。
【0095】
図8は、右方面のスライド操作が行われているときのビューの切り替えの一例を示す図である。
【0096】
ビュー800は、右方面のスライド操作が第1の細分化範囲に達し、画面760の右表示領域に表示されるパースビューを示す。そして、右方面のスライド操作が第2の細分化範囲に達したとき、ビュー800は、ビュー801およびビュー802を経由し、ビュー810(トップビュー)になり、画面761において表示される。そして、右方面のスライド操作が第3の細分化範囲に達したとき、ビュー810は、ビュー811およびビュー812を経由し、ビュー820(車両101の右側が拡大されたトップビュー)になり、画面762において表示される。
【0097】
本実施形態によれば、従来のように、ハードキー(メニューボタン)で画面を表示し、ソフトキーでビューを呼び出すためのメニューを選択し、見たい視点にビューを調整するといった複数の操作が不要となるので、目的のビューを容易に呼び出すことができる。
【0098】
(II)付記
上述の実施形態には、例えば、以下のような内容が含まれる。
【0099】
上述の実施形態においては、本発明をビュー表示装置に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステム、装置、方法、プログラムに広く適用することができる。
【0100】
また、上述の実施形態において、プログラムの一部またはすべては、プログラムソースから、ビュー表示装置200を実現するコンピュータのような装置にインストールされてもよい。プログラムソースは、例えば、ネットワークで接続されたプログラム配布サーバまたはコンピュータが読み取り可能な記録媒体(例えば非一時的な記録媒体)であってもよい。また、上述の説明において、2以上のプログラムが1つのプログラムとして実現されてもよいし、1つのプログラムが2以上のプログラムとして実現されてもよい。
【0101】
また、上述の実施形態において、図示および説明した画面は、一例であり、受け付ける情報が同じであるならば、どのようなデザインであってもよい。
【0102】
また、上述の実施形態において、図示および説明した画面は、一例であり、提示する情報が同じであるならば、どのようなデザインであってもよい。
【0103】
また、上記の説明において、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記憶装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
【0104】
また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。
【符号の説明】
【0105】
200……ビュー表示装置、210……画像処理装置、221……モニター、222……タッチパネル。