特開 2023-6860 ビュー表示装置およびビュー表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023006860

(43)【公開日】2023-01-18

(54)【発明の名称】ビュー表示装置およびビュー表示方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230111BHJP

   B60R 1/00 20220101ALI20230111BHJP

   G06T 19/00 20110101ALI20230111BHJP

【ＦＩ】

H04N7/18 J

B60R1/00 A

G06T19/00 A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021109688

(22)【出願日】2021-06-30

(71)【出願人】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】特許業務法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】塩口 拓真

【テーマコード（参考）】

5B050

5C054

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050BA11

5B050CA07

5B050DA04

5B050DA07

5B050EA09

5B050EA19

5B050EA27

5B050FA02

5B050FA05

5B050FA09

5B050FA13

5C054CA04

5C054CC02

5C054EA01

5C054EA05

5C054FC12

5C054FD03

5C054FD07

5C054FE12

5C054FE23

5C054FF03

5C054HA30

(57)【要約】

【課題】目的のビューを容易に呼び出し得るビュー表示装置を提供する。
【解決手段】画面生成部は、特定の入力操作が検出されたことをトリガーとして、タッチスクリーンに対応付けられた複数の領域の各々に対応した表示領域を含む画面を生成し、複数の領域の各々には、予め定められた複数の視点のうちの何れかの視点が関連付けられ、ビュー生成部は、画面がタッチスクリーンに表示され、複数の領域のうちの一の領域に対するタッチ操作が検出されたことをトリガーとして、一の領域に対応する表示領域に表示するための、一の領域に関連付けられている視点からのビューを生成するようにした。
【選択図】図７

【特許請求の範囲】

【請求項1】

車両に搭載され、前記車両に係るビューをタッチスクリーンに表示するビュー表示装置であって、
前記車両の周囲を撮像する撮像部から出力される画像信号に基づいて、所定の視点からのビューを生成するビュー生成部と、
前記ビュー生成部により生成されるビューを表示するための表示領域を含む画面を生成する画面生成部と、を備え、
前記画面生成部は、特定の入力操作が検出されたことをトリガーとして、前記タッチスクリーンに対応付けられた複数の領域の各々に対応した表示領域を含む画面を生成し、
前記複数の領域の各々には、予め定められた複数の視点のうちの何れかの視点が関連付けられ、
前記ビュー生成部は、前記画面が前記タッチスクリーンに表示され、前記複数の領域のうちの一の領域に対するタッチ操作が検出されたことをトリガーとして、前記一の領域に対応する表示領域に表示するための、前記一の領域に関連付けられている視点からのビューを生成する、
ビュー表示装置。

【請求項2】

前記複数の領域の各々は、前記車両に対して予め定められた前記車両の周囲の各方面を示す領域であり、
前記複数の領域の各々には、各方面のビューを生成するための視点が関連付けられている、
請求項１に記載のビュー表示装置。

【請求項3】

前記画面生成部は、前記車両を示す車両アイコンを中央に設けた画面であって、前記車両アイコンを囲むように配置された前記車両の周囲の各方面を表す形状の表示領域を含み、各表示領域を示す境界線を設けた画面を生成し、
前記複数の領域の各々には、前記車両から各方面に向かう側の前記車両の端部をターゲットとした視点が関連付けられ、
前記ビュー生成部は、前記画面生成部により生成された画面が前記タッチスクリーンに表示され、前記複数の領域のうちの一の領域に対するタッチ操作が検出されたことをトリガーとして、前記一の領域に対応する表示領域に表示するための、前記一の領域に関連付けられている、前記車両から前記一の領域の方面に向かう側の前記車両の端部をターゲットとした視点からのビューを生成する、
請求項２に記載のビュー表示装置。

【請求項4】

前記画面生成部は、前記画面に対する所定の入力操作が検出されたことをトリガーとして、前記一の領域に対応した第１の表示領域よりも大きい第２の表示領域を含む画面を生成し、
前記ビュー生成部は、前記第２の表示領域に前記ビューを拡大して表示するために、前記ビューの視点を変更する、
請求項１に記載のビュー表示装置。

【請求項5】

前記特定の入力操作は、前記タッチスクリーンを複数の指でタッチする操作である、
請求項４に記載のビュー表示装置。

【請求項6】

前記所定の入力操作は、前記タッチスクリーンから指を離す操作である、
請求項５に記載のビュー表示装置。

【請求項7】

前記画面の全体に、前記第２の表示領域が設けられている、
請求項４に記載のビュー表示装置。

【請求項8】

車両に搭載され、前記車両に係るビューをタッチスクリーンに表示するビュー表示装置が実行するビュー表示方法であって、
前記ビュー表示装置は、
前記車両の周囲を撮像する撮像部から出力される画像信号に基づいて、所定の視点からのビューを生成するビュー生成部と、
前記ビュー生成部により生成されるビューを表示するための表示領域を含む画面を生成する画面生成部と、を備え、
前記画面生成部が、特定の入力操作が検出されたことをトリガーとして、前記タッチスクリーンに対応付けられた複数の領域の各々に対応した表示領域を含む画面を生成することと、
前記複数の領域の各々には、予め定められた複数の視点のうちの何れかの視点が関連付けられ、
前記ビュー生成部は、前記画面が前記タッチスクリーンに表示され、前記複数の領域のうちの一の領域に対するタッチ操作が検出されたことをトリガーとして、前記一の領域に対応する表示領域に表示するための、前記一の領域に関連付けられている視点からのビューを生成することと、
を含むビュー表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概して、車両の周囲を撮像する撮像部から出力される画像信号に基づいて生成される所定の視点からのビューを呼び出す技術に関する。

【背景技術】

【0002】

車両に取り付けられている複数のカメラで撮影された映像を合成した、車両周辺の立体視映像、俯瞰映像といった合成映像（ビュー）をモニターに表示する技術が知られている（特許文献１参照）。ビューによれば、投影面として３次元座標を用いることで、車両とその周辺映像とを立体的に表現することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許出願公開第２０１８／０３１５２４４号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来のビューの呼び出しにおいては、メニューが複数の階層にわたる場合、何度もタッチ、スワイプ等の操作をして、ビューを呼び出す必要がある。そして、気になる車両周辺の環境（周辺環境）をビューで確認するためには、ビューを呼び出した後に、ビューの視点を調整する操作が必要となり、この調整のために画面を注視しなければならない。ビューを利用する際の手数の多さに加え、画面の注視の必要性は、ビューの利用を億劫にし、運転開始時、駐車時、運転時等において、ビューが利用される機会が損なわれてしまう。

【0005】

本発明は、以上の点を考慮してなされたもので、目的のビューを容易に呼び出し得るビュー表示装置等を提案しようとするものである。

【課題を解決するための手段】

【0006】

かかる課題を解決するため本発明においては、車両に搭載され、前記車両に係るビューをタッチスクリーンに表示するビュー表示装置であって、前記車両の周囲を撮像する撮像部から出力される画像信号に基づいて、所定の視点からのビューを生成するビュー生成部と、前記ビュー生成部により生成されるビューを表示するための表示領域を含む画面を生成する画面生成部と、を備え、前記画面生成部は、特定の入力操作が検出されたことをトリガーとして、前記タッチスクリーンに対応付けられた複数の領域の各々に対応した表示領域を含む画面を生成し、前記複数の領域の各々には、予め定められた複数の視点のうちの何れかの視点が関連付けられ、前記ビュー生成部は、前記画面が前記タッチスクリーンに表示され、前記複数の領域のうちの一の領域に対するタッチ操作が検出されたことをトリガーとして、前記一の領域に対応する表示領域に表示するための、前記一の領域に関連付けられている視点からのビューを生成するようにした。

【0007】

上記構成では、予め定められた複数の視点のうち何れかの視点が関連付けられた領域がタッチ操作された場合、当該領域に関連付けられた視点からのビューが表示される。上記構成によれば、例えば、ユーザは、気になる周辺環境をビューで確認したいときに、規定のビューの中から、目的に近いビューを少ない手数で呼び出すことができる。

【発明の効果】

【0008】

本発明によれば、利便性の高いビュー表示装置を実現することができる。

【図面の簡単な説明】

【0009】

【図1】運転支援システムに係る全体構成の一例を示す図である。

【図2】運転支援システムに係るハードウェア構成の一例を示す図である。

【図3】ビュー表示装置の機能構成の一例を示す図である。

【図4】空間モデルの一例を示す図である。

【図5】設定領域の一例を示す図である。

【図6】ビュー呼出処理の一例を示す図である。

【図7】画面遷移の一例を示す図である。

【発明を実施するための形態】

【0010】

（Ｉ）実施形態
以下、本発明の一実施形態を詳述する。ただし、本発明は、実施形態に限定されるものではない。本実施形態のビュー表示装置は、車両の外部に設置された複数のカメラで撮影された車両周囲の画像を、ユーザにより選択された特定地点からのビューに合成してタッチスクリーンに表示する。例えば、本ビュー表示装置は、以下のステップＡ）～Ｅ）を実行する。

【0011】

Ａ）特定のタッチ操作をトリガーとして、タッチスクリーン上に複数の領域を表示するステップ
Ｂ）ユーザによるタッチスクリーン上の上記複数の領域の１つを指定するタッチ操作を検出するステップ
Ｃ）上記指定された領域に予め対応させられた特定地点からのビューを、タッチスクリーンの当該選択された領域内に表示するステップ
Ｄ）予め定められたタッチ操作がユーザによりタッチスクリーンへ行われたことを検出するステップ
Ｅ）上記予め定められたタッチ操作の検出に呼応して、上記タッチされた領域に予め対応させられた特定地点からのビューを拡大表示するステップ

【0012】

上記特定のタッチ操作は、タッチスクリーン上の任意の位置を２本の指でタッチする操作であることを特徴とする。タッチスクリーンに表示される複数の領域は、車両を中心に周囲各方面を模して配置されていることを特徴とする。上記予め定められたタッチ操作は、指をタッチスクリーンから離す操作であることを特徴とする。上記タッチされた領域に予め対応させられた特定地点からのビューを拡大表示することとは、全画面表示であることを特徴とする。

【0013】

このように、ビュー表示装置は、２本指のタッチ操作をトリガーとし、任意のタッチ座標を起点とした操作範囲の設定とタッチ操作中のタッチ座標に合わせた事前表示とを実施することを特徴とする。

【0014】

上記構成によれば、ユーザは、運転開始時、駐車時、運転時等に簡易な操作で、即座に気になる周辺環境が確認できる。また、事前表示により、ユーザは、意図により近いビューを効率的に選択できる。例えば、ユーザは、細い道を走っている場合に、対向車が来ていて、ぎりぎりまで寄せないといけないとき等、注意を高めて運転をしているときに、ビューを瞬時に呼び出して周囲環境を確認することができる。

【0015】

次に、本発明の実施形態を図面に基づいて説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は、単数でも複数でも構わない。

【0016】

なお、以下の説明では、図面において同一要素については、同じ番号を付し、説明を適宜省略する。また、同種の要素を区別しないで説明する場合には、枝番を含む参照符号のうちの共通部分（枝番を除く部分）を使用し、同種の要素を区別して説明する場合は、枝番を含む参照符号を使用することがある。例えば、カメラを特に区別しないで説明する場合には、「カメラ１０２」と記載し、個々のカメラを区別して説明する場合には、「前方カメラ１０２－１」のように記載することがある。

【0017】

本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数または順序を限定するものではない。また、構成要素の識別のための番号は、文脈毎に用いられ、１つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

【0018】

図１は、運転支援システム１００に係る全体構成の一例を示す。運転支援システム１００は、車両１０１に搭載され、車両１０１の運転を支援する。

【0019】

車両１０１の前後左右には、広範囲を観測可能な広角レンズ、魚眼レンズ等が装着されたカメラ１０２（撮像部の一例）が設けられている。これらのカメラ１０２により、車両１０１の周囲の路面を含む領域を漏れなく観測（撮影）することができる。

【0020】

例えば、運転支援システム１００は、前方カメラ１０２－１、後方カメラ１０２－２、左側方カメラ１０２－３、および右側方カメラ１０２－４を備える。

【0021】

前方カメラ１０２－１は、車両１０１の前方に向けて設けられるカメラ１０２であり、車両１０１の前方の部位であるフロントバンパ、フロントグリル等に設けられている。後方カメラ１０２－２は、車両１０１の後方に向けて設けられるカメラ１０２であり、車両１０１の後方の部位であるリアバンパ、リアガーニッシュ等に設けられている。左側方カメラ１０２－３は、車両１０１の左側方に向けて設けられるカメラ１０２であり、車両１０１の左側方の部位である左ドアミラー等に設けられている。右側方カメラ１０２－４は、車両１０１の右側方に向けて設けられるカメラ１０２であり、車両１０１の右側方の部位である右ドアミラー等に設けられている。

【0022】

運転支援システム１００は、カメラ１０２により車両１０１の周囲が撮像された画像に基づいて、所定の視点からの合成画像を生成し、生成した合成画像をドライバ等のユーザに提示する。合成画像としては、パースビュー画像（立体視画像）と、トップビュー画像（俯瞰画像）とがある。パースビュー画像は、車両１０１の真上以外の視点からの遠近法表示の画像であり、車両１０１の周囲を斜め上方または側方から見た背景画像と、車両１０１を表すアイコンとを含む画像である。トップビュー画像は、車両１０１の真上の視点からの画像であり、車両１０１の周囲を上方から見た背景画像と、車両１０１の上面の画像とを含む画像である。以下では、パースビュー画像またはその映像を「パースビュー」と記す。トップビュー画像またはその映像を「トップビュー」と記す。パースビューとトップビューとの区別を要しないときは「ビュー」と記す。

【0023】

図２は、運転支援システム１００に係るハードウェア構成の一例を示す。運転支援システム１００は、画像処理装置２１０と、ナビゲーション装置２２０と、車輪速センサ２３０と、操舵角センサ２４０とを備える。

【0024】

画像処理装置２１０は、例えば、カメラＥＣＵ（Electronic Control Unit）であり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を含むマイクロコントローラを主体として構成される。画像処理装置２１０（ビュー生成部の一例）は、車両１０１の周囲を撮像するカメラ１０２を制御するとともに、カメラ１０２から出力される画像信号に基づいて、所定の視点（例えば、後述の仮想視点４１１）からのビューを生成する。また、画像処理装置２１０（画面生成部の一例）は、生成したビューを表示するための表示領域を含む画面を生成する。なお、画像処理装置２１０の機能については、図３を用いて後述する。

【0025】

ナビゲーション装置２２０は、画像処理装置２１０で生成されたビュー、画面等を表示したり、ユーザからの入力操作を受け付けたりするタッチスクリーンの一例である。より具体的には、ナビゲーション装置２２０は、画像を表示するモニター２２１と、ユーザが入力操作するタッチパネル２２２と、を備える。モニター２２１には、画像等が表示される表示面に、タッチパネル２２２が重畳されている。タッチパネル２２２は、ユーザの入力操作を受けて、仮想カメラ情報を生成する。なお、タッチパネル２２２のタッチセンサは、タッチパネル２２２においてタッチされている座標（タッチ座標）が取得できればよく、感圧センサ、静電センサ、光センサ等、どのようなセンサであってもよい。仮想カメラ情報は、ビューを投影する所定の空間モデルに仮想的に設置された仮想カメラに関する情報である。なお、空間モデルについては、図４を用いて後述する。

【0026】

なお、入力操作が可能な操作部としては、タッチパネル２２２の他に、モニター２２１の周囲に設けられる各種の操作ボタン、ロータリーダイヤル、ジョイスティック等があってもよい。付言するならば、ナビゲーション装置２２０は、経路案内用の地図データ等を記憶し、この地図データと、図示は省略するＧＰＳ装置等により検出された車両１０１の現在の位置データとに基づいて、ユーザが設定した目標地点までの経路案内を行ってもよい。

【0027】

車輪速センサ２３０は、車両１０１の車輪速を検出するセンサである。車輪速センサ２３０で検出された検出情報（車輪速）は、車両制御ＥＣＵ２５０に入力される。操舵角センサ２４０は、車両１０１のステアリングの操舵角を検出する。操舵角センサ２４０は、車両１０１が直進状態で走行するときの操舵角を中立位置（０度）とし、その中立位置からの回転角度を操舵角として検出する。操舵角センサ２４０で検出された検出情報（操舵角）は、車両制御ＥＣＵ２５０に入力される。

【0028】

さらに、運転支援システム１００は、車両制御ＥＣＵ２５０と、ステアリング制御ユニット２６０と、スロットル制御ユニット２７０と、ブレーキ制御ユニット２８０とを備える。

【0029】

車両制御ＥＣＵ２５０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を含むマイクロコントローラを主体として構成される。車両制御ＥＣＵ２５０は、画像処理装置２１０、ナビゲーション装置２２０、車輪速センサ２３０、および操舵角センサ２４０から入力された各情報に基づいて、パワステアクチュエータ２６１、スロットルアクチュエータ２７１、およびブレーキアクチュエータ２８１を駆動制御し、車両１０１の運転を支援する各種処理を実行する。

【0030】

ステアリング制御ユニット２６０は、車両制御ＥＣＵ２５０において決定された車両制御情報に基づいて、パワステアクチュエータ２６１を駆動して、車両１０１の操舵角を制御する。スロットル制御ユニット２７０は、車両制御ＥＣＵ２５０において決定された車両制御情報に基づいて、スロットルアクチュエータ２７１を駆動して、車両１０１のスロットルを制御する。ブレーキ制御ユニット２８０は、車両制御ＥＣＵ２５０において決定された車両制御情報に基づいて、ブレーキアクチュエータ２８１を駆動して、車両１０１のブレーキを制御する。

【0031】

なお、画像処理装置２１０、ナビゲーション装置２２０、車輪速センサ２３０、および操舵角センサ２４０と、車両制御ＥＣＵ２５０との間は、センサ情報を通信するための車内ＬＡＮ（Local Area Network）２９０－１によって接続される。また、ステアリング制御ユニット２６０、スロットル制御ユニット２７０、およびブレーキ制御ユニット２８０と、車両制御ＥＣＵ２５０との間は、車両情報を通信するための車内ＬＡＮ２９０－２によって接続される。

【0032】

本実施形態では、ビューの表示に係るビュー表示装置２００については、画像処理装置２１０とナビゲーション装置２２０とを含んで構成されるケースを例に挙げて説明する。つまり、ビュー表示装置２００は、画像処理装置２１０と、タッチパネル２２２と、タッチパネル２２２が取り付けられているモニター２２１とを備え、車両１０１に搭載される。なお、ビュー表示装置２００には、カメラ１０２が含まれていてもよいし、カメラ１０２が含まれていなくてもよい。また、ビュー表示装置２００は、画像処理装置２１０を備え、モニター２２１およびタッチパネル２２２が通信可能に接続される構成であってもよい。

【0033】

図３は、ビュー表示装置２００の機能構成の一例を示す。

【0034】

画像処理装置２１０は、制御部３１０および記憶部３２０を備える。制御部３１０は、画像処理装置２１０全体を制御する。制御部３１０は、ＣＰＵ、ＦＰＧＡ、ＧＰＵ（Graphics Processing Unit）等のプログラマブルロジックデバイス、ＡＳＩＣ等の集積回路に代表される演算素子であってよい。この場合、３Ｄグラフィック画像処理を高速に行うべく、制御部３１０は、画像処理に特化したＧＰＵ、高速演算可能な演算素子（例えば、ＦＰＧＡ）等の表示制御部を備えることが好ましい。

【0035】

記憶部３２０は、座標変換処理に用いられる座標変換情報、画像処理に用いられる画像処理情報、パラメータ等の設定情報３２１を記憶する。さらに、記憶部３２０は、制御用プログラム（画像処理プログラム）を記憶してもよい。制御用プログラムが画像処理装置２１０の起動時に実行されることで、画像処理装置２１０の機能（取得部３１１、描画制御部３１２、処理部３１３、合成部３１４等）が実現される。

【0036】

取得部３１１は、タッチパネル２２２の機能である入力部３３１から仮想カメラ情報を取得する。取得部３１１は、取得した仮想カメラ情報を、描画制御部３１２に送信する。描画制御部３１２は、空間モデルの投影面の全ての頂点の座標データ、または、ビューの投影先（投影領域）を構成する投影面の頂点の座標データを記憶部３２０から取得し、ＧＰＵ設定値とともに処理部３１３に送信する。ＧＰＵ設定値には、座標変換に用いられる行列（回転行列、拡大行列、縮小行列、平行移動行列）と、描画条件（光の強さ、方向といったライトの設定、透過率設定、物体の質感）との情報とが含まれる。

【0037】

処理部３１３は、描画制御部３１２から入力された座標データに対して座標変換処理を行う。処理部３１３は、受信した行列を組み合わせて、モデル変換行列、ビュー変換行列、投影変換行列を算出して使用する。モデル変換行列は、空間モデルそのものの移動、回転、拡大縮小を担う変換行列である。ビュー変換行列は、仮想カメラの位置を原点とするように座標を変換する行列である。投影変換行列は、遠近感を出す変換行列である。処理部３１３は、これらの行列に各頂点の座標データを掛け合せることで、座標変換を行う。なお、座標データと、座標変換情報（変換式を含む）とは、テーブル等によって対応付けられている。

【0038】

合成部３１４は、処理部３１３で座標変換された座標データと、カメラ１０２からの画像信号（撮像画像）を取得し、これらに基づいてモニター２２１に表示するためのビューを合成する。合成部３１４は、ビューの合成を行う際には、例えば、テクスチャマッピング等の公知の手法を用いることができる。合成部３１４は、合成したビューを表示するための表示領域を、タッチパネル２２２に対する入力操作（タッチ操作、タッチ座標、スライド操作のスライド方面等）に応じて設定した画面を表示させるための表示制御信号をナビゲーション装置２２０に送信する。ナビゲーション装置２２０の出力部３３２は、画像処理装置２１０からの表示制御信号に基づき、モニター２２１に画面（ビュー）を表示する。

【0039】

図４は、パースビューを生成するための空間モデルの一例（空間モデル４００）を示す。

【0040】

空間モデル４００は、車両１０１を示す車両モデル４０１を中心に半球状に延在する半球型（お椀形状）の投影面４１０を備える。投影面４１０では、半球の中心を天頂とし、天頂を通る鉛直方向をＹ軸とし、Ｙ軸に直交する１つの軸をＸ軸とし、Ｘ軸およびＹ軸に直交する軸をＺ軸としている。

【0041】

空間モデル４００には、仮想的に設置される仮想カメラを、投影面４１０の３次元空間の任意の位置に設定できる。ユーザは、タッチパネル２２２を操作することで、モニター２２１にパースビューを表示する際の所望の仮想カメラの位置と、所望の視線方向（表示方向）とを設定できる。例えば、タッチパネル２２２を上下左右方向に操作（タッチ、スライド、ドラッグ、スワイプ、フリック等）したり、ロータリーダイヤル等を操作したりすることで、仮想カメラの位置を指定したり、所望の視線方向を選択したりできる。ユーザによる操作をタッチパネル２２２が検出し、タッチパネル２２２は、仮想カメラ情報を生成して取得部３１１に送信する。

【0042】

仮想カメラ情報としては、仮想カメラの空間モデル４００上での位置（ｘ，ｙ，ｚ）、仮想カメラの視線方向、仮想カメラの視野角等が含まれる。視線方向は、カメラ１０２の位置および角度（ロール角、ピッチ角、ヨー角）から算出された方角のベクトル、または仮想カメラの位置と仮想カメラの注視点とから求められるベクトルとして設定される。なお、角度および注視点は、タッチパネル２２２の操作方向および操作量から求められる。仮想カメラの注視点とは、ユーザが見たい場所を示す座標である。

【0043】

ここで、運転開始時、駐車時、運転時等においては、簡易な操作で、気になる周辺環境が即座に確認できることが求められる。ビュー表示装置２００では、予め設定された仮想視点４１１が設けられ、一度のタッチ操作において、所望の仮想視点４１１に切り替えることで、気になる周辺環境を確認できる。

【0044】

仮想視点４１１は、仮想カメラにより撮像される画像を設定可能な情報であり、仮想カメラの位置（ｘ，ｙ，ｚ）と、仮想カメラの視線方向との情報を含む。なお、仮想カメラの視野角については、使用するカメラ１０２によって予め決まっているので、別途に規定されていてもよいが、仮想視点４１１に含まれていてもよい。

【0045】

なお、トップビューについては、空間モデルが板形状の投影面である点が主に異なるが、パースビューと基本的に同じであるので、その説明を省略する。

【0046】

図５は、仮想視点４１１をユーザが設定（選択）するためのタッチパネル２２２に対応付けられる領域（設定領域５００）の一例を示す。設定領域５００は、仮想視点４１１を設定するためのタッチ操作を検出可能な領域である。

【0047】

モニター２２１に重畳して設けられているタッチパネル２２２には、モニター２２１に設定画面５１０が表示された際、設定画面５１０に重畳して、予め定められた複数の設定領域５００がタッチパネル２２２に対応付けられる。複数の設定領域５００の各々には、予め定められた１つの仮想視点４１１が関連付けられている。なお、設定画面５１０には、複数の設定領域５００の各々に対して、設定領域５００に関連付けられている仮想視点４１１からのビューを表示するための表示領域が設けられている。設定領域５００においてタッチ操作が検出されているときには、当該設定領域５００に対応する表示領域に、当該設定領域５００に関連付けられている仮想視点４１１からのビューが表示される。

【0048】

本実施形態では、設定領域５００として、設定領域５００－１～設定領域５００－６が定められている。設定領域５００－１は、車両１０１の前方の部位を仮想カメラのターゲットとしたビュー（前方ビュー）を生成可能な仮想視点４１１－１を設定するための領域である。例えば、設定領域５００－１においてタッチ操作が検出されているときには、設定領域５００－１に対応する表示領域に前方ビューが表示される。設定領域５００－２は、車両１０１の右前方の部位を仮想カメラのターゲットとしたビュー（右前方ビュー）を生成可能な仮想視点４１１－２を設定するための領域である。設定領域５００－３は、車両１０１の右後方の部位を仮想カメラのターゲットとしたビュー（右後方ビュー）を生成可能な仮想視点４１１－３を設定するための領域である。設定領域５００－４は、車両１０１の後方の部位を仮想カメラのターゲットとしたビュー（後方ビュー）を生成可能な仮想視点４１１－４を設定するための領域である。設定領域５００－５は、車両１０１の左後方の部位を仮想カメラのターゲットとしたビュー（左後方ビュー）を生成可能な仮想視点４１１－５を設定するための領域である。設定領域５００－６は、車両１０１の左前方の部位を仮想カメラのターゲットとしたビュー（左前方ビュー）を生成可能な仮想視点４１１－６を設定するための領域である。

【0049】

図５では、設定画面５１０に対して６つの領域が対応付けられる場合を例に挙げて説明したが、ビューが見えるレベルの分割数（２つ、３つ、４つ、５つ、７つ、８つ、・・・等）を適宜に採用できる。

【0050】

このように、画像処理装置２１０は、複数の設定領域５００の各々を、車両１０１に対して予め定められた車両１０１の周囲の各方面に対応してタッチパネル２２２に対応付ける。複数の設定領域５００の各々には、各方面のビューを生成するための仮想視点４１１が関連付けられている。上記構成によれば、例えば、ユーザは、所望の方面にスライド操作することで、その方面のビューを呼び出すことができるので、目的に近いビューを容易に呼び出すことができる。

【0051】

図６は、ビュー呼出処理の一例を示す。ビュー呼出処理は、運転支援システム１００における所定の機能を利用するために所定の画面を表示する操作が受け付けられたことを契機に開始する。所定の画面は、地図画面、道路案内画面、オーディオ画面、メニュー画面等、任意の画面でよい。

【0052】

Ｓ６０１では、ナビゲーション装置２２０は、所定の画面をモニター２２１に表示する。

【0053】

Ｓ６０２では、画像処理装置２１０は、第１の操作がタッチパネル２２２において検出されたか否かを判定する。画像処理装置２１０は、第１の操作が検出されたと判定した場合、Ｓ６０３に処理を移し、第１の操作が検出されなかったと判定した場合、Ｓ６０２に処理を移す。

【0054】

第１の操作は、タッチパネル２２２に対する特定の入力操作である。第１の操作は、タッチパネル２２２を複数の指で触れる操作、タッチパネル２２２を押し込む操作、タッチパネル２２２を長押しする操作等である。

【0055】

Ｓ６０３では、画像処理装置２１０は、ビューを設定するための設定画面５１０であって、複数の設定領域５００の各々に対応した表示領域を含む設定画面５１０を表示するための表示制御信号を生成してナビゲーション装置２２０に送信する。ナビゲーション装置２２０は、受信した表示制御信号に基づいて、設定画面５１０を表示する。設定画面５１０には、車両１０１を示す車両アイコンと、当該車両アイコンの周りに表示領域を示す境界線とが設けられていてもよい。

【0056】

また、画像処理装置２１０は、タッチパネル２２２に対する第１の操作が検出されたことをトリガーとして、予め定められた仮想視点４１１のうちの何れかの仮想視点４１１が関連付けられた設定領域５００を複数、タッチパネル２２２に対応付ける。なお、仮想視点４１１と設定領域５００との対応付けは、テーブル等の情報によって実現されてもよいし、分岐処理等としてプログラムソースに記述（コーディング）されていて当該分岐処理等によって実現されてもよい。

【0057】

Ｓ６０４では、画像処理装置２１０は、タッチ座標が設定領域５００内であるか否かを判定する。画像処理装置２１０は、タッチ座標が設定領域５００内であると判定した場合、Ｓ６０５に処理を移し、タッチ座標が設定領域５００内でないと判定した場合、Ｓ６０６に処理を移す。

【0058】

Ｓ６０５では、画像処理装置２１０は、タッチ座標に対応する設定領域５００に関連付けられている仮想視点４１１からのビューを、当該設定領域５００に対応する表示領域に表示するための表示制御信号を生成してナビゲーション装置２２０に送信する。ナビゲーション装置２２０は、受信した表示制御信号に基づいて、当該設定領域５００に対応する表示領域に、当該設定領域５００に関連付けられている仮想視点４１１からのビューを表示する。

【0059】

このように、画像処理装置２１０は、生成した設定画面５１０がモニター２２１に表示され、複数の設定領域５００のうちの一の設定領域５００に対するタッチ操作が検出されたことをトリガーとして、当該一の設定領域５００に対応する表示領域に表示するための、当該一の設定領域５００に関連付けられている仮想視点４１１からのビューを生成する。上記構成によれば、例えば、ユーザは、気になる周辺環境をビューで確認したいときに、規定のビューの中から、目的に近いビューを少ない手数で呼び出すことができる。

【0060】

Ｓ６０６では、画像処理装置２１０は、全ての表示領域のビューをクリアするようにナビゲーション装置２２０に指示する。

【0061】

Ｓ６０７では、画像処理装置２１０は、第２の操作がタッチパネル２２２等において検出されたか否かを判定する。画像処理装置２１０は、第２の操作が検出されたと判定した場合、Ｓ６０８に処理を移し、第２の操作が検出されなかったと判定した場合、Ｓ６０４に処理を移す。

【0062】

第２の操作は、設定画面５１０に対する所定の入力操作である。第２の操作は、例えば、第１の操作を確定する操作であり、タッチパネル２２２から指を離す操作、ロータリーダイヤルを回してＯＮ／ＯＦＦを切り替える操作等である。

【0063】

Ｓ６０８では、画像処理装置２１０は、第２の操作が検出された直前のタッチ座標が設定領域５００内であるか否かを判定する。画像処理装置２１０は、タッチ座標が設定領域５００内であると判定した場合、Ｓ６０９に処理を移し、タッチ座標が設定領域５００内でないと判定した場合、ビュー呼出処理を終了する。

【0064】

Ｓ６０９では、画像処理装置２１０は、第２の操作が検出された直前のタッチ座標が設定領域５００に関連付けられている仮想視点４１１からのビューを拡大して表示するための表示制御信号を生成してナビゲーション装置２２０に送信する。ナビゲーション装置２２０は、当該ビューを、モニター２２１に拡大表示する。なお、当該ビューが表示された後は、ユーザは、仮想カメラの位置を指定したり、所望の視線方向を選択したりできる。

【0065】

このように、画像処理装置２１０は、設定画面５１０に対する第２の操作が検出されたことをトリガーとして、ユーザにより選択された設定領域５００に対応した第１の表示領域よりも大きい第２の表示領域を含む画面（後述の画面７６０、画面７７０等）を生成する。画像処理装置２１０は、当該第２の表示領域に第１の表示領域に表示しているビューを拡大して表示するために、当該ビューの視点を変更する。上記構成によれば、第２の操作が行われると、第１の表示領域に表示されていたビューが、第２の表示領域において拡大して表示されるので、例えば、ユーザは、気になる周辺環境を詳細に確認することができる。

【0066】

また、第２の表示領域は、画面全体に設けられていてもよい。上記構成によれば、第２の操作が行われると、第１の表示領域に表示されていたビューが、全画面に拡大して表示されるので、例えば、ユーザは、気になる周辺環境をより詳細に確認することができる。

【0067】

図７は、ビューの呼出しにおける画面遷移の一例を示す。

【0068】

画面７１０は、所定の画面の一例であり、本例では地図画面を示す。画面７１０において、２本の指７０１でタッチ操作（第１の操作）が行われることで、画面７１０から画面７２０に画面が遷移する。

【0069】

このように、第１の操作は、タッチパネル２２２を複数の指でタッチする操作であってもよい。上記構成では、タッチパネル２２２を複数の指でタッチすることで第１の操作が行われるので、例えば、ユーザは、ロータリーダイヤル等の入力装置を探すためにモニター２２１から視線をそらすことがなく、より安全な運転を実現することができる。

【0070】

画面７２０は、設定画面５１０の一例である。画面７２０では、画面７２０の中央に車両アイコン７２１と、当該車両アイコン７２１の周りに表示領域７２２を示す境界線７２３とが表示される。例えば、スライド操作が前方ビューの表示領域７２２－１（設定領域５００－１）に達すると、画面７２０から画面７３０に画面が遷移する。

【0071】

画面７３０は、設定画面５１０の一例である。画面７３０は、スライド操作によりタッチ座標が前方ビューの表示領域７２２－１に位置したときの画面である。タッチ座標が表示領域７２２－１内にあるときは、表示領域７２２－１に関連付けられている仮想視点４１１－１からの前方ビューが表示領域７２２－１に表示される。

【0072】

また、スライド操作が、左前方ビューの表示領域７２２－６（設定領域５００－６）を経由して左後方ビューの表示領域７２２－５（設定領域５００－５）に達すると、画面７３０から画面７４０に画面が遷移する。画面７４０は、設定画面５１０の一例である。画面７４０では、タッチ座標が表示領域７２２－５内にあるときは、表示領域７２２－５に関連付けられている仮想視点４１１－５からの左後方ビューが表示領域７２２－５に表示される。

【0073】

このように、車両アイコン７２１の各方面に対応する表示領域７２２において事前表示を行うことで、ユーザは、最終表示が意図している表示であるかを早期に確認することができる。また、ユーザは、スライド操作により事前表示を切り替えることができるので、周囲の障害物の有無を迅速に確認できる。

【0074】

他方、画面７３０において、２本の指がタッチパネル２２２から離れると（第２の操作が検出されると）、画面７３０から画面７５０に画面が遷移した後、画面７５０から画面７６０に画面が遷移する。画面７５０では、前方部分が拡大された前方ビューが表示される。例えば、画面７５０では、表示領域７２２－１において表示される前方ビューで用いられる仮想視点４１１－１の座標よりも、車両モデル４０１に近づいた座標の仮想視点４１１－９、仮想視点４１１－８、仮想視点４１１－７等からの前方ビューの一部（前方部分）が表示される。画面７６０では、当該前方ビューの全体が画面全体に表示される。

【0075】

上述したように、第２の操作は、タッチパネル２２２から指を離す操作であってもよい。上記構成によれば、例えば、ユーザは、第１の操作から第２の操作まで、タッチパネル２２２から指を離すことなく一連のタッチ操作により目的に近いビューを呼び出すことができる。

【0076】

このように、画像処理装置２１０は、車両１０１を示す車両アイコン７２１を中央に設けた設定画面５１０であって、車両アイコン７２１を囲むように配置された車両１０１の周囲の各方面を表す形状の表示領域７２２を含み、各表示領域７２２を示す境界線７２３を設けた設定画面５１０を生成する。また、複数の設定領域５００の各々には、車両１０１から各方面に向かう側の車両１０１の端部をターゲットとした仮想視点４１１が関連付けられている。そして、画像処理装置２１０は、複数の設定領域５００のうちの一の設定領域５００（選択領域）に対するタッチ操作が検出されたことをトリガーとして、ビューを生成する。このビューは、選択領域に対応する表示領域７２２に表示するための、選択領域に関連付けられている、車両１０１から選択領域の方面に向かう側の車両１０１の端部をターゲットとした仮想視点４１１からのビューである。上記構成では、車両アイコン７２１と、表示領域７２２を示す境界線７２３とが表示されるので、例えば、ユーザは、確認したい方面の表示領域７２２に対してタッチ操作することで、当該方面の車両１０１の端部をターゲットとしたビューを容易に呼び出すことができる。

【0077】

本実施形態によれば、従来のように、ハードキー（メニューボタン）で画面を表示し、ソフトキーでビューを呼び出すためのメニューを選択し、見たい視点にビューを調整するといった複数の操作が不要となるので、目的のビューを容易に呼び出すことができる。

【0078】

（ＩＩ）付記
上述の実施形態には、例えば、以下のような内容が含まれる。

【0079】

上述の実施形態においては、本発明をビュー表示装置に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステム、装置、方法、プログラムに広く適用することができる。

【0080】

また、上述の実施形態において、プログラムの一部またはすべては、プログラムソースから、ビュー表示装置２００を実現するコンピュータのような装置にインストールされてもよい。プログラムソースは、例えば、ネットワークで接続されたプログラム配布サーバまたはコンピュータが読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。また、上述の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

【0081】

また、上述の実施形態において、図示および説明した画面は、一例であり、受け付ける情報が同じであるならば、どのようなデザインであってもよい。

【0082】

また、上述の実施形態において、図示および説明した画面は、一例であり、提示する情報が同じであるならば、どのようなデザインであってもよい。

【0083】

また、上記の説明において、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0084】

また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。

【符号の説明】

【0085】

２００……ビュー表示装置、２１０……画像処理装置、２２１……モニター、２２２……タッチパネル。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】