特開 2024-124176 車両用表示装置および画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024124176

(43)【公開日】2024-09-12

(54)【発明の名称】車両用表示装置および画像表示方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240905BHJP

   B60R 99/00 20090101ALI20240905BHJP

【ＦＩ】

H04N7/18 J

B60R99/00 330

B60R99/00 353

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023032169

(22)【出願日】2023-03-02

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(71)【出願人】

【識別番号】519373914

【氏名又は名称】株式会社Ｊ－ＱｕＡＤ ＤＹＮＡＭＩＣＳ

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】杉江 哲

(72)【発明者】

【氏名】岡田 直之

(72)【発明者】

【氏名】小原 賢治

(72)【発明者】

【氏名】古瀬 英昭

(72)【発明者】

【氏名】山本 祐来

【テーマコード（参考）】

5C054

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FD03

5C054FD07

5C054FE17

5C054HA30

(57)【要約】

【課題】仮想視点の移動操作を容易にすると共に、車両周辺の様子を把握しやすい車両用表示装置および画像表示方法を提供する。
【解決手段】車両１０の周辺を撮影する複数のカメラ１１０と、複数の撮影画像を結合して結合画像とする結合部１４１と、結合画像の中心領域に車両モデル１０ａを配置して、車両の外部あるいは内部に設定した仮想視点ＶＰ１、ＶＰ２から見た仮想視点画像ＣＰを生成する仮想視点画像生成部１４２と、仮想視点画像を表示する表示部１２０と、を備える車両用表示装置であって、仮想視点にかかる設定条件の変更のための入力を受け付けるタッチパネル１３０と、タッチ操作による指の移動量および移動後の位置に応じて、仮想視点を、車両の外部あるいは内部に設定可能とすると共に、車両の外部と内部との間で移動可能として、仮想視点画像を調整する画像調整部１４３と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両（１０）の周囲に複数設けられ、前記車両の周辺を撮影する撮影部（１１０）と、
前記撮影部で撮影された複数の画像を結合して、結合画像とする結合部（１４１）と、
前記結合画像の中心領域に前記車両のモデル（１０ａ）を配置して、車両外部（１１ａ）あるいは車両内部（１１ｂ）に設定した仮想視点（ＶＰ１、ＶＰ２）から見た仮想視点画像（ＣＰ）を生成する仮想視点画像生成部（１４２）と、
前記仮想視点画像を表示する表示部（１２０）と、を備える車両用表示装置であって、
前記表示部における前記仮想視点画像に対するユーザの指によるタッチ操作により、前記仮想視点にかかる設定条件の変更のための入力を受け付けるタッチパネル（１３０）と、
前記タッチ操作による前記指の移動量および移動後の位置に応じて、前記仮想視点を、前記車両外部あるいは前記車両内部に設定可能とすると共に、前記車両外部と前記車両内部との間で移動可能として、前記仮想視点画像を調整する画像調整部（１４３）と、を備える車両用表示装置。

【請求項2】

前記画像調整部は、前記仮想視点が、前記車両の外壁（１１）に対して所定距離以下となる近傍にあり、前記仮想視点画像に前記外壁が表示される場合に、前記外壁が前記仮想視点画像からフレームアウトするように前記仮想視点の位置を変更する請求項１に記載の車両用表示装置。

【請求項3】

前記画像調整部は、前記仮想視点の位置を変更するにあたって、前記仮想視点の変更方向を、前記車両外部側あるいは前記車両内部側のうち、前記外壁が前記仮想視点画像からフレームアウトするまでの視点移動距離が短くなる側に移動させる請求項２に記載の車両用表示装置。

【請求項4】

車両（１０）の周囲に複数設けられた撮影部（１１０）によって、前記車両の周辺を撮影する撮影工程と、
前記撮影部で撮影された複数の画像を結合して、結合画像とする結合工程と、
前記結合画像の中心領域に前記車両のモデル（１０ａ）を配置して、車両外部（１１ａ）あるいは車両内部（１１ｂ）に設定した仮想視点（ＶＰ１、ＶＰ２）から見た仮想視点画像（ＣＰ）を生成する仮想視点画像生成工程と、を備え、
前記仮想視点画像を表示部（１２０）に表示する画像表示方法であって、
前記表示部における前記仮想視点画像に対するユーザの指を用いたタッチパネル（１３０）上でのタッチ操作による前記指の移動量および移動後の位置に応じて、前記仮想視点を、前記車両外部あるいは前記車両内部に設定可能とすると共に、前記車両外部と前記車両内部との間で移動可能として、前記仮想視点画像を調整する画像調整工程を備える画像表示方法。

【請求項5】

前記画像調整工程において、前記仮想視点が、前記車両の外壁（１１）に対して所定距離以下となる近傍にあり、前記仮想視点画像に前記外壁が表示される場合に、前記外壁が前記仮想視点画像からフレームアウトするように前記仮想視点の位置を変更する請求項４に記載の画像表示方法。

【請求項6】

前記画像調整工程において、前記仮想視点の位置を変更するにあたって、前記仮想視点の変更方向を、前記車両外部側あるいは前記車両内部側のうち、前記外壁が前記仮想視点画像からフレームアウトするまでの視点移動距離が短くなる側に移動させる請求項５に記載の画像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両用表示装置および画像表示方法に関するものである。

【背景技術】

【0002】

車両用表示装置として、例えば、特許文献１に記載されたものが知られている。特許文献１の車両用表示装置（画像生成装置）では、表示制御部は、車両の外周に設けられた複数のカメラによって取得された車両周辺の複数の撮影画像を、車両の周辺領域に相当する投影面に投影して周辺画像として形成する。そして、表示制御部は、車外あるいは車内に仮想視点を設定し、仮想視点からの視線方向に応じた車両画像（車両の外観像、あるいは車両の内装像）を周辺画像の中心に合成して仮想視点画像を生成し、表示装置に表示するようになっている。

【0003】

仮想視点画像の表示形態としては、俯瞰モード、周回モード、および手動モードが設けられている。俯瞰モードは、車外の任意の位置に仮想視点を設け、視線方向を車両の中心側に向けたモードとなっている。また、周回モードは、車内のドライバ位置に仮想視点を設け、視線方向が車両の周囲を周回するように連続的に変更されるモードとなっている。また、手動モードは、車内のドライバ位置に仮想視点を設け、表示装置における仮想視点画像に対するユーザのタッチ操作（フリック操作）により、ドライバ位置の仮想視点から任意の視線方向の仮想視点画像が表示されるモードとなっている。

【0004】

そして、上記の各表示モードは、ステアリングに設けられた操作ボタンの押下操作（長押し、１回押し、２回押し等）によって、切替えが可能となっている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第６３７０８３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１では、操作ボタンの押下操作によって、仮想視点の位置（各表示モード）を切替え設定する必要があり、表示切替えのための操作の手間を要する。

【0007】

また、各表示モードは、車外に仮想視点を設けた場合、あるいは車内に仮想視点を設けた場合が、それぞれ、単発的に切替え表示されるだけであるので、車両に対する周辺の様子を詳細に把握することが難しい場合がある。

【0008】

本開示の目的は、仮想視点の移動操作を容易にすると共に、車両周辺の様子を把握しやすい車両用表示装置および画像表示方法を提供することにある。

【課題を解決するための手段】

【0009】

本開示は上記目的を達成するために、以下の技術的手段を採用する。

【0010】

第１の開示では、車両（１０）の周囲に複数設けられ、車両の周辺を撮影する撮影部（１１０）と、
撮影部で撮影された複数の画像を結合して、結合画像とする結合部（１４１）と、
結合画像の中心領域に車両のモデル（１０ａ）を配置して、車両外部（１１ａ）あるいは車両内部（１１ｂ）に設定した仮想視点（ＶＰ１、ＶＰ２）から見た仮想視点画像（ＣＰ）を生成する仮想視点画像生成部（１４２）と、
仮想視点画像を表示する表示部（１２０）と、を備える車両用表示装置であって、
表示部における仮想視点画像に対するユーザの指によるタッチ操作により、仮想視点にかかる設定条件の変更のための入力を受け付けるタッチパネル（１３０）と、
タッチ操作による指の移動量および移動後の位置に応じて、仮想視点を、車両外部あるいは車両内部に設定可能とすると共に、車両外部と車両内部との間で移動可能として、仮想視点画像を調整する画像調整部（１４３）と、を備える。

【0011】

第１の開示によれば、画像調整部は、タッチ操作による指の移動量および移動後の位置に応じて、仮想視点を、車両外部に設けた場合、あるいは車両内部に設けた場合の設定を可能とすると共に、車両外部と車両内部との間で移動可能として、仮想視点画像を調整する。よって、仮想視点の位置を車両外部と車両内部とで切替えるための切替え入力部（操作ボタン）等の設定を不要として、仮想視点の移動操作を容易に行うことができる。更に、仮想視点の位置を車両外部と車両内部との間で移動させることができるので、ユーザは、車両周辺の様子をより把握しやすくなる。

【0012】

第２の開示では、車両（１０）の周囲に複数設けられた撮影部（１１０）によって、車両の周辺を撮影する撮影工程と、
撮影部で撮影された複数の画像を結合して、結合画像とする結合工程と、
結合画像の中心領域に車両のモデル（１０ａ）を配置して、車両外部（１１ａ）あるいは車両内部（１１ｂ）に設定した仮想視点（ＶＰ１、ＶＰ２）から見た仮想視点画像（ＣＰ）を生成する仮想視点画像生成工程（１４２）と、を備え、
仮想視点画像を表示部（１２０）に表示する画像表示方法であって、
表示部における仮想視点画像に対するユーザの指を用いたタッチパネル（１３０）上でのタッチ操作による指の移動量および移動後の位置に応じて、仮想視点を、車両外部あるいは車両内部に設定可能とすると共に、車両外部と車両内部との間で移動可能として、仮想視点画像を調整する画像調整工程を備える。

【0013】

第２の開示の技術的意義は、上記第１の開示と本質的に同じであり、第１の開示と同様の作用効果を得ることができる。

【0014】

尚、上記各手段の括弧内の符号は、後述する実施形態記載の具体的手段との対応関係を示すものである。

【図面の簡単な説明】

【0015】

【図1】車両用表示装置の全体構成を示す説明図である。

【図2】車両に装着される複数のカメラと、カメラによる撮影範囲を示す説明図である。

【図3】仮想視点画像の生成要領を示す説明図である。

【図4】車両外部、および車両内部に仮想視点を設けた場合の仮想視点画像の例を示す説明図である。

【図5】仮想視点の設定位置を示す説明図である。

【図6】車両の外壁を表示させないための仮想視点の移動方向を示す説明図である。

【図7】表示制御部が行う表示制御の内容を示すフローチャートである。

【発明を実施するための形態】

【0016】

以下に、図面を参照しながら本開示を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。

【0017】

（第１実施形態）
第１実施形態の車両用表示装置１００を、図１～図７に示す。車両用表示装置１００は、車両１０に搭載されており、車両１０の周囲に複数設けられてたカメラ１１０による撮影画像を基に、車両外部１１ａ、あるいは車両内部１１ｂ（図６）に仮想視点ＶＰ１、ＶＰ２を設けた場合の仮想視点画像ＣＰを表示部１２０に表示するようになっている。車両用表示装置１００は、図１に示すように、カメラ１１０、表示部１２０、タッチパネル１３０、および表示制御部１４０等を備えている。

【0018】

カメラ１１０は、本開示の撮影部に対応し、車両１０の外部周囲に複数設けられている。複数のカメラ１１０は、それぞれ、レンズと撮像素子とを有しており、車両１０の周辺を撮影するようになっている。つまり、カメラ１１０は、車両１０の周辺を示す撮影画像を取得する。カメラ１１０は、例えば、図２に示すように、車両１０の前端部中央に設けられたフロントカメラ１１０Ｆ、左側サイドミラーに設けられた左サイドカメラ１１０Ｌ、右側サイドミラーに設けられた右サイドカメラ１１０Ｒ、および車両１０の後端部中央に設けられたリアカメラ１１０Ｂとなっている。カメラ１１０による車両１０の周辺の撮影は、本開示の撮影工程に対応する。

【0019】

フロントカメラ１１０Ｆの光軸は、車両１０の前後方向に沿って前方に向けられている。また、左サイドカメラ１１０Ｌの光軸は、車両１０の左右方向に沿って左側方に向けられている。また、右サイドカメラ１１０Ｒの光軸は、車両１０の左右方向に沿って右側方に向けられている。また、リアカメラ１１０Ｂの光軸は、車両１０の前後方向に沿って後方に向けられている。

【0020】

カメラ１１０のレンズには、例えば、魚眼レンズなどの広角レンズが採用されており、カメラ１１０は、１８０度以上の画角θを有している。このため、４つのカメラ１１０Ｆ、１１０Ｌ、１１０Ｒ、１１０Ｂを利用することで、車両１０の全周囲を撮影することが可能となっている。

【0021】

カメラ１１０によって取得された撮影画像のデータは、表示制御部１４０の結合部１４１に出力されるようになっている。

【0022】

表示部１２０は、車両１０のインストルメントパネルの例えば、車両１０の左右方向の中央部に、表示面１２１が立ち姿勢となるように配置されている。表示部１２０としては、例えば、液晶ディスプレイや有機ＥＬディスプレイ等が使用されている。表示部１２０は、ユーザ（運転者）に対して、後述する仮想視点画像ＣＰ（図４）を表示する。表示部１２０における仮想視点画像ＣＰの表示状態は、後述する表示制御部１４０によって制御されるようになっている。

【0023】

タッチパネル１３０は、表示部１２０の表示面１２１の全体に渡って設けられており、ユーザの指によるタッチ操作時の指の近接状態に伴って変化する静電容量に基づいて、後述する仮想視点ＶＰ１、ＶＰ２（図３）にかかる設定条件変更のためのタッチ入力を受け付けるようになっている。

【0024】

タッチパネル１３０に対するユーザのタッチ操作による入力内容として、例えば、以下のような３種類のパターンが予め設定されている。１つ目のタッチ操作は、例えば、１本の指（人差し指）を用いたスワイプ操作（スライド操作）によって、仮想視点ＶＰ１、ＶＰ２の視線方向を回転させる操作である。回転操作とは、仮想視点ＶＰ１、ＶＰ２からの視線方向を例えば、横方向から斜め方向に変更するといったものである。２つ目のタッチ操作は、例えば、２本の指（人差し指と中指）を用いたスワイプ操作によって、仮想視点ＶＰ１、ＶＰ２の位置を移動させる操作である。３つ目のタッチ操作は、例えば、２本の指（親指と人差し指）を用いたピンチアウト操作、ピンチイン操作によって、仮想視点画像ＣＰを部分的に拡大、あるいは縮小させる操作である。

【0025】

タッチパネル１３０でのタッチ操作による入力信号は、後述する画像調整部１４３に出力されるようになっている。

【0026】

表示制御部１４０は、表示部１２０における仮想視点画像ＣＰの表示状態を制御する部位となっており、結合部１４１、仮想視点画像生成部１４２、および画像調整部１４３等を有している。

【0027】

結合部１４１は、カメラ１１０で撮影された複数の撮影画像を車両１０の周囲の位置に対応するように結合して、結合画像とする部位となっている。結合部１４１は、図３に示すように、カメラ１１０から得た複数の撮影画像を、仮想的な三次元空間における立体的な曲面である投影面ＴＳに投影する。撮影画像に含まれるデータの位置と、この投影面ＴＳの位置とは予め対応関係が定められている。

【0028】

投影面ＴＳは、例えば、略半球状（お椀形状）をしており、その中心領域（お椀の底部分）は車両１０の位置となる車両領域Ｒ０として定められている。また、投影面ＴＳにおける車両領域Ｒ０の外側の領域は、投影領域Ｒ１として定められており、投影領域Ｒ１は、車両１０の周辺の領域に相当する。

【0029】

結合部１４１は、上記の結合画像を仮想視点画像生成部１４２に出力する。

【0030】

仮想視点画像生成部１４２は、結合部１４１による結合画像を基に、仮想視点画像ＣＰを生成する部位となっている。

【0031】

即ち、仮想視点画像生成部１４２は、結合画像の中心領域（車両領域Ｒ０）に、車両１０の三次元形状を示すポリゴンのモデルである車両モデル１０ａを配置する。そして、仮想視点画像生成部１４２は、車両外部１１ａ（図６）、あるいは車両内部１１ｂ（図６）の三次元空間内に仮想視点ＶＰ１、ＶＰ２を設定するようになっている。仮想視点ＶＰ１は、車両外部１１ａに設定される視点であり、仮想視点ＶＰ２は、車両内部１１ｂに設定される視点である。

【0032】

各仮想視点ＶＰ１、ＶＰ２は、視点位置と視線方向とで規定される。仮想視点画像生成部１４２は、任意の視点位置、かつ、任意の視線方向の仮想視点ＶＰ１、ＶＰ２を三次元空間に設定できるようになっている。

【0033】

そして、仮想視点画像生成部１４２は、投影面ＴＳのうち、設定した仮想視点ＶＰ１、ＶＰ２からみて所定の視野角に含まれる領域に投影されたデータを画像として切り出す。また、仮想視点画像生成部１４２は、設定した仮想視点ＶＰ１、ＶＰ２に応じて車両モデル１０ａに関してレンダリングを行い、その結果となる二次元の車両像を、切り出した画像に対して重畳する。これにより、仮想視点画像生成部１４２は、仮想視点ＶＰ１、ＶＰ２から見た車両１０、および車両１０の周辺の領域を示す仮想視点画像ＣＰを生成するようになっている。

【0034】

仮想視点画像生成部１４２は、例えば、仮想視点ＶＰ１の位置を車両外部１１ａにおいて車両１０の左後方、右後方、あるいは後方とした場合には、図４（ａ）、（ｃ）、（ｄ）に示すような仮想視点画像ＣＰを生成するようになっている。車両外部１１ａに仮想視点ＶＰ１が設定された場合であると、仮想視点画像ＣＰは、仮想視点ＶＰ１から車両１０を俯瞰して見た場合の車両像（車両外観像２０ａ）と、車両１０の周囲（駐車用の区画線２１や障害物２２等）とが形成された画像となる。

【0035】

また、仮想視点画像生成部１４２は、例えば、仮想視点ＶＰ２の位置を車両内部１１ｂにおいて運転席とした場合には、図４（ｂ）に示すような仮想視点画像ＣＰを生成するようになっている。車両内部１１ｂに仮想視点ＶＰ２が設定された場合であると、仮想視点画像ＣＰは、仮想視点ＶＰ２から見た場合の車両像（車両内装像２０ｂ）と、車両１０の周囲（駐車用の区画線２１や障害物２２等）とが形成された画像となる。この場合、周囲の画像（区画線２１、障害物２２等）は、車両内装像２０ｂに対して、透過して視認されるように形成される。

【0036】

画像調整部１４３は、タッチパネル１３０におけるタッチ操作による指の移動量および移動後の位置に応じて、仮想視点ＶＰ１、ＶＰ２を、車両外部１１ａ、あるいは車両内部１１ｂに設定可能とすると共に、車両外部１１ａと車両内部１１ｂとの間で移動可能として、仮想視点画像生成部１４２における仮想視点画像ＣＰを調整する部位となっている。

【0037】

画像調整部１４３は、タッチパネル１３０でのタッチ操作の入力信号に基づいて、仮想視点ＶＰ１、ＶＰ２の位置と視線方向を任意に設定可能とする。例えば、図５に示すように、画像調整部１４３は、車両外部１１ａにおける三次元空間中において、仮想視点ＶＰ１の位置と視線方向を任意に設定する。また、画像調整部１４３は、車両内部１１ｂにおける三次元空間中において、仮想視点ＶＰ２の位置と視線方向を任意に設定する。

【0038】

更に、画像調整部１４３は、車両外部１１ａと車両内部１１ｂとの間で、仮想視点ＶＰ１、ＶＰ２を、図５中の白抜き矢印のように、連続的に移動可能として、仮想視点ＶＰ１、ＶＰ２の位置と視線方向を任意に設定する。つまり、画像調整部１４３は、仮想視点ＶＰ１の位置を仮想視点ＶＰ２の位置へ移動すること、あるいは、仮想視点ＶＰ２の位置を仮想視点ＶＰ１の位置へ移動することも可能としている。

【0039】

そして、画像調整部１４３は、タッチ操作の入力信号に基づいて、仮想視点ＶＰ１、ＶＰ２の位置、視線方向の変更があると、変更された仮想視点ＶＰ１、ＶＰ２の位置および視線方向の仮想視点画像ＣＰとなるように、仮想視点画像生成部１４２に指示を出すようになっている。

【0040】

本実施形態の車両用表示装置１００の構成は、上記のようになっており、以下、図７を加えて、作動および作用効果について説明する。

【0041】

まず、図７のステップＳ１００にて、表示制御部１４０の結合部１４１は、カメラ１１０によって撮影された撮影画像のデータを取得する。

【0042】

そして、ステップＳ１１０にて、結合部１４１は、取得した撮影画像を投影面ＴＳに投影（貼り付け）して結合画像を生成する。結合部１４１による結合画像の生成は、本開示の結合工程に対応する。更に、仮想視点画像生成部１４２は、結合画像に車両モデル１０ａを配置して、仮想視点画像ＣＰを生成する。仮想視点画像生成部１４２による仮想視点画像ＣＰの生成は、本開示の仮想視点画像生成工程に対応する。

【0043】

尚、制御の初回の仮想視点ＶＰ１は、車両外部１１ａの直上で、車両１０の中心に視線方向が設定されたものとする。つまり、制御の初回では、仮想視点画像ＣＰは、デフォルト画像として、車両１０の直上から車両１０の中心に向けて俯瞰された場合の車両１０と、車両１０の周辺とが合成された画像となる。

【0044】

次に、ステップＳ１２０で、画像調整部１４３は、タッチパネル１３０におけるユーザのタッチ操作（ここでは、１本指あるいは２本指によるスワイプ操作）があったか否かを判定する。つまり、画像調整部１４３は、タッチパネル１３０からの入力信号があったか否かを判定する。画像調整部１４３は、ステップＳ１２０で、肯定判定するとステップＳ１３０に移行し、否定判定するとステップＳ１７０に移行する。

【0045】

ステップＳ１３０では、画像調整部１４３は、タッチ操作に基づく指の移動量（操作量）を取得する。

【0046】

更に、画像調整部１４３は、ステップＳ１４０で、タッチ操作に基づく指の移動後の位置（視点座標）を取得する。

【0047】

タッチ操作に基づく指の移動量、および移動後の位置は、現在設定中の仮想視点画像ＣＰの仮想視点ＶＰ１、ＶＰ２の位置および視線方向を変更するためのユーザからの要求信号に対応する。

【0048】

仮想視点ＶＰ１、ＶＰ２の変更にあたっては、車両外部１１ａ内にて移動される場合、あるいは車両内部１１ｂ内にて移動される場合、更には、車両外部１１ａと車両内部１１ｂとの間で移動される場合の設定が可能となる。

【0049】

ここで、変更された仮想視点ＶＰ１、ＶＰ２の位置によっては、車両１０の外壁１１に対して所定距離以下となる近傍であると、図６に示すように、仮想視点画像ＣＰに、車両１０の外壁１１が映りこむ可能性がある。外壁１１の近傍位置は、外壁１１の車両外部１１ａ側、外壁１１の内部、あるいは外壁１１の車両内部１１ｂ側である。外壁１１は、車両１０のドア部やボディ部の断面部分に相当し、仮想視点画像ＣＰ中では、ベタの黒塗り部分として表示される。このような外壁１１は、ユーザにとって視認を希望するものではなく、表示を控えるようにした方が好ましい。

【0050】

よって、画像調整部１４３は、ステップＳ１５０で、仮想視点ＶＰ１、ＶＰ２の位置および視線方向が変更された場合に、変更後の仮想視点ＶＰ１、ＶＰ２が外壁１１の近傍にあり、仮想視点画像ＣＰに車両１０の外壁１１が映りこむか否かを判定する。画像調整部１４３は、ステップＳ１５０で、肯定判定するとステップＳ１６０に移行し、否定判定するとステップＳ１７０に移行する。

【0051】

ステップＳ１６０では、画像調整部１４３は、外壁１１が仮想視点画像ＣＰからフレームアウトするように仮想視点ＶＰ１、ＶＰ２の位置を変更（補正）し、補正後の仮想視点ＶＰ１、ＶＰ２の座標位置を算出する。

【0052】

このとき、画像調整部１４３は、仮想視点ＶＰ１、ＶＰ２の位置を変更するにあたって、仮想視点ＶＰ１、ＶＰ２の変更方向を、車両外部１１ａ側、あるいは車両内部１１ｂ側のうち、外壁１１が仮想視点画像ＣＰからフレームアウトするまでの視点移動距離が短くなる側に移動させる。即ち、図６に示すように、外壁１１の中心に、例えば、境界線Ｌを想定して、仮想視点ＶＰ１、ＶＰ２が、境界線Ｌよりも車両外部１１ａ側にあれば、画像調整部１４３は、仮想視点ＶＰ１、ＶＰ２を車両外部１１ａ側に移動させる。あるいは、仮想視点ＶＰ１、ＶＰ２が、境界線Ｌよりも車両内部１１ｂ側にあれば、画像調整部１４３は、仮想視点ＶＰ１、ＶＰ２を車両内部１１ｂ側に移動させる。

【0053】

そして、ステップＳ１７０で、画像調整部１４３は、補正後の仮想視点ＶＰ１、ＶＰ２の位置および視線方向に基づく仮想視点画像ＣＰを表示するように仮想視点画像生成部１４２に指示する。画像調整部１４３による仮想視点画像ＣＰの調整は、本開示の画像調整工程に対応する。

【0054】

尚、ステップＳ１２０で、否定判定された場合は、仮想視点ＶＰ１、ＶＰ２に対するユーザの変更の入力がないことから、ステップＳ１３０～ステップＳ１６０の処理は実施されずに、現在の仮想視点画像ＣＰが継続して表示される。

【0055】

また、ステップＳ１５０で、否定判定された場合は、外壁１１が仮想視点画像ＣＰに映り込む可能性がないことから、ステップＳ１６０が実施されずに、ステップＳ１３０、およびステップＳ１４０で算出された結果に基づいて、仮想視点ＶＰ１、ＶＰ２が変更されて、それに伴う仮想視点画像ＣＰに変更される。

【0056】

尚、図７中には記載していないが、ユーザのタッチ操作がピンチアウト、あるいはピンチインの場合であると、画像調整部１４３は、仮想視点画像ＣＰにおいてタッチ操作された領域の部分を拡大、あるいは縮小するように仮想視点画像生成部１４２に指示をして、部分的な画像の拡大、縮小を行う。

【0057】

以上のように、本実施形態では、画像調整部１４３は、タッチパネル１３０でのタッチ操作によるユーザの指の移動量および移動後の位置に応じて、仮想視点ＶＰ１、ＶＰ２を、車両外部１１ａあるいは車両内部１１ｂに設定可能とすると共に、車両外部１１ａと車両内部１１ｂとの間で移動可能として、仮想視点画像を調整するようにしている。

【0058】

これにより、仮想視点ＶＰ１、ＶＰ２の位置を車両外部１１ａと車両内部１１ｂとで切替えるための切替え入力部（操作ボタン）等の設定を不要として、ユーザは仮想視点ＶＰ１、ＶＰ２の移動操作（切替え操作）を容易に行うことができる。更に、仮想視点ＶＰ１、ＶＰ２の位置を車両外部１１ａと車両内部１１ｂとの間で移動させることができるので、ユーザは、車両周辺の様子（例えば、車両１０と障害物２２との距離等）をより把握しやすくなる。

【0059】

また、画像調整部１４３は、仮想視点ＶＰ１、ＶＰ２が、車両１０の外壁１１に対して所定距離以下となる近傍にあり、仮想視点画像ＣＰに外壁１１が表示される場合に、外壁１１が仮想視点画像ＣＰからフレームアウトするように仮想視点ＶＰ１、ＶＰ２の位置を変更するようにしている。これにより、ユーザにとって、表示が好ましくない外壁１１の表示を回避することが可能となる。

【0060】

また、画像調整部１４３は、仮想視点ＶＰ１、ＶＰ２の位置を変更するにあたって、仮想視点ＶＰ１、ＶＰ２の変更方向を、車両外部１１ａ側あるいは車両内部１１ｂ側のうち、外壁１１が仮想視点画像ＣＰからフレームアウトするまでの視点移動距離が短くなる側に移動させるようにしている。これにより、仮想視点ＶＰ１、ＶＰ２の移動距離をより少なくし、画像の変化を抑えた形で仮想視点画像ＣＰを表示させることが可能となる。

【0061】

尚、上記の車両用表示装置１００の技術内容を、カメラ１１０による撮影工程と、結合部１４１による結合工程と、仮想視点画像生成部１４２による仮想視点画像生成工程と、画像調整部１４３による画像調整工程と、を備える画像表示方法として提供することも可能である。

【0062】

（その他の実施形態）
この明細書および図面等における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および／または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および／または要素が省略されたものを包含する。開示は、１つの実施形態と他の実施形態との間における部品および／または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、請求の範囲の記載によって示され、更に請求の範囲の記載と均等の意味および範囲内での全ての変更を含むものと解されるべきである。

【0063】

また、本開示に記載の表示制御部１４０およびその手法は、コンピュータプログラムにより具体化された１つないしは複数の機能を実行するようにプログラムされたプロセッサ、およびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。

【0064】

あるいは、本開示に記載の表示制御部１４０およびその手法は、１つ以上の専用ハードウエア理論回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。

【0065】

もしくは、本開示に記載の表示制御部１４０およびその手法は、１つないしは複数の機能を実行するようにプログラムされたプロセッサおよびメモリと、１つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合せにより構成された１つ以上の専用コンピュータにより、実現されてもよい。

【0066】

また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

【0067】

ここで、本実施形態に記載されるフローチャート（図７）、あるいはフローチャートの処理は、複数のセクション（あるいはステップと言及される）から構成され、各セクションは、たとえば、Ｓ１１０と表現される。更に、各セクションは、複数のサブセクションに分割されることができる、一方、複数のセクションが合わさって１つのセクションにすることも可能である。また、このように構成される各セクションは、デバイス、モジュール、ミーンズとして言及されることができる。

【符号の説明】

【0068】

１０ 車両
１０ａ 車両モデル（モデル）
１１ 外壁
１１ａ 車両外部
１１ｂ 車両内部
１００ 車両用表示装置
１１０ カメラ（撮影部）
１２０ 表示部
１３０ タッチパネル
１４１ 結合部
１４２ 仮想視点画像生成部
１４３ 画像調整部
ＣＰ 仮想視点画像
ＶＰ１、ＶＰ２ 仮想視点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】