特許 7586165 画像処理装置、表示システム、画像処理方法及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-11

(45)【発行日】2024-11-19

(54)【発明の名称】画像処理装置、表示システム、画像処理方法及び記録媒体

(51)【国際特許分類】

   G06F 3/14 20060101AFI20241112BHJP

   G09B 29/00 20060101ALI20241112BHJP

   G09B 29/10 20060101ALI20241112BHJP

   G01C 21/36 20060101ALI20241112BHJP

   G09G 5/00 20060101ALI20241112BHJP

   G09G 5/373 20060101ALI20241112BHJP

   G09G 5/38 20060101ALI20241112BHJP

   G09F 9/00 20060101ALI20241112BHJP

   G03B 21/00 20060101ALI20241112BHJP

   G09G 5/10 20060101ALI20241112BHJP

【ＦＩ】

G06F3/14 360A

G09B29/00 A

G09B29/10 A

G01C21/36

G09G5/00 510A

G09G5/00 510B

G09G5/00 530T

G09G5/373 200

G09G5/38 100

G09F9/00 362

G03B21/00 D

G09G5/10 B

G09G5/00 510V

G09G5/00 530H

【請求項の数】 10

(21)【出願番号】P 2022503737

(86)(22)【出願日】2021-02-26

(86)【国際出願番号】 JP2021007266

(87)【国際公開番号】W WO2021172492

(87)【国際公開日】2021-09-02

【審査請求日】2024-01-24

(31)【優先権主張番号】P 2020034069

(32)【優先日】2020-02-28

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】林 真秀

(72)【発明者】

【氏名】西出 幸子

(72)【発明者】

【氏名】白川 実祐樹

(72)【発明者】

【氏名】村上 朋成

(72)【発明者】

【氏名】鈴木 章雄

(72)【発明者】

【氏名】山岸 あさみ

(72)【発明者】

【氏名】長田 浩二

(72)【発明者】

【氏名】友永 誠史

(72)【発明者】

【氏名】池田 哲男

(72)【発明者】

【氏名】長良 徹

(72)【発明者】

【氏名】竹内 宏

(72)【発明者】

【氏名】高松 孝至

【審査官】槙 俊秋

(56)【参考文献】

【文献】特開２０１３－２２２２２４（ＪＰ，Ａ）

【文献】特開２００２－３２８６２４（ＪＰ，Ａ）

【文献】特開２０１５－１０５９０３（ＪＰ，Ａ）

【文献】特開２００８－００１３０８（ＪＰ，Ａ）

【文献】特開２０１９－１５８５２９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／００－ ３／１８

Ｇ０９Ｂ ２９／００－２９／１０

Ｇ０１Ｃ ２１／３６

Ｇ０９Ｇ ５／００－ ５／３８

Ｇ０９Ｆ ９／００

Ｇ０３Ｂ ２１／００

Ｇ０９Ｇ ５／１０

(57)【特許請求の範囲】

【請求項1】

複数のモードのいずれかに属する画面を、自動車に備えられたスクリーン上に表示するアプリケーションの画面を作成する作成部と、
前記アプリケーションに対し、表示中の画面を同一モードの画面に切り替える操作が行われた場合、前記自動車の走行方向と平行又は垂直な第１の方向に、切り替え前後の画面を移動させ、表示中の画面を異なるモードの画面に切り替える操作が行われた場合、前記第１の方向と垂直な第２の方向に、切り替え前後の画面を移動させる切替部と、を備え、
前記作成部は、前記自動車のカーナビに表示される、現在地から目的地までのルートを表示する画面であって、上方に目的地が表示され、下方に現在地が表示される第１の画面を、前記自動車の天井に備えられたスクリーンに表示する操作が行われた場合、前記天井に備えられたスクリーンに表示するための画面として、下方に目的地が表示され、上方に現在地が表示される第２の画面を作成する、
画像処理装置。

【請求項2】

前記切替部は、前記アプリケーションに対し、表示中の画面を同一モードの画面に切り替える操作が行われた場合、前記自動車の走行方向と垂直な第１の方向に、切り替え前後の画面を移動させ、表示中の画面を異なるモードの画面に切り替える操作が行われた場合、前記自動車の走行方向と平行な第２の方向に、切り替え前後の画面を移動させる請求項１に記載の画像処理装置。

【請求項3】

前記切替部は、切り替え前後の画面を縮小表示して移動させる請求項１に記載の画像処理装置。

【請求項4】

前記切替部は、切り替え前後の画面を明度を下げて移動させる請求項１に記載の画像処理装置。

【請求項5】

前記作成部は、現在地から目的地までのルート、前記目的地のカテゴリを示すアイコン及び前記目的地を設定した搭乗者を示すアイコンを表示する画面を作成する請求項１に記載の画像処理装置。

【請求項6】

前記作成部は、さらに、現在地とあらかじめ対応付けられた音楽を再生するための音声を作成する請求項１に記載の画像処理装置。

【請求項7】

前記作成部によって作成された画面の表示時間に応じて、目的地までのルート及び前記自動車の走行速度を変更する走行制御部をさらに有することを特徴とする請求項１に記載の画像処理装置。

【請求項8】

自動車に備えられたスクリーンと、前記スクリーンに画像を投影するプロジェクタと画像処理装置とを有する表示システムであって、
前記画像処理装置は、
複数のモードのいずれかに属する画面を、自動車に備えられたスクリーン上に表示するアプリケーションの画面を作成する作成部と、
前記アプリケーションに対し、表示中の画面を同一モードの画面に切り替える操作が行われた場合、前記自動車の走行方向と平行又は垂直な第１の方向に、切り替え前後の画面を移動させ、表示中の画面を異なるモードの画面に切り替える操作が行われた場合、前記第１の方向と垂直な第２の方向に、切り替え前後の画面を移動させる切替部と、を備え、
前記作成部は、前記自動車のカーナビに表示される、現在地から目的地までのルートを表示する画面であって、上方に目的地が表示され、下方に現在地が表示される第１の画面を、前記自動車の天井に備えられたスクリーンに表示する操作が行われた場合、前記天井に備えられたスクリーンに表示するための画面として、下方に目的地が表示され、上方に現在地が表示される第２の画面を作成する、
表示システム。

【請求項9】

コンピュータが、
複数のモードのいずれかに属する画面を、自動車に備えられたスクリーン上に表示するアプリケーションの画面を作成し、
前記アプリケーションに対し、表示中の画面を同一モードの画面に切り替える操作が行われた場合、前記自動車の走行方向と平行又は垂直な第１の方向に、切り替え前後の画面を移動させ、表示中の画面を異なるモードの画面に切り替える操作が行われた場合、前記第１の方向と垂直な第２の方向に、切り替え前後の画面を移動させ、
前記自動車のカーナビに表示される、現在地から目的地までのルートを表示する画面であって、上方に目的地が表示され、下方に現在地が表示される第１の画面を、前記自動車の天井に備えられたスクリーンに表示する操作が行われた場合、前記天井に備えられたスクリーンに表示するための画面として、下方に目的地が表示され、上方に現在地が表示される第２の画面を作成する、
画像処理方法。

【請求項10】

コンピュータを、
複数のモードのいずれかに属する画面を、自動車に備えられたスクリーン上に表示するアプリケーションの画面を作成する作成部と、
前記アプリケーションに対し、表示中の画面を同一モードの画面に切り替える操作が行われた場合、前記自動車の走行方向と平行又は垂直な第１の方向に、切り替え前後の画面を移動させ、表示中の画面を異なるモードの画面に切り替える操作が行われた場合、前記第１の方向と垂直な第２の方向に、切り替え前後の画面を移動させる切替部と、
として機能させるためのプログラムを記録した記録媒体であって、
前記作成部は、前記自動車のカーナビに表示される、現在地から目的地までのルートを表示する画面であって、上方に目的地が表示され、下方に現在地が表示される第１の画面を、前記自動車の天井に備えられたスクリーンに表示する操作が行われた場合、前記天井に備えられたスクリーンに表示するための画面として、下方に目的地が表示され、上方に現在地が表示される第２の画面を作成する、
記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、表示システム、画像処理方法及び記録媒体に関する。

【背景技術】

【0002】

自動車内の天井に設置された有機ＥＬシート等のスクリーンに、コンテンツを表示する技術が知られている。例えば、スクリーンに、現在位置から見える天空図を表示する技術が知られている。また、例えば、スクリーンに、目的地までの経路を表示する一本道及び当該一本道上の位置を表示する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００２－３２８６２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の従来技術には、搭乗者にとって快適な画面表示を行うことができない場合があるという問題がある。例えば、自動車に搭乗した状態で画面を操作すると車酔いが起きやすいことが知られている。

【0005】

そこで、本開示では、搭乗者にとって快適な画面表示を行うことができる画像処理装置、表示システム、画像処理方法及び記録媒体を提案する。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、本開示に係る一形態の画像処理装置は、複数のモードのいずれかに属する画面を、自動車に備えられたスクリーン上に表示するアプリケーションの画面を作成する作成部と、前記アプリケーションに対し、表示中の画面を同一モードの画面に切り替える操作が行われた場合、前記自動車の走行方向と平行又は垂直な第１の方向に、切り替え前後の画面を移動させ、表示中の画面を異なるモードの画面に切り替える操作が行われた場合、前記第１の方向と垂直な第２の方向に、切り替え前後の画面を移動させる切替部と、を備える。

【図面の簡単な説明】

【0007】

【図1】第１の実施形態に係る画像処理装置の構成例を示す図である。

【図2】スクリーンの一例を示す図（１）である。

【図3】スクリーンの一例を示す図（２）である。

【図4】モード及びパネルを説明する図である。

【図5】走行方向を説明する図である。

【図6】画面遷移のアニメーションを説明する図（１）である。

【図7】画面遷移のアニメーションを説明する図（２）である。

【図8】画面遷移のアニメーションを説明する図（３）である。

【図9】モード間の画面遷移のアニメーションを説明する図である。

【図10】モード内の画面遷移のアニメーションを説明する図である。

【図11】第１の実施形態に係る画像処理装置の処理の流れを示すフローチャートである。

【図12】ルートを表示する画面の一例を示す図である。

【図13】目的地及び搭乗者のアイコンを表示する画面の一例を示す図である。

【図14】目的地を追加する処理の流れを示すフローチャートである。

【図15】プレイリストを表示する画面の一例を示す図である。

【図16】再生する映像を表示する画面の一例を示す図である。

【図17】スクリーン間での画面の移動を説明する図である。

【図18】移動後の画面の一例を示す図である。

【図19】自動車制御システムの概略的な構成例を示すブロック図である。

【図20】撮像部の設置位置の例を示す図（１）である。

【図21】撮像部の設置位置の例を示す図（２）である。

【図22】ネットワークシステムの構成例を示す図である。

【発明を実施するための形態】

【0008】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0009】

また、以下の順序で説明を行う。
１．第１の実施形態
２．移動体への応用例

【0010】

［１．第１の実施形態］
図１は、第１の実施形態に係る画像処理装置の構成例を示す図である。図１に示す画像処理装置１０は、自動運転機能を備えた自動車内に備えられたスクリーンへのコンテンツの表示に関する処理を行うための装置である。

【0011】

入力部１１は、自動車の走行状況、搭乗者の状況及び搭乗者による操作等の入力を受ける入力装置である。入力部１１には、画像センサ、デプスセンサ及びタッチセンサ等の各種センサが含まれる。画像センサは、二次元の画像を取得するセンサであり、例えば可視光カメラ及び赤外線カメラ等である。デプスセンサは、奥行きを含む三次元の情報を取得するセンサであり、例えばステレオカメラや、time of flight方式、structured light方式等を実施可能なセンサである。入力部１１は、搭乗者による操作として、タッチディスプレイによる操作、音声による操作、骨格場を用いたジェスチャ操作等を受け付ける。

【0012】

通信部１２は、他の装置との間でデータ通信を行うためのインタフェースである。通信部１２は、例えばＮＩＣ（Network Interface Card）等によって実現される。

【0013】

情報処理部１３は、コンテンツ表示に関する各処理を実行する。情報処理部１３は、例えばＣＰＵ（Central Processing Unit）を備えたコンピュータによって実現される。情報処理部１３は、入力部１１から受け付けた情報を基に、コンテンツに含まれる画像を表示するための処理を行う。情報処理部１３は、アプリケーションを表示するウィンドウ等の、マルチコンテンツの描画制御や、各コンテンツに対するタッチ等のイベント配信を行う。情報処理部１３は、一般的なＯＳの制御レイヤーに相当する処理を行う。

【0014】

画像表示装置４０は、コンテンツに含まれる画像を表示する装置である。画像表示装置４０は、プロジェクタ及びプロジェクタスクリーンであってもよい。また、画像表示装置４０は、液晶ディスプレイ等のディスプレイであってもよい。以降、プロジェクタスクリーン及び液晶ディスプレイ等の、実際に画像が表示される面を、単にスクリーンと呼ぶ。

【0015】

図２は、スクリーンの一例を示す図（１）である。図２に示すように画像表示装置４０は、プロジェクタ２０及びプロジェクタスクリーン３０であってもよい。図２に示すように、プロジェクタ２０は、自動車の後部から各スクリーンに画像を投射する。プロジェクタ２０は、スクリーンの形状に合わせて、画像を投射する方向及び高さを変更可能なものであってもよい。プロジェクタ２０は後部座席の後方に据え置きされてもよいし、後部座席の後方の天井に取り付けられてもよい。また、プロジェクタ２０は、運転席や助手席のヘッドレストに備えられてもよい。

【0016】

図３は、スクリーンの一例を示す図（２）である。図３に示すように、画像表示装置４０は、自動車の天井に備えられた液晶ディスプレイ３１であってもよい。

【0017】

音声出力装置５０は、コンテンツに含まれる音声を出力する装置である。例えば、音声出力装置５０は、スピーカである。

【0018】

表示出力制御部１４は、表示する画像及び出力する音声の作成を行う。表示出力制御部１４は、例えばＣＰＵを備えたコンピュータによって実現される。図１に示すように、表示出力制御部１４は、コンテンツ取得部１４１、画像音声作成部１４２及び入力情報蓄積部１４３を有する。

【0019】

コンテンツ取得部１４１は、コンテンツを取得する。コンテンツ取得部１４１は、所定の記憶装置からコンテンツを取得してもよいし、ネットワークを経由して外部の装置や他の自動車からコンテンツを取得してもよい。

【0020】

画像音声作成部１４２は、複数のモードのいずれかに属する画面を、自動車に備えられたスクリーン上に表示するアプリケーションの画面を作成する。また、画像音声作成部１４２は、アプリケーションに対し、表示中の画面を同一モードの画面に切り替える操作が行われた場合、自動車の走行方向と平行又は垂直な第１の方向に、切り替え前後の画面を移動させ、表示中の画面を異なるモードの画面に切り替える操作が行われた場合、第１の方向と垂直な第２の方向に、切り替え前後の画面を移動させる。

【0021】

入力情報蓄積部１４３は、搭乗者が入力した情報を蓄積する記憶装置である。例えば、入力情報蓄積部１４３は、後述するプレイリストの情報等を蓄積する。

【0022】

各モードに属する画面をパネルと呼ぶ。図４を用いて、モード及びパネルについて説明する。図４は、モード及びパネルを説明する図である。図４に示すように、例えば、アプリケーションは、オープンカー・モード及びシアター・モードを有するものとする。

【0023】

オープンカー・モードでは、自動車の上空を撮影した画像が背景として表示され、背景の上に各コンテンツの画像が表示される。例えば、オープンカー・モードの外風景パネルには、自動車の上空を撮影した画像のみが表示される。また、例えば、オープンカー・モードのカーナビパネルには、自動車の上空を撮影した画像の上にカーナビの画像が表示される。

【0024】

シアター・モードでは、主に観賞用のコンテンツの画像が表示される。例えば、シアター・モードのハワイパネルには、ハワイの風景が表示される。また、例えば、シアター・モードの花火パネルには、花火の映像が表示される。その他にも、シアター・モードのパネルには、映画、テレビ番組、他の自動車で撮影された画像等が表示されてもよい。

【0025】

図５を用いて、走行方向を説明する。図５は、走行方向を説明する図である。走行方向は、自動車が前進する方向である。ただし、スクリーンがフロントガラスに沿って配置されている場合は、図５の矢印で示す方向を走行方向と呼ぶ。

【0026】

図６は、画面遷移のアニメーションを説明する図（１）である。図６の画面は、例えば天井のスクリーンに表示されているものとする。この場合、図６におけるスクリーンの上部は下部に対して車両の後方に位置している（スクリーン下部は上部に対して車両の前方に位置している）。この場合、画面が走行方向と平行な方向に移動するということは、画面が図６の矢印の方向にスクロールして移動することを意味する。

【0027】

ここでは、画像音声作成部１４２は、アプリケーションに対し、表示中の画面を同一モードの画面に切り替える操作が行われた場合、自動車の走行方向と垂直な第１の方向に、切り替え前後の画面を移動させ、表示中の画面を異なるモードの画面に切り替える操作が行われた場合、自動車の走行方向と平行な第２の方向に、切り替え前後の画面を移動させる。

【0028】

図７は、画面遷移のアニメーションを説明する図（２）である。図７の矢印が示す方向は、自動車の走行方向に対して垂直な方向である。図８は、画面遷移のアニメーションを説明する図（３）である。図８の矢印が示す方向は、自動車の走行方向と平行な方向である。

【0029】

ここで、搭乗者は、モード間の画面の切り替えにおいては、見たいモードを目指して画面を切り替えるため、画面の遷移回数が少ないことが考えられる。一方で、モード内の画面の切り替え、すなわち同一モードのパネルの切り替えにおいては、テレビのチャンネルのザッピングのように、多数の画面遷移が発生することが考えられる。

【0030】

また、走行方向と垂直な方向に画面を移動させる場合、例えば、画面下方が地面で上方が空というモデルが維持できるため、頻繁に切り替えが発生しても搭乗者は酔い難いと考えられる。一方で、走行方向と平行な方向に画面を移動させる場合は、搭乗者は酔いやすくなることが考えられる。

【0031】

そこで、本実施形態では、画像処理装置１０は、画面の切り替えの頻度が低いと考えらえるモード間の画面遷移の場合は、走行方向と平行な方向に画面を移動させる。逆に、画像処理装置１０は、画面の切り替えの頻度が高いと考えらえるモード内の画面遷移の場合は、走行方向と垂直な方向に画面を移動させる。これにより、搭乗者の車酔いの発生を抑えることができる。

【0032】

図９は、モード間の画面遷移のアニメーションを説明する図である。搭乗者は、まず、パネル下方の黒い点をジェスチャで指し示す（１０１ｖ）。すると、点が横に広がり、メータが溜まっていく（１０２ｖ）。メータが溜まりきると選択されたと判断し（１０３ｖ）、パネルが縮小され（１０４ｖ）、切り替え後のパネルが切り替え前のパネルを上に押し出すように、各パネルが下から上に移動（スクロール）する（１０５ｖ）。そして、モード間のパネルの切り替えが完了する（１０６ｖ）。なお、パネルの切替え入力に使われる黒い点は、パネル上方に設けてもよい。その場合、パネル上方の黒い点を指し示すと、パネルは上から下に移動（スクロール）する。

【0033】

図１０は、モード内の画面遷移のアニメーションを説明する図である。搭乗者は、まず、パネル左端部の黒い点をジェスチャで指し示す（１０１ｐ）。すると、点が縦に広がり、メータが溜まっていく（１０２ｐ）。メータが溜まりきると（１０３ｐ）、パネルが縮小され（１０４ｐ）、切り替え後のパネルが切り替え前のパネルを右に押し出すように、各パネルが左から右に移動（スクロール）する（１０５ｐ）。そして、モード内のパネルの切り替えが完了する（１０６ｐ）。なお、パネル右側の黒い点をジェスチャで指示した場合、パネルが右から左に移動（スクロール）する。

【0034】

図９の１０４ｖと図１０の１０４ｐにおいては、画像音声作成部１４２は、切り替え前後の画面を縮小表示して移動させた。これにより、画面全体の表示量が少なくなり、また、搭乗者は視野が広くなった感覚を得るため、酔いにくくなる。また、このとき、画像音声作成部１４２は、切り替え前後の画面を明度を下げて移動させることで、さらに搭乗者を酔いにくくすることができる。

【0035】

図１１は、第１の実施形態に係る画像処理装置の処理の流れを示すフローチャートである。図１１に示すように、画像処理装置１０は、パネルを切り替える操作が行われない間（ステップＳ１０１、Ｎｏ）は、待機する。

【0036】

画像処理装置１０は、パネルを切り替える操作が行われた場合（ステップＳ１０１、Ｙｅｓ）、パネルの表示を縮小する（ステップＳ１０２）。そして、画像処理装置１０は、パネルの表示の明度を下げる（ステップＳ１０３）。

【0037】

ここで、画像処理装置１０は、パネルの切り替えがモード間であるか否かを判定する（ステップＳ１０４）。パネルの切り替えがモード間である場合（ステップＳ１０４、Ｙｅｓ）、画像処理装置１０は、切り替え前後のパネルを縦（走行方向と平行な方向）にスクロールする（ステップＳ１０６）。パネルの切り替えがモード間でない場合（ステップＳ１０４、Ｎｏ）、画像処理装置１０は、切り替え前後のパネルを横（走行方向と垂直な方向）にスクロールする（ステップＳ１０５）。

【0038】

各パネルの画像処理方法について説明する。画像音声作成部１４２は、自動車の天井に備えられたスクリーンに表示される、現在地から目的地までのルートを表示する画面であって、下方に目的地が表示され、上方に現在地が表示される画面を作成する。

【0039】

通常のカーナビゲーションシステムでは画面上方に目的地、下方に現在地が表示される。一方、図１２に示すように、本実施形態では、画像処理装置１０は、ルートを天井のスクリーンに表示する場合、画面上方に現在地、下方に目的地を表示し、走行方向とルートの進行方向を一致させる。

【0040】

図１２は、ルートを表示する画面の一例を示す図である。図１２に示すように、天井のスクリーンは大きいため、そこに表示された画面は、搭乗者の視野のほとんどを占める。そのため、画面上のＧＵＩが大きく動くと、搭乗者は酔いやすくなる。これを回避するため、画像処理装置１０は、現在位置と目的地を固定し、ルートは簡易化して直線で示している。さらに、画像処理装置１０は、現在地と目的地の間にある観光地やサービスエリアなどのスポットを移動させることで、現在の走行位置を間隔的に認識することが可能である。図１２の例では、画像処理装置１０は、△△パークを通過した後に該当するアイコンをルートから消去している。

【0041】

天井のスクリーンに表示された画面に対しては、複数の搭乗者が操作することができる。例えば、カーナビパネルに対して、複数の搭乗者が各自任意に目的地を追加することができる。そのような場合、図１３に示すように、画像音声作成部１４２は、現在地から目的地までのルート、目的地のカテゴリを示すアイコン及び目的地を設定した搭乗者を示すアイコンを表示する画面を作成する。画像処理装置１０は、カーナビパネルに追加された目的地ごとに、当該目的地を追加した搭乗者のアイコンを表示する。図１３は、目的地及び搭乗者のアイコンを表示する画面の一例を示す図である。

【0042】

画像処理装置１０が目的地を追加する処理の流れを説明する。図１４は、目的地を追加する処理の流れを示すフローチャートである。図１４に示すように、まず、画像処理装置１０は、目的地を追加する操作が行われるまで（ステップＳ２０１、Ｎｏ）待機する。

【0043】

目的地を追加する操作が行われると（ステップＳ２０１、Ｙｅｓ）、画像処理装置１０は、操作した搭乗者を特定する（ステップＳ２０２）。そして、画像処理装置１０は、操作した搭乗者を特定する（ステップＳ２０２）。さらに、画像処理装置１０は、追加された目的地のカテゴリを判定する（ステップＳ２０３）。そして、画像処理装置１０は、操作した搭乗者のアイコンの横に、目的地のアイコンを表示する。

【0044】

目的地のカテゴリは、大きく寄り道と最終到達地に分類される。寄り道に分類されるカテゴリには、トイレ休憩、食事休憩等がある。トイレ休憩カテゴリに含まれる目的地には、例えば、サービスエリア、パーキングエリアがある。また、食事休憩に分けられるカテゴリには、例えば、飲食店、コンビニがある。

【0045】

また、最終到達地に分類されるカテゴリには、買い物、公共施設、観光地がある。買い物カテゴリに含まれる目的地には、例えば、ショッピングモール、スーパーマーケットがある。また、公共施設カテゴリに含まれる目的地には、図書館、市役所、学校、鉄道の駅、道の駅、バスターミナルがある。また、観光地カテゴリに含まれる目的地には、遊園地、美術館、動物園がある。

【0046】

例えば、搭乗者がコンビニを目的地として追加した場合、当該搭乗者のアイコンと食事休憩カテゴリのアイコンが画面に追加される。これにより、例えば、後部座席の子供がトイレ休憩や食事休憩を欲していることを運転者等に伝えることができる。また、例えば、複数人で１台の自動車をライドシェア（相乗り）で利用している場合、各搭乗者が他の搭乗者に希望の目的地を容易に伝えることができる。

【0047】

また、画像音声作成部１４２は、さらに、現在地とあらかじめ対応付けられた音楽を再生するための音声を作成する。図１５は、プレイリストを表示する画面の一例を示す図である。図１５に示すように、あらかじめプレイリストが対応付けられた位置がルート上に示されていてもよい。画像処理装置１０は、自動車がプレイリストに対応付けられた位置に差し掛かると、作成された音楽を出力する。

【0048】

ここで、自動運転制御装置６０は、自動運転時の速度等を制御する装置である。自動運転制御装置６０は、例えばＥＣＵ（Engine Control Unit）である。また、ルート制御装置７０は、自動運転時のルートを決定する装置である。自動運転制御装置６０及びルート制御装置７０は、画像音声作成部１４２によって作成された画面の表示時間（コンテンツの再生時間）に応じて、目的地までのルート及び自動車の走行速度を変更することができる。

【0049】

図１６は、再生する映像を表示する画面の一例を示す図である。例えば、図１６に示すように、自動運転制御装置６０及びルート制御装置７０は、６０分間の映像と３０分間の映像を再生した後に目的地に到着するように、ルート又は走行速度を制御する。

【0050】

画像処理装置１０は、搭乗者の操作に応じて、スクリーン間で画面を移動させることができる。例えば、画像処理装置１０は、カーナビに表示されているルートを、天井のスクリーンに表示することができる。

【0051】

その際、画像音声作成部１４２は、自動車のカーナビに表示される、現在地から目的地までのルートを表示する画面であって、上方に目的地が表示され、下方に現在地が表示される第１の画面を、自動車の天井に備えられたスクリーンに表示する操作が行われた場合、天井に備えられたスクリーンに表示するための画面として、下方に目的地が表示され、上方に現在地が表示される第２の画面を作成する。

【0052】

図１７は、スクリーン間での画面の移動を説明する図である。図１７の左側には、カーナビに表示されるルートが示されている。また、図１７の右側には、天井のスクリーンに表示されるルートが示されている。図１７に示すように、カーナビと天井のスクリーンとでは、例えば「幕張」と「武石」の上下の位置関係が逆になっている。図１８は、移動後の画面の一例を示す図である。図１８に示すように、天井スクリーンでは、目的地が前方に表示されるため、搭乗者は直感的にルートを把握することができる。

【0053】

（第１の実施形態の効果）
これまで説明してきたように、画像処理装置は、複数のモードのいずれかに属する画面を、自動車に備えられたスクリーン上に表示するアプリケーションの画面を作成する作成部（実施形態では画像音声作成部１４２）と、アプリケーションに対し、表示中の画面を同一モードの画面に切り替える操作が行われた場合、自動車の走行方向と平行又は垂直な第１の方向に、切り替え前後の画面を移動させ、表示中の画面を異なるモードの画面に切り替える操作が行われた場合、第１の方向と垂直な第２の方向に、切り替え前後の画面を移動させる切替部（実施形態では画像音声作成部１４２）と、を備える。例えば、画像処理装置は、モード間とモード内での画面の切り替えの頻度に応じて画面の移動方向を決めておくことができる。このため、第１の実施形態によれば、搭乗者にとって快適な画面表示を行うことができる。

【0054】

切替部は、アプリケーションに対し、表示中の画面を同一モードの画面に切り替える操作が行われた場合、自動車の走行方向と垂直な第１の方向に、切り替え前後の画面を移動させ、表示中の画面を異なるモードの画面に切り替える操作が行われた場合、自動車の走行方向と平行な第２の方向に、切り替え前後の画面を移動させる。

【0055】

切替部は、切り替え前後の画面を縮小表示して移動させる。このため、第１の実施形態によれば、画面を操作する搭乗者を酔いにくくすることができる。

【0056】

切替部は、切り替え前後の画面を明度を下げて移動させる。このため、第１の実施形態によれば、画面を操作する搭乗者を酔いにくくすることができる。

【0057】

作成部は、自動車の天井に備えられたスクリーンに表示される、現在地から目的地までのルートを表示する画面であって、下方に目的地が表示され、上方に現在地が表示される画面を作成する。このため、第１の実施形態によれば、搭乗者が直感的に理解しやすい態様で情報を表示することができる。

【0058】

作成部は、自動車のカーナビに表示される、現在地から目的地までのルートを表示する画面であって、上方に目的地が表示され、下方に現在地が表示される第１の画面を、自動車の天井に備えられたスクリーンに表示する操作が行われた場合、天井に備えられたスクリーンに表示するための画面として、下方に目的地が表示され、上方に現在地が表示される第２の画面を作成する。このため、第１の実施形態によれば、スクリーンに合わせて、搭乗者が直感的に理解しやすい態様で情報を表示することができる。

【0059】

作成部は、現在地から目的地までのルート、目的地のカテゴリを示すアイコン及び目的地を設定した搭乗者を示すアイコンを表示する画面を作成する。このため、第１の実施形態によれば、特にライドシェア等において、搭乗者が希望する目的を容易に他の搭乗者に伝えることができる。

【0060】

作成部は、さらに、現在地とあらかじめ対応付けられた音楽を再生するための音声を作成する。このため、第１の実施形態によれば、搭乗者は場所に合わせた音楽を聴くことができる。

【0061】

作成部によって作成された画面の表示時間に応じて、目的地までのルート及び自動車の走行速度を変更する走行制御部をさらに有することを特徴とする。このため、第１の実施形態によれば、搭乗者は映像を最後まで視聴することができる。例えば、第１の実施形態によれば、旅行等において、搭乗者は、訪問先の情報を事前に学習しておくことができる。

【0062】

［２．移動体への応用例］
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

【0063】

図１９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

【0064】

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。

【0065】

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

【0066】

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

【0067】

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

【0068】

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

【0069】

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

【0070】

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

【0071】

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

【0072】

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

【0073】

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも１つを含んでいてもよい。

【0074】

図２０は、撮像部の設置位置の例を示す図（１）である。

【0075】

図２０では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５、１２１０６を有する。

【0076】

撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５、１２１０６は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上方、ルーフ等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上方に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上方に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。ルーフに備えられる撮像部１２１０６は、主として上空の画像を撮影する。

【0077】

なお、図２０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

【0078】

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

【0079】

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前にあらかじめ確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

【0080】

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

【0081】

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

【0082】

図２１は、撮像部の設置位置の例を示す図（２）である。図２１に示すように、撮像部１２１０６は、車両の上空の画像を撮影する。撮像部１２１０６は、広角カメラ又は全周囲カメラであってもよい。

【0083】

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、マイクロコンピュータ１２０５１に適用され得る。具体的には、画像処理装置１０の表示出力制御部１４の処理は、マイクロコンピュータ１２０５１によって実現される。また、図４等で説明した自動車の上空の画像は、撮像部１２１０６によって撮影されたものであってもよい。

【0084】

画像処理装置を搭載した自動車は、ネットワークに接続されたものであってもよい。図２２は、ネットワークシステムの構成例を示す図である。図２２に示すように、画像処理装置を備えた自動車１００Ｖは、他の自動車１１０Ｖとデータを通信可能に接続されていてもよい。また、自動車１００Ｖは、ネットワークＮを介してサーバ１００Ｓと通信可能に接続されていてもよい。ネットワークＮは、例えばインターネットである。この場合、自動車１００Ｖに備えられた画像処理装置は、サーバ１００Ｓ又は自動車１１０Ｖからコンテンツを取得することができる。

【0085】

なお、図１の各装置を含むシステムは、１つの装置として実現されてもよい。つまり、１つの実施形態として、画像処理装置１０と同様の機能に加え、画像表示装置４０、音声出力装置５０、自動運転制御装置６０及びルート制御装置７０のうちの少なくともいずれかと同様の機能を有する装置が実現可能である。例えば、画像処理装置１０、画像表示装置４０、音声出力装置５０、自動運転制御装置６０及びルート制御装置７０の全てと同様の機能を有する画像処理装置は、図１の全装置を含むシステムと同等の処理を提供できる。

【0086】

さらに、図１の情報処理部１３と表示出力制御部１４の機能を、自動車の外部のネットワーク上のサーバに持たせ、自動車と当該サーバが通信可能に構成されていてもよい。この場合、画像表示装置４０、音声出力装置５０、自動運転制御装置６０及びルート制御装置７０は、当該サーバによって制御されてもよい。

【0087】

なお、本技術は以下のような構成も取ることができる。
（１）
複数のモードのいずれかに属する画面を、自動車に備えられたスクリーン上に表示するアプリケーションの画面を作成する作成部と、
前記アプリケーションに対し、表示中の画面を同一モードの画面に切り替える操作が行われた場合、前記自動車の走行方向と平行又は垂直な第１の方向に、切り替え前後の画面を移動させ、表示中の画面を異なるモードの画面に切り替える操作が行われた場合、前記第１の方向と垂直な第２の方向に、切り替え前後の画面を移動させる切替部と、
を備えた画像処理装置。
（２）
前記切替部は、前記アプリケーションに対し、表示中の画面を同一モードの画面に切り替える操作が行われた場合、前記自動車の走行方向と垂直な第１の方向に、切り替え前後の画面を移動させ、表示中の画面を異なるモードの画面に切り替える操作が行われた場合、前記自動車の走行方向と平行な第２の方向に、切り替え前後の画面を移動させる前記（１）に記載の画像処理装置。
（３）
前記切替部は、切り替え前後の画面を縮小表示して移動させる前記（１）～（２）のいずれかに記載の画像処理装置。
（４）
前記切替部は、切り替え前後の画面を明度を下げて移動させる前記（１）～（３）のいずれかに記載の画像処理装置。
（５）
前記作成部は、前記自動車の天井に備えられたスクリーンに表示される、現在地から目的地までのルートを表示する画面であって、下方に目的地が表示され、上方に現在地が表示される画面を作成する前記（１）～（４）のいずれかに記載の画像処理装置。
（６）
前記作成部は、前記自動車のカーナビに表示される、現在地から目的地までのルートを表示する画面であって、上方に目的地が表示され、下方に現在地が表示される第１の画面を、前記自動車の天井に備えられたスクリーンに表示する操作が行われた場合、前記天井に備えられたスクリーンに表示するための画面として、下方に目的地が表示され、上方に現在地が表示される第２の画面を作成する前記（１）～（４）のいずれかに記載の画像処理装置。
（７）
前記作成部は、現在地から目的地までのルート、前記目的地のカテゴリを示すアイコン及び前記目的地を設定した搭乗者を示すアイコンを表示する画面を作成する前記（１）～（６）のいずれかに記載の画像処理装置。
（８）
前記作成部は、さらに、現在地とあらかじめ対応付けられた音楽を再生するための音声を作成する前記（１）～（７）のいずれかに記載の画像処理装置。
（９）
前記作成部によって作成された画面の表示時間に応じて、目的地までのルート及び前記自動車の走行速度を変更する走行制御部をさらに有することを特徴とする前記（１）～（８）のいずれかに記載の画像処理装置。
（１０）
自動車に備えられたスクリーンと、前記スクリーンに画像を投影するプロジェクタと画像処理装置とを有する表示システムであって、
前記画像処理装置は、
複数のモードのいずれかに属する画面を、自動車に備えられたスクリーン上に表示するアプリケーションの画面を作成する作成部と、
前記アプリケーションに対し、表示中の画面を同一モードの画面に切り替える操作が行われた場合、前記自動車の走行方向と平行又は垂直な第１の方向に、切り替え前後の画面を移動させ、表示中の画面を異なるモードの画面に切り替える操作が行われた場合、前記第１の方向と垂直な第２の方向に、切り替え前後の画面を移動させる切替部と、
を備える表示システム。
（１１）
コンピュータが、
複数のモードのいずれかに属する画面を、自動車に備えられたスクリーン上に表示するアプリケーションの画面を作成し、
前記アプリケーションに対し、表示中の画面を同一モードの画面に切り替える操作が行われた場合、前記自動車の走行方向と平行又は垂直な第１の方向に、切り替え前後の画面を移動させ、表示中の画面を異なるモードの画面に切り替える操作が行われた場合、前記第１の方向と垂直な第２の方向に、切り替え前後の画面を移動させる画像処理方法。
（１２）
コンピュータを、
複数のモードのいずれかに属する画面を、自動車に備えられたスクリーン上に表示するアプリケーションの画面を作成する作成部と、
前記アプリケーションに対し、表示中の画面を同一モードの画面に切り替える操作が行われた場合、前記自動車の走行方向と平行又は垂直な第１の方向に、切り替え前後の画面を移動させ、表示中の画面を異なるモードの画面に切り替える操作が行われた場合、前記第１の方向と垂直な第２の方向に、切り替え前後の画面を移動させる切替部と、
として機能させるためのプログラムを記録した記録媒体。

【符号の説明】

【0088】

１０ 画像処理装置
１１ 入力部
１２ 通信部
１３ 情報処理部
１４ 表示出力制御部
２０ プロジェクタ
３０ プロジェクタスクリーン
３１ 液晶ディスプレイ
４０ 画像表示装置
５０ 音声出力装置
６０ 自動運転制御装置
７０ ルート制御装置
１４１ コンテンツ取得部
１４２ 画像音声作成部
１４３ 入力情報蓄積部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】