特開 2023-125952 情報処理装置及び画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023125952

(43)【公開日】2023-09-07

(54)【発明の名称】情報処理装置及び画像表示方法

(51)【国際特許分類】

   G06F 3/04845 20220101AFI20230831BHJP

   G06F 3/04842 20220101ALI20230831BHJP

   G06F 3/0488 20220101ALI20230831BHJP

   B60R 11/02 20060101ALI20230831BHJP

【ＦＩ】

G06F3/0484 150

G06F3/0484 120

G06F3/0488

B60R11/02 C

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022030346

(22)【出願日】2022-02-28

(71)【出願人】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】塩口 拓真

【テーマコード（参考）】

3D020

5E555

【Ｆターム（参考）】

3D020BA04

3D020BB01

3D020BC02

3D020BD05

3D020BE03

5E555AA04

5E555BA23

5E555BB23

5E555BC04

5E555BC05

5E555BC18

5E555CA13

5E555CA42

5E555CB07

5E555CB13

5E555CB17

5E555CB33

5E555CB34

5E555CB45

5E555CB52

5E555CB53

5E555CB55

5E555CC01

5E555CC05

5E555CC24

5E555CC25

5E555CC26

5E555DB18

5E555DB20

5E555DB53

5E555DC13

5E555DC19

5E555DC26

5E555DC27

5E555DC72

5E555DC84

5E555EA07

5E555EA14

5E555FA00

(57)【要約】      （修正有）

【課題】従来よりも少ない操作手順かつ簡易な操作方法で、利用者が所望する画像を表示する。
【解決手段】情報処理装置は、表示装置と、タッチセンサ部と、記憶装置と、１以上の機能に対応する１以上のオブジェクト（２１ａ，２１ｂ，２１ｃ，２２，２３，２４）を表示装置のスクリーンに表示させ、タッチセンサ部からの出力信号に基づいてオブジェクトの表示内容を変化させる制御部と、を備える。制御部は、オブジェクトの１つに対する第１のピンチアウト操作を検出した場合に、当該オブジェクトの表示領域を拡大し、拡大後の表示領域に対応機能による画像を表示する制御信号を表示装置に出力する。また、制御部は、表示領域を拡大したオブジェクトに対する第２のピンチアウト操作を検出した場合に、当該第２のピンチアウト操作がなされた領域を中心に当該オブジェクト内の表示画像を拡大表示する制御信号を表示装置に出力する。
【選択図】図４

【特許請求の範囲】

【請求項1】

機能に応じた画像を表示可能な情報処理装置であって、
画像を表示するとともに、接触操作を受け付けるスクリーンを有する表示装置と、
前記表示装置のスクリーン上への物体の接触を検知し、接触点の位置情報を出力するタッチセンサ部と、
プログラム及びデータを記憶する記憶装置と、
プログラムを実行することにより、１以上の前記機能に対応する１以上のオブジェクトを前記表示装置のスクリーンに表示させる制御を行い、前記タッチセンサ部からの出力信号に基づいて前記オブジェクトの表示内容を変化させる制御を行う制御部と、
を備え、
前記制御部は、前記タッチセンサ部の出力信号に基づいて、前記オブジェクトの１つに対する第１のピンチアウト操作を検出した場合に、当該オブジェクトの表示領域を拡大し、拡大後の表示領域に当該オブジェクトに対応する機能による画像を表示する制御信号を前記表示装置に出力し、
前記制御部は、前記タッチセンサ部の出力信号に基づいて、前記表示領域を拡大したオブジェクトに対する第２のピンチアウト操作を検出した場合に、当該第２のピンチアウト操作がなされた領域を中心に当該オブジェクト内の表示画像を拡大表示する制御信号を前記表示装置に出力する
ことを特徴とする情報処理装置。

【請求項2】

前記第１のピンチアウト操作は、前記スクリーン上に２点で接触し、この２つの接触点の距離が拡がっていく操作であり、
前記第２のピンチアウト操作は、前記スクリーン上に３点で接触し、これら３つの接触点のうち、隣接する２つの接触点とその他の１つの接触点との距離が拡がっていく操作である
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記１以上のオブジェクトのうちの少なくとも何れかは、
起動直後は、表示領域に前記画像を表示しない第１の表示属性で表示され、前記第１のピンチアウト操作の検出によって表示領域が拡大された後は、表示領域に前記画像を表示する第２の表示属性で表示される
ことを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記制御部は、前記スクリーン上で、複数の前記オブジェクトを前記第２の表示属性で同時に表示可能とする
ことを特徴とする請求項３に記載の情報処理装置。

【請求項5】

第１のピンチイン操作は、前記スクリーン上に２点で接触し、この２つの接触点の距離が狭まっていく操作であって、
前記制御部は、前記第２の表示属性で表示された前記オブジェクトに対する前記第１のピンチイン操作を検出した場合に、当該オブジェクトの表示領域を縮小して前記第１の表示属性で表示する制御信号を前記表示装置に出力する
ことを特徴とする請求項３に記載の情報処理装置。

【請求項6】

第２のピンチイン操作は、前記スクリーン上に３点で接触し、これら３つの接触点のうち、隣接する２つの接触点とその他の１つの接触点との距離が狭まっていく操作であって、
前記制御部は、前記表示領域を拡大したオブジェクトに対する前記第２のピンチイン操作を検出した場合に、当該第２のピンチアウト操作がなされた領域を中心に当該オブジェクト内の表示画像を縮小表示する制御信号を前記表示装置に出力する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項7】

第１のドラッグ操作は、前記スクリーン上に２点で接触し、この２つの接触点の距離が維持されたまま移動する操作であって、
前記制御部は、前記タッチセンサ部の出力信号に基づいて、前記オブジェクトの１つに対する前記第１のドラッグ操作を検出した場合に、当該第１のドラッグ操作における移動量及び移動方向に応じて、前記スクリーンにおける当該オブジェクトの表示位置を移動し、当該オブジェクトの移動により他のオブジェクトの表示領域と重複する場合には、当該他のオブジェクトの表示位置または表示領域をさらに変更する制御信号を前記表示装置に出力する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項8】

第２のドラッグ操作は、前記スクリーン上に３点で接触し、これら３つの接触点の相互距離が維持されたまま移動する操作であって、
前記制御部は、前記タッチセンサ部の出力信号に基づいて、前記表示領域を拡大したオブジェクトに対する前記第２のドラッグ操作を検出した場合に、当該第２のドラッグ操作における移動量及び移動方向に応じて、当該オブジェクトに表示する画像のアングルを変更する制御信号を前記表示装置に出力する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項9】

前記情報処理装置は、車両の外部を撮影するカメラが接続された車載機器であって、
前記制御部は、前記カメラの撮影データに基づいて、車両の周囲の状況を表す周辺環境映像を生成し、
前記制御部は、前記タッチセンサ部の出力信号に基づいて前記オブジェクトの１つに対する第１のピンチアウト操作を検出した場合に、当該オブジェクトの表示領域を拡大し、拡大後の表示領域に当該オブジェクトに対応する機能による前記周辺環境映像を表示する制御信号を前記表示装置に出力する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項10】

前記車両のアクセサリ電源の起動を契機として、前記制御部は、前記１以上のオブジェクトを前記表示装置のスクリーンに表示させる
ことを特徴とする請求項９に記載の情報処理装置。

【請求項11】

機能に応じた画像を表示可能な情報処理装置による画像表示方法であって、
前記情報処理装置は、
画像を表示するとともに、接触操作を受け付けるスクリーンを有する表示装置と、
前記表示装置のスクリーン上への物体の接触を検知し、接触点の位置情報を出力するタッチセンサ部と、
プログラム及びデータを記憶する記憶装置と、
プログラムを実行することにより、１以上の前記機能に対応する１以上のオブジェクトを前記表示装置のスクリーンに表示させる制御を行い、前記タッチセンサ部からの出力信号に基づいて前記オブジェクトの表示内容を変化させる制御を行う制御部と、
を有し、
前記制御部が、前記タッチセンサ部の出力信号に基づいて、前記オブジェクトの１つに対する第１のピンチアウト操作を検出した場合に、当該オブジェクトの表示領域を拡大し、拡大後の表示領域に当該オブジェクトに対応する機能による画像を表示する制御信号を前記表示装置に出力する、表示領域拡大ステップと、
前記制御部が、前記タッチセンサ部の出力信号に基づいて、前記表示領域拡大ステップで前記表示領域が拡大されたオブジェクトに対する第２のピンチアウト操作を検出した場合に、当該第２のピンチアウト操作がなされた領域を中心に当該オブジェクト内の表示画像を拡大表示する制御信号を前記表示装置に出力する、表示画像拡大ステップと、
を備える
ことを特徴とする画像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置及び画像表示方法に関し、特に、車両に搭載されて運転を支援する画像を表示するのに好適な情報処理装置及びその画像表示方法に関する。

【背景技術】

【0002】

従来、車両に搭載されたカメラ映像等を表示画面に表示する情報処理装置が知られている。一般的には、表示画面には、最初にホーム画面と呼ばれる画面が表示されて、運転者が利用可能な複数の機能が提示される。運転者はこれらの機能のうちから所望する機能を選択し起動させることにより、例えばカメラ映像を表示画面に表示させて、車両の発進時や駐車時の安全確認に利用することができる。

【0003】

例えば特許文献１には、車両の発進時に、運転者に対して周囲状況を的確に提供することを目的とした車両用発進支援装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５－０７９４２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１に開示された車両用発進支援装置を含め、車両に搭載される従来の表示機能付きの情報処理装置では、ホーム画面は、メーカの都合に沿った画一的なレイアウトで構成され、一般的には、運転者が利用可能な複数の機能が機能メニューの形式で表示されるものであった。このような従来の情報処理装置において運転者がカメラ画像の表示機能等を利用するためには、ホーム画面で所望の機能を選択し、当該機能を起動させる必要があった。さらに、起動後に表示されるカメラ画像は、予め定められた設定に沿った画像であり、表示画像の調整（例えば、画像の拡大や縮小、画像の指定範囲の変更）を希望する際には、より煩雑な操作が要求される。すなわち、従来技術では、運転者が、車両の発進時や駐車時にホーム画面からカメラ画像等を表示させようとするときに、煩雑な操作が必要となり、運転操作を行うまでに手間と時間が掛かってしまう可能性があった。また、必要な操作手順が多いことから、運転者が誤操作等の不用意な操作を行ってしまう可能性もあった。

【0006】

本発明は以上の点を考慮してなされたもので、従来よりも少ない操作手順かつ簡易な操作方法で、利用者が所望する画像を表示することが可能な情報処理装置及び画像表示方法を提案するものである。

【課題を解決するための手段】

【0007】

かかる課題を解決するため本発明においては、例えば、機能に応じた画像を表示可能な情報処理装置であって、画像を表示するとともに、接触操作を受け付けるスクリーンを有する表示装置と、前記表示装置のスクリーン上への物体の接触を検知し、接触点の位置情報を出力するタッチセンサ部と、プログラム及びデータを記憶する記憶装置と、プログラムを実行することにより、１以上の前記機能に対応する１以上のオブジェクトを前記表示装置のスクリーンに表示させる制御を行い、前記タッチセンサ部からの出力信号に基づいて前記オブジェクトの表示内容を変化させる制御を行う制御部と、を備え、前記制御部は、前記タッチセンサ部の出力信号に基づいて、前記オブジェクトの１つに対する第１のピンチアウト操作を検出した場合に、当該オブジェクトの表示領域を拡大し、拡大後の表示領域に当該オブジェクトに対応する機能による画像を表示する制御信号を前記表示装置に出力し、前記制御部は、前記タッチセンサ部の出力信号に基づいて、前記表示領域を拡大したオブジェクトに対する第２のピンチアウト操作を検出した場合に、当該第２のピンチアウト操作がなされた領域を中心に当該オブジェクト内の表示画像を拡大表示する制御信号を前記表示装置に出力することを特徴とする情報処理装置が提供される。

【発明の効果】

【0008】

本発明によれば、従来よりも少ない操作手順かつ簡易な操作方法で、利用者が所望する画像を表示することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態に係る情報処理装置１の構成例を示すブロック図である。

【図2】情報処理装置１による処理の手順例を示すフローチャートである。

【図3】ホーム画面２０の構成例を示す図である。

【図4】ホーム画面２０の表示遷移例を説明するための図である。

【図5】３本指操作に伴う表示画像のトリミング及びアングルの変更について説明するための図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して、本発明の一実施形態を詳述する。

【0011】

なお、以下の記載及び図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略及び簡略化がなされている。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。本発明が実施形態に制限されることは無く、本発明の思想に合致するあらゆる応用例が本発明の技術的範囲に含まれる。本発明は、当業者であれば本発明の範囲内で様々な追加や変更等を行うことができる。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は複数でも単数でも構わない。

【0012】

また、以下の説明では、同種の要素を区別せずに説明する場合には、添字や枝番を含む参照符号のうちの共通部分（添字や枝番を除く部分）を使用し、同種の要素を区別して説明する場合には、添字や枝番を含む参照符号を使用することがある。例えば、ホーム画面を特に区別せずに説明する場合には「ホーム画面２０」と記載するのに対して、遷移状態によってホーム画面２０を区別して説明する場合には「ホーム画面２０Ａ」、「ホーム画面２０Ｂ」、「ホーム画面２０Ｃ」のように記載する。

【0013】

図１は、本発明の一実施形態に係る情報処理装置１の構成例を示すブロック図である。情報処理装置１は、例えば自動車等の車両に搭載される車載装置であって、代表的にはプロセッサ、メモリ、記憶装置、及び各種インタフェース等を有して構成される計算機である。図１に示すように、情報処理装置１は、制御部１１、記憶装置１２、表示装置１３、及びタッチセンサ部１４を備える。また、情報処理装置１は外部のカメラ１５と接続されているが、このカメラ１５は情報処理装置１の構成の一部であってもよい。以下では、情報処理装置１が車両に搭載される場合について説明する。

【0014】

制御部１１は、情報処理装置１の全体を制御する。制御部１１は、例えばプロセッサであり、記憶装置１２に保持されたプログラムを読み出して実行することにより、情報処理装置１の各構成（表示装置１３やタッチセンサ部１４）に対する各種制御を実現する。なお、以降の説明では、記載の簡略化のために、制御部１１による制御の説明を省略することがある。具体的には例えば、表示装置１３の表示画面における画像の表示は、画像表示を制御する表示信号が制御部１１から表示装置１３に送られることに基づいて実現されるが、これを「表示装置１３が表示する」等のように簡略化して記載することがある。

【0015】

記憶装置１２は、主記憶装置（メモリ）及び補助記憶装置であって、プログラムや各種データを記憶する。

【0016】

なお、情報処理装置１において、プログラムを実行して行う処理の主体はプロセッサに限定されるものではなく、処理の一部または全部を行うハードウェア回路を含んでもよい。また、情報処理装置１において実行されるプログラムは、記憶装置１２に記憶されたものに限定されず、プログラム配布サーバまたは情報処理装置１が読み取り可能な記憶メディア等のプログラムソース（不図示）から、情報処理装置１の記憶装置１２にインストールされて実行されるものであってもよい。

【0017】

表示装置１３は、接触操作（タッチ操作）を受付可能なスクリーンを有する表示装置である。表示装置１３は、制御部１１からの表示信号に従って、スクリーン上に、利用者（例えば車両の運転者または同乗者）に向けた様々な画像を表示する。表示装置１３のスクリーンにおいて利用者の指等による接触操作（タッチ操作）が行われた場合には、タッチセンサ部１４がその接触点を検知し、接触点の位置情報を示す信号をリアルタイムで制御部１１に出力する。表示装置１３に表示される画像は、静止画像でもよいし動画像でもよい。また、情報処理装置１は、表示装置１３以外の出力装置として、音声出力を行うスピーカ等を備えてもよい。

【0018】

カメラ１５は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等の撮像素子を有するカメラである。情報処理装置１が車載機器である場合、車両の外部を撮像するために、車両に複数のカメラ１５が搭載され、それぞれ指定領域を撮影する。詳細は後述するが、情報処理装置１は、１または複数のカメラ１５によって撮影された映像に基づいて、車両の周囲状況を映した周辺環境映像を生成し、表示装置１３に周辺環境映像を表示する。なお、周辺環境映像を生成するために用いられる情報は、カメラ１５によって撮影された映像データだけに限定されず、車両に搭載されたＬｉＤＡＲ（Light Detection And Ranging）やソナー等のセンサによって取得された情報と、上記の映像データとを組み合わせて、周辺環境映像を生成してもよい。この場合、ＬｉＤＡＲやソナー等のセンサは情報処理装置１に接続される。また、カメラ１５と同様に、これらのセンサも情報処理装置１の構成の一部であってもよい。

【0019】

図２は、情報処理装置１による処理の手順例を示すフローチャートである。図２に示す処理は、車両のアクセサリ（ＡＣＣ）電源がＯＮになり、情報処理装置１が起動した後に実行される。なお、図２では、表示装置１３における表示に関する制御のうち、代表的な表示遷移に対応する制御について、その制御の処理例を示している。

【0020】

図２によればまず、情報処理装置１が起動すると、制御部１１が、カメラ１５、またはその他のセンサから、車両の周囲の状況を取得し、取得した情報に基づいて、車両の様々な方向の周囲状況を表す周辺環境映像を生成する（ステップＳ１０１）。本例では、所定の方向別（車両左後方、車両右後方、車両前方）に、複数の周辺環境映像が生成される。なお、ステップＳ１０１以降、制御部１１は、継続的に最新の周辺環境映像を生成する。

【0021】

次に、制御部１１は、表示装置１３の表示画面（スクリーン）においてホーム画面２０の表示を開始する（ステップＳ１０２）。ホーム画面２０には、利用者に提供可能な機能に対応する複数のオブジェクトが、利用者の指によるタッチ操作が可能な形式で配置される。ホーム画面２０の詳細は、図３等を参照しながら後述する。

【0022】

ステップＳ１０２において開始直後に表示されるホーム画面２０では、複数のオブジェクトが、ボタン形式で表示され、例えば各ボタンの領域内に、対応する機能を表す文字列（アイコン等でもよい）が示される。ホーム画面２０に表示されたボタンに対して、利用者は「２本指操作」を行うことができる。

【0023】

「２本指操作」とは、２本の指先で表示画面（スクリーン）にタッチして行う操作である。２本の指先は、主に親指と人差し指を想定しているが、他の指であってもよい。本実施形態では、２本指操作は、タッチ後の指先の動作により、さらに複数の操作に分けられる。具体的には、２本の指先でタッチした後に指先の幅を広げるピンチアウトの動作を行うことを「２本指によるピンチアウト操作」、２本の指先でタッチした後に指先の幅を狭めるピンチインの動作を行うことを「２本指によるピンチイン操作」と称する。他にも、２本の指先でタッチした後に指先の幅を変えることなく移動させる「２本指によるドラッグ操作」を受け付けるようにしてもよい。

【0024】

ステップＳ１０２で表示されたホーム画面２０の何れかのボタンの領域に対して利用者が２本指操作を開始した場合、タッチセンサ部１４が、検知した２か所の接触点の位置情報を示す信号を制御部１１に送信する（ステップＳ１０３）。タッチセンサ部１４は、指先がスクリーンから離れて接触点の検知が終わるまで、接触点の変化を継続して検知し、その位置情報を制御部１１に送信する。このような信号の受信に基づいて、制御部１１は、どの機能の領域（ボタン）が２本の指でタッチされたことを検出し、さらに以降の指先の動作に応じて、ピンチアウト、ピンチイン、またはドラッグの何れの操作が行われたかを識別（検出）する。

【0025】

ステップＳ１０３で開始された２本指操作がピンチアウトの動作であり、そのピンチアウトの移動量が規定量以上になったことを検出すると、制御部１１は、タッチ先のオブジェクトの表示態様を、第１の表示属性（例えばボタン）から第２の表示属性（例えばウィジェット）に変更する（ステップＳ１０４）。

【0026】

なお、上記の２本指によるピンチアウト操作が有効なボタンは、ホーム画面２０に表示される複数のボタンのうち、少なくとも、画像を表示する機能に対応するボタンであればよい。後述する図３の場合、周辺環境映像の表示機能に対応するボタン２１ａ，２１ｂ，２１ｃ、または地図情報の表示機能に対応するボタン２３が該当する。例えば、右ミラー画像（詳細は後述する）の表示機能に対応するボタン２１ｃに対して、規定量以上にピンチアウトする２本指操作を検出すると、制御部１１は、ボタン２１ａの表示領域をウィジェットのサイズに拡大する。ウィジェットのサイズは、ボタンのサイズよりも大きいが、その大きさはシームレスに変更可能であってもよいし、予め定められた１以上の規定サイズの何れかに拡大されるようにしてもよい。

【0027】

そして、指先がスクリーンから離れ、２本指によるピンチアウト操作の検出が終了すると、制御部１１は、ウィジェットのサイズに拡大した表示領域に、対応する機能の情報を表示する（ステップＳ１０５）。例えば、後述する図４（Ａ）～（Ｂ）には、右ミラー画像の表示機能が割り当てられたボタン２１ｃに対して規定量以上にピンチアウトする２本指操作が行われた結果、ボタン２１ｃの表示領域が拡大してウィジェット２５Ｂに変更され、ウィジェット２５Ｂ内に右ミラー画像が表示されることが示される。なお、ボタンからウィジェットに遷移する際は、拡大される表示領域と重複しないように、他のボタンのレイアウトが適宜変更され、具体的には、位置の移動やサイズの縮小等が行われる（図４（Ｂ）のボタン２１ａ，２１ｂ，２２を参照）。

【0028】

次いで、ウィジェットが表示されたホーム画面２０において、利用者は、当該ウィジェットの領域に対して、さらなる指操作を行うことができる。本実施形態では、ウィジェットに対して有効な指操作として、上述した２本指によるピンチインまたはピンチアウトの操作の他に、複数種類の３本指操作が用意される。

【0029】

「３本指操作」とは、３本の指先で表示画面（スクリーン）にタッチして行う操作である。３本の指先は、主に親指、人差し指、及び中指を想定しているが、他の指であってもよい。本実施形態では、３本指操作は、タッチ後の指先の動作により、複数の種類に分けられる。具体的には、３本の指先でタッチした後に、近接する２つの接触点（例えば人差し指と中指の指先）の距離を維持したまま、残りの１つの接触点（例えば親指の指先）との距離を大きくするピンチアウトの動作を行うことを「３本指によるピンチアウト操作」と称する。一方、３本の指先でタッチした後に、近接する２つの接触点の距離を維持したまま、残りの１つの接触点との距離を小さくするピンチインの動作を行うことを「３本指によるピンチイン操作」と称する。また、３本の指先でタッチした後に、３つの接触点の相互距離を維持したまま、３つの接触点を何れかの方向に移動させるドラッグの動作を行うことを「３本指によるドラッグ操作」と称する。なお、図２では、簡略のため、３本指によるピンチアウト操作が行われたときの表示制御を省略している。

【0030】

制御部１１は、ウィジェットが表示されたホーム画面２０において、当該ウィジェットの領域に対して利用者が３本指操作を開始したことを検出すると（ステップＳ１０６）、検出した３本指操作の種類を判別し（ステップＳ１０７）、その種類に応じて、ウィジェットに表示する画像（例えば周辺環境映像）を調整する。

【0031】

ウィジェットの領域に対して３本指によるピンチアウト操作が行われた場合、制御部１１は、当該ウィジェットに表示する画像を、３本指の指先の位置から決定される基準点を中心に、ピンチアウトの拡大率に応じてプラス方向にトリミングする（ステップＳ１０８）。図２では省略したが、ウィジェットの領域に対して３本指によるピンチイン操作が行われた場合には、制御部１１は、当該ウィジェットに表示する画像を、３本指の接触点から決定される基準点を中心に、ピンチインの縮小率に応じてマイナス方向にトリミングする。基準点の決定及びトリミングについては、図５で詳しく説明する。

【0032】

一方、ウィジェットの領域に対して３本指によるドラッグ操作が行われた場合、制御部１１は、ドラッグの移動方向及び移動距離に応じて、当該ウィジェットに表示する画像のアングルを変更する（ステップＳ１０９）。アングルの変更については、図５で詳しく説明する。

【0033】

ステップＳ１０８，Ｓ１０９の処理は、３本指操作の動作に対応してリアルタイムで行われるため、３本指の少なくとも１以上の指先が離れた時点で、制御部１１は、３本指操作の終了を検出してステップＳ１０８，Ｓ１０９の表示制御を終了する（ステップＳ１１０）。

【0034】

その後は、再びウィジェットに対する３本指操作が行われることもあるが、図２では、省略している。また、これも図２では省略しているが、ウィジェットの領域に対して２本指によるピンチアウト操作が行われた場合は、制御部１１は、ホーム画面２０において予め定められた拡張可能な最大領域までの範囲内で、当該ウィジェットを拡大して表示する制御を行う。このとき、ウィジェット内に表示される画像（例えば右ミラー画像）は、倍率及びアングルは変更されずに表示範囲だけが拡張される。

【0035】

そして図２には、ステップＳ１０８またはステップＳ１０９の後に、ウィジェットの領域に対して２本指によるピンチイン操作が行われた場合の処理を示している。この場合、制御部１１は、ピンチインの移動量が規定量以上になったことを検出すると、当該領域の表示態様を、現在の表示属性（ウィジェット）から元の表示属性（ボタン）に変更する（ステップＳ１１１）。この結果、表示装置１３の表示は、ステップＳ１０２におけるホーム画面２０に戻る。

【0036】

以上、図２に示した表示制御は、ホーム画面２０に表示された何れかのオブジェクトが選択されて当該オブジェクトの機能がスクリーン上に全画面で表示されるか、情報処理装置１が搭載された車両のアクセサリ電源がオフになるまで続けられる。すなわち、利用者側からすると、従来の一般的なホーム画面では、所望する表示機能を選択し、当該機能を全画面に展開させた上で、画像に対するトリミングやアングルの変更等の操作を行う必要があったところ、本実施形態に係る情報処理装置１によるホーム画面２０では、利用者は、個別の機能を全画面で展開しなくとも、複数のオブジェクトが表示されたホーム画面２０において、所望の表示機能の画像をウィジェット内に表示させることができる。さらに利用者は、表示された画像に対するトリミングやアングルの変更等の操作を行うことができる。また、これらの操作は２本指操作または３本指操作であることから、利用者は、片手で容易に操作が可能である。

【0037】

また、図２に関する上記説明では、「右ミラー画像表示」という１つの表示機能のオブジェクトに対する表示制御を説明したが、制御部１１は、ホーム画面２０に表示された複数の表示機能に対して、同様の表示制御を並行して実行することができる。具体的には例えば、右ミラー画像表示のボタン２１ｃをウィジェット表示に変更した後に、左ミラー画像表示のボタン２１ａもウィジェット表示に変更するといったことが可能である。このような表示制御が行われることにより、利用者は、ホーム画面２０において複数の機能を同時に利用することができる。

【0038】

以下では、上述したホーム画面２０に対する各種の表示制御について、図３～図５を参照しながら、より詳しく説明する。

【0039】

図３は、ホーム画面２０の構成例を示す図である。図３に示したホーム画面２０Ａは、情報処理装置１の起動後に最初に表示されるホーム画面２０の一例であって、複数のオブジェクトがボタン２１ａ，２１ｂ，２１ｃ，２２，２３，２４として表示されている。ボタン２２は、対応する機能である日時表示が直接行われているが、それ以外のボタンは、対応する機能を表す文字列（アイコン等でもよい）を表示することにより、当該ボタンを操作したときに提供される機能を利用者が容易に判断できるようにしている。以下、個々のボタンについて説明する。

【0040】

ボタン２１ａ～２１ｃは、カメラ１５で撮影された車両の周辺環境映像の表示機能に対応するオブジェクトである。個別に説明すると、ボタン２１ａは左ミラー画像を表示する機能に対応し、ボタン２１ｃは右ミラー画像を表示する機能に対応し、ボタン２１ｂは前カメラ画像を表示する機能に対応する。左ミラー画像は、車両の左後方の周辺環境映像であって、主に、車両の左サイドミラー周辺に設置されたカメラ１５によって撮影された映像から生成される。右ミラー画像は、車両の右後方の周辺環境映像であって、主に、車両の右サイドミラー周辺に設置されたカメラ１５によって撮影された映像から生成される。前カメラ画像は、車両の前側下方の周辺環境映像であって、主に、車両の前側に設置されたカメラ１５によって撮影された映像から生成される。上記のように、ボタン２１ａ～２１ｃは、周辺環境映像の表示機能に対応するオブジェクトという点で共通するため、ボタン２１と総称することがある。

【0041】

ボタン２２は、現在の日時を表示する機能に対応するボタンである。ボタン２３は、地図情報を表示する機能に対応するボタンである。ボタン２４は、電話機能に対応するボタンである。

【0042】

上記の各ボタン２１～２４は、利用者が任意の１つのボタンを２本指または３本指でタッチしドラッグ操作を行った場合に、制御部１１の制御により、ホーム画面２０におけるボタンの配置が変更される（レイアウト変更）。このレイアウト変更の制御は公知の技術であり、詳細な説明を省略する。

【0043】

また、上記の各ボタン２１～２４のうち、少なくとも、周辺環境映像の表示機能に対応するボタン２１及び地図情報の表示機能に対応するボタン２３は、図２のステップＳ１０３～Ｓ１０５で説明したように、利用者が当該ボタンの領域に対して規定量以上にピンチアウトする２本指操作を行った場合に、その表示態様が第１の表示属性（ボタン）から第２の表示属性（ウィジェット）に切り替えられ、対応する機能がウィジェット内で提供される。そして、図２のステップＳ１１１で説明したように、ウィジェットに切り替えられた後は、当該ウィジェットの領域に対して規定量以上にピンチインする２本指操作が行われた場合に、その表示態様が第２の表示属性（ウィジェット）から第１の表示属性（ボタン）に切り替えられる。

【0044】

図４は、ホーム画面２０の表示遷移例を説明するための図である。図４（Ａ）には、情報処理装置１の起動後に最初に表示されるホーム画面２０の一例としてホーム画面２０Ａが示されている。図４（Ｂ）には、ボタン表示からウィジェット表示に切り替えられた際のホーム画面２０の一例としてホーム画面２０Ｂが示されている。図４（Ｃ）には、ウィジェット表示に対して３本指によるピンチアウト操作が行われたときのホーム画面２０の一例としてホーム画面２０Ｃが示されている。

【0045】

図４（Ａ）に示したホーム画面２０Ａは、図３に示したホーム画面２０Ａと同じである。ホーム画面２０Ａにおいて、ボタン２１ｃは、「Ｒ Ｍｉｒｒｏｒ」という文字列が表記されることで、右ミラー画像の表示機能に対応するオブジェクトであることを示唆している。

【0046】

ホーム画面２０Ａのボタン２１ｃの領域に対して、利用者３０が２本指による規定量以上のピンチアウト操作を行うと、図４（Ｂ）のホーム画面２０Ｂに遷移する。

【0047】

図４（Ｂ）に示すように、ホーム画面２０Ｂでは、右ミラー画像の表示機能に対応するボタン２１ｃがウィジェット２５Ｂに変更され、ウィジェット２５Ｂ内に右ミラー画像が表示されている。図４（Ａ）と図４（Ｂ）とを比較すると明らかなように、ウィジェット２５Ｂはボタン２１ｃよりも大きい領域で表示される。また、ホーム画面２０Ｂでは、ウィジェット２５Ｂの表示領域を確保するために、ボタン２２の表示領域が小さく調整され、ボタン２１ｂ，２２の配置場所が変更される。

【0048】

ホーム画面２０Ｂのウィジェット２５Ｂの領域に対して、利用者３０が２本指による規定量以上のピンチイン操作を行うと、図４（Ａ）のホーム画面２０Ａに遷移し、ウィジェット表示がボタン表示に戻る。

【0049】

また、ホーム画面２０Ｂのウィジェット２５Ｂの領域に対して、利用者３０が３本指によるピンチアウト操作を行うと、図４（Ｃ）のホーム画面２０Ｃに遷移する。

【0050】

ホーム画面２０Ｃのウィジェット２５Ｃに表示される右ミラー画像は、図２のステップＳ１０８でも説明したように、ピンチアウト操作を行った３本指の指先の位置から決定される基準点を中心に、ピンチアウトの拡大率に応じてプラス方向にトリミングされている。

【0051】

図４には示していないが、ホーム画面２０Ｂのウィジェット２５Ｂの領域に対して、利用者３０が３本指によるピンチイン操作を行った場合は、ピンチイン操作を行った３本指の指先の位置から決定される基準点を中心に、ピンチインの縮小率に応じてマイナス方向にトリミングされた右ミラー画像が表示される。

【0052】

また、図４には示していないが、ホーム画面２０Ｂのウィジェット２５Ｂの領域に対して、利用者３０が３本指によるドラッグ操作を行った場合は、図２のステップＳ１０９で説明したように、ドラッグの移動方向及び移動距離に応じてアングルが変更された右ミラー画像が、遷移後のウィジェット２５Ｃに表示される。

【0053】

そして、ホーム画面２０Ｃのウィジェット２５Ｃの領域に対して、利用者３０が２本指による規定量以上のピンチイン操作を行った場合は、ウィジェット２５Ｂの領域に対して２本指による規定量以上のピンチイン操作を行った場合と同様に、図４（Ａ）のホーム画面２０Ａに遷移し、ウィジェット表示がボタン表示に戻る。

【0054】

以下では、表示画像のトリミング及びアングルの変更について、図５を参照しながら詳しく説明する。

【0055】

図５は、３本指操作に伴う表示画像のトリミング及びアングルの変更について説明するための図である。

【0056】

図５（Ａ）には、３本指操作を行っているときの利用者３０の手のモデルが示されている。利用者３０が、親指、人差し指、及び中指の３本の指先でスクリーンに触れるとき、人差し指による接触点を点Ａ、中指による接触点を点Ｂ、親指による接触点を点Ｃとする。また、線分ＡＢの中点と点Ｃとの距離を距離Ｄとし、線分ＡＢの中点と点Ｃとの中点を点Ｅとする。この点Ｅが、図２のステップＳ１０８の説明で述べた基準点に相当する。

【0057】

上記のようにＡ～Ｅを定義するとき、ウィジェットの領域に対して３本指操作が行われると、タッチセンサ部１４は、接触点である点Ａ～Ｃの座標情報を検知して制御部１１に伝え、制御部１１は、受け取った点Ａ～Ｃの座標情報を用いて距離Ｄ及び点Ｅの座標を算出する。

【0058】

ウィジェットの領域に対する３本指操作において、距離Ｄが変化せずに（所定範囲内の変化は許容するようにしてもよい）、点Ｅの座標が移動した場合、制御部１１は、３本指によるドラッグ操作が行われていると判断し、点Ｅの移動方向及び移動量に応じて、当該ウィジェットに表示する画像のアングルを変更する。

【0059】

図５（Ｂ），（Ｃ）には、距離Ｄが変化せずに点Ｅが移動したときのウィジェットの表示画像の変化例が示されている。具体的には、図５（Ｂ）のウィジェット２５Ａに表示された右ミラー画像は、後方車両のごく一部しか表示されていない点で、カメラ１５のアングルが好適ではない。これに対し、３本指によるドラッグ操作後の図５（Ｃ）のウィジェット２５Ｂでは、点Ｅの移動に応じてアングルが変更されたことにより、後方車両の略全体が表示されている。これは、利用者３０が右後方の安全を確認しやすいように改善された表示である。

【0060】

一方、ウィジェットの領域に対する３本指操作において、距離Ｄが増加（拡大）した場合、制御部１１は、３本指によるピンチアウト操作が行われていると判断し、点Ｅを基準点として、距離Ｄの拡大率に応じて、当該ウィジェットに表示する画像をプラス方向にトリミングする。また、距離Ｄが減少（縮小）した場合は、制御部１１は、３本指によるピンチイン操作が行われていると判断し、点Ｅを基準点として、距離Ｄの縮小率に応じて、当該ウィジェットに表示する画像をマイナス方向にトリミングする。

【0061】

図５（Ｄ），（Ｅ）には、距離Ｄが拡大したときのウィジェットの表示画像の変化例が示されている。具体的には、図５（Ｄ）のウィジェット２５Ｂに表示された右ミラー画像は、図５（Ｃ）のウィジェット２５Ｂに表示された右ミラーと同じであるが、後方車両の大きさが若干小さい。これに対し、３本指によるピンチアウト操作後の図５（Ｅ）のウィジェット２５Ｃでは、プラス方向のトリミングによって後方車両が大きく表示されており、利用者３０が右後方の安全をより注意深く確認しやすい表示となっている。

【0062】

以上に説明したように、本実施形態に係る情報処理装置１によれば、起動時に制御部１１によるプログラム処理によって表示装置１３のスクリーンに複数の機能に対応するオブジェクトを示すホーム画面２０が自動的に表示される。そして利用者（例えば車両の運転手）は、ホーム画面２０から何れかの表示機能を選択してカメラを起動させなくても、ホーム画面２０のなかで所望の表示機能のオブジェクトに対して片手で２本指のピンチアウト操作を行うことで、ウィジェット表示に切り替えて画像を表示させることができる。本実施形態において、オブジェクトに対するピンチアウトまたはピンチインの２本指操作は、オブジェクト（ボタン、ウィジェット）の表示サイズを変更する操作である。

【0063】

さらに、本実施形態に係る情報処理装置１によれば、画像を表示するウィジェット形式のオブジェクトに対して所定の３本指操作を行うことにより、オブジェクト（ウィジェット）に表示する画像範囲を変更することができる。より具体的には、ピンチアウトまたはピンチインの３本指操作が行われた場合には、表示画像のトリミングを行うことができ、ドラッグの３本指操作が行われた場合には、表示画像のアングルを変更することができる。このような３本指操作による表示画像の調整を可能とすることで、利用者は片手の簡易な操作で自身が見たい画像を視認できるようになる。

【0064】

したがって、本実施形態に係る情報処理装置１では、従来の一般的なホーム画面に比べて、少ない操作手順、かつ簡単な操作方法で、車両の周辺環境映像を表示させることができる。具体的には、利用者は、目視できないブラインドスポット等、確認が必要と想定されるカメラ映像を表示するウィジェットを、片手の２本指の操作で起動させることができる。さらにその後、利用者は、ウィジェット内のトリミングや拡大・縮小の操作についても、画面や操作モードを切り替えることなしに、片手の３本指の操作だけで行うことができる。この結果、本実施形態に係る情報処理装置１は、車両の発進時や停車時に、都度、ホーム画面２０からカメラ機能を起動させなくても、安全確認を運転者に促すことができる。

【0065】

なお、図４や図５に例示したウィジェットの表示画像は、いわゆる２次元ビューと呼ばれる２次元画像であったが、本実施形態でウィジェットに表示可能な画像は、これに限定されるものではなく、いわゆる３次元ビューと呼ばれる３次元画像であってもよい。また、２次元画像と３次元画像とを切り替える機能を追加してもよい。３次元画像を用いる場合、制御部１１は、既知の画像処理技術を利用して、カメラ１５やセンサ等によって取得されたデータに基づいて、３次元の仮想空間を生成し、仮想カメラでこの仮想空間を撮影したときに得られる映像を周辺環境映像としてウィジェット内に表示する。そして、ウィジェットに３次元画像を表示しているときに、３本指操作によってピンチアウトまたはピンチインの操作が行われた場合には、仮想カメラの位置及び向きを変えずに仮想空間をズームインまたはズームアウトして得られる映像をウィジェット内に表示する。また、ウィジェットに３次元画像を表示しているときに、３本指操作によってドラッグの操作が行われた場合には、図５で説明した点Ｅの移動量及び移動距離に応じて仮想カメラを車両を中心に移動させて、移動後の仮想カメラから仮想空間を撮影して得られる映像をウィジェット内に表示する。

【0066】

また、ホーム画面２０においては、複数のオブジェクトで同時にウィジェット表示を実行することができる。この結果、利用者は、個別の表示機能の画面に切り替えることなく、表示装置１３の限られた表示スペースのなかで、ホーム画面２０に複数の画像表示を並べて、使い勝手よく複数の周辺環境映像等を同時に確認できるため、安全に運転を行うことができる。

【0067】

また、ホーム画面２０においては、利用者の好みに合わせて片手操作（２本指によるドラッグ操作）でオブジェクトのレイアウトを容易に変更することができる。この結果、ユーザによる誤操作等の不用意な操作を防止することができる。

【0068】

なお、情報処理装置１は、利用者によって変更されたホーム画面２０のレイアウトを保存し、次回以降にホーム画面２０を表示する際に再現するようにしてもよい。この場合、具体的には、車両のアクセサリ電源がＯＦＦになる前に、制御部１１は、最終的なホーム画面２０のレイアウト情報を記憶装置１２に記憶させる。そして、アクセサリ電源が次にＯＮになった際、制御部１１は、記憶装置１２に記憶されたレイアウト情報を参照することにより、利用者の好みに応じたレイアウトでホーム画面２０を表示することが可能となる。

【0069】

また、上記したホーム画面２０のレイアウト設定の保存については、各オブジェクトの配置だけでなく、各オブジェクトの表示属性（すなわち、ボタン形式かウィジェット形式か）も保存できるようにしてもよい。さらに、ウィジェット形式の場合は、当該ウィジェットで表示する画像に対する表示設定（すなわち、トリミングやアングルの調整結果）も保存するようにしてもよい。また、ホーム画面２０のレイアウト設定をユーザ（利用者）単位で変更できるようにしてもよい。これらの機能を追加することにより、利用者の好みにより一層応える形態でホーム画面２０を提供することができるため、利用者による不用意な操作を防止して、操作性及び利便性を高める効果が得られる。

【0070】

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、ホーム画面２０に対して有効となる２本指操作と３本指操作とを入れ替えて構成してもよい。また、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を変形例の構成に置き換えることが可能であり、また、実施形態の構成に変形例の構成を加えることも可能である。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【符号の説明】

【0071】

１ 情報処理装置
１１ 制御部
１２ 記憶装置
１３ 表示装置
１４ タッチセンサ部
１５ カメラ
２０（２０Ａ～２０Ｃ） ホーム画面
２１（２１ａ～２１ｃ），２２，２３，２４ ボタン
２５（２５Ａ～２５Ｃ） ウィジェット
３０ 利用者

【図1】

【図2】

【図3】

【図4】

【図5】