特開 2022-188192 頭部装着型ディスプレイ装置、頭部装着型ディスプレイ装置の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022188192

(43)【公開日】2022-12-20

(54)【発明の名称】頭部装着型ディスプレイ装置、頭部装着型ディスプレイ装置の制御方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20221213BHJP

   G06F 3/0346 20130101ALI20221213BHJP

   G06F 3/04817 20220101ALI20221213BHJP

   G09G 5/00 20060101ALI20221213BHJP

   G09G 5/38 20060101ALI20221213BHJP

   G09G 5/377 20060101ALI20221213BHJP

【ＦＩ】

G06F3/01 510

G06F3/0346 422

G06F3/04817

G09G5/00 510A

G09G5/00 550C

G09G5/38 A

G09G5/36 520M

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022160637

(22)【出願日】2022-10-05

(62)【分割の表示】P 2020506020の分割

【原出願日】2018-03-14

(71)【出願人】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】吉澤 和彦

(72)【発明者】

【氏名】橋本 康宣

(72)【発明者】

【氏名】鶴賀 貞雄

(72)【発明者】

【氏名】吉田 進

(57)【要約】      （修正有）

【課題】揺れる車両内で使用する際に発生する誤操作を低減させる、頭部装着型ディスプレイ装置およびその制御方法を提供する。
【解決手段】頭部装着型ディスプレイ（視聴用装置１０）は、仮想視認空間領域を表示する画像表示部と、仮想視認空間領域内の所定領域に仮想操作パネル１８０ｔを設定して表示するプロセッサと、仮想操作パネルに対して操作を行う操作指示物（指２００）の映像を取得するアウトカメラ（第三画像入力部１３５）と、を備える。プロセッサは、操作指示物の映像を解析して、仮想操作パネルと操作指示物の、相対的かつ３次元的なブレ量を算出し、ブレ量に基づき、仮想操作パネルを算出したブレ量に追従するようにずらしながら表示する。
【選択図】図９Ｂ

【特許請求の範囲】

【請求項1】

頭部装着型ディスプレイ装置であって、
画像表示部と、
前記画像表示部を介した仮想視認空間領域内の所定距離に仮想操作パネルを設定して表示させるプロセッサと、
前記仮想操作パネルに対して操作を行う操作指示物の映像を取得するカメラと、
を備え、
前記プロセッサは、
前記カメラが取得した前記操作指示物の映像を解析して、前記仮想操作パネルの３次元的な位置を基準とした前記操作指示物の相対的かつ３次元的なブレ量を算出し、
前記操作指示物の相対的かつ３次元的なブレ量に基づいて、前記仮想操作パネルを前記相対的かつ３次元的なブレ量に追従するようにずらしながら表示するように制御する、
ことを特徴とする頭部装着型ディスプレイ装置。

【請求項2】

請求項１に記載の頭部装着型ディスプレイ装置であって、
前記プロセッサは、前記操作指示物の映像から前記操作指示物と前記仮想操作パネルとの距離を測定し、前記距離が閾値以上であるときは、前記仮想操作パネルをずらすことなく表示する、
ことを特徴とする頭部装着型ディスプレイ装置。

【請求項3】

請求項１に記載の頭部装着型ディスプレイ装置であって、
更に、頭部装着型ディスプレイ装置の状態を検出するセンサを備え、
前記プロセッサは、前記センサにより前記頭部装着型ディスプレイ装置が揺れていると判断されるときに前記仮想操作パネルにおける操作が行われると、前記操作が正しいか否かを確認するための確認画面を表示するように前記画像表示部を制御する、
ことを特徴とする頭部装着型ディスプレイ装置。

【請求項4】

請求項３に記載の頭部装着型ディスプレイ装置であって、
前記確認画面は重畳的に表示される、
ことを特徴とする頭部装着型ディスプレイ装置。

【請求項5】

請求項１に記載の頭部装着型ディスプレイ装置であって、
前記仮想操作パネルの３次元的な位置に対する前記操作指示物の前記相対的かつ３次元的なブレ量は、視線方向における前記仮想操作パネルのブレ量を含む、
ことを特徴とする頭部装着型ディスプレイ装置。

【請求項6】

請求項１に記載の頭部装着型ディスプレイ装置であって、
更に、頭部装着型ディスプレイ装置の状態を検出するセンサを備え、
前記プロセッサは、前記センサにより前記頭部装着型ディスプレイ装置の状態が車両乗車中ではなく、または車両乗車中であっても揺れが生じていないと判断した場合には、前記仮想操作パネルをずらすことなく表示させるように制御する、
ことを特徴とする頭部装着型ディスプレイ装置。

【請求項7】

画像表示部と、プロセッサと、カメラと、を備える頭部装着型ディスプレイ装置の制御方法であって、
前記プロセッサは、
前記画像表示部を介した仮想視認空間領域内の所定距離に仮想操作パネルを設定して表示させ、
前記カメラが取得した前記仮想操作パネルに対して操作を行う操作指示物の映像を解析して、前記仮想操作パネルの３次元的な位置を基準とした前記操作指示物の相対的かつ３次元的なブレ量を算出し、
前記操作指示物の相対的かつ３次元的なブレ量に基づいて、前記仮想操作パネルを前記相対的かつ３次元的なブレ量に追従するようにずらしながら表示するように制御する、
ことを特徴とする頭部装着型ディスプレイ装置の制御方法。

【請求項8】

請求項７に記載の頭部装着型ディスプレイ装置の制御方法であって、
前記プロセッサは、前記操作指示物の映像から前記操作指示物と前記仮想操作パネルとの距離を測定し、前記距離が閾値以上であるときは、前記仮想操作パネルをずらすことなく表示する、
ことを特徴とする頭部装着型ディスプレイ装置の制御方法。

【請求項9】

請求項７に記載の頭部装着型ディスプレイ装置の制御方法であって、
前記頭部装着型ディスプレイ装置は、更に、前記頭部装着型ディスプレイ装置の状態を検出するセンサを備え、
前記プロセッサは、前記センサにより前記頭部装着型ディスプレイ装置が揺れていると判断されるときに前記仮想操作パネルにおける操作が行われると、前記操作が正しいか否かを確認するための確認画面を表示するように前記画像表示部を制御する、
ことを特徴とする頭部装着型ディスプレイ装置の制御方法。

【請求項10】

請求項９に記載の頭部装着型ディスプレイ装置の制御方法であって、
前記確認画面は重畳的に表示される、
ことを特徴とする頭部装着型ディスプレイ装置の制御方法。

【請求項11】

請求項７に記載の頭部装着型ディスプレイ装置の制御方法であって、
前記仮想操作パネルの３次元的な位置に対する前記操作指示物の前記相対的かつ３次元的なブレ量は、視線方向における前記仮想操作パネルのブレ量を含む、
ことを特徴とする頭部装着型ディスプレイ装置の制御方法。

【請求項12】

請求項７に記載の頭部装着型ディスプレイ装置の制御方法であって、
前記頭部装着型ディスプレイ装置は、更に、前記頭部装着型ディスプレイ装置の状態を検出するセンサを備え、
前記プロセッサは、前記センサにより前記頭部装着型ディスプレイ装置の状態が車両乗車中ではなく、または車両乗車中であっても揺れが生じていないと判断した場合には、前記仮想操作パネルをずらすことなく表示させるように制御する、
ことを特徴とする頭部装着型ディスプレイ装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、タッチスクリーンを備えた携帯情報端末における誤操作防止技術に関する。

【背景技術】

【0002】

スマートホンやタブレット端末等の携帯情報端末の普及が進んでいる。これらの携帯情報端末はタッチスクリーンを備えており、ユーザは、タッチスクリーンにタッチ操作を行うことで、携帯情報端末に対する所望の操作指示を与えることができる。例えば、ユーザは、タッチスクリーン上のアイコン等が表示される領域を指等でタッチすることで、タッチ位置のアイコンに関連付けられたアプリケーションを起動させることができる。

【0003】

一般的に、タッチスクリーン上におけるアイコン等のオブジェクトの表示位置と、前記オブジェクトに対してタッチ操作が行われたことを検知する操作検知領域とは、概略一致して設定される。よって、タッチした位置がオブジェクトの表示位置（操作検知領域）からずれた場合、そのタッチ操作は前記オブジェクトに対する操作指示とは判別されず、誤った操作となる。

【0004】

これに関し特許文献１には、画面上を動くオブジェクトを選択する際に、誤操作の可能性を低減する技術が開示されている。前記特許文献１によれば、「画面上に表示された表示オブジェクトごとに、前記画面上での表示オブジェクトの移動速度に応じて、入力手段による座標の入力を受け付ける反応領域を当該表示オブジェクトの表示範囲より広く設定する」ことが記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１２－２１７１０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

前記特許文献１では、画面上に表示したオブジェクトが動く場合を取り上げているが、画面上のオブジェクトが静止している場合にも誤操作が生じる場合がある。例えば、ユーザが電車や自動車等に乗車中に携帯情報端末を使用する場合、車両の揺れに起因して誤操作が生じる可能性がある。具体的には、ユーザが左手で携帯情報端末の筐体を把持し、右手の指（または右手で把持したタッチペン等）でタッチスクリーンに対するタッチ操作を行う場合を想定する。車両の揺れに伴い、ユーザの左手と右手は揺れることになるが、両者の揺れ具合は必ずしも一致せず、その結果、タッチスクリーン上の狙った位置とは異なる位置をタッチしてしまうことになる。即ち、揺れる車両内で携帯情報端末を操作する場合、タッチ対象が画面上で静止しているオブジェクトの場合でも、誤操作を生じる可能性がある。このような状況で生じる誤操作については、前記特許文献１では考慮されていない。

【0007】

本発明の目的は、タッチスクリーンを備えた携帯情報端末において、揺れる車両内で使用する際に発生する誤操作を低減させることである。

【課題を解決するための手段】

【0008】

前記課題を解決するため、代表的な本発明の携帯情報端末は、画像表示部とタッチパネル部とを有するタッチスクリーンを備え、前記タッチスクリーンに対するタッチ操作により指示を行うものであって、前記画像表示部にタッチ操作の対象となるオブジェクトを表示させる表示制御部と、前記タッチスクリーンに対してタッチ操作を行う操作指示物の映像を取得する画像入力部と、前記画像入力部が取得した前記操作指示物の映像を解析して、前記携帯情報端末の位置を基準とした前記操作指示物の相対的なブレ量を算出するブレ検出部と、を備え、前記ブレ検出部で算出した前記操作指示物の相対的なブレ量に基づいて、前記表示制御部は、前記画像表示部に表示するオブジェクトを前記相対的なブレ量に追従するようにずらして表示させる構成とした。

【発明の効果】

【0009】

本発明によれば、タッチスクリーンを備えた携帯情報端末を揺れる車両内で使用する場合において、誤操作が低減してユーザの使い勝手が向上する。

【図面の簡単な説明】

【0010】

【図1A】携帯情報端末の一例を示す外観図。

【図1B】携帯情報端末で表示されるホーム画面の一例を示す図。

【図2A】携帯情報端末のハードウェア構成の一例を示す図。

【図2B】携帯情報端末のソフトウェア構成の一例を示す図。

【図3A】携帯情報端末における誤操作発生を説明する図。

【図3B】実施例１における誤操作防止処理を説明する図。

【図4】携帯情報端末のインカメラの構成図。

【図5A】実施例１における誤操作防止処理を示すフローチャート。

【図5B】Ｓ１０６の処理（操作指示物の有無判定）の詳細を説明する図。

【図6】実施例２における誤操作防止処理を説明する図。

【図7A】実施例３における誤操作防止処理を説明する図。

【図7B】実施例３における誤操作防止処理を示すフローチャート。

【図8A】実施例４における誤操作防止のための確認画面の図。

【図8B】実施例４における誤操作防止処理を示すフローチャート。

【図9A】視聴用装置を介して携帯情報端末を使用する状態を示す図（実施例５）。

【図9B】実施例５における誤操作防止処理を説明する図。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態の例を、図面を用いて説明する。本実施例の携帯情報端末は、携帯電話やスマートホン、タブレット端末等であって良い。ＨＭＤ（Head Mounted Display）等の頭部装着型情報端末であっても良い。また、スマートホンやタブレット端末等をアダプタに固定することにより頭部装着型情報端末の代替としたものであっても良い。その他、ＰＤＡ（Personal Digital Assistants）、ノート型ＰＣ（Personal Computer）、電子ブックリーダ、デジタルスチルカメラ、動画撮影可能なビデオカメラ、携帯型ゲーム機等、タッチスクリーンを備えるデジタル機器であれば対象となる。以下では、主にスマートホンを例に説明する。また、以下の実施例では、ユーザはタッチスクリーンに表示されるアイコン等をタッチ操作する場合を例に説明するが、操作対象はアイコンに限らず、文字、図形、マップなど、任意のオブジェクトが対象となる。

【実施例0012】

［携帯情報端末の外観］
図１Ａは、携帯情報端末１００の一例を示す外観図である。ここでは、携帯情報端末１００がスマートホンの場合について、（ａ）は前面（表面）図、（ｂ）は背面（裏面）図を示す。

【0013】

（ａ）において、携帯情報端末１００の前面には、タッチスクリーン１８０の他に、動作インジケータ１２４、第一画像入力部１３３、第二画像入力部１３４、モノラルスピーカ１４２、が備えられる。タッチスクリーン１８０は、後述するタッチパネル１２３と画像表示部１３１で構成され、ユーザがタッチ操作を行うとともに、アイコン等のオブジェクトを表示する画面である。動作インジケータ１２４は、ＬＥＤ（Light Emitting Diode）の点灯／点滅の有無により携帯情報端末１００の動作状態を報知する。第一画像入力部１３３と第二画像入力部１３４は、前面側の被写体を撮影して画像信号を入力する「インカメラ」である。このうち第一画像入力部１３３は、携帯情報端末１００に対するタッチ操作を行うユーザの指などの「操作指示物」の画像を取得するために使用される。第二画像入力部１３４は、ユーザの自撮り画像の取得のために使用される。

【0014】

（ｂ）において、携帯情報端末１００の背面には、タッチセンサ１２２、第三画像入力部１３５、補助光発光／赤外線測距器１３６、ステレオスピーカ１４３、が備えられる。第三画像入力部１３５は、背面側の被写体を撮影して画像信号を入力する「アウトカメラ」である。補助光発光／赤外線測距器１３６は、第三画像入力部１３５からの画像入力時に、光量不足を補うための補助光を発光可能である。また、補助光発光／赤外線測距器１３６は、赤外線を用いて対象物までの距離測定を行うことが可能である。

【0015】

携帯情報端末１００の上面には、操作キー１２１（後述）の一つである電源キー１２１ｐが備えられる。携帯情報端末１００の下面には、音声入力部１４５、拡張インタフェース部１７０（後述）の一つであるμ－ＵＳＢ入力部１７０ｕが備えられる。

【0016】

なお、タッチセンサ１２２は、携帯情報端末１００の背面ではなく、側面や前面下部（タッチスクリーン１８０と重ならない部分）等に配置されても良い。また、タッチスクリーン１８０を構成するタッチパネル１２３がタッチセンサ１２２の機能を併せ持っていても良い。この場合、タッチスクリーン１８０上の任意の位置においてタッチセンサ１２２の機能（例えば、指紋認証機能）を実行することが可能である。

【0017】

［携帯情報端末のホーム画面］
図１Ｂは、携帯情報端末１００で表示されるホーム画面の一例を示す図である。タッチスクリーン１８０に表示されるホーム画面１８０ａは、主機能アイコン表示領域１８０ａ１、一般アイコン表示領域１８０ａ２、その他情報表示領域１８０ａ３、制御キー領域１８０ａ４、通知領域１８０ａ５、で構成される。ホーム画面１８０ａは、携帯情報端末１００の電源オン後やスリープ状態の解除後や任意のアプリケーション実行中にホームキーをタッチした場合等に表示される基本画面である。

【0018】

主機能アイコン表示領域１８０ａ１は、携帯情報端末１００で頻繁に使用される主要アプリケーションに関連付けられたアイコンの表示領域である。一般アイコン表示領域１８０ａ２は、その他のアプリケーションに関連付けられたアイコンの表示領域である。その他情報表示領域１８０ａ３は、時刻情報や気象情報等の一般的な情報を表示する領域である。制御キー領域１８０ａ４は、「バックキー」、「ホームキー」、「アプリ履歴キー」を表示する領域である。通知領域１８０ａ５は、電波状態やバッテリ残量等の情報が通知される領域である。

【0019】

ユーザは、ホーム画面１８０ａから所定のアプリケーションを起動する場合、主機能アイコン表示領域１８０ａ１または一般アイコン表示領域１８０ｂ２に表示されている目的
のアイコン（オブジェクト）をタップ操作することで、起動指示を行うことができる。

【0020】

［携帯情報端末のハードウェア構成］
図２Ａは、携帯情報端末１００のハードウェア構成の一例を示す図である。携帯情報端末１００は、主制御部１０１、システムバス１０２、ＲＯＭ１０３、ＲＡＭ１０４、ストレージ部１１０、操作入力部１２０、画像処理部１３０、音声処理部１４０、センサ部１５０、通信部１６０、拡張インタフェース部１７０、を備えて構成される。

【0021】

主制御部１０１は、所定の動作プログラムに従って携帯情報端末１００全体を制御するマイクロプロセッサユニットである。システムバス１０２は、主制御部１０１と携帯情報端末１００内の各動作ブロックとの間で各種コマンドやデータの送受信を行うためのデータ通信路である。

【0022】

ＲＯＭ（Read Only Memory）１０３は、オペレーティングシステムなどの基本動作プログラムやその他の動作プログラム（アプリケーション、以下同様）が格納されたメモリであり、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）やフラッシュＲＯＭのような書き換え可能なＲＯＭが用いられる。ＲＡＭ（Random Access Memory）１０４は基本動作プログラムやその他の動作プログラム実行時のワークエリアとなる。ＲＯＭ１０３及びＲＡＭ１０４は主制御部１０１と一体構成であっても良い。また、ＲＯＭ１０３は、図２Ａに示したような独立構成とはせず、ストレージ部１１０内の一部記憶領域を使用するようにしても良い。

【0023】

ストレージ部１１０は、携帯情報端末１００の動作プログラムや動作設定値、携帯情報端末１００の正規ユーザの個人情報や認証情報等を記憶する。また、ネットワーク上からダウンロードした動作プログラムや該動作プログラムで作成した各種データ等を記憶可能である。また、ネットワーク上からダウンロードした動画や静止画や音声等のコンテンツを記憶可能である。また、カメラ機能を使用して撮影した動画や静止画等のデータを記憶可能である。ストレージ部１１０の一部領域を以ってＲＯＭ１０３の機能の全部または一部を代替しても良い。また、ストレージ部１１０は、携帯情報端末１００に外部から電源が供給されていない状態であっても記憶している情報を保持する必要がある。従って、例えば、フラッシュＲＯＭやＳＳＤ（Solid State Drive）などの半導体素子メモリ、ＨＤＤ（Hard Disc Drive）などの磁気ディスクドライブ、等のデバイスが用いられる。なお、ＲＯＭ１０３やストレージ部１１０に記憶された各動作プログラムは、ネットワーク上の各サーバ装置からのダウンロード処理により更新及び機能拡張することが可能である。

【0024】

操作入力部１２０は、携帯情報端末１００に対する操作指示の入力を行う指示入力部である。操作入力部１２０は、ボタンスイッチ等を並べた操作キー１２１、静電容量の変化に基づいてユーザの手指が触れたことを検出するタッチセンサ１２２、画像表示部１３１に重ねて配置したタッチパネル１２３、で構成される。更に、その他の操作デバイスとして、拡張インタフェース部１７０に接続したキーボード、有線通信または無線通信により接続された別体の携帯端末機器、等を用いても良い。あるいは音声入力により携帯情報端末１００の操作を行っても良い。なお、タッチセンサ１２２はセンサ部に触れた手指の指紋や掌紋を検出する機能を備える。

【0025】

画像処理部１３０は、画像表示部１３１、画像信号処理部１３２、第一画像入力部１３３、第二画像入力部１３４、第三画像入力部１３５、で構成される。画像表示部１３１は、例えば液晶パネル等の表示デバイスであり、画像信号処理部１３２で処理した画像データを表示し、携帯情報端末１００のユーザに提供する。画像信号処理部１３２は図示を省略したビデオＲＡＭを備え、入力した画像データに基づいて画像表示部１３１を駆動する。また、画像信号処理部１３２は、必要に応じて、符号化映像信号の復号処理、フォーマ
ット変換処理、メニューやその他のＯＳＤ（On Screen Display）信号の重畳処理等を行う。第一画像入力部１３３と第二画像入力部１３４と第三画像入力部１３５は、インカメラ、アウトカメラなどの撮影ユニットであり、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の電子デバイスを用いてレンズから入力した光を電気信号に変換し、被写体の画像データを取り込む。

【0026】

音声処理部１４０は、音声出力部１４１、音声信号処理部１４４、音声入力部１４５、で構成される。音声出力部１４１はスピーカであり、音声信号処理部１４４で処理した音声信号を携帯情報端末１００のユーザに提供する。音声出力部１４１は、モノラルスピーカとステレオスピーカで構成される。音声信号処理部１４４は、必要に応じて、符号化音声信号の復号処理等を行う。音声入力部１４５はマイクであり、ユーザの声などを音声データに変換して入力する。

【0027】

センサ部１５０は、携帯情報端末１００の状態を検出するための各種センサ群である。センサとして、ＧＰＳ（Global Positioning System）受信部１５１、ジャイロセンサ１５２、地磁気センサ１５３、加速度センサ１５４を有し、携帯情報端末１００の位置、傾き、方角、動きを検出する。その他に、照度センサ、近接センサ、気圧センサ等を備え、周囲の明るさ、周囲物の近接状況等を検出しても良い。

【0028】

通信部１６０は、ＬＡＮ（Local Area Network）通信部１６１、電話網通信部１６２、ＮＦＣ（Near Field Communication）部１６３、で構成される。ＬＡＮ通信部１６１はアクセスポイント等を介してインターネット等のネットワークと接続され、ネットワーク上の各サーバ装置とデータの送受信を行う。電話網通信部１６２は、移動体電話通信網の基地局等との無線通信により、電話通信（通話）及びデータの送受信を行う。ＮＦＣ部１６３は、対応するリーダ／ライタとの近接時に無線通信を行う。更に通信部１６０は、ＢｌｕｅＴｏｏｔｈ（登録商標）通信部や赤外線通信部を備えていても良い。

【0029】

拡張インタフェース部１７０は、携帯情報端末１００の機能を拡張するためのインタフェース群であり、映像／音声インタフェース、ＵＳＢ（Universal Serial Bus）インタフェース、メモリインタフェース等で構成される。映像／音声インタフェースは、外部映像／音声機器との間で映像信号／音声信号の入力／出力を行う。ＵＳＢインタフェースは、ＰＣやキーボード、その他のＵＳＢ機器と接続して、データの送受信を行う。メモリインタフェースは、メモリカードやその他のメモリ媒体を接続してデータの送受信を行う。

【0030】

なお、図２Ａに示した携帯情報端末１００の構成例は、本実施例の動作に必須ではない構成も多数含んでおり、これらが備えられていない構成であっても本実施例の効果を損なうことはない。

【0031】

［携帯情報端末のソフトウェア構成例］
図２Ｂは、携帯情報端末１００のソフトウェア構成の一例を示す図である。ここには、ストレージ部１１０（或いはＲＯＭ１０３、以下同様）及びＲＡＭ１０４におけるソフトウェアの構成を示す。ストレージ部１１０には、基本動作プログラム１００１、状態検出プログラム１００２、ブレ検出プログラム１００３、表示制御プログラム１００４、領域制御プログラム１００５、その他の動作プログラム１００９、が記憶される。また、ストレージ部１１０は、携帯情報端末１００を識別可能な端末識別情報、携帯情報端末１００のユーザを識別可能なユーザ識別情報、その他の情報を記憶する各種情報記憶領域１０１９を備える。

【0032】

ストレージ部１１０に記憶された基本動作プログラム１００１はＲＡＭ１０４に展開され、更に主制御部１０１が前記展開された基本動作プログラムを実行することにより、基
本動作部１１０１を構成する。同様に、状態検出プログラム１００２とブレ検出プログラム１００３と表示制御プログラム１００４と領域制御プログラム１００５とその他の動作プログラム１００９は、それぞれＲＡＭ１０４に展開され、更に主制御部１０１が前記展開された各動作プログラムを実行することにより、状態検出部１１０２とブレ検出部１１０３と表示制御部１１０４と領域制御部１１０５とその他の動作部１１０９を構成する。また、ＲＡＭ１０４は、各動作プログラム実行時に作成したデータを一時的に記憶する一時記憶領域１２００を備える。

【0033】

なお、以下では動作説明を簡単にするために、主制御部１０１がストレージ部１１０に記憶された基本動作プログラム１００１をＲＡＭ１０４に展開して実行することにより各動作ブロックの制御を行う処理を、基本動作部１１０１が各動作ブロックの制御を行うものとして記述する。他の動作プログラムによる他の機能ブロックの動作に関しても、同様の記述を行う。

【0034】

状態検出部１１０２は、センサ部１５０のセンサ群を用いて携帯情報端末１００の動作状態（位置情報や揺れ状況など）を検出する処理を制御する。ブレ検出部１１０３は、第一画像入力部１３３から取得した画像に基づいて、携帯情報端末１００に対する操作指示物（ユーザの指やタッチペンなど）の相対的なブレ量を検出する。表示制御部１１０４は、ブレ検出部１１０３で検出した操作指示物のブレ量に応じて、画像表示部１３１の表示制御を行う。領域制御部１１０５は、ブレ検出部１１０３で検出した操作指示物のブレ量に応じて、タッチパネル１２３の操作検知領域の制御を行う。

【0035】

なお、前記各動作プログラムは、製品出荷の時点で、予めストレージ部１１０に記憶された状態とする。あるいは、製品出荷後に、ネットワーク上の各サーバ装置からＬＡＮ通信部１６１または電話網通信部１６２等を介して取得しても良い。また、メモリカードや光ディスク等に格納された前記各動作プログラムを、拡張インタフェース部１７０等を介して取得しても良い。

【0036】

［誤操作防止処理］
以下では、携帯情報端末１００のタッチスクリーン１８０に対してタッチ操作を行う場合の、誤操作の発生と誤操作の防止処理について説明を行う。

【0037】

図３Ａは、携帯情報端末１００における誤操作発生を説明する図である。ユーザが電車や自動車等の車両に乗車中に携帯情報端末１００を使用する場合、車両の揺れに起因して誤操作が発生する。図面上段は、ユーザが操作中の携帯情報端末１００の前面（操作面）を、図面下段は携帯情報端末１００の下部側面を示す図である。

【0038】

例えば、ユーザが携帯情報端末１００を左手２０１で把持し、右手の指２００でタッチ操作を行う場合を想定する。（ａ）に示すように、タッチスクリーン１８０（画像表示部１３１）にはアイコン類などを含む画面（ホーム画面）１８０ａが表示されており、ユーザが指２００で目的のアイコン１８０ｉ１をタッチしようとする。そのとき車両の揺れがあると、（ｂ）に示すように、携帯情報端末１００を把持した左手が例えば左方向にぶれ、一方、右手の指２００が例えば右方向にぶれたとする。その結果、（ｃ）に示すように、ユーザは目的のアイコン１８０ｉ１ではなく、これに隣接する他のアイコン１８０ｉ２をタッチすることになり、誤操作が生じる。なお、車両の揺れに対して、携帯情報端末１００のブレの方向／大きさと右手の指２００のブレの方向／大きさとが一致していれば、誤操作は生じない。しかし実際には、ユーザの姿勢等によって両者のブレの方向／大きさが一致しない場合が多く、誤操作は避けられない。

【0039】

図３Ｂは、本実施例における誤操作防止処理を説明する図である。図３Ａと同じ操作状
態において、誤操作防止処理を行う場合である。（ａ）に示すように、前面側にある第一画像入力部（インカメラ）１３３は、目的のアイコン１８０ｉ１をタッチしようとする指２００の画像を取得する。次に（ｂ）に示すように車両の揺れがあると、ブレ検出部１１０３は、第一画像入力部１３３が取得した指２００の画像を解析して、携帯情報端末１００の筐体位置を基準とした指２００の位置の変化、すなわち相対的なブレ量ΔＸを算出する。そして（ｃ）に示すように、表示制御部１１０４は、ブレ検出部１１０３により算出された指２００の相対的なブレ量ΔＸに基づいて、これに追従するように、タッチスクリーン１８０に表示されるアイコン類を含む画面を所定量ΔＸ’だけずらして１８０ｂのように表示させる。このときのずらし量ΔＸ’は、ブレ量ΔＸに等しくする、あるいはこれに所定の係数を乗じた量とする。当然ながら表示画面の移動に連動して、表示画面の各アイコン等に対応するタッチパネル１２３の操作検知領域も移動させる。この結果、ユーザは、乗車中の車両が揺れる状況においても、右手の指２００で目的のアイコン１８０ｉ１を正しくタッチすることが可能となる。

【0040】

なお、図３Ａ及び図３Ｂでは、携帯情報端末１００を把持するユーザの左手及びタッチ操作を行うユーザの右手が左右方向にぶれた場合について説明したが、前後方向や斜め方向にぶれた場合においても同様である。

【0041】

［インカメラの構成］
図４は、携帯情報端末１００が備える二つのインカメラ（第一画像入力部１３３及び第二画像入力部１３４）の構成を説明する図であり、携帯情報端末１００の左側面から見た図である（つまり、操作面は図面上側となる）。

【0042】

（ａ）は第二画像入力部１３４を示し、自画撮り用インカメラとして用いる。カメラの画角は９０度程度であり、一般のスマートホンの場合と同様である。

【0043】

（ｂ）は第一画像入力部１３３を示し、前述の誤操作防止処理のために操作指示物（ユーザの指２００など）を撮影するインカメラとして用いる。この場合、指２００がタッチスクリーン１８０へ近接した状態でも撮影可能なように、第二画像入力部１３４よりも広い画角（例えば１８０度に近い画角）を有するように設定している。

【0044】

（ｃ）は第一画像入力部１３３の別の構成を示す。画角は第二画像入力部１３４と同程度（９０度程度）としながら、撮影方向をタッチスクリーン１８０側に傾けて取り付けている。これにより、タッチスクリーン１８０へ近接する指２００の撮影が可能となる。

【0045】

なお、本実施例の携帯情報端末１００においては、二つのインカメラ（第一画像入力部１３３及び第二画像入力部１３４）を備える構成としているが、これらを共通化することも可能である。その場合、図４（ｂ）に示す広角の画角を有する第一画像入力部１３３のみとして、誤操作防止用と自画撮り用の双方に用いる。ただし自画撮り用の場合は、取得した撮影画像を適宜トリミングする等の画像処理を行うようにする。

【0046】

［誤操作防止処理の動作フロー］
図５Ａは、本実施例における誤操作防止処理を示すフローチャートである。以下の処理は、主に状態検出部１１０２とブレ検出部１１０３と表示制御部１１０４により制御される。なお、以下の誤操作防止処理を実行するか否かは、ユーザ設定等により選択可能とする。

【0047】

先ず、状態検出部１１０２が、センサ部１５０のＧＰＳ受信部１５１やジャイロセンサ１５２や加速度センサ１５４等から、携帯情報端末１００の位置情報や傾き情報や動き情報等を取得する（Ｓ１０１）。次に、状態検出部１１０２は、Ｓ１０１の処理で取得した
各情報に基づいて、携帯情報端末１００を持つユーザが電車や自動車等の車両に乗車中であり、かつ車両の揺れが発生しているか否かの判断を行う（Ｓ１０２）。なお、ここで言う車両の揺れとは、単に車両が動いている状態ではなく、センサが検出する速度、または加速度が時間的に所定量以上に変化して、誤操作が生じやすくなる状態を意味する。

【0048】

Ｓ１０２の処理で、ユーザが車両に乗車中で、かつ車両の揺れが発生していると判断した場合は（Ｓ１０２：Ｙｅｓ）、Ｓ１０３の処理に進む。ユーザが車両に乗車中ではなく、あるいは乗車中であっても車両の揺れが発生していないと判断した場合は（Ｓ１０２：Ｎｏ）、Ｓ１０９の処理に進む。その場合は、以下に示すＳ１０３からＳ１０８までの誤操作防止処理を行わずに、通常のタッチ操作処理を行う。

【0049】

Ｓ１０３の処理では、ブレ検出部１１０３が、操作指示物（ユーザの指やタッチペンなど）を撮影する第一画像入力部（操作指示物撮影カメラ）１３３を起動し（Ｓ１０３）、タッチスクリーン１８０の表面側の画像を取得する（Ｓ１０４）。次に、ブレ検出部１１０３は、第一画像入力部１３３から取得した撮影画像を解析して、操作指示物の識別を行う（Ｓ１０５）。なお、識別処理向上のため、使用する操作指示物を予め登録しておくのが望ましい。Ｓ１０６の処理では、撮影画像の中に、操作指示物が存在するか否かを判定する。なお、この判定では、操作指示物が撮影画像の中に存在しても、ユーザがタッチ操作を行わない場合は除外する必要がある。具体的には、操作指示物がタッチスクリーン１８０から所定量以上離れているときは、操作指示物は存在しないと判定する。これについては、図５Ｂで後述する。

【0050】

Ｓ１０６の判定で操作指示物が存在する（識別できた）場合は（Ｓ１０６：Ｙｅｓ）、Ｓ１０７の処理に進む。Ｓ１０６の判定で操作指示物が存在しない（識別できない）場合は（Ｓ１０６：Ｎｏ）、Ｓ１０４の処理に戻り、再度カメラ画像の取得を行う。また、操作指示物が存在しない（識別できない）状態が所定時間以上続いた場合（Ｓ１０６：Time out）、Ｓ１０１の処理に戻る。或いは、ユーザが携帯情報端末１００を操作する意思が無いものと判断して、誤操作防止処理を終了しても良い。

【0051】

Ｓ１０７の処理では、ブレ検出部１１０３が、第一画像入力部１３３から取得した撮影画像を解析して、携帯情報端末１００の筐体の位置を基準とした操作指示物の相対的なブレ量を算出する（Ｓ１０７）。また、ブレ検出部１１０３は、前記算出した操作指示物の相対的なブレ量ΔＸを表示制御部１１０４に送る。表示制御部１１０４は、ブレ検出部１１０３から受け取った操作指示物の相対的なブレ量ΔＸに基づいて、これに追従するように、タッチスクリーン１８０（画像表示部１３１）に表示する表示画面をずらす処理を行う（Ｓ１０８）。このとき領域制御部１１０５は、表示制御部１１０４に連動して、表示画面の各アイコン等に対応するタッチパネル１２３の操作検知領域をずらす処理を行う。

【0052】

なお、表示画面のずらし量ΔＸ’は、Ｓ１０７の処理で算出した操作指示物の相対的なブレ量ΔＸと略同量としても良いが、前記相対的なブレ量ΔＸに所定の係数ｋ（≦１）を掛け合わせた量だけずらすようにしても良い（ΔＸ’＝ｋΔＸ）。例えば、係数ｋ＝０．５として、相対的なブレ量ΔＸの５０％程度だけ表示画面をずらしても良い。これは、タッチパネル１２３における各アイコンに対応する操作検知領域は所定の面積を有し、タッチ位置のわずかなずれは許容されること、また係数ｋ＜１とすることで表示画面の過敏なずらし処理をなくして、ユーザにとって操作しやすい画面となる効果がある。

【0053】

基本動作部１１０１は、前記Ｓ１０１～Ｓ１０８の処理を実行しつつ、タッチスクリーン１８０（タッチパネル１２３）に対する操作指示物のタッチ操作の有無の判定する（Ｓ１０９）。操作指示物のタッチ操作がある場合（Ｓ１０９：Ｙｅｓ）、タッチ操作に応じた各種処理を実行する（Ｓ１１０）。例えば、所定のアプリケーションのアイコンがタッ
プされた場合には、該当するアプリケーションの起動を行う。Ｓ１０９の判定でタッチ操作が無い場合は、２通りに分岐する。Ｓ１０２の判定で車両乗車中（揺れ有り）と判断された場合（Ｓ１０９：Ｎｏ／乗車中）には、Ｓ１０４の処理に戻る。Ｓ１０２の判定で車両乗車中ではなく（また車両の揺れがない）と判断された場合（Ｓ１０９：Ｎｏ／乗車中以外）には、Ｓ１０１の処理に戻る。

【0054】

図５Ｂは、Ｓ１０６の処理（操作指示物の有無判定）の詳細を説明する図である。ここでは携帯情報端末１００と操作指示物（ユーザの指２００）の側面図を示し、第一画像入力部１３３で取得した撮影画面には、ユーザの指２００が含まれている。指２００とタッチスクリーン１８０との距離をＬとすると、ユーザがタッチ操作を行う場合には、必然的に距離Ｌは０になるが、距離Ｌが大きい場合は、タッチ操作以前の操作準備状態（例えばタッチ操作する目的のアイコンが定まっていない状態や、目的のアイコンを画面内で探している状態）である。このような距離Ｌが大きい準備状態において前述した誤操作防止処理を実行すると、指２００の動きに追従して表示画面（アイコン）が動くことになり、ユーザは目的のアイコンを選択できないという不都合を生じる。そこで、操作準備状態では前述の誤操作防止処理を行わないよう、言い換えればＳ１０６の処理で、操作指示物が存在しないものと判定するように制御する。

【0055】

具体的には、操作指示物とタッチスクリーン１８０との距離Ｌについて閾値Ｌ１を定め、Ｌ≦Ｌ１の場合は操作指示物が存在し、Ｌ＞Ｌ１の場合は操作指示物が存在しないものと判定する。なお、ユーザごとに操作の仕方（タッチ操作開始位置がタッチスクリーン１８０に近いか、遠いか）が異なるので、この閾値Ｌ１はユーザごとに適宜設定できることが好ましい。これにより、タッチ操作の準備期間は誤操作防止処理を無効にすることで、ユーザがタッチ操作する上で不都合が生じることはない。

【0056】

以上のように実施例１によれば、揺れる車両に乗車中のユーザが携帯情報端末１００を使用する場合であっても、操作指示部の相対的なブレ量に応じてこれに追従するように表示画面の位置をずらすようにしたので、タッチ操作位置のずれに伴う誤操作を防止することが可能となる。

【実施例0057】

実施例２では、誤操作防止処理のため、表示画面の位置はそのままとしタッチ操作の検知領域をずらす処理を行う。なお、携帯情報端末１００の基本的な構成は実施例１と同様であり、以下では、実施例１との相違点に関して主に説明し、共通する部分の重複する説明を省略する。

【0058】

図６は、本実施例における誤操作防止処理を説明する図である。（ａ）～（ｃ）は、実施例１、図３Ｂの（ａ）～（ｃ）に対応する。ここで、タッチスクリーン１８０に表示される画面を１８０ａとし、各アイコンに対応するタッチパネル１２３上の操作検知領域を、破線枠１２３ａ、１２３ｂで示す。

【0059】

（ａ）に示すように、第一画像入力部（操作指示物撮影カメラ）１３３は、目的のアイコン１８０ｉ１をタッチしようとする指２００の画像を取得する。この状態では、各アイコンの操作検知領域１２３ａは、表示画面１８０ａの各アイコンの表示位置に一致している。次に（ｂ）に示すように車両の揺れがあると、ブレ検出部１１０３は、第一画像入力部１３３が取得した指２００の画像を解析して、携帯情報端末１００の筐体位置を基準とした指２００の位置の変化、すなわち相対的なブレ量ΔＸを算出する。

【0060】

（ｃ）においては、タッチスクリーン１８０に表示される画面１８０ａはそのままとし、領域制御部１１０５は、ブレ検出部１１０３により算出された指２００の相対的なブレ
量ΔＸに基づいて、これに追従するように、表示される各アイコンに対応するタッチパネル１２３上の操作検知領域を１２３ｂのように所定量ΔＸ’だけずらして設定する。

【0061】

例えば、アイコン１８０ｉ１に対応する検知領域は、アイコン１８０ｉ１の表示位置よりも右方向にずれた位置（斜線で示す）に設定する。この結果、相対ブレにより指２００が目的のアイコン１８０ｉ１の表示領域よりも右方向にずれた位置をタッチした場合であっても、検知領域はこれに追従して設定されているので、アイコン１８０ｉ１を正しくタッチ操作したものとして検知される。

【0062】

実施例２の動作フローは、図５Ａに示したフローチャートの一部を変更する。すなわち、Ｓ１０８の処理において、領域制御部１１０５は、ブレ検出部１１０３から受け取った操作指示物の相対的なブレ量ΔＸに基づいて、表示画面の各アイコン等に対応するタッチパネル１２３の操作検知領域をΔＸ’だけずらす処理を行う。その際、操作指示物の相対的なブレ量ΔＸと検知領域のずらし量ΔＸ’との関係は、実施例１の場合と同様に、係数ｋ（≦１）を用いてΔＸ’＝ｋΔＸとすれば良い。その他の処理は、図５Ａに示したフローチャートと同様である。

【0063】

以上のように実施例２によれば、揺れる車両に乗車中のユーザが携帯情報端末１００を使用する場合であっても、操作指示部の相対的なブレ量に応じて操作検知領域の位置をずらすようにしたので、タッチ操作位置のずれに伴う誤操作を防止することが可能となる。