特開 2024-163311 携帯情報端末装置及びそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024163311

(43)【公開日】2024-11-21

(54)【発明の名称】携帯情報端末装置及びそのプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241114BHJP

   G06Q 50/10 20120101ALI20241114BHJP

【ＦＩ】

G06F3/01 570

G06Q50/10

【審査請求】有

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2024158838

(22)【出願日】2024-09-13

(62)【分割の表示】P 2021089508の分割

【原出願日】2021-05-27

(71)【出願人】

【識別番号】519429059

【氏名又は名称】岡田 憲司

(74)【代理人】

【識別番号】100150430

【弁理士】

【氏名又は名称】河野 元

(72)【発明者】

【氏名】岡田 憲司

(57)【要約】

【課題】視認性を確保しつつ、操作性を向上し得る携帯情報端末装置及びそのプログラムを提供する。
【解決手段】実施形態のスマホ１０では、インストールされた閲覧操作補助アプリにより、バックカメラ１６が撮像した所定期間内に含まれる一連の画像情報にスマホ１０の使用者の手等の画像が含まれていると制御ユニットが判定し、且つ、一連の画像情報に基づいて所定期間内における手等の動きが予め定められた第１動作であると判定した場合、制御ユニットは、ディスプレイ１１に現在表示されているコンテンツを他のコンテンツの表示に切り替える。例えば、使用者がスマホ１０を左手９０Ｌで保持している場合には、右手９０Ｒをスマホ１０の裏側面１０Ｂにかざして所定動作（例えば左右に振る動作）を行うことで、ディスプレイ１１に表示されているコンテンツが右手９０Ｒにより隠れることなく他のコンテンツに切り替えられる。
【選択図】図１

【特許請求の範囲】

【請求項1】

ディスプレイを有する面の裏側面にカメラを備えた携帯情報端末装置であって、
前記カメラが撮像した所定期間内に含まれる一連の画像情報にヒトの手又は指（以下「手等」という）の画像が含まれていると、前記一連の画像情報に基づいて前記所定期間内における前記手等の動きが予め定められた所定動作であるか否かを判定する動作判定手段と、
前記手等の動きが前記所定動作であると前記動作判定手段が判定した場合に前記ディスプレイに現在表示されているコンテンツを他のコンテンツの表示に切り替えるコンテンツ切替手段と、を備え、
所定の検索対象を入力して検索した結果、複数のコンテンツが出力された場合において、前記複数のコンテンツから選択した特定のコンテンツを前記ディスプレイに表示させた状態で、前記手等の動きが前記所定動作であると前記動作判定手段が判定した場合、前記コンテンツ切替手段は、前記ディスプレイに現在表示されているコンテンツを他のコンテンツの表示に切り替える
ことを特徴とする携帯情報端末装置。

【請求項2】

ディスプレイを有する面の裏側面にカメラを備えた携帯情報端末装置を制御するコンピュータを、
前記カメラが撮像した所定期間内に含まれる一連の画像情報にヒトの手又は指（以下「手等」という）の画像が含まれていると、前記一連の画像情報に基づいて前記所定期間内における前記手等の動きが予め定められた所定動作であるか否かを判定する動作判定手段、
前記手等の動きが前記所定動作であると前記動作判定手段が判定した場合に前記ディスプレイに現在表示されているコンテンツを他のコンテンツの表示に切り替えるコンテンツ切替手段、として機能させるプログラムであって、
前記他のコンテンツが複数存在し、且つ、前記手等の動きが前記所定動作であると前記コンテンツ切替手段が複数回連続して判定してその判定ごとに複数の前記他のコンテンツの表示が順番に切り替えられる場合において、
前記コンテンツ切替手段は、複数の前記他のコンテンツのうち、前記ディスプレイに次に表示する予定の次表示コンテンツが前記ディスプレイに既に表示された表示済みコンテンツと同じ内容であるときには、前記次表示コンテンツに代えて、前記次表示コンテンツの次に表示する予定の前記他のコンテンツに切り替えて前記ディスプレイに表示する
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ディスプレイを有する面の裏側面にカメラを備えた携帯情報端末装置及びそのプログラムに関するものであり、特にスマートフォン等に適用することができる。

【背景技術】

【0002】

近年の携帯情報端末装置はタッチパネルを備えている。タッチパネルは、ディスプレイ上に配置される透明フィルムタイプのポインティングデバイスであり、タッチスクリーン、タッチ画面や接触画面等と呼ばれる場合もある。このようなタッチパネルを備えた携帯情報端末装置では、例えば、特許文献１に開示されているように、指やスタイラスをディスプレイ（正確にはディスプレイ上のタッチパネル）に接触させた後、そのままその指等を所定方向に向けて滑らせるように動かすことによって、ディスプレイに表示されているコンテンツ等をその方向に移動させたり当該装置に所定の動作を行わせたりし得るように構成されている。このような操作はスワイプやスライドジェスチャーと呼ばれる。

【0003】

ところで、スマートフォンは、昨今の携帯情報端末装置の代表例であり、本来の電話機能に加えて、インターネットを利用したり付属のカメラで風景等を撮影したりすることが可能な機能も有するため、多機能デバイスとして利用価値が高い。特に、インターネットを利用するシーンでは、検索したウェブサイトのコンテンツを閲覧したりウェブサイトがＥＣ（Electronic Commerce；電子商取引）サイトである場合には販売されている商品を購入したりすることも可能である。そのため、スマートフォンのディスプレイには、より多くの情報が表示された方が望ましいものの、携帯性を考慮するとディスプレイのサイズには限度がある。

【0004】

そこで、スマートフォン等においては、下記特許文献１に開示されているような技術等を利用することで、ディスプレイサイズの都合から一度にはディスプレイに表示できない複数のコンテンツの一部をスワイプの操作方向に移動させて表示範囲外に移すことによって他のコンテンツの表示を可能にしている。これにより、例えば、スマートフォンの使用者は、ディスプレイを左右方向や上下方向にスワイプすることによって、サムネイルのようにディスプレイに縮小画像表示された多数のコンテンツや商品の情報を左右や上下にスクロールさせて順番に目視確認することが可能になる。また、詳細を知りたいコンテンツや商品については、その縮小表示をタップすることにより詳細情報をディスプレイに表示することが可能になる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特表２０１０－５１５９７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

このようにスマートフォン等の携帯情報端末装置においては、使用者がディスプレイを指等でスワイプしたりタップしたりすることによって、表示サイズよりも携帯性が重視された小型ディスプレイであっても多くの情報の表示を可能にしているが、操作面において次のような問題がある。例えば、多数のコンテンツ等の縮小画像の中から、あるコンテンツの縮小画像を選択して詳細情報を表示させたところ、その詳細情報が期待していた内容と異なっていた場合には、再度、指等でディスプレイをタップして多数の縮小画像を表示させる「戻り操作」を行ったり、また別のコンテンツの縮小画像をタップして詳細情報を表示させる「選択操作」を行ったりする必要が生じる。

【0007】

つまり、従来の携帯情報端末装置においては、目的のコンテンツや商品等の情報が見つかるまでの間、使用者は何度もディスプレイをスワイプしたりタップしたりして選択操作や戻り操作を繰り返し行う必要があり、目的の情報に到達するまでの操作が煩雑で使用者に面倒に感じさせ得るという問題があった。

【0008】

また、タッチパネルはディスプレイ上に配置されることから、ディスプレイを指やスタイラス等でスワイプしたりタップしたりすると、ディスプレイに表示されているコンテンツや情報の一部がスワイプ等をするその手により隠れてしまい使用者から見え辛くなる場合がある。そのため、ディスプレイの視認性が損なわれ得るという問題も生じていた。

【0009】

本発明は、上述した課題を解決するためになされたものであり、視認性を確保しつつ、操作性を向上し得る携帯情報端末装置及びそのプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するための第１発明の携帯情報端末装置は、
ディスプレイを有する面の裏側面にカメラを備えた携帯情報端末装置であって、
前記カメラが撮像した所定期間内に含まれる一連の画像情報にヒトの手又は指（以下「手等」という）の画像が含まれていると、前記一連の画像情報に基づいて前記所定期間内における前記手等の動きが予め定められた所定動作であるか否かを判定する動作判定手段と、
前記手等の動きが前記所定動作であると前記動作判定手段が判定した場合に前記ディスプレイに現在表示されているコンテンツを他のコンテンツの表示に切り替えるコンテンツ切替手段と、を備え、
所定の検索対象を入力して検索した結果、複数のコンテンツが出力された場合において、前記複数のコンテンツから選択した特定のコンテンツを前記ディスプレイに表示させた状態で、前記手等の動きが前記所定動作であると前記動作判定手段が判定した場合、前記コンテンツ切替手段は、前記ディスプレイに現在表示されているコンテンツを他のコンテンツの表示に切り替える
ことを特徴とする。

【0011】

また、上記目的を達成するための第２発明のプログラムは、
ディスプレイを有する面の裏側面にカメラを備えた携帯情報端末装置を制御するコンピュータを、
前記カメラが撮像した所定期間内に含まれる一連の画像情報にヒトの手又は指（以下「手等」という）の画像が含まれていると、前記一連の画像情報に基づいて前記所定期間内における前記手等の動きが予め定められた所定動作であるか否かを判定する動作判定手段、
前記手等の動きが前記所定動作であると前記動作判定手段が判定した場合に前記ディスプレイに現在表示されているコンテンツを他のコンテンツの表示に切り替えるコンテンツ切替手段、として機能させるプログラムであって、
前記他のコンテンツが複数存在し、且つ、前記手等の動きが前記所定動作であると前記コンテンツ切替手段が複数回連続して判定してその判定ごとに複数の前記他のコンテンツの表示が順番に切り替えられる場合において、
前記コンテンツ切替手段は、複数の前記他のコンテンツのうち、前記ディスプレイに次に表示する予定の次表示コンテンツが前記ディスプレイに既に表示された表示済みコンテンツと同じ内容であるときには、前記次表示コンテンツに代えて、前記次表示コンテンツの次に表示する予定の前記他のコンテンツに切り替えて前記ディスプレイに表示する
ことを特徴とする。

【0012】

また、携帯情報端末装置は、カメラが撮像した所定期間内に含まれる一連の画像情報にヒト（典型的には、当該携帯情報端末装置の使用者）の手又は指（以下［課題を解決するための手段］及び［発明の効果］の欄において「手等」という）の画像が含まれており、且つ、一連の画像情報に基づいて所定期間内における手等の動きが予め定められた所定動作であると動作判定手段が判定した場合、コンテンツ切替手段は、ディスプレイに現在表示されているコンテンツを他のコンテンツの表示に切り替える。

【0013】

これにより、例えば、当該携帯情報端末装置の使用者は、例えば、ディスプレイをスワイプしたりタップしたりする代わりに、所定動作になるようにカメラに撮像されている手等を動かすことによって、現在、ディスプレイ表示されているコンテンツを他のコンテンツの表示に切り替えることが可能になる。例えば、使用者が当該携帯情報端末装置を左手で保持している場合には、右手を当該携帯情報端末装置の裏側面にかざして所定動作を行うことによって、ディスプレイに表示されているコンテンツ等が手等により隠れることなくコンテンツの切替え操作を行うことが可能になる。尚、本明細書でいう「カメラ」は、主に、被写体画像を固体撮像素子に結像させるデジタル式カメラを意味する。

【0014】

さらに、他のコンテンツが複数存在し、且つ、手等の動きが所定動作であるとコンテンツ切替手段が複数回連続して判定してその判定ごとに複数の他のコンテンツの表示が順番に切り替えられる場合において、コンテンツ切替手段は、複数の他のコンテンツのうち、ディスプレイに次に表示する予定の次表示コンテンツがディスプレイに既に表示された表示済みコンテンツと同じ内容であるときには、次表示コンテンツに代えて、次表示コンテンツの次に表示する予定の他のコンテンツに切り替えてディスプレイに表示する。これにより、既に表示された表示済みコンテンツと同じ内容のコンテンツはディスプレイに表示されないことから、同じ内容のコンテンツが表示されてしまうのを防止することができる。つまり、既に閲覧したコンテンツを再度見せてしまい当該携帯情報端末装置の使用者にガッカリ感や無駄な時間を消費したイメージを与えるような事態を未然に防ぐことが可能になる。

【0015】

また、裏面側のカメラが撮像した所定期間内に含まれる一連の画像情報に、制御条件を満たした画像（画像情報、特定画像）が含まれているか否かを判定する画像判定手段を備えるように構成してもよい。また、カメラが撮像した所定期間内に含まれる一連の画像情報にヒト（典型的には、当該携帯情報端末装置の使用者）の手又は指の画像が含まれていると画像判定手段が判定し、且つ、一連の画像情報に基づいて所定期間内における手等の動きが予め定められた所定動作であると動作判定手段が判定した場合、コンテンツ切替手段は、ディスプレイに現在表示されているコンテンツを他のコンテンツの表示に切り替えるように構成してもよい。

【0016】

ここで、「制御条件を満たした画像（特定画像）」とは、本発明のコンテンツの表示制御を実行するうえで設定した撮像領域内で、携帯情報端末装置の裏側面のカメラが適正な画像であると認識した画像（一連の画像情報）をいう。また、画像判定手段や動作判定手段は、予め定めた撮像領域内で画像を認識すれば、ヒトの手又は指の画像でなくとも（例えば、スタイラスや他の物の画像であっても）、対象画像として認識し、ディスプレイに表示されるコンテンツの表示制御を実行可能とする。しかしながら、少なくとも、ヒトの手又は指の画像を対象画像として認識可能であることが好ましい。またこのような構成に加えて、画像判定手段に一定の条件を加える（例えば、形状条件や温度条件等）ことで、ヒトの手又は指、若しくは、これに近いもの（すなわち、ヒトの手又は指と共通する一定の条件を満たすもの）を認識した場合にのみ、ディスプレイに表示されるコンテンツの表示制御を行うものとしてもよい。

【0017】

また、本発明では、携帯情報端末装置の裏側面のカメラで、ヒトの手又は指の画像を撮像して（検知して）、ディスプレイに表示されるコンテンツの表示制御を行うことを想定している。そのため、撮像した画像を、適正な画像として認識可能な撮像領域を、携帯情報端末装置の裏側面のカメラからの距離（奥行距離）が約０ｃｍ～約２５ｃｍの間の範囲に設定している。更に好適には、撮像領域を約１ｃｍ～約１５ｃｍの間に設定してもよい。

【0018】

尚、この撮像領域は、携帯情報端末装置が備える裏面側のカメラの性能等に応じて適切に設定すればよく、本発明は、このような特定範囲（約０ｃｍ～約２５ｃｍ）に限定されるものではない。しかしながら、カメラから近すぎる距離では、手等の動きとして多様な動きを認識（識別）するのが困難となり、カメラから遠すぎる距離では、使用者が意図しない他の画像情報（例えば、使用者でない他人の動き等）を認識してしまうおそれがあるため、例えば、前述したような特定範囲（約０ｃｍ～約２５ｃｍ）に限定するのが好適である。

【発明の効果】

【0019】

本発明の携帯情報端末装置やそれを制御するコンピュータのプログラムによると、使用者は、例えば、ディスプレイをスワイプしたりタップしたりする代わりにカメラに撮像されている手等の動きが所定動作や他の所定動作になるように動かしたりすることによって、現在、ディスプレイ表示されているコンテンツを他のコンテンツの表示に切り替えたり、ディスプレイの上下方向や左右方向にスクロール表示させたり拡大や縮小表示させたりする等の表示態様の制御を行ったりすることが可能になる。例えば、使用者が当該携帯情報端末装置を一方の手（例えば左手）で保持している場合には、他方の手（例えば右手）を当該携帯情報端末装置の裏側面にかざして所定動作や他の所定動作を行うことにより、ディスプレイに表示されているコンテンツ等が手等で隠れることなくコンテンツの切替え操作やコンテンツの表示態様に関する制御を行うことが可能になる。したがって、目的の情報に到達するまでの操作をディスプレイの裏側において手等の動きだけで可能にするので、視認性を確保しつつ、操作性を向上することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の携帯情報端末装置やそのプログラムを適用した一実施形態のスマートフォン（以下「スマホ」という）と、それを保持して操作する使用者の手や指を示す説明図である。

【図2】本実施形態のスマホの機能的な構成例を示すブロック図である。

【図3】本実施形態のスマホにより実行される閲覧操作補助アプリケーションプログラムの処理の流れを示すフローチャートである。

【図4】図３に示す閲覧操作補助アプリケーションプログラムのサブルーチンの流れを示すフローチャートであり、（Ａ）は第１動作処理を表し、（Ｂ）は第２動作処理を表したものである。

【図5】本実施形態のスマホのディスプレイに表示されるコンテンツの例を示す説明図である。（Ａ）は「椅子」を検索した結果の表示例を表し、（Ｂ）は、（Ａ）の検索結果から、ある椅子のコンテンツを選択した場合の表示例を表し、（Ｃ）は、第１動作処理により（Ｂ）から関連商品のコンテンツに移行した場合の表示例を表し、（Ｄ）は、第２動作処理により（Ｂ）の表示を上方向にスクロールした場合の表示例を表したものである。

【図6】スマホにスクローラを取り付けた状態を表した図である。（Ａ）はスマホの表側面からスマホ及びスクローラを見た平面図、（Ｂ）は（Ａ）に示す６Ｂ－６Ｂ線においてスマホ及びスクローラを切断した状態を表した断面図、（Ｃ）は（Ａ）に表されている矢印６Ｃの方向から見た側面図、スマホ及びスクローラを見た底面図、（Ｄ）は（Ｃ）の側面図においてスマホにスクローラを取り付け途中又は取り外し途中の状態を表した底面図である。

【図7】図６（Ｂ）に示す断面図相当において、スクローラを構成するローラ部の作動例を示す説明図である。（Ａ）は使用者が指でローラ部を同図において反時計回り方向に回転させる場合を表し、（Ｂ）は（Ａ）の状態からローラ部の角部がタッチパネルに当接した直後を表し、（Ｃ）は（Ｂ）の状態からローラ部の回転を進めたことにより角部がタッチパネルに押圧されて潰れた状態を表し、（Ｄ）は（Ｃ）の状態からローラ部の回転を進めたことにより潰れていた角部が元の形に戻った直後を表す。

【発明を実施するための形態】

【0021】

次に、本発明の携帯情報端末装置やそのプログラムを適用した各実施形態について各図を用いて説明する。まず、図１及び図２を参照して本実施形態のスマホ１０の構成について説明する。

【0022】

図１に示すように、スマホ１０は、一般に市販されているものであり、使用者が片手（同図では左手９０Ｌ）で保持可能な長方形状の薄板状を有する本体ケース１０ａと、この本体ケース１０ａの内側や外側に設けられるディスプレイ１１、タッチパネル１２や制御ユニット２０等により構成されている。

【0023】

スマホ１０の表側面１０Ｆには、本体ケース１０ａに形成された矩形状の枠穴にディスプレイ１１が装着されているとともにスピーカ１４やフロントカメラ１５が設けられている。また裏側面１０Ｂにはバックカメラ１６が設けられており、さらに下端側面にはマイク１３が設けられている。タッチパネル１２は、ディスプレイ１１の表面に、ディスプレイ１１とほぼ一体に設けられる。そのため、同図においては、ディスプレイ１１とタッチパネル１２は、同じ矩形状で重なって表現されていることに注意されたい（灰色に着色された部分）。

【0024】

図２に示すように、ディスプレイ１１、タッチパネル１２やフロントカメラ１５等は、本体ケース１０ａに収容された制御ユニット２０に電気的に接続されて制御されている。制御ユニット２０は、ＭＰＵ２１やメモリ２５等を有するメインボードであり、ディスプレイ１１等のほかに無線ユニット１７、各種センサ１８、バッテリ１９や、さらには図示しない、メモリカードやＳＩＭカード等が電気的に接続されている。

【0025】

ディスプレイ１１は、例えば、縦横比が１６：９の６インチ型サイズの液晶表示装置であり、制御ユニット２０から出力される画像情報を表示可能に構成されている。タッチパネル１２は、ディスプレイ１１とほぼ同サイズでディスプレイ表面のほぼ前面に設けられる透明フィルムタイプのポインティングデバイスであり、使用者が指やスタイラスを接触させたディスプレイ１１上の位置情報を制御ユニット２０に出力可能に構成されている。タッチパネル１２はタッチスクリーンや接触画面等と呼ばれる場合もある。位置検知は、例えば、抵抗膜方式、静電容量方式や超音波表面弾性波方式等が用いられる。

【0026】

マイク１３やスピーカ１４は、電話機能の通話時に使用されたり、アプリケーションプログラム（アプリケーションソフトウェアともいう。これらをまとめて以下「アプリ」という）による録音やオーディオ出力に使用されたりする。マイク１３は、使用者の音声等を収集して制御ユニット２０に音響情報を出力可能に構成されており、またスピーカ１４は、制御ユニット２０から出力される音響情報を外部に出力可能に構成されている。

【0027】

フロントカメラ１５及びバックカメラ１６は、ＣＣＤやＣＭＯＳ等の固体撮像素子と光学レンズを有する撮像装置であり、撮像した画像情報を制御ユニット２０に出力可能に構成されている。フロントカメラ１５は、スマホ１０の表側面１０Ｆに設けられて、例えば、使用者の顔等を撮影可能に構成されている。またバックカメラ１６は、スマホ１０の裏側面１０Ｂに設けられて、例えば、風景等を撮影可能に構成されている。フロントカメラ１５はインカメラ、バックカメラ１６はアウトカメラ、と呼ばれる場合もある。

【0028】

無線ユニット１７は、移動体通信事業者（ＭＮＯ）の無線通信回線網を介して音声通信やデータ通信可能に構成されている無線送受信装置であり、制御ユニット２０により通話やデータ通信の制御が行われる。図示しないＳＩＭカードには、無線通信時に使用される当該スマホ１０に固有の識別情報等が格納されている。各種センサ１８は、ＧＰＳセンサ、加速度センサ、照度センサ、温度センサ等であり、いずれも検知データを制御ユニット２０に出力可能に構成されている。

【0029】

バッテリ１９は、外部から供給される直流電力により充電可能な二次電池（例えば、リチウムイオン電池）であり、制御ユニット２０やディスプレイ１１等に駆動電力を供給可能に構成されている。バッテリ１９の充放電情報も制御ユニット２０に出力されており、例えば、制御ユニット２０により充電や放電の管理を可能に構成されている。

【0030】

制御ユニット２０は、ＭＰＵ２１、ＧＰＵ（Graphics Processing Unit）２３、メモリ２５等により構成されている。ＭＰＵ２１は、マイクロコンピュータであり、例えば、メモリ２５に格納されたAndroid（登録商標）やiOS（登録商標）等のＯＳ（基本ソフトウェア）が実行されることにより上述したディスプレイ１１等のハードウェアを制御したり、次に説明する閲覧アプリや閲覧操作補助アプリを実行したりすることができるように構成されている。ＧＰＵ２３は、後述する画像データ解析処理等に用いられる。このように構成される一般的なスマホ１０には、［発明が解決しようとする課題］の欄で述べたように、目的の情報に到達するまでの操作が煩雑で使用者に面倒に感じさせ得るという問題や、ディスプレイ１１の視認性が損なわれ得るという問題等がある。

【0031】

そこで、本実施形態のスマホ１０では、これらの問題を解決し得る閲覧操作補助アプリがインストールされている。この閲覧操作補助アプリでは、例えば、手等の動きとして、右手９０Ｒを左右に振る動作（第１動作）をバックカメラ１６が撮影（撮像）すると、ディスプレイ１１に現在表示されている内容を他の表示内容に切り替えたり、また手等の動き、右手９０Ｒを上下に振る動作（第２動作）をバックカメラ１６が撮影すると、ディスプレイ１１に現在表示されている内容を上方向（又は下方向）にスクロールしたりするようにスマホ１０を制御する。ここからは、このような閲覧操作補助アプリに関する図３～図５も参照しながら説明する。

【0032】

尚、閲覧操作補助アプリのファイルは、例えば、無線ユニット１７の機能により行われる無線通信回線網を介したデータ通信によってダウンロードされて制御ユニット２０のメモリ２５にインストールされたり、また予め当該メモリ２５にインストールされていたりする。閲覧操作補助アプリは、単独で実行される場合もあるが、例えばウェブブラウザやファイルブラウザ（ファイルマネージャ）と連携して機能する場合もある。即ち、閲覧操作補助アプリは、汎用のプラグイン対応の閲覧アプリ（例えば、Google Chrome（登録商標）、Safari（登録商標）、Microsoft Edge（登録商標）、Internet Explorer（登録商標）等）のサブルーチンとして機能する場合もある。この場合、閲覧操作補助アプリは、所定のプラグイン形式に従った実行ファイルであり、これらの閲覧アプリにプラグインされて呼び出されるごとに実行される。

【0033】

また、閲覧操作補助アプリの実行に先立って、前述した第１動作及び第２動作や、それらの動作を行う右手９０Ｒや左手９０Ｌを予め制御ユニット２０のメモリ２５に登録する必要がある。登録処理の流れについては説明を省略するが、閲覧操作補助アプリが有する機能により行われる。例えば、ディスプレイ１１に現在表示されている内容を他の表示内容に切り替えるための第１動作として、使用者が自分の右手９０Ｒ（又は左手９０Ｌ）を左右に振る動作とその動作を行う右手９０Ｒ（又は左手９０Ｌ）を登録する。また、ディスプレイ１１に現在表示されている内容の表示態様に関する制御（例えば上方向のスクロール）を行うための第２動作として、右手９０Ｒ（又は左手９０Ｌ）を上下に振る動作とその動作を行う右手９０Ｒ（又は左手９０Ｌ）を登録する。

【0034】

右手９０Ｒ（又は左手９０Ｌ）を振る方向は、バックカメラ１６に予め設定（定義）されている上下左右の各方向に従う。例えば、図１に示すように、バックカメラ１６がスマホ１０の上方に位置し且つディスプレイ１１が使用者側に向く状態で当該使用者がスマホ１０を保持している場合においては、スマホ１０は、当該スマホ１０の長手方向上方を「上」、同長手方向下方を「下」、同短手方向右方を「右」、同短手方向左方を「左」にそれぞれ設定している。そのため、例えば、スマホ１０を図１に示す状態から時計回り方向に９０度回転させた状態で使用者に保持されている場合においては、当該使用者が自分の上（下）方向に右手９０Ｒを振る動きは左（右）方向に右手９０Ｒを振る動きとして、また左（右）方向に右手９０Ｒを振る動きは下（上）方向に右手９０Ｒを振る動きとして、後述する動作解析処理（Ｓ１０５）により解析される。

【0035】

尚、右手９０Ｒや左手９０Ｌではなく、それらの指（例えば人差し指や親指等）の動きやその指を登録してもよいし、右手９０Ｒや左手９０Ｌに代えて、例えば、右手９０Ｒで持ったスタイラスやタッチペンの動きや、その動きをさせるスタイラス等を登録してもよい。尚、右手９０Ｒ、左手９０Ｌ、それらの指、それの手で持ったスタイラスやタッチペン等を総称して、以下［発明を実施するための形態］の欄において「手等」という。

【0036】

図３に示すように、制御ユニット２０によって実行される閲覧操作補助アプリは、まずステップＳ１０１により所定の初期化処理が行われる。この初期化処理では、例えば、メモリ２５のワーク領域やフラグ等のクリアが行われるほか、バックカメラ１６による動画撮影が開始される。撮像された画像データは、予め定められた所定期間（例えば１～２秒間）内の動画データである。

【0037】

次のステップＳ１０２では画像データ取得処理が行われる。この画像データは、バックカメラ１６により所定期間内に撮像された一連の画像情報であり、所定期間内の動画データから、コマ送り若しくはコマ落とし又はコマ飛ばしでキャプチャされた（切り出された）複数の静止画像からなる一連の静止画像情報である。尚、ステップＳ１０３の画像データ解析処理において動画解析が可能な場合には、一連の画像情報はビデオキャプチャされた所定期間の動画像情報でもよい。

【0038】

例えば、図１に示すように、使用者が左手９０Ｌで当該スマホ１０を保持した状態でディスプレイ１１を見ている場合には、右手９０Ｒでタッチパネル１２をスワイプしたりタップしたりすることが多い。そこで、閲覧操作補助アプリでは、スマホ１０を左手９０Ｌ（又は右手９０Ｒ）で保持している場合に空いている右手９０Ｒ（又は左手９０Ｌ）の動きをバックカメラ１６で撮像する。

【0039】

使用者が手掌をバックカメラ１６に向けて、例えば、右手９０Ｒを左右（図１に示す矢印方向）に振った場合には、その右手９０Ｒ，９０Ｒ’の動く様子が撮られた一連の静止画像情報がステップＳ１０２により取得される。そのため、続くステップＳ１０３の画像データ解析処理では、これら一連の静止画像情報に右手９０Ｒの画像情報が含まれているか否かの解析が行われる。この画像データ解析処理（Ｓ１０３）は、主にＧＰＵ２３により行われる。

【0040】

ステップＳ１０３による画像データ解析処理では、例えば、公知の画像解析手法としてパターンマッチングが用いられる。パターンマッチングによる画像解析では、例えば、使用者の右手９０Ｒの画像情報をテンプレート画像情報として予めメモリ２５に登録し、比較対象となる一連の静止画像情報のそれぞれとテンプレート画像とのマッチング判定が行われる。この画像データ解析処理では、例えば、一連の静止画像情報のうちテンプレート画像情報と一致していると判定された静止画像情報の割合を得る。

【0041】

ステップＳ１０４では一連の静止画像情報に使用者の手（図１の例では右手９０Ｒ）等が含まれているか否かを判定する処理が行われる。先のステップＳ１０３では、テンプレート画像情報と一致していると判定された静止画像情報の割合が得られるため、ここでは、その割合が所定値以上である場合には一連の静止画像情報に手等が含まれていると判定し、所定値未満である場合には手等が含まれていないと判定する。所定値は、ステップＳ１０３による画像データ解析処理の解析精度に基づいて予め定められており、例えば７０～９０％の範囲において任意に設定される。

【0042】

ステップＳ１０４の判定処理によって、一連の静止画像情報に手等が含まれていると判定された場合には（Ｓ１０４；ＹＥＳ）、続くステップＳ１０５による動作解析処理が行われる。これに対して、一連の静止画像情報に手等が含まれていないと判定された場合には（Ｓ１０４；ＮＯ）、バックカメラ１６により撮られた画像には、例えば、右手９０Ｒ以外のものが写っている蓋然性が高いことから、再度、ステップＳ１０２に処理を移行して、今回以後の所定期間内に撮像された画像データを取得する。

【0043】

ステップＳ１０５では動作解析処理が行われる。この処理では、ステップＳ１０２により取得された一連の静止画像情報に含まれる右手９０Ｒ等の画像がどのような動き（動作）を行っているかについて解析が行われる。この処理も、ステップＳ１０３の画像データ解析処理と同様に、例えば、公知の画像解析手法としてパターンマッチングが用いられて主にＧＰＵ２３により行われる。尚、ステップＳ１０３の画像データ解析処理において、ステップＳ１０５による動作解析処理と同内容の解析処理が併せて行われる場合には、当該動作解析処理（Ｓ１０５）は省略してもよい。

【0044】

前述したように本実施形態では、第１動作及び第２動作は予め制御ユニット２０のメモリ２５に登録されている。そのため、例えば、第１動作として、使用者が自分の右手９０Ｒ等を左右に振る動作が登録されている場合、この動作解析処理では、その右手９０Ｒ等の動きのコマ送り等でキャプチャされた複数の静止画像をテンプレート画像情報として、比較対象となる一連の静止画像情報のそれぞれとテンプレート画像とのマッチング判定が行われる。また例えば、第２動作として、使用者が自分の右手９０Ｒ等を上下に振る動作が登録されている場合には、この処理では、その右手９０Ｒ等の動きのコマ送り等でキャプチャされた複数の静止画像をテンプレート画像情報として、比較対象となる一連の静止画像情報のそれぞれとテンプレート画像とのマッチング判定が行われる。

【0045】

そして、この動作解析処理（Ｓ１０５）においては、マッチング判定結果として、第１動作と第２動作のいずれに一致しているか、又は第１動作と第２動作のいずれにも一致していないか、が得られる。そのため、続くステップＳ１０６の動作判定処理により、登録済みの動作（第１動作と第２動作）か否かと、登録済みの動作である場合には第１動作と第２動作のいずれかの判定が行われる。

【0046】

また、このステップＳ１０５による動作解析処理では、右手９０Ｒ等の手等を振る動作において手等を振る方向とその振る速さが解析される。例えば、右手９０Ｒ等を左右に振る動作が行われていた場合、手等を振る方向として「左右」という方向情報が解析により得られる。また手等が左から右に（右方向に）移動するときの速さと右から左に（左方向に）移動するときの速さとを比較することにより、左右の方向による速度の大小関係の情報も解析により得られる。右手９０Ｒ等を上下に振る動作が行われていた場合も、同様に、手等を振る方向として「上下」という方向情報が解析により得られ、また手等が上方向に移動するときの速さと下方向に移動するときの速さとを比較することにより上下の方向による速度の大小関係の情報が解析により得られる。これら手等を振る方向とその振る速さの情報は、後述する第２動作処理（Ｓ１０８，図４（Ｂ））において使用される。

【0047】

ステップＳ１０６の動作判定処理によって、右手９０Ｒ等の画像に基づく動作が第１動作（例えば右手９０Ｒを左右に振る動作）に一致すると判定された場合には（Ｓ１０６；ＹＥＳ(第１動作)）、ステップＳ１０７の第１動作処理に移行し、また右手９０Ｒ等の画像に基づく動作が第２動作（例えば右手９０Ｒを上下に振る動作）に一致すると判定された場合には（Ｓ１０６；ＹＥＳ(第２動作)）、ステップＳ１０８の第２動作処理に移行する。これらに対して、右手９０Ｒ等の画像に基づく動作（例えば右手９０Ｒを斜めに振る動作等）が第１動作及び第２動作のいずれにも一致しないと判定された場合には、バックカメラ１６により撮像された動作は、予め定められている所定動作等と異なる。つまり、使用者の右手９０Ｒ等の動作に誤りがある可能性が高い。そのため、ステップＳ１０２に戻って今回以後の所定期間内に撮像された画像データを取得する。

【0048】

第１動作処理（Ｓ１０７）及び第２動作処理（Ｓ１０８）のフローチャートは、図４に図示されている。また、これらの処理によりディスプレイ１１に表示されるコンテンツの例を示す説明図が図５に図示されている。

【0049】

図４（Ａ）に示すように、第１動作処理（Ｓ１０７）では、まずステップＳ２０１によりコンテンツ情報取得処理が行われる。コンテンツは情報の内容や中身のことであり、コンテンツ情報は当該コンテンツに関する情報（例えば、当該コンテンツが存在するＵＲＬ等のアドレス情報、ファイル名、ファイル種別、ファイルサイズ、作成年月日、紐付け（関連付け）られている他のコンテンツ情報、等）のことである。ここでは、閲覧アプリから、現在、ディスプレイ１１に表示されているコンテンツの情報を取得する。

【0050】

例えば、図５（Ａ）に示すように、スマホ１０において、インターネットにより閲覧アプリを介して提供されている検索エンジンの検索ボックス７０に「椅子」を入力して検索すると、検索結果がディスプレイ１１の画面に表示される。この例では、複数のリコメンド商品（推奨商品）の縮小画像情報７１ａ，７１ｂ，７１ｃがお勧め順に画面の左側から右側に向かって横並びに表示されている。尚、同図においては、これらの縮小画像情報７１ａ等のうちディスプレイサイズの都合から画面に表示しきれない縮小画像情報７１ｃの一部や表示できない非表示情報７９については、ディスプレイ１１の右外側に薄い灰色に着色されて表現されている。非表示情報７９は、画面表示を左方向にスクロールすることにより表示される。

【0051】

また、画面の縮小画像情報７１ａ～７１ｃの下には「椅子」を販売する通販サイトの概要情報７３が文字情報として表示されている。図５（Ａ）では図示されていないが、検索結果として、ディスプレイ１１には表示されていない通販サイト等の複数の概要情報７３が検索上位順に表示され得るようにインターネットから取得されており、同図に表示されてない概要情報７３は、画面表示を上方向にスクロールすることにより表示される。

【0052】

これら縮小画像情報７１ａ～７１ｃや概要情報７３等がディスプレイ１１に表示された後、使用者が指やスタイラス又はタッチペンでタッチパネル１２を介して「オフィス用スタッキングチェア」の縮小画像情報７１ａを選択した場合には、例えば、図５（Ｂ）に示すように、当該スタッキングチェアの詳細情報７４ａがコンテンツとして表示される。この場合、ステップＳ２０１では、コンテンツ情報として、ディスプレイ１１に表示されている当該スタッキングチェアの詳細情報７４ａに関する情報が取得される。そして、この取得されたコンテンツ情報に基づいて、続くステップＳ２０２により次コンテンツ、即ち今回はまだ閲覧されてないコンテンツが有るか否かを判定する処理が行われる。

【0053】

図５（Ｂ）に示す当該スタッキングチェアのコンテンツの例では、上方向にスクロールすると、図５（Ｄ）に示すように、続けてディスプレイ１１に現れる詳細情報７４ａ’の「★★★関連商品★★★」の欄に表示される複数の関連商品情報７５ａ，７５ｂ，７５ｃ（「運搬台車」、「２脚セット」や「５脚セット」）が他のコンテンツ情報として紐付けられている。このように、現在、閲覧しているコンテンツやスクロールすると閲覧できるコンテンツ（以下「閲覧コンテンツ等」という）に他のコンテンツ情報が紐付けられている場合には、次コンテンツが存在する。そのため、ステップＳ２０２では、次コンテンツが有ると判定し（Ｓ２０２；ＹＥＳ）、次のステップＳ２０３により次コンテンツの情報を閲覧アプリから、又は閲覧アプリを介してインターネットから取得する処理が行われる。

【0054】

そして、続くステップＳ２０５により既出のコンテンツと同じであるか否かを判定する処理が行われる。即ち、次コンテンツが今回以前、つまり前回までに閲覧されている場合にその閲覧済みのコンテンツをディスプレイ１１に再度表示すると、使用者は、既に閲覧したコンテンツを再び見ることになり、当該使用者にガッカリ感や無駄な時間を消費したイメージを与えてしまう虞がある。また、閲覧中のコンテンツαが次コンテンツβにおいて紐付けられている場合には、コンテンツα→コンテンツβ→コンテンツα→コンテンツβ→…というように閲覧の無限ループを構成してしまう。

【0055】

このため、本実施形態では、ステップＳ２０５により、次コンテンツが前回までに閲覧したコンテンツと同じであるか否かを判定する処理を行う。そして、次コンテンツが既出（既閲覧）のコンテンツと同じである場合には（Ｓ２０５；ＹＥＳ）、ステップＳ２０２に戻って別の次コンテンツが存在するか否かを判定し、同じでない場合には（Ｓ２０５；ＮＯ）、ステップＳ２０６に処理を移行する。

【0056】

これらのコンテンツが同じであるか否かの判定は、例えば、コンテンツのアドレス情報、ファイル名、ファイルサイズ、作成年月日等のコンテンツ情報に基づいて行われ、これらのコンテンツ情報が同一であれば、これらは同じコンテンツであると判定する。また、過去に閲覧されたコンテンツが制御ユニット２０のキャッシュメモリやクッキーファイル等に保存されている場合には、同一のコンテンツがこれらのキャッシュメモリ等に存在すれば、これらは同じコンテンツであると判定する。

【0057】

これにより、前回までに閲覧したコンテンツが再度、ディスプレイ１１に表示されることがないため、上記のような問題の発生を回避することが可能になる。尚、このような問題の発生よりも、既出のコンテンツを再度、閲覧できるように構成することにメリットがある場合には、当該判定処理（Ｓ２０５）は不要になる。そのため、この場合にはステップＳ２０５の判定処理を削除する。

【0058】

一方、ステップＳ２０２により、次コンテンツが無いと判定した場合（Ｓ２０２；ＮＯ）、即ち閲覧コンテンツ等の関連商品情報７５ａ～７５ｃのような他のコンテンツ情報が紐付けられていない場合には、ステップＳ２０４に処理を移行する。そして、次コンテンツが存在しないことを表すエンド情報（所定データや所定フラグ）をメモリ２５から取得する処理が行われた後、ステップＳ２０６に処理を移す。

【0059】

尚、ステップＳ２０１により取得されたコンテンツ情報に他のコンテンツ情報が紐付けられていない場合において、例えば、現在、ディスプレイ１１に表示されているコンテンツと表示階層（又はデータ階層）上、同例に存在する他のコンテンツを、次コンテンツとして、ステップＳ２０２により次コンテンツが有ると判定してもよい。

【0060】

例えば、図５（Ｂ）に示す当該スタッキングチェアの詳細情報７４ａにおいて他のコンテンツ情報が紐付けられていない場合、コンテンツを一つ前の時点（又は表示階層の一つ上）のコンテンツに戻って、図５（Ａ）に表されている当該スタッキングチェアの縮小画像情報７１ａと同列に表示される他の縮小画像情報７１ｂ，７１ｃを次コンテンツとして選択してもよい。例えば、お勧め順（画面の左側から右側）に従って縮小画像情報７１ａの右隣に表示される縮小画像情報７１ｂの「GAMING CHAIR」のコンテンツを選択した場合には、同画面において「GAMING CHAIR」の縮小画像情報７１を選択したときと同様に、図５（Ｂ）に示すようなスタッキングチェアの詳細情報７４ａや図５（Ｃ）に示すような運搬台車の詳細情報７４ｂと同じ表示形式で「GAMING CHAIR ゲーミングチェア」の詳細情報が表示される。

【0061】

ステップＳ２０６では表示情報出力処理が行われる。この処理は、ステップＳ２０３により取得された次コンテンツ情報、又はステップＳ２０４により取得されたエンド情報を閲覧アプリに出力するものである。次コンテンツ情報が閲覧アプリに出力されると、閲覧アプリは、次コンテンツ情報に基づいて他のコンテンツのデータをインターネットから（又は先読み込み等により他のコンテンツのデータが既にダウンロードされている場合にはそれをメモリ２５から）取得して、現在、ディスプレイ１１に表示しているコンテンツを、他のコンテンツの表示に切り替える処理を行う。つまり、閲覧アプリは、閲覧操作補助アプリからの指示を受けて、使用者が行った第１動作に対応してディスプレイ１１の表示内容を他のコンテンツに切り替える。

【0062】

例えば、図５（Ｄ）に示す当該スタッキングチェアの詳細情報７４ａ’においては、複数の関連商品情報７５ａ～７５ｃとして「運搬台車」、「２脚セット」及び「５脚セット」のコンテンツの縮小画像が紐付けられているため、閲覧アプリは、閲覧操作補助アプリの指示を受け、ディスプレイ１１における表示順（画面の左側から右側に向けて）にこれらのコンテンツを他のコンテンツとしてディスプレイ１１に表示する。この例では、画面の左端に表示されている関連商品情報７５ａは「運搬台車」のコンテンツの縮小画像であることから、それにリンクされているコンテンツ（次コンテンツ）として、使用者が行った第１動作に対応してディスプレイ１１には「スタッキングチェア用 運搬台車」の詳細情報７４ｂが表示される（図５（Ｃ）参照）。

【0063】

これに対して、エンド情報が閲覧アプリに出力された場合には、閲覧コンテンツ等に紐付けられている次コンテンツがなく、閲覧アプリは他のコンテンツ情報を得られないことから、ディスプレイ１１の表示を他のコンテンツに切り替えることはできない。そのため、このような場合には、例えば、閲覧アプリは、使用者が第１動作を行っても、現在、ディスプレイ１１に表示されているコンテンツをそのまま維持したり、切り替えるコンテンツが存在しない旨の情報をディスプレイ１１に表示したりする。

【0064】

ステップＳ２０６による処理が終了すると、一連の第１動作処理を終えて図３に示す閲覧操作補助アプリのメインルーチンに戻る。そして、再びステップＳ１０２に処理を移行して、今回以後の所定期間内に撮像された画像データを取得する。つまり、使用者が次に行う手等の動きに備える。

【0065】

図４（Ｂ）に示すように、第２動作処理（Ｓ１０８）では、まずステップＳ３０１により手等情報取得処理が行われる。手等情報は、前述の図３に示す動作解析処理（Ｓ１０５）により得られている手等を振る方向とその振る速さの情報である。一般的にヒトが方向を意識して手等を振る場合、その方向に振るときの速度の方が、振った後に手等を戻すために逆向きに振るときの速度よりも速くなる。そのため、これらの情報から、速度が大きい方向（上＞下の場合は上方向、上＜下の場合は下方向）に向けて手等が振られていること、つまり手等の動作方向がわかる。

【0066】

したがって、次のステップＳ３０２による判定処理により、上方向に向けて手等が振られていると判定された場合には（Ｓ３０２；上方向）、ステップＳ３０３に処理を移行して上スクロール設定処理が行われる。また、同判定処理により、下方向に向けて手等が振られていると判定された場合には（Ｓ３０２；下方向）、ステップＳ３０４に処理を移行して下スクロール設定処理が行われる。これらの設定処理（Ｓ３０３，Ｓ３０４）では、例えば、スクロール方向（上方向又は下方向）とそのスクロール量とが含まれるスクロールコマンドが出力バッファにセットされる処理が行われる。スクロール量は、予め設定されている所定量であり、例えば、スクロール方向（この場合、上下方向）に対するディスプレイ１１の幅（この場合、上下方向幅）とほぼ同じ値又は僅かに小さい値、つまり画面上下方向のほぼ１ページ相当分に設定される。

【0067】

ステップＳ３０５ではスクロールコマンド出力処理が行われる。この処理は、ステップＳ３０３やステップＳ３０４によりセットされたスクロールコマンドを閲覧アプリに出力するものである。スクロールコマンドが閲覧アプリに出力されると、閲覧アプリは、現在、ディスプレイ１１に表示しているコンテンツを上方向又は下方向に向けて所定量だけスクロールする。これにより、ディスプレイ１１に表示されているコンテンツを上方向又は下方向に画面上下方向ほぼ１ページ分、スクロールすることが可能になる。

【0068】

例えば、図５（Ｂ）に示す当該スタッキングチェアのコンテンツの例においては、閲覧アプリは、ディスプレイ１１に表示されている詳細情報７４ａを下方向に画面上下方向ほぼ１ページ分だけスクロールさせる。これにより、図５（Ｄ）に示すように、スクロール後にディスプレイ１１に表示されている詳細情報７４ａ’においては、スクロール前に画面の最下方に位置していた「★★★関連商品★★★」の表示が、画面の最上方に位置するように表示されるとともに、スクロール前には表示されていなかった複数の関連商品情報７５ａ～７５ｃが「★★★関連商品★★★」の下に表示される。また、「＜＜＜ 商品の詳細情報 ＞＞＞」として、型番、サイズ、重量、カラー、材質、機能や注意事項、「＜＜＜ 商品レビュー ＞＞＞」の一部も表示される。

【0069】

ステップＳ３０５による処理が終了すると、一連の第２動作処理を終えて図３に示す閲覧操作補助アプリのメインルーチンに戻り、再度、ステップＳ１０２に処理を移行して、今回以後の所定期間内に撮像された画像データを取得する。つまり、使用者が次に行う手等の動きに備える。

【0070】

尚、本実施形態の閲覧操作補助アプリでは、汎用の閲覧アプリにプラグインされてそのサブルーチンとして機能する場合を例示して説明したが、これに限られることはなく、例えば、スマホ１０に専用の閲覧アプリの一機能として、当該閲覧アプリに、閲覧操作補助アプリの機能（図３，４）を予め組み込んで構成してもよい。

【0071】

以上説明したように本実施形態のスマホ１０では、それにインストールされた閲覧操作補助アプリが閲覧アプリを介して又は直接的に制御ユニット２０を制御することにより、バックカメラ１６が撮像した所定期間内に含まれる一連の画像情報に当該スマホ１０の使用者の手等の画像が含まれていると制御ユニット２０が判定し（Ｓ１０４；ＹＥＳ）、且つ、一連の画像情報に基づいて所定期間内における手等の動きが予め定められた第１動作（所定動作）であると制御ユニット２０が判定した場合（Ｓ１０６；ＹＥＳ(第１動作)）、制御ユニット２０は、ディスプレイ１１に現在表示されている詳細情報７４ａを関連商品情報７５ａ～７５ｃの表示に切り替える（Ｓ２０６）。

【0072】

これにより、例えば、当該スマホ１０の使用者は、ディスプレイ１１をスワイプしたりタップしたりする代わりに、バックカメラ１６に撮像されている手等の動きが第１動作になるように手等を動かすことによって、現在、ディスプレイ１１に表示されている詳細情報７４ａを関連商品情報７５ａ～７５ｃの表示に切り替えることが可能になる。例えば、使用者がスマホ１０を左手９０Ｌ（又は右手９０Ｒ）で保持している場合には、右手９０Ｒ（又は左手９０Ｌ）を当該スマホ１０の裏側面１０Ｂにかざして所定動作を行うことによって、ディスプレイ１１に表示されているコンテンツ等が右手９０Ｒ（又は左手９０Ｌ）により隠れることなくコンテンツの切替え操作を行うことが可能になる。したがって、目的の情報に到達するまでの操作をディスプレイ１１の裏側において右手９０Ｒ（又は左手９０Ｌ）の動きだけで可能にするので、視認性を確保しつつ、操作性を向上することができる。

【0073】

また、本実施形態のスマホ１０では、制御ユニット２０は、手等の動きが第２動作（他の所定動作）であると判定した場合（Ｓ１０６；ＹＥＳ(第２動作)）、コンテンツの表示態様に関する制御として、ディスプレイ１１の画面表示を上方向又は下方向にスクロールする。コンテンツの表示態様に関する制御は、例えば、現在、ディスプレイ１１に表示されているコンテンツを左方向や右方向にスクロールしたり、同コンテンツの表示倍率を変更したり（拡大表示や縮小表示）してもよい。またディスプレイ１１に表示されているコンテンツを一つ前の時点（又は表示階層の一つ上）のコンテンツに戻してもよい。

【0074】

これにより、例えば、当該スマホ１０の使用者は、ディスプレイ１１をスワイプする代わりに、バックカメラ１６に撮像されている手等の動きが第２所定動作になるように動かすことによって、現在、ディスプレイ１１に表示されているコンテンツをディスプレイ１１の上下方向や左右方向にスクロール表示させたり、コンテンツを拡大や縮小表示させたり等、様々な表示態様の制御を行うことが可能になる。

【0075】

さらに、本実施形態のスマホ１０では、ディスプレイ１１に関連商品情報７５（他のコンテンツ）が複数表示され、且つ、手等の動きが第１動作であると制御ユニット２０が複数回連続して判定してその判定ごとに複数の関連商品情報７５ａ～７５ｃが順番に切り替えられる場合においては、例えば、制御ユニット２０は、複数の関連商品情報７５ａ～７５ｃのうち、ディスプレイ１１に次に表示する予定の関連商品情報７５ｂのコンテンツがディスプレイ１１に既に表示された表示済みコンテンツと同じ内容であるときには、この関連商品情報７５ｂのコンテンツ（次表示コンテンツ）に代えて、これの次に表示する予定の関連商品情報７５ｃのコンテンツ（次表示コンテンツの次に表示する予定の他のコンテンツ）に切り替えてディスプレイ１１に表示する。これにより、表示済みコンテンツと同じ内容の詳細情報がディスプレイ１１に表示されてしまうのを防止することができる。つまり、既に閲覧したコンテンツを再度見せてしまい使用者にガッカリ感や無駄な時間を消費したイメージを与えるような事態を未然に防ぐことが可能になる。

【0076】

尚、上述した閲覧操作補助アプリの実施形態では、閲覧コンテンツ等がリコメンド商品（推奨商品）の場合、それに紐付けられている他のコンテンツ情報として関連商品情報７５ａ～７５ｃを例示して説明したが、紐付けられている他のコンテンツ情報は、例えば、当該リコメンド商品を販売している企業情報や、当該企業が販売する他の製品情報等であってもよい。また、閲覧コンテンツ等は、閲覧アプリを使用してインターネットの検索エンジンにより提供されるリコメンド商品に限られることはなく、当該検索エンジンによる検索結果の情報に関連付けられてインターネットから提供されるテキストデータ、画像データ、動画データ等でもよい。また、閲覧アプリを使用してディスプレイ１１で閲覧できる電子データであれば、例えば、当該スマホ１０のメモリ２５に記憶されているテキストデータ、画像データ、動画データ等でもよい。

【0077】

また、上述した閲覧操作補助アプリの実施形態では、第２動作に対応してディスプレイ１１の画面表示を上方向や下方向にスクロールする例を説明したが、第２動作に対応したコンテンツの表示態様に関する制御であれば、例えば、現在、ディスプレイ１１に表示されているコンテンツを左方向や右方向にスクロールしたり、同コンテンツの表示倍率を変更したり（拡大表示や縮小表示）してもよい。また、第２動作に対応してディスプレイ１１に表示されているコンテンツを一つ前の時点（又は表示階層の一つ上）のコンテンツに戻し得るように閲覧操作補助アプリを構成してもよい。尚、上下方向や左右方向のスクロールは、一定速度で連続してスクロールするように構成してもよいし、また第２動作において手等を動かす距離の大きさに対応してスクロールの速度を変更可能に構成してもよい。例えば、手等を動かす上下方向の移動距離が大きくなるほどスクロールが速くなり、小さくなるほどスクロールが遅くなるように構成する。

【0078】

さらに、上述した閲覧操作補助アプリの実施形態では、第１動作に対応してディスプレイ１１の表示を他のコンテンツに切り替える例、また第２動作に対応してディスプレイ１１の画面表示を上方向や下方向にスクロールする例を説明した。しかしこれらの他に、第３動作、第４動作や第５動作等を登録し、動作判定処理（Ｓ１０６）において、これらの動作に対応して、ディスプレイ１１に表示されているコンテンツの表示態様を制御するように構成してもよい。

【0079】

例えば、第３動作は、右手９０Ｒ（または左手９０Ｌ）を斜め右上左下がりに振る動作、第４動作は、右手９０Ｒ（または左手９０Ｌ）を斜め左上右下がりに振る動作、第５動作は、右手９０Ｒ（または左手９０Ｌ）をスマホ１０から離したり近づけたりする前後に動かす動作とする。第３動作に対応してディスプレイ１１に表示されているコンテンツを左方向や右方向にスクロールしたり、第４動作に対応して同コンテンツの表示倍率を変更したり、第５動作に対応してディスプレイ１１の表示を、同コンテンツから、一つ前の時点（又は表示階層の一つ上）のコンテンツに戻したりし得るように閲覧操作補助アプリを構成してもよい。また、ディスプレイ１１に表示されているコンテンツが動画データの場合には、例えば、第２動作により動画を再生したり、再生されている動画を第３動作により停止させたり、第４動作により動画を早送りしたり、第５動作により動画を巻き戻ししたりし得るように閲覧操作補助アプリを構成してもよい。

【0080】

［その他の発明］
従来のスマートフォン等の携帯情報端末装置においては、使用者がディスプレイを指やスタイラス又はタッチペン（以下「指等」という）でスワイプしたりタップしたりすることによって、表示サイズよりも携帯性が重視された小型ディスプレイであっても多くの情報の表示を可能にしているが、操作面において次のような問題がある。一般に、携帯情報端末装置のディスプレイの表面は、写真や動画等の画像を綺麗に見せるために光沢処理が施されていたり、反射による眼の疲れを軽減するためにノングレア処理が施されていたりするが、いずれの場合も指等による触覚では平坦な面に感じてしまうことが多い（ノングレアでもザラザラ程度の感触に過ぎない）。

【0081】

このため、例えば、指等でディスプレイをスワイプする際には、マウスのスクロールホイールを回動させた場合に指に伝わるクリック感を与えることはできない。つまり、従来の携帯情報端末装置においては、例えば、ディスプレイをスワイプする場合に使用者に対してスワイプ量を感覚的に付与することはできていなかった。そこで、［その他の発明］においては、ディスプレイをスワイプする場合に使用者に対してスワイプ量を感覚的に付与し得る操作装置（「スクロール操作装置」ともいう）を提供する。

【0082】

［他の発明１］
ディスプレイの表面にタッチパネルを備えた携帯情報端末装置に装着して使用されるスクロール操作装置であって、
弾力性がある凸部を周方向ほぼ等間隔に外周に有するローラ部と、
前記ローラ部の両端を回動自在に支持する枠体部と、
前記ローラ部が回動した場合に前記凸部が前記タッチパネルに当接するように前記枠体部の両端又は一端を前記携帯情報端末装置に装着する支持部と、
を備える、ことを特徴とするスクロール操作装置。
［他の発明２］
前記他の発明１において、前記凸部は、前記ローラ部の軸方向に線条に存在している、ことを特徴とするスクロール操作装置。
［他の発明３］
前記他の発明１又は他の発明２において、前記枠体部は、前記ローラ部の回動に伴って、前記ローラ部に触れる使用者の指の触覚にクリック感を付与する機構、又は前記使用者の聴覚にクリック音を付与する機構を備える、ことを特徴とするスクロール操作装置。

【0083】

上記の他の発明１は、ディスプレイの表面にタッチパネルを備えた携帯情報端末装置に装着して使用されるスクロール操作装置であって、ローラ部、枠体部及び支持部を備えている。そして、弾力性がある凸部を周方向ほぼ等間隔に外周に有するローラ部は、その両端が回動自在に枠体部に支持され、枠体部は、ローラ部が回動した場合にローラ部の凸部がタッチパネルに当接するように枠体部の両端又は一端が支持部によって携帯情報端末装置に装着される。尚、回動は、ローラ部が正転方向に回転する場合と逆転方向に回転する場合の両方向に回転可能であることを意味する。尚、本他の発明のスクロール操作装置は、スクロール操作以外の操作（画面切替操作）も可能であるため、単に「操作装置」ともいう。

【0084】

これにより、携帯情報端末装置の使用者がマウスのスクロールホイールを回動させるように、指でローラ部を回動させることにより「ローラ部が周方向ほぼ等間隔に外周に有する凸部」が携帯情報端末装置のタッチパネルに不連続に当接する。そのため、タッチパネルに対しては指等で所定の短いストロークで小刻みにスワイプしたようにローラ部が当接し、また使用者の指に対してはローラ部の回動に伴い回動量に比例して発生する凸部の当接感が付与される。ローラ部の回動量は、小刻みにスワイプしたスワイプの合計量（小刻みスワイプの総量）であり、スワイプ量に相当し得る。また使用者は、断続的な凸部の当接感から感覚的にローラ部の回動量を把握することが可能である。したがって、ディスプレイをスワイプする場合に使用者に対してスワイプ量を感覚的に付与することができる。

【0085】

上記他の発明２では、ローラ部の凸部は、ローラ部の軸方向に線条に存在していることから、タッチパネルに対して広範囲にスワイプすることが可能になる。これにより、例えば、ローラ部の軸方向に対してローラ部の一部がタッチパネルから過剰に浮いているような不適切な状態で当該スクロール操作装置が携帯情報端末装置に装着されている場合でも、ローラ部の残部に存在する凸部をタッチパネルに当接させることが可能になる。したがって、このような不適切な装着状態においても、ディスプレイをスワイプする場合に使用者に対してスワイプ量を感覚的に付与することができる。

【0086】

上記他の発明３では、枠体部は、ローラ部の回動に伴って、ローラ部に触れる使用者の指の触覚にクリック感を付与する機構、又は使用者の聴覚にクリック音を付与する機構を備える。これにより、使用者は、凸部の当接感に加えて、ローラ部の回動に伴って触覚又は聴覚を介してクリック感又はクリック音が得られることから、使用者に対してより確実にスワイプ量を感覚的に付与することができる。

【0087】

上記の［他の発明１］～［他の発明３］のスクロール操作装置は、その一実施形態として、例えば、図６及び図７に示すようなスクローラ３０として具現化することが可能である。スクローラ３０は、ディスプレイ５１の表面にタッチパネル５２を備えたスマホ５０に装着して使用されるものであり、主に、ローラ部３５とフレーム３１とクリック機構部３６を備えている。

【0088】

スマホ５０のディスプレイ５１は、例えば、縦横比が１６：９の６インチ型サイズの液晶表示装置である。タッチパネル５２は、ディスプレイ５１とほぼ同サイズでディスプレイ表面のほぼ前面に設けられる透明フィルムタイプのポインティングデバイスであり、使用者が指やスタイラスを接触させたディスプレイ５１上の位置情報をスマホ５０の制御ユニットに出力可能に構成されている。タッチパネル５２の位置検知は、例えば、抵抗膜方式、静電容量方式や超音波表面弾性波方式等である。

【0089】

ローラ部３５は、弾力性があり導電性が良好な材料（例えば導電ゴム）からなり多角柱形状に形成されている。本実施形態では、軸方向長さがディスプレイ５１の横幅方向長よりも短く設定された正六角柱形状に形成されている。断面形状が正多角形状であれば、例えば、正八角柱形状や正十角柱形状等でもよい。ローラ部３５の外周、つまり周面部３５ａにはその軸方向に線条に延びる角部３５ｂが周方向ほぼ等間隔に形成されている。本実施形態では、ローラ部３５が正六角柱形状であることから、角部３５ｂは周上の六箇所に形成されている。ローラ部３５の中心には軸部材が貫通するように設けられ、その両端は軸部３５ｃ，３５ｄとして突出する。本実施形態では、角部３５ｂは、ローラ部３５の両端間に軸方向に線条に形成されているため、例えば、ローラ部３５の一方端がタッチパネル５２から過剰に浮いているような不適切な状態でスクローラ３０がスマホ５０に装着される場合があっても、ローラ部３５の他方側に存在する角部３５ｂをタッチパネル５２に当接させることが可能になる。

【0090】

フレーム３１は、アッパーフレーム３２とロアーフレーム３３により構成されており、これらによりスマホ５０を、当該スマホ５０の表裏両面方向及び横幅（左右）方向に挟み込み得るように構成されている。アッパーフレーム３２はローラ部３５を回動自在に支持可能に構成されている。アッパーフレーム３２及びロアーフレーム３３は、例えば、高密度ポリエチレン、ポリプロピレンやＡＢＳ樹脂等からなる。尚、スマホ５０を挟み込んだ状態におけるアッパーフレーム３２とロアーフレーム３３の離隔距離は、図７（Ａ）に示すように、スクローラ３０のローラ部３５とスマホ５０のタッチパネル１２とが対向した場合において、ローラ部３５の周面部３５ａは隙間ＳＰが生じる状態、且つ、ローラ部３５の角部３５ｂはそれがやや潰れる程度に圧接された状態を維持し得るように保たれる。

【0091】

アッパーフレーム３２は、スマホ５０の横幅方向長さよりも長い短冊形状を有する薄板状に形成されており、そのほぼ中央にはアッパーフレーム３２の長手方向に沿うように寝かせた状態でローラ部３５を収容可能な矩形状の長穴（ローラ収容部３２ａ）が形成されている。アッパーフレーム３２の一端側にはヒンジ機構を構成するヒンジ片部３２ｂが形成されており、ヒンジ片部３２ｂには回動軸３４が貫通している。回動軸３４はヒンジ片部３２ｂと一体に構成してもよい。アッパーフレーム３２の他端側にはアッパーフレーム３２の長手方向に突出する爪部３２ｃが形成されている。アッパーフレーム３２の一端側に位置するローラ収容部３２ａの側壁内には、後述するクリック機構部３６が収容されており、ローラ部３５の軸部３５ｃがクリック機構部３６に連結されている。また、他端側に位置するローラ収容部３２ａの側壁には、ローラ部３５の軸部３５ｄを回動自在に支持可能な軸受穴３２ｄが形成されている。

【0092】

ロアーフレーム３３は、両端にアッパーフレーム３２の長手方向両端を挟み得るＬアングル部３３ｂ，３３ｃを有する短冊形状に形成されている。ロアーフレーム３３の内側、つまりスマホ収容部３３ａやＬアングル部３３ｃ，３３ｄの内面には、クッション材３９が装着されている。クッション材３９は、例えばシート状のゴムスポンジであり、両面テープ等を介してロアーフレーム３３の内側面に貼着されている。ロアーフレーム３３の短手方向幅は、アッパーフレーム３２とほぼ同様に設定されている。一端側のＬアングル部３３ｂは、アッパーフレーム３２のヒンジ片部３２ｂとともにヒンジ機構を構成するヒンジ片部として機能する。他端側のＬアングル部３３ｃには、アッパーフレーム３２の爪部３２ｃを係止可能な溝部３３ｄが形成されている。爪部３２ｃと溝部３３ｄはロック機構を構成する。

【0093】

クリック機構部３６は、ローラ部３５の回動や回転に伴ってローラ部３５に触れる使用者の指の触覚にクリック感を付与したり、使用者の聴覚にクリック音を付与したりする機構であり、例えば、マウスのホイールに採用される公知の構成を有する。図示を省略するが、具体的には、中心から放射線状に複数の線条溝を有するとともにローラ部３５の一端側の軸部３５ｃに接続されてそれを回動軸にする円盤部と、この円盤部を回動自在に軸支する軸受穴と、可撓性があり、回動する円盤部の複数の線条溝に係合可能に固定される爪と、により構成されている。ローラ部３５と一体に円盤部も回動すると、円盤部の回動や回転に伴って、可撓性を有する爪が円盤部の複数の線条溝を次々に横断するように凹凸を乗り越える。これにより、クリック機構部３６は、カチカチと音や振動を発するため、使用者に対してローラ部３５の回動に伴うクリック音やクリック感が付与される。

【0094】

このようにスクローラ３０を構成することによって、図６（Ｄ）に示すように、アッパーフレーム３２とロアーフレーム３３の一端側に構成されるヒンジ機構により回動軸３４を中心にアッパーフレーム３２とロアーフレーム３３が相対的に回動することが可能になり、またアッパーフレーム３２とロアーフレーム３３の他端側に構成されるロック機構によりスマホ５０を挟んだ状態を維持することが可能になる。これにより、スクローラ３０は、ローラ部３５がタッチパネル５２に接触し得る位置関係でスマホ５０に取り付けることが可能になる（図６（Ａ）～（Ｃ））。

【0095】

スマホ５０に装着されたスクローラ３０は、図７に示すように機能する。図７（Ａ）に示すように、スマホ５０の使用者がその指９１でローラ部３５をスマホ５０の下方に引くように回転させると、当該ローラ部３５は同図中の矢印方向に回転する。すると、図７（Ａ）の状態では、ローラ部３５の周面部３５ａとタッチパネル５２との間には隙間ＳＰが形成されており互いに接触していない両者（ローラ部３５とタッチパネル５２）が、ローラ部３５の回転に伴ってローラ部３５の角部３５ｘがタッチパネル５２に接触する（図７（Ｂ））。そして、同方向にローラ部３５を回転させることによって、角部３５ｘ’がタッチパネル５２に押圧されて潰れ（図７（Ｃ））、潰れた角部３５ｘ’が矢印方向に滑るように移動し、さらに回転を進めることにより潰れていた角部３５ｘ’が元の形（角部３５ｘ）に戻る（図７（Ｄ））。

【0096】

ローラ部３５の周面部３５ａには、周方向に等間隔に複数の角部３５ｂが形成されていることから、これら複数の角部３５ｂは、角部３５ｘ→潰れた角部３５ｘ’→角部３５ｘというように、タッチパネル５２に対して点→面→点の３つの接触過程を経て断続的（不連続）に当接（接触）するとともに、面状に潰れた角部３５ｘ’がタッチパネル５２上をスマホ５０の上方に滑るように移動する。これにより、タッチパネル５２に対しては指等で所定の短いストロークで小刻みにスマホ５０の上方に向けてスワイプしたようにローラ部３５が面接触し、また使用者の指に対してはローラ部３５の回動に伴い回動量に比例して発生する角部３５ｂの当接感が付与される。ローラ部３５の回動量は、小刻みにスワイプしたスワイプの合計量（小刻みスワイプの総量）であり、スワイプ量に相当し得る。また使用者は、断続的な角部３５ｂの当接感から感覚的にローラ部３５の回動量を把握することが可能である。

【0097】

したがって、ディスプレイ５１をスワイプする場合に使用者に対してスワイプ量を感覚的に付与することができる。また、クリック機構部３６により、使用者は、角部３５ｂの当接感に加えて、ローラ部３５の回動に伴って触覚又は聴覚を介してクリック感又はクリック音が得られることから、使用者に対してより確実にスワイプ量を感覚的に付与することができる。また、ローラ部３５の角部３５ｂは、ローラ部３５の両端間に軸方向に線条に形成されているため、ローラ部３５の一方側がタッチパネル１２から過剰に浮いてしまうような不適切な状態でスクローラ３０がスマホ５０に装着されても、ディスプレイ５１をスワイプする場合に使用者に対してスワイプ量を感覚的に付与することができる。

【0098】

尚、ローラ部３５の角部３５ｂは、ローラ部３５の軸方向に連続（線条）でも不連続（点状）でもよい。また、ローラ部３５はその周面部が曲面になる円柱でもよく、その場合には軸方向に連続（線条）又は不連続（点状）な凸状部を有する。また、支持部は、ロアーフレーム３３のように両端が連結されてなくてもよい。コ形状を開口側で対向（開き角括弧記号「［」と閉じ角括弧記号「］」を向かい合わせ）させたように２つの部材により構成してもよい。また、これら２つの部材をアッパーフレーム３２の両端に接続した構成を採ってもよい。

【0099】

また、図７に示した例では、スマホ５０の使用者が指９１でローラ部３５をスマホ５０の下方に引く場合について説明したが、ローラ部３５をスマホ５０の上方に押すように回転させる場合においても、ローラ部３５やクリック機構部３６等は「下方に引く場合」と同様に機能する。但し、この場合には当該ローラ部３５が同図中の矢印と反対方向に回転するので、潰れた角部３５ｘ’がタッチパネル５２上をスマホ５０の下方に滑るように移動する。これにより、タッチパネル５２に対しては指等で所定の短いストロークで小刻みにスマホ５０の下方に向けてスワイプしたようにローラ部３５が面接触する。

【0100】

また、前述した他の発明の態様では、ローラ部の角部をタッチパネルに当接させることで（ローラ部がタッチパネルに接触したことを検知して）、所定の表示制御を行うものとした。このような態様に変えて、ローラ部の回動（回動量、回転角度）をカメラ（フロントカメラ）が検知（撮像）可能な位置にスクローラを設け（例えば、ローラ部の下方にカメラが位置するように設ける）、ローラ部とタッチパネル（ディスプレイ画面）とが非接触であっても、ローラ部の回動量を認識して表示制御できるようにしてもよい。尚、ローラ部を図６に示すものより小径として、ローラ部を回動させた際に、ローラ部がタッチパネル（ディスプレイ画面）に接触しないようにすることで、ローラ部の回動操作によってタッチパネル（ディスプレイ画面）が損傷するのを防止することが可能となる。

【0101】

また、前述した他の発明の態様では、ローラ部を回動操作することで、表示されているコンテンツをディスプレイの上下方向にスクロール表示させたり、表示されているコンテンツを他のコンテンツに切替え表示させたりすることが可能となる。また、スマホにインストールされているアプリ等で所定の入力操作（所定の入力）を行うことで、「ローラ部の回動操作」に対して、コンテンツのスクロール操作（第１の表示制御）、若しくは
、コンテンツの切替え操作（第２の表示制御）の何れか一方を対応付け可能としてもよい。これにより、「ローラ部の回動操作」によって何れの操作を行うかを使用者が切替え可能となる。

【符号の説明】

【0102】

１０，５０ スマホ（携帯情報端末装置）、１０Ｂ 裏側面、１０Ｆ 表側面（ディスプレイを有する面）、１１，５１ ディスプレイ、１２，５２ タッチパネル、１５ フロントカメラ、１６ バックカメラ（裏面側のカメラ）、２０ 制御ユニット（画像判定手段、動作判定手段、コンテンツ切替手段、表示制御手段、携帯情報端末装置を制御するコンピュータ）、３０ スクローラ（スクロール操作装置）、３２ アッパーフレーム（枠体部、支持部）、３３ ロアーフレーム（支持部）、３５ ローラ部、３５ｂ，３５ｘ，３５ｘ’ 角部（凸部）、３５ｃ，３５ｄ 軸部（ローラ部の両端）、３６ クリック機構部（クリック感を付与する機構、クリック音を付与する機構）、７１ａ，７１ｂ，７２ 縮小画像情報、７３ 概要情報、７４ａ，７４ｂ，７４ａ’ 詳細情報（コンテンツ）７５ａ，７５ｂ，７５ｃ 関連商品情報（他のコンテンツ）、９０Ｒ 右手９０Ｒ（ヒトの手）、９０Ｌ 左手９０Ｌ（ヒトの手）、９１ 指９１、Ｓ１０３，Ｓ１０４（画像判定手段）、Ｓ１０５，Ｓ１０６（動作判定手段）、Ｓ１０７（コンテンツ切替手段）、Ｓ１０８（表示制御手段）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】