(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
以下、本発明をスマートフォンに適用した場合の一実施形態について図面を参照して説明する。
図1は、本実施形態に係るスマートフォン10の電子回路の機能構成を示すブロック図である。同図で、CPU11がこのスマートフォン10全体の制御動作を司るものであり、このCPU11にシステムバスSBを介して、メインメモリ12、ソリッドステートドライブ(SSD)13、3G&4G通信部14、無線LAN通信部15、外部メモリカード16、表示部17、タッチパネル入力部18、キー入力部19、音声処理部20、画像処理部21、及び3軸加速度センサ28が接続される。
【0012】
CPU11は、ソリッドステートドライブ13に記憶された動作プログラム(OSとそのOS上で動作するアプリケーションプログラム)及び定型データ等を読出し、メインメモリ12に展開して記憶させた上で当該プログラムを実行することにより、このスマートフォン10の動作全体を統括して制御する。
【0013】
メインメモリ12は、例えばSRAMで構成され、上記CPU11のワークメモリとして機能する。ソリッドステートドライブ13は、不揮発性のメモリ、例えばフラッシュメモリで構成され、上述した動作プログラムや各種定型データの他、このスマートフォン10の記憶媒体として各種コンテンツ、例えば画像データや楽曲データ等を記憶する。
【0014】
3G&4G通信部14は、IMT−2000規格に準拠した第3世代移動通信システム、及びIMT−Advance規格に準拠した第4世代移動通信システムに基づき、アンテナ22を介して最寄りの図示しない基地局との間でデータの送受を実行する、デュアルモードで動作する通信部である。
【0015】
無線LAN通信部15は、例えばIEEE802.11a/b/g/n規格に基づき、アンテナ23を介して最寄りの図示しないアクセスポイント等とデータを送受する。
【0016】
表示部17は、バックライト付きのTFTカラー液晶パネルとその駆動部とで構成され、各種画像を表示する。
【0017】
タッチパネル入力部18は、透明電極を用いて上記表示部17と一体にして構成され、ユーザのタッチ操作に対応した2次元の位置座標情報を生成して出力する。
【0018】
キー入力部19は、スマートフォン10の筐体表面に設けられた、電源キーやカメラ機能のシャッタキーを含むいくつかのキースイッチとそのキーサンプリング回路で構成される。
【0019】
音声処理部20は、システムバスSBを介して与えられるデジタル音声データをアナログ化してスピーカ24より出力させる一方で、マイクロホン25から入力されたアナログの音声信号をサンプリングし、デジタルデータ化して出力する。
【0020】
画像処理部21は、光学レンズ系26を介して、例えばCCD(Charge Coupled Device:電荷結合素子)などで構成される固体撮像素子27の撮像面に合焦された光像に応じて固体撮像素子27から出力される画像信号をデジタルデータ化し、予め設定されたファイル形式、例えば静止画像であればJPEG(Joint Photographic Experts Group)などによりデータ量を圧縮したファイルデータを作成して出力する。
【0021】
3軸加速度センサ28は、このスマートフォン10の筐体の3次元空間内における傾き角度を検出する。この3軸加速度センサ28の出力をCPU11がモニタリングすることにより、重力加速度を基準としてこのスマートフォン10が使用されている姿勢角度と、一時的な外力による傾きの変化、例えばスマートフォン10の筐体の一方の端を短期的にあおり上げるような姿勢変化があった場合に、その方向と度合いとを検出して判定することができる。
【0022】
次に上記実施形態での動作について説明する。
なお、以下に示す動作は、上述した如くCPU11がソリッドステートドライブ13に記憶された動作プログラム等を読出し、メインメモリ12上に展開して記憶させた上で実行する。上記ソリッドステートドライブ13に記憶された動作プログラムは、このスマートフォン10の工場出荷時にソリッドステートドライブ13に記憶されていたものに限らず、このスマートフォン10のユーザが上記アンテナ22及び3G&4G通信部14、または上記アンテナ23及び無線LAN通信部15を介して外部から入力したプログラムを含む。
【0023】
図2は、このスマートフォン10を使用するユーザが任意のアプリケーションプログラムを実行する際に、CPU11が表示部17で表示している画像に対して実行する、基本的な画像の表示制御に関する処理内容を示すものである。
【0024】
その当初にCPU11は、当該アプリケーションプログラムに応じた画像を表示して必要な動作を実行する一方で(ステップS101)、3軸加速度センサ28からの出力を検出し、時間軸上での変化を分析する(ステップS102)。
【0025】
CPU11は、この分析結果に基づき、短時間内で一定以上の変化があったか否かにより、スマートフォン10の筐体が短期的に一定値以上の角度で傾いたか否かを判断する(ステップS103)。
【0026】
ここで一定値以上の角度での傾きがないと判断した場合には、そのまま上記ステップS101からの処理に戻り、それまで通りアプリケーションプログラムの動作を続行する。
【0027】
上記ステップS101〜S103の処理を繰返し実行しながらユーザが任意のアプリケーションプログラムを続行する過程で、例えばスマートフォン10の筐体の一方の端を短期的にあおり上げるような操作がユーザによりなされた場合、CPU11は上記ステップS103でその操作を判断し、その時点で実行しているアプリケーションプログラムの設定に従って、まず第1の形態(図では「ケース1」と称する)に基づく表示制御を実行するか否かを判断する(ステップS104)。
【0028】
なお本実施形態では、表示画像の少なくとも一部を画面内で移動させる表示制御に関し、アプリケーションプログラムで設定された内容に従って次の3態、すなわち
<第1の形態(ケース1)>:移動して表示させたボタンが一定時間内に操作された場合にそのボタン操作に対応した表示画面に移動し、即時移動表示状態を解除する。
<第2の形態(ケース2)>:移動して表示させたスクロールバーに対する操作を受け付け、一定時間操作されない場合に移動表示状態を解除する。
<第3の形態(ケース3)>:スマートフォン10を傾けた方向に表示画面全体を移動させる。
の3通りのうちから1つを選択して制御を実行するものとする。
【0029】
実行中のアプリケーションプログラムの設定により、上記第1の形態に基づく表示制御を実行するものと上記ステップS104で判断した場合、CPU11は傾きの方向に合わせて、操作ボタンを含む画面の一部を移動させた画像を表示部17で表示させる(ステップS105)。
【0030】
図3は、この第1の形態に基づく表示状態の遷移を例示する図である。
図3(A)は、上記ステップS103で短期的に一定値以上の角度で傾いたと判断する直前に表示部117で表示される表示画面を例示している。この表示画面において、ユーザが例えば右手でスマートフォン10の右下側を裏面から支えるように把持し、右手親指でタッチパネル入力部18に表示されるボタン等を操作する場合を考える。
【0031】
この場合、スマートフォン10を把持しているユーザの右手親指は、当然ながら画面の左上側には届かず、そのままの把持状態では同左上側に位置しているボタン等を操作することができない。
【0032】
ここでユーザが、スマートフォン10の筐体の左上側をあおり上げることで、ボタン等を手前に引き寄せるような操作(手元にボタン等をずり落とすような操作)を行なったものとする。CPU11は3軸加速度センサ28からの検出によりそのようなユーザの操作に基づく傾き方向から、表示部17の画面の右上の角と左下の角とを結ぶ対角線を設定し、その対角線を挟んで左上側の半分の画像をそのまま画面中心を回転中心とした180°回転移動による移動画像を生成し、
図3(B)に示すように本来は左上側の画像を右下側に回転して移動させた画像を表示させる。
【0033】
この
図3(B)の表示状態により、本来は左上側にあったボタンのいくつかを右下側で選択的にタッチして操作することが可能となる。
【0034】
CPU11では、上記ステップS105でこの
図3(B)に示すような、傾きの方向に行なう閉じた一部画像の移動表示を実行しながら、ボタンのタッチ操作がない時間をカウントすることで、操作がない状態が一定時間、例えば2[秒]に達したか否かを判断する(ステップS106)。
【0035】
ここで操作がない状態が一定時間に達していないと判断した場合、CPU11はさらに、タッチパネル入力部18により何らかのボタンに対するタッチ操作がなされたか否かを判断する(ステップS107)。
【0036】
ここでもボタンに対するタッチ操作がないと判断すると、CPU11は再度上記ステップS105からの処理に戻る。
【0037】
こうしてステップS105〜S107の処理を繰返し実行する過程で、タッチパネル入力部18により何らかのボタンに対するタッチ操作がなされた場合、上記ステップS107でその操作を判断すると、CPU11はタッチ操作されたボタンに応じた処理を実行すると共に(ステップS108)、それまでの一部移動表示の状態を解除し(ステップS109)、あらためて上記ボタン操作に応じた状態から当該アプリケーションプログラムを続行するべく、上記ステップS101からの処理に戻る。
【0038】
また、上記ステップS105〜107を繰返し実行する過程で、タッチパネル入力部18により何らかのボタンに対するタッチ操作がないままに一定時間が経過した場合、上記ステップS106で一定時間が経過したことを判断すると、CPU11はそのまま上記ステップS108での処理を省略し、直前の上記ステップS103で傾きを検出する以前の表示状態に復帰するべく、それまでの一部移動表示の状態を解除し(ステップS109)、あらためて上記ステップS101からの処理に戻る。
【0039】
また、上記ステップS103で一定値以上の傾きを検出し、続く上記ステップS104で上記第1の形態に基づく表示制御は実行しないと判断した場合、CPU11は次に上記第2の形態に基づく表示制御を実行するか否かを、実行中のアプリケーションプログラムの設定により判断する(ステップS110)。
【0040】
ここで上記第2の形態に基づく表示制御を実行するものと上記ステップS110で判断した場合、CPU11は傾きの方向に合わせて、表示画面中のスクロールバーの位置を移動させた画像を表示部17で表示させる(ステップS111)。
【0041】
図4は、この第2の形態に基づく表示状態の遷移を例示する図である。
図4(A)は、上記ステップS103で短期的に一定値以上の角度で傾いたと判断する直前に表示部117で表示される表示画面を例示している。この表示画面において、ユーザが図示するように左手でスマートフォン10の左下側を裏面から支えるように把持し、左手親指でタッチパネル入力部18に表示されるボタン等を操作する場合を考える。
【0042】
この場合、スマートフォン10を把持しているユーザの左手親指は、当然ながら画面の右側には届かず、そのままの把持状態では同右側に位置しているスクロールバーSRBを操作することができない。
【0043】
ここでユーザが、スマートフォン10の筐体の右側をあおり上げることで、スクロールバーSRBを手前に引き寄せるような操作を行なったものとする。CPU11は3軸加速度センサ28からの検出によりそのようなユーザの操作に基づく傾き方向から、表示部17の画面の右側に位置しているスクロールバーSRBをそのまま画面左側に移動した移動画像を生成し、
図4(B)に示すように表示させる。
【0044】
この
図4(B)の表示状態により、本来は右側にあったスクロールバーSRBを左側でタッチして操作することが可能となる。
【0045】
CPU11では、上記ステップS111でこの
図4(B)に示すような、傾きの方向に行なう閉じたスクロールバーSRBの画像の移動表示を実行しながら、当該スクロールバーSRBに対するスライド操作がない時間をカウントすることで、操作がない状態が一定時間、例えば2[秒]に達したか否かを判断する(ステップS112)。
【0046】
ここで操作がない状態が一定時間に達していないと判断した場合、CPU11はさらに、タッチパネル入力部18により上記スクロールバーSRBに対するスライド操作がなされたか否かを判断する(ステップS113)。
【0047】
ここでスクロールバーSRBに対する操作がないと判断すると、CPU11は再度上記ステップS112からの処理に戻る。
【0048】
こうしてステップS112,S113の処理を繰返し実行する過程で、タッチパネル入力部18により上記スクロールバーSRBに対するスライド操作がなされた場合、上記ステップS113でその操作を判断すると、CPU11はスライド操作されたスクロールバーSRBでの量に応じて表示画像をスクロール処理させた上で、上記スクロールバーSRBの操作がない状態のカウント値をリセットさせて(ステップS114)、再び上記ステップS112からの処理に戻る。
【0049】
そして、上記ステップS112〜S113を繰返し実行する過程で、スクロールバーSRBに対するスライド操作がないままに一定時間が経過した場合、上記ステップS112で一定時間が経過したことを判断すると、CPU11はそれまでのスクロールバーSRBを移動させた表示状態を解除し(ステップS115)、あらためて上記ステップS101からの処理に戻る。
【0050】
また、上記ステップS110で上記第2の形態に基づく表示制御も実行しないと判断した場合、CPU11は残る上記第3の形態に基づく表示制御を実行するべく、傾きの方向に合わせて、表示画面全体を移動させた画像を表示部17で表示させた上で(ステップS116)、上記ステップS101からの処理に戻る。
【0051】
図5は、この第3の形態に基づく表示状態の遷移を例示する図である。
ここでは、当該アプリケーションプログラムにより広がりのある画像の一部、例えば図示するような地図画像の一部を表示部17のほぼ全面で表示しているものとする。図中の実線で示す枠FR1の範囲をその時点で表示部17で表示している場合、ユーザがスマートフォン10の筐体の一方をあおり上げることで、ユーザが閲覧を所望する画像を手前に引き寄せるような操作を行なったものとする。
【0052】
CPU11は3軸加速度センサ28からの検出によりそのようなユーザの操作に基づく傾き方向(DR1〜DR4のいずれか)から、その時点で表示部17に表示している地図画像と隣接する範囲の地図画像を生成し、あらためて移動画像として表示部17に表示させる。
【0053】
上記した如く、その時点で実行しているアプリケーションプログラムでの設定に応じた形態に基づいた表示制御を実行することで、ユーザがある程度不自由な操作環境にあっても、ユーザにストレスを与えることなく、当該アプリケーションプログラムを続行させることができる。
【0054】
以上詳述した如く本実施形態によれば、ユーザが片手で装置を把持しながらもタッチパネルの全面を簡易にタッチ操作することが可能となる。
【0055】
また上記実施形態では、移動画像の表示形態によって、ユーザによる操作がなされた場合、及び一定時間操作がない場合にその移動表示状態を解除するようにしたので、ユーザが意図して解除のための操作を行なう必要がなく、きわめて自然に元の表示状態に復帰できる。
【0056】
また上記
図3に示した如く、特に表示部17の画面の半分を回転移動させて本来の画面中の反対側に移動して表示させることで、ユーザは移動表示前に画面の半分が操作できる状態であれば、スマートフォン10の把持状態を変えることなく、上記移動表示によって表示部17の全面が操作できることになる。
【0057】
なお上記実施形態では、画面中に操作する操作子として、ボタンあるいはスライドバーを用いる場合について説明したが、本発明はこれに限らず、タッチパネルを用いて操作するアイコンなどその他の操作子にも同様に適用可能であることは勿論である。
【0058】
また上記実施形態は、本発明をスマートフォンに適用した場合について説明したものであるが、本発明はこれに限らず、モバイルタイプのパーソナルコンピュータやタブレット端末など、タッチパネルを備えた各種携帯情報端末であればいずれにも適用可能となる。
【0059】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
以下に、本願の原出願の当初の特許請求の範囲に記載された発明を付記する。
[1]
タッチパネル式の表示部を備える携帯端末装置で実行するユーザ操作制御プログラムであって、
上記携帯情報端末の傾きの変化を検出する検出ステップと、
上記検出ステップでの検出結果から上記携帯情報端末に与えられた傾きの方向を判定する判定ステップと、
上記判定ステップで判定した内容に基づき、上記表示部で表示する、上記タッチパネルでの操作を伴う操作子を含んだ画面の表示位置を移動させる表示制御ステップと、
上記表示制御ステップで表示位置を移動させた操作子に対する操作を受け付ける入力制御ステップと
を有したことを特徴とするユーザ操作制御プログラム。
[2]
上記表示制御ステップは、上記タッチパネルでの操作を伴う操作子を含んだ画面の一部の表示位置を移動させることを特徴とする[1]記載のユーザ操作制御プログラム。
[3]
上記表示制御ステップは、上記入力制御ステップで操作子に対する操作を受け付けた場合、及び上記操作子に対する操作がない状態で予め設定した時間が経過した場合の少なくとも一方となった場合に、画面の一部の表示位置を移動させて表示する状態を解除することを特徴とする[1]または[2]記載のユーザ操作制御プログラム。
[4]
上記表示制御ステップは、上記判定ステップで判定した内容に基づき、上記表示部で表示する、上記タッチパネルでの操作を伴う操作子を含んだ画面の一方の半分を他方の半分の表示位置に移動させることを特徴とする[1]乃至[3]いずれか記載のユーザ操作制御プログラム。
[5]
タッチパネル式の表示部を備える携帯端末装置であって、
上記端末筐体の傾きの変化を検出する検出手段と、
上記検出手段での検出結果から上記携帯情報端末に与えられた傾きの方向を判定する判定手段と、
上記判定手段で判定した内容に基づき、上記表示部で表示する、上記タッチパネルでの操作を伴う操作子を含んだ画面の表示位置を移動させる表示制御ステップと、
上記表示制御手段で表示位置を移動させた操作子に対する操作を受け付ける入力制御手段と
を具備したことを特徴とする携帯端末装置。
[6]
上記表示制御ステップは、上記タッチパネルでの操作を伴う操作子を含んだ画面の一部の表示位置を移動させることを特徴とする[5]記載の携帯端末装置。