(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
以下、本発明をスマートフォンに適用した場合の一実施形態について図面を参照して説明する。
図1は、本実施形態に係るスマートフォン10の電子回路の機能構成を示すブロック図である。
図1において、CPU11は、スマートフォン10全体の制御動作を司る。CPU11は、システムバスSBを介して、メインメモリ12、プログラムメモリ13、3G&4G通信部14、無線LAN通信部15、外部メモリカード16、表示部17、タッチパネル入力部18、キー入力部19、音声処理部20、及び画像処理部21が接続される。
【0012】
CPU11は、プログラムメモリ13に記憶された動作プログラム(オペレーティングシステム(OS)とOS上で動作するアプリケーションプログラム)及び定型データ等を読出し、メインメモリ12に展開して記憶させた上で当該プログラムを実行することにより、このスマートフォン10の動作全体を統括して制御する。
【0013】
メインメモリ12は、例えばSRAMで構成され、CPU11のワークメモリとして機能する。プログラムメモリ13は、不揮発性のメモリ、例えばフラッシュメモリで構成され、上述した動作プログラムや各種定型データの他、このスマートフォン10の記憶媒体として各種コンテンツ、例えば画像データや楽曲データ等を記憶する。
【0014】
3G&4G通信部14は、IMT−2000規格に準拠した第3世代移動通信システム、及びIMT−Advance規格に準拠した第4世代移動通信システムに基づき、アンテナ22を介して最寄りの図示しない基地局との間でデータの送受を実行する、デュアルモードで動作する通信部である。
【0015】
無線LAN通信部15は、例えばIEEE802.11a/b/g/n規格に基づき、アンテナ23を介して最寄りの図示しないアクセスポイント等とデータを送受する。
【0016】
表示部17は、バックライト付きのTFTカラー液晶パネルとその駆動部とで構成され、各種画像を表示する。
【0017】
タッチパネル入力部18は、透明電極を用いて表示部17と一体にして構成され、ユーザのタッチ操作に対応した2次元の位置座標情報を生成して出力する。
【0018】
キー入力部19は、スマートフォン10のケーシングに設けられた、電源キーやカメラ機能のシャッタキーを含むいくつかのキースイッチとその駆動回路で構成される。
【0019】
音声処理部20は、システムバスSBを介して与えられるデジタル音声データをアナログ化してスピーカ24より出力させる一方で、マイクロホン25から入力されたアナログの音声信号をサンプリングし、デジタルデータ化して出力する。
【0020】
画像処理部21は、光学レンズ系26を介して、例えばCCD(Charge Coupled Device:電荷結合素子)などで構成される固体撮像素子27の撮像面に合焦された光像に応じた画像信号をデジタルデータ化し、予め設定されたファイル形式、例えば静止画像であればJPEG(Joint Photographic Experts Group)などによりデータ量を圧縮したファイルデータを作成して出力する。
【0021】
次に、実施形態でのスマートフォン10の動作について説明する。
なお、以下に示す動作は、CPU11がプログラムメモリ13に記憶された動作プログラム等を読出してメインメモリ12上に展開して記憶させた上で実行する。プログラムメモリ13に記憶された動作プログラムは、スマートフォン10の工場出荷時にプログラムメモリ13に記憶されていたものに限らず、スマートフォン10のユーザがアンテナ22及び3G&4G通信部14、またはアンテナ23及び無線LAN通信部15を介して外部から入力した、より上位の動作プログラムをバージョンアップとしてインストールした場合を含む。
【0022】
図2は、何らかのアプリケーションプログラムを実行時に、表示部17で表示している画像に対して実行する、基本的な画像のズーム操作に関する処理内容を示すものである。その当初にCPU11は、タッチパネル入力部18からの入力により所定の時間内、例えば0.5[秒]内に略同一の座標位置が連続して2回タッチ操作されたか否かにより、ダブルタップと称される操作がなされたか否かを繰返し判断することで、当該操作がなされるのを待機する(ステップS101)。所定の時間は、ユーザのカスタマイズ設定により任意に可変できる。
【0023】
実際にダブルタップ操作がなされた場合、CPU11は、タッチパネル入力部18からの入力により当該操作があったことを判断すると(ステップS101のYes)、次いでタップされた位置を中心としたズームリング(リング状の枠画像)及びズームレバー(操作レバー)の画像を生成する(ステップS102)。
これらズームリング及びズームレバーの画像は、プログラムメモリ13内に定型データとして予め記憶されているものとする。
【0024】
次に、CPU11は、タップ操作があった時点で表示部17に表示していた画像から、タップ位置に対する最寄りのオブジェクト画像を選択する(ステップS103)。オブジェクト画像は、実行中のアプリケーションプログラムによって、表示部17で表示する画像の位置座標と対応付けて階層的に設定されている、いくつかの参照画像から選択される。なお、アプリケーションプログラムが位置座標と対応づけて参照画像を設定していない場合、CPU11は、オブジェクト画像を選択することができない。
【0025】
ここで、CPU11は、オブジェクト画像を選択することができたか否かにより、オブジェクト画像となる参照画像が当該アプリケーションプログラムで設定されていたか否かを判断する(ステップS104)。
【0026】
オブジェクト画像となる参照画像がアプリケーションプログラムで設定されており、ステップS103において最寄りの参照画像を選択することができた場合、CPU11は、選択されたオブジェクト画像をズームリング内の円形領域に嵌め込んだ合成画像を生成した上で、タップ位置を中心として表示部17に表示している画像と重畳して表示させる(ステップS105)。
【0027】
またステップS104でオブジェクトとなる参照画像がアプリケーションプログラムで設定されておらず、ステップS103で最寄りの参照画像を選択することができなかった場合、CPU11は、タップ位置周辺の画像をそのままズームリングの画像中央の円形領域に嵌め込んだ合成画像を生成した上で、タップ位置を中心として表示部17に表示している画像と重畳して表示させる(ステップS106)。
【0028】
図3Aは、参照画像が設定されていないアプリケーションプログラムの実行中に、ダブルタップ操作に応じてズームリングZRとズームレバーZLの画像を表示させた状態を例示する図である。
図3Aでは、全体に目盛りを付したズームリングZRの外周の1箇所、例えば左下側に突出するようにしてズームレバーZLを表示した状態を示している。
【0029】
ステップS105またはステップS106での処理によりズームリングZR及びズームレバーZLを表示部17で表示させると、CPU11は、ズームリングZR及びズームレバーZLに対する操作がない時間(無操作時間)をカウントする(ステップS107)。CPU11は、カウント値が予め設定した一定値、例えば時間に換算して2[秒]を示すカウント値を経過したか否か判断する(ステップS108)。なお、無操作時間を判断する一定値は、ユーザのカスタマイズ設定により任意に変更できる。
【0030】
ここで、カウント値が一定値に達していないと判断した場合に(ステップS108のNo)、CPU11は、ズームリングZRの円弧に沿ったズームレバーZLのドラッグ操作(連続するタッチ操作)があるか否かを判断する(ステップS109)。
ここでドラッグ操作がないと判断した場合(ステップS109のNo)、CPU11は、再びステップS107からの処理に戻る。
【0031】
こうしてステップS107〜S109の操作を繰返し実行することにより、CPU11は、無操作時間をカウントするカウンタの値が一定値に達するか、あるいはズームレバーZLがドラッグ操作されるのを待機する。
【0032】
ここでズームレバーZLがドラッグ操作されたと判断した場合(ステップS109のYes)、CPU11は、一連のドラッグ操作の方向と量とを取得する(ステップS110)。
【0033】
そして、取得したドラッグ操作の方向と量に応じて、CPU11は、少なくともズームレバーZL内の画像を変更、例えば拡大または縮小して表示する(ステップS111)。CPU11は、カウントしていた無操作時間のカウント値をリセットした上で(ステップS112)、再びステップS107からの処理に戻る。
【0034】
図3Bは、
図3Aに示した状態から、スマートフォン10のユーザが1本の手指UFでズームレバーZLをズームリングZRの円弧に沿って右回転(時計回り)方向にドラッグ操作した場合を例示している。
【0035】
アプリケーションプログラムは、例えばズームレバーZLを矢印D1に示すように右回転(時計回り)方向にドラッグ操作した場合に画像を拡大し、反対に矢印D2に示すように左回転(反時計回り)方向にドラッグ操作した場合に画像を縮小するものとする。また、拡大/縮小する画像の範囲は、ズームリングZR内の画像のみならず、表示部17の画面全体に及ぶものとして説明する。
【0036】
図3Bでは、
図3Aの状態からズームレバーZLをズームリングZRの円弧に沿って右回転(時計回り)方向にドラッグ操作したことにより、ズームリングZR内を含む表示部17の画像全体が拡大して表示されている。拡大率は、ドラッグ操作した量に対応する。
【0037】
すなわちユーザは、ズームレバーZLのドラッグ操作をする過程で、拡大(または縮小)される画像が所望する大きさとなった時点で、ドラッグ操作を中止してタッチパネル入力部18から手指UFを離せばよい。
【0038】
または、ユーザは、所望する大きさを超えて画像が大きくなりすぎた場合には、その時点でドラッグの方向を逆転して反対方向に少し戻すようにドラッグ操作する。これにより、画像が縮小されることとなり、結果として所望する大きさの画像が得られるようになる。
【0039】
ズームリングZR及びズームレバーZLが表示されている間は、ドラッグ操作が有効となり、何度でも表示されている画像の拡大/縮小が可能となる。
【0040】
そして、ドラッグ操作がないままにカウンタの値が一定値に達した場合に(ステップS108のYes)、CPU11は、ズームリングZRとズームレバーZLの画像を消去し、その時点で設定された拡大/縮小率での画像表示を行なった状態で、ステップS101からの処理に戻る。
【0041】
図3Bでは、ズームレバーZLの操作によりズームリングZR内の画像のみならず、表示部17で表示している画面全体を拡大/縮小するものとして説明したが、本実施形態はこれに限らず、使用するアプリケーションプログラムに応じてズームリングZR内の画像のみを拡大/縮小するものとしてもよい。
【0042】
さらに
図3A及び
図3Bでは、表示部17で表示する画像に対応付けて階層的にいくつかの参照画像がオブジェクト画像として設定されていない場合について説明したが、アプリケーションプログラムによって各種のオブジェクト画像を設定し、ドラッグ操作に対して拡大/縮小以外の機能を設定することで、ズームリングZRとズームレバーZLを用いた多様な表現操作が実現できる。
【0043】
図4A,
図4B,
図5A,
図5B及び
図6は、各種アプリケーションプログラムでのオブジェクト画像の設定例を示す。
図4Aは、シューティングゲームで敵のキャラクタを(狙撃銃の)スコープに捕らえた状態を例示している。この場合、敵が存在していると覚しき画像中の位置をダブルタップ操作することにより、最寄りの敵キャラクタの画像がスコープ内に表示され、且つその敵キャラクタの画像中の本来の位置が一対の導線L,Lによって表示されている。
【0044】
このゲームプログラムが例えば「自動照準機能」を有している場合には、既に敵キャラクタをロックオンしているものとして、敵から撃たれない時間内に、ズームレバーZLの操作により任意に拡大率を可変した上で狙撃ポイントを指定することで、敵キャラクタの任意の位置への狙撃が実行されるようにしても良い。
【0045】
図4Bは、複数のアバターのキャラクタが表示されている画像において、画像中の位置をダブルタップ操作することにより、最寄りのアバターがズームリングZR内に表示され、且つそのアバターの画像中の本来の位置が一対の導線L,Lによって表示されている。
【0046】
このアバター画像に対して例えば「回転」の機能が設定されている場合には、ズームレバーZLの操作によりズームリングZR内に表示しているアバターを任意の方向に回転して表示させるようにしても良い。
【0047】
図5Aは、マップ内のいくつかの観光ポイントから建物を指定して表示させた状態を例示している。この場合、画像中のダブルタップ操作した位置の最寄りの建物が指定され、且つその建物の本来の位置が一対の導線L,Lによって表示されている。
【0048】
このアプリケーションプログラムが例えば「建物紹介」の機能を有している場合に、ズームレバーZLの操作により、あたかも観光者が建物の内部に移動するかの如く外部から内部に順次移動する画像を表示させるようにしても良い。
【0049】
図5Bは、動物系ゲームで虎が表示されている画像において、画像中の位置をダブルタップ操作することにより、その虎の正面の顔がズームリングZR内に表示され、且つその顔の本来の位置が一対の導線L,Lによって表示されている。
【0050】
この虎の画像に対して例えば「拡大/縮小」の機能が設定されている場合には、ズームレバーZLの操作によりズームリングZR内に表示している虎の画像を拡大/縮小して表示させるようにしても良い。
【0051】
図6は、アクアリウム系のゲーム内で熱帯魚を個別に指定して表示させた状態を例示している。この場合、画像中のダブルタップ操作した位置の最寄りの熱帯魚、例えば「カージナルテトラ」が指定され、且つその水槽中の本来の位置が一対の導線L,Lによって表示されている。
【0052】
この熱帯魚の画像に対して例えば「回転」の機能が設定されている場合には、ズームレバーZLの操作によりズームリングZR内に表示している熱帯魚を任意の方向に回転して表示させるようにしても良い。
【0053】
また上記実施形態によるズームリングZRとズームレバーZLは、アプリケーションプログラム中に登場するキャラクタ画像に対する操作のみならず、スマートフォン10の機能設定のための操作に利用可能としても良い。
【0054】
図7A,
図7B、及び
図8は、ズームリングZRとズームレバーZLとを用いてスマートフォン10の機能設定を行なう場合の画像例を示す。
図7Aは、スピーカ24から出力させる音量を設定する場合の画面を例示している。この場合、ズームレバーZLの操作により、音量を上下に調整することができる。
【0055】
図7Bは、表示部17で表示する画像、及び表示部17のバックライトの明るさを設定する場合の画面を例示している。この場合、ズームレバーZLの操作により、明るさの自動調整の度合いを上下に調整できる。
【0056】
図8は、ブックマーク機能で登録したWebサイトを選択する場合の画面を例示している。この場合、ズームレバーZLの操作により、複数の候補の中からWebサイトを選択できる。
【0057】
なお実施形態では、動作当初にダブルタップ操作により画像中の位置を指定することで、一連の処理が開始されるものとして説明したが、本発明はそれに限らず、例えば一回のタップ操作を一定時間以上行なうロングタップ操作など、画像中の位置を指定できるような操作であれば、他にも適用することが可能である。
【0058】
以上詳述した如く本実施形態によれば、直感的で理解し易い形態で、画像中の任意の位置の拡大や縮小などをその度合いも含めて自在に操作することが可能となる。
【0059】
また、実施形態では、ズームリングZRをドラッグ操作するのではなく、ズームリングZRから突出したズームレバーZLを操作するものとしたので、不用意にズームリングZRにタッチしてしまうことで無用のズーム動作等を行なうことなく、確実に操作が実行できる。
【0060】
また、実施形態では、タッチ操作の位置により、その時点で表示部17に表示している画像中の当該部分を取得して何らかの操作を行なう場合について説明したが、これにより極めて理解し易く表示中の画像に対する直感的な操作が実現できる。
【0061】
さらに実施形態では、画像に対して階層的に他の参照画像が関連付けられているものとして、タッチ操作された位置に応じてそれら参照画像の中から最寄りの画像を読出して表示させる場合についても説明した通り、初めに表示された画像と関連した、それまで表示していなかった画像を関連付けて表示させることにより、さらに多様で豊かな表現が可能となる。
【0062】
また実施形態では、
図7A、
図7B及び
図8で説明した如く、単にアプリケーションプログラム上の画像のみならず、装置の動作条件を設定する画像に関しても同様の操作体系で実現可能としたので、操作感を統一してユーザの負担を軽減できる。
【0063】
なお実施形態では説明しなかったが、
図9に示すように、ズームレバーZL(あるいはズームリングZR)を、ズームリングZRの円弧と直交する径方向にドラッグ操作することにより、
図4Aに示している、表示部17内で表示されるズームリングZR自体の径方向の大きさを可変できるようにすることも考えられる。このような操作体系を実現することで、ズームリングZRでの表示範囲を一連の操作中に任意、且つ簡単に可変できるため、ズームリングZRを用いた操作性をより向上できる。
【0064】
同様に実施形態では説明しなかったが、
図10に示すように、ズームレバーZL(あるいはズームリングZR)を、ズームリングZRの円弧に沿った方向以外の方向にドラッグ操作することにより、一旦、
図4Bに示すように、表示部17内でズームリングZRを表示させた後、画面中のズームリングZRの位置を上下左右に移動できるようにすることも考えられる。このような操作体系を実現することで、ズームリングZRでの表示位置を一連の操作中に任意、且つ簡単に可変できるため、ズームリングZRを用いた操作性をより向上できる。
【0065】
なお実施形態は、本発明をスマートフォン10に適用した場合について説明したものであるが、本発明はこれに限らず、モバイルタイプのパーソナルコンピュータやタブレット端末など、タッチパネルを備えた各種携帯情報端末であれば何れにも適用可能となる。
【0066】
なお、前述した説明では、スマートフォン10が単独で表示処理を実行するものとして説明しているが、
図11に示すように、スマートフォン10とインターネット等のネットワーク30を介して接続されたコンピュータ40(例えばWebサーバ)がスマートフォン10等との情報装置と共同して表示処理を実行するようにしても良い。すなわち、コンピュータ40は、
図2に示すフローチャートと同様の処理を実行することにより、スマートフォン10のタッチパネル入力部18により出力されるタッチ操作の位置座標情報を、ネットワーク30を介して受信し、この位置座標情報に応じてスマートフォン10の表示部17に表示させる画像を生成して、スマートフォン10に送信する。これにより、スマートフォン10は、前述したように、ユーザ操作に応じた画像を表示させることができる。
【0067】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【0068】
次に、上記実施形態及び別例から把握できる技術的思想について、以下に追記する。
〔1〕画像を表示する表示ユニットと、上記表示ユニットと一体にして設けられたタッチパネルとを用いてコンピュータが実行する表示処理方法であって、
上記コンピュータが、
少なくとも1つのオブジェクトを含む画像を上記表示ユニットに表示させ、
上記表示ユニットで表示された画像において、上記タッチパネルに対するタッチ操作の位置の最寄りのオブジェクトをリング状の枠画像内に表示させ、
上記枠画像に沿った操作の方向及び当該操作の量に応じて、上記枠画像内のオブジェクトの表示を変更する表示処理方法。
【0069】
〔2〕上記枠画像内に表示されたオブジェクトの本来の位置から上記枠画像へ延在する導線を表示する〔1〕に記載の表示処理方法。
〔3〕上記タッチ操作の位置の最寄りのオブジェクトを上記枠画像内に表示させた場合、当該オブジェクトに対し自動的に照準を合わせる〔1〕又は〔2〕に記載の表示処理方法。
【0070】
〔4〕更に、上記枠画像に加えて径方向に突出した操作レバーの画像を表示させ、
上記操作レバーの画像に対する上記枠画像に沿った連続するタッチ操作を受け付ける〔1〕〜〔3〕の何れか1項に記載の表示処理方法。
【0071】
〔5〕上記タッチ操作の位置の最寄りのオブジェクトを上記枠画像内に表示させた場合、上記操作レバーの操作の方向及び当該操作の量に応じて、上記枠画像内のオブジェクトの表示の拡大率又は縮小率を変更する〔4〕に記載の表示処理方法。
【0072】
〔6〕上記タッチ操作の位置の最寄りのオブジェクトを上記枠画像内に表示させた場合、上記操作レバーの操作の方向及び当該操作の量に応じて、上記枠画像内のオブジェクトの表示を回転させる〔4〕に記載の表示処理方法。
【0073】
〔7〕上記タッチ操作の位置の最寄りのオブジェクトを上記枠画像内に表示させた場合、上記操作レバーの操作の方向及び当該操作の量に応じて、上記枠画像内のオブジェクトの表示を当該オブジェクトの外部から内部へ順次移動させるように表示させる〔4〕に記載の表示処理方法。
【0074】
〔8〕上記枠画像もしくは、上記操作レバーに対する、上記枠画像の径方向の連続するタッチ操作を受け付け、
上記連続するタッチ操作の方向及び当該操作の量に応じて、上記枠画像の大きさを変更する〔4〕〜〔7〕の何れか1項に記載の表示処理方法。
【0075】
〔9〕上記枠画像もしくは、上記操作レバーに対する、上記枠画像に沿わない連続するタッチ操作を受け付け、
上記連続するタッチ操作の方向及び当該操作の量に応じて、上記枠画像の表示位置を変更する〔4〕〜〔8〕の何れか1項に記載の表示処理方法。
【0076】
〔10〕更に、上記表示ユニット及び上記タッチパネルを備える装置の動作条件の設定に関する設定用画像を記憶し、
上記タッチ操作の方向及び当該操作の量に応じて、上記装置の動作条件の設定状態を変更した上記設定用画像を表示させる請求項〔1〕〜〔9〕の何れか1項に記載の表示処理方法。
【0077】
〔11〕画像を表示する表示ユニットと、上記表示ユニットと一体にして設けられたタッチパネルとを用いて、コンピュータが実行する表示処理プログラムであって、
上記コンピュータを、
少なくとも1つのオブジェクトを含む画像を上記表示ユニットに表示させ、
上記表示ユニットで表示された画像において、上記タッチパネルに対するタッチ操作の位置の最寄りのオブジェクトをリング状の枠画像内に表示させ、
上記枠画像に沿った操作の方向及び当該操作の量に応じて、上記枠画像内のオブジェクトの表示を変更する手段として機能させる表示処理プログラム。
【0078】
〔12〕画像を表示する表示ユニットと、上記表示ユニットと一体にして設けられたタッチパネルと、制御部とを備えた表示処理システムであって、
上記制御部は、
少なくとも1つのオブジェクトを含む画像を上記表示ユニットに表示させる第1の表示制御と、
上記表示ユニットで表示された画像において、上記タッチパネルに対するタッチ操作の位置の最寄りのオブジェクトをリング状の枠画像内に表示させる第2の表示制御と、
上記枠画像に沿った操作の方向及び当該操作の量に応じて、上記枠画像内のオブジェクトの表示を変更する第3の表示制御と、を行う表示処理システム。