(58)【調査した分野】(Int.Cl.,DB名)
画像を表示する表示面を有し、前記表示面に対する物体の接触位置を検知可能なタッチパネルと、振動を発生させる振動発生部と、波形データを画像内の対象に対応付けて記憶する記憶部と、を備える電子機器の制御コンピュータに、
前記表示面に表示されている画像内の対象に物体が接触した場合に、前記記憶部において前記画像内の対象に対応付けられている波形データに基づき前記振動発生部を振動させ、
所定の入力に基づいて、前記表示面に表示される前記画像の拡大または縮小を制御させ、前記表示面を分割した分割領域内に異なる複数の対象が含まれ、且つ前記分割領域内に物体が接触した場合、前記分割領域内に含まれる複数の対象のうち前記分割領域内における表示面積の割合が大きい対象に対応付けられている波形データに基づき前記振動発生部を振動させる、
電子機器の制御プログラム。
画像を表示する表示面を有し、前記表示面に対する物体の接触位置を検知可能なタッチパネルと、振動を発生させる振動発生部と、波形データを画像内の対象に対応付けて記憶する記憶部と、を備える電子機器の制御コンピュータに、
前記表示面に表示されている画像内の対象に物体が接触した場合に、前記記憶部において前記画像内の対象に対応付けられている波形データに基づき前記振動発生部を振動させ、
所定の入力に基づいて、前記表示面に表示される前記画像の拡大または縮小を制御させ、前記表示面を分割した分割領域内に異なる複数の対象が含まれ、且つ前記分割領域内に物体が接触した場合、前記複数の対象にそれぞれ対応付けられている複数の波形データに基づき前記振動発生部を振動させる、
電子機器の制御プログラム。
【発明を実施するための形態】
【0009】
以下、図面を参照し、本発明の電子機器、および電子機器の制御プログラムの実施形態について説明する。
【0010】
[構成]
図1A及び
図1Bは、本発明の一実施形態に係る電子機器1の外観構成の一例を示す図である。また、
図2は、一実施形態に係る電子機器1の機能構成の一例を示す構成図である。以下、本実施形態において、XYZ直交座標系を用いて電子機器1の構成を説明する。XYZ直交座標系は、電子機器1を基準とした座標系である。XYZ直交座標系において、電子機器1の各構成要素の積層方向をZ方向とする。また、Z方向に直交する平面をXY平面とし、XY平面において直交する方向をそれぞれX方向及びY方向とする。
【0011】
電子機器1は、例えば、Z方向視で略矩形の形状を有し、タッチパネル10、本体部20、背面カバー30がZ方向に積層された構成となっている。
図1Aは、電子機器1をタッチパネル10側から見た図であり、
図1Bは、電子機器を背面カバー30側から見た図である。
【0012】
タッチパネル10は、本体部20に収容された制御部90から入力される画像を表示すると共に、その表示面にユーザが指などで触れた接触位置(座標)を検出し、制御部90に出力する。タッチパネル10は、例えば、画像を表示する液晶ディスプレイ装置と接触検知機構が組み合わされて構成される。接触検知機構としては種々のものを用いることができ、例えば、抵抗膜方式、静電容量方式、赤外線方式、表面弾性波方式などの種々の方式を利用した接触検知機構が採用され得る。また、LCDに代えて有機EL(Electroluminescence)表示装置などが用いられてもよい。
【0013】
本体部20は、筐体内に、
図2に示す撮像部(カメラ)40、通信部50、I/O部(I/Oポート、I/Oインターフェイス)52、記憶部60、スピーカ70、加速度センサ75、振動発生部80、制御部90などを収容する。また、本体部20は、電源回路やバッテリ、GPS(Global Positioning System)受信機などを筐体に収容してもよい。
【0014】
背面カバー30には、孔部32が形成され、撮像部40のレンズ42を露出させている。また、背面カバー30には、撮像部40を操作するためのリリースボタンなど、各種操作スイッチを搭載可能なマウント部35が取り付けられる。
【0015】
撮像部40は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子を利用したデジタルカメラである。なお、撮像部40は、ビデオカメラであってもよい。
【0016】
通信部50は、例えば、Wi−Fi(登録商標)などの無線LAN網、Bluetooth(登録商標)、赤外線通信、携帯電話網、PHS網などを利用した無線通信を行う。
また、通信部50は、電子機器が有線接続された際に通信インターフェースとして機能するネットワークカードなどを含んでもよい。
【0017】
I/O部52は、例えば、USB(Universal Serial Bus)端子やHDMI(登録商標;High Definition Multimedia Interface)端子、SDカードなどが装着される端子などを含む。
【0018】
記憶部60は、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、RAM(Random Access Memory)、ROM(Read Only Memory)、レジスタなどの記憶装置である。記憶部60には、制御部90のCPU(Central Processing Unit)が実行するプログラム(ファームウェア)が予め格納される。また、記憶部60には、CPUが演算処理を行った演算結果が格納されたり、他装置から通信部50を介して受信したコンテンツデータ、I/O部52に装着された機器から読み出されたコンテンツデータなどが格納される。
【0019】
スピーカ70は、制御部90により生成された音声データに基づき、音声を出力する。
【0020】
加速度センサ75は、例えば3軸式の加速度センサであり、電子機器1に対してX方向、Y方向、Z方向にそれぞれ作用する加速度(重力加速度を含む)を検出し、検出結果を制御部90に出力する。
【0021】
振動発生部80は、制御部90により生成された振動データに基づき、振動を発生させる。
図3は、振動発生部80が有する振動子の配設位置を例示した図であり、電子機器1を背面カバー30側から見た部分透視図である。振動発生部80は、例えば
図3(A)に示すように、電子機器1の四隅付近に配設された振動子80(1)、80(2)、80(3)、80(4)を備えてもよい。また、振動発生部80は、
図3(B)に示すように、電子機器1の対角に位置する二隅付近に配設された振動子80(1)、80(2)を備えてもよい。また、振動発生部80は、
図3(C)に示すように、格子状に複数の振動子80(1)〜80(n)を備えてもよいし、その他の配置で振動子が配設されてもよい。
【0022】
振動子は、本体部20の筐体または支持部在、或いは背面カバー30などに取り付けられる。振動子としては、例えば、ボイスコイルモータ(VCM)や偏心モータなどが用いられる。ボイスコイルモータを用いる場合、振動子は、電子機器1の一部または全体に対して、例えばZ方向の振動を発生させる。
【0023】
制御部90は、振動発生部80を含めた電子機器1全体の制御を行う。記憶部60には、タッチパネル10に表示させる画像の元データとなる画像データ62の他、制御部90が振動発生部80を制御するための情報として、画像に対応付けられた波形データ64が格納されている。画像データ62は、拡大または縮小可能な形式の画像のデータであり、複数の対象(対象A、対象B、‥)が含まれる。
【0024】
波形データ64としては、例えば、非圧縮のPCM(Pulse Code Modulation)データ、圧縮されたAAC(Advanced Audio Coding)データなどが用いられる。なお、波形データ64には、振動エフェクトをより得ることができるよう、トーンバーストが含められてもよい。
【0025】
制御部90は、記憶部60に記憶されている波形データ64に基づいて、振動発生部80の各振動子を振動させる。
図4は、波形データ64として格納されるデータの一例を示す図である。波形データ64は、各対象に対して波形データが対応付けられたデータである。各波形データは、材質に触れた(なでた)際に生じる触感(ざらざら感、つるつる感など)を、振動により再現する際の元データとなる。
【0026】
波形データの生成過程においては如何なる処理が行われてもよい。例えば、加速度センサを備える計測装置(電子機器1を計測装置として使用してもよい)を現実の対象物体に当接させて移動させ、対象物体の計測箇所における法線方向の加速度を計測し、計測結果を加工することで、波形データ64を生成することができる。
【0027】
[拡大/縮小に対応した振動の制御]
以下、制御部90により実行される、画像の拡大または縮小に対応した振動の制御について説明する。
図5(A)〜(C)は、タッチパネル10に表示された画像内の対象A、対象Bが拡大または縮小される様子を示す図である。
図5(A)は、対象A、対象Bが拡大または縮小されずに表示された初期状態を示している。この状態において、ユーザが指などで対象Aの領域内に触れた(なでた)ことがタッチパネル10により検知されると、制御部90は、対象Aに対応した波形データに基づき振動を発生させるように振動発生部80の各振動子を制御する。また、ユーザが指などで対象Bの領域内に触れた(なでた)ことがタッチパネル10により検知されると、制御部90は、対象Bに対応した波形データに基づき振動を発生させるように振動発生部80の各振動子を制御する。ここで、制御部90は、振動発生部80の各振動子を同じように振動させてもよいし、後述するように、ユーザが触れた箇所に応じて作動する振動子を選択してもよい。
【0028】
図5(B)は、対象A、対象Bが拡大表示された様子を示している。この状態において、ユーザが指などで拡大された対象Aの領域内に触れた(なでた)ことがタッチパネル10により検知されると、制御部90は、対象Aに対応した波形データに基づき振動を発生させるように振動発生部80の各振動子を制御する。また、ユーザが指などで拡大された対象Bの領域内に触れた(なでた)ことがタッチパネル10により検知されると、制御部90は、対象Bに対応した波形データに基づき振動を発生させるように振動発生部80の各振動子を制御する。拡大された各対象の占める領域は、元の対象A、Bの占める領域と、拡大率などに基づいて算出することができる。
【0029】
一方、
図5(C)は、対象A、対象Bが縮小表示された様子を示している。この状態において、ユーザが指などで縮小された対象Aの領域内に触れた(なでた)ことがタッチパネル10により検知されると、制御部90は、対象Aに対応した波形データに基づき振動を発生させるように振動発生部80の各振動子を制御する。また、ユーザが指などで縮小された対象Bの領域内に触れた(なでた)ことがタッチパネル10により検知されると、制御部90は、対象Bに対応した波形データに基づき振動を発生させるように振動発生部80の各振動子を制御する。縮小された各対象の占める領域は、元の対象A、Bの占める領域と、縮小率などに基づいて算出することができる。なお、
図5(A)〜
図5(C)では、画像中に2つの対象が含まれる例を示したが、これに限らず、任意の数および大きさの対象がタッチパネル10に表示されてよい。
【0030】
画像の拡大は、例えば、ユーザによるピンチアウト操作に応じて行われる。より具体的には、ユーザがタッチパネル10上の二点に異なる指で触れ、タッチパネル10に触れたまま互いに遠ざかる方向に指を動かした場合に、タッチパネル10により表示された画像が全体的に拡大される。なお、画像全体を拡大または縮小するのに代えて、対象Aや対象Bなどの対象を拡大または縮小できるようにしてもよい。また、制御部90は、ピンチアウト操作が行われたか否かを判定すると共に、ピンチアウト操作に応じて、上記対象に対応した振動がなるべく発生しないように制御してもよい。具体的には、制御部90は、タッチパネル10上の二点で接触を検知し、その二点が略反対方向に所定距離以上移動した場合に、対象に対応した振動を発生させるのを停止させる。この逆に、画像の縮小は、例えば、ユーザによるピンチイン操作に応じて行われる。より具体的には、ユーザがタッチパネル10上の二点に異なる指で触れ、タッチパネル10に触れたまま互いに近づく方向に指を動かした場合に、タッチパネル10により表示された画像が全体的に縮小される(或いは対象が縮小される)。ピンチイン操作に応じて、画像に対応した振動がなるべく発生しないように制御してもよい点については上記と同様である。
【0031】
また、制御部90は、対象に対応した振動を発生させる状態と、各種操作(ピンチアウト、ピンチインの他、スクロール、ドラッグなど)を受け付ける状態とを切り替えてもよい。
図6(A)は、対象に対応した振動を発生させ、各種操作を受け付けない状態を示す図であり、
図6(B)は、対象に対応した振動を発生させず、各種操作を受け付ける状態を示す図である。電子機器1は、
図6(A)における「操作実行」ボタンBOがタップされると、
図6(B)に示す状態に移行する。また、電子機器1は、
図6(B)における「振動発生」BVボタンがタップされると、
図6(A)に示す状態に移行する。これによって、ユーザが行ったピンチアウトやピンチインの操作に対し、不要な振動が発生するのを防止することができる。
【0032】
ここで、画像が拡大された場合、対象に対して設定されている材質も同様に拡大されると仮定すると、触感が異なるものになると考えることができる。従って、制御部90は、画像の拡大または縮小に応じて波形データを修正してよい。例えば、制御部90は、画像の拡大率に応じて波形データを時間軸方向に引き伸ばし、且つ振動の振幅を画像の拡大率に応じて大きくしてよい。また、制御部90は、画像が縮小された場合には、この逆に、画像の縮小率に応じて波形データを時間軸方向に短縮し、且つ振動の振幅を画像の縮小率に応じて小さくしてよい。
図7は、画像の拡大または縮小に応じて波形データが修正される様子を模式的に示す図である。また、これに限らず、制御部90は、波形データの修正を行わないものとしてもよい。
【0033】
上述した制御によって、画像が拡大または縮小されるのに応じて、ユーザが触れた場合に振動を発生させる領域も同じように拡大または縮小されることになる。すなわち、電子機器1は、画像の拡大や縮小に対応して振動の発生を制御することができる。
【0034】
[接触位置に応じた振動子の制御]
以下、ユーザが、タッチパネル10の表示面における接触位置に応じた振動子の制御について説明する。制御部90は、例えば、接触位置に応じた振動子を選択して作動させる。
図8は、
図3(A)に示す態様で振動子が配置されている場合の、接触位置と振動子の対応関係を示す図である。制御部90は、
図8における区画A1に接触があった場合、振動子80(1)を作動させ、区画A2に接触があった場合、振動子80(2)を作動させ、区画A3に接触があった場合、振動子80(3)を作動させ、区画A4に接触があった場合、振動子80(4)を作動させる。また、制御部90は、区画の重複部分に接触があった場合は、重複した区画に対応した複数の振動子を作動させる。これに限らず、制御部90は、重複部分を設けなくてもよい。
【0035】
図9は、
図3(B)に示す態様で振動子が配置されている場合の、接触位置と振動子の対応関係を示す図である。制御部90は、
図9における区画B1に接触があった場合、振動子80(1)を作動させ、区画B2に接触があった場合、振動子80(2)を作動させる。また、制御部90は、区画の重複部分に接触があった場合は、重複した区画に対応した複数の振動子を作動させる。これに限らず、制御部90は、重複部分を設けなくてもよい。
【0036】
図10は、
図3(C)に示す態様で振動子が配置されている場合の、接触位置と振動子の対応関係を示す図である。制御部90は、
図10における区画C1に接触があった場合、振動子80(1)を作動させ、区画C2に接触があった場合、振動子80(2)を作動させ、‥、区画Cnに接触があった場合、振動子80(n)を作動させる。
【0037】
上述した制御によって、電子機器1は、互いに異なる振動のパターンを同時に発生させることができる。例えば、
図8における区画A2内に対象Aが、区画A3内に対象Bがそれぞれ表示されており、区画A2内における対象Aの領域内と、区画A3内における対象Bの領域内に同時に接触があった場合、対象Aに対応付けられた波形データに基づき振動子80(2)を振動させ、対象Bに対応付けられた波形データに基づき振動子80(3)を振動させることで、対象Aに対応する触覚効果と対象Bに対応する触覚効果を同時に生じさせることができる。この結果、電子機器1の利用態様を広げることができる。
【0038】
[対象の境界線における制御]
以下、制御部90により実行される、対象の境界線における制御について説明する。ここでは、
図3(C)の配置で振動子が配設されていることを前提とする。ただし、
図3(A)、
図3(B)、その他の配置で振動子が配設されている場合も同様の原理により制御を行うことができる。
【0039】
図11は、ある場面におけるタッチパネル10の表示画像と、区画の関係を示す図である。
図11に示す区画Ckには、対象Aの一部と対象Bの一部が含まれる。この場合、区画Ckに接触があった場合、制御部90は、以下のように振動を制御してよい。なお、以下の説明は、1つの区画に2つの対象が含まれる場合についてものであるが、1つの区画に3つ以上の対象が含まれる場合でも、同様の原理により処理を行ってよい。
【0040】
(1)制御部90は、対象Aと対象Bのうち、区画Ck内に占める面積が大きい方の対象に対応付けられた波形データに基づき、振動子80(k)を振動させてよい。
(2)制御部90は、対象Aと対象Bが区画Ck内に占める面積の比に基づいて、対象Aに対応付けられた波形データと、対象Bに対応付けられた波形データを合成してよい。
ここで、面積の比がSA:SBであるものとすると、例えば、対象Aに対応付けられた波形データの振幅をSA/(SA+SB)倍した波形データと、対象Bに対応付けられた波形データの振幅をSB/(SA+SB)倍した波形データとを加算して合成波形データを生成する。
(3)制御部90は、対象Aに対応付けられた波形データと、対象Bに対応付けられた波形データとを単に加算して(重畳させて)合成波形データを生成してよい。
【0041】
これらの制御によって、電子機器1は、対象の境界線部分において、一方の側の対象に対応付けられた振動から、他方の側の対象に対応付けられた振動へと、滑らかな振動の切り替わりを実現することができる。
【0042】
[まとめ]
以上説明した本実施形態の電子機器1、およびその制御プログラムによれば、画像の拡大や縮小に対応して振動の発生を制御することができる。
【0043】
また、本実施形態の電子機器1、およびその制御プログラムによれば、互いに異なる振動のパターンを同時に発生させることができ、電子機器1の利用態様を広げることができる。
【0044】
また、本実施形態の電子機器1、およびその制御プログラムによれば、対象の境界線部分において、一方の側の対象に対応付けられた振動から、他方の側の対象に対応付けられた振動へと、滑らかな振動の切り替わりを実現することができる。
【0045】
以上、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0046】
例えば、本発明の電子機器は、
図1A〜3に示すような形状および機能を有するものに限らず、振動発生部を備える各種電子機器、例えば、折り畳み式の携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータなどであってもよい。