【新規性喪失の例外の表示】特許法第30条第2項適用 http://www.youtube.com/watch?v=−LWcI4Q1oP4(掲載日:平成25年6月1日) http://www.youtube.com/watch?v=CH3ABnTUCn8(掲載日:平成25年6月3日) http://www.youtube.com/watch?v=mOSu−FquaYI(掲載日:平成25年6月4日) http://www.youtube.com/watch?v=3l77Co−DRBO(掲載日:平成25年6月4日) http://www.youtube.com/watch?v=lgtXs8YbimI(掲載日:平成25年6月5日) 日本放送協会 「好きだモノ。。。 01 メガネ」(放送日:平成25年8月7日)
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0013】
以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、開示の構成は、実施形態の具体的構成に限定されない。開示の構成の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
【0014】
〔実施形態〕
(構成例)
図1は、実施形態のシステムの構成例を示す図である。
図1のシステム10は、ウェアラブルディスプレイ100、情報処理装置200、ネットワーク300を含む。ウェアラブルディスプレイ100と情報処理装置200とは、例えば、ブルートゥース、無線LAN等によって、通信可能に接続される。ウェアラブルディスプレイ100と情報処理装置200との接続は、これらに限定されるものではなく、他の無線通信方式や、有線による通信方式によって、接続されてもよい。さらには、ウェアラブルディスプレイ100と情報処理装置200とは、一体に構成されてもよい。情報処理装置200は、上位のネットワーク300に接続される。情報処理装置200と上位のネットワーク300との通信方
式は、無線によるものであっても、有線によるものであってもよい。システム10は、画像表示システムの一例である。ウェアラブルディスプレイ100は、頭部装着型画像表示装置の一例である。
【0015】
図2は、ウェアラブルディスプレイの構成例を示す図である。
図2のウェアラブルディスプレイ100は、プロセッサ102、メモリ104、記憶装置106、表示部108、通信部110、加速度センサ112、地磁気センサ114を備える。
【0016】
ウェアラブルディスプレイ100は、利用者の頭部に固定される。例えば、ウェアラブルディプレイ100は眼鏡に固定され、利用者が当該眼鏡を装着することにより、ウェアラブルディプレイ100が利用者の頭部に固定される。ウェアラブルディスプレイ100は、他の方法により、利用者の頭部に固定されてもよい。ウェアラブルディスプレイ100が利用者の頭部に固定されることにより、ウェアラブルディスプレイ100のセンサにより利用者の頭部の動作が検出され得る。また、ウェアラブルディスプレイ100が頭部に固定されることで、利用者が頭部を動かしても、利用者はウェアラブルディスプレイ100の表示部108に表示される画面を見続けることができる。
【0017】
プロセッサ102は、所定の機能を実現するプログラムを記憶装置106等から読み込み、メモリ104でプログラムを展開し、所定の機能を実行する。プロセッサ102は、ウェアラブルディスプレイ100を制御する。プロセッサ102は、記憶装置106に格納される情報、通信部110が受信した情報などに基づいて、所定の処理を実行する。プロセッサ102は、演算部の一例である。
【0018】
メモリ104は、プロセッサ102で使用されるプログラムが展開される。メモリ104は、プログラムが実行される際に使用されるデータ等を格納する。
【0019】
記憶装置106は、プロセッサ102で使用されるプログラム、およびプログラムが実行される際に使用されるデータ等を格納する。
【0020】
表示部108は、各種の情報を表示する。利用者は、表示部108に表示される情報を認識することができる。表示部108に表示される情報は、例えば、利用者に対する指示、選択メニュー等である。
【0021】
通信部110は、情報処理装置200との間で通信を行う。通信部110は、例えば、ブルートゥース、無線LAN等によって、情報処理装置200に接続される。通信部110は、他の無線通信方式や有線による通信方式によって、情報処理装置200に接続されてもよい。通信部110は、情報処理装置200を介して、他の情報処理装置に接続されてもよい。また、通信部110は、ネットワークを介して、情報処理装置200に接続されてもよい。
【0022】
加速度センサ112は、3軸の加速度センサである。加速度センサ112は、加速度の方向及び大きさを検出する。加速度センサ112は、静止状態では、重力加速度の方向及び大きさを検出する。加速度センサ112は、自由落下の状態を加速度0とする系の加速度を検出する。従って、加速度センサ112の静止状態の出力の方向は、重力加速度の方向と反対方向であって、大きさは、重力加速度の大きさとなる。加速度センサ112は、互いに直交するX軸、Y軸、Z軸により、加速度を検出する。ここでは、ウェアラブルディスプレイ100が利用者に装着された状態で、身体の中心から前の方向がX軸、重力加速度の方向と逆の方向(頭上の方向)がY軸方向であるとする。身体の中心から左の方向がZ軸であるとする。ただし、これらの軸の方向は、利用者のウェアラブルディスプレイ100の装着の仕方や、ウェアラブルディスプレイ100の製造時の精度等によって、ず
れることがある。重力加速度の方向は、地面に向かう方向である。
【0023】
地磁気センサ114は、3軸の地磁気センサである。地磁気センサ114は、ウェアラブルディスプレイ100に対する地磁気の方向を検出する。加速度センサ112と地磁気センサ114とは、一体化されていてもよい。
【0024】
スイッチ116は、電源スイッチである。スイッチ116が操作されることにより、ウェアラブルディスプレイ100の電源が投入されたり、電源が切断されたりする。スイッチ116に他の機能が持たされてもよい。
【0025】
図3は、ウェアラブルディスプレイの例を示す図である。
図3のウェアラブルディスプレイ100は、眼鏡の右側のつる(テンプル)に固定される。
図3のウェアラブルディスプレイは、表示部108が右眼の前になるように、眼鏡のつるに固定される。また、
図3では、ウェアラブルディスプレイ100の加速度センサ112の位置が原点になるように3軸が示されている。
図3において、+X方向は利用者の正面方向であり、+Y方向は利用者の頭上方向であり、+Z方向は利用者の左方向である。これらのX、Y、Zは、加速度センサ112の3軸を示す。各軸は互いに直交する。ウェアラブルディスプレイ100が固定された眼鏡を利用者が装着することで、ウェアラブルディスプレイ100が利用者の頭部に装着される。ウェアラブルディスプレイ100は、他の方法により利用者の頭部に固定されてもよい。
【0026】
図4は、情報処理装置の構成例を示す図である。
図4の情報処理装置200は、プロセッサ202、メモリ204、記憶装置206、表示部208、通信部210、入力部212を備える。
【0027】
プロセッサ202は、所定の機能を実現するプログラムを記憶装置206等から読み込み、メモリ204でプログラムを展開し、所定の機能を実行する。プロセッサ202は、情報処理装置200を制御する。プロセッサ202は、記憶装置206に格納される情報、通信部210が受信した情報などに基づいて、所定の処理を実行する。プロセッサ202は、演算部の一例である。
【0028】
メモリ204は、プロセッサ202で使用されるプログラムが展開される。メモリ204は、プログラムが実行される際に使用されるデータ等を格納する。
【0029】
記憶装置206は、プロセッサ202で使用されるプログラム、およびプログラムが実行される際に使用されるデータ等を格納する。
【0030】
表示部208は、各種の情報を表示する。利用者は、表示部208に表示される情報を認識することができる。
【0031】
通信部210は、ウェアラブルディスプレイ100との間で通信を行う。通信部210は、例えば、ブルートゥース、無線LAN等によって、ウェアラブルディスプレイ100に接続される。通信部210は、他の無線通信方式や有線による通信方式によって、ウェアラブルディスプレイ100に接続されてもよい。また、通信部110は、ネットワークを介して、ウェアラブルディスプレイ100に接続されてもよい。通信部210は、ネットワークを介して、他の情報処理装置に接続されてもよい。
【0032】
入力部212は、利用者等からの情報の入力を受け付ける。入力部212は、キーボード、タッチパネル、ポインティングデバイス等である。
【0033】
ウェアラブルディスプレイ100は、コンピュータを搭載した電子機器を使用して実現可能である。
【0034】
情報処理装置200は、パーソナルコンピュータ(PC、Personal Computer)、ワー
クステーション(WS、Work Station)、PDA(Personal Digital Assistant)のような専用または汎用のコンピュータを使用して実現可能である。情報処理装置200は、サーバマシンのような専用または汎用のコンピュータを使用して実現可能である。また、情報処理装置200は、スマートフォン、携帯電話、タブレット型端末、カーナビゲーション装置のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。
【0035】
コンピュータは、プロセッサ、主記憶装置、及び、二次記憶装置や、通信インタフェース装置のような周辺装置とのインタフェース装置を含む。主記憶装置及び二次記憶装置は、コンピュータ読み取り可能な記録媒体である。
【0036】
コンピュータは、プロセッサが記録媒体に記憶されたプログラムを主記憶装置の作業領域にロードして実行し、プログラムの実行を通じて周辺機器が制御されることによって、所定の目的に合致した機能を実現することができる。
【0037】
プロセッサは、例えば、CPU(Central Processing Unit)やDSP(Digital Signal Processor)である。主記憶装置は、例えば、RAM(Random Access Memory)やRO
M(Read Only Memory)を含む。
【0038】
二次記憶装置は、例えば、EPROM(Erasable Programmable ROM)、ハードディス
クドライブ(HDD、Hard Disk Drive)である。また、二次記憶装置は、リムーバブル
メディア、即ち可搬記録媒体を含むことができる。リムーバブルメディアは、例えば、USB(Universal Serial Bus)メモリ、あるいは、CD(Compact Disc)やDVD(Digital Versatile Disc)のようなディスク記録媒体である。二次記憶装置には、オペレーティングシステム(Operating System :OS)、各種プログラム、各種テーブル等が格納される。OSは、ソフトウェアとハードウェアとの仲介、メモリ空間の管理、ファイル管理、プロセスやタスクの管理等を行うソフトウェアである。OSは、外部装置等とのデータの受け渡しを行う通信インタフェースプログラムを含む。外部装置等には、例えば、コンピュータ、外部記憶装置等が含まれる。
【0039】
通信インタフェース装置は、例えば、LAN(Local Area Network)インタフェースボードや、無線通信のための無線通信回路である。
【0040】
周辺装置は、上記の二次記憶装置や通信インタフェース装置の他、入力装置、出力装置を含む。入力装置は、キーボード、ポインティングデバイス、ワイヤレスリモコン、タッチパネル等を含む。また、入力装置は、カメラのような映像や画像の入力装置や、マイクロフォンのような音声の入力装置を含むことができる。入力装置は、各種センサを含むことができる。出力装置は、CRT(Cathode Ray Tube)ディスプレイ、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、EL(Electroluminescence)パ
ネル、プリンタ等を含む。また、出力装置は、スピーカのような音声の出力装置を含むことができる。
【0041】
ウェアラブルディスプレイ100を実現するコンピュータは、プロセッサが二次記憶装置に記憶されているプログラムを主記憶装置にロードして実行することによって、キャリブレーション及びコマンド操作などの機能を実現する。一方、メモリ104、記憶装置106は、主記憶装置または二次記憶装置の記憶領域に設けられる。
【0042】
ウェアラブルディスプレイ100のハードウェア構成は、
図2に示される例に限らず、適宜構成要素の省略、置換、追加が行われてもよい。
【0043】
情報処理装置200を実現するコンピュータは、プロセッサが二次記憶装置に記憶されているプログラムを主記憶装置にロードして実行することによって、所定の機能を実現する。一方、メモリ204、記憶装置206は、主記憶装置または二次記憶装置の記憶領域に設けられる。
【0044】
情報処理装置200のハードウェア構成は、
図4に示される例に限らず、適宜構成要素の省略、置換、追加が行われてもよい。
【0045】
(動作例)
〈キャリブレーション〉
図5は、ウェアラブルディスプレイのキャリブレーションの動作フローの例を示す図である。
【0046】
ウェアラブルディスプレイ100が静止状態であれば、加速度センサ112が示す値は、重力加速度によるものである。加速度センサ112のY軸が、重力加速度の方向と反対の方向になるようにされている。しかし、利用者のウェアラブルディスプレイ100の装着の仕方や、ウェアラブルディスプレイ100の製造時の精度等によって、Y軸の方向がずれることがある。キャリブレーションは、主として、ウェアラブルディスプレイ100が、ウェアラブルディスプレイ100を装着する利用者の頭部の向きと重力加速度の方向との関係を認識することを目的とする。
【0047】
利用者等によってスイッチ116が操作されることにより、ウェアラブルディスプレイ100の電源が投入される。ウェアラブルディスプレイ100は、電源が投入されるとキャリブレーションを開始する。ウェアラブルディスプレイ100は、他のタイミングにキャリブレーションを開始してもよい。利用者は、ウェアラブルディスプレイ100を装着後に電源を投入するか、電源投入後に、ウェアラブルディスプレイ100を装着する。
【0048】
キャリブレーションは、地面に対して静止した状態で、行われることが望ましい。地面に対して静止した状態でなくても、例えば、ほぼ等速直線運動をしている乗り物の中であってもよい。即ち、静止する状態でなくても、重力加速度よりも十分小さい加速度で移動している状態であってもよい。
【0049】
ステップS101では、プロセッサ102は、表示部108に、キャリブレーションを開始するため静止することを利用者に求める旨の表示をすることを指示する。この時、プロセッサ102は、表示部108に、利用者には、正面を向いて静止することを求める旨の表示をすることを指示する。これは、利用者の頭部の向きと重力加速度の方向との関係を求めるためである。また、プロセッサ102は、加速度センサ112に各軸の加速度を計測することを指示する。計測された加速度は、メモリ104または記憶装置106に格納される。
【0050】
ステップS102では、プロセッサ102は、ステップS101の表示後、所定時間経過したか否かを判定する。所定時間経過した場合(ステップS102;YES)、処理がステップS103に進む。所定時間は、例えば、10秒である。プロセッサ102は、表示部108に、所定時間経過するまでの残り時間を表示するように指示してもよい。
【0051】
ステップS103では、プロセッサ102は、計測が終了した旨の表示をすることを指
示する。プロセッサ102は、メモリ104または記憶装置106に格納される計測された加速度を読み出し、軸毎に、加速度の平均値を算出する。プロセッサ102は、算出した各軸の加速度の平均を、メモリ104または記憶装置106に格納する。
【0052】
プロセッサ102は、各軸の加速度の平均とともに標準偏差を算出してもよい。各軸の加速度の標準偏差は、静止状態の判定に使用され得る。例えば、加速度の標準偏差が大きい場合、静止状態とみなす範囲をより大きくすることができる。即ち、静止状態での動きが大きい利用者(静止状態の加速度の標準偏差が大きい利用者)に対して静止状態とみなす範囲をより大きくすることで、コマンド操作等における誤検出を防ぐことができる。
【0053】
ステップS104では、プロセッサ102は、ステップS103で算出された各軸の加速度の平均から、平均の重力加速度の方向を算出する。平均の重力加速度の方向は、各軸の加速度の平均をベクトルとして、各軸の加速度の平均のベクトルの和のベクトルの方向の反対方向として求まる。加速度センサ112は、自由落下の状態を加速度0とする系の加速度を検出するので、各軸の加速度の平均のベクトルの和の方向の反対方向が、平均の重力加速度の方向となる。また、各軸の加速度の平均のベクトルの和のベクトルの大きさが、重力加速度の大きさ(+1G)であるとする。
【0054】
プロセッサ102は、各軸の加速度の平均から算出した平均の重力加速度の方向と計測中の各時刻における各軸の加速度から算出される重力加速度の方向との間の角度θの標準偏差を算出してもよい。角度θの標準偏差は、利用者の静止状態における動きの大きさを示す。利用者の静止状態とみなす範囲が、角度θの標準偏差に基づいて決定されてもよい。
【0055】
ここで、平均の重力加速度の方向の反対方向を新たなY軸(Y’軸とする)とする。Y’軸は、原点を通るとする。さらに、原点を通りY’軸に直交する平面とXY面との交線を新たなX軸(X’軸とする)とし、原点を通りY’軸に直交する平面とYZ面との交線を新たなZ軸(Z’軸とする)とする。新たな各軸の方向は、元の軸とのなす角が90度以下になる方向とする。従って、新たな軸(X’,Y’,Z’)において、利用者が静止状態であるときの加速度は、(0,+1G,0)となる。Gは、重力加速度の大きさである。新たな軸(X’,Y’,Z’)は、ここで示されるものに限定されない。例えば、Z’軸は、X’軸及びY’軸に直交する軸として定義されてもよい。
【0056】
ステップS105では、プロセッサ102は、Y軸とY’軸との角度(Y軸とY’軸とのなす角)を算出する。プロセッサ102は、算出した角度を重力加速度の方向と頭上方向との傾きとして表示部108に表示することを指示する。利用者は、表示により、重力加速度の方向と頭上方向との傾きを認識することができる。
【0057】
以後、プロセッサ102は、加速度センサ112によるX軸、Y軸、Z軸の加速度の値を、求めた重力加速度の方向に基づいて、適切に回転すること等により、X’軸,Y’軸,Z’軸の値に変換する。頭部が正面を向いた状態で、加速度センサ112のX’軸が身体の中心から正面方向(前方方向)であり、加速度センサ112のY’軸が重力加速度の方向の反対方向であり、加速度センサ112のZ’軸が身体の中心から左方向であるとする。例えば、理想的には、利用者が45度前方に傾いた状態では、X’軸の加速度の値が減少し−2
−1/2Gとなり、Y’軸の加速度の値が減少し+2
−1/2Gとなる。
【0058】
キャリブレーションにより、ウェアラブルディスプレイ100は、利用者の静止状態の頭部の向きと重力加速度の方向との関係を認識することができる。また、ウェアラブルディスプレイ100は、角度θの標準偏差などにより、利用者の静止状態における動きの大きさを認識することができる。
【0059】
ウェアラブルディスプレイ100の表示部108に、利用者に正面を向かせる指示を表示することにより、利用者が指示通り正面を向きやすくなる。利用者が指示通り正面を向くことでキャリブレーションの精度が向上する。
【0060】
上記の例では、ウェアラブルディスプレイ100が、加速度の平均等を算出している。ウェアラブルディスプレイ100が、加速度センサ112等で検出した情報等を、通信部110及び通信部210を介して、情報処理装置200に送信することにより、上記のプロセッサ102による演算(全部または一部)が、情報処理装置200のプロセッサ202で処理されてもよい。また、表示部102に情報を表示させる指示が、情報処理装置200のプロセッサ202によって、通信部210及び通信部110を介して行われてもよい。
【0061】
〈コマンド操作〉
ここでは、ウェアラブルディスプレイ100におけるコマンド操作について説明する。ウェアラブルディスプレイ100におけるコマンド操作は、頭部の動作によって行われる。ここでは、選択画面における「選択」「戻る」「決定」の動作について説明する。スマートフォンなどの携帯端末等に対するコマンド操作の多くは、「選択」「戻る」「決定」のコマンド操作によって行われる。従って、「選択」「戻る」「決定」のコマンド操作ができることによって、ウェアラブルディスプレイ100によって、スマートフォンなどの携帯端末等に対するコマンド操作が置換され得る。
【0062】
図6、
図7、
図8、
図9は、ウェアラブルディスプレイのコマンド操作の動作フローの例を示す図である。
図6の「A」、「B」、「C」、「D」、「E」は、それぞれ、
図7の「A」、「B」、「C」、「D」、「E」と接続する。
図7の「F」、「G」、「H」、「I」は、それぞれ、
図8の「F」、「G」、「H」、「I」と接続する。
図8の「J」、「K」、「L」は、それぞれ、
図9の「J」、「K」、「L」と接続する。
【0063】
ステップS201では、プロセッサ102は、表示部108に、選択画面の表示をすることを指示する。表示部108は、選択画面を表示する。利用者は、表示部108に表示された選択画面を見ることができる。選択画面は、例えば、利用者等による他の選択画面の操作などによって表示される。
【0064】
図10は、表示部108に表示される選択画面の例を示す図である。
図10の選択画面では、縦に、「選択肢1」、「選択肢2」、・・・の選択肢が表示されている。また、
図10の選択画面では、左側に「戻る」、右側に「決定」の表示がされている。また、
図10の選択画面では、中央の「選択肢4」が選択された状態になっている。
【0065】
ステップS202では、プロセッサ102は、上動作が検出されたか否かを判定する。上動作は、頭部が上方を向く動作である。上動作は、X’軸の傾き(静止状態のX’軸からの傾き)が上向きに所定の角度α1を越えたか否かで判定される。即ち、X’軸の加速度をxとすると、xが次の式を満たすとき、プロセッサ102は、上動作が検出されたと判定する。利用者の頭部が、上方を向くと、X’軸の加速度は増加する方向に変化する。
【0066】
【数1】
上動作が検出された場合(S202;YES)、処理がステップS206に進む。上動作が検出されない場合(S202;NO)、処理がステップS203に進む。
【0067】
ステップS203では、プロセッサ102は、下動作が検出されたか否かを判定する。下動作は、頭部が下方を向く動作である。下動作は、X’軸の傾き(静止状態のX’軸からの傾き)が下向きに所定の角度β1を越えたか否かで判定される。即ち、X’軸の加速度をxとすると、xが次の式を満たすとき、プロセッサ102は、下動作が検出されたと判定する。利用者の頭部が、下方を向くと、X’軸の加速度は減少する方向に変化する。
【0068】
【数2】
下動作が検出された場合(S203;YES)、処理がステップS209に進む。下動作が検出されない場合(S203;NO)、処理がステップS204に進む。
【0069】
ステップS204では、プロセッサ102は、右動作が検出されたか否かを判定する。右動作は、頭部が右側に傾く動作である。右動作は、Z’軸の傾き(静止状態のZ’軸からの傾き)が右向きに所定の角度γ1を越えたか否かで判定される。即ち、Z’軸の加速度をzとすると、zが次の式を満たすとき、プロセッサ102は、右動作が検出されたと判定する。利用者の頭部が、右に傾くと、Z’軸の加速度は増加する方向に変化する。
【0070】
【数3】
右動作が検出された場合(S204;YES)、処理がステップS212に進む。右動作が検出されない場合(S204;NO)、処理がステップS205に進む。
【0071】
ステップS205では、プロセッサ102は、左動作が検出されたか否かを判定する。左動作は、頭部が左側に傾く動作である。左動作は、Z’軸の傾き(静止状態のZ’軸からの傾き)が下向きに所定の角度δ1を越えたか否かで判定される。即ち、Z’軸の加速度をzとすると、zが次の式を満たすとき、プロセッサ102は、左動作が検出されたと判定する。利用者の頭部が、左に傾くと、Z’軸の加速度は減少する方向に変化する。
【0072】
【数4】
左動作が検出された場合(S205;YES)、処理がステップS214に進む。左動作が検出されない場合(S205;NO)、処理がステップS202に戻る。
【0073】
ステップS206では、プロセッサ102は、選択画面に表示されている選択肢を上方向にスクロールして表示することを表示部108に指示する。表示部108は、選択肢を上方向にスクロールして表示する。また、プロセッサ102は、X’軸の傾き(角度)に応じて、表示部108におけるスクロールのスピードを変更するように表示部108に指示してもよい。即ち、例えば、X’軸の傾き(角度)が大きいほど、プロセッサ102は、スクロールのスピードを大きくする。スクロールのスピードには、上限が設けられてもよい。
【0074】
図11は、スクロール後の選択画面の例を示す図である。
図11の選択画面は、
図10の選択画面から、上方にスクロールして、「選択肢4」の1つ上の「選択肢3」が選択さ
れた状態になっている。利用者が上方を向くことにより更に上方にスクロールし、上方の選択肢が選択状態となる。
【0075】
ステップS207では、プロセッサ102は、上方を向いた頭部が元に戻ったか否かを判定する。元に戻ったか否かは、X’軸の傾き(静止状態のX’軸からの傾き)が上向きに所定の角度α2未満か否かで判定される。即ち、X’軸の加速度xが次の式を満たすとき、プロセッサ102は、元に戻ったと判定する。
【0076】
【数5】
元に戻ったと判定された場合(S207;YES)、処理がステップS208に進む。元に戻ったと判定されない場合(S207;NO)、処理がステップS206に戻る。
【0077】
ステップS208では、プロセッサ102は、選択肢のスクロールを停止して表示することを表示部108に指示する。表示部108は、選択肢のスクロールを停止して表示する。選択画面では、スクロールが停止した時点の中央に表示される選択肢が選択状態となる。スクロールが停止すると、処理がステップS202に戻る。プロセッサ102は、X’軸の加速度xが所定の角度α2未満となったことで、利用者の頭部が正面を向いた状態に戻ったと判断している。このとき、プロセッサ102は、利用者がスクロールを止めようとしていると判断する。
【0078】
ステップS209では、プロセッサ102は、選択画面に表示されている選択肢を下方向にスクロールして表示することを表示部108に指示する。表示部108は、選択肢を下方向にスクロールして表示する。また、プロセッサ102は、X’軸の傾き(角度)に応じて、表示部108におけるスクロールのスピードを変更するように表示部108に指示してもよい。即ち、例えば、X’軸の傾き(角度)が大きいほど、プロセッサ102は、スクロールのスピードを大きくする。スクロールのスピードには、上限が設けられてもよい。
【0079】
図12は、スクロール後の選択画面の例を示す図である。
図12の選択画面は、
図10の選択画面から、上方にスクロールして、「選択肢4」の1つ下の「選択肢5」が選択された状態になっている。利用者が下方を向くことにより更に下方にスクロールし、下方の選択肢が選択状態となる。
【0080】
ステップS210では、プロセッサ102は、下方を向いた頭部が元に戻ったか否かを判定する。元に戻ったか否かは、X’軸の傾き(静止状態のX’軸からの傾き)が下向きに所定の角度β2未満か否かで判定される。即ち、X’軸の加速度xが次の式を満たすとき、プロセッサ102は、元に戻ったと判定する。
【0081】
【数6】
元に戻ったと判定された場合(S210;YES)、処理がステップS211に進む。元に戻ったと判定されない場合(S210;NO)、処理がステップS209に戻る。
【0082】
ステップS211では、プロセッサ102は、選択肢のスクロールを停止して表示することを表示部108に指示する。表示部108は、選択肢のスクロールを停止して表示す
る。選択画面では、スクロールが停止した時点の中央に表示される選択肢が選択状態となる。スクロールが停止すると、処理がステップS202に戻る。プロセッサ102は、X’軸の加速度xが所定の角度β2未満となったことで、利用者の頭部が正面を向いた状態に戻ったと判断している。このとき、プロセッサ102は、利用者がスクロールを止めようとしていると判断する。
【0083】
ステップS212では、プロセッサ102は、右に傾いた頭部が右動作が検出されてから所定時間以内に元に戻ったか否かを判定する。元に戻ったか否かは、Z’軸の傾き(静止状態のZ’軸からの傾き)が右向きに所定の角度γ2未満か否かで判定される。即ち、Z’軸の加速度zが次の式を満たすとき、プロセッサ102は、元に戻ったと判定する。
【0084】
【数7】
所定時間以内に元に戻ったと判定されない場合(S212;NO)、処理がステップS202に戻る。このとき、頭部の動作は、コマンド操作であると判断されない。コマンド操作であれば、速やかな動作であると考えられるからである。
【0085】
所定時間以内に元に戻ったと判定された場合(S212;YES)、処理がステップS213に進む。このとき、プロセッサ102は、選択画面において現在選択状態にある選択肢が「決定」されたと認識する。即ち、プロセッサ102は、頭部が右側に傾いて所定時間以内に元の状態に戻ったことをもって、「決定」のコマンド操作がされたと判断する。スクロールの操作では、頭部が一方向に移動したことをもってスクロールを開始したが、決定の操作では、頭部が右側への往復動作をしたことをもって「決定」のコマンド操作が実行される。
【0086】
ステップS213では、プロセッサ102は、選択画面において選択状態にある選択肢が「決定」されたとして、所定の処理を実行する。例えば、プロセッサ102は、決定された選択肢に基づく情報等を表示することを表示部108に指示する。
【0087】
ステップS214では、プロセッサ102は、左に傾いた頭部が左動作が検出されてから所定時間以内に元に戻ったか否かを判定する。元に戻ったか否かは、Z’軸の傾き(静止状態のZ’軸からの傾き)が左向きに所定の角度δ2未満か否かで判定される。即ち、Z’軸の加速度zが次の式を満たすとき、プロセッサ102は、元に戻ったと判定する。
【0088】
【数8】
所定時間以内に元に戻ったと判定されない場合(S214;NO)、処理がステップS202に戻る。このとき、頭部の動作は、コマンド操作であると判断されない。
【0089】
所定時間以内に元に戻ったと判定された場合(S214;YES)、処理がステップS215に進む。このとき、プロセッサ102は、選択画面において「戻る」が選択されたと認識する。即ち、プロセッサ102は、頭部が左側に傾いて所定時間以内に元の状態に戻ったことをもって、「戻る」のコマンド操作がされたと判断する。スクロールの操作では、頭部が一方向に移動したことをもってスクロールを開始したが、決定の操作では、頭部が左側への往復動作をしたことをもって「戻る」のコマンド操作が実行される。
【0090】
ステップS215では、プロセッサ102は、「戻る」が選択されたとして、所定の処理を実行する。例えば、プロセッサ102は、前に表示されていた画面を表示することを表示部108に指示する。
【0091】
以上により、頭部の動作をウェアラブルディスプレイ100が検出することによって、「選択」「戻る」「決定」の動作が実現される。
【0092】
X’軸の傾きは、重力加速度の方向と直交する平面とX’軸との間の角度として定義されてもよい。Z’軸の傾きは、重力加速度の方向と直交する平面とZ’軸との間の角度として定義されてもよい。
【0093】
ここで、所定の角度α1、β1、γ1、δ1、α2、β2、γ2、δ2は、予め決められている。ここでは、α1≧α2、β1≧β2、γ1≧γ2、δ1≧δ2とする。また、所定の角度α1、β1、γ1、δ1、α2、β2、γ2、δ2は、キャリブレーションで算出される角度θの標準偏差に基づいて、決定されてもよい。例えば、角度α1、β1、γ1、δ1を角度θの標準偏差の3倍にし、角度α2、β2、γ2、δ2を角度θの標準偏差の2倍とする。このようにすることにより、正面を向いた静止状態に対して、異常な大きさ(例えば、標準偏差の3倍)の動作があったとき、コマンド操作がされたと判定できる。それぞれの利用者の角度θの標準偏差に基づくことで、誤検出(利用者が意図しない検出)を低減することができる。
【0094】
ここまでは、頭部の動作による加速度が重力加速度(9.8m/s
2(≒35km/h/s))よりも十分小さいことを前提として、加速度センサ112の出力を重力加速度に起因するものとしていた。地磁気センサ114では、仰角を測定することが可能である。仰角の情報から重力加速度の方向を特定し、加速度センサ112の出力から重力加速度の影響を取り除くことで、頭部の動作による加速度が得られる。頭部の動作による加速度を用いて、頭部の傾きを検出することで、上記と同様のコマンド操作を検出することも可能である。
【0095】
上記の例では、ウェアラブルディスプレイ100のプロセッサ102が、演算を行っている。ウェアラブルディスプレイ100が、加速度センサ112等で検出した情報等を、通信部110及び通信部210を介して、情報処理装置200に送信することにより、上記のプロセッサ102による演算(全部または一部)が、情報処理装置200のプロセッサ202で処理されてもよい。また、表示部102に情報を表示させる指示が、情報処理装置200のプロセッサ202によって、通信部210及び通信部110を介して行われてもよい。
【0096】
一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【0097】
プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的または個別に実行される処理を含む。
【0098】
なお、本実施形態のシステムによる応用として、産業向け用途への利用がある。
例えば、通信販売業においてシッピング時に顧客の複数オーダーを倉庫内からピックアップする際など、オペレーターが倉庫内の多数のアイテムから所定のアイテムを探し出し所定の個数を集積しなければならないが、一般的にはこれを紙のリストやデスクトップコンピュータディスプレイに表示されたデータからオペレーターがそれを持って倉庫内で探し回るのが通例であった。
【0099】
本実施形態のシステムを利用することにより両手が空くことになり、効率的にアイテムのピックアップやそれを集め歩く行為が可能となり、また、行動履歴やアイテムを集めるルート検索などの効率化に繋げられるものである。
【0100】
また、同様に多品種少量生産の工場内の組立作業者に対しても本システムの利用が効果を発揮する。
【0101】
即ち、組み立て部品がいつも一定では無い作業において、集める部品についての確認と組み立てマニュアルなどもハンズフリー且つ頭の動作だけで操作が出来ることは、作業効率を上げることに直接的に寄与する。
【0102】
(変形例)
上記の実施形態における変形例について説明する。ここでは、主として、相違点について説明し、共通点についての説明を省略する。
【0103】
図13は、実施形態のシステムの変形例を示す図である。
図13のシステム20は、ウェアラブルディスプレイ100、ネットワーク300を含む。ウェアラブルディスプレイ100とネットワーク300とは、例えば、無線による通信方式または有線による通信方式によって通信可能に接続される。ウェアラブルディスプレイ100とネットワーク300との接続は、これらに限定されるものではなく、他の通信方式によって通信可能に接続されてもよい。ウェアラブルディスプレイ100は、情報処理装置200に相当する装置と、一体に構成されてもよい。また、ウェアラブルディスプレイ100は、ネットワーク300を介して、情報処理装置200と接続されてもよい。ウェアラブルディスプレイ100は、ネットワーク300を介して、他の情報処理装置に接続されてもよい。システム20は、画像表示システムの一例である。
【0104】
また、ウェアラブルディスプレイ100は、ネットワーク300に接続されなくてもよい。
【0105】
(実施形態の作用、効果)
利用者がスマートフォンのディスプレイを見る場合、頭部が下向きになりがちである。ウェアラブルディスプレイ100の表示部108に利用者に要求する状態を表示することにより、利用者は要求する状態にし易くなる。例えば、利用者は表示部108に表示される情報を見たまま正面を向くことができる。
【0106】
ウェアラブルディスプレイ100によると、利用者が頭部を上向きもしくは下向きに傾けることで、表示部108に表示される選択画面の選択肢をスクロールさせることができる。また、ウェアラブルディスプレイ100によると、利用者が頭部を右または左に倒して所定時間以内にもとに戻すことにより、「決定」または「戻る」の操作を実行することができる。
【0107】
ウェアラブルディスプレイ100によれば、利用者は、操作のために頭部を動かしても、表示部108が頭部に装着されているため、表示部108による表示を見続けることができる。即ち、ウェアラブルディスプレイ100によれば、利用者は、表示部108による表示を見続けながら、頭部の動作によって、ウェアラブルディスプレイ100を操作することができる。
【0108】
ウェアラブルディスプレイ100によれば、スマートフォンにおける画面表示及び「選択」、「戻る」、「決定」の動作を、ウェアラブルディスプレイ100における表示部1
08及び頭部の動作によって置換することができる。即ち、「選択」、「戻る」、「決定」のコマンド操作により、あらゆる画面操作が、ウェアラブルディスプレイ100において実現できる。ウェアラブルディスプレイ100によれば、適切に閾値を設けることにより、コマンド操作のための動作と他の動作とを区別することができる。
【0109】
ウェアラブルディスプレイ100は、キャリブレーションの際に重力加速度の方向を算出するとともに、利用者の静止状態での頭部の動きの大きさ(角度θ等)を検出することができる。静止状態での頭部の動作が大きい利用者に対しては、コマンド操作と認識されるまでの閾値を大きくすることで、コマンド操作の誤検出(利用者が意図しない操作の検出)を抑制することができる。
【0110】
ウェアラブルディスプレイ100の表示部108は、目とともに移動するので、頭部を動かすことによる操作中であっても、表示部108が利用者の視界から外れることはない。利用者の目に対する表示部108の相対位置は、利用者が頭部を動かしても変化しない。よって、利用者は、利用者が頭部を動かしても、表示部108の表示を見続けることができる。