【課題】撮影した画像をリアルタイムで個人特定が困難な画質に変換してプライバシー保護機能を具現するウェアラブルデバイス及びその制御方法並びに画像共有システムを提供する。
【解決手段】本発明のウェアラブルデバイスは、ユーザの頭部に装着され、ユーザが視認する画像を撮影するカメラ部と、撮影した画像データに基づく画像光をユーザの眼に虚像として投影する画像投影部と、撮影した画像データをリアルタイムで画像処理する画像処理部と、無線通信部と、カメラ部、画像投影部、画像処理部、及び無線通信部の動作を制御する制御部と、を備え、制御部は、画像処理部を制御して、撮影した画像データを個人特定が困難な低階調の画像データに変換し、無線通信部を通じて、画像変換された画像データを外部のウェアラブルデバイスと共有するよう制御する。
ユーザの頭部に装着され、該ユーザに対して画像データに基づく画像光による画像が外界の視野像とともにユーザに視認されるディスプレイを備えたウェアラブルデバイスであって、
ユーザが視認する画像を撮影するカメラ部と、
ユーザの眼から注視点までの距離である視距離を測定する測距部と、
前記カメラ部で撮影した画像データ及び該画像データに対応する視距離の測定データに基づき画像光を前記視距離に視認される虚像としてユーザの眼に投影する画像投影部と、
ウェアラブルデバイスを制御しウェアラブルデバイスとして機能させるためのプログラム及び各種データを保存する記憶部と、
前記カメラ部で撮影した画像データをリアルタイムで画像処理する画像処理部と、
外部機器とデータを送受信する無線通信部と、
前記それぞれの構成要素の動作を制御する制御部と、を備え、
前記制御部は、
前記カメラ部で撮影した画像データを、前記無線通信部を介して外部機器に送信する場合、該撮影した画像データを前記画像処理部によりリアルタイムで個人特定が困難な低階調の画像データに変換して前記外部機器に送信するように制御することを特徴とするウェアラブルデバイス。
前記撮影した画像データを前記画像処理部により低階調の画像データに変換する処理は、二値化処理または三値化処理であることを特徴とする請求項1に記載のウェアラブルデバイス。
前記外部機器が、ユーザが装着するウェアラブルデバイスと同一構成のウェアラブルデバイスである場合、前記カメラ部で撮影した画像データとともに該画像データに対応する視距離の測定データを送信することを特徴とする請求項1又は2に記載のウェアラブルデバイス。
ユーザの頭部に装着され、該ユーザに対して画像データに基づく画像光による画像が外界の視野像とともにユーザに視認されるディスプレイを備えたウェアラブルデバイスの制御方法であって、
カメラ部によりユーザが視認する画像を撮影するステップと、
測距部によりユーザの眼から注視点までの距離である視距離を測定するステップと、
画像投影部により前記カメラ部で撮影した画像データ及び該画像データに対応する視距離の測定データに基づき画像光を前記視距離に視認される虚像としてユーザの眼に投影するステップと、
前記カメラ部で撮影した画像データを、無線通信部を介して外部機器に送信するステップと、を有し、
前記カメラ部で撮影した画像データを、無線通信部を介して外部機器に送信するステップは、
前記撮影した画像データを画像処理部によりリアルタイムで個人特定が困難な低階調の画像データに変換するステップを含むことを特徴とするウェアラブルデバイスの制御方法。
前記撮影した画像データを低階調の画像データに変換する処理は、二値化処理または三値化処理であることを特徴とする請求項6に記載のウェアラブルデバイスの制御方法。
【発明を実施するための形態】
【0017】
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
【0018】
図1は、本発明の一実施形態によるウェアラブルデバイスを示す斜視図である。
図2は、本発明の一実施形態によるウェアラブルデバイスの構成を概略的に示すブロック図である。
【0019】
図1及び
図2を参照すると、ウェアラブルデバイス100は、画像投影部10、カメラ部20、マイク30、イヤホン40、及びタッチスイッチ50を備える。また、ウェアラブルデバイスの筐体60内には、制御部70、視野変動検出部81、無線通信部82、オーディオ処理部83、及び記憶部84が内蔵され、ウェアラブルデバイスの筐体90内にはバッテリー85を備える。
【0020】
ウェアラブルデバイス100は、ユーザが視認する外界像をカメラ部20で撮影し、撮影した画像データを制御部70に送出する。制御部70は、受信した画像データをユーザからの指示に従って処理し、画像投影部10を通じて画像データに基づく画像光をユーザの眼に投影するように制御する。
【0021】
画像投影部10は、ウェアラブルデバイス100のディスプレイを構成し、オートフォーカス機能を有し、虚像の投影距離を調整してユーザが注視している位置に虚像を映し出す。これにより、ユーザはその虚像を空中に浮かんだ感覚で視認することができる。本機能の詳細については後述する。
また、画像投影部10は、無線通信部82を通じて受信したコンテンツ情報に基づく画像データをユーザの眼に投影することができる。
【0022】
図2を参照すると、制御部70は、ウェアラブルデバイス100の全般的な動作のために各構成要素を制御するCPU71、画像データの画像変換を行いデータ圧縮等の処理を担う画像処理部72、及び入出力データの種別を判定して対応するインターフェイスと構成要素との接続切換え等を制御する入出力制御部73を備える。
【0023】
CPU(Central Processing Unit)71は、ウェアラブルデバイス100の各構成要素に対する電源供給を制御し、初期化過程を実行し、初期化過程が完了すると、各構成要素に対する各種データ処理のためのユーザインターフェースを制御し、ユーザによって生成されたタッチイベントに基づいて選択された機能を遂行し、入出力データの送受信等を制御する。
【0024】
画像処理部72は、画像データの画像解析による人物識別、二値化処理等の低階調画像又はその他の形式の低解像度画像へのデータ変換処理、及びデータ圧縮解凍処理等を行う専用プロセッサ(例えば、DSP)を備える。
入出力制御部73は、画像データ、音声データ、及び各種コンテンツデータの入出力を制御し、ユーザの指示に基づき、それぞれ対応する構成要素に伝送する。
【0025】
視野変動検出部81は、ジャイロセンサ及び加速度センサ(図示せず)を備え、ユーザの視野方向の変動を検出する。視野変動検出部81は、ジャイロセンサにより検出される角速度値及び/又は加速度センサーにより検出される加速度値が、ある基準値に対して所定の閾値以上変化したときに、ユーザの視野変動があったものと判断し、その検知信号を制御部70に送出する。
【0026】
制御部70は、視野変動検出部81からの検知信号を受信すると、オートフォーカス機能を作動させる命令信号を画像投影部10に送出する。すなわち、オートフォーカス機能は常時作動とせず、視野方向の変動を検出した時のみに作動するように制御する。これにより、ウェアラブルデバイス100が備えるバッテリー85の電力消費を抑制することが可能になる。
【0027】
無線通信部82は、音声通話のための通信チャネルの形成、及び画像データ又は文字データを伝送するための通信チャネル形成などを制御部70の制御の下に行う。即ち、無線通信部82は、音声通話チャネル、文字データ通信チャネル、及び画像データ通信チャネルなどを移動通信システムの間に形成する。無線通信部82の運用のために、ウェアラブルデバイス100は、様々な情報、例えば通信先リスト情報などを画像投影部10に出力するように制御する。無線通信部82は、ブルートゥース(登録商標)、WiFi(登録商標)などで構成される。
【0028】
オーディオ処理部83は、通話時に送受信されるオーディオデータ、受信したメッセージに含まれるオーディオデータ、及び外部記憶装置から受信したオーディオファイル再生によるオーディオデータなどをイヤホン40に出力し、通話時にユーザの音声又はその他のオーディオ信号を、マイク30を通じて収集する。
【0029】
タッチスイッチ50は、ウェアラブルデバイス100のフレーム側部に配置され、画像投影部10に出力する特定イメージや特定機能をユーザが指示するために、タッチスイッチ50の特定の領域を特定の所作でタッチした場合、それに対応するタッチイベントを生成するようにサポートする。
【0030】
記憶部84は、図示しないがフラッシュメモリ(フラッシュEEPROM)、RAM等で構成され、本実施形態による機能動作に必要な各種アプリケーションプログラム及びタッチスイッチ50の運用のためのメニューマップなどを含む。ここで、メニューマップは、様々な形態を使用することができる。即ち、メニューマップは、現在活性化されているアプリケーションプログラムの運用制御のためのメニューマップであってもよく、ウェアラブルデバイス100が提供する様々なメニューをリストとして有するメニューマップであってもよい。また、記憶部84は、プログラム領域とデータ領域を含む。
【0031】
プログラム領域は、ウェアラブルデバイス100の起動及び上述した各構成要素の運用のためのOS(Operating System)、様々な機能を実行するためのアプリケーションプログラム、例えば、通話機能サポートのためのアプリケーションプログラム、インターネットサーバーに接続するためのウェブブラウザ、オーディオデータを再生するためのMP3アプリケーションプログラム、静止画像などを表示するためのイメージ出力アプリケーションプログラム、動画像圧縮再生アプリケーションプログラムなどを保存する。
特に、本実施形態のプログラム領域には、画像変換処理アプリケーションプログラムを含む。
【0032】
画像変換処理アプリケーションプログラムは、メニュー又はタッチ所作による選択信号によって、撮影画像にプライバシー保護を設定する場合、カメラ部20で撮影した画像データに、予め設定した画像変換処理(例えば、二値化或いは三値化等の低階調化処理又はその他の低解像度化処理)を行うルーチンを含む。例えば、プライバシー保護が設定されるウェアラブルデバイスの使用モードとして、共有モード(他のウェアラブルデバイスユーザと画像データを送受信するモード)、プライベートモード(画像データを外部装置に送出するモード)を設定することができる。
【0033】
データ領域は、ウェアラブルデバイス100の使用によって発生する各種データが保存される領域であり、メニューマップ情報、各種機能に対応する少なくとも1つのアイコン又は様々なコンテンツを保存する。また、データ領域には、カメラ部20で撮影した画像データ、外部から受信した画像データ、及び各種コンテンツ情報データなどが一時保存される。特に、本実施形態のデータ領域は、カメラ部20で撮影した画像データを画像処理部72で画像変換する際、画像データのバッファメモリとして機能し、通信機能をサポートするアプリケーションプログラムの活性化時に上記変換データを無線通信部82に送出する。
【0034】
次に、
図3を参照して、本実施形態の画像投影部10について、より詳しく説明する。
【0035】
画像投影部10は、画像データを表示する表示部11、表示部11から出射された画像光をユーザの眼Eに導く光学モジュール12、及びユーザの「視距離」を測定する測距部13を備える。ここで「視距離」とは、ユーザの眼Eから注視点までの距離を意味する。
【0036】
表示部11は、図示しないが、表示素子と光源から構成され、画像データを画像光に変換して光学モジュール12に出射する。
表示素子は、例えば、光が通過する領域となる各画素がマトリクス状に配置された透過型の液晶表示素子又は反射型の液晶表示素子で構成される。光源は、R(赤色)、G(緑色)、B(青色)の各色の光を出射するものであり、例えばLED(発光ダイオード)から成る。なお、光源は、RGB一体型のLEDパネルで構成されることが好ましいが、単色光や白色光を出射するものであってもよい。
【0037】
光学モジュール12は、表示部11からの画像光をユーザの眼Eに導く光学系である。光学モジュール12は、プリズム14、補正レンズ15、及び補正レンズの焦点位置を調整することで虚像の投影距離を調整する投影距離調整部16を備える。
プリズム14は、表示部11からの画像光の光路を直角に折り曲げる手段として機能する導光部材である。プリズム14は、単一のプリズムで構成されてもよいし、複数プリズムを組み合わせて構成されてもよい。
【0038】
測距部13は、図示しないが、ユーザの眼Eの屈折力を計測する測距センサーを備え、測距センサーから得られた屈折力に基づいて、ユーザの眼Eが焦点を合わせている注視点の位置を特定する。これにより、測距部13は、ユーザの眼Eから注視点までの距離(視距離)を測定する。測距部13は、計測した視距離に関するデータを、制御部70に送出する。
【0039】
制御部70は、視距離に関するデータに基づき、光学モジュール12の投影距離調整部16を制御する。すなわち、投影距離調整部16は、制御部70から視距離に関するデータに対応する制御信号を受けて、補正レンズ15の物理的な位置を前後させることにより、プリズム14に画像光が集光する面積を調整して虚像の投影距離を調節する。なお、投影距離調整部16が虚像の投影距離を調整する方法は、上記に限定されるものではなく、適宜周知の方法を用い得る。
【0040】
以下、本発明の一実施形態によるウェアラブルデバイス100の制御方法をより詳細に説明する。
【0041】
図4は、本発明の第1の実施形態によるウェアラブルデバイスの制御方法を示すフローチャートである。
【0042】
図4を参照すると、先ず、ユーザがウェアラブルデバイス100を装着する(ステップS100)と、ウェアラブルデバイス100に備わるセンサー(図示せず)が装着を感知して電源が供給され、供給された電源を利用してウェアラブルデバイス100の制御部70は起動を完了して予め設定されたスケジュール情報に従って初期画像又はメニュー画像を画像投影部10に出力する(ステップS110)。その後、制御部70はユーザによる特定の入力イベントが例えばタッチスイッチ50に対して生成されるか否かを確認する。
【0043】
制御部70は入力イベントが生成されると、該当入力イベントがカメラ部20による撮影開始を指示する入力イベントであるか否かを確認する(ステップS120)。
制御部70は、カメラ部20を起動するための入力イベント発生でない場合、ステップS120の前に戻り、入力イベントが生成されるか否かの確認を行うように制御する。
なお、カメラ部の起動開始を確認するステップS120を省略して、ステップS110で電源供給開始を受けてカメラ部20を作動させてもよい。
【0044】
一方、ステップS120でカメラ撮影開始を指示する入力イベントが発生すると、制御部70はカメラ部20を起動し、カメラ部20はユーザの視認する外景像を撮影して撮影した画像データを制御部70に送出する。これと同時に、制御部70は、測距部13を起動して、ユーザが視認する注視点までの視距離を計測するように制御する。測距部13は計測した視距離に関するデータを制御部70に送出する(ステップS130)。
なお、「視認」とは、外景に基づく画像光がユーザの眼(網膜上)に結像されてユーザが画像を認識する態様と、表示部に表示された画像に基づく画像光をユーザが認識する態様の2つの態様を含む。
【0045】
制御部70は、カメラ部20からの画像データ及び測距部13からの視距離に関するデータを画像投影部10に送出し、画像投影部10は上記2つのデータに基づいてユーザの眼に視距離に対応する虚像を投影する(ステップS140)。
【0046】
また、制御部70は、視野変動検出部81から出力される信号を確認する(ステップS150)。これにより、ユーザの注視状態を判断する。すなわち、視野変動検出部81から視野変動を知らせる第1の検知信号を受けた後、次の視野変動を知らせる第2の検知信号を受けるまでの期間が、予め設定した時間(判定時間)を超過した場合、ユーザがその方向を注視していると判断する(ステップS160)。
【0047】
制御部70は、予め設定した判定時間が経過すると、上記判定時間の到達時にユーザが視認している画像に対応する画像データを静止画として記憶部84に保存する(ステップS170)。この際、制御部70は、注視判定時間の経過をユーザに認知させるためのオブジェクトを画像投影部10からユーザの眼に投影してもよい。
なお、上記判定時間は、例えば3秒〜6秒とし、ユーザに認知させるためのオブジェクト表示を上記第1の検知信号を受けて、例えば0.5秒〜2秒後から開始してもよい。
【0048】
その後、制御部70は、ユーザによる特定の入力イベントが生成されるか否かを確認する(ステップS180)。カメラ部20の作動終了を指示する入力イベントの発生がない場合、制御部70は、ステップS130の前に分岐して、以降のステップを繰り返して行うように制御する。
一方、カメラ部20の作動終了の入力イベントが発生した場合、制御部70は、カメラ部20の作動を停止してステップS120の前に分岐し、以降のステップを繰り返して行うように制御する。
【0049】
図5は、本発明の第2の実施形態によるウェアラブルデバイスの制御方法を示すフローチャートである。本実施形態では、ユーザがウェアラブルデバイスを装着して、カメラ部を作動させた状態以降の制御方法の一例を説明する。
【0050】
図5を参照すると、先ず、ユーザがウェアラブルデバイス100を装着し、カメラ部20を作動させて外界像の撮影を開始する(ステップS210)と、制御部70はユーザによる特定の入力イベントが例えばタッチスイッチ50に対して生成されるか否かを確認する。
【0051】
制御部70は、入力イベントが生成されると、該当入力イベントが撮影画像をプライベートモードで出力することを選択するための入力イベントであるか否かを確認する(ステップS220)。ここで、プライベートモードとは、カメラ部20で撮影した画像データをリアルタイムで画像処理して、画像中の人物や場所が特定し難い画像(例えば、二値画像)に変換するモードである。
【0052】
制御部70は、プライベートモードを選択するための入力イベントでない場合、ステップS240に分岐し、撮影した画像データ及び視距離に関するデータを画像投影部10に送出する。画像投影部10は上記2つのデータに基づいてユーザの眼に視距離に対応する虚像を投影する(ステップS250)。これにより、ユーザの眼には画像投影部10で撮影した画像がそのまま投影される(以下、通常モードと呼ぶ)。
【0053】
一方、ステップS220でプライベートモードを選択するための入力イベントが発生すると、制御部70は、画像処理部72を制御して、撮影した画像データをリアルタイムで画像変換(例えば、二値化処理)する(ステップS230)。
【0054】
そして、制御部70は画像処理部72で処理した画像データ(例えば、二値画像データ)及び視距離に関するデータを画像投影部10に送出する(ステップS240)。したがって、この場合、ユーザの眼には二値画像が虚像として投影される。
【0055】
制御部70は、カメラ撮影中もユーザによる特定の入力イベントが生成されるか否かを確認する。制御部70は、入力イベントが生成されると、該当入力イベントが撮影画像を外部出力するモードを選択する入力イベントであるか否かを確認する(ステップS260)。
【0056】
ここで、撮影画像を外部出力するモードとは、制御部70が入出力制御部73を制御してユーザの指示に基づく外部機器との接続手段を選択し、無線通信部82が、選択された接続手段を作動させて外部機器との通信チャネルを確立し、ユーザが撮影している画像データを外部機器に送信するモードである。外部機器との接続手段は、無線通信部82に備えられたブルートゥース(登録商標)又はWiFi(登録商標)通信等を用いる。また、接続先の外部機器は、スマートフォン、タブレット端末、パソコン、及びデータ(若しくはWeb)サーバである。ユーザが装着しているウェアラブルデバイスと同型の、すなわち同一の構成及び同一の機能を有するウェアラブルデバイスとのデータ共有については後述する。
【0057】
制御部70は、外部出力を選択するための入力イベント発生でない場合、ステップS280に分岐し、以降のステップを繰り返して行うよう制御する。
【0058】
一方、ステップS260で外部出力を選択するための入力イベントが発生すると、制御部70は、ユーザの指示によらず自動的にプライベートモードが選択されているか否かを確認する(ステップS265)。
【0059】
ステップ265で、プライベートモードが選択されていることが確認された場合、制御部70は、入出力制御部73を制御して、ユーザの指示に基づく外部機器との接続手段を選択し、無線通信部82を通じて、画像処理された画像データを外部機器に送信する(ステップS270)。
【0060】
一方、プライベートモードが選択されていない場合、制御部70は、ステップS230の前に分岐し、画像処理部72を制御して撮影した画像データの画像変換処理(例えば、二値化処理)を開始(プライベートモードへ切換え)し、以降のステップを実行する。これにより、撮影画像に人物が映り込んだとしても、外部に出力されうる画像データは、個人特定が困難な低階調の画像データ(例えば二値画像データ)に変換されたものに制限されるため、プライバシーが保護される。また、二値化等の画像変換処理によって画像データが圧縮されるため、通信速度が向上する。
なお、ステップS265を省略して、ステップS220でユーザが選択したモード(通常モード又はプライベートモード)に対応する画像データを外部機器に送信できるように設定することも可能である。
【0061】
その後、制御部70は、プライベートモード解除のための入力イベントが生成されるか否かを確認する(ステップS280)。プライベートモード解除のための入力イベント発生がない場合、ステップS230の前に分岐し、以降のステップを繰り返して行うように制御する。
また、プライベートモード解除のための入力イベントが発生した場合、制御部70は、画像変換処理を停止(ステップS290)した後、ステップS220の前に分岐して以降のステップを繰り返して行うように制御する。
【0062】
なお、本実施形態では、画像データの外部出力を選択する場合に、ユーザがプライベートモードを選択するか否かを指示するフローを示したが、これに限定されない。例えば、
図5のステップS260で、画像データの外部出力を選択するための入力イベントが発生した場合、ステップS265において、制御部70は、撮影した画像データに人物として識別される画像が含まれているか否かを画像処理部72の画像解析機能を用いて検査し、撮影した画像データに人物として識別される画像が含まれていると判断されるとユーザ指示によらずに自動的に画像処理部72により低階調の画像データに変換するように制御する設定を適用できる。
【0063】
以下、本発明の一実施形態によるウェアラブルデバイスを用いた画像共有システムの構成及びその制御方法を詳細に説明する。
【0064】
図6は、本発明の一実施形態によるウェアラブルデバイスを用いた画像共有システムの構成を示す図である。
【0065】
図6を参照すると、ユーザ1が装着するウェアラブルデバイス(WD1)101と同型のウェアラブルデバイス(WD2)102及び(WD3)103が、短距離無線通信(例えば、ブルートゥース(登録商標)通信)が可能な範囲内200に存在する。それぞれのウェアラブルデバイス(WD1〜WD3)101〜103は、短距離無線通信をサポートする無線通信部を備えており、ウェアラブルデバイス101(WD1)は、これらの外部ウェアラブルデバイスを自動的に探索し、ユーザ1が所望の接続相手を指定してペアリング(リンクキー交換及びマスタ−スレーブ通信の確立)を行うことで、指定した1つ以上のウェアラブルデバイスと直接データを送受信(共有)する。
【0066】
一方、ウェアラブルデバイス(WD1)101は、短距離無線通信可能範囲外に存在するウェアラブルデバイス(WD4)104に対しては、WiFi通信等を利用して近隣のアクセスポイントAPに接続し、インターネット回線等の通信ネットワーク400を経由して通信する。
また、ウェアラブルデバイス(WD1)101は、同様にWiFi通信を利用してインターネット回線等の通信ネットワーク400に接続されたデータベースサーバ(又はWebサーバ)300等と通信する。
【0067】
データベースサーバ300は、制御部310、記憶部320、及び通信部330を備え、ウェアラブルデバイス(WD1)101からの要求に応じて、記憶部320に保存されている各種情報やコンテンツデータをウェアラブルデバイス(WD1)101に提供し、又ウェアラブルデバイス101(WD1)から送信された画像データ及び各種データを受信して記憶部320に保存し、ユーザ1が許可した他のウェアラブルデバイス(例えば、WD4)からの要求に応じて、ユーザ1が記憶部320に保存した上記データをウェアラブルデバイス(WD4)104に転送する。
【0068】
図7は、本発明の一実施形態によるウェアラブルデバイスを用いた画像共有システムの制御方法を示すフローチャートである。
【0069】
図6及び
図7を参照すると、先ず、ユーザ1がウェアラブルデバイス(WD1)101を装着し、カメラ部20を作動させて外界像の撮影を開始する(ステップS310)と、ウェアラブルデバイス101の制御部70はユーザ1による特定の入力イベントが例えばタッチスイッチ50に対して生成されるか否かを確認する。
【0070】
制御部70は、入力イベントが生成されると、該当入力イベントが撮影画像を共有モードで出力することを選択するための入力イベントであるか否かを確認する(ステップS320)。
【0071】
ここで、共有モードとは、無線通信部82を作動させて短距離無線通信可能範囲内に存在する同型のウェアラブルデバイス(WD2)102又は/及び(WD3)103との通信チャネルを確立し、ユーザ1が撮影している画像データをリアルタイムで接続先のウェアラブルデバイスに送信し、また音声通話を行うモードである。
【0072】
制御部70は、撮影画像を共有モードで出力することを選択するための入力イベント発生でない場合、ステップS320の前に戻り、以降の過程を繰り返して行うように制御する。
【0073】
一方、ステップS320で撮影画像を共有モードで出力することを選択するための入力イベントが発生すると、制御部70はステップS330に進んで画像データにプライベートモードを適用するか否かを確認する。
【0074】
制御部70は、プライベートモードを適用しない場合、ステップS350に分岐して、撮影した画像データ及び視距離に関するデータを画像投影部10に送出する。
画像投影部10は、受信した画像データ及び視距離に関するデータに基づいて、ユーザ1の眼に視距離に対応する虚像を投影する(ステップS360)。これにより、ユーザ1の眼にはユーザ1の視認する画像がそのまま虚像として投影される。
【0075】
一方、ステップS330でプライベートモード適用を指示する入力イベントが発生すると、制御部70は、画像処理部72を制御して撮影した画像データをリアルタイムで画像変換(例えば、二値化処理)する(ステップS340)。
【0076】
そして、制御部70は、画像処理部72で画像処理した画像データ(二値画像データ)及び視距離に関するデータを画像投影部10に送出する(ステップS350)。したがって、ユーザ1の眼には二値画像が虚像として投影される(ステップS360)。
【0077】
また、制御部70は、画像投影部10に送出した画像データ及び視距離に関するデータを無線通信部82に送出する(ステップS355)。
【0078】
無線通信部82は、ブルートゥース(登録商標)機能を利用して短距離無線通信可能範囲内に存在する外部のウェアラブルデバイス(WD2)102又は/及び(WD3)103に画像データ及び視距離に関するデータを送信する(ステップS370)。
【0079】
ここで、ユーザ2が装着しているウェアラブルデバイス(WD2)102は、ユーザ1が装着しているウェアラブルデバイス(WD1)と同一の構成を有しているため、受信した上記2つのデータに基づき、ウェアラブルデバイス(WD2)を装着したユーザ2の眼にはユーザ1が視認する画像がユーザ1と同じ視距離に虚像として投影される。したがって、ユーザ1とユーザ2は、仮想的に同じ外景像を共有することが可能になる。
【0080】
なお、本実施形態では、共有する画像データは、ユーザ1によって画像変換処理を行うか否かが選択される制御方法を示したが、これに限定されない。プライバシー保護及び通信速度の観点からは、二値画像を用いることが望ましく、この場合、撮影した画像に人物が含まれているか否かを画像処理部72の画像解析機能を用いて検査し、撮影した画像に人物が含まれていると判断されるとユーザ指示によらず自動的に画像変換処理を行うようにプログラムすることも可能である。
【0081】
その後、制御部70は、共有モード解除の入力イベントが生成されるか否かを確認する(ステップ380)。共有モード解除の入力イベント発生がない場合、ステップS330の前に分岐し、以降のステップを繰り返して行うように制御する。
また、共有モード解除の入力イベントが発生した場合、制御部70は、外部のウェアラブルデバイスへの画像データ送信を停止してステップS320の前に分岐し、以降のステップを繰り返して行うように制御する。
【0082】
図8は、本発明の他の実施形態によるウェアラブルデバイスを用いた画像共有システムの制御方法を示すフローチャートである。
【0083】
図8及び
図6を参照すると、先ず、ユーザ1がウェアラブルデバイス(WD1)101を装着すると、電源が供給され、供給された電源を利用してウェアラブルデバイス(WD1)101の制御部70は起動を完了し、動作モードに応じた画像を画像投影部10に出力する。その後、制御部70は無線通信部82に外部ユーザからの呼出による入力イベントが受信されるか否かを確認する。例えば、ブルートゥース(登録商標)通信機能を作動させて、外部のウェアラブルデバイスからの探索を可能な状態に設定する。
【0084】
制御部70は、無線通信部82に対する外部のウェアラブルデバイス(WD2)102からの呼出による入力イベントが生成されると(ステップS410)、該当する呼出に応答するか否かを確認する(ステップS420)。
【0085】
ユーザ1が該当する呼出に応答しないよう指示した場合、制御部70は、無線通信部82が応答しないように制御して、ステップS420に戻り、以後のステップを繰り返す。
【0086】
一方、ステップS420でユーザ1が該当する呼出に応答することを許可した場合、制御部70は、無線通信部82を制御して、外部のウェアラブルデバイス(WD2)102との通信チャネルを確立し、外部のウェアラブルデバイス(WD2)102から送信された各種データを受信する。
【0087】
ウェアラブルデバイス(WD1)101の制御部70は、外部のウェアラブルデバイス(WD2)102から送信された各種データの内容を分析して、対応する処理を実行するように制御する(ステップS430)。
【0088】
受信した各種データの中に画像データが含まれる場合、制御部70は受信した画像データを画像投影部10に送出する。これと同時に、制御部70は受信した視距離に関するデータを画像投影部10に送出する(ステップS440)。
【0089】
画像投影部10は、受信した画像データ及び視距離に関するデータに基づき、ユーザ1の眼に、外部のウェアラブルデバイス(WD2)102を装着するユーザ2が視認する距離に対応する位置に虚像が表示されるよう画像光を投影する(ステップS450)。
【0090】
また、制御部70は、受信した各種データに音声データが含まれる場合、該当する音声データをオーディオ処理部83に送出する(ステップS460)。
【0091】
オーディオ処理部83は、音声データをアナログ信号に変換してイヤホン40を通してユーザ1の耳に再生する(ステップS470)。
【0092】
その後、制御部70は、ユーザ1による特定の入力イベントが生成されるか否かを確認する。ウェアラブルデバイス(WD2)102との通信を終了するための入力イベント発生がない場合、ステップS430の前に分岐し、以降のステップを繰り返して行うように制御する。
また、通信終了を指示する入力イベントが発生した場合、制御部70は、無線通信部82による通信を停止してステップS420の前に分岐し、以降のステップを繰り返して行うように制御する。
【0093】
図9は、本発明の更に他の実施形態によるウェアラブルデバイスを用いた画像共有システムの制御方法を示すフローチャートである。
【0094】
図9及び
図6を参照すると、先ず、ユーザ1がウェアラブルデバイス(WD1)101を装着して、カメラ部20を作動させて外界像の撮影する(ステップS510)と、制御部70はユーザ1による特定の入力イベントが例えばタッチスイッチ50に対して生成されるか否かを確認する。
【0095】
制御部70は、入力イベントが生成されると、該当入力イベントが撮影画像を、外部サーバを介して転送するモードを選択するための入力イベントであるか否かを確認する(ステップS520)。ここで、撮影画像を、外部サーバを介して転送するモードとは、ユーザ1が撮影している画像データを短距離無線通信可能範囲外に存在するウェアラブルデバイス(WD4)104に対して転送するモードである。
【0096】
制御部70は、撮影画像を、外部サーバを介して転送するモードを選択するための入力イベント発生でない場合、ステップS520の前に戻り、以降の過程を繰り返して行うように制御する。
【0097】
一方、ステップS520で撮影画像を、外部サーバを介して転送するモードを選択する入力イベントが発生すると、制御部70はステップS530に進んで画像データにプライベートモードを適用するか否かを確認する。
【0098】
制御部70は、プライベートモードを適用しない場合、ステップS550に分岐し、撮影した画像データ及び視距離に関するデータを画像投影部10に送出する。
画像投影部10は、上記の画像データ及び視距離に関するデータに基づいて、ユーザ1の眼に視距離に対応する虚像を投影する(ステップS560)。これにより、ユーザ1の眼にはユーザ1の視認する画像がそのまま投影される。
【0099】
一方、ステップS530でプライベートモード適用を指示する入力イベントが発生すると、制御部70は、画像処理部72を制御して撮影した画像データをリアルタイムで画像変換(例えば、二値化処理)する(ステップS540)。
【0100】
そして、制御部70は、画像処理部72で処理した画像データ(二値画像データ)及び視距離に関するデータを画像投影部10に送出する(ステップS550)。したがって、ユーザ1の眼には二値画像が虚像として投影される(ステップS560)。
【0101】
また、制御部70は、画像投影部10に送出した画像データ及び視距離に関するデータを無線通信部82に送出する(ステップS555)。
【0102】
無線通信部82は、WiFi(登録商標)機能を利用して近隣のアクセスポイントAPに接続し、インターネット回線等の通信ネットワーク400を経由してウェアラブルデバイス(WD4)104及び外部データサーバ300との通信を確立する。
【0103】
次に、ウェアラブルデバイス(WD1)101は、画像データ及び視距離に関するデータを外部データサーバに送信する(ステップS570)。
外部データサーバ300は、ウェアラブルデバイス(WD1)101から送信されたデータを記憶部320に保存し、ウェアラブルデバイス(WD4)104が、サーバ300から上記保存されたデータをダウンロードすることにより、データの転送が完了する。
ここで、ウェアラブルデバイス(WD1)101、(WD4)104、及び外部データサーバ300は、それぞれMACアドレスを有し、TCP/IPプロトコルに基づいて通信する。
【0104】
また、ユーザ4が装着しているウェアラブルデバイス(WD4)104は、ユーザ1が装着しているウェアラブルデバイス(WD1)と同一の構成を有しているため、受信した画像データ及び視距離に関するデータに基づき、ウェアラブルデバイス(WD4)を装着したユーザ4の眼にはユーザ1が視認する画像がユーザ1と同じ視距離に虚像として投影される。したがって、ユーザ1とユーザ4は、仮想的に同じ外景像を共有することが可能になる。
【0105】
その後、制御部70は、外部データサーバを介して転送するモード解除の入力イベントが生成されるか否かを確認する(ステップS580)。外部データサーバを介して転送するモード解除のための入力イベント発生がない場合、ステップS530の前に分岐し、以降のステップを繰り返して行うように制御する。
一方、外部サーバを介して転送するモード解除の入力イベントが発生した場合、外部データサーバへの画像データ送信を停止してステップS520の前に分岐し、以降のステップを繰り返して行うように制御する。
【0106】
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。