(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-20
(45)【発行日】2025-01-28
(54)【発明の名称】情報処理装置、情報処理システムおよびプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20250121BHJP
G06F 3/0484 20220101ALI20250121BHJP
G02B 27/02 20060101ALI20250121BHJP
G09G 5/00 20060101ALI20250121BHJP
G09G 5/10 20060101ALI20250121BHJP
G09G 5/24 20060101ALI20250121BHJP
【FI】
G06F3/01 510
G06F3/0484
G02B27/02 Z
G09G5/00 530T
G09G5/00 550C
G09G5/10 B
G09G5/24 640
G09G5/00 510A
(21)【出願番号】P 2020214315
(22)【出願日】2020-12-23
【審査請求日】2023-11-20
(73)【特許権者】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【氏名又は名称】尾形 文雄
(72)【発明者】
【氏名】江崎 竜行
【審査官】相川 俊
(56)【参考文献】
【文献】特開2020-034646(JP,A)
【文献】米国特許出願公開第2019/0073109(US,A1)
【文献】特開2016-115965(JP,A)
【文献】特開2020-064652(JP,A)
【文献】特開2004-258123(JP,A)
【文献】特開2012-080376(JP,A)
【文献】米国特許出願公開第2019/0212566(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/0484
G02B 27/02
G09G 5/00
G09G 5/10
G09G 5/24
(57)【特許請求の範囲】
【請求項1】
ユーザの頭部に装着したときにユーザの視線方向に配される透光性部材と、
プロセッサと、
を備え、
前記プロセッサは、
自装置がユーザの頭部に装着されているときは、前記透光性部材のうち、仮想の画面を現実空間に重畳して表示する第1の領域に、当該透光性部材を通し、当該仮想の画面が現実空間と重畳して表示され、自装置がユーザの頭部に装着されていないときは、当該透光性部材のうち、当該仮想の画面の表示内容を表示するのに使用する第2の領域に、当該仮想の画面の表示内容を表示するように切り換える情報処理装置。
【請求項2】
自装置は、前記透光性部材として、2つのレンズを有するメガネ型のウェアラブル端末装置であり、少なくとも一方のレンズに前記表示内容を表示することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記透光性部材に前記表示内容を表示するときは、前記仮想の画面に対し、表示内容の濃度を変更することを特徴とする請求項2に記載の情報処理装置。
【請求項4】
自装置は、前記透光性部材としてレンズ、およびユーザの耳にかけるテンプルを有するメガネ型のウェアラブル端末装置であり、
前記プロセッサは、前記メガネ型のウェアラブル端末装置をユーザが掛けているか否かにより、自装置がユーザの頭部に装着されているか否かを検知することを特徴とする請求項1に記載の情報処理装置。
【請求項5】
前記プロセッサは、ユーザが自装置に触れているか否かにより、前記メガネ型のウェアラブル端末装置をユーザが掛けているか否かを検知することを特徴とする請求項4に記載の情報処理装置。
【請求項6】
前記プロセッサは、前記テンプルが畳まれたか否かにより、前記メガネ型のウェアラブル端末装置をユーザが掛けているか否かを検知することを特徴とする請求項4に記載の情報処理装置。
【請求項7】
ユーザの頭部に装着したときにユーザの視線方向に配される透光性部材としての2つのレンズと、
プロセッサと、
を備え、
前記プロセッサは、
自装置がユーザの頭部に装着されているときは、前記透光性部材を通し、仮想の画面が現実空間と重畳して表示され、自装置がユーザの頭部に装着されていないときは、前記透光性部材に当該仮想の画面の表示内容を表示するように切り換え、
2つのレンズのうち一方のレンズを、前記透光性部材を通し、前記仮想の画面を現実空間に重畳して表示するのに使用し、他方のレンズを前記表示内容を表示するのに使用する情報処理装置。
【請求項8】
ユーザの頭部に装着したときにユーザの視線方向に配される透光性部材としての2つのレンズと、
プロセッサと、
を備え、
前記プロセッサは、
自装置がユーザの頭部に装着されているときは、前記透光性部材を通し、仮想の画面が現実空間と重畳して表示され、自装置がユーザの頭部に装着されていないときは、前記透光性部材に当該仮想の画面の表示内容を表示するように切り換え、
2つのレンズのそれぞれに、前記表示内容を表裏の関係または上下逆の関係となるように表示する情報処理装置。
【請求項9】
前記透光性部材に前記表示内容を表示するときは、前記仮想の画面に対し、表示内容の濃度を変更することを特徴とする請求項7または8に記載の情報処理装置。
【請求項10】
ユーザの頭部に装着したときにユーザの視線方向に配される透光性部材としての2つのレンズと、
プロセッサと、
を備え、
前記プロセッサは、
自装置がユーザの頭部に装着されているときは、前記透光性部材を通し、仮想の画面が現実空間と重畳して表示され、自装置がユーザの頭部に装着されていないときは、前記透光性部材に当該仮想の画面の表示内容を表示するように切り換え、
2つのレンズのうち少なくとも一方のレンズは、前記仮想の画面を現実空間と重畳して表示する第1の領域と、前記透光性部材に前記表示内容を表示するのに使用する第2の領域とを有する情報処理装置。
【請求項11】
前記第1の領域と前記第2の領域とは、自装置の装着の際に、レンズ内で上下に分かれるように配されることを特徴とする請求項10に記載の情報処理装置。
【請求項12】
前記第1の領域は、前記第2の領域に対し、ユーザの装着の際に外側になる箇所に配されることを特徴とする請求項10に記載の情報処理装置。
【請求項13】
ユーザの頭部に装着したときにユーザの視線方向に配される透光性部材としてのレンズと、
ユーザの耳にかけるテンプルと、
プロセッサと、
を備えるメガネ型のウェアラブル端末装置であって、
前記プロセッサは、
前記テンプルが畳まれたか否かにより、前記メガネ型のウェアラブル端末装置をユーザが掛けているか否かを検知し、
前記メガネ型のウェアラブル端末装置をユーザが掛けているか否かにより、自装置がユーザの頭部に装着されているか否かを検知し、
自装置がユーザの頭部に装着されているときは、前記透光性部材を通し、仮想の画面が現実空間と重畳して表示され、自装置がユーザの頭部に装着されていないときは、前記テンプルが畳まれた側とは逆側に向けて前記レンズ上に当該仮想の画面の表示内容を表示するように切り換える情報処理装置。
【請求項14】
ユーザの頭部に装着したときにユーザの視線方向に配される透光性部材と、
自装置がユーザに装着されているか否かを検知する検知部と、
プロセッサと、
を備え、
前記プロセッサは、
自装置がユーザの頭部に装着されているときは、前記透光性部材のうち、仮想の画面を現実空間に重畳して表示する第1の領域に、当該透光性部材を通し、当該仮想の画面が現実空間と重畳して表示され、自装置がユーザの頭部に装着されていないときは、当該透光性部材のうち、当該仮想の画面の表示内容を表示するのに使用する第2の領域に、当該仮想の画面の表示内容を表示するように切り換える情報処理システム。
【請求項15】
コンピュータに、
自装置がユーザに装着されているか否かを表す検知結果を取得する取得機能と、
前記検知結果に基づき、自装置がユーザの頭部に装着されているときは、ユーザの頭部に装着したときにユーザの視線方向に配される透光性部材のうち、仮想の画面を現実空間に重畳して表示する第1の領域に、当該透光性部材を通し、当該仮想の画面が現実空間と重畳して表示され、自装置がユーザの頭部に装着されていないときは、当該透光性部材のうち、当該仮想の画面の表示内容を表示するのに使用する第2の領域に、当該仮想の画面の表示内容を表示するように切り換える切換機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理システム、プログラムに関する。
【背景技術】
【0002】
従来、現実空間に仮想の画面を重ねて表示し、視認することができるウェアラブル端末装置が存在する。このウェアラブル端末装置をメガネ型とした場合は、例えば、スマートグラスと呼ばれることがある。
【0003】
特許文献1には、表示機能を有するウェアラブル端末が記載されている。このウェアラブル端末の端末着脱検知部は、自端末のユーザの頭部への着脱を検知する。ユーザ認証部は、自端末を使用するユーザの認証を行う。画面表示制御部は、ユーザによる操作デバイスの操作に応じて動作する処理装置の画面を背景に重畳させて表示面に表示させる。画面表示制御部は、装着が検知され且つユーザが認証された場合にパソコン画面を表示させる。画面表示制御部は、自端末の取り外しの検知が行われた場合に、表示面に表される情報量を減少させる情報量減少処理を行う。その後、画面表示制御部は、自端末の装着の検知が行われてからユーザの認証処理が行われた場合に、情報量減少処理により減少させていた情報量を元に戻す情報量復旧処理を行う。
【0004】
特許文献2には、表示部と装着センサと姿勢センサとを具備するウェアラブル機器に接続可能な電子機器が記載されている。この電子機器は、表示画面向き制御部を具備する。表示画面向き制御部は、ユーザがウェアラブル機器を装着したことを装着センサが検出した時点から所定時間は、表示部の画面の向きを姿勢センサにより検出されるウェアラブル機器の姿勢に基づいて制御する。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2020-34646号公報
【文献】特開2019-117505号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ユーザは、ウェアラブル端末装置を装着しているときのみならず、装着していないときでも仮想の画面の情報を取得したい場合がある。つまり、ウェアラブル端末装置を装着していないときでも、仮想の画面の表示内容をユーザが視認できることが望まれる。
本発明は、装着しているときのみならず、装着していない場合でも仮想の画面の表示内容を視認することができる情報処理装置等を提供することを目的とする。
【課題を解決するための手段】
【0007】
請求項1に記載の発明は、ユーザの頭部に装着したときにユーザの視線方向に配される透光性部材と、プロセッサと、を備え、前記プロセッサは、自装置がユーザの頭部に装着されているときは、前記透光性部材のうち、仮想の画面を現実空間に重畳して表示する第1の領域に、当該透光性部材を通し、当該仮想の画面が現実空間と重畳して表示され、自装置がユーザの頭部に装着されていないときは、当該透光性部材のうち、当該仮想の画面の表示内容を表示するのに使用する第2の領域に、当該仮想の画面の表示内容を表示するように切り換える情報処理装置である。
請求項2に記載の発明は、自装置は、前記透光性部材として、2つのレンズを有するメガネ型のウェアラブル端末装置であり、少なくとも一方のレンズに前記表示内容を表示することを特徴とする請求項1に記載の情報処理装置である。
請求項3に記載の発明は、前記透光性部材に前記表示内容を表示するときは、前記仮想の画面に対し、表示内容の濃度を変更することを特徴とする請求項2に記載の情報処理装置である。
請求項4に記載の発明は、自装置は、前記透光性部材としてレンズ、およびユーザの耳にかけるテンプルを有するメガネ型のウェアラブル端末装置であり、前記プロセッサは、前記メガネ型のウェアラブル端末装置をユーザが掛けているか否かにより、自装置がユーザの頭部に装着されているか否かを検知することを特徴とする請求項1に記載の情報処理装置である。
請求項5に記載の発明は、前記プロセッサは、ユーザが自装置に触れているか否かにより、前記メガネ型のウェアラブル端末装置をユーザが掛けているか否かを検知することを特徴とする請求項4に記載の情報処理装置である。
請求項6に記載の発明は、前記プロセッサは、前記テンプルが畳まれたか否かにより、前記メガネ型のウェアラブル端末装置をユーザが掛けているか否かを検知することを特徴とする請求項4に記載の情報処理装置である。
請求項7に記載の発明は、ユーザの頭部に装着したときにユーザの視線方向に配される透光性部材としての2つのレンズと、プロセッサと、を備え、前記プロセッサは、自装置がユーザの頭部に装着されているときは、前記透光性部材を通し、仮想の画面が現実空間と重畳して表示され、自装置がユーザの頭部に装着されていないときは、前記透光性部材に当該仮想の画面の表示内容を表示するように切り換え、2つのレンズのうち一方のレンズを、前記透光性部材を通し、前記仮想の画面を現実空間に重畳して表示するのに使用し、他方のレンズを前記表示内容を表示するのに使用する情報処理装置である。
請求項8に記載の発明は、ユーザの頭部に装着したときにユーザの視線方向に配される透光性部材としての2つのレンズと、プロセッサと、を備え、前記プロセッサは、自装置がユーザの頭部に装着されているときは、前記透光性部材を通し、仮想の画面が現実空間と重畳して表示され、自装置がユーザの頭部に装着されていないときは、前記透光性部材に当該仮想の画面の表示内容を表示するように切り換え、2つのレンズのそれぞれに、前記表示内容を表裏の関係または上下逆の関係となるように表示する情報処理装置である。
請求項9に記載の発明は、前記透光性部材に前記表示内容を表示するときは、前記仮想の画面に対し、表示内容の濃度を変更することを特徴とする請求項7または8に記載の情報処理装置である。
請求項10に記載の発明は、ユーザの頭部に装着したときにユーザの視線方向に配される透光性部材としての2つのレンズと、プロセッサと、を備え、前記プロセッサは、自装置がユーザの頭部に装着されているときは、前記透光性部材を通し、仮想の画面が現実空間と重畳して表示され、自装置がユーザの頭部に装着されていないときは、前記透光性部材に当該仮想の画面の表示内容を表示するように切り換え、2つのレンズのうち少なくとも一方のレンズは、前記仮想の画面を現実空間と重畳して表示する第1の領域と、前記透光性部材に前記表示内容を表示するのに使用する第2の領域とを有する情報処理装置である。
請求項11に記載の発明は、前記第1の領域と前記第2の領域とは、自装置の装着の際に、レンズ内で上下に分かれるように配されることを特徴とする請求項10に記載の情報処理装置である。
請求項12に記載の発明は、前記第1の領域は、前記第2の領域に対し、ユーザの装着の際に外側になる箇所に配されることを特徴とする請求項10に記載の情報処理装置である。
請求項13に記載の発明は、ユーザの頭部に装着したときにユーザの視線方向に配される透光性部材としてのレンズと、ユーザの耳にかけるテンプルと、プロセッサと、を備えるメガネ型のウェアラブル端末装置であって、前記プロセッサは、前記テンプルが畳まれたか否かにより、前記メガネ型のウェアラブル端末装置をユーザが掛けているか否かを検知し、前記メガネ型のウェアラブル端末装置をユーザが掛けているか否かにより、自装置がユーザの頭部に装着されているか否かを検知し、自装置がユーザの頭部に装着されているときは、前記透光性部材を通し、仮想の画面が現実空間と重畳して表示され、自装置がユーザの頭部に装着されていないときは、前記テンプルが畳まれた側とは逆側に向けて前記レンズ上に当該仮想の画面の表示内容を表示するように切り換える情報処理装置である。
請求項14に記載の発明は、ユーザの頭部に装着したときにユーザの視線方向に配される透光性部材と、自装置がユーザに装着されているか否かを検知する検知部と、プロセッサと、を備え、前記プロセッサは、自装置がユーザの頭部に装着されているときは、前記透光性部材のうち、仮想の画面を現実空間に重畳して表示する第1の領域に、当該透光性部材を通し、当該仮想の画面が現実空間と重畳して表示され、自装置がユーザの頭部に装着されていないときは、当該透光性部材のうち、当該仮想の画面の表示内容を表示するのに使用する第2の領域に、当該仮想の画面の表示内容を表示するように切り換える情報処理システムである。
請求項15に記載の発明は、コンピュータに、自装置がユーザに装着されているか否かを表す検知結果を取得する取得機能と、前記検知結果に基づき、自装置がユーザの頭部に装着されているときは、ユーザの頭部に装着したときにユーザの視線方向に配される透光性部材のうち、仮想の画面を現実空間に重畳して表示する第1の領域に、当該透光性部材を通し、当該仮想の画面が現実空間と重畳して表示され、自装置がユーザの頭部に装着されていないときは、当該透光性部材のうち、当該仮想の画面の表示内容を表示するのに使用する第2の領域に、当該仮想の画面の表示内容を表示するように切り換える切換機能と、を実現させるためのプログラムである。
【発明の効果】
【0008】
請求項1の発明によれば、装着しているときのみならず、装着していない場合でも仮想の画面の表示内容を視認することができる情報処理装置を提供できる。
請求項2の発明によれば、2つのレンズで表示態様の使い分けができる。
請求項3の発明によれば、ユーザが表示内容を視認しやすくなる。
請求項4の発明によれば、自装置を装着しているか否かを検知するのがより容易になる。
請求項5の発明によれば、自装置を装着していないときにユーザから自装置が離れたことを検知することができる。
請求項6の発明によれば、自装置を装着していないときにメガネ型の自装置に対し行うユーザの動作を検知することができる。
請求項7の発明によれば、装着しているときのみならず、装着していない場合でも仮想の画面の表示内容を視認することができる情報処理装置を提供でき、2つのレンズで表示態様の使い分けができ、自装置の構造を簡素にすることができる。
請求項8の発明によれば、装着しているときのみならず、装着していない場合でも仮想の画面の表示内容を視認することができる情報処理装置を提供でき、2つのレンズで表示態様の使い分けができ、自装置を置いた向きによらず、表示内容を読み取りやすくなる。
請求項9の発明によれば、ユーザが表示内容を視認しやすくなる。
請求項10の発明によれば、装着しているときのみならず、装着していない場合でも仮想の画面の表示内容を視認することができる情報処理装置を提供でき、2つのレンズで表示態様の使い分けができ、1つのレンズ内で、表示態様を切り換えることができる。
請求項11の発明によれば、2つのレンズにそれぞれ別々の表示内容を表示できる。
請求項12の発明によれば、仮想の画面を表示するのに適した位置に第1の領域を配することができる。
請求項13の発明によれば、装着しているときのみならず、装着していない場合でも仮想の画面の表示内容を視認することができる情報処理装置を提供でき、自装置を装着しているか否かを検知するのがより容易になり、自装置を装着していないときにメガネ型の自装置に対し行うユーザの動作を検知することができ、ユーザが表示内容を視認しやすくなる。
請求項14の発明によれば、装着しているときのみならず、装着していない場合でも仮想の画面の表示内容を視認することができる情報処理システムを提供できる。
請求項15の発明によれば、装着しているときのみならず、装着していない場合でも仮想の画面の表示内容を視認することができる機能をコンピュータにより実現できる。
【図面の簡単な説明】
【0009】
【
図1】本実施の形態が適用されるスマートグラスの構成について示した図である。
【
図2】スマートグラスの動作について説明したフローチャートである。
【
図3】表示例1の画面を表示するスマートグラスの光学系について示した図である。
【
図4】(a)~(b)は、表示例1について示した図である。
【
図5】表示例2の画面を表示するスマートグラスの光学系について示した図である。
【
図6】(a)~(b)は、表示例2について示した図である。
【
図7】(a)~(b)は、表示例3について示した図である。
【
図8】(a)~(b)は、表示例4について示した図である。
【
図9】(a)~(b)は、表示例5について示した図である。
【
図10】(a)~(d)は、ユーザがスマートグラスを置いたときの状態を示した図である。
【
図11】本実施の形態が適用される情報処理システムを示した図である。
【発明を実施するための形態】
【0010】
<スマートグラス10の構成>
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図1は、本実施の形態が適用されるスマートグラス10の構成について示した図である。
スマートグラス10は、情報処理装置の一例であり、いわゆるメガネ型のウェアラブル端末装置である。ここで、「ウェアラブル」とは、ユーザが装着できることを意味する。よって、メガネ型のウェアラブル端末装置は、メガネの形をし、実際にユーザが装着できるコンピュータ装置である。スマートグラス10は、メガネ型であるため、レンズ部104、ブリッジ105、およびテンプル106を備える。なお、「レンズ」はメガネ型のウェアラブル端末装置におけるレンズ部104の部品としての名称であり、球面でないものも含む。
スマートグラス10は、仮想の画面を現実空間と重畳して表示する。つまり、ユーザは、スマートグラス10により仮想の画面を視認できるとともに、スマートグラス10のレンズ部104を通し、現実空間を視認することができる。
【0011】
仮想の画面の表示内容としては、例えば、歩数、消費カロリー、移動距離などでの運動データ、ユーザの心拍数、血圧などの健康データ、メールの着信やメッセージなどの通知データ、周辺の地図やガイドなどの案内データ等が挙げられる。
なお、ここでは、いわゆるメガネ型の装置としてスマートグラス10を示したが、ユーザの頭部に装着し、ユーザに対し仮想の画面を表示する装置であれば、その形状、形式などは、特に限られるものではない。また、スマートグラス10としては、周辺の環境を認識する機能がある、いわゆるARグラスであってもよい。この場合、ARグラスは、現実空間にある壁や床などをカメラやセンサで認識する。そして、ユーザに対し、仮想の画面を現実空間に合わせ重畳して表示し、ARを表示する。ここで、「AR」とは、「Augmented Reality:拡張現実」のことである。また、「仮想の画面」は、コンピュータにより作成され、現実空間には存在しない画像の表示のことである、そして、「現実空間」とは、実際に存在する空間のことである。
【0012】
図2は、スマートグラス10の動作について説明したフローチャートである。
まず、ユーザが、スマートグラス10の電源をONにする(ステップ101)。これにより、スマートグラス10の各機構部を起動させる。
次に、スマートグラス10は、自装置で表示すべき情報があるか否かを判断する(ステップ102)。これは、例えば、スマートグラス10が、情報を取得するクラウドサーバやスマートフォン等の機器にポーリングを行うことで、判断する。また、スマートグラス10が、これらの機器からのプッシュ通知の有無により、情報があるか否かを判断してもよい。
その結果、表示すべき情報がない場合(ステップ102でNo)、ステップ102に戻る。
【0013】
対して、表示すべき情報がある場合(ステップ102でYes)、スマートグラス10は、その情報を取得する(ステップ103)。
そして、スマートグラス10は、ユーザが自装置を装着しているか否かを判断する(ステップ104)。
その結果、ユーザが自装置を装着している場合(ステップ104でYes)、スマートグラス10は、ユーザに対し、仮想の画面を表示する(ステップ105)。これにより、スマートグラス10を装着しているユーザは、スマートグラス10で表示される仮想の画面を視認できる。
対して、ユーザが自装置を装着していない場合(ステップ104でNo)、スマートグラス10は、仮想の画面の表示内容を、レンズ部104に表示する(ステップ106)。これにより、スマートグラス10を装着していないユーザは、スマートグラス10のレンズ部104に表示される仮想の画面の表示内容を視認できる。
【0014】
本実施の形態のスマートグラス10は、自装置がユーザの頭部に装着されているときは、レンズ部104を通し、仮想の画面が現実空間と重畳して表示され、自装置がユーザの頭部に装着されていないときは、レンズ部104に仮想の画面の表示内容を表示するように切り換える。
以下、この構成について詳述する。
【0015】
<表示例>
図2のステップ105で、ユーザに対し、仮想の画面を表示する場合、および、
図2のステップ106で、仮想の画面の表示内容を、レンズ部104に表示する場合の表示例について説明する。
【0016】
<表示例1>
図3は、表示例1の画面を表示するスマートグラス10の光学系について示した図である。
なお、
図3では、
図1のIII方向から見た時のスマートグラス10について図示している。
図3では、ユーザが、スマートグラス10を装着したときに、左側となる部材の符号には、「L」を付し、右側となる部材の符号には、「R」を付している。
仮想の画面の表示を実現するスマートグラス10としては、虚像投影方式、網膜投影方式など種々の方式があるが、何れの方式でもよい。スマートグラス10は、例えば、以下の構成を有する。このスマートグラス10は、網膜投影方式である。
【0017】
スマートグラス10は、レーザ光源101Lと、光ファイバ102Lと、ミラー103Lと、レンズ部104L、104Rと、ブリッジ105と、テンプル106L、106Rと、通信モジュール107と、グラスモードモジュール108とを備えている。
【0018】
レーザ光源101Lは、仮想の画面を作成するための光源である。レーザ光源101Lは、Red(赤色)、Green(緑色)、Blue(青色)の3色のレーザを使い、高速で切り代えることにより、フルカラーの仮想の画面を作成することができる。
【0019】
光ファイバ102Lは、テンプル106Lの内部に設けられ、レーザ光源101から出射したレーザ光Laをミラー103Lに導く。光ファイバ102Lは、ガラス製、プラスチック製の何れであってもよい。
【0020】
ミラー103Lは、レーザ光Laの進行方向をほぼ直角になる角度に反射させ、レンズ部104Lに導く。このミラー103Lは、上下左右に揺動可能となっており、これにより、レンズ部104Lに入射する角度も変化する。そしてこれにより、ユーザの網膜MLに到達する位置も上下左右に変化する。その結果、二次元的な画像を仮想の画面としてユーザに視認させることができる。
【0021】
レンズ部104L、104Rは、2つのレンズの一例であるとともに、ユーザの頭部に装着したときにユーザの視線方向に配される透光性部材の一例である。ここで、「透光性部材」とは、可視光を通す部材である。なお、透光性部材は、可視光の全てを通す必要はない。即ち、透光性部材は、可視光領域の一部の波長を通す、いわゆるフィルタとしての機能を有していてもよい。レンズ部104L、104Rは、内部に、導光部114Lと、反射部124Lとを有する。導光部114L、は、それぞれ、ミラー103Lにより角度が変更されたレーザ光Laを全反射させることで、ブリッジ105方向に導く。反射部124Lは、導光部114Lにより導かれたレーザ光Laを、ほぼ直角方向に反射させ、ユーザの左目の網膜MLの方向にレーザ光Laの進行方向を変更する。
また、レンズ部104L、104Rは、透光性部材であるので、ユーザは、レンズ部104L、104Rを通して、現実空間を視認することができる。これにより、ユーザは、仮想の画面を現実空間と重畳して視認することができる。
なお、ここでは、スマートグラス10がメガネ型であるため、便宜上、「レンズ部」という表現を使用したが、実際にレンズとしての機能を備える必要はない。即ち、レンズ部104L、104Rは、光を屈折させる光学的機能を備える必要はない。
【0022】
また、レンズ部104Rは、表示部134Rを備える。表示部134Rは、透過ディスプレイとなっており、表示を行わないときは、背後が透けて見える。つまり、表示部134Rが、表示を行わないときは、ユーザは、レンズ部104Rを通し、現実空間を見ることができる。透過ディスプレイとしては、透過型有機EL(Electroluminescence)ディスプレイ、透過型無機ELディスプレイ、透型液晶ディスプレイなど種々の方式があるが、特に限られるものではない。透過型有機ELディスプレイや透過型無機ELディスプレイの場合、表示部134Rに配された発光素子により表示内容を表示する。
【0023】
ブリッジ105は、ユーザの鼻にかかることで、スマートグラス10を支持し、ユーザの頭部にスマートグラス10を装着するための部材である。
また、テンプル106L、106Rは、ユーザの耳にかけることで、スマートグラス10を支持し、ユーザの頭部にスマートグラス10を装着するための部材である。
【0024】
通信モジュール107は、外部との通信を行うための通信インタフェースである。
グラスモードモジュール108は、仮想の画面を表示する際に、レーザ光源101Lやミラー103Lの動作についての制御を行う。また、表示部134Rで、仮想の画面の表示内容を表示する際に、表示部134Rの制御を行う。グラスモードモジュール108は、CPU、内部メモリ、外部メモリを使用し、これらにより、レーザ光源101L、ミラー103Lおよび表示部134Rを制御する制御ソフトウェアを動作させることで実現することができる。ここで、CPUは、プロセッサの一例である。
【0025】
ユーザがスマートグラス10を装着するときは、上述したレーザ光源101Lからレーザ光Laが出射され、仮想の画面をユーザに表示する。このとき、134Rでは、表示を行わない。対して、ユーザがスマートグラス10を装着していないときは、表示部134Rで仮想の画面の表示内容を表示する。このとき、レーザ光源101Lからは、レーザ光Laが出射されず、仮想の画面を表示することはしない。
スマートグラス10では、一方のレンズ部104L、104Rに仮想の画面の表示内容を表示する。ここでは、2つのレンズ部104L、104Rのうち一方のレンズ部104Lを、レンズ部104Lを通し、仮想の画面を現実空間に重畳して表示するのに使用する。また、他方のレンズ部104Rを仮想の画面の表示内容を表示するのに使用する。
【0026】
図4(a)~(b)は、表示例1について示した図である。
このうち、
図4(a)は、ユーザがスマートグラス10を装着している際の視界の状態を示している。また、
図4(b)は、ユーザがスマートグラス10を装着していない際に、レンズ部104Rに表示される画面を示している。
ユーザがスマートグラス10を装着しているときは、
図4(a)に示すように、レンズ部104L、104Rを通し、現実空間Sを視認することができる。そしてさらに、現実空間Sに重畳して、仮想の画面が表示される。ここでは、仮想の画面として、メッセージMe1、Me2が表示されている状態を示している。この場合、2つのレンズ部104L、104Rのうち、レンズ部104Lは、仮想の画面を現実空間Sに重畳して表示する第1の領域R1であり、レンズ部104Rは、仮想の画面の表示内容を表示するのに使用する第2の領域R2であると考えることもできる。
【0027】
そして、ユーザがスマートグラス10を装着していないときは、
図4(b)に示すように、レンズ部104Rに仮想の画面の内容と同一の表示内容を表示する。実際には、レンズ部104Rの表示部134Rが、この画面を表示する。ここでは、
図4(a)と同じように、メッセージMe1、Me2がレンズ部104Rに表示されている状態を示している。
ただし、
図4(b)で表示するメッセージMe1、Me2は、
図4(a)で表示する仮想の画面のメッセージMe1、Me2に対し、濃度を変更するようにしてもよい。濃度は、例えば、仮想の画面のメッセージMe1、Me2に対し濃くするようにする。これにより、
図4(a)のように、仮想の画面を表示するときは、メッセージMe1、Me2の濃度を薄くし、ユーザが現実空間Sを視認するのに、メッセージMe1、Me2が妨げにならないようにする。これは、メッセージMe1、Me2の透明度を上げ、メッセージMe1、Me2を通し、現実空間Sを視認することができるようにする、と言うこともできる。
対して、
図4(b)のように、レンズ部104Rに仮想の画面の内容を表示するときは、ユーザが現実空間Sを視認する必要はないので、メッセージMe1、Me2の濃度を濃くし、メッセージMe1、Me2の視認性を向上させる。これは、メッセージMe1、Me2の透明度を下げ、メッセージMe1、Me2をより視認しやすくする、と言うこともできる。
【0028】
また、
図4(b)で表示するメッセージMe1、Me2は、
図4(a)で表示する仮想の画面のメッセージMe1、Me2に対し、拡大するようにしてもよい。これにより、
図4(a)のように、仮想の画面を表示するときは、メッセージMe1、Me2を小さく表示し、ユーザが現実空間Sを視認するのに、メッセージMe1、Me2が妨げにならないようにする。対して、
図4(b)のように、レンズ部104Rに仮想の画面の内容を表示するときは、ユーザが現実空間Sを視認する必要はないので、メッセージMe1、Me2を大きく表示し、メッセージMe1、Me2の視認性を向上させる。
さらに、レンズ部104Rに仮想の画面の内容と同一の表示内容を表示する場合でも、レイアウトの変更などを行うようにしてもよい。具体的には 、仮想の画面とレンズ部104に表示されるものとで、メッセージの形状や縦横比、メッセージにおける文字やアイコンの相対的なサイズなどが異なっていてもよい。
【0029】
<表示例2>
図5は、表示例2の画面を表示するスマートグラス10の光学系について示した図である。なお、後述する表示例3以降の表示例は、
図5と同じ光学系を有する。
図5に示したスマートグラス10の光学系は、
図3に示した光学系と比較して、左右のレンズ部104L、104Rの双方を使用して、仮想の画面を表示する。また、表示部134L、134Rの双方を使用して、仮想の画面の内容と同一の表示内容を表示することができる。
そのため、光源であるレーザ光源は、レーザ光源101L、101Rの左右2系統となる。同様に、光ファイバ、ミラーおよび表示部も、それぞれ光ファイバ102L、102R、ミラー103L、103R、表示部134L、134Rの左右2系統となる。これにより、レーザ光Laは、ユーザの両眼の網膜ML、MRに到達する。また、表示部134L、134Rの双方で、仮想の画面の内容と同一の表示内容を表示する。これらの各機能は、
図3で説明した場合と同様である。
【0030】
図6(a)~(b)は、表示例2について示した図である。
図6(a)は、ユーザがスマートグラス10を装着している際の視界の状態を示している。また、
図6(b)は、ユーザがスマートグラス10を装着していない際に、レンズ部104L、104Rに表示される画面を示している。
【0031】
ユーザがスマートグラス10を装着しているときは、
図6(a)に示すように、レンズ部104L、104Rを通し、現実空間Sを視認することができる。そしてさらに、現実空間Sに重畳して、仮想の画面が表示される。ここでは、仮想の画面として、メッセージMe1、Me2が表示されている状態を示している。これは、
図4(a)の場合と同様である。
【0032】
そして、ユーザがスマートグラス10を装着していないときは、
図6(b)に示すように、レンズ部104L、104Rに仮想の画面の内容と同一の表示内容を表示する。実際には、レンズ部104Lの表示部134R、およびレンズ部104Rの表示部134Rが、この画面を表示する。
ただしここでは、メッセージMe1が、レンズ部104Lに表示され、メッセージMe2が、レンズ部104Rに表示される。即ち、左右のレンズ部104L、104Rを使い分け、別々の表示内容である、メッセージMe1およびメッセージMe2を表示する。
【0033】
また、2つのレンズ部104L、104Rは、仮想の画面を現実空間Sに重畳して表示する第1の領域R1と、レンズ部104L、104Rに仮想の画面の表示内容を表示するのに使用する第2の領域R2とを有する。つまり、第1の領域R1は、表示部134L、134Rは設けられず、仮想の画面をユーザに視認させるための領域である。また、第2の領域R2は、表示部134L、134Rが設けられ、仮想の画面の表示内容を表示する。第1の領域R1と第2の領域R2とを重複させて設けることは、レンズ部104L、104Rの製造をするのが困難であるので、レンズ部104L、104R上で、これらの領域を分けて設けることが好ましい。
【0034】
図6の場合、第1の領域R1と第2の領域R2とは、自装置の装着の際に、レンズ部104L、104R内で上下に分かれるように配される。この場合、第1の領域R1と第2の領域R2とは、自装置の装着の際に、上方向から下方向に向け、第1の領域R1→第2の領域R2→第1の領域R1となるように、3分割になるように設けられる。なお分割数は、これに限られるものではなく、例えば、2分割として、一方を第1の領域R1として、他方を第2の領域R2としてもよい。
【0035】
<表示例3>
図7(a)~(b)は、表示例3について示した図である。
図7(a)は、ユーザがスマートグラス10を装着している際の視界の状態を示している。また、
図7(b)は、ユーザがスマートグラス10を装着していない際に、レンズ部104L、104Rに表示される画面を示している。
【0036】
ユーザがスマートグラス10を装着している
図7(a)の場合については、
図6(a)と同様である。
ユーザがスマートグラス10を装着していないときは、
図7(b)に示すように、レンズ部104L、104Rに仮想の画面の内容と同一の表示内容を表示する。そしてここでは、
図6(b)と同様に、メッセージMe1、Me2が、レンズ部104L、104Rの双方に表示され、2つのレンズ部104L、104Rは、第1の領域R1と、第2の領域R2とを有する。
ただし、
図7(b)の場合、第1の領域R1は、第2の領域R2に対し、ユーザの装着の際に外側になる箇所に配される。この場合、第1の領域R1と第2の領域R2とは、ブリッジ105からテンプル106L、106Rの方向に向け、第2の領域R2→第1の領域R1となるように、2分割になるように設けられる。第1の領域R1を第2の領域R2に対し、外側であるテンプル106L、106R側とすることで、第2の領域R2を通過することなく、第1の領域R1にレーザ光Laを照射することができる。
【0037】
<表示例4>
図8(a)~(b)は、表示例4について示した図である。
図8(a)は、ユーザがスマートグラス10を装着している際の視界の状態を示している。また、
図8(b)は、ユーザがスマートグラス10を装着していない際に、レンズ部104L、104Rに表示される画面を示している。
【0038】
ユーザがスマートグラス10を装着している
図8(a)の場合については、
図6(a)と同様である。
ユーザがスマートグラス10を装着していないときは、
図8(b)に示すように、レンズ部104L、104Rに仮想の画面の内容と同一の表示内容を表示する。そしてここでは、メッセージMe1、Me2が、レンズ部104L、104Rの双方に表示される。
ただしここでは、2つのレンズ部104L、104Rのそれぞれに、メッセージMe1、Me2を表裏の関係となるように表示する。これにより、ユーザが、レンズ部104L、104Rの2つの面の何れから見た場合でも、2つのレンズ部104L、104Rの何れが一方にはメッセージMe1、Me2を正常な向きで表示され、裏返しには表示されない。これにより、ユーザは、メッセージMe1、Me2を正常な向きで視認できる。
【0039】
<表示例5>
図9(a)~(b)は、表示例5について示した図である。
図9(a)は、ユーザがスマートグラス10を装着している際の視界の状態を示している。また、
図9(b)は、ユーザがスマートグラス10を装着していない際に、レンズ部104L、104Rに表示される画面を示している。
【0040】
ユーザがスマートグラス10を装着している
図9(a)の場合については、
図6(a)と同様である。
ユーザがスマートグラス10を装着していないときは、
図9(b)に示すように、レンズ部104L、104Rに仮想の画面の内容と同一の表示内容を表示する。そしてここでは、メッセージMe1、Me2が、レンズ部104L、104Rの双方に表示される。
ただしここでは、2つのレンズ部104L、104Rのそれぞれに、メッセージMe1、Me2を上下逆の関係となるように表示する。
【0041】
図10(a)~(d)は、ユーザがスマートグラス10を置いたときの状態を示した図である。この場合、
図5のX方向からスマートグラス10を見た場合を示している。
ユーザが、スマートグラス10を置いたとき、その向きは、
図10(a)のように、自装置を装着する向きで置くときと、
図10(b)のように、装着する状態に対し上下逆向きに置くときの2通りが考えられる。そして、何れの置き方をしたときでも、2つのレンズ部104L、104Rの何れか一方にはメッセージMe1、Me2を正常な向きで表示され、上下逆には表示されない。これにより、ユーザは、メッセージMe1、Me2を正常な向きで視認できる。
また、ユーザが、スマートグラス10を置いたとき、
図10(c)~(d)のように、テンプル106L、106Rを折り畳んで置くことある。このとき
図10(d)のように、テンプル106L、106Rが畳まれた側に向けて、レンズ部104L、104R上に表示内容を表示すると、ユーザは、テンプル106L、106Rが畳まれた側からは、これを視認しにくい。よって、テンプル106L、106Rが畳まれた側とは逆側に向けてレンズ部104L、104R上に表示内容を表示することが好ましい。
【0042】
<自装置の装着の判断の説明>
次に、
図2のステップ104で、グラスモードモジュール108が、ユーザが自装置であるスマートグラス10を装着しているか否かを判断する方法について説明する。
この場合、グラスモードモジュール108が、スマートグラス10をユーザが掛けているか否かにより、自装置がユーザの頭部に装着されているか否かを検知する。具体的には、グラスモードモジュール108は、以下の方法で検知を行う。
【0043】
(移動の検知)
グラスモードモジュール108は、自装置が移動しているか否かにより、スマートグラス10をユーザが掛けているか否かを検知する。そして、移動している場合、グラスモードモジュール108は、スマートグラス10をユーザが掛けていると判断する。一方、移動していない場合、グラスモードモジュール108は、スマートグラス10をユーザが掛けていないと判断する。
実際には、スマートグラス10に、例えば、加速度センサを設け、この加速度センサの検知結果により、自装置が移動しているか否かを判断することができる。即ち、加速度センサが加速度を検知している場合、グラスモードモジュール108は、自装置が移動していると判断する。対して、加速度センサが加速度を検知せず、一定時間の間、加速度が0である場合、グラスモードモジュール108は、自装置が移動していないと判断する。
【0044】
(接触の検知)
グラスモードモジュール108は、ユーザが自装置に触れているか否かにより、スマートグラス10をユーザが掛けているか否かを検知する。そして、ユーザが自装置に触れている場合、グラスモードモジュール108は、スマートグラス10をユーザが掛けていると判断する。一方、触れていない場合、グラスモードモジュール108は、スマートグラス10をユーザが掛けていないと判断する。
実際には、スマートグラス10に、例えば、接触センサを設け、この接触センサの検知結果により、ユーザが自装置に触れているか否かを判断することができる。接触センサとしては、例えば、静電容量センサを用いることができる。静電容量センサは、ユーザが接近することで生じる誘電率の変化を静電容量の変化として捉えるセンサである。また、接触センサとしては、例えば、温度センサを用いることができる。温度センサにより、温度を検知し、この温度が、ユーザの体温に近いときは、ユーザが自装置に触れており、ユーザの体温との差が大きいときは、ユーザが自装置に触れていないと判断できる。
【0045】
(テンプルの位置の検知)
グラスモードモジュール108は、テンプル106L、106Rが畳まれたか否かにより、スマートグラス10をユーザが掛けているか否かを検知する。そして、テンプル106L、106Rが畳まれていない場合、グラスモードモジュール108は、スマートグラス10をユーザが掛けていると判断する。一方、畳まれている場合、グラスモードモジュール108は、スマートグラス10をユーザが掛けていないと判断する。
実際には、スマートグラス10に、例えば、テンプル106L、106Rが畳まれたか否かによりON/OFFするスイッチを設け、このスイッチのON/OFFにより、スマートグラス10をユーザが掛けているか否かを検知することができる。
【0046】
上述した加速度センサ、接触センサ、スイッチは、自装置がユーザに装着されているか否かを検知する検知部として機能する。
【0047】
以上説明したスマートグラス10によれば、装着しているときのみならず、装着していない場合でも仮想の画面の表示内容を視認することができるウェアラブル端末装置を提供することができる。
【0048】
なお、以上説明したスマートグラス10は、仮想の画面の作成や表示を自装置で行っていたが、これに限られるものではない。
図11は、本実施の形態が適用される情報処理システム1を示した図である。
図示する情報処理システム1は、スマートグラス10と端末装置20とを備える。
端末装置20は、例えば、携帯電話、スマートフォン、タブレット等のコンピュータ装置である。そして、端末装置20は、OS(Operating System)による管理下において、各種ソフトウェアを動作させることで、スマートグラス10で表示する仮想の画面の作成を行う。
【0049】
端末装置20は、演算手段であるCPU(Central Processing Unit)と、記憶手段であるメインメモリ、およびHDD(Hard Disk Drive)やSSD(Solid State Drive)等のストレージを備える。ここで、CPUは、OS(基本ソフトウェア)やアプリケーションソフトウェア(応用ソフトウェア)等の各種ソフトウェアを実行する。また、メインメモリは、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、ストレージは、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
さらに、端末装置20は、外部との通信を行うための通信インタフェース(以下、「通信I/F」と表記する)と、ビデオメモリやディスプレイ等からなる表示デバイスと、キーボード、マウス、タッチパネル等の入力デバイスとを備える。
【0050】
本実施の形態の情報処理システム1では、スマートグラス10と端末装置20とは、ペアリングする。ペアリングは、例えば、ブルートゥース(Bluetooth)(登録商標)等の無線接続により行われる。ただし、これに限られるものではなく、無線LAN(Local Area Network)、インターネットなどを介して接続されていてもよい。さらに、無線接続に限られるものではなく、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)、DisplayPort、USB(Universal Serial Bus)、IEEE1394、RS-232C等を介して有線接続されていてもよい。
【0051】
本実施の形態では、スマートグラス10で表示する仮想の画面を端末装置20で作成し、ブルートゥース等の通信手段により、スマートグラス10に送信する。そして、スマートグラス10では、端末装置20で作成した仮想の画面を表示する。また、スマートグラス10で検知した、自装置の装着により、仮想の画面をレーザ光源101L、101Rを使用して表示するか、この表示内容を表示部134L、134Rで表示するかの制御を行ってもよい。
【0052】
<プログラムの説明>
ここで以上説明を行った本実施の形態におけるスマートグラス10が行う処理は、例えば、制御ソフトウェア等のプログラムにより行われる。
【0053】
よって本実施の形態でスマートグラス10が行う処理を実現するプログラムは、コンピュータに、自装置がユーザに装着されているか否かを表す検知結果を取得する取得機能と、検知結果に基づき、自装置がユーザの頭部に装着されているときは、ユーザの頭部に装着したときにユーザの視線方向に配されるレンズ部104L、104Rを通し、仮想の画面が現実空間Sと重畳して表示され、自装置がユーザの頭部に装着されていないときは、レンズ部104L、104Rに仮想の画面の表示内容を表示するように切り換える切換機能と、を実現させるためのプログラムとして捉えることができる。
【0054】
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、CD-ROM等の記録媒体に格納して提供することも可能である。
【0055】
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【符号の説明】
【0056】
1…情報処理システム、10…スマートグラス、101L、101R…レーザ光源、102L、102R…光ファイバ、103L、103R…ミラー、104、104L、104R…レンズ部、106L、106R…テンプル、108…グラスモードモジュール、134L、134R…表示部、R1…第1の領域、R2…第2の領域、S…現実空間