(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-04-04
(45)【発行日】2025-04-14
(54)【発明の名称】ウェアラブル装置
(51)【国際特許分類】
G09G 5/00 20060101AFI20250407BHJP
G09G 5/37 20060101ALI20250407BHJP
G06F 3/01 20060101ALI20250407BHJP
H04N 23/40 20230101ALI20250407BHJP
H04N 23/63 20230101ALI20250407BHJP
【FI】
G09G5/00 550C
G09G5/00 550B
G09G5/37 110
G06F3/01 510
H04N23/40 100
H04N23/63
(21)【出願番号】P 2023569168
(86)(22)【出願日】2022-11-16
(86)【国際出願番号】 JP2022042541
(87)【国際公開番号】W WO2023119966
(87)【国際公開日】2023-06-29
【審査請求日】2024-06-17
(31)【優先権主張番号】P 2021210412
(32)【優先日】2021-12-24
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】392026693
【氏名又は名称】株式会社NTTドコモ
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】水越 勇一
(72)【発明者】
【氏名】松嶌 信貴
【審査官】武田 悟
(56)【参考文献】
【文献】特開2015-087523(JP,A)
【文献】特開2020-137000(JP,A)
【文献】特開2005-223749(JP,A)
【文献】米国特許第8847850(US,B1)
(58)【調査した分野】(Int.Cl.,DB名)
G09G 5/00 - 5/42
G06F 3/01
H04N 23/40 , 23/63
(57)【特許請求の範囲】
【請求項1】
ユーザの頭部に装着される透過型の表示装置と、
前記ユーザの前方を撮像することによって得られる撮像画像を出力する撮像装置と、
物理量を検出するセンサと、
少なくとも前記センサの出力信号に基づいて定まる開始タイミングから終了タイミングまでの表示期間において、前記撮像画像の外縁を示すガイド画像を前記表示装置に表示させる制御装置と、
を備え、
前記物理量は、前記頭部の移動に関連し、
前記制御装置は、前記出力信号が示す前記物理量に基づいて、前記頭部の移動速度を算出し、前記移動速度が第1閾値を超える状態を第1状態とし、前記移動速度が前記第1閾値より小さい第2閾値よりも大きく、かつ、前記第1閾値以下である状態を第2状態とし、前記移動速度が前記第2閾値以下の状態を第3状態とし、前記第1状態から前記第2状態に移行したタイミングを前記開始タイミングとし、前記第2状態から前記第3状態に移行したタイミングを前記終了タイミングとする、
ウェアラブル装置。
【請求項2】
前記制御装置は、前記開始タイミングから前記終了タイミングまでの時間が第1時間以下の場合に、前記ガイド画像の表示を、前記第1時間より長い第2時間にわたり継続させる、
請求項
1記載のウェアラブル装置。
【請求項3】
前記制御装置は、前記表示期間が第3時間以上継続している場合に、前記出力信号に関わらず、前記ガイド画像の表示を終了する、
請求項1記載のウェアラブル装置。
【請求項4】
前記センサは、慣性計測装置又は地磁気センサである、
請求項
1記載のウェアラブル装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ウェアラブル装置に関する。
【背景技術】
【0002】
従来、AR(Augmented Reality)、VR(virtual reality)およびMR(Mixed Reality)に代表されるXR技術を適用したXRグラスが普及している。XRグラスには、ユーザの前方を撮像する撮像装置が設けられる場合がある。撮像装置によって撮像された撮像画像は、例えばXRグラスを装着したユーザが行う作業を補助するための情報の提示に用いられる。又は、撮像画像は、ユーザが作業を適切に行ったかを事後的に評価するための記録等に用いられる。
【0003】
例えば、下記特許文献1には、実空間に配置されるマーカを用いて、仮想空間に配置される仮想オブジェクトと実空間の物体との位置合わせを実行する作業支援システムが開示されている。具体的には、作業支援システムは、実空間に対応する仮想空間の画像を表示する表示部と、ユーザの視野の中心部を含む範囲を撮像する撮像部と、撮像されたマーカの画像に基づいてマーカと撮像部との位置関係を検出する位置情報検出部と、マーカに視線を置いている状態で検出されたマーカの画像の検出結果と、ユーザの姿勢を機械的に検出した検出結果とに基づいて、仮想空間の画像の表示を制御する表示制御部を備える。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
一般に、XRグラスに搭載された撮像装置は、製品ごとに解像度および取付位置が異なる。よって、ユーザが想定している撮像範囲と実際の撮像範囲とが一致しない場合がある。ユーザが想定している撮像範囲と実際の撮像範囲とが一致しないと、XRグラスの処理に必要な撮像画像が取得することができない可能性がある。
【0006】
このような問題に対応するために、例えば撮像範囲の外縁を示すガイド画像を常時XRグラスに表示することも考えられる。しかし、ガイド画像が作業の妨げとなる、又は、XRグラスの表示領域を狭めてしまう、等の課題がある。
【0007】
本発明の目的は、ユーザの視野を長時間遮ることなく、撮像装置の撮像範囲を表示することにある。
【課題を解決するための手段】
【0008】
本発明の一態様に係るウェアラブル装置は、ユーザの頭部に装着される透過型の表示装置と、前記ユーザの前方を撮像することによって得られる撮像画像を出力する撮像装置と、物理量を検出するセンサと、少なくとも前記センサの出力信号に基づいて定まる開始タイミングから終了タイミングまでの表示期間において、前記撮像画像の外縁を示すガイド画像を前記表示装置に表示させる制御装置と、
を備える。
【発明の効果】
【0009】
本発明の一態様によれば、ユーザの視野を長時間遮ることなく、撮像装置の撮像範囲を表示できる。
【図面の簡単な説明】
【0010】
【
図1】実施形態に係るウェアラブル装置1の概要を示す図である。
【
図2】実施形態に係るウェアラブル装置1の構成を示すブロック図である。
【
図4】ARグラス10の構成を示すブロック図である。
【
図5】携帯機器20の構成を示すブロック図である。
【
図7A】機器DV1と実空間上のXY座標系との関係を示す図である。
【
図7B】機器DV1と実空間上のXY座標系との関係を示す図である。
【
図8】機器DV1が映る撮像画像とxy座標系との関係を示す図である。
【
図9】処理装置206の動作を示すフローチャートである。
【発明を実施するための形態】
【0011】
A.実施形態
A-1.システム構成
図1は、実施形態に係るウェアラブル装置1の概要を示す図である。また、
図2は、実施形態に係るウェアラブル装置1の構成を示すブロック図である。ウェアラブル装置1は、ユーザUの頭部に装着されるARグラス10と、ユーザUが保持する携帯機器20と、ユーザUの頭部の動きを計測する慣性計測装置30とを備える。
【0012】
本実施形態において、ユーザUは、ウェアラブル装置1を装着した状態で、ラックRAに格納された複数の機器DV間の配線作業を行う。ウェアラブル装置1は、撮像装置124(
図4参照)を備える。ウェアラブル装置1は、撮像装置124で撮像された撮像画像を、携帯機器20の記憶装置205(
図5参照)に記憶する。撮像画像には、ユーザUが機器DVに対して作業を行う様子が映っている。このような撮像画像を記録することによって、ユーザUの作業手順および作業内容が正しかったかを事後的に検証したり、不具合が行った場合にその原因を追究したりすることができる。よって、ユーザUおよび作業の依頼者の利便性が向上する。
【0013】
この他、ウェアラブル装置1は、ユーザUに対して配線作業のマニュアルを提示したり、撮像画像に対してAI(Artificial Intelligence)を用いた画像処理を行う方法で、作業中の機器DVに異常が生じていないかを監視したりしてもよい。
【0014】
A-2.慣性計測装置30
慣性計測装置30は、例えば、3次元空間を表す3軸の各々におけるユーザUの頭部の加速度と、この3軸の各々を回転軸とした場合のユーザUの頭部の角速度とを算出し、計測結果を出力信号として出力する。慣性計測装置30は、物理量を検出するセンサの一例である。本実施形態において、慣性計測装置30は、頭部の移動に関する物理量を検出する。加速度および角加速度は、ユーザUの頭部の移動に関する物理量の一例である。
【0015】
より詳細には、慣性計測装置30は、各種センサと、処理装置と、通信装置とを備える。各種センサは、例えばジャイロセンサ、加速度センサ、磁気センサ、圧力センサの少なくともいずれかを含む。処理装置は、各種センサで計測された計測値を用いて、3次元空間を表す3軸の各々における加速度と、この3軸の各々を回転軸とした角速度とを算出する。通信装置は、少なくとも携帯機器20の通信装置203と通信可能である。通信装置は、処理装置で算出された加速度および角速度を含む出力信号を、携帯機器20に対して送信する。慣性計測装置30が行う出力信号の送信は、所定の計測間隔毎に行われる。
【0016】
本実施形態では、慣性計測装置30は、ユーザUが頭部に被っている帽子に取り付けられている。よって、ユーザUの頭部が動く都度、慣性計測装置30において加速度および角速度が計測される。後述する携帯機器20は、慣性計測装置30の出力信号を用いて、ユーザUの頭部の移動速度Vを算出できる。
【0017】
なお、本実施形態では、慣性計測装置30はユーザUが被っている帽子に取り付けられているが、例えばARグラス10に慣性計測装置30が内蔵されていてもよい。この場合、取得部230は、ARグラス10の通信装置123から送信された出力信号を、通信装置203を介して取得する。また、慣性計測装置30はユーザUが被っている帽子に限らず、ユーザUの頭の動きに連動して動く場所であれば、どこに取り付けられていてもよい。
【0018】
A-3.ARグラス10
ARグラス10は、ユーザUの頭部に装着される透過型のウエアラブルディスプレイである。ARグラス10は、表示装置の一例である。ARグラス10は、携帯機器20の制御に基づいて、両眼用のレンズ110A,110Bの各々に設けられた表示パネルに仮想オブジェクトを表示させる。本実施形態では、ARグラス10は、例えば仮想オブジェクトとして、撮像装置124の撮像画像の外縁を示すガイド画像GI(GI1,GI2)を表示させる。なお、表示装置として、例えば、ARグラス10が有する機能と同様の機能を有するゴーグル形状の透過型ヘッドマウントディスプレイを用いてもよい。
【0019】
図3は、ARグラス10の外観を示す説明図である。ARグラス10は、テンプル101および102と、ブリッジ103と、フレーム104および105と、リム106および107と、レンズ110Aおよび110Bと、撮像レンズLENとが、外観において視認される。
【0020】
ブリッジ103には、
図4に示される撮像装置124を構成する撮像レンズLENが配置されている。
【0021】
フレーム104には、左眼用の表示パネルと左眼用の光学部材が設けられている。表示パネルは、例えば、液晶パネル又は有機EL(Electro Luminescence)パネルである。左眼用の表示パネルは、例えば、後述する携帯機器20からの制御に基づいて画像を表示する。左眼用の光学部材は、左眼用の表示パネルから射出された光をレンズ110Aに導光する光学部材である。また、フレーム104には、後述するスピーカ122が設けられる。
【0022】
フレーム105には、右眼用の表示パネルと右眼用の光学部材が設けられている。右眼用の表示パネルは、例えば、携帯機器20からの制御に基づいて画像を表示する。右眼用の光学部材は、右眼用の表示パネルから射出された光をレンズ110Bに導光する光学部材である。また、フレーム105には、後述するスピーカ122が設けられる。
【0023】
リム106は、レンズ110Aを保持する。また、リム107は、レンズ110Bを保持する。
【0024】
レンズ110Aおよび110Bの各々は、ハーフミラーを有する。レンズ110Aが有するハーフミラーは、現実空間Rを表す光を透過させることによって、現実空間Rを表す光をユーザUの左眼に導く。また、レンズ110Bが有するハーフミラーは、左眼用の光学部材によって導光された光をユーザUの左眼に反射する。レンズ110Bが有するハーフミラーは、現実空間Rを表す光を透過させることによって、現実空間Rを表す光をユーザUの右眼に導く。また、レンズ110Bが有するハーフミラーは、右眼用の光学部材によって導光された光をユーザUの右眼に反射する。
【0025】
ユーザUがARグラス10を装着したとき、レンズ110Aおよび110Bは、ユーザUの左眼および右眼の前に位置する。ARグラス10を装着したユーザUは、レンズ110Aおよび110Bを透過した光が表す現実空間Rと、後述する投影装置121が投影する仮想オブジェクトとを重ね合わせて視認する。
【0026】
図4は、ARグラス10の構成を示すブロック図である。ARグラス10は、上述したテンプル101および102と、ブリッジ103と、フレーム104および105と、リム106および107と、レンズ110Aおよび110Bと、撮像レンズLENとの他、投影装置121と、スピーカ122と、通信装置123と、撮像装置124と、記憶装置125と、処理装置126と、バス127とを備える。
図4に示す各構成は、例えばフレーム104および105に格納されている。投影装置121と、スピーカ122と、通信装置123と、撮像装置124と、記憶装置125と、処理装置126とは、情報を通信するためのバス127によって相互に接続される。バス127は、単一のバスを用いて構成されてもよいし、装置等の要素間ごとに互いに異なるバスを用いて構成されてもよい。
【0027】
投影装置121は、レンズ110A、左眼用の表示パネル、左眼用の光学部材、レンズ110B、右眼用の表示パネル、および右眼用の光学部材を含む。投影装置121は、携帯機器20からの制御に基づいて、仮想オブジェクトを表示する。上述のように、本実施形態における仮想オブジェクトとは、例えばガイド画像GIである。
【0028】
スピーカ122は、フレーム104および105の各々に位置する。スピーカ122は、フレーム104および105の各々に位置せずに、例えば、フレーム104および105の一方、テンプル101および102の少なくとも一方、又はブリッジ103に位置してもよい。スピーカ122は、携帯機器20によって直接的に、又はARグラス10の処理装置126を介して制御される。スピーカ122は、例えば作業中のユーザUに注意を促すための警報音等の作業補助音を出力する。スピーカ122は、ARグラス10に含まれずに、ARグラス10とは別体でもよい。
【0029】
通信装置123は、無線通信又は有線通信を用いて携帯機器20の通信装置203(
図4参照)と通信する。本実施形態において、通信装置123は、例えばBluetooth(登録商標)のような近距離無線通信を用いて携帯機器20の通信装置203と通信する。
【0030】
撮像装置124は、ユーザUの前方を撮像することによって得られる撮像画像を出力する。より詳細には、撮像装置124は、被写体を撮像し、撮像した撮像画像を示す画像データDを出力する。本実施形態では、撮像装置124の撮像方向は、ユーザUの頭の向きと一致するように配置されている。よって、撮像画像には、ユーザUの前方(視野方向)に位置する物体等が写ることになる。撮像装置124で生成された撮像画像は、画像データDとして通信装置123を介して携帯機器20に送信される。撮像装置124は、所定の撮像間隔で撮像を繰り返し、撮像の都度、生成した画像データDを携帯機器20に送信する。
【0031】
撮像装置124は、例えば、撮像光学系および撮像素子を有する。撮像光学系は、少なくとも1つの撮像レンズLEN(
図3参照)を含む光学系である。例えば、撮像光学系は、プリズム等の各種の光学素子を有してもよいし、ズームレンズ又はフォーカスレンズ等を有してもよい。撮像素子は、例えば、CCD(Charge Coupled Device)イメージセンサー又はCMOS(Complementary MOS)イメージセンサー等である。
【0032】
記憶装置125は、処理装置126が読み取り可能な記録媒体である。記憶装置125は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)およびEEPROM(Electrically Erasable Programmable Read Only Memory)である。揮発性メモリーは、例えば、RAM(Random Access Memory)である。記憶装置125は、プログラムPG1を記憶する。
【0033】
処理装置126は、1又は複数のCPU(Central Processing Unit)を含む。1又は複数のCPUは、1又は複数のプロセッサの一例である。プロセッサおよびCPUの各々は、コンピュータの一例である。
【0034】
処理装置126は、記憶装置125からプログラムPG1を読み取る。処理装置126は、プログラムPG1を実行することによって、動作制御部130として機能する。動作制御部130は、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)およびFPGA(Field Programmable Gate Array)等の回路によって構成されてもよい。
【0035】
動作制御部130は、ARグラス10の動作を制御する。例えば、動作制御部130は、撮像装置124が撮像した撮像画像を、携帯機器20に送信する。また、動作制御部130は、通信装置123が携帯機器20から受信したガイド画像GIの表示用の制御信号を投影装置121に提供する。この場合、投影装置121は、制御信号が示すガイド画像GIを表示パネルに表示する。
【0036】
A-4.携帯機器20
携帯機器20は、ARグラス10の撮像装置124で撮像された撮像画像を記憶する。また、携帯機器20は、後述する表示期間TMにおいて、ARグラス10にガイド画像GIを表示させる。携帯機器20は、制御装置の一例である。携帯機器20は、例として、スマートフォン、およびタブレット等である。
【0037】
図5は、携帯機器20の構成を示すブロック図である。携帯機器20は、タッチパネル201と、通信装置203と、記憶装置205と、処理装置206と、バス207とを含む。タッチパネル201と、通信装置203と、記憶装置205と、処理装置206は、情報を通信するためのバス207によって相互に接続される。バス207は、単一のバスを用いて構成されてもよいし、装置間ごとに互いに異なるバスを用いて構成されてもよい。
【0038】
タッチパネル201は、ユーザUに各種の情報を表示するとともに、ユーザUのタッチ操作を検出する。タッチパネル201は、入力装置と出力装置とを兼ねている。例えば、タッチパネル201は、液晶表示パネル又は有機EL表示パネル等の各種の表示パネルとカバーガラスとの間に、タッチ操作を検出可能なタッチセンサユニットが貼り合わされて構成される。例えば、タッチパネル201は、ユーザUの指がタッチパネル201に接触している場合に、ユーザUの指のタッチパネル201における接触位置を周期的に検出し、検出した接触位置を示すタッチ情報を処理装置206に送信する。
【0039】
通信装置203は、無線通信又は有線通信を用いてARグラス10の通信装置123(
図4参照)と通信する。本実施形態において、通信装置203は、ARグラス10の通信装置123と同方式の近距離無線通信を用いて通信装置123と通信する。また、通信装置203は、無線通信又は有線通信を用いて慣性計測装置30(
図1および
図2参照)の通信装置と通信する。本実施形態において、通信装置203は、近距離無線通信を用いて慣性計測装置30と通信する。
【0040】
記憶装置205は、処理装置206が読み取り可能な記録媒体である。記憶装置205は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ROM、EPROMおよびEEPROMである。揮発性メモリーは、例えば、RAMである。記憶装置205は、プログラムPG2と、撮像画像とを記憶する。
【0041】
画像データDは、ARグラス10の撮像装置124が撮像した撮像画像に対応するデータである。上述のように、撮像画像には、ユーザUが機器DVに対して作業を行う様子が映っている。
【0042】
処理装置206は、1又は複数のCPUを含む。1又は複数のCPUは、1又は複数のプロセッサの一例である。プロセッサおよびCPUの各々は、コンピュータの一例である。
【0043】
処理装置206は、記憶装置205からプログラムPG2を読み取る。処理装置206は、プログラムPG2を実行することによって、取得部230、記憶制御部232および表示制御部234として機能する。取得部230、記憶制御部232および表示制御部234のうち少なくとも1つは、DSP、ASIC、PLDおよびFPGA等の回路によって構成されてもよい。
【0044】
取得部230は、慣性計測装置30の出力信号を取得する。また、取得部230は、ARグラス10に搭載される撮像装置124によって撮像された撮像画像に対応する画像データDを取得する。取得部230は、通信装置203が受信した、慣性計測装置30の出力信号、および、撮像画像を示す画像データDを取得する。取得部230は、ユーザUの作業中は出力信号および画像データDを逐次取得する。
【0045】
記憶制御部232は、取得部230が取得した画像データDを記憶装置205に記憶させる。記憶制御部232は、例えば記憶装置205の記憶容量に応じて、画像データDの解像度を低くした上で記憶させてもよい。また、記憶制御部232は、記憶装置205に記憶されてから所定期間以上経過した画像データDを順次消去して、記憶装置205の記憶容量を確保するようにしてもよい。
【0046】
表示制御部234は、撮像画像の外縁を示すガイド画像GIをARグラス10に表示させる。上述のように、ARグラス10に搭載された撮像装置124は、製品ごとに解像度および取付位置が異なるため、ユーザUが想定している撮像範囲IFと実際の撮像範囲IFとが一致しない場合がある。特に、ユーザUの視野範囲VFが変化した場合には、ユーザUが想定している撮像範囲IFと実際の撮像範囲IFとにずれが生じる可能性がある。ユーザUの視野範囲VFが変化した場合とは、例えばユーザUが新たな作業対象の機器DVの前に移動して作業を開始する場合、又は、作業中のユーザUが周囲を見渡した後、目線を作業対象の機器DVに戻した場合などが想定される。
【0047】
図6は、現実空間RにおけるユーザUの視野範囲VFと撮像装置124の撮像範囲IFとの関係を模式的に示す図である。
図6には、ユーザUが、機器DV1~DV3を収容するラックRAの前に位置し、機器DV1~DV3の方向を見ている状態が示されている。なお、
図6では、図示の便宜上、ユーザUの視野範囲VFが実際よりも狭く示されている。
【0048】
一般に、ユーザUの視野範囲VFは、視線方向に対して左右それぞれ100°程度、合計200°程度の広がりがある。これに対して、撮像装置124の画角は、望遠レンズと比較して画角が広く設定された超広角レンズであっても80°程度である。すなわち、ユーザUの視野範囲VFと比較して、撮像装置124の撮像範囲IFは狭い。よって、ユーザUが見ている物体が撮像画像に映っていない場合があり得る。
【0049】
例えば、ユーザUが機器DV1と機器DV2の接続作業をする際に、機器DV1に設けられたインジケータIN1の値を確認しながら作業を行う必要があるものとする。この場合、事後的にユーザUの作業が正確に行われたかを事後的に評価するためには、撮像画像にインジケータIN1が映る必要がある。一方で、撮像範囲IFが
図6の位置にある場合、ユーザUは視野範囲VFにあるインジケータIN1の値を確認できるが、撮像範囲IFにはインジケータIN1が入っておらず、撮像装置124の向きを調整する必要がある。例えば、ユーザUが頭の向きを上に移動させると、撮像装置124の撮像範囲IFは上方向に移動する。この動きに起因して、撮像範囲IFにはインジケータIN1が含まれる。
【0050】
表示制御部234は、視野範囲VF内における撮像範囲IFの位置の調整を可能とするために、撮像範囲IFをユーザUが把握可能とするためのガイド画像GIをARグラス10に表示させる。
【0051】
図7Aは、ガイド画像GIの表示態様の一例を示す説明図である。
図7Aおよび後述する
図7Bにおいて、視野範囲VFは、ARグラス10のレンズ110Aおよび110B越しにユーザUに視認されている。
図7Aの例では、ガイド画像GI1は、撮像範囲IFの外縁を示す枠状の画像である。表示制御部234は、投影装置121を用いて、レンズ110Aおよび110Bにガイド画像GI1を表示させる。よって、ユーザUは、自身の視野範囲VFのどの範囲が撮像範囲IFに含まれるかを認識できる。
【0052】
なお、撮像装置124とレンズ110Aおよび110Bとの位置関係が固定されており、かつ撮像装置124がパン、チルト、ズーム等を行なわず、撮像範囲IFが固定されている場合には、ガイド画像GI1の大きさ、および、ガイド画像GI1のレンズ110A,110Bにおける表示位置は一定となる。また、例えば撮像装置124がパン、チルト、ズーム等の機能を備え、撮像範囲IFの大きさおよび方向が可変の場合、表示制御部234は、ユーザUの視野範囲VFにおける撮像範囲IFの外縁(撮像画像の外縁)の位置を算出してガイド画像GI1を表示する。
【0053】
図7Bは、ガイド画像GIの表示態様の他の例を示す説明図である。
図7Bの例では、ガイド画像GI2は、撮像装置124が撮像した撮像画像をリアルタイムで表示した画像である。表示制御部234は、投影装置121を用いて、レンズ110Aおよび110Bに撮像装置124の撮像画像を縮小して、ガイド画像GI2として表示させる。よって、ユーザUは、視野範囲VFが撮像画像としてどのように映るかを把握できる。
【0054】
なお、
図6の例では、撮像装置124の撮像範囲IFがユーザUの視野範囲VFに全て含まれているが、撮像装置124の撮像範囲IFの一部がユーザUの視野範囲VFに含まれない場合もある。例えば、ARグラス10のデザインによっては、ユーザUの額に対応する位置に撮像装置124が設けられている場合があり、このような場合は、撮像装置124の撮像範囲IFがユーザUの視野範囲VFよりも上方を含む可能性がある。このような場合にも、ガイド画像GIを表示することで、ユーザUは、自身の視野範囲VFと撮像範囲IFとのずれを認識できる。
【0055】
ここで、
図7Aおよび
図7Bに示すようなガイド画像GIは、ユーザUの視野範囲VFが変化した場合には利便性が高いものの、視野範囲VFにおける撮像範囲IFの位置合わせを行った後は、作業の邪魔になる可能性がある。よって、表示制御部234は、ガイド画像GIの表示を、ユーザUの移動が停止する直前の一定期間のみに限定する。すなわち、表示制御部234は、少なくとも慣性計測装置30の出力信号に基づいて定まる開始タイミングから終了タイミングまでの表示期間TMにおいて、撮像画像の外縁を示すガイド画像GIをARグラス10に表示させる。
【0056】
図8は、ガイド画像GIの表示期間TMを模式的に示すグラフである。
図8のグラフにおいて、縦軸はユーザUの頭部の移動速度V、横軸は時刻Tである。移動速度Vは、慣性計測装置30で計測された加速度を時間積分することで算出される。移動速度Vには、2つの閾値、速度V1および速度V2(<V1)が設定されている。速度V1は第1閾値の一例であり、速度V2は第2閾値の一例である。移動速度Vが速度V1を超えている状態を第1状態、移動速度Vが速度V2よりも大きく、かつ、第1閾値以下である状態を第2状態、移動速度Vが速度V2以下の状態を第3状態とする。
【0057】
図8のグラフでは、時刻T0ではユーザUの頭部の移動速度Vは略ゼロである。その後、ユーザUの頭部の移動が開始し、時刻T1で移動速度Vが速度V2を超えている。時刻T1以降も移動速度Vは速くなり、時刻T2で速度V1を超える。時刻T2で速度V1を超えた後、移動速度Vはピークとなる。移動速度Vは、ピーク後は減速して、時刻T3で速度V1以下となる。時刻T3以降は再度加速する時間帯もあるものの、移動速度Vは、速度V1を超えることなく減速し、時刻T4で速度V2以下となる。時刻T4以降は、移動速度Vは略ゼロとなり、静止状態に近づく。すなわち、時刻T0からT1は第3状態であり、時刻T1からT2は第2状態であり、時刻T2からT3は第1状態であり、時刻T3からT4は第2状態であり、時刻T4以降は第3状態である。
【0058】
表示制御部234は、時刻T3から時刻T4の間、ARグラス10にガイド画像GIを表示させる。すなわち、表示制御部234は、ガイド画像GIの表示期間TMを、時刻T3から時刻T4の間とする。時刻T3から時刻T4の間を表示期間TMとするのは、この期間にガイド画像GIを表示するのが、最も有用性が高いと考えられるためである。
【0059】
例えば時刻T1から時刻T3のように、ユーザUの動きが加速している、又は、移動速度Vが大きい(速度V1を超える)状態では、視野範囲VFが大きく変化するため、ガイド画像GIを表示しても、有用性が低い。一方で、時刻T3のように、一旦速度V1を超えた移動速度Vが速度V1以下となった場合、ユーザUはこの後移動を停止する可能性が高い。また、移動速度Vが低下すると、ユーザUの視野範囲VFの変化が小さくなり、ガイド画像GIを参考にした撮像範囲IFの位置合わせが行いやすい状態となる。よって、表示制御部234は、ARグラス10へのガイド画像GIの表示を開始させる。また、移動速度Vが速度V2以下となった場合には、ユーザUの移動はほぼ終了しており、ユーザUが作業を再開させる可能性がある。よって、表示制御部234は、ARグラス10へのガイド画像GIの表示を終了させる。このように、ユーザUが完全に停止する前にガイド画像GIを表示することによって、ユーザUは、移動中の一連の動きの中で、撮像範囲IFを所望の位置に合わせることができる。
【0060】
言い換えると、表示制御部234は、慣性計測装置30の出力信号が示す加速度に基づいて、ユーザUの頭部の移動速度Vを算出する。表示制御部234は、移動速度Vが速度V1を超える状態を第1状態とし、移動速度Vが速度V1以下かつ速度V2を超える状態を第2状態とし、移動速度Vが速度V2以下の状態を第3状態とする。表示制御部234は、第1状態から第2状態に移行したタイミングを表示期間TMの開始タイミングとし、第2状態から第3状態に移行したタイミングを表示期間TMの終了タイミングとする。
【0061】
A-5.処理装置206の動作
図9は、処理装置206の動作を示すフローチャートである。処理装置206は、取得部230として機能し、慣性計測装置30の出力信号を取得する(ステップS101)。慣性計測装置30の出力信号は、ユーザUの頭部の加速度を示す。処理装置206は、表示制御部234として機能し、慣性計測装置30の出力信号を用いて、ユーザUの頭部の移動速度Vを算出する(ステップS102)。なお、ステップS101の慣性計測装置30の出力信号の取得と、ステップS102の移動速度Vの算出は、以降のステップ中においても逐次実行されている。
【0062】
処理装置206は、表示制御部234として機能し、移動速度Vが速度V1を超える、すなわち第1状態となるまで待機する(ステップS103:NO)。移動速度Vが速度V1を超えると(ステップS103:YES)、処理装置206は、表示制御部234として機能し、移動速度Vが速度V1以下となる、すなわち第1状態から第2状態に移行するまで待機する(ステップS104:NO)。
【0063】
移動速度Vが速度V1以下になると(ステップS104:YES)、処理装置206は、表示制御部234として機能し、ARグラス10におけるガイド画像GIの表示を開始させる(ステップS105)。すなわち、第1状態から第2状態に移行したタイミングが、表示期間TMの開始タイミングとなる。処理装置206は、表示制御部234として機能し、移動速度Vが速度V2以下になる、又は移動速度Vが再度速度V1を超えるまで待機する(ステップS106:NO)。この間、ARグラス10におけるガイド画像GIの表示は継続される。
【0064】
移動速度Vが速度V2以下になる、又は移動速度Vが再度速度V1を超えると(ステップS106:YES)、処理装置206は、表示制御部234として機能し、ARグラス10におけるガイド画像GIの表示を終了する(ステップS107)。すなわち、第2状態から第3状態に移行したタイミング、又は、第2状態から第1状態に移行したタイミングが、表示期間TMの終了タイミングとなる。その後、処理装置206は、ステップS101に処理を戻し、以降の処理を繰り返す。
【0065】
A-6.実施形態のまとめ
以上説明したように、実施形態によれば、ウェアラブル装置1は、慣性計測装置30の出力信号に基づいて定まる開始タイミングから終了タイミングまでの表示期間TMにおいて、撮像画像の外縁を示すガイド画像GIをARグラス10に表示させる。ガイド画像GIは表示期間TMのみに表示される。よって、撮像装置124の撮像範囲IFの表示によってユーザUの視野が長時間遮られるのを回避できる。また、ユーザUは、ガイド画像GIを用いて視野範囲VFにおける撮像範囲IFの位置を把握することができる。よって、撮像画像の有用性が向上する。
【0066】
また、ウェアラブル装置1は、第1状態から第2状態に移行したタイミングを表示期間TMの開始タイミングとし、第2状態から第3状態に移行したタイミングを表示期間TMの終了タイミングとする。よって、移動速度Vの低下に起因して、ユーザUの視野範囲VFの変化が小さくなり、ガイド画像GIを参考にした撮像範囲IFの位置合わせが行いやすいタイミングでガイド画像GIが表示される。よって、ガイド画像GIの有用性が向上する。
【0067】
また、ウェアラブル装置1は、慣性計測装置30を用いてユーザUの頭部の動きに関する物理量を取得する。このため、ウェアラブル装置1は、ユーザUの頭部の動きに関する物理量を精度よく検知できる。
【0068】
B:変形例
上述の実施形態における変形の態様を以下に示す。以下の変形の態様から任意に選択された2以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。
【0069】
B1:第1変形例
例えばユーザUが作業に熟練している場合などには、ユーザUが移動状態から停止状態となるまでの時間が短く、ガイド画像GIの表示期間TMが非常に短時間となる可能性がある。一方で、ガイド画像GIの表示期間TMが短時間過ぎると、ユーザUが撮像範囲IFを確認する前にガイド画像GIの表示が終了してしまい、ガイド画像GIを表示する有用性が低下してしまう。よって、表示制御部234は、表示期間TMが短時間であった場合には、ユーザUの移動速度VがV2以下となった後も一定の時間、ガイド画像GIの表示を継続するようにしてもよい。
【0070】
すなわち、表示制御部234は、表示期間TMの開始タイミングから終了タイミングまでの時間が第1時間以下の場合に、ガイド画像GIの表示を、第1時間より長い第2時間にわたり継続させるようにしてもよい。第1時間および第2時間は、時間の長さを表す。
【0071】
第1変形例によれば、表示期間TMが第1時間以下であった場合に、ガイド画像GIの表示が第2時間まで継続される。よって、ユーザUがガイド画像GIを確認する時間が確保され、利便性が向上する。
【0072】
B2:第2変形例
例えばユーザUの動きによっては、移動速度Vが速度V1以下かつ速度V2を超える状態が長時間継続する場合がある。この場合、ユーザUの視野範囲VFにガイド画像GIが長時間継続して表示されることとなり、ユーザUが煩わしさを感じる可能性がある。よって、表示制御部234は、表示期間TMが長時間継続している場合には、ユーザUの移動速度Vに関わらず、ガイド画像GIの表示を終了するようにしてもよい。
【0073】
すなわち、表示制御部234は、表示期間TMが第3時間以上継続している場合に、慣性計測装置30の出力信号に関わらず、ガイド画像GIの表示を終了するようにしてもよい。
【0074】
第2変形例によれば、表示期間TMが第3時間以上継続している場合に、慣性計測装置30の出力信号(ユーザUの移動速度V)に関わらず、ガイド画像GIの表示が終了される。よって、不要なガイド画像GIの表示が中止され、ユーザUの視野における視認性が確保される。
【0075】
B3:第3変形例
上述した実施形態では、ARグラス10と携帯機器20とが別体であった。これに限らず、例えばARグラス10が携帯機器20の機能を有していてもよい。すなわち、取得部230、記憶制御部232および表示制御部234を、ARグラス10の処理装置126が実行するようにしてもよい。また、ARグラス10の記憶装置125が画像データDを記憶するようにしてもよい。
【0076】
第3変形例によれば、例えば、携帯機器20を用いずに、ガイド画像GIの表示および撮像画像の記録を行うことができる。
【0077】
B4:第4変形例
上述した実施形態では、携帯機器20でガイド画像GIの表示制御を行った。これに限らず、例えばネットワークを介して携帯機器20に接続された処理サーバにおいて、ガイド画像GIの表示制御を行ってもよい。この場合、携帯機器20は、取得部230で取得した慣性計測装置30の出力信号を処理サーバに送信する。処理サーバは、慣性計測装置30の出力信号に基づいて、ガイド画像GIの表示期間TMを決定し、ARグラス10でガイド画像GIを表示するための制御信号を携帯機器20に送信する。
【0078】
第4変形例によれば、携帯機器20が、表示制御部234を実現するためのプログラムを有しない場合、又は表示制御部234を実現するためのプログラムを実行するだけの処理能力を有さない場合でも、ユーザUの作業中の監視対象物の監視が実行される。
【0079】
B5:第5変形例
上述した実施形態では、ARグラス10に撮像装置124が搭載されていた。これに限らず、例えばARグラス10と撮像装置124とが別体の装置であってもよい。
【0080】
B6:第6変形例
上述した実施形態では、ユーザUの頭部の動きに関する情報を取得するために慣性計測装置30を用いるものとした。これに限らず、物理量を検出するセンサとして、例えば地磁気センサを用いてもよい。地磁気センサは、地球を取り巻く地磁気を検出する。地磁気センサは、X・Y・Zの3軸方向の磁力の値を検出する。携帯機器20は、3軸方向の磁力の値の変化に基づいて、ユーザUの頭部の変位(変位方向および変位量)を推定できる。また、単位時間当たりのユーザUの頭の変位量は、ユーザUの移動速度Vに対応する。よって、地磁気センサを用いても、上述した実施形態と同様の処理が実現される。
【0081】
C:その他
(1)
図4又は
図5に例示された各機能は、ハードウェアおよびソフトウェアの任意の組み合わせによって実現される。各機能の実現方法は特に限定されない。各機能は、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線などを用いて)接続することによって構成される装置を用いて実現されてもよい。各機能は、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【0082】
(2)本明細書において、「装置」という用語は、回路、デバイス又はユニット等の他の用語に読み替えられてもよい。
【0083】
(3)実施形態および第1変形例~第6変形例の各々において、記憶装置125および記憶装置205は、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリー(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つによって構成されてもよい。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。
【0084】
(4)実施形態および第1変形例~第6変形例の各々は、LTE(Long Term Evolution)、LTE-A(LTA-Advanced)、SUPER 3G、IMT-Advanced、4G(4th generation mobile communication system)、5G(5th generation mobile communication system)、6th generation mobile communication system(6G)、xth generation mobile communication system(xG)(xは、例えば整数又は小数)、FRA(Future Radio Access)、NR(new Radio)、New radio access(NX)、Future generation radio access(FX)、W-CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broadband)、IEEE 802.11(Wi-Fi(登録商標))、IEEE 802.16(WiMAX(登録商標))、IEEE 802.20、UWB(Ultra-WideBand)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステムおよびこれらに基づいて拡張、修正、作成、規定された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて(例えば、LTEおよびLTE-Aの少なくとも一方と5Gとの組み合わせ等)適用されてもよい。
【0085】
(5)実施形態および第1変形例~第6変形例の各々において例示した処理手順、シーケンス、又はフローチャート等は、矛盾のない限り、順序を入れ替えてもよい。例えば、本明細書において説明した方法については、例示的な順序において様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【0086】
(6)実施形態および第1変形例~第6変形例の各々において、入出力された情報等は特定の場所(例えば、メモリー)に保存されてもよいし、管理テーブルを用いて管理されてもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【0087】
(7)実施形態および第1変形例~第6変形例の各々において、判定は、1ビットによって表される値(0か1か)に基づいて行われてもよいし、真偽値(Boolean:true又はfalse)に基づいて行われてもよいし、数値の比較(例えば、所定の値との比較)に基づいて行われてもよい。
【0088】
(8)実施形態および第1変形例~第6変形例の各々において例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はハードウェア記述言語と呼ばれるか、他の名称によって呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順又は機能等を意味するよう広く解釈されるべきである。また、ソフトウェア、又は命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペアおよびデジタル加入者回線(DSL)など)および無線技術(赤外線、マイクロ波など)の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術および無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【0089】
(9)実施形態および第1変形例~第6変形例の各々において説明した情報などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、情報などは、電圧、電流、電磁波、磁界、磁性粒子、光場、光子、又はこれらの任意の組み合わせにて表されてもよい。なお、本明細書において説明した用語および本明細書の理解に必要な用語は、同一の又は類似する意味を有する用語と置き換えられてもよい。
【0090】
(10)実施形態および第1変形例~第6変形例の各々において、「システム」および「ネットワーク」という用語は、互換的に使用される。
【0091】
(11)実施形態および第1変形例~第6変形例の各々において、携帯機器20又は20Bは、移動局でもよい。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語を用いて称される場合もある。
【0092】
(12)移動局は、送信装置、受信装置又は通信装置などと呼ばれてもよい。移動局は、移動体に搭載されたデバイス、又は移動体自体などであってもよい。移動体は、移動可能な物体を意味する。移動体の移動速度は任意である。移動体は、停止可能である。移動体は、例えば、車両、輸送車両、自動車、自動二輪車、自転車、コネクテッドカー、ショベルカー、ブルドーザー、ホイールローダー、ダンプトラック、フォークリフト、列車、バス、リヤカー、人力車、船舶(ship and other watercraft)、飛行機、ロケット、人工衛星、ドローン(登録商標)、マルチコプター、クアッドコプター、気球、およびこれらに搭載される物を含み、またこれらに限らない。移動体は、運行指令に基づいて自律走行する移動体であってもよい。移動体は、乗り物(例えば、車、飛行機など)であってもよいし、無人で動く移動体(例えば、ドローン、自動運転車など)であってもよし、ロボット(有人型又は無人型)であってもよい。移動局は、必ずしも通信動作時に移動しない装置も含む。例えば、移動局は、センサなどのIoT(Internet of Things)機器であってもよい。
【0093】
(13)実施形態および第1変形例~第6変形例の各々において、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)した事を「決定」したとみなす事などを含み得る。また、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリー中のデータにアクセスすること)した事を「判断」「決定」したとみなす事などを含み得る。また、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「決定」したとみなす事を含み得る。つまり、「決定」は、何らかの動作を「決定」したとみなす事を含み得る。また、「決定」は、「想定する(assuming)」、「期待する(expecting)」、「みなす(considering)」などで読み替えられてもよい。
【0094】
(14)実施形態および第1変形例~第6変形例の各々において、「接続された(connected)」という用語、又はこれのあらゆる変形は、2又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された2つの要素間に1又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、2つの要素は、1又はそれ以上の電線、ケーブルおよびプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域および光(可視および不可視の両方)領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
【0095】
(15)実施形態および第1変形例~第6変形例の各々において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【0096】
(16)本明細書において使用する「第1」および「第2」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本明細書において使用され得る。したがって、第1および第2の要素への参照は、2つの要素のみが採用され得ること又は何らかの形において第1要素が第2要素に先行しなければならないことを意味しない。
【0097】
(17)実施形態および第1変形例~第6変形例の各々において「含む(include)」、「含んでいる(including)」およびそれらの変形が、本明細書あるいは特許請求の範囲において使用されている場合、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
【0098】
(18)本願の全体において、例えば、英語におけるa、anおよびtheのように、翻訳によって冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【0099】
(19)本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨および範囲を逸脱することなく修正および変更態様として実施できる。したがって、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組み合わせてもよい。
【符号の説明】
【0100】
1…ウェアラブル装置、10…ARグラス、20…携帯機器、30…慣性計測装置、201…タッチパネル、203…通信装置、205…記憶装置、206…処理装置、207…バス、230…取得部、232…記憶制御部、234…表示制御部、DV(DV1~DV3)…機器、GI(GI1,GI2)…ガイド画像、IF…撮像範囲、R…現実空間、U…ユーザ、VF…視野範囲。