(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024139634
(43)【公開日】2024-10-09
(54)【発明の名称】画像表示装置および画像表示システム
(51)【国際特許分類】
G06F 3/01 20060101AFI20241002BHJP
B25J 13/00 20060101ALI20241002BHJP
G02B 27/02 20060101ALI20241002BHJP
【FI】
G06F3/01 510
B25J13/00 Z
G02B27/02 Z
【審査請求】有
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023050676
(22)【出願日】2023-03-27
(11)【特許番号】
(45)【特許公報発行日】2024-04-12
(71)【出願人】
【識別番号】520324606
【氏名又は名称】株式会社複合現実製作所
(74)【代理人】
【識別番号】100114188
【弁理士】
【氏名又は名称】小野 誠
(74)【代理人】
【識別番号】100143823
【弁理士】
【氏名又は名称】市川 英彦
(74)【代理人】
【識別番号】100219265
【弁理士】
【氏名又は名称】鈴木 崇大
(72)【発明者】
【氏名】山▲崎▼ 健生
【テーマコード(参考)】
2H199
3C707
5E555
【Fターム(参考)】
2H199CA02
2H199CA12
2H199CA88
2H199CA92
2H199CA94
3C707BS10
3C707JU03
3C707KS21
3C707KT15
3C707KX10
5E555AA64
5E555BA38
5E555BB38
5E555BE17
5E555CA44
5E555CA50
5E555DA08
5E555FA00
(57)【要約】
【課題】画像表示装置において、装着するユーザーの負担を軽減することが好ましい。
【解決手段】ユーザーの頭部に装着され、画像を表示する画像表示部と、頭部以外の第1部位に装着され、第1部位に関する第1情報を取得し、画像表示部に対する相対位置が変更可能である第1情報取得部と、画像表示部と第1情報取得部の相対位置情報を取得する相対位置情報取得部とを備える、画像表示装置を提供する。第1情報は、第1部位の絶対位置情報および第1部位の姿勢情報を含んでよい。
【選択図】
図2
【特許請求の範囲】
【請求項1】
ユーザーの頭部に装着され、画像を表示する画像表示部と、
前記頭部以外の第1部位に装着され、前記第1部位に関する第1情報を取得し、前記画像表示部に対する相対位置が変更可能である第1情報取得部と、
前記画像表示部と前記第1情報取得部の相対位置情報を取得する相対位置情報取得部と
を備える、画像表示装置。
【請求項2】
前記第1情報は、前記第1部位の絶対位置情報および前記第1部位の姿勢情報を含む、請求項1に記載の画像表示装置。
【請求項3】
前記画像表示部は、
前記絶対位置情報および前記相対位置情報を取得し、
前記絶対位置情報および前記相対位置情報に基づいて、画像を表示する、請求項2に記載の画像表示装置。
【請求項4】
前記画像表示部は、前記頭部の姿勢情報を取得する第1姿勢センサを含む、請求項3に記載の画像表示装置。
【請求項5】
前記画像表示部は、前記頭部の姿勢情報と前記第1部位の姿勢情報の差分に基づいて、画像を表示する、請求項4に記載の画像表示装置。
【請求項6】
前記画像表示部は、ARグラスである、請求項2に記載の画像表示装置。
【請求項7】
前記第1情報取得部は、前記画像表示部に電力を供給する電源部を含む、請求項2に記載の画像表示装置。
【請求項8】
前記第1情報取得部は、ユーザーの首部に装着される、請求項1から7のいずれか1項に記載の画像表示装置。
【請求項9】
前記相対位置情報取得部は、前記画像表示部および前記第1情報取得部と接続する多関節ロボットアームを含み、
前記相対位置情報取得部は、前記多関節ロボットアームの各関節角度に基づいて、前記画像表示部と前記第1情報取得部の相対位置情報を取得する、請求項2に記載の画像表示装置。
【請求項10】
前記多関節ロボットアームは、前記第1情報取得部と前記多関節ロボットアームの接続点である第1接続点に設けられた第1関節を含み、
前記相対位置情報取得部は、前記第1関節の角度を計測する第1角度センサを含む、請求項9に記載の画像表示装置。
【請求項11】
前記多関節ロボットアームは、前記第1情報取得部と前記多関節ロボットアームの接続点である第1接続点と、前記画像表示部と前記多関節ロボットアームの接続点である第2接続点との間に設けられた第2関節を含み、
前記相対位置情報取得部は、前記第2関節の角度を計測する第2角度センサを含む、請求項9または10に記載の画像表示装置。
【請求項12】
前記第2角度センサは、前記第2関節に設けられる、請求項11に記載の画像表示装置。
【請求項13】
前記第2角度センサは、前記第1接続点に設けられる、請求項11に記載の画像表示装置。
【請求項14】
前記相対位置情報取得部は、前記第1情報取得部に設けられ、画像情報を取得するカメラを含み
前記相対位置情報取得部は、前記カメラが取得した前記画像表示部の画像情報に基づいて、前記画像表示部と前記第1情報取得部の相対位置情報を取得する、請求項2に記載の画像表示装置。
【請求項15】
前記画像表示部は、マーカーを含み、
前記カメラは、前記マーカーを含んだ画像情報を取得する、請求項14に記載の画像表示装置。
【請求項16】
前記相対位置情報取得部は、
前記画像表示部に設けられ、前記頭部の姿勢情報を取得する第1姿勢センサと、
前記第1情報取得部に設けられ、前記第1部位の姿勢情報を取得する第2姿勢センサと
を含み、
前記相対位置情報取得部は、前記頭部の姿勢情報および前記第1部位の姿勢情報に基づいて、前記画像表示部と前記第1情報取得部の相対位置情報を取得する、請求項2に記載の画像表示装置。
【請求項17】
前記相対位置情報取得部は、ユーザーの身体的情報に基づいて、前記画像表示部と前記第1情報取得部の相対位置情報を取得する請求項16に記載の画像表示装置。
【請求項18】
ユーザーの頭部に装着され、画像を表示する画像表示手段と、
前記頭部以外の第1部位に装着され、前記第1部位に関する第1情報を取得し、前記画像表示手段に対する相対位置が変更可能である第1情報取得手段と、
前記画像表示手段と前記第1情報取得手段の相対位置情報を取得する相対位置情報取得手段と
を備える、画像表示システム。
【発明の詳細な説明】
【発明の詳細な説明】
【0001】
本発明は、画像表示装置および画像表示システムに関する。
【背景技術】
【0002】
ヘッドマウントディスプレイ(Head Mount Display)方式の拡張現実型ウェアラブルデバイスとして、スマートグラスやAR(Augmented Reality)グラス等が知られている(例えば、特許文献1-3参照)。また、拡張現実型ウェアラブルデバイスにおいて、位置トラッキング技術が用いられている(例えば、特許文献4-6参照)。
【特許文献1】特開2016-149587号公報
【特許文献2】特開2016-139174号公報
【特許文献3】特開2014-174790号公報
【特許文献4】特開2020-186981号公報
【特許文献5】特開2015-084229号公報
【特許文献6】特開2022-186299号公報
【発明の概要】
【発明が解決しようとする課題】
【0003】
スマートグラスやARグラス等のウェアラブルデバイスにおいて、ウェアラブルデバイスを装着するユーザーの負担を軽減することが好ましい。
【課題を解決するための手段】
【0004】
本発明の第1の態様においては、画像表示装置を提供する。画像表示装置は、画像表示部を備えてよい。画像表示部は、ユーザーの頭部に装着されてよい。画像表示部は、画像を表示してよい。画像表示装置は、第1情報取得部を備えてよい。第1情報取得部は、頭部以外の第1部位に装着されてよい。第1情報取得部は、第1部位に関する第1情報を取得してよい。第1情報取得部は、画像表示部に対する相対位置が変更可能であってよい。画像表示装置は、相対位置情報取得部を備えてよい。相対位置情報取得部は、画像表示部と第1情報取得部の相対位置情報を取得してよい。
【0005】
前記第1情報は、第1部位の絶対位置情報および第1部位の姿勢情報を含んでよい。
【0006】
画像表示部は、絶対位置情報および相対位置情報を取得してよい。画像表示部は、絶対位置情報および相対位置情報に基づいて、画像を表示してよい。
【0007】
画像表示部は、第1姿勢センサを含んでよい。第1姿勢センサは、頭部の姿勢情報を取得してよい。
【0008】
画像表示部は、頭部の姿勢情報と第1部位の姿勢情報の差分に基づいて、画像を表示してよい。
【0009】
画像表示部は、ARグラスであってよい。
【0010】
第1情報取得部は、電源部を含んでよい。電源部は、画像表示部に電力を供給してよい。
【0011】
第1情報取得部は、ユーザーの首部に装着されてよい。
【0012】
相対位置情報取得部は、多関節ロボットアームを含んでよい。多関節ロボットアームは、画像表示部および第1情報取得部と接続してよい。相対位置情報取得部は、多関節ロボットアームの各関節角度に基づいて、画像表示部と第1情報取得部の相対位置情報を取得してよい。
【0013】
多関節ロボットアームは、第1関節を含んでよい。第1関節は、第1情報取得部と前記多関節ロボットアームの接続点である第1接続点に設けられてよい。相対位置情報取得部は、第1角度センサを含んでよい。第1角度センサは、第1関節の角度を計測してよい。
【0014】
多関節ロボットアームは、第2関節を含んでよい。第2関節は、第1情報取得部と多関節ロボットアームの接続点である第1接続点と、画像表示部と多関節ロボットアームの接続点である第2接続点との間に設けられてよい。相対位置情報取得部は、第2角度センサを含んでよい。相対位置情報取得部は、第2関節の角度を計測してよい。
【0015】
第2角度センサは、第2関節に設けられてよい。
【0016】
第2角度センサは、第1接続点に設けられてよい。
【0017】
相対位置情報取得部は、カメラを含んでよい。カメラは、第1情報取得部に設けられてよい。カメラは、画像情報を取得してよい。相対位置情報取得部は、カメラが取得した画像表示部の画像情報に基づいて、画像表示部と第1情報取得部の相対位置情報を取得してよい。
【0018】
画像表示部は、マーカーを含んでよい。カメラは、マーカーを含んだ画像情報を取得してよい。
【0019】
相対位置情報取得部は、第1姿勢センサを含んでよい。第1姿勢センサは、画像表示部に設けられてよい。第1姿勢センサは、頭部の姿勢情報を取得してよい。相対位置情報取得部は、第2姿勢センサを含んでよい。第2姿勢センサは、第1情報取得部に設けられてよい。第2姿勢センサは、第1部位の姿勢情報を取得してよい。相対位置情報取得部は、頭部の姿勢情報および第1部位の姿勢情報に基づいて、画像表示部と第1情報取得部の相対位置情報を取得してよい。
【0020】
相対位置情報取得部は、ユーザーの身体的情報に基づいて、画像表示部と第1情報取得部の相対位置情報を取得してよい。
【0021】
本発明の第2の態様においては、画像表示システムを提供する。画像表示システムは、画像表示手段を備えてよい。画像表示手段は、ユーザーの頭部に装着されてよい。画像表示手段は、画像を表示してよい。画像表示システムは、第1情報取得手段を備えてよい。第1情報取得手段は、頭部以外の第1部位に装着されてよい。第1情報取得手段は、第1部位に関する第1情報を取得してよい。第1情報取得手段は、画像表示手段に対する相対位置が変更可能であってよい。画像表示システムは、相対位置情報取得手段を備えてよい。相対位置情報取得手段は、画像表示手段と第1情報取得手段の相対位置情報を取得してよい。
【図面の簡単な説明】
【0022】
【
図1】本発明の一つの実施形態に係る画像表示装置100の構成の一例を示す図である。
【
図2】画像表示装置100の構成の一例を示す斜視図である。
【
図3】画像表示装置100の多関節ロボットアーム32の一例を示す図である。
【
図5】画像表示装置200の多関節ロボットアーム32の一例を示す図である。
【
図6】画像表示装置200の多関節ロボットアーム32の別の例を示す図である。
【
図7】画像表示装置300の構成の一例を示す斜視図である。
【
図8】画像表示装置400の構成の一例を示す斜視図である。
【
図9】画像表示装置100がユーザーに装着される例を示す図である。
【発明を実施するための形態】
【0023】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0024】
図1は、本発明の一つの実施形態に係る画像表示装置100の構成の一例を示す図である。本例の画像表示装置100は、画像表示部10、第1情報取得部20および相対位置情報取得部30を備える。画像表示装置100は、画像表示部10、第1情報取得部20および相対位置情報取得部30以外の構成を備えていてもよい。本例の画像表示装置100は、ウェアラブルデバイスである。つまり画像表示装置100は、ユーザーに装着されるデバイスである。画像表示装置100は、少なくとも一部がユーザーに装着されればよい。画像表示装置100は、ヘッドマウントディスプレイ方式であってよい。つまり画像表示装置100は、少なくとも一部がユーザーの頭部に装着されてよい。画像表示装置100は、画像表示装置100が装着されたユーザーに画像を表示する。画像表示装置100が表示する画像は、例えば、AR画像である。画像表示装置100が表示する画像は、VR(Virtual Reality)画像であってもよい。画像表示装置100が表示する画像は、MR(Mixed Reality)画像であってもよい。なお画像表示装置100は、画像表示システムであってもよい。画像表示システムは、画像表示手段として画像表示部10、第1情報取得手段として第1情報取得部20および相対位置情報取得手段として相対位置情報取得部30をそれぞれ備えてよい。
【0025】
図2は、画像表示装置100の構成の一例を示す斜視図である。画像表示部10は、画像を表示してよい。画像表示部10は、AR画像やVR画像を表示してよい。画像表示部10は、2つのディスプレイ12を含んでよい。ディスプレイ12は、AR画像やVR画像を表示してよい。2つのディスプレイ12は、一体となっていてもよい。
【0026】
画像表示部10は、ユーザーの頭部に装着されてよい。画像表示部10は、眼鏡方式であってよい。画像表示部10は、スマートグラスであってよい。画像表示部10は、ARグラスであってよい。画像表示部10は、ユーザーの目線に画像を表示してよい。画像表示部10は、フレーム14を含んでよい。フレーム14は、一部がユーザーの頭部に接触する。フレーム14を含むことにより、画像表示部10をユーザーの目から所定距離離した状態で、画像表示部10をユーザーの頭部に装着することができる。
【0027】
画像表示部10は、第1姿勢センサ16を含んでよい。第1姿勢センサ16は、画像表示部10に設けられてよい。第1姿勢センサ16は、画像表示部10に接するように設けられてよい。本例において第1姿勢センサ16は、ディスプレイ12に接するように設けられる。第1姿勢センサ16は、ユーザーの頭部の姿勢情報を取得してよい。姿勢情報とは、X軸、Y軸、Z軸等の各軸に対する傾きを示す情報であってよい。姿勢情報とは、X軸、Y軸、Z軸等の各軸に対して傾いていない場合を初期状態とした場合、当該初期状態からの傾きの変化を示す情報であってよい。また、第1姿勢センサ16は、画像表示部10の姿勢情報を取得してよい。第1姿勢センサ16は、画像表示部10の姿勢情報を取得することにより、ユーザーの頭部の姿勢情報を取得してよい。第1姿勢センサ16は、一例としてIMU(Inertial Mesurement Unit)センサである。IMUセンサは、角速度センサ、加速度センサ等を含んでよい。本例では、1つの第1姿勢センサ16が、画像表示部10に設けられているが、複数の第1姿勢センサ16が、画像表示部10に設けられていてもよい。複数の第1姿勢センサ16が画像表示部10に設けられると、より高精度に画像表示部10の姿勢情報を取得することができる。
【0028】
本例の画像表示部10は、第1姿勢センサ16によってユーザーの頭部の姿勢情報を取得するため、ユーザーの頭部の姿勢情報に基づいて、画像を表示することができる。例えばユーザーの頭部が傾いた場合、傾いた変化分に応じてディスプレイ12が表示する画像を傾けることができる。したがって、画像表示装置100を装着したユーザーは、画像表示部10が表示した画像により、AR、VR空間を楽しむことができる。このように、ユーザーの頭部の姿勢情報を取得するデバイスは、3DoF(Degree of Freedom)デバイスとして一般的に知られている。
【0029】
一方で、6DoFデバイスというデバイスも一般的に知られている。6DoFデバイスは、ユーザーの頭部の姿勢情報を取得するとともに、ユーザーの頭部の絶対位置情報も取得する。ユーザーの頭部の絶対位置情報とは、X軸方向、Y軸方向、Z軸方向における特定の基準点に対するユーザーの頭部の位置を示す情報であってよい。6DoFデバイスは、ユーザーの頭部の姿勢情報に加えて、ユーザーの頭部の位置情報も取得するため、ユーザーはAR、VR空間内を歩き、AR、VR空間内のオブジェクトに近づくことができる。したがって、ユーザーはAR、VR空間において3DoFデバイスに比べて現実に近い没入感を楽しむことができる。また6DoFデバイスは、3D酔いしにくいことが一般的に知られている。
【0030】
6DoFデバイスは、3DoFデバイスに比べてより多くの情報を取得するため、3DoFデバイスに比べてデバイスの重量が大きくなる傾向にある。デバイスの重量が大きくなると、装着するユーザーがデバイスを負担に感じ、AR、VR空間への没入感が得られにくくなる。そのため、6DoFデバイスにおいてウェアラブルデバイスを装着するユーザーの負担を軽減することが好ましい。
【0031】
本例の画像表示装置100は、第1情報取得部20を備える。第1情報取得部20は、頭部以外の部位(以下、第1部位とする)に装着されてよい。例えば、
図2において、第1情報取得部20は、ユーザーの首部に装着されるデバイスである(
図9参照)。第1情報取得部20は、ユーザーの首部に装着されるデバイスに限定されず、ユーザーの腰、背中、肩等に装着されるデバイスであってもよい。
図2において、ユーザーの首部に掛けるため、第1情報取得部20は、湾曲した形状を有する。
【0032】
第1情報取得部20は、第1情報取得部20が装着される部位に関する情報を取得してよい。第1情報取得部20が装着される部位に関する情報とは、ユーザーの第1部位の絶対位置情報およびユーザーの第1部位の姿勢情報を含んだ情報である。ユーザーの第1部位の絶対位置情報とは、X軸方向、Y軸方向、Z軸方向における特定の基準点に対するユーザーの第1部位の位置を示す情報であってよい。ユーザーの第1部位の姿勢情報とは、X軸、Y軸、Z軸等の各軸に対する傾きを示す情報であってよい。ユーザーの第1部位の姿勢情報とは、X軸、Y軸、Z軸等の各軸に対して傾いていない場合を初期状態とした場合、当該初期状態からの傾きの変化を示す情報であってよい。
【0033】
本例において第1情報取得部20は、カメラ22を含む。第1情報取得部20は、複数のカメラ22を含んでよい。カメラ22を含むことにより、第1情報取得部20は、第1情報取得部20が装着される部位に関する情報を取得することができる。カメラ22は、カメラ22の映像を利用したSLAM(Simultaneous Localization and Mapping)技術により、第1情報取得部20が装着される部位に関する情報を取得してもよい。また第1情報取得部20は、カメラ22のみを含む例に限定されない。第1情報取得部20は、カメラ22の代わりに、姿勢センサおよび位置センサを含んでよい。第1情報取得部20は、カメラ22に加えて、姿勢センサおよび位置センサを含んでよい。第1情報取得部20は、カメラ22の代わりに、レーザートラッカー(Laser Tracker)を含んでよい。第1情報取得部20は、カメラ22に加えて、レーザートラッカーを含んでよい。第1情報取得部20は、カメラ22の代わりに、デプスセンサ(Depth Sensor)を含んでよい。デプスセンサは、深度を測定してよい。第1情報取得部20は、カメラ22に加えて、デプスセンサを含んでよい。
【0034】
また第1情報取得部20は、画像表示部10に対する相対位置が変更可能であってよい。つまり第1情報取得部20は、画像表示部10に対して位置が固定されなくてよい。
図2において、後述する多関節ロボットアーム32により画像表示部10と第1情報取得部20が接続されているため、第1情報取得部20は、画像表示部10に対する相対位置が変更可能である。
【0035】
本例の画像表示装置100は、相対位置情報取得部30を備える。相対位置情報取得部30は、画像表示部10と第1情報取得部20の相対位置情報を取得してよい。画像表示部10と第1情報取得部20の相対位置情報は、画像表示部10に対する第1情報取得部20の相対位置に関する情報であってよい。画像表示部10と第1情報取得部20の相対位置情報は、第1情報取得部20に対する画像表示部10の相対位置に関する情報であってもよい。
【0036】
画像表示装置100は第1情報取得部20を備えるため、第1情報取得部20が装着される部位に関する情報を取得することができる。また画像表示装置100は相対位置情報取得部30を備えるため、画像表示部10と第1情報取得部20の相対位置情報を取得することができる。したがって、画像表示装置100は、第1情報取得部20が取得する情報(例えば、ユーザーの第1部位の絶対位置情報およびユーザーの第1部位の姿勢情報)および相対位置情報取得部30が取得する情報を用いて、画像表示部10の絶対位置に関する情報を取得することができる。したがって、画像表示装置100を6DoFデバイスとして運用することが可能になる。ここで第1情報取得部20は、ユーザーの首部に装着されるため、ユーザーの負担を軽減することができる。また、第1情報取得部20が取得する情報は、ユーザーの第1部位の絶対位置情報およびユーザーの第1部位の姿勢情報のみに限定されず、相対位置情報取得部30が取得する情報と合わせて画像表示部10に表示する情報を変える構成であってよい。例えば、BLEビーコン等を利用して、危険な機械とのおおよその距離と、方向、機械の種類、機械の情報だけを取得し、相対位置情報取得部30が取得する情報と合わせて、画像表示部10に表示する情報を変える構成であってよい。
【0037】
画像表示部10は、第1情報取得部20が取得するユーザーの第1部位の絶対位置情報および相対位置情報取得部30が取得する相対位置情報を取得してよい。画像表示部10は、第1情報取得部20が取得する絶対位置情報および相対位置情報取得部30が取得する相対位置情報に基づいて、画像を表示してよい。つまり、画像表示部10は、第1情報取得部20が取得するユーザーの第1部位の絶対位置情報および相対位置情報取得部30が取得する相対位置情報に基づいて、ユーザーの頭部の絶対位置情報を取得してよい。画像表示部10は、ユーザーの頭部の絶対位置情報に基づいて、画像を表示してよい。例えば、画像表示部10は、ユーザーの頭部の絶対位置が変化した場合、その変化量に応じて表示する画像を変化させる。ユーザーの頭部の絶対位置の変化量に応じて、表示するオブジェクトの大きさを変化させてよい。以上より、画像表示部10は第1情報取得部20が取得する絶対位置情報および相対位置情報取得部30が取得する相対位置情報に基づいて画像を表示するため、画像表示装置100を6DoFデバイスとして使用することができる。
【0038】
画像表示部10は、頭部の姿勢情報と第1部位の姿勢情報の差分に基づいて、画像を表示してよい。つまり、ユーザーの頭部の姿勢がユーザーの第1部位(首部)の姿勢と異なる場合に、表示する画像を変化させる。例えば、VR空間内の運転シミュレーションで表示される画像を例にして説明する。運転シミュレーションにおいて、頭部の姿勢と第1部位の姿勢が同じ場合、進行方向(前方)の画像を表示する。一方、頭部の姿勢と第1部位の姿勢が異なる場合、例えば運転中顔を横に向けた場合に視線に入る画像を表示する。このように頭部の姿勢情報と第1部位の姿勢情報の差分に基づいて、画像を表示することにより、ユーザーはAR、VR空間への没入感をさらに得ることができる。
【0039】
本例において、相対位置情報取得部30は、多関節ロボットアーム32を含む。多関節ロボットアーム32は、複数の関節を含んでよい。多関節ロボットアーム32は、画像表示部10および第1情報取得部20と接続してよい。多関節ロボットアーム32が画像表示部10および第1情報取得部20と接続しているため、画像表示部10と第1情報取得部20の相対位置情報を取得することができる。詳細は
図3で説明するが、相対位置情報取得部30は、多関節ロボットアーム32の各関節角度に基づいて、画像表示部10と第1情報取得部20の相対位置情報を取得してよい。なお前述した通りAR、VR空間への没入感を得るため、画像表示部10と第1情報取得部20の相対位置が変更可能であることが好ましい。したがって、多関節ロボットアーム32は、柔軟に移動可能であることが好ましい。また多関節ロボットアーム32の重量は小さいことが好ましい。多関節ロボットアーム32の重量が小さいことにより、ユーザーの負担を軽減することができる。
【0040】
なお画像表示装置100は、画像表示部10、第1情報取得部20および相対位置情報取得部30間で情報通信を行うため、不図示の通信手段を備えてよい。画像表示部10、第1情報取得部20および相対位置情報取得部30間は、有線接続されてよい。有線接続の場合、有線ケーブルが多関節ロボットアーム32内に埋め込まれてもよい。画像表示部10、第1情報取得部20および相対位置情報取得部30間は、無線接続されてもよい。無線接続とは、Bluetooth(登録商標)やWi-Fi(登録商標)等であってよい。画像表示装置100が通信手段を備えるため、画像表示部10、第1情報取得部20および相対位置情報取得部30間において相互に情報通信を行うことができる。
【0041】
また第1情報取得部20は、不図示の電源部を含んでよい。電源部は、画像表示部10に電力を供給してよい。電源部は、第1情報取得部20に埋め込まれてよい。電源部は、充電が可能なバッテリー等であってよい。電源部は、多関節ロボットアーム32を介して画像表示部10に電力を供給してよい。電源部は、不図示のワイヤ等を介して画像表示部10に電力を供給してよい。重量が大きい電源部を第1情報取得部20に設けることができるため、ユーザーの負担を軽減することができる。
【0042】
図3は、画像表示装置100の多関節ロボットアーム32の一例を示す図である。
図3の多関節ロボットアーム32は、第1関節34および第2関節36を含む。本例では、多関節ロボットアーム32は、2つの関節を含むが、3つ以上の関節を含んでもよい。
【0043】
第1関節34は、第1接続点38に設けられる。第1接続点38は、第1情報取得部20と多関節ロボットアーム32の接続点であってよい。第1接続点38は、第1情報取得部20と多関節ロボットアーム32を接続する部品であってよい。第1関節34が第1接続点38に設けられるとは、第1関節34を介して第1情報取得部20と多関節ロボットアーム32が接続していることであってよい。第1関節34が第1接続点38に設けられるとは、第1関節34が第1接続点38に接して設けられることであってもよい。
【0044】
本例の第1関節34は、第1回転方向40および第2回転方向42において回転可能である。
図3において、第1回転方向40および第2回転方向42を矢印で示している。第1回転方向40は、第1接続点38と接する第1情報取得部20の平面における回転方向である。第2回転方向42は、第1接続点38と接する第1情報取得部20の平面と垂直な平面における回転方向である。
【0045】
第2関節36は、第1接続点38と、第2接続点44との間に設けられる。第2接続点44は、第1情報取得部20と多関節ロボットアーム32の接続点であってよい。第2接続点44は、第1情報取得部20と多関節ロボットアーム32を接続する部品であってよい。また多関節ロボットアーム32の第1関節34(または第1接続点38)と第2関節36までの部分を第1アーム46とし、多関節ロボットアーム32の第2関節36から第2接続点44までの部分を第2アーム48とする。第2関節36は、第1アーム46と第2アーム48を接続する関節であってよい。
【0046】
本例の第2関節36は、第3回転方向50において回転可能である。
図3において、第3回転方向50を矢印で示している。第3回転方向50は、第1アーム46と第2アーム48が設けられる平面における回転方向である。
【0047】
相対位置情報取得部30は、第1角度センサ52を含む。第1角度センサ52は、第1関節34の角度を計測する。例えば、第1角度センサ52は、第1回転方向40および第2回転方向42における第1関節34の角度を計測する。第1角度センサ52は、第1回転方向40および第2回転方向42においてそれぞれ設けられていてよい。第1角度センサ52は、例えば、ロータリーセンサである。ロータリーセンサは、光学式、磁気式、電磁誘導式のいずれの方式であってよい。第1角度センサ52は、ひずみゲージ等を用いた曲げセンサであってもよい。第1角度センサ52を含むことにより、第1関節34(第1接続点38)に対する多関節ロボットアーム32の第2関節36の相対位置情報を取得可能である。
【0048】
第1角度センサ52は、第1関節34に設けられてよい。第1角度センサ52は、第1関節34に接して設けられてよい。第1角度センサ52は、第1関節34の近傍に(例えば、0.5cm~1.0cm離れて)設けられてよい。第1角度センサ52は、第1接続点38に設けられてよい。第1角度センサ52は、第1接続点38に接して設けられてよい。第1角度センサ52は、第1接続点38の近傍に(例えば、0.5cm~1.0cm離れて)設けられてよい。第1角度センサ52は、相対位置情報取得部30に設けられてもよい。第1角度センサ52が第1関節34または第1接続点38に設けられるため、第1角度センサ52を第1情報取得部20の近傍に配置することができ、通信手段であるワイヤ等をコンパクトにすることができる。本例では、第1回転方向40の角度を計測する第1角度センサ52-1、第2回転方向42の角度を計測する第1角度センサ52-2が設けられている。
【0049】
相対位置情報取得部30は、第2角度センサ54を含む。第2角度センサ54は、第2関節36の角度を計測する。例えば、第2角度センサ54は、第3回転方向50における第2関節36の角度を計測する。第2角度センサ54は、例えば、ロータリーセンサである。第2角度センサ54は、ひずみゲージ等を用いた曲げセンサであってもよい。第2角度センサ54を含むことにより、多関節ロボットアーム32の第2関節36に対する第2接続点44(つまり、画像表示部10)の相対位置情報を取得可能である。したがって、第1角度センサ52および第2角度センサ54を備えることにより、第1情報取得部20に対する画像表示部10の相対位置情報を取得可能である。つまり、第1角度センサ52および第2角度センサ54を備えることにより、相対位置情報取得部30は、多関節ロボットアーム32の各関節角度に基づいて、画像表示部10と第1情報取得部20の相対位置情報を取得することができる。
【0050】
第2角度センサ54は、第2関節36に設けられてよい。第2角度センサ54は、第2関節36に接して設けられてよい。第2角度センサ54は、第2関節36の近傍に(例えば、0.5cm~1.0cm離れて)設けられてよい。第2角度センサ54が第2関節36に設けられるため、直接第2関節36の角度を計測することができ、高精度に第2関節36の角度を計測可能である。
【0051】
第2接続点44において、多関節ロボットアーム32(第2アーム48)と画像表示部10(フレーム14)は、自由回転できるように接続されてよい。また第2接続点44において、角度センサが設けられていてもよい。第2接続点44に角度センサが設けられる場合、第1情報取得部20に対する画像表示部10の相対位置情報をより高精度に取得可能である。また第2接続点44において、関節が設けられていてもよい。
【0052】
図4は、極座標系を示す図である。
図4に示す通り、極座標系の位置は、Z軸を中心とした回転角度φと、Z軸に対する傾きθおよび距離rによって計算可能である。多関節ロボットアーム32において、距離rは第1アーム46および第2アーム48の長さと、それらがなす角度、すなわち第2角度センサ54の角度から算出可能である。それに加え、Z軸を中心とした回転角度φを第1角度センサ52-1から、Z軸に対する傾きθを第1角度センサ52-2から取得することで、第1情報取得部20に対する画像表示部10の相対位置情報を取得可能である。
【0053】
図5は、画像表示装置200の多関節ロボットアーム32の一例を示す図である。画像表示装置200は、多関節ロボットアーム32の構成が画像表示装置100と異なる。画像表示装置200のそれ以外の構成は、画像表示装置100と同一であってよい。なお画像表示装置100と同一の構成に関しては、説明を省略する。
【0054】
本例の多関節ロボットアーム32は、第3アーム56、第4アーム58および第5アーム60を含む。第3アーム56は、第1関節34に設けられてよい。第3アーム56は、第1接続点38に設けられてよい。第3アーム56は、第1アーム46と別方向に延伸してよい。つまり、第1アーム46と第3アーム56のなす角度θ2とした場合、θ2は0°または180°以外であってよい。
【0055】
第4アーム58は、第2関節36に設けられてよい。第4アーム58は、第2アーム48と一直線に設けられてよい。第4アーム58は、第2関節36において第2アーム48と反対側に設けられてよい。第4アーム58は、第2アーム48と平行であってよい。
【0056】
第5アーム60は、第3アーム56と接続してよい。第3関節62は、第3アーム56と第5アーム60を接続してよい。第5アーム60は、第4アーム58と接続してよい。第4関節64は、第4アーム58と第5アーム60を接続してよい。
【0057】
第1アーム46、第3アーム56、第4アーム58および第5アーム60が成す形状は、平行四辺形状であってよい。つまり、第1アーム46と第5アーム60は平行であってよい。第1アーム46の長さと第5アーム60の長さは同一であってよい。第3アーム56と第4アーム58は平行であってよい。第3アーム56の長さと第4アーム58の長さは同一であってよい。第1アーム46、第3アーム56、第4アーム58および第5アーム60が成す形状を平行四辺形状にすることにより、重心がコンパクトになり、安定性が高くなる。
【0058】
本例において第2角度センサ54は、第1接続点38に設けられる。第2角度センサ54は、第1関節34に設けられてもよい。本例において第1アーム46、第3アーム56、第4アーム58および第5アーム60が成す形状は、平行四辺形状であるため、第2関節36の角度(第1アーム46と第2アーム48がなす角度θ1)は、第1アーム46と第3アーム56のなす角度θ2と等しくなる。第1アーム46と第3アーム56のなす角度θ2を取得すれば、第2関節36の角度を計測することが可能である。第1アーム46と第3アーム56はそれぞれ第1接続点38に設けられるため、第2角度センサ54を第1接続点38に設けることができる。第2角度センサ54を第1接続点38に設けることにより、通信手段であるワイヤ等をコンパクトにすることができる。また
図5における第2角度センサ54は、
図3における第1角度センサ52-1と同一の機能を有してよい。
図5における第2角度センサ54は、第2関節36の角度を計測するとともに、第2回転方向42(
図3参照)における第1関節34の角度を計測してよい。
【0059】
図6は、画像表示装置200の多関節ロボットアーム32の別の例を示す図である。
図6の画像表示装置200は、多関節ロボットアーム32の角度が
図5の画像表示装置200と異なる。
図6の画像表示装置200のそれ以外の構成は、
図5の画像表示装置200と同一であってよい。なお画像表示装置200と同一の構成に関しては、説明を省略する。
図6において、多関節ロボットアーム32の角度がθ1からθ3変わった場合でも、角度θ4を計測することで角度θ3を計測することができる。
図6において、角度θ3、θ4は、角度θ1、θ2より大きい。
【0060】
図7は、画像表示装置300の構成の一例を示す斜視図である。画像表示装置300は、相対位置情報取得部30の構成が画像表示装置100と異なる。画像表示装置300のそれ以外の構成は、画像表示装置100と同一であってよい。なお画像表示装置100と同一の構成に関しては、説明を省略する。
【0061】
本例において、相対位置情報取得部30は、カメラ66を含む。カメラ66は、第1情報取得部20に設けられてよい。カメラ66は、画像情報を取得する。カメラ66は、カメラ66の映像を利用したSLAM技術により、画像表示部10と第1情報取得部20の相対位置情報を取得してもよい。カメラ66は、カメラ22を兼ねてよく、カメラ22をSLAMの計算に利用してもよい。相対位置情報取得部30は、複数のカメラ66を含んでよい。本例において、相対位置情報取得部30は、2つのカメラ66を含む。
【0062】
カメラ66は、画像表示部10の画像情報を取得してよい。したがって、カメラ66は、画像表示部10に対向して設けられる。画像表示部10の画像情報とは、画像表示部10全体の画像情報であってよい。画像表示部10の画像情報とは、画像表示部10の一部の画像情報であってよい。画像表示部10の画像情報は、画像表示部10の少なくとも一部の画像情報であってよい。
【0063】
本例において、相対位置情報取得部30は、カメラ66が取得した画像表示部10の画像情報に基づいて、画像表示部10と第1情報取得部20の相対位置情報を取得する。例えば、画像表示部10と第1情報取得部20の相対位置が既知の状態で画像表示部10の画像情報を事前に取得し、画像表示部10の画像情報と相対位置の情報をあらかじめ紐づける。事前に取得した画像表示部10の画像情報と新たに取得した画像表示部10の画像情報を比較し、画像表示部10と第1情報取得部20の相対位置を推定する。例えば、画像表示部10の特定の部位に着目した場合、事前に取得した画像表示部10の画像情報に比べ、新たに取得した画像表示部10の画像情報の方が画像表示部10の特定の部位が大きい場合、画像表示部10と第1情報取得部20の相対位置は小さくなる。したがって、カメラ66を備えることにより、画像表示部10と第1情報取得部20の相対位置情報を取得することが可能である。この場合、画像表示部10と第1情報取得部20を直接接続する必要がなく、AR、VR空間への没入感をさらに得ることができる。
【0064】
画像表示部10は、マーカー68を含んでよい。カメラ66は、マーカー68を含んだ画像情報を取得してよい。マーカー68を含んだ画像情報とは、マーカー68の少なくとも一部の画像情報であってよい。マーカー68を含んだ画像情報とは、マーカー68全体の画像情報であってよい。マーカー68は、画像表示部10に対して突出していてよい。本例において、マーカー68は、第1姿勢センサ16に接して設けられる。マーカー68を設けることにより、ユーザーの耳や髪等によって画像表示部10が認識しにくい場合に、画像表示部10の画像情報を取得しやすくなる。本例において、マーカー68は、画像表示部10に2つ設けられているが、3つ以上設けられていてもよい。設けるマーカー68の数を増加させることにより、画像表示部10の画像情報取得精度を向上することができる。また、マーカー68の画像情報取得精度が低下して、尤度が下がった場合には尤度に応じて、画像表示部10に投影する映像の明るさを変更することが好ましい。尤度とは、画像情報に基づいて推測される相対位置の算出結果が、どれほど確からしいかといった確率情報である。例えば識別できたマーカー68の数が少ない場合や、マーカー68が障害物によって隠れている場合は、推定された相対位置情報が誤っている確率が高くなり、尤度が低くなる。
【0065】
図8は、画像表示装置400の構成の一例を示す斜視図である。画像表示装置400は、相対位置情報取得部30の構成が画像表示装置100と異なる。画像表示装置400のそれ以外の構成は、画像表示装置100と同一であってよい。なお画像表示装置100と同一の構成に関しては、説明を省略する。
【0066】
第1情報取得部20は、第2姿勢センサ70を含んでよい。第2姿勢センサ70は、第1情報取得部20に設けられてよい。第2姿勢センサ70は、第1情報取得部20に接するように設けられてよい。第2姿勢センサ70は、ユーザーの第1部位の姿勢情報を取得してよい。姿勢情報とは、X軸、Y軸、Z軸等の各軸に対する傾きを示す情報であってよい。姿勢情報とは、X軸、Y軸、Z軸等の各軸に対して傾いていない場合を初期状態とした場合、当該初期状態からの傾きの変化を示す情報であってよい。また、第2姿勢センサ70は、第1情報取得部20の姿勢情報を取得してよい。第2姿勢センサ70は、第1情報取得部20の姿勢情報を取得することにより、ユーザーの第1部位の姿勢情報を取得してよい。第2姿勢センサ70は、一例としてIMUセンサである。IMUセンサは、角速度センサ、加速度センサ等を含んでよい。本例では、1つの第2姿勢センサ70が、画像表示部10に設けられているが、複数の第2姿勢センサ70が、画像表示部10に設けられていてもよい。なお第2姿勢センサ70は、カメラ22の情報から算出されたSLAM等による姿勢情報をもとにしてもよい。また、カメラ22が第1情報取得部20の姿勢情報を取得する機能を有していてもよい。
【0067】
本例において、相対位置情報取得部30は、第1姿勢センサ16および第2姿勢センサ70を含む。つまり本例において相対位置情報取得部30は、頭部の姿勢情報および第1部位の姿勢情報に基づいて、画像表示部10と第1情報取得部20の相対位置情報を取得する。例えば、画像表示部10の姿勢情報と第1情報取得部20の姿勢情報から画像表示部10と第1情報取得部20の相対位置情報を取得する関数を事前のキャリブレーションで取得する。相対位置情報を取得する関数とは、画像表示部10の姿勢情報および第1情報取得部20の姿勢情報をそれぞれ変数として入力した場合に、画像表示部10と第1情報取得部20の相対位置情報を算定する関数である。画像表示部10の姿勢情報と第1情報取得部20の姿勢情報から画像表示部10と第1情報取得部20の相対位置情報を取得する関数を事前のキャリブレーションで取得することにより、画像表示部10の姿勢情報と第1情報取得部20の姿勢情報から画像表示部10と第1情報取得部20の相対位置情報を取得することができる。また相対位置情報取得部30は、画像表示部10の姿勢情報と第1情報取得部20の姿勢情報から画像表示部10と第1情報取得部20の相対位置情報を取得できない場合、その旨を画像表示部10に通知してもよい。
【0068】
事前のキャリブレーションにおいて、第1姿勢センサ16の取得するZ軸に対する傾き、X軸に対する傾き、Y軸に対する傾きをy1、r1、p1とする。また、事前のキャリブレーションにおいて、第2姿勢センサ70の取得するZ軸に対する傾き、X軸に対する傾き、Y軸に対する傾きをy2、r2、p2とする。また、y3、r3、p3をそれぞれ(y1-y2)、(r1-r2)、(p1-p3)とする。y3、r3、p3の時の、既知である相対位置角度を記憶しデータベースに保存する。y3、r3、p3と相対位置角度の関係は複数取得してデータベースに保存する。推定時において、y3、r3、p3を新たに取得し、データベースとの差が最小の相対位置角度を推定相対位置角度としてよい。推定相対位置角度は、複数の値から補間することにより取得してもよい。
【0069】
相対位置情報取得部30は、推定相対位置角度を取得後、推定相対位置角度から相対位置を取得してよい。相対位置情報取得部30は、ユーザーの身体的情報に基づいて、画像表示部10と第1情報取得部20の相対位置情報を取得してもよい。ユーザーの身体的情報と取得した推定相対位置角度から相対位置を取得してよい。ユーザーの身体的情報とは、例えば、ユーザーの目から首部までの距離L(
図9参照)、ユーザーの身長、首の長さ等である。また、ユーザーの身体的情報を変数としてもよい。つまり、画像表示部10の姿勢情報、第1情報取得部20の姿勢情報、ユーザーの身体的情報から画像表示部10と第1情報取得部20の相対位置情報を取得する関数を事前のキャリブレーションで取得してよい。
【0070】
ユーザーの変更がない場合、つまり同一人物で相対位置情報を取得する場合は、再度のキャリブレーションの必要はない。一方、ユーザーが変更された場合は、再度のキャリブレーションが必要である。この場合、元のユーザーの目から首部までの距離をL1とし、新たにキャリブレーションするユーザーの目から首部までの距離をL2とした場合、比L1/L2を用いて、前述した相対位置情報を取得する関数を推定することができる。例えば、相対位置の距離を比L2/L1倍する。ユーザーの目から首部までの距離の比により、簡易的にキャリブレーションすることが可能である。なお首部の長さや身長の比でキャリブレーションしてもよい。ユーザーごとに、新たにキャリブレーションしなおしてもよい。
【0071】
図9は、画像表示装置100がユーザーに装着される例を示す図である。
図9に示す通り、画像表示部10は、ユーザーの頭部に装着されてよい。
図9に示す通り、第1情報取得部20は、ユーザーの首部に装着されてよい。
図9において、ユーザーの目から首部までの距離をLで示している。
【0072】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0073】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。
【符号の説明】
【0074】
10・・画像表示部、12・・ディスプレイ、14・・フレーム、16・・第1姿勢センサ、20・・第1情報取得部、22・・カメラ、30・・相対位置情報取得部、32・・多関節ロボットアーム、34・・第1関節、36・・第2関節、38・・第1接続点、40・・第1回転方向、42・・第2回転方向、44・・第2接続点、46・・第1アーム、48・・第2アーム、50・・第3回転方向、52・・第1角度センサ、54・・第2角度センサ、56・・第3アーム、58・・第4アーム、60・・第5アーム、62・・第3関節、64・・第4関節、66・・カメラ、68・・マーカー、70・・第2姿勢センサ、100・・画像表示装置、200・・画像表示装置、300・・画像表示装置
【手続補正書】
【提出日】2024-02-08
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ユーザーの頭部に装着され、画像を表示する画像表示部と、
前記頭部以外の第1部位に装着され、前記第1部位に関する第1情報を取得し、前記画像表示部に対する相対位置が変更可能である第1情報取得部と、
前記画像表示部と前記第1情報取得部の相対位置情報を取得する相対位置情報取得部と
を備え、
前記第1情報は、前記第1部位の絶対位置情報および前記第1部位の姿勢情報を含み、
前記相対位置情報取得部は、前記画像表示部および前記第1情報取得部と接続する多関節ロボットアームを含み、
前記相対位置情報取得部は、前記多関節ロボットアームの各関節角度に基づいて、前記画像表示部と前記第1情報取得部の相対位置情報を取得する、画像表示装置。
【請求項2】
前記画像表示部は、
前記絶対位置情報および前記相対位置情報を取得し、
前記絶対位置情報および前記相対位置情報に基づいて、画像を表示する、請求項1に記載の画像表示装置。
【請求項3】
前記画像表示部は、前記頭部の姿勢情報を取得する第1姿勢センサを含む、請求項2に記載の画像表示装置。
【請求項4】
前記画像表示部は、前記頭部の姿勢情報と前記第1部位の姿勢情報の差分に基づいて、画像を表示する、請求項3に記載の画像表示装置。
【請求項5】
前記画像表示部は、ARグラスである、請求項1に記載の画像表示装置。
【請求項6】
前記第1情報取得部は、前記画像表示部に電力を供給する電源部を含む、請求項1に記載の画像表示装置。
【請求項7】
前記第1情報取得部は、ユーザーの首部に装着される、請求項1から6のいずれか1項に記載の画像表示装置。
【請求項8】
前記多関節ロボットアームは、前記第1情報取得部と前記多関節ロボットアームの接続点である第1接続点に設けられた第1関節を含み、
前記相対位置情報取得部は、前記第1関節の角度を計測する第1角度センサを含む、請求項1に記載の画像表示装置。
【請求項9】
前記多関節ロボットアームは、前記第1情報取得部と前記多関節ロボットアームの接続点である第1接続点と、前記画像表示部と前記多関節ロボットアームの接続点である第2接続点との間に設けられた第2関節を含み、
前記相対位置情報取得部は、前記第2関節の角度を計測する第2角度センサを含む、請求項1または8に記載の画像表示装置。
【請求項10】
前記第2角度センサは、前記第2関節に設けられる、請求項9に記載の画像表示装置。
【請求項11】
前記第2角度センサは、前記第1接続点に設けられる、請求項9に記載の画像表示装置。
【請求項12】
ユーザーの頭部に装着され、画像を表示する画像表示手段と、
前記頭部以外の第1部位に装着され、前記第1部位に関する第1情報を取得し、前記画像表示手段に対する相対位置が変更可能である第1情報取得手段と、
前記画像表示手段と前記第1情報取得手段の相対位置情報を取得する相対位置情報取得手段と
を備え、
前記第1情報は、前記第1部位の絶対位置情報および前記第1部位の姿勢情報を含み、
前記相対位置情報取得手段は、前記画像表示手段および前記第1情報取得手段と接続する多関節ロボットアームを含み、
前記相対位置情報取得手段は、前記多関節ロボットアームの各関節角度に基づいて、前記画像表示手段と前記第1情報取得手段の相対位置情報を取得する、画像表示システム。