特許 7614256 情報共有システム、ウェアラブル装置、情報共有方法、及び情報共有プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-01-06

(45)【発行日】2025-01-15

(54)【発明の名称】情報共有システム、ウェアラブル装置、情報共有方法、及び情報共有プログラム

(51)【国際特許分類】

   H04N 21/258 20110101AFI20250107BHJP

   H04N 21/431 20110101ALI20250107BHJP

   H04N 7/18 20060101ALI20250107BHJP

   G06F 3/01 20060101ALI20250107BHJP

   G06F 3/0346 20130101ALI20250107BHJP

   G06F 3/038 20130101ALI20250107BHJP

【ＦＩ】

H04N21/258

H04N21/431

H04N7/18 U

G06F3/01 510

G06F3/0346 421

G06F3/038 310A

【請求項の数】 8

(21)【出願番号】P 2023104127

(22)【出願日】2023-06-26

【審査請求日】2023-06-26

(73)【特許権者】

【識別番号】505205731

【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド

(74)【代理人】

【識別番号】100112737

【弁理士】

【氏名又は名称】藤田 考晴

(74)【代理人】

【識別番号】100136168

【弁理士】

【氏名又は名称】川上 美紀

(74)【代理人】

【識別番号】100140914

【弁理士】

【氏名又は名称】三苫 貴織

(74)【代理人】

【識別番号】100172524

【弁理士】

【氏名又は名称】長田 大輔

(72)【発明者】

【氏名】野田 明良

【審査官】富樫 明

(56)【参考文献】

【文献】特表２０１８－５１９７２９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０１５５２４５（ＵＳ，Ａ１）

【文献】特開２０１２－２１６１３５（ＪＰ，Ａ）

【文献】特開２００５－１７４０２１（ＪＰ，Ａ）

【文献】特開２０１７－０６９６８７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０３６６０２９（ＵＳ，Ａ１）

【文献】米国特許第１１２９５５２５（ＵＳ，Ｂ１）

【文献】国際公開第２０１７／１８７７６４（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１３／００８０２５６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００５／０２６７８２６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

Ｈ０４Ｎ ７／００ － ７／５６

Ｇ０６Ｆ ３／００ － ３／１８

(57)【特許請求の範囲】

【請求項1】

ユーザが装着するウェアラブル装置と、当該ユーザとは別のユーザが操作する情報処理装置を有する情報共有システムであって、
前記ウェアラブル装置は、
少なくとも前記ユーザの位置および視線方向を特定するための複数のセンサと、
前記ユーザの移動と前記視線方向の変化に伴って動画を撮影するカメラと、
前記カメラが撮影した前記動画の動画データを、前記動画の各時点において前記センサで取得した前記ユーザの前記位置および前記視線方向を特定する情報と関連付けられた状態で取得するデータ取得手段と、
少なくとも前記動画データを送信する送信手段と、を備え、
前記情報処理装置は、
前記動画データを取得する情報取得手段と、
過去の前記動画データにおける特定の時点における前記ユーザに対する指示を前記別のユーザから受け付け前記動画データに対して設定するための入力手段と、
前記特定の時点を特定する情報、または前記特定の時点に対応する前記ユーザの前記位置および前記視線方向を特定する情報のうちの少なくともいずれか一方と、前記ユーザに対する指示とを含む指示情報を送信する送信手段と、
を備え、
前記ウェアラブル装置は、前記指示情報に基づいて特定される前記ユーザの前記位置へ前記ユーザを案内する情報と、前記指示情報に基づいて特定される前記ユーザの前記視線方向を指示する情報と、を表示する表示手段を備えること、
を特徴とする情報共有システム。

【請求項2】

前記ウェアラブル装置は、前記指示情報に基づいて特定される前記ユーザの前記位置において前記指示情報に基づいて特定される前記ユーザの前記視線方向が表示された場合に、前記ユーザに対する指示を表示する請求項１に記載の情報共有システム。

【請求項3】

前記ウェアラブル装置は、加速度センサと、ジャイロセンサと、を備える請求項１に記載の情報共有システム。

【請求項4】

前記ウェアラブル装置は、ＡＲグラスである請求項１に記載の情報共有システム。

【請求項5】

前記ウェアラブル装置における前記ユーザに対する指示を表示させる画面奥行方向の距離を設定する奥行距離設定手段を備える請求項１に記載の情報共有システム。

【請求項6】

少なくともユーザの位置および視線方向を特定するための複数のセンサと、
前記ユーザの移動と前記視線方向の変化に伴って動画を撮影するカメラと、
前記カメラが撮影した前記動画の動画データを、前記動画の各時点において前記センサで取得した前記ユーザの前記位置および前記視線方向を特定する情報と関連付けられた状態で取得するデータ取得手段と、
少なくとも前記動画データを送信する送信手段と、
を備え、
前記動画の前記動画データにおける特定の時点を特定する情報、または前記特定の時点に対応する前記ユーザの前記位置および前記視線方向を特定する情報のうちの少なくともいずれか一方と、前記ユーザに対する指示とを含み過去の前記動画データに対して設定された指示情報を受信した場合に、
前記指示情報に基づいて特定される前記ユーザの前記位置へ前記ユーザを案内する情報と、前記指示情報に基づいて特定される前記ユーザの前記視線方向を指示する情報と、を表示する表示手段を備えるウェアラブル装置。

【請求項7】

少なくともユーザの位置および視線方向を特定する工程と、
前記ユーザの移動と前記視線方向の変化に伴って動画を撮影する工程と、
前記動画の動画データを、前記動画の各時点において、前記ユーザの前記位置および前記視線方向を特定する情報と関連付けられた状態で取得する工程と、
少なくとも前記動画データを送信する工程と、
前記動画データを取得する工程と、
過去の前記動画データにおける特定の時点における前記ユーザに対する指示を別のユーザから受け付け前記動画データに対して設定する工程と、
前記特定の時点を特定する情報、または前記特定の時点に対応する前記ユーザの前記位置および前記視線方向を特定する情報のうちの少なくともいずれか一方と、前記ユーザに対する指示とを含む指示情報を送信する工程と、をコンピュータが実行する情報共有方法。

【請求項8】

コンピュータを請求項１に記載の情報共有システムとして機能させるための情報共有プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報共有システム、ウェアラブル装置、情報共有方法、及び情報共有プログラムに関するものである。

【背景技術】

【0002】

表示装置、特に現実のユーザの視界に重ねて画像や映像などのデジタル表示がレンズ上に表示されるＡＲグラス（Augmented Reality、拡張現実）が知られている。ＡＲグラスにおけるデジタル表示は、ＡＲグラスと画面共有を行うＰＣ（Personal Computer、パーソナルコンピュータ）から出される指示が表示される場合がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかし、上述したような従来の方式では、ＰＣから出される指示は、ＡＲグラスに表示される２次元の表示でしかないという不都合があった。
このため、ＡＲグラスを装着するユーザにとってはその指示が認識しづらいという問題があった。

【0004】

本開示は、このような事情に鑑みてなされたものであって、指示が３次元で表現される情報共有システム、表示装置、情報共有方法、及び情報共有プログラムを提供することを目的とする。

【課題を解決するための手段】

【0005】

上記課題を解決するために、本開示の情報共有システム、ウェアラブル装置、情報共有方法、及び情報共有プログラムは以下の手段を採用する。
本開示の一態様は、ユーザが装着するウェアラブル装置と、当該ユーザとは別のユーザが操作する情報処理装置を有する情報共有システムであって、前記ウェアラブル装置は、少なくとも前記ユーザの位置および視線方向を特定するための複数のセンサと、前記ユーザの移動と前記視線方向の変化に伴って動画を撮影するカメラと、前記カメラが撮影した前記動画の動画データを、前記動画の各時点において前記センサで取得した前記ユーザの前記位置および前記視線方向を特定する情報と関連付けられた状態で取得するデータ取得手段と、少なくとも前記動画データを送信する送信手段と、を備え、前記情報処理装置は、前記動画データを取得する情報取得手段と、過去の前記動画データにおける特定の時点における前記ユーザに対する指示を前記別のユーザから受け付け前記動画データに対して設定するための入力手段と、前記特定の時点を特定する情報、または前記特定の時点に対応する前記ユーザの前記位置および前記視線方向を特定する情報のうちの少なくともいずれか一方と、前記ユーザに対する指示とを含む指示情報を送信する送信手段と、を備え、前記ウェアラブル装置は、前記指示情報に基づいて特定される前記ユーザの前記位置へ前記ユーザを案内する情報と、前記指示情報に基づいて特定される前記ユーザの前記視線方向を指示する情報と、を表示する表示手段を備えること、を特徴とする情報共有システムである。

【0006】

本開示の一態様は、少なくともユーザの位置および視線方向を特定するための複数のセンサと、前記ユーザの移動と前記視線方向の変化に伴って動画を撮影するカメラと、前記カメラが撮影した前記動画の動画データを、前記動画の各時点において前記センサで取得した前記ユーザの前記位置および前記視線方向を特定する情報と関連付けられた状態で取得するデータ取得手段と、少なくとも前記動画データを送信する送信手段と、を備え、前記動画の前記動画データにおける特定の時点を特定する情報、または前記特定の時点に対応する前記ユーザの前記位置および前記視線方向を特定する情報のうちの少なくともいずれか一方と、前記ユーザに対する指示とを含み過去の前記動画データに対して設定された指示情報を受信した場合に、前記指示情報に基づいて特定される前記ユーザの前記位置へ前記ユーザを案内する情報と、前記指示情報に基づいて特定される前記ユーザの前記視線方向を指示する情報と、を表示する表示手段を備えるウェアラブル装置である。

【0007】

本開示の一態様は、少なくともユーザの位置および視線方向を特定する工程と、前記ユーザの移動と前記視線方向の変化に伴って動画を撮影する工程と、前記動画の動画データを、前記動画の各時点において、前記ユーザの前記位置および前記視線方向を特定する情報と関連付けられた状態で取得する工程と、少なくとも前記動画データを送信する工程と、前記動画データを取得する工程と、過去の前記動画データにおける特定の時点における前記ユーザに対する指示を別のユーザから受け付け前記動画データに対して設定する工程と、前記特定の時点を特定する情報、または前記特定の時点に対応する前記ユーザの前記位置および前記視線方向を特定する情報のうちの少なくともいずれか一方と、前記ユーザに対する指示とを含む指示情報を送信する工程と、をコンピュータが実行する情報共有方法である。

【0008】

本開示の一態様は、コンピュータを上記情報共有システムとして機能させるための情報共有プログラムである。

【発明の効果】

【0009】

本開示によれば、ウェアラブル装置を所有するユーザに対し、指示が設定された位置へユーザを案内する情報、および指示が設定された位置での視線方向の指示を表示することで、ユーザは３次元の情報を得て視線方向まで特定することができ、視覚的にわかりやすく情報共有を行うことができる。

【図面の簡単な説明】

【0010】

【図1】本開示の幾つかの実施形態における情報処理装置の表示を示す図である。

【図2】本開示の幾つかの実施形態における各装置のハードウェア構成の一例を示す図である。

【図3】本開示の幾つかの実施形態における情報共有システムが有する機能の一例を示す図である。

【図4】本開示の幾つかの実施形態におけるユーザの移動軌跡を示す図である。

【図5】本開示の幾つかの実施形態におけるユーザの移動軌跡を示す図である。

【図6】本開示の幾つかの実施形態における情報共有システムの制御フローを示す図である。

【図7】本開示の幾つかの実施形態における情報処理装置の表示を示す図である。

【図8】本開示の幾つかの実施形態における情報処理装置の奥行方向の表示を示す図である。

【発明を実施するための形態】

【0011】

以下に、本開示に係る情報共有システム、ウェアラブル装置、情報共有方法、及び情報共有プログラムの一実施形態について、図面を参照して説明する。

【0012】

図１は、本開示の幾つかの実施形態における情報処理装置の表示を示した図である。
本開示に係る情報共有システム１は、ＡＲグラス（Augmented Reality、拡張現実）（ウェアラブル装置）３０、情報処理装置（ＰＣ）４０及びサーバ５０を備える。ＡＲグラス３０及び情報処理装置４０は、それぞれサーバ５０に接続される。ＡＲグラス３０は、複数のセンサ及びカメラを備えており、カメラで撮影した動画は、動画データ１２としてサーバ５０を介して情報処理装置４０に共有される。本実施形態では、ウェアラブル装置３０はＡＲグラス３０であるとしたが、動画を表示可能なウェアラブル機器であればその種類は問わない。

【0013】

ＡＲグラス３０は例えば眼鏡形状であり、透明なレンズに画像や映像を表示可能である。レンズが透明であることから、ユーザは外界の景色を認識可能である。レンズに表示される画像や映像は、外界の景色に重ねて表示され、ユーザの視界とレンズ上のデジタル表示が一体化される。

【0014】

図１に示されるように、情報処理装置４０において、アプリケーション１１が用いられ、ＡＲグラス３０のカメラで撮影された動画データ１２が表示される。アプリケーション１１の動画データ１２の下部にはシークバー（タイムバー）１３が表示され、スライダー１４をスライドさせることにより、任意の時間における動画データ１２がアプリケーション１１に表示される。

【0015】

図２は、本開示の幾つかの実施形態における各装置のハードウェア構成の一例を示した図である。
図２に示すように、ＡＲグラス３０、情報処理装置４０、サーバ５０は、それぞれコンピュータシステム（計算機システム）であり、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：プロセッサ）１１００、二次記憶装置（ＲＯＭ、Ｓｅｃｏｎｄａｒｙ ｓｔｏｒａｇｅ：メモリ）１２００、主記憶装置（ＲＡＭ、Ｍａｉｎ Ｍｅｍｏｒｙ）１３００、大容量記憶装置としてのハードディスクドライブ（ＨＤＤ）１４００と、ネットワーク等に接続するための通信部１５００とを備えている。なお、大容量記憶装置としては、ソリッドステートドライブ（ＳＳＤ）を用いることとしてもよい。これら各部は、バス１８００を介して接続されている。

【0016】

ＣＰＵ１１００は、例えば、バス１８００を介して接続された二次記憶装置１２００に格納されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）によりＡＲグラス３０、情報処理装置４０、サーバ５０全体の制御を行うとともに、二次記憶装置１２００に格納された各種プログラムを実行することにより各種処理を実行する。ＣＰＵ１１００は、１つ又は複数設けられており、互いに協働して処理を実現してもよい。

【0017】

主記憶装置１３００は、例えば、キャッシュメモリ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の書き込み可能なメモリで構成され、ＣＰＵ１１００の実行プログラムの読み出し、実行プログラムによる処理データの書き込み等を行う作業領域として利用される。

【0018】

二次記憶装置１２００は、非一時的なコンピュータ読み取り可能な記録媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）である。二次記憶装置１２００は、例えば、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどである。二次記憶装置１２００の一例として、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）フラッシュメモリなどが挙げられる。二次記憶装置１２００は、例えば、Ｗｉｎｄｏｗｓ（登録商標）、ｉＯＳ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）等の情報処理装置全体の制御を行うためのＯＳ、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、周辺機器類をハードウェア操作するための各種デバイスドライバ、各種アプリケーションソフトウェア、及び各種データやファイル等を格納する。また、二次記憶装置１２００には、各種処理を実現するためのプログラムや、各種処理を実現するために必要とされる各種データが格納されている。二次記憶装置１２００は、複数設けられていてもよく、各二次記憶装置１２００に上述したようなプログラムやデータが分割されて格納されていてもよい。

【0019】

また、ＡＲグラス３０、情報処理装置４０、サーバ５０は、キーボードやマウス等からなる入力部や、データを表示する液晶表示装置等からなる表示部などを備えていてもよい。また、表示部を含み、ランプ、音、特にアラーム音を出力するスピーカーなどの通知部を備えていてもよい。

【0020】

図３は、本開示の幾つかの実施形態における情報共有システムが有する機能の一例を示した図である。
図３に示すように、情報共有システム１は、ＡＲグラス３０と、情報処理装置４０と、サーバ５０と、を備えている。ＡＲグラス３０は、センサ部（センサ）３１と、カメラ部（カメラ）３２と、動画データ送信部（送信手段）３３と、データ取得部（データ取得手段）３４と、表示部（表示手段）３５と、を備えている。情報処理装置４０は、指示設定部（入力手段）４１と、送信部４２と、を備えている。サーバ５０は、動画データ取得部（情報取得手段）５１と、送受信部（送信手段）５２と、を備えている。

【0021】

ＡＲグラス３０、情報処理装置４０、サーバ５０が備える機能を実現するための一連の処理は、一例として、プログラムの形式で二次記憶装置１２００（図２参照）などに記憶されており、このプログラムをＣＰＵ（プロセッサ）１１００（図２参照）が主記憶装置１３００（図２参照）に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。なお、プログラムは、二次記憶装置１２００に予めインストールされている形態や、他の非一時的なコンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。非一時的なコンピュータ読み取り可能な記憶媒体の一例として、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどが挙げられる。

【0022】

上述したように、情報共有システム１は、ＡＲグラス３０、情報処理装置４０及びサーバ５０を備える。
ＡＲグラス３０は、ユーザが装着し、ユーザの移動と視線方向の変化に伴ってユーザの位置および視線方向を特定する情報であるセンサ情報および動画データ１２を取得しサーバ５０に送信する。また、サーバ５０から指示情報を受け取ると、ユーザの視界に重ねて画像や映像などのデジタル表示がレンズ上に表示される。
サーバ５０は、ＡＲグラス３０が取得した動画データ１２を取得し、動画データ１２を情報処理装置４０に共有する。情報処理装置４０から動画データ１２における特定の時点におけるユーザに対する指示を受け取ると、特定の時点を特定する情報、または特定の時点に対応するユーザの位置および視線方向を特定する情報のうち少なくともいずれか一方と、ユーザに対する指示とを含む指示情報をＡＲグラス３０に送信する。
情報処理装置４０は、ＡＲグラス３０を装着するユーザとは別のユーザであるオペレータが操作し、共有された動画データ１２に対して、ＡＲグラス３０を装着するユーザへの指示を受け付け、設定する。指示は、動画データ上に設定される。設定された指示はサーバ５０に送信される。

【0023】

図３に示されるＡＲグラス３０のセンサ部３１は、ＡＲグラス３０の移動と視線方向の変化に伴ってユーザの位置および視線方向を特定する情報であるセンサ情報を取得する。ＡＲグラス３０には、例えば加速度センサ、ジャイロセンサなどが備えられており、センサ部３１は、センサ情報として加速度情報、ジャイロ情報などを取得する。センサ部３１は、センサ情報としてＧＰＳ（Global Positioning System、全地球測位システム）情報を取得するとしてもよい。ＧＰＳ情報により位置情報を得ることができるが、屋内の場合は取得できない場合があり、また加速度情報によれば高さに関する情報も得られるため、ＧＰＳ情報に代えて加速度情報を用いることが好ましい。

【0024】

カメラ部３２は、ＡＲグラス３０の移動と視線方向の変化に伴って動画を撮影し、取得する。ＡＲグラス３０であることから、カメラ部３２の撮影方向とＡＲグラス３０を装着するユーザの視線方向とはほぼ同じ方向を示し、カメラ部３２が撮影する動画は、ＡＲグラス３０を装着するユーザの視界とほぼ同じであるといえる。

【0025】

動画データ送信部３３は、少なくともカメラ部３２が撮影した動画の動画データ１２を、後述するサーバ５０の動画データ取得部５１へ送信する。動画データ送信部３３は、動画データ１２に加えて、カメラ部３２が撮影した動画の各時点においてセンサ部３１が取得したユーザの位置および視線方向を特定する情報であるセンサ情報を、動画データ取得部５１に送信するとしてもよい。

【0026】

データ取得部３４は、カメラ部３２が撮影した動画の動画データ１２を、動画の各時点においてセンサ部３１が取得したユーザの位置および視線方向を特定する情報と関連付けられた状態で取得する。具体的にデータ取得部３４は、カメラ部３２が撮影した動画の動画データ１２の各時点における時刻である撮影時刻と、当該時刻にセンサ部３１が取得したユーザの位置および視線方向を特定する情報とを関連付け、記録する。センサ部３１が取得したユーザの位置および視線方向を特定する情報であるセンサ情報として、例えば加速度センサが取得した加速度情報、ジャイロセンサが取得したジャイロ情報、ＧＰＳ情報などが挙げられる。
データ取得部３４は、センサ部３１が取得した情報に基づき、動画データ１２が撮影された位置、及び、方向を逐次特定し、センサ部３１が情報を取得した時間、すなわちカメラ部３２の撮影時刻と関連付けてデータ保存するとしてもよい。動画データ１２が撮影された位置は、加速度センサが取得した加速度情報に基づき特定される。動画データ１２が撮影された時点のユーザの視線方向は、ジャイロセンサが取得したジャイロ情報に基づき特定される。センサ部３１が取得するセンサ情報はユーザの位置情報および視線方向の情報を含むことから、データ取得部３４は、センサ情報によりＡＲグラス３０の移動の軌跡を得ることができる。

【0027】

表示部３５は、後述するサーバ５０から受信したデータをＡＲグラス３０に表示（出力）する。ＡＲグラス３０は、前述したように眼鏡形状であり、ユーザの視界に重ねて映像や画像などのデジタル表示が表示される。ＡＲグラス３０を装着するユーザが、指示情報の表示を承諾すると、表示部３５は、指示情報に対応する図１のアプリケーション１１のスライダー１４が指定する時間（特定の時点）に対応するユーザの位置をデータ取得部３４から取得し拡張現実空間に表示させる。また表示部３５は、指示情報に基づいて特定されるユーザの位置へユーザを案内する情報を表示する。ユーザを案内する情報の例としては、ルート（軌跡）を示す線、進行方向を示す矢印などが挙げられる。

【0028】

ＡＲグラス３０を装着するユーザが指示情報に基づいて特定されるユーザの位置への移動を行い、指示情報に基づいて特定されるユーザの位置またはその近傍に到達すると、表示部３５は、ユーザの視線方向の指示を表示する。視線方向の指示の例としては、足跡（足形）や、方向を示す矢印などが挙げられる。

【0029】

図４は、本開示の幾つかの実施形態におけるユーザの移動軌跡を示す図である。
図４に示されるように、ＡＲグラス３０を装着したユーザは、拡張現実空間のＸＹ平面上で点Ｐを通る実線上を移動したとする。足跡マークは、ユーザの進行方向を向いている。点Ｐは、情報処理装置４０を操作するオペレータが指示を設定した特定の時点に対応するユーザの位置であるとする。

【0030】

図５は、本開示の幾つかの実施形態におけるユーザの移動軌跡を示す図である。
ＡＲグラス３０を装着するユーザが、指示情報の表示を承諾すると、表示部３５は、図５に示されるように指示情報に基づいて特定されるユーザの位置（点Ｐ）を拡張現実空間に表示させる。また、ユーザが移動し点Ｐまたはその近傍に到達すると、表示部３５は、ユーザの視線方向の指示を示す足跡マークを表示させる。

【0031】

図３の動画データ取得部５１は、ＡＲグラス３０の動画データ送信部３３から動画データ１２を取得する。

【0032】

送受信部５２は、後述する情報処理装置４０の送信部４２から指示および特定の時点の時間情報を受信すると、指示情報としてＡＲグラス３０の表示部３５へ送信する。

【0033】

情報処理装置４０の指示設定部４１は、サーバ５０の動画データ取得部５１を介して共有されたＡＲグラス３０の動画データ１２を取得する。オペレータは、図１のアプリケーション１１を用いて動画データ１２を表示し、ユーザに対する指示を設定する場面をスライダー１４のスライドにより指定および選択する。選択された動画データ１２の場面（画像）において、オペレータはアプリケーション１１上で情報の書き込みを行う。例えば、オペレータは、図１のアプリケーション１１の表示画像上において、構造物Ｍにマーキングを行い、「文字を確認する」との指示内容を入力する。このように情報処理装置４０では、過去の動画データ１２、すなわち録画された動画データ１２に対して指示内容の設定を行う。

【0034】

送信部４２は、指示設定部４１により設定されたユーザに対する指示を、特定の時点を特定する情報、または特定の時点に対応するユーザの位置および視線方向を特定する情報、例えば動画データ１２の指示が設定された特定の時点の時間情報とともにサーバ５０の送受信部５２に送信する。

【0035】

図６は、本開示の幾つかの実施形態における情報共有システムの制御フローを示す図である。
図６に示すように、情報共有システム１の制御は、ウェアラブル装置（ＡＲグラス）３０、サーバ５０、情報処理装置４０が共有を開始することにより開始される（Ｓ１０１）。

【0036】

次にステップＳ１０２において、ＡＲグラス３０は、ＡＲグラス３０を装着するユーザの移動と視線方向の変化に伴ってカメラ部３２が撮影する動画の動画データ１２を動画データ送信部３３を介してサーバ５０へ送信開始する。またカメラ部３２が撮影した動画の動画データは、動画の各時点においてセンサ部３１が取得したユーザの位置および視線方向を特定する情報と関連付けられた状態でデータ取得部３４が取得する。

【0037】

ステップＳ１０３において、ＡＲグラス３０から動画データ１２を受信したサーバ５０は、情報処理装置４０との動画データ１２の共有を開始する。

【0038】

ステップＳ１０４において、サーバ５０から動画データ１２を共有された情報処理装置４０の指示設定部４１は、動画データ１２を取得する。情報処理装置４０は、オペレータの操作により動画データ１２の再生を行う。動画データ１２の再生には、アプリケーション１１を用いるとしてもよい。

【0039】

ステップＳ１０５において、ＡＲグラス３０への指示内容が発生すると、ステップＳ１０６に遷移し、オペレータはアプリケーション１１上で動画データ１２に対し情報の書き込みを行い、ユーザに対する指示を設定する。

【0040】

ステップＳ１０７において、送信部４２は、指示設定部４１により設定されたユーザに対する指示を、動画データ１２の指示が設定された特定の時点の時間情報とともにサーバ５０の送受信部５２に送信する。

【0041】

ステップＳ１０８において、サーバ５０の送受信部５２は、情報処理装置４０の送信部４２から指示および時間情報を受信すると、指示情報としてＡＲグラス３０の表示部３５へ送信する。

【0042】

ステップＳ１０９において、指示情報の通知が発生し、ＡＲグラス３０の表示部３５は、サーバ５０の送受信部５２から指示情報を受信する。表示部３５は、ＡＲグラス３０を装着するユーザに対し、指示情報の表示を承諾するか否か、通知するとしてもよい。

【0043】

ステップＳ１１０において、表示部３５は、指示情報に基づいて特定されるユーザの位置へユーザを案内する情報、例えば指示が設定された位置への軌跡指示をＡＲグラス３０に表示する。また、表示部３５は、指示が設定された位置に目標となるマークなどの設定を行う。表示部３５は、指示が設定された特定の時点の時間情報に対応するユーザの位置をデータ取得部３４から取得し、拡張現実空間に表示させる。ステップＳ１０９において、ＡＲグラス３０を装着するユーザに対し指示情報の表示を承諾するか否か通知した場合は、ユーザが承諾した場合にステップＳ１１０を実行する。

【0044】

指示情報に基づいて特定されるユーザの位置へのユーザを案内する情報に沿ってＡＲグラス３０を装着したユーザが、指示が設定された位置またはその近傍に到達すると、表示部３５は、ユーザの視線方向の指示をＡＲグラス３０に表示する（Ｓ１１１）。

【0045】

ステップＳ１１２において、ＡＲグラス３０を装着したユーザが表示された視線方向の指示に従い該当の方向が視界に入ると、指示がＡＲグラス３０に表示される。指示の表示についてはユーザに対し通知可能な方式であればいずれの方式であってもよく、例えばＡＲグラス３０への文字、画像や映像の表示、音声などが挙げられる。

【0046】

情報処理装置４０の指示設定部４１は、オペレータによって動画データ１２における奥行方向の距離を選択できるとしてもよい。
図７は、本開示の幾つかの実施形態における情報処理装置の表示を示す図である。
図７に示されるように、動画データ１２内の構造物Ｎ、Ｍ及びＦの奥行方向の距離はそれぞれ異なる。構造物Ｍの奥行方向の距離を基準とすると、構造物Ｎの奥行方向の距離は短く、また構造物Ｆの奥行方向の距離は長い。

【0047】

図８は、開示の幾つかの実施形態における情報処理装置の奥行方向の表示を示す図である。
図８において、図の左から右に向いた矢印方向を動画データ１２の奥行方向とする、画角ＮＶ、ＭＶ及びＦＶは、それぞれ図７における構造物Ｎ、Ｍ及びＦの距離における画角を示す。

【0048】

図８に示されるように、奥行方向の距離が短い画角ＮＶが選択されたとすると、画角ＭＶよりも画角底辺の高さが低く、底辺と地表との距離が近くなる。また、画角ＮＶは画角ＭＶよりも画角の相対領域が広い。

【0049】

一方、奥行方向の距離が長い画角ＦＶが選択されたとすると、画角ＭＶよりも画角底辺の高さが高く、底辺と地表との距離が遠くなる。また、画角ＦＶは画角ＭＶよりも画角の相対領域が狭い。

【0050】

奥行方向の距離が短い画角ＮＶが選択されると、ＡＲグラス３０を装着するユーザの近傍の対象物を大きく表示することができる。また、情報処理装置４０を操作するオペレータは、ＡＲグラス３０を装着するユーザに対し細かい指示を出すことができる。

【0051】

一方、奥行方向の距離が長い画角ＦＶが選択されると、位置や視線のずれに対する許容度を高め、ずれを抑制することができる。

【0052】

このように、オペレータが奥行方向の距離を選択できることで指示内容に応じた距離とし、ＡＲグラス３０を装着するユーザに対して適切な指示を出すことができる。

【0053】

以上説明したように、本実施形態に係る情報共有システム１、ウェアラブル装置３０、情報共有方法、及び情報共有プログラムによれば、以下のような効果を奏する。
情報共有システム１は、ウェアラブル装置３０を所有するユーザに対し、指示が設定された位置へユーザを案内する情報表示、および指示が設定された位置での視線方向の指示を表示することで、ユーザは３次元の情報を得て視線方向まで特定することができ、視覚的にわかりやすく情報共有を行うことができる。

【0054】

また本実施形態に係る情報共有システム１によれば、ウェアラブル装置３０を所有するユーザが、指示が設定された方向を向いた場合に指示が表示されるため、指示を３次元で表現可能であり、視覚的にわかりやすく情報共有を行うことができる。

【0055】

また本実施形態に係る情報共有システム１によれば、加速度センサの加速度センサ情報によりウェアラブル装置３０の高さを含む３次元位置を特定でき、ジャイロセンサのジャイロセンサ情報によりウェアラブル装置３０の視線方向を特定することができる。

【0056】

また本実施形態に係る情報共有システム１によれば、ウェアラブル装置３０は、拡張現実を表示するＡＲグラス３０であることから、簡便に共有する情報を表示することができる。またＡＲグラス３０を装着するユーザは直感的に情報を把握することができる。

【0057】

また本実施形態に係る情報共有システム１によれば、オペレータは、ウェアラブル装置３０に表示する指示について、画面奥行方向の距離を設定することから、指示に合わせて適切な位置に指示を表示させることができる。例えば、画面奥行方向の距離を短く設定した場合は、近くの対象物を大きく表示し、細かい指示を出すことができる。

【0058】

以上、本開示について実施形態を用いて説明したが、本開示の技術的範囲は上記実施形態に記載の範囲には限定されない。開示の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本開示の技術的範囲に含まれる。また、上記実施形態を適宜組み合わせてもよい。
また、上記実施形態で説明した処理の流れも一例であり、本開示の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

【0059】

例えば、本開示の実施形態では、サーバ５０を用いるとしたが、サーバ５０の機能を情報処理装置４０に持たせるとしてもよい。

【0060】

また、本開示の実施形態では、ウェアラブル装置３０はサーバ５０へ動画データ１２を送信するとしたが、これに加えてセンサ部３１が取得するユーザの位置および視線方向を特定する情報をサーバ５０へ送信するとしてもよい。この場合、サーバ５０において、カメラ部３２が撮影した動画の動画データ１２と、動画の各時点においてセンサ部３１が取得したユーザの位置および視線方向を特定する情報とが関連付けた状態で記録される。またサーバ５０は、情報処理装置４０から指示および特定の時点を特定する情報である時間情報を受信すると、記録された情報から時間情報に対応する位置および視線方向を取得し、指示と合わせて指示情報としてウェアラブル装置３０の表示部３５へ送信する。このように、データ取得部３４がサーバ５０に備えられているとしてもよい。

【符号の説明】

【0061】

１ 情報共有システム
３０ ＡＲグラス（ウェアラブル装置）
３１ センサ部（センサ）
３２ カメラ部（カメラ）
３３ 動画データ送信部（送信手段）
３４ データ取得部（データ取得手段）
３５ 表示部（表示手段）
４０ 情報処理装置
４１ 指示設定部（入力手段）
４２ 送信部
５０ サーバ
５１ 動画データ取得部（情報取得手段）
５２ 送受信部（送信手段）
１１００ ＣＰＵ
１２００ ＲＯＭ
１３００ ＲＡＭ
１４００ ＨＤＤ
１５００ 通信部
１８００ バス

【要約】

【課題】指示が３次元で表現される情報共有システム、表示装置、情報共有方法、及び情報共有プログラムを提供する。
【解決手段】ウェアラブル装置３０と情報処理装置４０を有する情報共有システム１であって、ウェアラブル装置３０は、ユーザの位置及び視線方向を特定するためのセンサ部３１と、動画を撮影するカメラ部３２と、動画の動画データを位置及び視線方向を特定する情報と関連付けられた状態で取得するデータ取得部３４と、動画データを送信する動画データ送信部３３と、を備え、情報処理装置４０は、動画データ取得部５１と、動画データに対して指示内容を設定する指示設定部４１と、指示内容と指示内容が設定された位置及び方向の情報とを含む指示情報をウェアラブル装置３０に送信する送受信部５２と、を備え、ウェアラブル装置３０は、指示内容が設定された位置への軌跡指示を表示し、設定された位置に到達すると視線の方向指示を表示する。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】