特開 2024-36721 情報提示システム、および情報提示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024036721

(43)【公開日】2024-03-18

(54)【発明の名称】情報提示システム、および情報提示方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240311BHJP

   G06T 19/00 20110101ALI20240311BHJP

   G06T 7/00 20170101ALI20240311BHJP

【ＦＩ】

H04N7/18 U

G06T19/00 600

G06T7/00 300F

H04N7/18 D

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022141128

(22)【出願日】2022-09-06

(71)【出願人】

【識別番号】000003193

【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】岸 啓補

【テーマコード（参考）】

5B050

5C054

5L096

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA09

5B050BA11

5B050BA13

5B050CA08

5B050DA01

5B050EA04

5B050EA19

5B050EA26

5B050FA02

5C054CA04

5C054CC02

5C054CG05

5C054EA01

5C054EA03

5C054EA05

5C054FC12

5C054FD03

5C054FE12

5C054FE22

5C054FF03

5C054HA19

5L096CA05

5L096DA01

5L096FA09

5L096FA67

5L096FA69

5L096JA11

(57)【要約】

【課題】遠隔地のユーザの視界を現地にいる作業者の端末で撮影された画像に限定しなくても、遠隔地のユーザと現地にいる作業者とのコミュニケーションが円滑に行える情報提示システムを提供すること。
【解決手段】現地から離れた遠隔地にいるユーザの視界に関する情報を、現地にいる作業者に提示するための情報提示システムであって、現地で撮影された現地映像のうち、ユーザが使用するユーザ端末に表示する部分を抽出する映像抽出部と、作業者の視野に対応する映像のうち、ユーザ端末に表示する部分に対応する部分を示す視野情報を生成する視野情報生成部と、視野情報に基づく視野情報画像が、作業者の視野に対応する映像に合成された映像を表示する、あるいは視野情報画像が作業者の視界に重畳されるように表示する表示部とを備える情報提示システム。
【選択図】図５

【特許請求の範囲】

【請求項1】

現地から離れた遠隔地にいるユーザの視界に関する情報を、現地にいる作業者に提示するための情報提示システムであって、
前記現地で撮影された現地映像のうち、前記ユーザが使用するユーザ端末に表示する部分を抽出する映像抽出部と、
前記作業者の視野に対応する映像のうち、前記ユーザ端末に表示する部分に対応する部分を示す視野情報を生成する視野情報生成部と、
前記視野情報に基づく視野情報画像が、前記作業者の視野に対応する映像に合成された映像を表示する、あるいは前記視野情報画像が前記作業者の視界に重畳されるように表示する表示部と
を備える情報提示システム。

【請求項2】

前記視野情報生成部は、前記ユーザ端末に表示する部分に含まれる第１の複数の特徴点と、前記作業者の視野に対応する映像に含まれる第２の複数の特徴点とを抽出し、前記第１の複数の特徴点と前記第２の複数の特徴点とを対応付け、該対応付けに基づき、前記視野情報を生成する、請求項１に記載の情報提示システム。

【請求項3】

前記映像抽出部が前記現地映像から抽出する、前記ユーザ端末に表示する部分を決定するためのユーザによる指示を取得するユーザ指示取得部を備える、請求項１に記載の情報提示システム。

【請求項4】

ユーザ操作により指定された位置であって、前記映像抽出部が前記現地映像から抽出した前記ユーザ端末に表示する映像における位置を示すポイント情報を取得するポイント情報取得部を備え、
前記視野情報生成部は、前記ポイント情報が示す位置を、前記作業者の視野に対応する映像における位置に変換し、
前記表示部は、前記視野情報生成部が変換した位置に画像を表示する、請求項１に記載の情報提示システム。

【請求項5】

現地から離れた遠隔地にいるユーザの視界に関する情報を、現地にいる作業者に提示するための情報提示システムによる情報提示方法であって、
前記現地で撮影された現地映像のうち、前記ユーザが使用するユーザ端末に表示する部分を抽出するステップと、
前記作業者の視野に対応する映像のうち、前記ユーザ端末に表示する部分に対応する部分を示す視野情報を生成するステップと、
前記視野情報に基づく視野情報画像が、前記作業者の視野に対応する映像に合成された映像を表示する、あるいは前記視野情報画像が前記作業者の視界に重畳されるように表示するステップと
を有する情報提示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報提示システム、および情報提示方法に関する。

【背景技術】

【0002】

従来、遠隔作業支援システムでは、遠隔作業を支援するために、現地にいる作業者のウェアラブル端末で撮影された画像を、ウェアラブル端末と遠隔端末とで共有している。さらに、ウェアラブル端末で撮影された画像に対して、遠隔端末からの指示に応じた仮想オブジェクトをウェアラブル端末で撮影された画像に重ねて表示している（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６２４４０６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の遠隔作業支援システムにおいては、遠隔地のユーザと現地にいる作業者とのコミュニケーションを円滑にするために、遠隔地のユーザの視界は現地にいる作業者の端末で撮影された画像に限定されてしまうという問題がある。

【0005】

本発明は、このような事情に鑑みてなされたもので、遠隔地のユーザの視界を現地にいる作業者の端末で撮影された画像に限定しなくても、遠隔地のユーザと現地にいる作業者とのコミュニケーションが円滑に行える情報提示システム、および情報提示方法を提供する。

【課題を解決するための手段】

【0006】

この発明は上述した課題を解決するためになされたもので、本発明の一態様は、現地から離れた遠隔地にいるユーザの視界に関する情報を、現地にいる作業者に提示するための情報提示システムであって、前記現地で撮影された現地映像のうち、前記ユーザが使用するユーザ端末に表示する部分を抽出する映像抽出部と、前記作業者の視野に対応する映像のうち、前記ユーザ端末に表示する部分に対応する部分を示す視野情報を生成する視野情報生成部と、前記視野情報に基づく視野情報画像が、前記作業者の視野に対応する映像に合成された映像を表示する、あるいは前記視野情報画像が前記作業者の視界に重畳されるように表示する表示部とを備える情報提示システムである。

【0007】

また、本発明の他の一態様は、上述した情報提示システムであって、前記視野情報生成部は、前記ユーザ端末に表示する部分に含まれる第１の複数の特徴点と、前記作業者の視野に対応する映像に含まれる第２の複数の特徴点とを抽出し、前記第１の複数の特徴点と前記第２の複数の特徴点とを対応付け、該対応付けに基づき、前記視野情報を生成する。

【0008】

また、本発明の他の一態様は、上述した情報提示システムであって、前記映像抽出部が前記現地映像から抽出する、前ユーザ記端末に表示する部分を決定するためのユーザによる指示を取得するユーザ指示取得部を備える。

【0009】

また、本発明の他の一態様は、上述した情報提示システムであって、ユーザ操作により指定された位置であって、前記映像抽出部が前記現地映像から抽出した前記ユーザ端末に表示する映像における位置を示すポイント情報を取得するポイント情報取得部を備え、前記視野情報生成部は、前記ポイント情報が示す位置を、前記作業者の視野に対応する映像における位置に変換し、前記表示部は、前記視野情報生成部が変換した位置に画像を表示する。

【0010】

また、本発明の他の一態様は、現地から離れた遠隔地にいるユーザの視界に関する情報を、現地にいる作業者に提示するための情報提示システムによる情報提示方法であって、前記現地で撮影された現地映像のうち、前記ユーザが使用するユーザ端末に表示する部分を抽出するステップと、前記作業者の視野に対応する映像のうち、前記ユーザ端末に表示する部分に対応する部分を示す視野情報を生成するステップと、前記視野情報に基づく視野情報画像が、前記作業者の視野に対応する映像に合成された映像を表示する、あるいは前記視野情報画像が前記作業者の視界に重畳されるように表示するステップとを有する情報提示方法である。

【発明の効果】

【0011】

この発明によれば、遠隔地のユーザの視界を現地にいる作業者の端末で撮影された画像に限定しなくても、遠隔地のユーザと現地にいる作業者とのコミュニケーションが円滑に行える。

【図面の簡単な説明】

【0012】

【図1】この発明の第１の実施形態による情報提示システム１０の構成例を示す概略ブロック図である。

【図2】同実施形態に係るユーザ端末１０４の構成例を示す概略ブロック図である。

【図3】同実施形態に係る中継サーバ１０３の構成例を示す概略ブロック図である。

【図4】同実施形態に係る作業者端末１０２の構成例を示す概略ブロック図である。

【図5】同実施形態に係る情報提示システム１０の動作を説明するフローチャートである。

【図6】同実施形態に係る情報提示システム１０の動作を説明する別のフローチャートである。

【図7】同実施形態に係るステップＳｂ３による特徴点の対応付けを説明する図である。

【図8】同実施形態に係る視野情報の算出を説明する図である。

【図9】同実施形態に係る現地映像、抽出映像、および作業者映像の関係を示す図である。

【図10】この発明の第２の実施形態に係る情報提示システム１１の構成例を示す概略ブロック図である。

【図11】この発明の第３の実施形態に係る情報提示システム１２の構成例を示す概略ブロック図である。

【図12】同実施形態に係るユーザ端末１０４ａの構成例を示す概略ブロック図である。

【図13】同実施形態に係る中継サーバ１０３ａの構成例を示す概略ブロック図である。

【図14】同実施形態に係る作業者端末１０２ａの構成例を示す概略ブロック図である。

【発明を実施するための形態】

【0013】

＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、この発明の第１の実施形態による情報提示システム１０の構成例を示す概略ブロック図である。本実施形態における情報提示システム１０は、例えば、店舗の顧客であり、自宅にいるユーザが、店舗の販売員である作業者から商品の説明を受けたり、作業者に対して購入する商品のピックアップを依頼したりする際に使用される。また、店舗ではなく、博物館や美術館などの展示物の説明に用いることもできる。また、情報提示システム１０は、例えば、遠隔地にいる支援者であるユーザが、工場などの施設にいる作業者に対して、機器の操作、点検を指示したり、レクチャしたりする際にも使用され得る。

【0014】

情報提示システム１０は、現地カメラ１０１、作業者端末１０２、中継サーバ１０３、ユーザ端末１０４を含む。現地カメラ１０１、作業者端末１０２、中継サーバ１０３、ユーザ端末１０４は、インターネットなどのネットワーク１０５により通信可能に接続されている。現地カメラ１０１は、現地（上述の例では、店舗、博物館、美術館、施設など）に設置されている監視カメラなどのカメラである。現地カメラ１０１は、現地の映像を撮影し、ライブ映像として、ネットワーク１０５を介して、中継サーバ１０３に送信する。現地カメラ１０１は、全天周カメラなど、広視野角のカメラであってもよい。

【0015】

作業者端末１０２は、現地にいる作業者が使用する端末であり、ウェアラブルデバイス、スマートフォン、タブレット端末などである。作業者端末１０２は、作業者の視野に対応する映像（作業者映像）に、ユーザ端末１０４に表示される映像に対応する部分を示す枠（視野情報画像）を合成して表示する。作業者端末１０２がこの表示に用いる表示手段は、例えば、ビデオシースルー型のヘッドマウントディスプレイ、光学シースルー型のヘッドマウントディスプレイであってもよいし、スマートフォン、タブレット端末などのディスプレイであってもよい。なお、作業者端末１０２は、光学シースルー型のヘッドマウントディスプレイを備える場合は、ユーザ端末１０４に表示される映像に対応する部分を示す枠（視野情報画像）を作業者の視界に重畳されるように表示する。また、スマートフォン、タブレット端末などのディスプレイである場合は、作業者の視野に対応する映像（作業者映像）は、スマートフォン、タブレット端末に備えられたカメラが撮影した映像であり、作業者の全視野に対応していなくてもよい。

【0016】

中継サーバ１０３は、現地カメラ１０１から受信したライブ映像のうち、一部の画角を抽出して、ユーザ端末１０４に送信する。また、中継サーバ１０３は、作業者端末１０２から受信した作業者映像のうち、ライブ映像からユーザ端末１０４向けに抽出した部分に対応する部分を検出し、該部分を示す情報（視野情報）を作業者端末１０２に送信する。

【0017】

ユーザ端末１０４は、現地から離れた場所にいるユーザが使用する端末であり、ウェアラブルデバイス、スマートフォン、タブレット端末などである。ユーザ端末１０４は、中継サーバ１０３がライブ映像からユーザ端末１０４向けに抽出した映像を表示する。また、ユーザ端末１０４は、中継サーバ１０３が抽出する部分（画角）を決めるための方向指示を取得して、中継サーバ１０３に送信する。

【0018】

この方向指示は、ユーザ端末１０４が、ヘッドマウントディスプレイを備えていれば、そのヘッドマウントディスプレイの向きを示す情報であってもよいし、スマートフォン、タブレット端末などであれば、そのディスプレイの向きを示す情報であってもよい。あるいは、ユーザが、ユーザ端末１０４のディスプレイをスワイプあるいはタップするなどして、指示した方向であってもよい。これにより、ユーザは、現地カメラ１０１によるライブ映像の中の任意の方向の映像をユーザ端末１０４に表示させることができる。ユーザ端末１０４が備えるヘッドマウントディスプレイは、没入型ヘッドマウントディスプレイであってもよい。

【0019】

なお、ユーザ端末１０４と作業者端末１０２とは、ネットワーク１０５を介した音声通話が可能であってもよい。これにより、ユーザと作業者とは、それぞれの映像を見ながら、会話により意志を疎通することができる。

【0020】

図２は、本実施形態に係るユーザ端末１０４の構成例を示す概略ブロック図である。ユーザ端末１０４は、抽出映像受信部１４１、抽出映像表示部１４２、方向指示取得部１４３、方向指示送信部１４４を備える。抽出映像受信部１４１は、中継サーバ１０３がライブ映像から一部の画角を抽出した映像を受信する。抽出映像表示部１４２は、抽出映像受信部１４１が受信した映像を、ユーザ端末１０４が備えるディスプレイに表示する。

【0021】

方向指示取得部（ユーザ指示取得部）１４３は、中継サーバ１０３が現地映像から抽出する画角を決めるためのユーザによる指示（方向指示）を取得する。この方向指示は、ユーザ端末１０４が備えるジャイロセンサ、加速度センサなどを用いて検出したディスプレイの向きの変化に基づいていてもよいし、ユーザがディスプレイなどをスワイプまたはタップして指示した方向に基づいていてもよい。また、この方向指示には、画角の大きさに関する指示が含まれていてもよい。方向指示送信部１４４は、方向指示取得部１４３が取得した方向指示を示す情報を、中継サーバ１０３に送信する。

【0022】

図３は、本実施形態に係る中継サーバ１０３の構成例を示す概略ブロック図である。中継サーバ１０３は、現地映像受信部１３１、映像抽出部１３２、抽出映像送信部１３３、作業者映像受信部１３４、視野情報生成部１３５、方向指示受信部１３６、視野情報送信部１３７を備える。現地映像受信部１３１は、現地カメラ１０１が撮影した現地映像を、現地カメラ１０１から受信する。映像抽出部１３２は、現地映像受信部１３１が受信した現地映像のうち、ユーザ端末１０４に表示する部分を抽出する。映像抽出部１３２は、方向指示受信部１３６から入力された方向指示を示す情報に基づき、抽出する部分を決定する。例えば、方向指示を示す情報が、右向きに３度を示しているときは、映像抽出部１３２は、それまで抽出していた部分から、右向きに３度分ずらした部分を抽出する部分とする。抽出映像送信部１３３は、映像抽出部１３２が抽出した部分（抽出映像）をユーザ端末１０４に送信する。

【0023】

作業者映像受信部１３４は、作業者端末１０２が撮影した作業者映像を、作業者端末１０２から受信する。視野情報生成部１３５は、作業者映像受信部１３４が受信した作業者映像のうち、映像抽出部１３２が抽出した抽出映像に対応する部分を示す視野情報を生成する。視野情報は、作業者映像のうち、抽出映像に対応する部分の外形線を表す座標のセットであってもよいし、外形線の画像であってもよい。

【0024】

方向指示受信部１３６は、方向指示を示す情報を、ユーザ端末１０４から受信する。方向指示受信部１３６は、受信した方向指示を示す情報を、映像抽出部１３２に入力する。視野情報送信部１３７は、視野情報生成部１３５が生成した視野情報を、作業者端末１０２に送信する。

【0025】

図４は、本実施形態に係る作業者端末１０２の構成例を示す概略ブロック図である。作業者端末１０２は、カメラ部１２１、作業者映像送信部１２２、表示部１２３、視野情報合成部１２４、視野情報受信部１２５を備える。カメラ部１２１は、作業者の視野に対応する映像である作業者映像を撮影する。作業者映像送信部１２２は、作業者映像を中継サーバ１０３に送信する。視野情報受信部１２５は、視野情報を、中継サーバ１０３から受信する。

【0026】

視野情報合成部１２４は、作業者映像に、視野情報に基づく視野情報画像を合成する。なお、表示部１２３が光学シースルー型のヘッドマウントディスプレイである場合は、視野情報合成部１２４は、視野情報に基づく視野情報画像を生成するのみとし、作業者映像との合成を行わないようにしてもよい。ここで、視野情報画像は、例えば、視野情報が示す抽出映像に対応する部分の枠（外形線）であってもよいし、該部分が強調されるように、該部分以外に対する網掛けなどであってもよい。表示部１２３は、視野情報に基づく視野情報画像が、作業者の視野に対応する映像に合成された映像を表示する。なお、表示部１２３が光学シースルー型のヘッドマウントディスプレイである場合は、視野情報画像を表示することで、視野情報画像が作業者の視界に重畳される。

【0027】

図５は、本実施形態に係る情報提示システム１０の動作を説明するフローチャートである。まず、現地カメラ１０１が、現地映像を取得する（ステップＳａ１）。次に、方向指示取得部１４３が、方向指示を取得する（ステップＳａ２）。次に、映像抽出部１３２が、現地映像からユーザ端末１０４用の映像を抽出する（ステップＳａ３）。ここで、映像抽出部１３２は、抽出する映像の画角を、ステップＳａ２で取得された方向指示に基づき決定する。

【0028】

次に、抽出映像表示部１４２が、ステップＳａ３にて抽出されたユーザ端末１０４用の映像を表示する（ステップＳａ４）。次に、カメラ部１２１が、作業者映像を取得する（ステップＳａ５）。次に、視野情報生成部１３５が、視野情報を生成する（ステップＳａ６）。次に、視野情報合成部１２４が、視野情報に基づき生成した視野情報画像を作業者映像に合成し、表示部１２３が該合成結果の映像を表示する（ステップＳａ７）。以降、終了するまで、ステップＳａ１からの処理が繰り返される。

【0029】

図６は、本実施形態に係る情報提示システム１０の動作を説明する別のフローチャートである。図６のフローチャートは、図５のステップＳａ６に対応する視野情報生成部１３５による処理である。まず、視野情報生成部１３５は、ユーザ端末１０４用の映像から複数の特徴点を抽出し、該複数の特徴点各々の特徴量を算出する（ステップＳｂ１）。次に、視野情報生成部１３５は、作業者映像から複数の特徴点を抽出し、該複数の特徴点各々の特徴量を算出する（ステップＳｂ２）。これらの特徴量は、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）など、回転、スケール変化に対してロバストな特徴量である。

【0030】

次に、視野情報生成部１３５は、算出した特徴量に基づき、ユーザ端末１０４用の映像における特徴点と、作業者映像における特徴点とを対応付ける（ステップＳｂ３）。図７は、本実施形態に係るステップＳｂ３による特徴点の対応付けを説明する図である。画像ＵＦ１は、ユーザ端末１０４用の映像を構成するフレームのうちの１つである。画像ＯＦ１は、作業者映像を構成するフレームのうちの１つである。画像ＵＦ１および画像ＯＦ１に付された複数の丸印の各々は、視野情報生成部１３５が検出した特徴点である。さらに、画像ＵＦ１の丸印から画像ＯＦ１の丸印への矢印は、特徴量に基づく特徴点の対応付けを示す。このように、特徴量に基づく特徴点の対応付けを行うことで、実空間において同じ点に対応していると推定される特徴点同士を対応付けることができる。

【0031】

図６に戻って、次に、視野情報生成部１３５は、ユーザ端末１０４用の映像の外形線に対応する、作業者映像における外形線の座標を、視野情報として、特徴点の対応に基づき算出する（ステップＳｂ４）。図８は、本実施形態に係る視野情報の算出を説明する図である。画像ＵＦ２は、ユーザ端末１０４用の映像を構成するフレームのうちの１つである。画像ＯＦ２は、作業者映像を構成するフレームのうちの１つである。画像ＵＦ２に付された特徴点ｐ１、ｐ２、ｐ３は、それぞれ画像ＯＦ２に付された特徴点ｐ１’、ｐ２’、ｐ３’と対応付けられた特徴点である。まず、視野情報生成部１３５は、下記の式（１）における変換行列Ｍを算出する。

【0032】

【数1】

【0033】

なお、式（１）において、「ｐ１ｘ’」、「ｐ１ｙ’」は、特徴点ｐ１’のｘ座標とｙ座標である。同様に、「ｐ２ｘ’」、「ｐ２ｙ’」は、特徴点ｐ２’のｘ座標とｙ座標である。「ｐ３ｘ’」、「ｐ３ｙ’」は、特徴点ｐ３’のｘ座標とｙ座標である。「ｐ１ｘ」、「ｐ１ｙ」は、特徴点ｐ２のｘ座標とｙ座標である。「ｐ２ｘ」、「ｐ２ｙ」は、特徴点ｐ２のｘ座標とｙ座標である。「ｐ３ｘ」、「ｐ３ｙ」は、特徴点ｐ３のｘ座標とｙ座標である。

【0034】

そして、視野情報生成部１３５は、画像ＵＦ２の外形線上の点ｐ０に対して、変換行列Ｍによる座標変換を行い、画像ＯＦ２上の点ｐ０’を得る。この点ｐ０’が、作業者映像における外形線の座標の１つとなる。図８では、画像ＵＦ２の外形線上の点ｐ０のみを示したが、視野情報生成部１３５は、画像ＵＦ２の外形線上の複数の点に対して、変換行列Ｍによる座標変換を行うことで、作業者映像における外形線の座標のセットを、視野情報として算出する。

【0035】

なお、点ｐ０に用いる変換行列Ｍを求めるための３つの特徴点ｐ０、ｐ１、ｐ２は、画像ＵＦ２に含まれる特徴点のうち、点ｐ０に最も近い３つを用いるようにしてもよい。また、３つの特徴点ｐ０、ｐ１、ｐ２が直線上にあることは好ましくない。そこで、視野情報生成部１３５は、点ｐ０に最も近い３つの特徴点を選択した結果、３つの特徴点が直線上に近いと判定したときは、３つのうちの１つを除き、４番目に近い特徴点を加えるようにしてもよい。このとき、除く１つは、残った３つの特徴点が、直線上から最も離れるようになるものが選択されるようにしてもよい。

【0036】

なお、ここでは、視野情報生成部１３５が、特徴点３つの対応付けを用いて、アフィン変換の変換行列Ｍを求める場合を詳述したが、特徴点４つの対応付けを用いて、式（２）で表されるような座標（ｘ，ｙ）を座標（ｘ’，ｙ’）に変換する射影変換を求めて用いるようにしてもよい。射影変換の場合も、特徴点の選択は、アフィン変換の場合と同様である。

【0037】

【数2】

【0038】

なお、ステップＳｂ１において抽出する特徴点は、ユーザ端末１０４用の映像全体にわたっていなくてもよく、例えば、ユーザ端末１０４用の映像の外形線から一定の距離以内にあるもののみとしてもよい。また、視野情報生成部１３５は、ユーザ端末１０４用の映像の外形線から一定の距離以内にある特徴点として、現地映像に含まれるユーザ端末１０４用の映像の外形線の外側にある特徴点も検出するようにしてもよい。

【0039】

図９は、本実施形態に係る現地映像、抽出映像、および作業者映像の関係を示す図である。図９において、現地映像ＬＶには、端末１０４用の映像として抽出される抽出映像ＵＦ３が含まれている。そして作業者端末１０２が表示する、視野情報画像付き作業者映像ＯＦ３には、抽出映像ＵＦ３の外形線に対応する視野情報画像ＦＶが合成されている。このように、作業者端末１０２には、ユーザ端末１０４が表示されている抽出映像の外形線が示されている。このため、作業者は、ユーザの視界を把握することができる。したがって、ユーザが言葉で示したものを作業者が解釈する際に、誤解してしまう恐れを下げることができる。遠隔地のユーザの視界を現地にいる作業者の端末で撮影された画像に限定しなくても、遠隔地のユーザと現地にいる作業者とのコミュニケーションが円滑に行える。

【0040】

＜第２の実施形態＞
第１の実施形態では、作業者端末１０２を用いて視野情報画像を表示していたが、作業者端末１０２に変えて、プロジェクタ１０６を用いて視野情報画像を、現実世界に投影するようにしてもよい。

【0041】

図１０は、この発明の第２の実施形態に係る情報提示システム１１の構成例を示す概略ブロック図である。図１０において、図１の各部分に対応する部分には、同一の符号を付し、説明を省略する。図１０に示すように、情報提示システム１１は、現地カメラ１０１、中継サーバ１０３、ユーザ端末１０４、プロジェクタ１０６を備え、これらはネットワーク１０５により通信可能に接続されている。

【0042】

プロジェクタ１０６は、図１におけるシースルー型のヘッドマウントディスプレイを備える作業者端末１０２と同様の構成であるが、視野情報画像をヘッドマウントディスプレイに表示する代わりに、現実世界に投影する。これにより、作業者の位置に関係なく、視野情報画像が作業者の視界に重畳される。

【0043】

＜第３の実施形態＞
第１の実施形態では、作業者端末１０２は、視野情報画像を表示していたが、第３の実施形態では、ユーザが示した位置を示す画像をさらに表示する。図１１は、この発明の第３の実施形態に係る情報提示システム１２の構成例を示す概略ブロック図である。図１１において、図１の各部分に対応する部分には、同一の符号を付し、説明を省略する。図１１に示すように、情報提示システム１２は、現地カメラ１０１、作業者端末１０２ａ、中継サーバ１０３ａ、ユーザ端末１０４ａを備え、これらはネットワーク１０５により通信可能に接続されている。

【0044】

作業者端末１０２ａ、中継サーバ１０３ａ、ユーザ端末１０４ａは、図１の作業者端末１０２、中継サーバ１０３、ユーザ端末１０４と同様であるが、ユーザが示した位置を示す画像を作業者端末１０２ａがさらに表示するための機能を有する。

【0045】

図１２は、本実施形態に係るユーザ端末１０４ａの構成例を示す概略ブロック図である。図１２において、図２の各部に対応する部分には同じ符号を付し、説明を省略する。図１２に示すようにユーザ端末１０４ａは、図２のユーザ端末１０４の構成に加えて、ポイント情報取得部１４５、ポイント情報送信部１４６を備える。

【0046】

ポイント情報取得部１４５は、ユーザ操作により指定された位置であって、抽出映像表示部１４２が表示する抽出映像における位置（ポイント）を示すポイント情報を取得する。ユーザ端末１０４ａが、スマートフォン、あるいはタブレット端末であれば、このユーザ操作は、ディプレイへのタップであってよい。また、ユーザ端末１０４ａが、ヘッドマウントディスプレイを備えている場合は、このユーザ操作は、操作スティックによる操作、視線入力などであってもよい。なお、ユーザ操作により、抽出映像における位置だけでなく、作業者端末１０２ａに表示させる画像、あるいは文字などのアノテーションも指定するようにし、ポイント情報が、該アノテーションを示す情報を含むようにしてもよい。また、ポイント情報は、複数の位置により領域を示す情報であってもよい。

【0047】

ポイント情報送信部１４６は、ポイント情報取得部１４５が取得したポイント情報を中継サーバ１０３ａに送信する。

【0048】

図１３は、本実施形態に係る中継サーバ１０３ａの構成例を示す概略ブロック図である。図１３において、図３の各部に対応する部分には同じ符号を付し、説明を省略する。図１３に示すように中継サーバ１０３ａは、図３の中継サーバ１０３とは、ポイント情報受信部１３８をさらに備える点と、視野情報生成部１３５、視野情報送信部１３７に変えて視野情報生成部１３５ａ、視野情報送信部１３７ａを備える点が異なる。

【0049】

ポイント情報受信部１３８は、ユーザ端末１０４ａからポイント情報を受信する。視野情報生成部１３５ａは、視野情報生成部１３５と同様であるが、さらに、視野情報の生成に用いた変換と同様にして、ポイント情報が示す位置を作業者映像上の位置に変換する。視野情報送信部１３７ａは、視野情報送信部１３７と同様であるが、さらに、視野情報生成部１３５ａが変換したポイント情報を作業者端末１０２ａに送信する。

【0050】

図１４は、本実施形態に係る作業者端末１０２ａの構成例を示す概略ブロック図である。図１４において、図４の各部に対応する部分には同じ符号を付し、説明を省略する。図１４に示すように作業者端末１０２ａは、図４の作業者端末１０２とは、視野情報受信部１２５、視野情報合成部１２４に変えて視野情報受信部１２５ａ、視野情報合成部１２４ａを備える点が異なる。

【0051】

視野情報受信部１２５ａは、視野情報受信部１２５と同様であるが、さらに、変換されたポイント情報を受信する。視野情報合成部１２４ａは、視野情報合成部１２４と同様であるが、さらに、作業者映像に対して、変換されたポイント情報が示す位置に、ユーザが当該位置を指定したことを表す画像（例えば、矢印、指など）を合成する。なお、ポイント情報が、画像を示す情報を含む場合は、視野情報合成部１２４ａは、該情報が示す画像を合成する。

【0052】

このようにすることで、作業者は、作業者映像における、ユーザが指定した位置を把握することができる。

【0053】

なお、上記の各実施形態において、映像抽出部１３２、視野情報生成部１３５、１３５ａは、中継サーバ１０３、１０３ａが備え、視野情報合成部１２４、１２４ａは、作業者端末１０２、１０２ａあるいはプロジェクタ１０６が備えるとしたが、これに限らない。例えば、映像抽出部１３２を、現地カメラ１０１あるいはユーザ端末１０４が備えていてもよい。また、視野情報合成部１２４、１２４ａを中継サーバ１０３、１０３ａが備えていてもよい。また、視野情報生成部１３５、１３５ａを作業者端末１０２が備えていてもよい。

【0054】

また、図２、図３、図４、図１２、図１３、図１４におけるユーザ端末１０４、１０４ａ、中継サーバ１０３、１０３ａ、作業者端末１０２、１０２ａの各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりユーザ端末１０４、１０４ａ、中継サーバ１０３、１０３ａ、作業者端末１０２、１０２ａを実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

【0055】

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0056】

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【符号の説明】

【0057】

１０、１１、１２ 情報提示システム
１０１ 現地カメラ
１０２、１０２ａ 作業者端末
１０３、１０３ａ 中継サーバ
１０４、１０４ａ ユーザ端末
１０５ ネットワーク
１０６ プロジェクタ
１２１ カメラ部
１２２ 作業者映像送信部
１２３ 表示部
１２４、１２４ａ 視野情報合成部
１２５、１２５ａ 視野情報受信部
１３１ 現地映像受信部
１３２ 映像抽出部
１３３ 抽出映像送信部
１３４ 作業者映像受信部
１３５、１３５ａ 視野情報生成部
１３６ 方向指示受信部
１３７、１３７ａ 視野情報送信部
１３８ ポイント情報受信部
１４１ 抽出映像受信部
１４２ 抽出映像表示部
１４３ 方向指示取得部
１４４ 方向指示送信部
１４５ ポイント情報取得部
１４６ ポイント情報送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】