特開 2022-95589 仮想情報がオーバーレイされたポータブルディスプレイデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022095589

(43)【公開日】2022-06-28

(54)【発明の名称】仮想情報がオーバーレイされたポータブルディスプレイデバイス

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220621BHJP

   G06F 3/01 20060101ALI20220621BHJP

   G06Q 10/00 20120101ALI20220621BHJP

   G01S 5/02 20100101ALI20220621BHJP

【ＦＩ】

G06T19/00 600

G06F3/01 510

G06Q10/00 300

G01S5/02 A

【審査請求】有

【請求項の数】16

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2021203506

(22)【出願日】2021-12-15

(31)【優先権主張番号】20214548

(32)【優先日】2020-12-16

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】519431812

【氏名又は名称】ヒタチ・エナジー・スウィツァーランド・アクチェンゲゼルシャフト

【氏名又は名称原語表記】ＨＩＴＡＣＨＩ ＥＮＥＲＧＹ ＳＷＩＴＺＥＲＬＡＮＤ ＡＧ

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】ベルンハルト・デック

(72)【発明者】

【氏名】シュテファン・ガースパッチ

(72)【発明者】

【氏名】ミケーレ・ルビソット

【テーマコード（参考）】

5B050

5E555

5J062

5L049

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA09

5B050BA13

5B050BA18

5B050BA20

5B050CA08

5B050DA00

5B050EA04

5B050EA19

5B050EA26

5B050FA02

5E555AA63

5E555AA76

5E555BA05

5E555BA06

5E555BA38

5E555BB05

5E555BB06

5E555BB38

5E555BC14

5E555BE17

5E555CA42

5E555CA44

5E555CB74

5E555CB82

5E555DA08

5E555DB53

5E555DC09

5E555DC21

5E555DD06

5E555EA07

5E555EA09

5E555EA19

5E555FA00

5J062AA01

5J062AA05

5J062CC07

5J062CC14

5J062CC18

5J062FF01

5J062FF04

5J062HH00

5L049CC15

(57)【要約】      （修正有）

【課題】実オブジェクトを含むシーンの画像における仮想オブジェクトの配置精度の改善方法、ポータブルデバイス及びコンピュータプログラムプロダクトを提供する。
【解決手段】実オブジェクト３０を含むシーンの画像内に仮想オブジェクトを配置する方法は、実オブジェクトに対して予め定められた位置に配置された近距離ワイヤレス送信機４０からの信号を受信するステップと、受信した信号に基づいて、近距離ワイヤレス送信機に対するポータブルデバイス１００の位置及び向きを求めるステップと、を含む。シーンの画像は、仮想オブジェクトとともに表示され、画像内の仮想オブジェクトの位置は、近距離ワイヤレス送信機に対するポータブルデバイスの求めた位置及び向きと、実オブジェクトに対する近距離ワイヤレス送信機の予め定められた位置とに基づいている。
【選択図】図１

【特許請求の範囲】

【請求項1】

実オブジェクト（３０）を含むシーンの画像（２０）内に仮想オブジェクト（１０，１２，１４）を配置する方法であって、前記実オブジェクトは、送電および／または配電網のデバイスの少なくとも一部を形成しており、前記方法は、
ポータブルデバイス（１００）を用いて前記シーンの前記画像を取得するステップ（６１０）と、
前記ポータブルデバイスにおいて、前記実オブジェクトに対して予め定められた位置に配置された近距離ワイヤレス送信機（４０）からの信号を受信するステップ（６２０）と、
前記受信した信号に対応付けられた方向情報に少なくとも一部基づいて、前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの位置および向きを求めるステップ（６４０）と、
前記取得した画像と前記仮想オブジェクトとを前記ポータブルデバイス上に表示するステップ（６５０）と、
前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの前記求めた位置および向きと、前記実オブジェクトに対する前記近距離ワイヤレス送信機の前記予め定められた位置とに少なくとも一部基づいて、前記取得した画像内に前記仮想オブジェクトを配置するステップ（６６０）とを含む、方法。

【請求項2】

前記仮想オブジェクトは、前記実オブジェクトのアイデンティティおよび／または特性に対応付けられたグラフィック特徴である、請求項１に記載の方法。

【請求項3】

前記実オブジェクトの前記アイデンティティおよび／または特性を、特に前記受信した信号から取り出すステップ（６３０）をさらに含む、請求項２に記載の方法。

【請求項4】

前記実オブジェクトの前記アイデンティティを物体認識方法を用いて求めるステップ（６３５）をさらに含む、請求項３に記載の方法。

【請求項5】

前記物体認識方法は、実オブジェクトの以前に取得された画像およびこれらのオブジェクトの対応する前記アイデンティティについて訓練された人工知能アルゴリズムを含む、請求項４に記載の方法。

【請求項6】

画像を受信し前記受信した画像において識別されるオブジェクトの前記アイデンティティに関する情報を受信するように構成されたサーバと通信することにより、前記人工知能アルゴリズムを更新するステップ（６３７）をさらに含む、請求項５に記載の方法。

【請求項7】

前記取得した画像における前記仮想オブジェクトの配置はさらに、前記物体認識方法の出力に基づく、請求項４に記載の方法。

【請求項8】

前記ポータブルデバイスのアンテナ素子（１２４）のアレイを用いることにより、前記受信した信号の到来角ＡｏＡ（α）を求め、および／または
前記近距離ワイヤレス送信機のアンテナ素子（４２）のアレイを用いることにより、前記受信した信号の出射角ＡｏＤ（β）を求め、
前記ＡｏＡおよび／または前記ＡｏＤにさらに基づく、前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの前記位置および向きは、前記処理ユニットによって求められる、先行する請求項のいずれか１項に記載の方法。

【請求項9】

前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの前記位置はさらに前記近距離ワイヤレス送信機の信号強度に基づいて求められる、先行する請求項のいずれか１項に記載の方法。

【請求項10】

前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの前記位置はさらに三角測量に基づいて求められる、先行する請求項のいずれか１項に記載の方法。

【請求項11】

実オブジェクト（３０）を含むシーンの画像（２０）内に仮想オブジェクト（１０，１２，１４）を配置するためのシステム（５００）であって、前記システムは、
送電および／または配電網のデバイスの検査およびサービスのためのポータブルデバイス（１００）と、
前記実オブジェクトに対して予め定められた位置に配置された近距離ワイヤレス送信機（４０）と、
処理ユニット（１３０）とを備え、
前記ポータブルデバイスは、
前記シーンの前記画像を取得するように、かつ、
前記近距離ワイヤレス送信機からの信号を受信するように、構成され、
前記処理ユニットは、前記受信した信号に対応付けられた方向情報に少なくとも一部基づいて、前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの位置および向きを求めるように構成され、
前記ポータブルデバイスはさらに、
前記取得した画像と前記仮想オブジェクトとを表示するように、かつ、
前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの前記求めた位置および向きと、前記実オブジェクトに対する前記近距離ワイヤレス送信機の前記予め定められた位置とに少なくとも一部基づいて、前記取得した画像内に前記仮想オブジェクトを配置するように、構成される、システム。

【請求項12】

前記ポータブルデバイスは、前記受信した信号の到来角ＡｏＡ（α）を求めることを可能にするアンテナ素子（１２４）のアレイを含み、および／または
前記近距離ワイヤレス送信機は、前記受信した信号の出射角ＡｏＤ（β）を求めることを可能にするアンテナ素子（４２）のアレイを含み、
前記処理ユニットは、前記ＡｏＡおよび／または前記ＡｏＤにさらに基づいて前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの前記位置および向きを求めるように構成される、請求項１０に記載のシステム。

【請求項13】

前記ポータブルデバイスは位置決めデバイス（１２０）を含み、前記処理ユニットはさらに、前記位置決めデバイスからのデータにさらに基づいて、前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの前記位置および／または向きを求めるように構成され、前記位置決めデバイスは、全球測位衛星システムＧＮＳＳ受信機および／または慣性センサを含む、請求項１１または１２に記載のシステム。

【請求項14】

送電および／または配電網のデバイスの検査およびサービスのためのポータブルデバイス（１００）であって、前記ポータブルデバイスは、
実オブジェクト（３０）を含むシーンの画像を取得するように構成された撮像デバイス（１１０）と、
前記取得した画像を表示するように構成されたディスプレイデバイス（１４０）とを備え、
前記ポータブルデバイスは、前記実オブジェクトに対して予め定められた位置に配置された近距離ワイヤレス送信機（４０）からの信号を受信するように構成され、
前記ポータブルデバイスは、前記受信した信号に少なくとも一部基づいて前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの位置および向きを求めるように構成された処理ユニット（１３０）に通信可能に接続され、
前記ディスプレイデバイス（１４０）はさらに、前記取得した画像内に仮想オブジェクトを表示するように構成され、前記取得した画像内の前記仮想オブジェクトの位置は、前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの前記求めた位置および向きと、前記実オブジェクトに対する前記近距離ワイヤレス送信機の前記予め定められた位置とに少なくとも一部基づく、ポータブルデバイス（１００）。

【請求項15】

ハンドヘルドディスプレイデバイス（１０１）またはヘッドマウントディスプレイデバイス（１０２）である、請求項１４に記載のポータブルデバイス。

【請求項16】

請求項１２～１６に記載のシステム（５００）に請求項１～１１に記載の方法のステップを実行させる命令を含むコンピュータプログラムプロダクト（７１０）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概して送電および／または配電網の機器の検査およびサービスの分野に関し、より具体的にはそのような機器を含むシーンの画像内に仮想オブジェクトを配置するための方法およびデバイスに関する。

【背景技術】

【0002】

背景
たとえば送電および／または配電網の変電所の技術者または現場作業員は、設置されている機器内のシステムまたはデバイスと対話する必要があり、かつ、設置されている機器に関する情報にアクセス可能でなければならない。この情報は、たとえば技術者または現場作業員を設置されている機器の正しい部品に導く、機器の各種構成要素および部品のアイデンティティに関連する場合がある。この情報は、たとえば保守点検履歴および以前の修理報告を含む、各種構成要素および部品の特性または状態を含む場合もある。

【0003】

拡張現実は、技術者または現場作業員が設置されている機器に関する情報にアクセスするのを支援しようとして採用されている技術の一例である。拡張現実は、現実世界の表現に、コンピュータによって生成されたグラフィックをオーバーレイする方法であり、このグラフィックは、仮想オブジェクトとも呼ばれ、画像内の実オブジェクトに関する追加情報を含む。したがって、拡張現実により、ユーザは、追加された仮想オブジェクトの存在によって改善された現実世界の環境を認識する。

【0004】

現在、拡張現実技術は、たとえば環境の画像を取り込むためのカメラを備えた、タブレットおよびスマートフォンを含むハンドヘルドディスプレイデバイスに実装され、取り込まれた画像は、ハンドヘルドディスプレイデバイスのディスプレイまたはタッチスクリーン上で、コンピュータが生成したグラフィック特徴の形態の追加情報とともに、再生することができる。

【0005】

しかしながら、上記拡張現実技術には、現実世界の表現内の実オブジェクトに対する仮想オブジェクトの配置の精度が低いことに関連する問題があることが知られている。したがって、これらの技術は、高い精度および配置精度を要求する環境内で作業している技術者または現場作業員にとって、ほとんどまたは全く役に立たない。

【発明の概要】

【課題を解決するための手段】

【0006】

概要
上記欠点を克服するまたは少なくとも軽減する技術を実現することが好都合であろう。特に、実オブジェクトを含むシーンの画像における仮想オブジェクトの配置の改善を可能にすることが望ましいであろう。

【0007】

これらの課題のうちの１つ以上により有効に対処するために、独立請求項に規定された特徴を有する方法、システム、デバイスおよびコンピュータプログラムプロダクトが提供される。好ましい実施形態は従属請求項に規定される。

【0008】

それ故に、第１の局面に従い、実オブジェクトを含むシーンの画像内に仮想オブジェクトを配置する方法が提供され、実オブジェクトは、送電および／または配電網のデバイスの少なくとも一部を形成していてもよい。この方法は、ポータブルデバイスを用いてシーンの画像を取得するステップと、ポータブルデバイスにおいて、実オブジェクトに対して予め定められた位置に配置された近距離ワイヤレス送信機からの信号を受信するステップとを含む。この方法はさらに、受信した信号に少なくとも一部基づいて、近距離ワイヤレス送信機に対するポータブルデバイスの位置および向きを求めるステップを含む。この方法はさらに、取得した画像と仮想オブジェクトとをポータブルデバイス上に表示するステップと、近距離ワイヤレス送信機に対するポータブルデバイスの求めた位置および向きと、実オブジェクトに対する近距離ワイヤレス送信機の予め定められた位置とに少なくとも一部基づいて、取得した画像内に仮想オブジェクトを配置するステップとを含み得る。

【0009】

第２の局面に従い、実オブジェクトを含むシーンの画像内に仮想オブジェクトを配置するためのシステムが提供される。このシステムは、送電および／または配電網のデバイスの検査およびサービスのためのポータブルデバイスと、実オブジェクトに対して予め定められた位置に配置された近距離ワイヤレス送信機と、処理ユニットとを含み得る。ポータブルデバイスは、シーンの画像を取得し近距離ワイヤレス送信機からの信号を受信するように構成されてもよい。処理ユニットは、受信した信号に少なくとも一部基づいて、近距離ワイヤレス送信機に対するポータブルデバイスの位置および向きを求めるように構成されてもよい。さらに、ポータブルデバイスは、近距離ワイヤレス送信機に対するポータブルデバイスの求めた位置および向きに少なくとも一部基づいて、取得した画像と仮想オブジェクトとを表示し、取得した画像内に仮想オブジェクトを配置するように、構成されてもよい。取得した画像内の仮想オブジェクトの位置は、近距離ワイヤレス送信機に対するポータブルデバイスの求めた位置および向きと、実オブジェクトに対する近距離ワイヤレス送信機の予め定められた位置とに基づいていてもよい。

【0010】

第３の局面に従い、送電および／または配電網のデバイスの検査およびサービスのためのポータブルデバイスが提供される。ポータブルデバイスは、実オブジェクトを含むシーンの画像を取得するように構成された撮像デバイスと、取得した画像を表示するように構成されたディスプレイデバイスとを備える。ポータブルデバイスは、実オブジェクトに対して予め定められた位置に配置された近距離ワイヤレス送信機からの信号を受信するように、かつ、受信した信号に少なくとも一部基づいて近距離ワイヤレス送信機に対するポータブルデバイスの位置および向きを求めるように構成された処理ユニットに通信可能に接続されるように構成されてもよい。ディスプレイデバイスは、取得した画像を仮想オブジェクトとともに表示するように、かつ、近距離ワイヤレス送信機に対するポータブルデバイスの求めた位置および向きと、実オブジェクトに対する近距離ワイヤレス送信機の予め定められた位置とに少なくとも一部基づいて、取得した画像内に仮想オブジェクトを配置するように構成されてもよい。

【0011】

第４の局面に従い、第２の局面に係るシステムに第１の局面に係る方法のステップを実行させる命令を含むコンピュータプログラムプロダクトが提供される。

【0012】

これらの局面は、近距離ワイヤレス送信機からの信号を利用して、近距離ワイヤレス送信機に対するポータブルデバイスの位置と向きの双方を求める。これは、特に、ポータブルデバイスの慣性計測装置（ＩＭＵ：inertial measurement unit）からの加速度およびジャイロスコープデータのみに依拠する技術、ならびに信号から取得した受信信号強度インジケータ（ＲＳＳＩ：received signal strength indicator）データのみに依拠する技術に鑑みて、実オブジェクトの取得した画像内に仮想オブジェクトをより正確に配置することを可能にする。ＩＭＵデータに基づく技術は、オフセットの増大および低い繰り返し精度につながる累積誤差またはドリフト誤差の影響を受ける傾向があるが、上記局面は、実オブジェクトに対する送信機の予め定められた位置に基づいたより確実で正確な配置を提供する。送信機からの信号を使用することにより、ポータブルデバイスが送信機に対して移動するときに、ポータブルデバイスの位置および向きを繰り返し（または連続してでも）計算することができる。送信機は実オブジェクトとの関係において予め定められた位置に配置されるので、ポータブルデバイスの位置を、ポータブルデバイスの移動中も、わかっている送信機の位置との関係において確定することができる。これは、ポータブルの（場合によっては移動している）デバイスの内部にあるＩＭＵからのデータに基づく配置に対応付けられる累積誤差の問題を、軽減することができる。さらに、ＲＳＳＩデータに依拠する技術は、送信機とポータブルデバイスの受信機との間の距離を示す場合があるが、このような技術は一般的に、特に信号が送信される方向を求める場合には正確ではない。このため、上記局面は、送信機の信号から距離と方向の双方が得られるという点において、好都合である。これは、少なくとも送信機（したがって実オブジェクト）に対するポータブルデバイスの向きではなく、絶対位置をより正確に求めることを可能にする。

【0013】

向きは、一般的に、ポータブルデバイスの角度位置、姿勢または方向と理解され、ポータブルデバイスの位置とともに、ポータブルデバイスがどのように空間に配置されているかを説明する。したがって、向きはポータブルデバイスをそれ自身の軸を中心として回転させることによって変えることができ、位置はポータブルデバイスを移動させることによって変えることができる。本開示の文脈において、ポータブルデバイスの位置は、ポータブルデバイスが置かれている地理空間位置であると説明することができ、向きは、その撮像デバイスの光軸が指している方向によって説明することができる。

【0014】

ポータブルデバイスに対するディスプレイデバイスの位置がわかっていると仮定すると、実オブジェクトに対するポータブルデバイスの（したがってディスプレイデバイスの）求めた位置および向きを、ディスプレイデバイスに表示される画像内の実オブジェクトの位置を求めるために使用することができる。そうすると、画像内の実オブジェクトの位置を用いることにより、仮想オブジェクトを画像内に正確に配置することができる。

【0015】

以下では略して「送信機」とも呼ぶ近距離ワイヤレス送信機は、一般的に、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、近距離無線通信、超広帯域およびＩＥＥ８０２．１５．４等の技術を利用する無線周波数送信機デバイスを意味する。近距離送信機は、典型的にはその有効範囲を数百メートルに限定する２５～１００ｍＷの実効輻射電力に限定された低電力送信機であってもよい。好ましくは、送信機は、以下でさらに詳細に説明するように、ポータブルデバイスの受信機に対する信号の伝搬方向を求めることを可能にする信号を送信することができる。

【0016】

仮想オブジェクトは、一般的に、ディスプレイデバイスに表示される、少なくとも部分的にコンピュータによって生成された、グラフィックオブジェクトまたは特徴を意味する。言い換えると、仮想オブジェクトは、実世界の画像にオーバーレイすることができる追加情報を含むグラフィック特徴とみなされてもよい。仮想オブジェクトの例は、タグ、ラベル、テキストボックス、記号、数字、文字などを含み得る。

【0017】

したがって、ある実施形態に従うと、仮想オブジェクトは、実オブジェクトのアイデンティティに対応付けられたグラフィック特徴であってもよい。仮想オブジェクトは、たとえば、現場作業員または技術者等のユーザが実オブジェクトのさまざまな構成要素または部品を識別するのを支援してもよい。これに加えてまたはこれに代えて、グラフィック特徴は、実オブジェクトの特性に対応付けられてもよい。この特性は、たとえば、実オブジェクトのある構成要素または部品の、印加電圧もしくは設置されている機器の他の構成要素またはデバイスへの機能的接続等の、状態または機能に、または、この実オブジェクトの構成要素の保守点検履歴に関連するものであってもよい。さらに他の例において、仮想オブジェクトは、検査またはサービスプロセス等の、機器におけるプロセスを通してユーザを導く命令を含み得る。

【0018】

他の例において、仮想オブジェクトは、実オブジェクトが属するカテゴリまたは性質に対応付けられてもよい。実オブジェクトのアイデンティティは各実オブジェクトごとに固有である可能性があるが、複数の個々の実オブジェクトを、それらの性質またはカテゴリに応じた共通の特性に従ってグループ分けしてもよい。

【0019】

ある実施形態に従うと、アイデンティティおよび／または特性を、実オブジェクトから引き出してもよい。したがって、オブジェクトまたはオブジェクトに対応付けられたデバイスは、アイデンティティまたは特性に関するデータを、ポータブルデバイスまたはポータブルデバイスに対応付けられた受信機に送信するように構成されてもよい。一例において、アイデンティティまたは特性は、近距離ワイヤレス送信機により、好ましくは近距離ワイヤレス送信機に対するポータブルデバイスの位置および向きを求めるために使用された信号と同一の信号を介して送信されてもよい。

【0020】

ある実施形態に従うと、アイデンティティおよび／または特性は、遠隔サーバから、すなわちポータブルデバイスに通信可能に接続されポータブルデバイスから離れた物理的位置に配置されたサーバから、取り出されてもよい。サーバは、機器の１つまたはいくつかのデバイスまたは構成要素に対応付けられた情報を格納するデータベースを収容するまたはこのデータベースにアクセスするように、かつ、取得した画像内に仮想情報として表示する情報を提供するように、構成されてもよい。

【0021】

サーバからの情報は、実オブジェクトのアイデンティティまたはカテゴリに対応付けられてもよく、このアイデンティティに対応付けられた情報が要求されるとポータブルデバイスに与えられてもよい。アイデンティティは、たとえばユーザからの入力として取得されてもよく、これは、ユーザがサーバからその情報を取り出すことを望む所望のアイデンティティまたはカテゴリを示し得る。別の例において、アイデンティティまたはカテゴリは、実オブジェクトから、たとえば上記信号を介して取得されてもよく、サーバへの要求に含まれていてもよい。他の例において、実オブジェクトのアイデンティティまたはカテゴリを、コンピュータ支援画像解析方法を用いて取得してもよい。

【0022】

このように、ある実施形態に従い、実オブジェクトのアイデンティまたはカテゴリを判断してもよい。アイデンティティの判断は、取得した画像を、たとえば取得した画像内の特徴またはオブジェクトを既知のオブジェクトの特徴および以前に取り込んだ画像内の特徴と比較するコンピュータ支援解析を用いて、処理することを含み得る。この処理は物体認識方法と呼ばれることもある。実オブジェクトのアイデンティティまたはカテゴリを、自動ですなわちユーザを伴わずに、求めてもよく、または、ユーザによって確認される提案として決定してもよい。

【0023】

また、画像内の実オブジェクトのアイデンティティを用いることにより、画像内の実オブジェクトの位置をさらに改善または検証してもよい。したがって、取得した画像内に仮想オブジェクトを配置することはさらに、物体認識方法の出力に基づいていてもよい。このため、アイデンティティまたはカテゴリを求めるための処理は、取得した画像内に仮想オブジェクトをより正確に配置することも可能にする。

【0024】

ある実施形態に従うと、アイデンティティ（またはカテゴリ）を、実オブジェクトの以前に取得した画像およびこれらのオブジェクトの対応するアイデンティティ（またはカテゴリ）について訓練された人工知能（ＡＩ）アルゴリズムを用いて求めてもよい。したがって、本実施形態は、人工知能アルゴリズム（ニューラルネットワーク技術または機械学習と呼ばれることもある）を、取得した画像の処理を改善するツールとして用いることにより、実オブジェクトに関する情報を得る。人工知能アルゴリズムを、実オブジェクトがポータブルデバイスのオペレータ等の人間によって手作業で識別されている、以前に取り込んだ画像について訓練してもよい。

【0025】

ある実施形態に従うと、人工知能アルゴリズムを、画像を受信し取得した画像において識別される実オブジェクトのアイデンティティ（またはカテゴリ）に関する情報を受信するように構成されたサーバと通信することにより、更新してもよい。この情報を用いることにより、人工知能アルゴリズムをさらに改善および訓練し実オブジェクトの識別の精度を改善してもよい。

【0026】

サーバは人工知能アルゴリズムを収容してもよい。これに加えてまたはこれに代えて、人工知能アルゴリズムはポータブルデバイスにローカルに格納されてもよい。いくつかの例において、人工知能アルゴリズムは、たとえば上記サーバまたはインターネットクラウドインフラストラクチャの遠隔サーバ等の遠隔位置からポータブルデバイスにダウンロードされてもよいことが理解されるであろう。さらに、ポータブルデバイスに格納された人工知能アルゴリズムを、いくつかの例では１つ以上のポータブルデバイスから受信した入力によって改善されたものであってもよい、より新しいバージョンに置き換えてもよい。したがって、ポータブルデバイスの使用によって生成されたデータは、人工知能アルゴリズムの訓練のための入力として提供されてもよく、最終的には方法およびデバイスを改善する。

【0027】

人工知能アルゴリズムの例は、ベイジアンネットワーク、ランダムフォレスト、確率的分類器および／またはコントローラ（たとえば混合ガウスモデル）等の確率的グラフィカルモデルを含む。さらに他の例は、回帰型ネットワーク等のニューラルネットワーク、ならびに、強化学習、ゲート付き回帰型ユニット、長・短期記憶アーキテクチャおよびアテンションネットを含む。

【0028】

ある実施形態に従うと、近距離ワイヤレス送信機に対するポータブルデバイスの位置を、さらに近距離ワイヤレス送信機の信号強度に基づいて求めてもよい。受信した信号の強度または強さの測定値を、伝搬モデルと組み合わせることにより、近距離ワイヤレス送信機とポータブルデバイスの受信機との間の距離を求めてもよい。次に、求めた差を、信号に対応付けられた方向情報とともに使用することにより、ポータブルデバイスの位置および向きを求めてもよい。

【0029】

ある実施形態に従うと、近距離ワイヤレス送信機に対するポータブルデバイスの位置を、さらに複数の近距離ワイヤレス送信機から受信した信号に基づいて求めてもよい。ある実施形態において、この位置を求めることは、信号の三角測量を伴っていてもよい。したがって、いくつかの近距離ワイヤレス送信機が利用可能であり実オブジェクトに対して予め定められた位置に配置されている場合、ポータブルオブジェクトの位置および向きを求めることを、これらの送信機からの信号を計算に含めることによってさらに改善してもよい。

【0030】

近距離ワイヤレス送信機に対するポータブルデバイスの向きを求めることは、近距離ワイヤレス送信機から送信されポータブルデバイスのアンテナに入射する信号の伝搬方向を求めることを含み得る。これは、たとえば、アンテナの回転中の最大信号強度を求めることにより、または、ポータブルデバイスのアンテナアレイの個々の要素間の到着時間差を測定することにより、実現してもよい。

【0031】

ある実施形態に従うと、ポータブルデバイスは、受信信号の到来角（ＡｏＡ：angle of arrival）を求めることを可能にするアンテナ素子のアレイを含み得る。ＡｏＡは、アレイ内の個々のアンテナ素子で受信された信号の位相の差を測定することによって求めてもよく、求めたＡｏＡは、近距離ワイヤレス送信機との関係におけるポータブルデバイスの向きを示す。好ましくは、近距離ワイヤレス送信機に対するポータブルデバイスの向きおよび位置の双方の測定を得るために、ＡｏＡを求めることを、受信信号強度に基づいて距離を求めることと組み合わせてもよい。

【0032】

本実施形態は、この場合は送信機の単一のアンテナからの信号を用いてポータブルデバイスの向きおよび位置を求めることを可能にするという点において、好都合である。実際、いくつかの送信機を用いて、求めた向きおよび位置を検証してもよいが、これは、たとえば本開示の文脈では要件ではない三角測量に基づいた技術とは異なる。

【0033】

ある実施形態に従うと、近距離ワイヤレス送信機は、受信信号の出射角（ＡｏＤ：angle of departure）を求めることを可能にするアンテナ素子のアレイを含み得る。ＡｏＤを、ＡｏＤの計算について先に述べたのと同様の方法で、位相差を測定することによって求めてもよい。したがって、ポータブルデバイスの受信アンテナは、アレイ内の複数のアンテナ素子から送信される信号の位相のサンプルを取り込んでもよい。位相サンプルデータに基づいて、ポータブルデバイスは相対的な信号方向を求めることができ、したがって、ポータブルデバイスおよび送信機の相対的な向きを求めることができる。好ましくは、これらの計算は、信号の受信信号強度データに基づく距離の計算で終了し、ポータブルデバイスの向きと位置の両方を、送信機を基準として求めることができる。

【0034】

ＡｏＡの計算に関連する実施形態と同様、本実施形態は、本実施形態は、ポータブルデバイスの相対的な位置および向きを、この場合はポータブルデバイスの１つのアンテナを用いて求めることを可能にする。２つ以上のアンテナを用いることが可能であるかもしれないが、本開示の文脈においては要件ではない。

【0035】

いくつかの実施形態に従うと、ポータブルデバイスは、処理ユニットにデータを提供するように構成された内部位置決めデバイス等の位置決めデバイスを含み得る。処理ユニットは、このデータを、近距離ワイヤレス送信機に対するポータブルデバイスの位置および／または位置を求めるために使用してもよい。位置決めデバイスは、たとえば、近距離ワイヤレス送信機からデータを収集するように構成された近距離ワイヤレス受信機、または、ポータブルデバイスの地理空間位置をグローバル座標系で求めることを可能にする全球測位衛星システムＧＮＳＳ（Global Navigation Satellite System）受信機を、含み得る。これに代えてまたはこれに加えて、位置決めデバイスは、加速度およびジャイロスコープデータを提供するための慣性計測装置ＩＭＵまたは慣性センサを含む。ＩＭＵデータは、近距離ワイヤレス送信機に対するポータブルデバイスの向きおよび位置を求めるときの精度をさらに改善するために与えられてもよい。

【0036】

ある実施形態に従うと、実オブジェクトは、変電所の機器デバイスの一部であってもよくまたはこの機器デバイスの一部を形成していてもよい。変電所は、電気系統の異なる送電線間の接続ポイントとして機能してもよく、それに加えて電圧を高電圧から低電圧にもしくはその逆に変圧してもよく、または、送電または配電網における他のいくつかの重要な機能のうちのいずれかを実行してもよい。変電所および各種変電所の設置された機器は、設計が異なることが多い。これらの実施形態は、１つまたはいくつかの近距離ワイヤレス送信機を、変電所の構成要素およびデバイスに、現場作業員または技術者が正しい構成要素およびデバイスを識別するのを支援するために、対応付けることを可能にし、作業員または技術者が機器にアクセスし検査し機器上で動作を実行することを可能にする、という点において、好都合である。構成要素または資産の例は、コネクタおよびコネクタに適用されるケーブルを含んでいてもよく、仮想オブジェクトは、ケーブルを通して送信される信号、ケーブルリード線の状態、およびケーブルに対応付けられたデータ値を示し得る。さらに、仮想オブジェクトは、ケーブルタイプの識別、ならびにケーブルの番号およびルーティングを示してもよい。仮想オブジェクトはまた、たとえば複数のファン等の同一タイプのいくつかの構成要素または資産を識別してもよく、資産の各々の条件または状態を視覚化してもよい（たとえばファンが回転しているか否かを示すなど）。

【0037】

いくつかの実施形態に従うと、ポータブルデバイスは、タブレットもしくはスマートフォン等のハンドヘルドデバイス、またはヘッドマウントディスプレイデバイスであってもよい。

【0038】

上記実施形態以外の実施形態も可能であることが理解されるであろう。また、第１の局面に係る上記方法の実施形態における特徴のうちのいずれかを、他の局面に係るシステム、デバイスおよびプロダクトと組み合わせてもよく、その逆も可能であることが、理解されるであろう。

【0039】

含まれている実施形態の他の目的、特徴および利点は、以下の詳細な説明、添付の従属請求項、および図面から、明らかであろう。当業者は、本発明のさまざまな特徴は、たとえ異なる請求項に記載されていたとしても、以下で説明する実施形態以外の実施形態において組み合わせることが可能であることを理解する。

【0040】

次に、例示のための実施形態を、添付されている以下の図面を参照しながらより詳細に説明する。

【図面の簡単な説明】

【0041】

【図1】いくつかの実施形態に係る、送電および／または配電網の機器の検査およびサービスのためのポータブルデバイスの概略図を示す。

【図2】いくつかの実施形態に係る、ポータブルデバイスのディスプレイデバイス上に仮想オブジェクトとともに表示された、取り込まれた画像の一例を示す図である。

【図3】いくつかの実施形態に係る、実オブジェクトを含むシーンの画像の取り込みを示す図である。

【図4a】いくつかの実施形態に係る、実オブジェクトに対するポータブルデバイスの位置および向きを求めるための送信機および受信機の例を示す図である。

【図4b】いくつかの実施形態に係る、実オブジェクトに対するポータブルデバイスの位置および向きを求めるための送信機および受信機の例を示す図である。

【図5】いくつかの実施形態に係る、システムの概略図を示す。

【図6】本開示の方法を示すフローチャートの図である。

【図7】ある実施形態に係る、コンピュータ読取可能記憶媒体を含むコンピュータプログラムプロダクトの一例を示す図である。

【発明を実施するための形態】

【0042】

図面に示されている要素および領域の大きさは、説明のために誇張されている場合があり、したがって実施形態の一般的な構造を説明するために提供される。全体を通して同様の参照番号は同様の要素を示す。

【0043】

詳細な説明
次に、例示のための実施形態を、現在好ましい実施形態が示されている添付の図面を参照しながらさらに十分に説明する。しかしながら、本発明は、多数の異なる形態で実施し得るものであり、本明細書に記載の実施形態に限定されると解釈されてはならず、むしろこれらの実施形態は、完璧および完全を期すために提供され、本発明の範囲を当業者に十分に伝えるものである。

【0044】

図１を参照して、本開示のいくつかの実施形態に係るポータブルデバイス１００について説明する。図１は、送電または配電網の一次機器または二次機器等の機器３０の検査またはサービスのために使用することができる、ハンドヘルドタブレット等のポータブルデバイス１００を示す。ポータブルデバイス１００は、撮像デバイス１１０と、位置決めデバイスまたは受信機１２０と、処理ユニット１３０と、ディスプレイデバイス１４０と、トランシーバ１５０とを含み得る。

【0045】

ディスプレイデバイス１４０は、図２を参照しながらさらに説明するように、撮像デバイス１１０によって取り込まれた１つ以上の画像と、ユーザが実オブジェクト３０に関する情報にアクセスするのを支援するための仮想オブジェクトとを表示するように適合させてもよい。ディスプレイデバイス１４０はさらに、ユーザが、撮像デバイス１１０の視野内の実オブジェクト３０を含むシーンの画像を取り込むのを支援してもよい。

【0046】

仮想オブジェクトは、たとえば変電所の機器デバイスまたは資産であってもよい実オブジェクト３０に対応付けられた情報を含み得る。一例において、実オブジェクト３０は、変流器または電流センサであってもよい。仮想オブジェクトは、出力信号タイプおよびデータ値とともに、識別された変流器またはセンサをユーザに示してもよい。

【0047】

ポータブルデバイス１００に、実オブジェクト３０に対する予め定められた位置に配置された近距離ワイヤレス送信機４０からの信号を受信するためのアンテナが設けられていてもよい。いくつかの例において、アンテナは、位置決めデバイスまたは受信機１２０の一部を形成していてもよい。したがって、位置決めデバイスまたは受信機１２０は、１つまたはいくつかの近距離ワイヤレス送信機４０から１つまたはいくつかの信号を受信するための１つまたはいくつかのアンテナ素子（図示せず）を有し得る。複数の信号を利用できる場合、たとえば、実オブジェクト３０に対応付けられた送信機４０から、および同じオブジェクト３０またはその他のオブジェクトに対応付けられた追加の送信機からの、複数の信号の三角測量により、実オブジェクト３０に対するポータブルデバイスの位置および／または向きをさらに求めてもよい。

【0048】

一例において、位置決めデバイス１２０は、Ｂｌｕｅｔｏｏｔｈ信号等の無線周波数信号を受信するように構成されてもよい。次に、受信した信号から得られたデータを、実オブジェクト３０に対するポータブルデバイス１００の位置を求めるために、処理ユニット１３０に与えてもよい。任意で、位置決めデバイスは、ポータブルデバイス１００の移動および位置に関連する加速度およびジャイロスコープデータを与えることができる慣性計測装置ＩＭＵ１７０からのデータを含んでもよく、またはこのデータを受信するように構成されてもよい。

【0049】

本実施形態において、処理ユニット１３０はポータブルデバイス１００に配置されている。しかしながら、処理ユニット１３０は、インターネットクラウド構造のようなポータブルデバイスの外部に配置されていてもよい。処理ユニット１３０は、位置決めデバイス１２０、ディスプレイユニット１４０、および任意でＩＭＵ１７０と通信してもよい。いくつかの例において、処理ユニット１３０はさらに全球測位衛星システムＧＮＳＳからの信号を受信するように構成されてもよい。

【0050】

処理ユニット１３０は、実オブジェクト３０を含むシーンの１つ以上の画像を撮像デバイス１１０が取り込むように撮像デバイスを制御するように適合されてもよい。また、処理ユニット１３０は、撮像デバイス１１０が取り込んだ画像または少なくともこの画像に対応するデータを受け、ディスプレイデバイス１４０が表示する画像をさらに制御するように、適合されてもよい。

【0051】

以下で説明するように、ディスプレイデバイス１４０が表示する画像における仮想オブジェクトの位置を、位置決めデバイス１２０が収集したデータに基づいて求めてもよい。

【0052】

ポータブルデバイス１００の撮像デバイス１１０は、たとえば、電荷結合素子（ＣＣＤ）、相補型金属酸化物半導体（ＣＭＯＳ）センサ、または別のアクティブデジタル画素センサ等の画像センサを含むデジタルカメラであってもよい。撮像デバイス１１０は、位置決めデバイス１２０のアンテナに対して決まった位置に配置される。

【0053】

配置デバイス１２０のアンテナに入射した信号を用いて、アンテナと、信号を送信した近距離ワイヤレス送信機４０（略して「送信機」）との間の距離を求めてもよい。この距離を、たとえば、受信した信号の強度を信号の経路損失モデルと組み合わせたものに基づいて計算してもよい。さらに、位置決めデバイス１２０のアンテナに入射した信号を用いて、信号の到来角または出射角によって定められてもよい、受信した信号の方向を、求めてもよい。たとえば、この方向は、図３ａおよび図３ｂを参照しながらさらに説明するように、入射した信号の位相測定に基づいて計算してもよい。

【0054】

位置決めデバイス１２０のアンテナは、ポータブルデバイス１００に対して決まった位置および向きを有していてもよく、そうすると、送信機４０から入射した信号の方向は、ポータブルデバイス１００の位置および向きに関して定めることができる。この例において、入射した信号の方向は、撮像デバイス１１０の光軸１１４に平行な軸１２２と、位置決めデバイス１２０のアンテナと送信機４０との間の見通し線との間の角度αで例示されている。

【0055】

入射した信号の方向と送信機４０までの距離とに基づいて、ポータブルデバイス１００における位置決めデバイス１２０はわかっているので、ポータブルデバイス１００の位置および向きを、送信機４０との関連で推定することができる。そうすると、実オブジェクト３０に対するポータブルデバイス１００の位置および向きを、実オブジェクト３０に対する送信機４０の予め定められた位置に基づいて、計算してもよい。

【0056】

図１は、ポータブルデバイス１００と通信するサーバ１６０等の遠隔デバイスも示している。たとえばポータブルデバイス１００のトランシーバ１５０によって通信を可能にしてもよい。サーバは、撮像デバイス１１０によって取得された画像内の実オブジェクト３０のアイデンティティまたはカテゴリに関する情報および画像を受けるように構成されてもよい。サーバ１６０は、たとえば実オブジェクトのアイデンティティ、状態または特性等の、実オブジェクト３０に対応付けられた情報を格納してもよい。一例において、実オブジェクト３０のアイデンティティはサーバ１６０に提供されてもよく、サーバ１６０は、これに応じて、実オブジェクト３０のアイデンティティに対応付けられた情報をポータブルデバイス１００に提供してもよい。次に、アイデンティティに対応付けられた情報は、取得した画像内に仮想オブジェクトとして表示されてもよい。

【0057】

さらに、サーバは、撮像デバイス１１０によって取り込まれた画像内の実オブジェクト３０を識別するために使用できる人工知能アルゴリズムを収容してもよい。この識別を用いることにより、画像内の仮想オブジェクトの配置をさらに改善し、実オブジェクト３０のアイデンティティに対応付けられた情報を取り出してもよい。人工知能アルゴリズムモデルは、いくつかの例ではサーバ１６０からダウンロードされポータブルデバイス１００にローカルに格納されてもよく、その他の例では人工知能アルゴリズムはサーバ１９０から動作してもよい。

【0058】

ユーザは、実オブジェクト３０の識別が正しくないことを発見した場合、情報を訂正してもよく、それに応じて人工知能アルゴリズムが更新されてもよい。

【0059】

サーバ１６０は、たとえばインターネットクラウドインフラストラクチャの遠隔サーバのように、遠隔位置にあるものとして示されているが、サーバ１６０はポータブルデバイス１００に組み込まれた部分であってもよい。

【0060】

図２は、図１に示される実施形態に係るポータブルデバイス１００のディスプレイデバイス１４０を示す。この例において、機器デバイス３０の形態の実オブジェクトを含むシーンの画像２０が、仮想オブジェクト１０、１２、１４の形態の情報とともに、ディスプレイデバイス１４０に表示されている。仮想オブジェクト１０、１２、１４は、この例では警告記号１０、矢印１２、および表示された電圧レベル１４によって示されている、記号およびテキストフィールド等の、コンピュータによって生成されたグラフィック特徴であってもよい。仮想オブジェクト１０、１２、１４は、示されている機器デバイス３０の特定の部品または構成要素３５に関する情報をユーザに伝えるように、画像２０にオーバーレイされ配置される。画像内の仮想オブジェクト１０、１２、１４の位置は、実オブジェクト３０に対するポータブルデバイス１００の位置および向きに基づいて求められ、撮像された機器３０の特定の部品または構成要素のアイデンティティ、状態、および特性に関する知識をユーザが得られるようにする。

【0061】

ある実施形態において、ポータブルデバイスは、ユーザからの入力を受けるための入力手段を含む。入力手段は、たとえば、ユーザが、画像内の特定の部分もしくは構成要素または仮想オブジェクトを選択し、選択したアイテムに対応付けられた追加情報を取り出すことができるように、構成されてもよい。入力手段は、たとえば、タッチスクリーン１４０、またはユーザによって制御されるポインタ等のグラフィックナビゲーションツールを含み得る。ある例において、入力はサーバ１６０への要求として送信され、これに応じて、選択されたアイテムに対応付けられた、格納されている情報が提供されてもよい。格納されている情報は、ディスプレイデバイス１４０上の画像内の仮想オブジェクトとして提示されてもよい。

【0062】

図３は、撮像デバイス１１０から実オブジェクト３０が見える位置にポータブルデバイス１００が置かれる一方で、近距離ワイヤレス送信機４０からの信号からのデータが、撮像デバイス１１０からのデータとともに収集されるシナリオを示す。撮像デバイス１１０は、撮像デバイス１１０のセンサ１１２の視野のゾーン１１６で表されている、実オブジェクト３０が位置するシーンまたは表面の画像（または一連の画像またはビデオ）を取り込んでもよい。画像が取り込まれる位置は、撮像デバイス１１０（レンズは図３に示されていない）の投影中心１１７の位置に対応していてもよい。たとえば撮像センサ１１２の中心等の、ポータブルデバイス１１０の別のポイントを基準とみなしてもよいことが理解されるであろう。

【0063】

ポータブルデバイス１００、またはより正確には処理ユニット１３０は、前の図面に関して先に述べたように、送信機４０からの信号と実オブジェクト３０に対する送信機４０の予め定められた位置とに基づいて、実オブジェクト３０に対する投影中心１１７の、Ｘ，Ｙ，Ｚ座標系における位置を求めてもよい。したがって、処理ユニット１３０はさらに、同じ信号に基づいてポータブルデバイス１００の相対的な向きを求めてもよい。この向きは、たとえば、撮像デバイス１１０の光軸１１４と実オブジェクト３０から伝搬する入射光線３２との間の角度αによって定められてもよい。

【0064】

次に、いくつかの実施形態に係る、近距離ワイヤレス送信機との間での信号の送受信のある例について、図４ａおよび図４ｂを参照しながら説明する。

【0065】

図４ａおよび図４ｂは、近距離ワイヤレス送信機４０と受信機または位置決めデバイス１２０とを示しており、ある実施形態に従うと、位置決めデバイス１２０は、近距離ワイヤレス送信機４０から送信された信号を受信するように構成されている。近距離ワイヤレス送信機４０および位置決めデバイスは、たとえばＢｌｕｅｔｏｏｔｈ５．１方向探知機能をサポートするように構成されてもよい。前の実施形態に関して先に述べたように、送信機４０は、実オブジェクト３０に対して予め定められた位置に配置されてもよく、位置決めデバイス１２０は、実オブジェクト３０を含む機器の検査およびサービスのために、ポータブルデバイス１００の一部を形成していてもよく、またはポータブルデバイス１００と通信していてもよい。

【0066】

図４ａは、無線周波数信号を送信するための単一のアンテナ４２を含む送信機４０と、信号の到来角（ＡｏＡ）αを求めるためのアンテナ素子１２４のアレイを含む位置決めデバイスまたは受信機１２０とを示す。複数のアンテナ素子１２４を用いることで、入射信号の位相差を観察し使用することにより、ＡｏＡを求め、したがって実オブジェクト３０に対するポータブルデバイス１００の向きを求めてもよい。この例において、到来角αは、アンテナ素子１２４のアレイによって画定された（図４ａの線１２２で示される）面と、アンテナ素子１２４のアレイと送信機４０のアンテナ４２との間の見通し線との間の角度αとして示されている。

【0067】

代替構成が図４ｂに示されており、送信機４０はアンテナ素子４２のアレイと位置決めデバイスとを含む、または、受信機１２０は単一のアンテナ１２４を含む。図４ａの構成と同様に、送信信号の方向を位相を観察することによって求めてもよい。図４ｂにおいて、この方向を、出射角（ＡｏＤ）βと定義してもよく、送信機４０のアンテナ素子４２のアレイによって画定された（この図面の線４４で示される）面と、アンテナ素子４２のアレイと位置決めデバイス１２０のアンテナ１２４との間の見通し線との間の角度βによって説明してもよい。

【0068】

図５は、いくつかの実施形態に係る、システム５００の概略図である。システム５００は、上記図面を参照しながら説明した実施形態と同様に構成されてもよい、ポータブルデバイス１００と、実オブジェクト３０に対応付けられた複数の近距離ワイヤレス送信機４０と、処理ユニット１３０と、サーバ５０とを含み得る。

【0069】

ポータブルデバイス１００は、タブレットもしくはスマートフォン等のハンドヘルドデバイス１０１、または、拡張現実ヘッドセット等のヘッドマウントデバイス１０２であってもよい。どちらの例も、ポータブルデバイスを手に持っているまたはヘッドセットとして着用しているユーザ６０を示すこの図面に示されている。

【0070】

ユーザ６０は、たとえば変電所のデバイス３０等の設置されている機器に対してアクセスするおよび／または動作を実行する現場作業員またはサービス技術者であってもよい。ユーザ６０が機器の構成要素に関する情報にアクセスするのを支援するために、１つまたはいくつかの送信機４０を機器に設けてポータブルデバイス１００が取り込んだ画像に情報を表示するのを容易にしてもよい。したがって、ユーザ６０はポータブルデバイスを機器３０に向けて対象物（すなわち機器３０または機器の部品）をポータブルデバイス１００の撮像デバイス１１０から見えるようにする一方で、送信機４０からの信号を位置決めデバイスが受信し機器３０に対するポータブルデバイス１００の向きおよび位置を求めるためにデータが処理ユニット１３０に送信される。さらに、機器の構成要素またはデバイスが識別されてもよく、この構成要素またはデバイスに対応付けられた情報が遠隔サーバ５０から要求されてもよい。次に、この情報を、ポータブルデバイス１００に表示された取り込まれた画像内の仮想オブジェクトとしてユーザに示してもよい。

【0071】

図６は、前の図面を参照しながら説明した実施形態と同様であってもよい、ある実施形態に係る画像内に仮想オブジェクトを配置する方法を説明するフローチャートである。この方法は、ポータブルデバイス１００を用いて、実オブジェクト３０を含むシーンの画像２０を取得すること６１０と、実オブジェクト３０に対する予め定められた位置に配置された近距離ワイヤレス送信機４０からの信号をポータブルデバイス１００において受信すること６２０とを含む。いくつかの実施形態において、この方法は、任意で、実オブジェクトそのものから、好ましくは受信信号を介して、実オブジェクト３０のアイデンティティまたは特性を取り出すステップ６３０を含み得る。これに代えてまたはこれに加えて、好ましくは、画像内で識別されたオブジェクトのアイデンティティに関する情報および画像について訓練されてもよくまたは更新６３７されてもよい人工知能アルゴリズムを用いて、取得した画像２０を処理すること６３５により、アイデンティティを求めてもよい。

【0072】

さらに、この方法は、受信信号に基づいて、近距離ワイヤレス送信機４０に対するポータブルデバイス１００の位置および向きを求めること６４０と、ポータブルデバイス１００上に、取得した画像２０および仮想オブジェクト１０を表示すること６５０と、近距離ワイヤレス送信機４０に対するポータブルデバイスの求めた位置および向きと、実オブジェクト３０に対する近距離ワイヤレス送信機の予め定められた位置とに基づいて、仮想オブジェクト１０を取得した画像２０内に配置すること６６０とを含み得る。

【0073】

図７は、コンピュータ読取可能記憶媒体７３０を含む一例としてのコンピュータプログラムプロダクト７１０を示す。このコンピュータ読取可能記憶媒体７３０上にコンピュータプログラム７２０を格納することができ、コンピュータプログラム７２０は、システム５００またはポータブルデバイス１００に、およびこれに作動的に結合されたエンティティおよびサーバ５０等のデバイスに、本明細書に記載の実施形態に係る方法を実行させることができる。したがって、コンピュータプログラム７２０および／またはコンピュータプログラムプロダクト５１０は、本明細書に開示される動作を実行するための手段を提供することができる。

【0074】

図７の例において、コンピュータプログラムプロダクト７１０は、コンパクトディスク（ＣＤ）またはデジタル多目的ディスク（ＤＶＤ）またはブルーレイディスク（Blu-Ray Disc（登録商標））等の光ディスクとして示されている。また、コンピュータプログラムプロダクトは、ランダムアクセスメモリ（ＲＡＭ）、読出専用メモリ（ＲＯＭ）、消去可能プログラム可能読出専用メモリ（ＥＰＲＯＭ）、または、電気的消去可能プログラム可能読出専用メモリ（ＥＥＰＲＯＭ）等のメモリとして、より具体的には、ユニバーサルシリアルバス（ＵＳＢ）メモリ等の外部メモリ内のデバイスの不揮発性記憶媒体として、またはコンパクトフラッシュ（登録商標）メモリ等のフラッシュメモリとして、実現することが可能である。したがって、コンピュータプログラム７２０はここでは図示されている光ディスク上のトラックとして模式的に示されているが、コンピュータプログラム７２０はコンピュータプログラムプロダクト７１０に適した任意の方法で格納することができる。

【0075】

上記発明の概念は、主として少数の実施形態を参照しながら説明した。しかしながら、当業者が容易に理解するように、開示した上記実施形態以外の実施形態が、添付の特許請求項によって定義される発明の概念の範囲の中で、等しく可能である。

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2022-05-18

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

実オブジェクト（３０）を含むシーンの画像（２０）内に仮想オブジェクト（１０，１２，１４）を配置する方法であって、前記実オブジェクトは、送電および／または配電網のデバイスの少なくとも一部を形成しており、前記方法は、
ポータブルデバイス（１００）を用いて前記シーンの前記画像を取得するステップ（６１０）と、
前記ポータブルデバイスにおいて、前記実オブジェクトに対して予め定められた位置に配置された近距離ワイヤレス送信機（４０）からの信号を受信するステップ（６２０）と、
前記受信した信号に対応付けられた方向情報に少なくとも一部基づいて、前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの位置および向きを求めるステップ（６４０）と、
前記取得した画像と前記仮想オブジェクトとを前記ポータブルデバイス上に表示するステップ（６５０）と、
前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの前記求めた位置および向きと、前記実オブジェクトに対する前記近距離ワイヤレス送信機の前記予め定められた位置とに少なくとも一部基づいて、前記取得した画像内に前記仮想オブジェクトを配置するステップ（６６０）とを含む、方法。

【請求項2】

前記仮想オブジェクトは、前記実オブジェクトのアイデンティティおよび／または特性に対応付けられたグラフィック特徴である、請求項１に記載の方法。

【請求項3】

前記実オブジェクトの前記アイデンティティおよび／または特性を、特に前記受信した信号から取り出すステップ（６３０）をさらに含む、請求項２に記載の方法。

【請求項4】

前記実オブジェクトの前記アイデンティティを物体認識方法を用いて求めるステップ（６３５）をさらに含む、請求項３に記載の方法。

【請求項5】

前記物体認識方法は、実オブジェクトの以前に取得された画像およびこれらのオブジェクトの対応する前記アイデンティティについて訓練された人工知能アルゴリズムを含む、請求項４に記載の方法。

【請求項6】

画像を受信し前記受信した画像において識別されるオブジェクトの前記アイデンティティに関する情報を受信するように構成されたサーバと通信することにより、前記人工知能アルゴリズムを更新するステップ（６３７）をさらに含む、請求項５に記載の方法。

【請求項7】

前記取得した画像における前記仮想オブジェクトの配置はさらに、前記物体認識方法の出力に基づく、請求項４に記載の方法。

【請求項8】

前記ポータブルデバイスのアンテナ素子（１２４）のアレイを用いることにより、前記受信した信号の到来角ＡｏＡ（α）を求め、および／または
前記近距離ワイヤレス送信機のアンテナ素子（４２）のアレイを用いることにより、前記受信した信号の出射角ＡｏＤ（β）を求め、
前記ＡｏＡおよび／または前記ＡｏＤにさらに基づく、前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの前記位置および向きは、前記処理ユニットによって求められる、請求項１から請求項７のいずれか１項に記載の方法。

【請求項9】

前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの前記位置はさらに前記近距離ワイヤレス送信機の信号強度に基づいて求められる、請求項１から請求項８のいずれか１項に記載の方法。

【請求項10】

前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの前記位置はさらに三角測量に基づいて求められる、請求項１から請求項９のいずれか１項に記載の方法。

【請求項11】

実オブジェクト（３０）を含むシーンの画像（２０）内に仮想オブジェクト（１０，１２，１４）を配置するためのシステム（５００）であって、前記システムは、
送電および／または配電網のデバイスの検査およびサービスのためのポータブルデバイス（１００）と、
前記実オブジェクトに対して予め定められた位置に配置された近距離ワイヤレス送信機（４０）と、
処理ユニット（１３０）とを備え、
前記ポータブルデバイスは、
前記シーンの前記画像を取得するように、かつ、
前記近距離ワイヤレス送信機からの信号を受信するように、構成され、
前記処理ユニットは、前記受信した信号に対応付けられた方向情報に少なくとも一部基づいて、前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの位置および向きを求めるように構成され、
前記ポータブルデバイスはさらに、
前記取得した画像と前記仮想オブジェクトとを表示するように、かつ、
前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの前記求めた位置および向きと、前記実オブジェクトに対する前記近距離ワイヤレス送信機の前記予め定められた位置とに少なくとも一部基づいて、前記取得した画像内に前記仮想オブジェクトを配置するように、構成される、システム。

【請求項12】

前記ポータブルデバイスは、前記受信した信号の到来角ＡｏＡ（α）を求めることを可能にするアンテナ素子（１２４）のアレイを含み、および／または
前記近距離ワイヤレス送信機は、前記受信した信号の出射角ＡｏＤ（β）を求めることを可能にするアンテナ素子（４２）のアレイを含み、
前記処理ユニットは、前記ＡｏＡおよび／または前記ＡｏＤにさらに基づいて前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの前記位置および向きを求めるように構成される、請求項１０に記載のシステム。

【請求項13】

前記ポータブルデバイスは位置決めデバイス（１２０）を含み、前記処理ユニットはさらに、前記位置決めデバイスからのデータにさらに基づいて、前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの前記位置および／または向きを求めるように構成され、前記位置決めデバイスは、全球測位衛星システムＧＮＳＳ受信機および／または慣性センサを含む、請求項１１または１２に記載のシステム。

【請求項14】

送電および／または配電網のデバイスの検査およびサービスのためのポータブルデバイス（１００）であって、前記ポータブルデバイスは、
実オブジェクト（３０）を含むシーンの画像を取得するように構成された撮像デバイス（１１０）と、
前記取得した画像を表示するように構成されたディスプレイデバイス（１４０）とを備え、
前記ポータブルデバイスは、前記実オブジェクトに対して予め定められた位置に配置された近距離ワイヤレス送信機（４０）からの信号を受信するように構成され、
前記ポータブルデバイスは、前記受信した信号に少なくとも一部基づいて前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの位置および向きを求めるように構成された処理ユニット（１３０）に通信可能に接続され、
前記ディスプレイデバイス（１４０）はさらに、前記取得した画像内に仮想オブジェクトを表示するように構成され、前記取得した画像内の前記仮想オブジェクトの位置は、前記近距離ワイヤレス送信機に対する前記ポータブルデバイスの前記求めた位置および向きと、前記実オブジェクトに対する前記近距離ワイヤレス送信機の前記予め定められた位置とに少なくとも一部基づく、ポータブルデバイス（１００）。

【請求項15】

ハンドヘルドディスプレイデバイス（１０１）またはヘッドマウントディスプレイデバイス（１０２）である、請求項１４に記載のポータブルデバイス。

【請求項16】

請求項１２～１６に記載のシステム（５００）に請求項１～１１に記載の方法のステップを実行させる命令を含むコンピュータプログラムプロダクト（７１０）。

【外国語明細書】