特表 2025-506740 地球上で宇宙エクステンデッドリアリティサービス、および宇宙プラットフォーム上で地球エクステンデッドリアリティサービスを提供するための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-03-13

(54)【発明の名称】地球上で宇宙エクステンデッドリアリティサービス、および宇宙プラットフォーム上で地球エクステンデッドリアリティサービスを提供するための方法およびシステム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20250306BHJP

   G06T 13/40 20110101ALI20250306BHJP

【ＦＩ】

G06T19/00 600

G06T13/40

【審査請求】未請求

【予備審査請求】有

(21)【出願番号】P 2024549224

(86)(22)【出願日】2023-02-17

(85)【翻訳文提出日】2024-10-03

(86)【国際出願番号】 IB2023051453

(87)【国際公開番号】W WO2023156958

(87)【国際公開日】2023-08-24

(31)【優先権主張番号】22425006.8

(32)【優先日】2022-02-17

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】517411438

【氏名又は名称】タレス・アレーニア・スペース・イタリア・エッセ・ピ・ア・コン・ウニコ・ソシオ

(71)【出願人】

【識別番号】524308619

【氏名又は名称】ネクスト・ワン・フィルム・グループ・エッセエッレエッレ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ドメニコ・テドネ

(72)【発明者】

【氏名】ヴァルター・バッソ

(72)【発明者】

【氏名】アレッサンドラ・ボナビナ

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050AA03

5B050BA08

5B050BA09

5B050BA12

5B050BA13

5B050CA08

5B050DA01

5B050EA04

5B050EA24

5B050EA26

5B050FA02

(57)【要約】

本発明は、地球上で宇宙エクステンデッドリアリティサービスを提供する方法に関係し、本方法は、宇宙プラットフォーム(2)上にインストールされた1つまたは複数の収集システム/デバイス(1)により、周囲の宇宙環境および/または該宇宙環境内の1人もしくは複数の宇宙飛行士(3)に関係するリアルタイムデータを収集するステップと、コンピュータグラフィックス処理デバイス/システム(4)により、収集されたリアルタイムデータと合成データとに基づいて、宇宙環境を再現する3次元エクステンデッドリアリティ環境と、宇宙飛行士(3)の動き、および/またはアクション、および/または顔の表情、および/または声を再現する、宇宙飛行士(3)の1つまたは複数の3次元アバターとを生成するステップであって、合成データが、宇宙環境および/または宇宙飛行士(3)をデジタル的に表す、ステップと、生成された3次元エクステンデッドリアリティ環境およびアバターに基づいて、地球上の1人または複数のユーザ(5)に、宇宙エクステンデッドリアリティサービスを提供するステップとを含む。

【特許請求の範囲】

【請求項1】

地球上で宇宙エクステンデッドリアリティサービスを提供する方法であって、
a)宇宙プラットフォーム(2)上にインストールされた1つまたは複数の収集システム/デバイス(1)により、周囲の宇宙環境および/または前記宇宙環境内の1人もしくは複数の宇宙飛行士(3)に関係するリアルタイムデータを収集するステップと、
b)コンピュータグラフィックス処理デバイス/システム(4)により、収集された前記リアルタイムデータと合成データとに基づいて、前記宇宙環境を再現する3次元エクステンデッドリアリティ環境と、前記宇宙飛行士(3)の動き、および/またはアクション、および/または顔の表情、および/または声を再現する、前記宇宙飛行士(3)の1つまたは複数の3次元アバターとを生成するステップであって、前記合成データが、前記宇宙環境および/または前記宇宙飛行士(3)をデジタル的に表す、ステップと、
c)生成された前記3次元エクステンデッドリアリティ環境および前記アバターに基づいて、地球上の1人または複数のユーザ(5)に、宇宙エクステンデッドリアリティサービスを提供するステップと
を含む、方法。

【請求項2】

前記リアルタイムデータが、前記宇宙飛行士(3)の身体位置、および/または身体姿勢、および/または顔の表情をデジタル的に表す、点群などのデータを含む、請求項1に記載の方法。

【請求項3】

前記リアルタイムデータが、画像、および/または写真、および/またはビデオデータ、および/またはオーディオデータを含む、請求項1または2に記載の方法。

【請求項4】

前記合成データが、前記宇宙環境および/または前記宇宙飛行士(3)をデジタル的に表す、1つもしくは複数のコンピュータ支援設計モデル、および/または1つもしくは複数のデジタルツインモデルに基づいて作り出される、請求項1から3のいずれか一項に記載の方法。

【請求項5】

前記ユーザ(5)が、1つまたは複数のエクステンデッドリアリティデバイス(6)によって、前記宇宙エクステンデッドリアリティサービスを経験する、請求項1から4のいずれか一項に記載の方法。

【請求項6】

請求項1から5のいずれか一項に記載の方法を実施することによって地球上で提供される、宇宙エクステンデッドリアリティサービス。

【請求項7】

地球上で宇宙エクステンデッドリアリティサービスを提供するように設計されたシステムであって、
宇宙プラットフォーム(2)上にインストールされ、周囲の宇宙環境および/または前記宇宙環境内の1人もしくは複数の宇宙飛行士(3)に関係するリアルタイムデータを収集するように構成された、1つまたは複数の収集システム/デバイス(1)と、
収集された前記リアルタイムデータを受信することと、請求項1から5のいずれか一項に記載の方法のステップb)およびc)を実行することとを行うように構成された、コンピュータグラフィックス処理デバイス/システム(4)と
を備える、システム。

【請求項8】

宇宙プラットフォーム上で地球エクステンデッドリアリティサービスを提供する方法であって、
a)地球上にインストールされた1つまたは複数の収集システム/デバイスにより、周囲の地上環境および/または前記地上環境内の1人もしくは複数の地上ユーザに関係するリアルタイムデータを収集するステップと、
b)コンピュータグラフィックス処理デバイス/システムにより、収集された前記リアルタイムデータと合成データとに基づいて、前記地上環境を再現する3次元エクステンデッドリアリティ環境と、前記地上ユーザの動き、および/またはアクション、および/または顔の表情、および/または声を再現する、前記地上ユーザの1つまたは複数の3次元アバターとを生成するステップであって、前記合成データが、前記地上環境および/または前記地上ユーザをデジタル的に表す、ステップと、
c)生成された前記3次元エクステンデッドリアリティ環境および前記アバターに基づいて、宇宙プラットフォーム上の1人または複数の宇宙飛行士に、地球エクステンデッドリアリティサービスを提供するステップと
を含む、方法。

【請求項9】

前記リアルタイムデータが、前記地上ユーザの身体位置、および/または身体姿勢、および/または顔の表情をデジタル的に表す、点群などのデータを含む、請求項8に記載の方法。

【請求項10】

前記リアルタイムデータが、画像、および/または写真、および/またはビデオデータ、および/またはオーディオデータを含む、請求項8または9に記載の方法。

【請求項11】

前記合成データが、前記地上環境および/または前記地上ユーザをデジタル的に表す、1つもしくは複数のコンピュータ支援設計モデル、および/または1つもしくは複数のデジタルツインモデルに基づいて作り出される、請求項8から10のいずれか一項に記載の方法。

【請求項12】

前記宇宙飛行士が、1つまたは複数のエクステンデッドリアリティデバイスによって、前記地球エクステンデッドリアリティサービスを経験する、請求項8から11のいずれか一項に記載の方法。

【請求項13】

請求項8から12のいずれか一項に記載の方法を実施することによって宇宙プラットフォーム上で提供される、地球エクステンデッドリアリティサービス。

【請求項14】

宇宙プラットフォーム上で地球エクステンデッドリアリティサービスを提供するように設計されたシステムであって、
地球上にインストールされ、周囲の地上環境および/または前記地上環境内の1人もしくは複数の地上ユーザに関係するリアルタイムデータを収集するように構成された、1つまたは複数の収集システム/デバイスと、
収集された前記リアルタイムデータを受信することと、請求項8から12のいずれか一項に記載の方法のステップb)およびc)を実行することとを行うように構成された、コンピュータグラフィックス処理デバイス/システムと
を備える、システム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本特許出願は、2022年2月17日に出願された欧州特許出願第22425006.8号の優先権を主張し、その開示全体が参照により本明細書に組み込まれる。

【0002】

本発明は、コンピュータグラフィックスの使用によって、デジタルツインソリューションによって使用されるようなデジタルモデリング技術と組み合わせて活用される、複合および仮想現実技術(より一般には、エクステンデッドリアリティ(XR)技術)に関する。

【0003】

より詳細には、本発明は、地球上で宇宙エクステンデッドリアリティサービスを提供するための方法およびシステム、ならびに宇宙プラットフォーム上で地球エクステンデッドリアリティサービスを提供するための方法およびシステムに関する。

【背景技術】

【0004】

知られているように、地球上の人員と、宇宙ミッションに従事している宇宙飛行士との間の通信の技術分野において現在使用されているシステムおよびデバイスは、主に旧来のオーディオおよびビデオ技術に基づいている。詳細には、宇宙セクタにおいて現在使用されているオーディオ通信システムは、モノラルであり、ごく少数の場合にのみ、ステレオであり、さらに、視覚コンテンツに基づく通信は、主に2次元(2D)システムおよびデバイス(大部分が2D画像、ビデオ、写真、図、書かれたテキストなどを表示する、ディスプレイ/モニタ/画面)を用いて実施されている。

【0005】

これらのシステムのユーザ(すなわち、宇宙飛行士および地上管制人員)は、2Dの形で通信することに慣れているが、対面通信によって、宇宙セクタにおいて現在使用されているオーディオ/ビデオ媒体が送信することができない豊富な情報および感情を転送することが可能であることは、まったく明らかである。このことは、特に(それだけではないが)安全面ならびに宇宙探査ミッション中の遠隔監視および管制活動に関して、克服することが望ましい制限を確かに表している。

【0006】

現在の宇宙通信チャネルは、テレメトリデータ、および、より一般には、バイナリ情報を送信するために十分であるが、人的要因が基本的な鍵である、長期間の有人宇宙飛行の間に、「より広い」チャネルが人間同士の通信に必要不可欠なものになり、その理由は、長期間の有人宇宙飛行の成功につながる連鎖全体のうち、人的要因が連鎖における最弱点を表すからである。実際に、不十分な通信が(それだけではないが)航空宇宙セクタにおける事故の最も多い原因であることは、広く知られており、科学文献において広範囲に記録されており、それによって、認知人間工学などの規律は、この問題に対処することを目指している。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の目的は、宇宙から地球へおよび地球から宇宙への通信のための現在のシステムの既知の制限を克服することが可能なシステムを提供することである。

【課題を解決するための手段】

【0008】

この目的および他の目的は、本発明が、添付の特許請求の範囲において定義されるように、地球上で宇宙エクステンデッドリアリティサービスを提供するための方法およびシステム、ならびに宇宙プラットフォーム上で地球エクステンデッドリアリティサービスを提供するための方法およびシステムに関するという点で、本発明によって達成される。

【0009】

詳細には、本発明による、地球上で宇宙エクステンデッドリアリティサービスを提供する方法は、
a)宇宙プラットフォーム上にインストールされた1つまたは複数の収集システム/デバイスにより、周囲の宇宙環境および/または前記宇宙環境内の1人もしくは複数の宇宙飛行士に関係するリアルタイムデータを収集するステップと、
b)コンピュータグラフィックス処理デバイス/システムにより、収集されたリアルタイムデータと合成データとに基づいて、宇宙環境を再現する3次元(3D)エクステンデッドリアリティ環境と、前記宇宙飛行士の動き、および/またはアクション、および/または顔の表情、および/または声を再現する、宇宙飛行士の1つまたは複数の3Dアバターとを生成するステップであって、合成データが、宇宙環境および/または宇宙飛行士をデジタル的に表す、ステップと、
c)生成された3Dエクステンデッドリアリティ環境およびアバターに基づいて、地球上の1人または複数のユーザに、宇宙エクステンデッドリアリティサービスを提供するステップと
を含む。

【0010】

さらに、本発明による、宇宙プラットフォーム上で地球エクステンデッドリアリティサービスを提供する方法は、
a)地球上にインストールされた1つまたは複数の収集システム/デバイスにより、周囲の地上環境および/または前記地上環境内の1人もしくは複数の地上ユーザに関係するリアルタイムデータを収集するステップと、
b)コンピュータグラフィックス処理デバイス/システムにより、収集されたリアルタイムデータと合成データとに基づいて、地上環境を再現する3Dエクステンデッドリアリティ環境と、前記地上ユーザの動き、および/またはアクション、および/または顔の表情、および/または声を再現する、地上ユーザの1つまたは複数の3Dアバターとを生成するステップであって、合成データが、地上環境および/または地上ユーザをデジタル的に表す、ステップと、
c)生成された3Dエクステンデッドリアリティ環境およびアバターに基づいて、宇宙プラットフォーム上の1人または複数の宇宙飛行士に、地球エクステンデッドリアリティサービスを提供するステップと
を含む。

【0011】

本発明のより良い理解のために、純粋に非限定的な例として意図される、好ましい実施形態が、本発明の一実施形態による高レベルシステムアーキテクチャの一例を概略的に示す添付の図面(一定の縮尺でない)を参照しながら、次に説明される。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態による高レベルシステムアーキテクチャの一例を概略的に示す図である。

【発明を実施するための形態】

【0013】

以下の説明は、当業者が本発明を理解、作成、および使用することを可能にするために提示される。実施形態への様々な変更は、請求されるような本発明の範囲から逸脱することなく、当業者には容易に明らかになるであろう。それゆえ、本発明は、図示および説明される実施形態に限定することを意図するものではなく、本明細書で開示され、添付の特許請求の範囲において定義される原理および特徴に一致する、最も広い範囲の保護が与えられるべきである。

【0014】

本発明は、地球上で宇宙エクステンデッドリアリティサービスを提供する方法に関係し、前記方法は、
a)宇宙プラットフォーム(たとえば、宇宙モジュール、宇宙ステーション、宇宙ビークル、宇宙船など)上にインストールされた1つまたは複数の収集システム/デバイスを用いて、周囲の宇宙環境および/または前記宇宙環境内の1人もしくは複数の宇宙飛行士に関係するリアルタイムデータを収集するステップと、
b)コンピュータグラフィックス処理デバイス/システムを用いて、収集されたリアルタイムデータと合成データとに基づいて、宇宙環境を再現する3次元(3D)エクステンデッドリアリティ環境と、前記宇宙飛行士の動き、および/またはアクション、および/または顔の表情、および/または声を再現する、宇宙飛行士の1つまたは複数の3Dアバターとを生成するステップであって、合成データが、宇宙環境および/または宇宙飛行士をデジタル的に表す、ステップと、
c)生成された3Dエクステンデッドリアリティ環境およびアバターに基づいて、地球上の1人または複数のユーザに、宇宙エクステンデッドリアリティサービスを提供するステップと
を含む。

【0015】

好ましくは、リアルタイムデータは、宇宙飛行士の身体位置、および/または身体姿勢、および/または顔の表情をデジタル的に表す、点群などのデータを含む。

【0016】

好都合なことに、リアルタイムデータは、画像、および/または写真、および/またはビデオデータ、および/またはオーディオデータを含む。

【0017】

好ましくは、合成データは、宇宙環境および/または宇宙飛行士をデジタル的に表す、1つもしくは複数のコンピュータ支援設計モデル、および/または1つもしくは複数のデジタルツインモデルに基づいて作り出される。

【0018】

好都合なことに、ユーザは、1つまたは複数のエクステンデッドリアリティデバイスを使用して、宇宙エクステンデッドリアリティサービスを経験する。

【0019】

本発明はまた、前に説明されたような方法を実施することによって、地球上で提供される、宇宙エクステンデッドリアリティサービス、および地球上で前記宇宙エクステンデッドリアリティサービスを提供するように設計されたシステムに関し、前記システムは、
・宇宙プラットフォーム上にインストールされ、周囲の宇宙環境および/または前記宇宙環境内の1人もしくは複数の宇宙飛行士に関係するリアルタイムデータを収集するように構成された、1つまたは複数の収集システム/デバイスと、
・地球上に、もしくは宇宙プラットフォーム上にインストールされ、または分散アーキテクチャを用いて、部分的に地球上に、および部分的に宇宙プラットフォーム上にインストールされ、収集されたリアルタイムデータを受信することと、前に説明されたような方法のステップb)およびc)を実行することとを行うように構成された、コンピュータグラフィックス処理デバイス/システムと
を備える。

【0020】

さらに、本発明はまた、宇宙プラットフォーム上で地球エクステンデッドリアリティサービスを提供する方法に関係し、前記方法は、
a)地球上にインストールされた1つまたは複数の収集システム/デバイスを用いて、周囲の地上環境および/または前記地上環境内の1人もしくは複数の地上ユーザに関係するリアルタイムデータを収集するステップと、
b)コンピュータグラフィックス処理デバイス/システムを用いて、収集されたリアルタイムデータと合成データとに基づいて、地上環境を再現する3Dエクステンデッドリアリティ環境と、前記地上ユーザの動き、および/またはアクション、および/または顔の表情、および/または声を再現する、地上ユーザの1つまたは複数の3Dアバターとを生成するステップであって、合成データが、地上環境および/または地上ユーザをデジタル的に表す、ステップと、
c)生成された3Dエクステンデッドリアリティ環境およびアバターに基づいて、宇宙プラットフォーム上の1人または複数の宇宙飛行士に、地球エクステンデッドリアリティサービスを提供するステップと
を含む。

【0021】

好ましくは、リアルタイムデータは、地上ユーザの身体位置、および/または身体姿勢、および/または顔の表情をデジタル的に表す、点群などのデータを含む。

【0022】

好都合なことに、リアルタイムデータは、画像、および/または写真、および/またはビデオデータ、および/またはオーディオデータを含む。

【0023】

好ましくは、合成データは、地上環境および/または地上ユーザをデジタル的に表す、1つもしくは複数のコンピュータ支援設計モデル、および/または1つもしくは複数のデジタルツインモデルに基づいて作り出される。

【0024】

好都合なことに、宇宙飛行士は、1つまたは複数のエクステンデッドリアリティデバイスを使用して、地球エクステンデッドリアリティサービスを経験する。

【0025】

本発明はまた、前に説明されたような方法を実施することによって、宇宙プラットフォーム上で提供される地球エクステンデッドリアリティサービス、および宇宙プラットフォーム上で前記地球エクステンデッドリアリティサービスを提供するように設計されたシステムに関し、前記システムは、
・地球上にインストールされ、周囲の地上環境および/または前記地上環境内の1人もしくは複数の地上ユーザに関係するリアルタイムデータを収集するように構成された、1つまたは複数の収集システム/デバイスと、
・地球上に、もしくは宇宙プラットフォーム上にインストールされ、または分散アーキテクチャを用いて、部分的に地球上に、および部分的に宇宙プラットフォーム上にインストールされ、収集されたリアルタイムデータを受信することと、前に説明されたような方法のステップb)およびc)を実行することとを行うように構成された、コンピュータグラフィックス処理デバイス/システムと
を備える。

【0026】

本発明は、宇宙空間において生成されたリアルタイムデータ(たとえば、宇宙飛行士の画像、ビデオ、オーディオ、顔の表情に関係するデータなど)と、コンピュータ生成画像(CGI)プログラムなどのコンピュータグラフィックスアプリケーションによって生成された合成データ(たとえば、コンピュータ支援設計(CAD)モデル、地形図、デジタルツインシステム/モデルなど)との混合物を、地球上の3D没入型環境として、リアルタイムのそれらの変換および利用の目的で活用するという、出願人のアイデアから生じたものである。明らかに、反対のシナリオ(すなわち、地上の場所および人々を再現する3D没入型環境の、宇宙における作成)も可能である。

【0027】

本発明によるプロセスのステップは、以下の主要な活動、すなわち、
・宇宙環境内でリアルタイムデータ、詳細には、リアルタイム画像、および/または写真、および/またはビデオ、および/またはオーディオ、および/または点群をキャプチャする/生成する/作り出す/収集することと、
・リアルタイムデータを処理し、地上に送信することと、
・地球上で利用可能な宇宙環境のあらかじめ定義された合成データ(たとえば、宇宙モジュール/ビークル/アウトポストのデジタルツイン)に対して、受信されたデータを照合することと、
・宇宙環境、および前記宇宙環境内で宇宙飛行士によって実行される活動を、地球上でリアルタイムに仮想的に再現することと
に好都合に分割され得る。

【0028】

現在、人が住んでいる宇宙モジュール上にインストールされた通信システムは、オンボードオーディオおよびビデオチャネルの(ならびにオンボードデータ管理システムから来るデータの)監視、管理、および制御、ならびに地球上の宇宙管制センターへのそれらの送信を提供する。

【0029】

好都合なことに、宇宙ビークル/モジュール/着陸船上にある従来の通信システムに加えて、追加のデバイスがその上に有利にインストールされ得、追加のデバイスは、宇宙環境ならびに宇宙飛行士の動きおよび顔の表情に関係する、追加のリアルタイムデータを追跡および収集することが可能であり、既存のシステムに(たとえば、オンボード通信交換マトリックスデバイスに)接続される。次いで、キャプチャされた信号が送られ、リアルタイムデータをあらかじめ定義された合成データと「混合」することによって、キャプチャされた遠隔環境を再作成するために、地球上で(またはどこでも有用なところで)リアルタイムで精緻化され得る。リアルタイムデータおよび合成データを組み合わせることによって、このようにして生成された遠隔エクステンデッドリアリティ環境は、たとえば、(たとえば、地上管制遠隔サポートのために)ポイントツーポイント(P2P)通信ネットワーク、または(たとえば、教育用、ゲーミング、メタバースなどのアプリケーションのために)ブロードキャストネットワークを使用することによって、好都合に活用され得る。

【0030】

添付図は、本発明の一実施形態による高レベルシステムアーキテクチャの一例を概略的に示す。

【0031】

添付図に示されているように、宇宙プラットフォーム2(たとえば、宇宙モジュール、宇宙ビークル、宇宙船など)上にインストールされた収集システム/デバイス1は、周囲の宇宙環境および/または前記宇宙環境内の1人もしくは複数の宇宙飛行士3に関係するリアルタイムデータ(たとえば、画像、ならびに/または写真、ならびに/またはビデオデータ、ならびに/またはオーディオデータ、ならびに/または宇宙飛行士3の身体位置、および/もしくは身体姿勢、および/もしくは顔の表情をデジタル的に表すデータ-たとえば、点群-など)を収集するために使用される。

【0032】

次いで、収集されたリアルタイムデータは(たとえば、旧来のオンボードテレメトリシステムを用いて)地球に送信され、そこで、地上コンピュータグラフィックス処理デバイス/システム4は、宇宙環境を再現し、地球上で利用可能な合成データ(CADおよび/またはデジタルツインモデルなど)に基づいて作成される/作り出される/生成される、3Dエクステンデッドリアリティ環境内で、前記宇宙飛行士3の動き、アクション、顔の表情、声などを再現する、宇宙飛行士3の3Dアバターを作成する/作り出す/生成するために、受信されたデータを使用する。

【0033】

地上コンピュータグラフィックス処理デバイス/システム4は、1つまたは複数の地上通信システム/ネットワークを介して、1人または複数の地上ユーザ5に送信される、データのストリームを出力し、ユーザ5は、エクステンデッドリアリティ(XR)デバイス6(たとえば、仮想現実(VR)ヘッドセット、拡張現実(AR)眼鏡など)を使用して、宇宙飛行士3のアバターとともに3Dエクステンデッドリアリティ環境を享受し、それによって、地上ユーザ5は、その中で宇宙飛行士3が動作しているものと同じ没入型環境を経験する。

【0034】

これに関連して、添付図に示された例では、地上コンピュータグラフィックス処理デバイス/システム4が地球上にインストールされていることに注目すべきである。しかしながら、2つの異なる実施形態によれば、コンピュータグラフィックス処理デバイス/システムは、宇宙プラットフォーム2上にインストールされ得るか、または分散アーキテクチャを用いて実装され得、それによって、コンピュータグラフィックス処理手段は、部分的に宇宙プラットフォーム2上に、および部分的に地球上にインストールされる。

【0035】

本発明は、以下を行うために、宇宙-地上および地上-宇宙の人間同士の通信のために有利に活用され得る。
・宇宙飛行士、または将来の宇宙旅行ミッションのために宇宙旅行者を訓練するための新しい方法など、様々なサービスを提供すること、
・地上管制センターによって提供される遠隔テクニカルサポートサービスのための高度なツールを提供すること、
・宇宙エンターテインメントビジネスを向上させること、
・宇宙飛行士と地球上の人々との遠隔の社会的な対話を改善すること、
・または同様のこと。

【0036】

本発明は、宇宙から地球への、およびその逆の大量のデータのリアルタイム送信の固有の問題/制限、現在の宇宙から地上へおよび地上から宇宙への電気通信システムでは満たすことができない、主に帯域幅需要に関係する問題/制限を回避することを可能にする。

【0037】

これらの問題/制限は、本発明によって、宇宙から来る限られた量の「ライブ」リアルタイムデータと、地上で利用可能なデジタルツインから来る大量の「合成」データと(またはその逆)を組み合わせて使用することによって克服される。

【0038】

実際に、合成データとともに、エクステンデッドリアリティ技術およびコンピュータグラフィックス技術を組み合わせて使用することによって、遠隔宇宙環境を再現する没入型エクステンデッドリアリティ環境を地球上で再作成することを依然として可能にしながら、宇宙からのデータのリアルタイムフローを軽減すること(またはその逆)が可能になる。

【0039】

詳細には、本発明は、主に地球と宇宙における関連するロケーションとの間の物理的距離(たとえば、地球の軌道、月の軌道、火星へのミッションなど)と、わずかにのみ、没入型エクステンデッドリアリティシナリオにおける宇宙環境の計算的な再構築のために必要な時間とに応じた遅延を伴って、宇宙飛行士が動いている宇宙環境全体とともに、宇宙飛行士の顔の表情を含む宇宙飛行士のアバターを地上で再現することを可能にする。

【0040】

したがって、本発明によるシステムは、宇宙プラットフォーム上に現在インストールされている従来の通信システムのように、宇宙環境の2D画像を送信することが可能であるのみでなく、最終的なユーザに「そこにいる」と知覚させるように、没入型モードで同じ環境をリアルタイムで再作成することが可能である。

【0041】

本発明は、オンボード訓練および実験、地上管制センターの動作サポート、宇宙飛行士の遠隔家族会議、乗組員の余暇活動、長期の宇宙探査ミッションの間の乗組員の心理社会的喪失の低減など、多数の用途に有利に使用され得る。その上、追加の用途には、ビデオブロードキャスティング、ビデオゲーミング、教育用/ソーシャルアプリケーションなども含まれ得る。さらに、国立宇宙機関は、宇宙関連の活動に対する一般の人々の認識および認知を高めるために、システムの強い感情的な影響から恩恵を受けることができる。

【0042】

本発明によるシステムはまた、同じ概念を反対の通信方向、すなわち、地球から宇宙への方向において実施することも可能にすることに注目すべきである。実際に、同じサービスが、宇宙乗組員に没入型エクステンデッドリアリティ地上環境を享受させるために使用され得るので、心理社会的対策のための極めて有益なツールを乗組員に提供することに寄与する。

【0043】

前に説明されたように、宇宙領域内のすべての現在の通信ソリューションは、視覚的な通信媒体として、2Dビデオ/画像のみを利用し、CADモデルのような合成データは、「オフライン」の3DオブジェクトまたはVR環境を再現するためにのみ使用される。

【0044】

言い換えれば、今日では、空間モジュール(たとえば、CADモデル)の設計、および宇宙モジュールによって送信されたテレメトリデータに従って生成された合成素材は、非同期モードでのみ、すなわち、技術試験または有用性試験などの活動を容易にするために、「オフライン」仮想環境を再現するために、使用され、管理される。

【0045】

反対に、本発明は、没入型仮想宇宙シナリオにおいて、宇宙飛行士の活動をリアルタイムに地上で仮想的に再現するために、地球上で生成された合成データ(たとえば、デジタルツイン)と組み合わせた、宇宙において収集されたリアルタイムデータの使用を提供する。

【0046】

安全上の理由のためであるが、それだけではなく、特に-宇宙乗組員と地上管制センターの人員との間の、テレメトリデータと個人間通信の両方の-通信の態様に関心がある、宇宙領域、およびより詳細には、有人宇宙探査にあって、本発明は、人間同士の通信における有益な助けおよび改善をもたらし得る。

【0047】

宇宙の厳密な文脈における本発明の使用に加えて、(教育用、エンターテインメントなどのアプリケーションの場合のように)より幅広いオーディエンスに適用される場合、システムを使用している間に対象者によって知覚される感情的な影響によって、その活動へのユーザの関与を拡大することができる。

【0048】

それゆえ、本発明は、二重の価値、すなわち、一方では、宇宙乗組員と地上の人員との間の通信および対話の品質を向上させるという価値、ならびに他方では、膨大な人々に適用されると、宇宙に関係するテーマを、より魅力的で人をひきつけるものにするという価値を有する。

【0049】

実際に、本発明は、宇宙設備内で生成されたリアルタイムデータを、宇宙インフラストラクチャの既知の構成の3Dデジタルモデル(すなわち、デジタルツイン)に関係するデータと組み合わせることによって、宇宙分野内と非宇宙内の両方の異なるカテゴリーのエンドユーザにサービスを提供することが可能である、新しいエクステンデッドリアリティ機能的アーキテクチャに基づく。

【0050】

要約すれば、本発明の異なる産業的および商業的な用途は、少なくとも以下の主な4つのカテゴリーに分類され得る。
1)科学的用途-宇宙飛行士が、エクステンデッドリアリティ技法を用いて、地球に存在する研究者と対話することによって行われた実験の遠隔リアルタイム検証、
2)訓練用途-宇宙における宇宙飛行士の直接的な関与を伴う場合もある、宇宙飛行士の指示および実体験をリアルタイムで実践する、仮想体験的訓練、すなわち、現地における個人トレーナー、
3)教育エンターテインメント(Edu-Entertainment)用途-最も現代的なXR技術を用いた知識促進および大量の情報、
4)商業的用途-一般の人々に向けた宇宙資産およびオンボード製品の促進。

【0051】

上記のことから、本発明の革新的な特徴および技術的利点は、当業者に直ちに明らかである。

【0052】

結論として、本発明に対して多数の変更形態および変形態を作成することができ、すべてが、添付の特許請求の範囲において定義されるような、本発明の保護の範囲内に入ることが明らかである。

【符号の説明】

【0053】

1 収集システム/デバイス
2 宇宙プラットフォーム
3 宇宙飛行士
4 地上コンピュータグラフィックス処理デバイス/システム
5 地上ユーザ
6 エクステンデッドリアリティ(XR)デバイス

【図1】

【手続補正書】

【提出日】2024-10-17

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

地球上で宇宙エクステンデッドリアリティサービスを提供する方法であって、
a)宇宙プラットフォーム(2)上にインストールされた1つまたは複数の収集システム/デバイス(1)により、周囲の宇宙環境および/または前記宇宙環境内の1人もしくは複数の宇宙飛行士(3)に関係するリアルタイムデータを収集するステップと、
b)コンピュータグラフィックス処理デバイス/システム(4)により、収集された前記リアルタイムデータと合成データとに基づいて、前記宇宙環境を再現する3次元エクステンデッドリアリティ環境と、前記宇宙飛行士(3)の動き、および/またはアクション、および/または顔の表情、および/または声を再現する、前記宇宙飛行士(3)の1つまたは複数の3次元アバターとを生成するステップであって、前記合成データが、前記宇宙環境および/または前記宇宙飛行士(3)をデジタル的に表す、ステップと、
c)生成された前記3次元エクステンデッドリアリティ環境および前記アバターに基づいて、地球上の1人または複数のユーザ(5)に、宇宙エクステンデッドリアリティサービスを提供するステップと
を含む、方法。

【請求項2】

前記リアルタイムデータが、前記宇宙飛行士(3)の身体位置、および/または身体姿勢、および/または顔の表情をデジタル的に表す、点群などのデータを含む、請求項1に記載の方法。

【請求項3】

前記リアルタイムデータが、画像、および/または写真、および/またはビデオデータ、および/またはオーディオデータを含む、請求項1に記載の方法。

【請求項4】

前記合成データが、前記宇宙環境および/または前記宇宙飛行士(3)をデジタル的に表す、1つもしくは複数のコンピュータ支援設計モデル、および/または1つもしくは複数のデジタルツインモデルに基づいて作り出される、請求項1に記載の方法。

【請求項5】

前記ユーザ(5)が、1つまたは複数のエクステンデッドリアリティデバイス(6)によって、前記宇宙エクステンデッドリアリティサービスを経験する、請求項1に記載の方法。

【請求項6】

請求項1に記載の方法を実施することによって地球上で提供される、宇宙エクステンデッドリアリティサービス。

【請求項7】

地球上で宇宙エクステンデッドリアリティサービスを提供するように設計されたシステムであって、
宇宙プラットフォーム(2)上にインストールされ、周囲の宇宙環境および/または前記宇宙環境内の1人もしくは複数の宇宙飛行士(3)に関係するリアルタイムデータを収集するように構成された、1つまたは複数の収集システム/デバイス(1)と、
収集された前記リアルタイムデータを受信することと、請求項1に記載の方法のステップb)およびc)を実行することとを行うように構成された、コンピュータグラフィックス処理デバイス/システム(4)と
を備える、システム。

【請求項8】

宇宙プラットフォーム上で地球エクステンデッドリアリティサービスを提供する方法であって、
a)地球上にインストールされた1つまたは複数の収集システム/デバイスにより、周囲の地上環境および/または前記地上環境内の1人もしくは複数の地上ユーザに関係するリアルタイムデータを収集するステップと、
b)コンピュータグラフィックス処理デバイス/システムにより、収集された前記リアルタイムデータと合成データとに基づいて、前記地上環境を再現する3次元エクステンデッドリアリティ環境と、前記地上ユーザの動き、および/またはアクション、および/または顔の表情、および/または声を再現する、前記地上ユーザの1つまたは複数の3次元アバターとを生成するステップであって、前記合成データが、前記地上環境および/または前記地上ユーザをデジタル的に表す、ステップと、
c)生成された前記3次元エクステンデッドリアリティ環境および前記アバターに基づいて、宇宙プラットフォーム上の1人または複数の宇宙飛行士に、地球エクステンデッドリアリティサービスを提供するステップと
を含む、方法。

【請求項9】

前記リアルタイムデータが、前記地上ユーザの身体位置、および/または身体姿勢、および/または顔の表情をデジタル的に表す、点群などのデータを含む、請求項8に記載の方法。

【請求項10】

前記リアルタイムデータが、画像、および/または写真、および/またはビデオデータ、および/またはオーディオデータを含む、請求項8に記載の方法。

【請求項11】

前記合成データが、前記地上環境および/または前記地上ユーザをデジタル的に表す、1つもしくは複数のコンピュータ支援設計モデル、および/または1つもしくは複数のデジタルツインモデルに基づいて作り出される、請求項8に記載の方法。

【請求項12】

前記宇宙飛行士が、1つまたは複数のエクステンデッドリアリティデバイスによって、前記地球エクステンデッドリアリティサービスを経験する、請求項8に記載の方法。

【請求項13】

請求項8に記載の方法を実施することによって宇宙プラットフォーム上で提供される、地球エクステンデッドリアリティサービス。

【請求項14】

宇宙プラットフォーム上で地球エクステンデッドリアリティサービスを提供するように設計されたシステムであって、
地球上にインストールされ、周囲の地上環境および/または前記地上環境内の1人もしくは複数の地上ユーザに関係するリアルタイムデータを収集するように構成された、1つまたは複数の収集システム/デバイスと、
収集された前記リアルタイムデータを受信することと、請求項8に記載の方法のステップb)およびc)を実行することとを行うように構成された、コンピュータグラフィックス処理デバイス/システムと
を備える、システム。

【国際調査報告】