特開 2023-140280 車両のプロトタイプ解決策の設計、検討及び／又は提示のためのシステム、対応する動作方法、並びにコンピュータプログラム製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023140280

(43)【公開日】2023-10-04

(54)【発明の名称】車両のプロトタイプ解決策の設計、検討及び／又は提示のためのシステム、対応する動作方法、並びにコンピュータプログラム製品

(51)【国際特許分類】

   G06F 30/15 20200101AFI20230927BHJP

   G06T 19/00 20110101ALI20230927BHJP

   G06F 3/01 20060101ALI20230927BHJP

   G06F 30/12 20200101ALI20230927BHJP

   G06F 111/18 20200101ALN20230927BHJP

【ＦＩ】

G06F30/15

G06T19/00 300B

G06F3/01 510

G06F30/12

G06F111:18

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023001677

(22)【出願日】2023-01-10

(31)【優先権主張番号】102022000002903

(32)【優先日】2022-02-16

(33)【優先権主張国・地域又は機関】IT

(71)【出願人】

【識別番号】523010214

【氏名又は名称】グランスタジオ・ソチエタ・ペル・アツィオーニ

【氏名又は名称原語表記】Ｇｒａｎｓｔｕｄｉｏ Ｓ．ｐ．Ａ．

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(72)【発明者】

【氏名】フェルメールシュ，ロウィー

(72)【発明者】

【氏名】ファンダンメ，ウィム

(57)【要約】      （修正有）

【課題】複数の調整可能な物理デバイス（フロア、シート、ステアリングホイール等）並びにその管理及び／又は利用のための電子システムを提供する。
【解決手段】システム１００において、１つ又は複数のアクチュエータを介して垂直に移動できる車両のフロア８の四隅に配置され、ユーザの手又はヘッドセット４０２を含むオブジェクト４０８の位置を検出する１つ又は複数の光学ベースステーション４０４と、ドライバユニット、制御ユニット及び処理ユニットを含む電子制御システムと、を備える。ドライバユニットは、アクチュエータに作動コマンドを提供し、アクチュエータからオブジェクトの位置データを受信し、ヘッドセットに対するオブジェクトの位置を決定する。制御ユニットは、ドライバユニットからフィードバック状態及び位置データを受信する。処理ユニットは、ドライバユニットからヘッドセットに対するオブジェクトの位置を受信し仮想表現を生成する。
【選択図】図４

【特許請求の範囲】

【請求項1】

車両のプロトタイプ解決策の設計、検討及び／又は提示のためのシステム（１００）であって、前記システム（１００）は、
車両の内装の複数のハードウェア構成要素（３０２）であって、前記ハードウェア構成要素（３０２）は、複数のそれぞれのアクチュエータを介して異なる位置に移動可能及び／又は調整可能である、複数のハードウェア構成要素（３０２）と、
ユーザによって装着可能な仮想又は拡張現実ヘッドセット（４４；４０２）であって、前記ヘッドセット（４４；４０２）は、前記複数のハードウェア構成要素（３０２）に対応する複数の仮想構成要素の仮想表現をユーザに表示するように構成される、ヘッドセット（４４；４０２）と、
関心領域内の１つ又は複数のオブジェクトの位置を検出するように構成された複数のオブジェクト検出センサ（３０４）であって、前記１つ又は複数のオブジェクトは、前記ユーザの手及び／又は前記ヘッドセット（４４；４０２）を含む、複数のオブジェクト検出センサ（３０４）と、
ドライバユニット（３０６）、制御ユニット（３０８）及び処理ユニット（３１０）を含む電子制御システム（３０６、３０８、３１０）と、
を備え、
前記ドライバユニット（３０６）は、アクチュエータに作動コマンドを提供し、及び／又は前記アクチュエータから位置データを受信するように、前記アクチュエータに結合され、前記関心領域内の前記１つ又は複数のオブジェクトの前記位置を示すデータを受信するように前記複数のオブジェクト検出センサ（３０４）に結合され、
前記ドライバユニット（３０６）は、前記ヘッドセット（４４；４０２）に対する前記１つ又は複数のオブジェクトの位置を決定するように、前記１つ又は複数のオブジェクトの前記位置を示す前記データにセンサデータ統合処理を実行するように構成され、
前記制御ユニット（３０８）は、コマンドを前記ドライバユニットに送信し、フィードバック状態及び位置データを前記ドライバユニットから受信するように、前記ドライバユニット（３０６）に結合され、
前記処理ユニット（３１０）は、前記ドライバユニット（３０６）から前記ヘッドセット（４４；４０２）に対する前記１つ又は複数のオブジェクトの前記位置を受信し、それに応じて前記ヘッドセット（４４；４０２）によって表示される前記仮想表現を生成するように構成される、
システム（１００）。

【請求項2】

前記複数のオブジェクト検出センサ（３０４）は、
光学追跡デバイスであって、好ましくは６自由度光学追跡デバイスである、光学追跡デバイスと、
前記ヘッドセット（４４；４０２）に結合された慣性測定ユニットと、
前記ユーザの手の位置を検出するように構成されたデバイスと、
のうちの少なくとも１つを備える、請求項１に記載のシステム（１００）。

【請求項3】

前記複数のオブジェクト検出センサ（３０４）は、１つ又は複数のカメラ（５０２）、前記ヘッドセット（４４；４０２）に結合された慣性測定ユニット、及び光学センサ（４０４）のセットを含み、
前記ドライバユニット（３０６）は、
前記慣性測定ユニットからのデータに応じて平滑化された前記光学センサからのデータに応じて前記ヘッドセットの第１位置を決定し、前記１つ又は複数のカメラ（５０２）からのデータに応じて前記ヘッドセット（４４；４０２）の第２位置を決定し、
前記ヘッドセット（４４；４０２）の前記第１位置を前記ヘッドセット（４４；４０２）の前記第２位置と比較して前記ヘッドセット（４４；４０２）の配置誤差（Ｅ_Ｓ）を計算し、
前記配置誤差（Ｅ_Ｓ）を前記ヘッドセット（４４；４０２）に対する前記１つ又は複数のオブジェクトの決定された位置から差し引いて、前記ヘッドセット（４４；４０２）に対する前記１つ又は複数のオブジェクトの補正された位置を生成する、
ように構成され、
前記処理ユニット（３１０）は、前記補正された位置に応じて前記ヘッドセット（４４；４０２）によって表示される前記仮想表現を生成するように構成される、
請求項１又は請求項２に記載のシステム（１００）。

【請求項4】

前記複数のハードウェア構成要素（３０２）は、フロア（８）、少なくとも１つのシート（１，２）、フロントヘッド（５）、前記フロントヘッド（５）に取り付けられたステアリングホイール（６）、前記フロントヘッド（５）の下に配置された少なくとも１つのペダル（１５）、及び１つ又は複数のアームレスト（４０）のうちの少なくとも１つを含む、請求項１から請求項３のいずれか一項に記載のシステム（１００）。

【請求項5】

前記制御ユニット（３０８）は、
前記ユーザから、ユーザインタフェースを介して、前記ハードウェア構成要素（３０２）を移動させる前記アクチュエータの想定される位置を示すデータのセットを受信し、
前記ドライバユニット（３０６）に前記アクチュエータの想定される位置を示す前記データを送信する、
ように構成され、前記ドライバユニット（３０６）は、前記アクチュエータを前記想定される位置に調整するように作動コマンドを前記アクチュエータに提供するように構成される、
請求項１から請求項４のいずれか一項に記載のシステム（１００）。

【請求項6】

前記制御ユニット（３０８）は、
前記ユーザから、ユーザインタフェースを介して、前記ハードウェア構成要素（３０２）の想定される位置を示すデータのセットを受信し、
前記ハードウェア構成要素（３０２）の想定される位置を示す前記データに応じて、前記ハードウェア構成要素（３０２）を移動させる前記アクチュエータの想定される位置を示すデータの対応するセットを決定し、
前記ドライバユニット（３０６）に前記アクチュエータの想定される位置を示す前記データを送信する、
ように構成され、前記ドライバユニット（３０６）は、前記アクチュエータを前記想定される位置に調整するように作動コマンドを前記アクチュエータに提供するように構成される、
請求項１から請求項５のいずれか一項に記載のシステム（１００）。

【請求項7】

前記制御ユニット（３０８）は、
前記ハードウェア構成要素（３０２）を移動させる前記アクチュエータの想定される位置を示すデータのセットをデータファイルから読み込み、
前記ドライバユニット（３０６）に前記アクチュエータの想定される位置を示す前記データを送信する、
ように構成され、前記ドライバユニット（３０６）は、前記アクチュエータを前記想定される位置に調整するように作動コマンドを前記アクチュエータに提供するように構成される、
請求項１から請求項６のいずれか一項に記載のシステム（１００）。

【請求項8】

前記制御ユニット（３０８）は、ユーザインタフェースを備え、前記ハードウェア構成要素（３０２）の現在の位置を表す画像を、前記ハードウェア構成要素（３０２）の想定される位置を表す画像に重ねて前記ユーザインタフェースを介して示すように構成される、請求項１から請求項７のいずれか一項に記載のシステム（１００）。

【請求項9】

請求項１から請求項８のいずれか一項に記載のシステム（１００）を動作させる方法であって、前記方法は、
複数のそれぞれのアクチュエータを介して車両の内装の前記複数のハードウェア構成要素（３０２）を異なる位置に移動及び／又は調整することと、
前記複数のオブジェクト検出センサ（３０４）を介して、関心領域内の、ユーザの手及び／又は前記ヘッドセット（４４；４０２）を含む１つ又は複数のオブジェクトの位置を検出することと、
前記仮想又は拡張現実ヘッドセット（４４；４０２）を介して、前記複数のハードウェア構成要素（３０２）に対応する複数の仮想構成要素の仮想表現を前記ユーザに表示することと、
前記アクチュエータに作動コマンドを提供及び／又は前記アクチュエータから位置データを受信し、前記関心領域内の前記１つ又は複数のオブジェクトの前記位置を示すデータを受信することと、
前記ヘッドセット（４４；４０２）に対する前記１つ又は複数のオブジェクトの位置を決定するように、前記１つ又は複数のオブジェクトの前記位置を示す前記データにセンサデータ統合処理を実行することと、
コマンドを前記ドライバユニット（３０６）に送信し、フィードバック状態及び位置データを前記ドライバユニット（３０６）から受信することと、
前記ドライバユニット（３０６）から前記ヘッドセット（４４；４０２）に対する前記１つ又は複数のオブジェクトの前記位置を受信し、それに応じて前記ヘッドセット（４４；４０２）によって表示される前記仮想表現を生成することと、
を含む、方法。

【請求項10】

少なくとも１つのコンピュータのメモリに読み込み可能であり、前記コンピュータによって実行されると、請求項９に記載の方法のステップを前記コンピュータに実行させるソフトウェアコード部分を含む、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、車両（例えば、車両の外装及び／又は内装の特徴を含む）のデザイン及び／又はプロトタイプの解決策の設計、開発、検討及び／又は提示のためのシステムに関し、システムは、複数の調整可能な物理デバイス（例えば、フロア、一対のシート、ステアリングホイールを含むフロントヘッド）と、それらの管理及び／又は利用のための電子システムとを含む。

【背景技術】

【0002】

上記したシステムは、例えば、国際特許出願（ＰＣＴ出願）ＰＣＴ／ＩＢ２０２１／０５８８４５号（本出願の出願時にはまだ公開されていない）から当技術分野で知られている。

【0003】

具体的には、そのような既知のシステムは、複数の物理デバイス、電子制御ユニット（例えば、ＣＰＵ）、及び表示及び制御デバイスを備える。表示及び制御デバイスは、ユーザによって着用され得る少なくとも１つの仮想現実ディスプレイ又は拡張現実ディスプレイを含む。物理的支持体は、複数のそれぞれのアクチュエータによって移動可能かつ調整可能である。電子制御ユニットは、車両のプロトタイプのデジタル表現又はデジタルモデルを生成するように構成され、物理的支持体の位置は、デジタルモデル内の対応するデジタル支持体の位置と関連付けられる。制御ユニットは、以下の動作のうちの少なくとも１つを実行するように構成されている。物理的支持体の配置を定められた位置に調整するように１つ又は複数のアクチュエータを作動させること、及び／又は、表示及び制御デバイスを介して、それぞれの物理的支持体の位置に対応する位置にデジタル支持体を表示することである。当該定められた位置は、表示及び制御デバイスを介してユーザによって設定される。物理的支持体の位置は、アクチュエータを作動させることによって設定される。

【0004】

物理的支持体の配置とデジタルモデルでの当該支持体のデジタル表現の配置とを適切に一致させることで、ユーザエクスペリエンスが向上し、車両設計者は、車両設計段階でデジタル環境の利点を最大限に活用できるようになり、顧客は、実物大の従来のモックアップ車両に頼る必要なく、設計プロトタイプを正確に検討及び／又は検証できる。

【0005】

したがって、物理モデルとデジタルモデルとの間のマッチングが改善された、そのような既知の混合された物理／デジタルシステムを提供することが当技術分野において必要とされている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】国際特許出願ＰＣＴ／ＩＢ２０２１／０５８８４５号

【発明の概要】

【0007】

本明細書の１つ又は複数の実施形態の目的は、そのような改良されたシステムを提供することである。

【0008】

１つ又は複数の実施形態によれば、そのような目的は、特許請求の範囲に記載の特徴を有するシステムによって達成され得る。

【0009】

１つ又は複数の実施形態は、対応する動作方法に関連し得る。

【0010】

１つ又は複数の実施形態は、コンピュータプログラム製品に関連し得、当該製品は、少なくとも１つの処理回路（例えば、ＭＣＵ／ＣＰＵ）のメモリに読み込み可能であり、製品が少なくとも１つの処理回路で実行されると方法の動作を実行するソフトウェアコードの部分を含む。本明細書で使用される場合、そのようなコンピュータプログラム製品への言及は、１つ又は複数の実施形態による方法の実施を調整するために処理システムを制御するための命令を含むコンピュータ可読媒体への言及と同等であると理解される。「少なくとも１つの」処理回路への言及は、１つ又は複数の実施形態がモジュール式及び／又は分散形式で実装されることが可能であることを強調することを意図している。

【0011】

特許請求の範囲は、実施形態に関して本明細書で提供される技術的教示の不可欠な部分である。

【0012】

１つ又は複数の実施形態では、車両のプロトタイプ解決策の設計、検討、及び／又は提示のためのシステムは、車両の内装の複数のハードウェア構成要素を備え、ハードウェア構成要素は、複数のそれぞれのアクチュエータを介して異なる位置に移動可能及び／又は調整可能である。システムは、ユーザが装着可能な仮想又は拡張現実ヘッドセットを備え、ヘッドセットは、複数のハードウェア構成要素に対応する複数の仮想構成要素の仮想表現をユーザに表示するように構成されている。システムは、関心領域内の１つ又は複数のオブジェクトの位置を検出するように構成された複数のオブジェクト検出センサを備え、１つ又は複数のオブジェクトは、ユーザの手及び／又はヘッドセットを含む。システムは、ドライバユニット、制御ユニット、及び処理ユニットを含む電子制御システムを備える。ドライバユニットは、アクチュエータに作動コマンドを提供し、及び／又はアクチュエータから位置データを受信するように、アクチュエータに結合されて、関心領域内の１つ又は複数のオブジェクトの位置を示すデータを受信するように、複数のオブジェクト検出センサに結合される。ドライバユニットは、ヘッドセットに対する１つ又は複数のオブジェクトの位置を決定するように、１つ又は複数のオブジェクトの位置を示すデータに対してセンサデータ統合処理を実行するように構成される。制御ユニットは、ドライバユニットに結合されて、ドライバユニットにコマンドを送信し、ドライバユニットからフィードバック状態及び位置データを受信する。処理ユニットは、ヘッドセットに対する１つ又は複数のオブジェクトの位置をドライバユニットから受信し、それに応じてヘッドセットによって表示される仮想表現を生成するように構成される。

【0013】

したがって、１つ又は複数の実施形態は、物理的な車両モックアップと、ユーザに表示される対応する仮想モックアップとのマッチングの精度を向上させることを容易にする。

【0014】

１つ又は複数の実施形態では、複数のオブジェクト検出センサは、光学追跡デバイス、好ましくは６自由度光学追跡デバイス、ヘッドセットに結合された慣性測定ユニット、及びユーザの手の位置を検出するように構成された装置のうちの少なくとも１つを備える。

【0015】

１つ又は複数の実施形態では、複数のオブジェクト検出センサは、１つ又は複数のカメラ、ヘッドセットに結合された慣性測定ユニット、及び光学センサのセットを備える。ドライバユニットは、慣性測定ユニットからのデータに応じて平滑化された光学センサからのデータに応じてヘッドセットの第１位置を決定し、１つ又は複数のカメラからのデーアに応じてヘッドセットの第２位置を決定するように構成される。ドライバユニットはさらに、ヘッドセットの第１位置をヘッドセットの第２位置と比較してヘッドセットの配置誤差を計算し、ヘッドセットに対する１つ又は複数のオブジェクトの決定された位置から配置誤差を差し引いて、ヘッドセットに対する１つ又は複数のオブジェクトの補正された位置を生成するように構成される。処理ユニットは、補正された位置に応じてヘッドセットによって表示される仮想表現を生成するように構成される。

【0016】

１つ又は複数の実施形態では、複数のハードウェア構成要素は、フロア、少なくとも１つのシート、フロントヘッド、フロントヘッドに取り付けられたステアリングホイール、フロントヘッドの下に配置された少なくとも１つのペダル、及び１つ又は複数のアームレストのうちの少なくとも１つを含む。

【0017】

１つ又は複数の実施形態では、制御ユニットは、ユーザから、ユーザインタフェースを介して、ハードウェア構成要素を移動させるアクチュエータの想定される位置を示すデータのセットを受信し、ドライバユニットにアクチュエータの想定される位置を示すデータを送信するように構成される。ドライバユニットは、アクチュエータを想定される位置に調整するように作動コマンドをアクチュエータに提供するように構成される。

【0018】

１つ又は複数の実施形態では、制御ユニットは、ユーザから、ユーザインタフェースを介して、ハードウェア構成要素の想定される位置を示すデータのセットを受信するように構成される。制御ユニットは、ハードウェア構成要素の想定される位置を示すデータに応じて、ハードウェア構成要素を移動させるアクチュエータの想定される位置を示すデータの対応するセットを決定し、ドライバユニットにアクチュエータの想定される位置を示すデータを送信するように構成される。ドライバユニットは、アクチュエータを想定される位置に調整するようにアクチュエータに作動コマンドを提供するように構成される。

【0019】

１つ又は複数の実施形態では、制御ユニットは、ハードウェア構成要素を移動させるアクチュエータの想定される位置を示すデータのセットをデータファイルから読み込み、ドライバユニットにアクチュエータの想定される位置を示すデータを送信するように構成される。ドライバユニットは、アクチュエータを想定される位置に調整するように作動コマンドをアクチュエータに提供するように構成される。

【0020】

１つ又は複数の実施形態では、制御ユニットは、ユーザインタフェースを備え、ハードウェア構成要素の現在の位置を表す画像を、ハードウェア構成要素の想定される位置置を表す画像に重ねてユーザインタフェースを介して示すように構成される。

【図面の簡単な説明】

【0021】

単に非限定的な例として提供される添付図面を参照して、本発明を詳細に説明する。

【0022】

【図1】図１は、本発明によるシステムの実施形態を例示する概略的な正面斜視図である。

【図2】図２は、本発明によるシステムの他の実施形態を例示する概略的な背面斜視図である。

【図3】図３は、本発明によるシステム及びその電子制御システムの様々な構成要素を例示するブロック図である。

【図4】図４は、本発明によるシステムの想定される動作を例示する概略図である。

【図5】図５は、本発明によるシステムの想定される動作を例示する別の概略図である。

【発明を実施するための形態】

【0023】

図１及び図２は、車両のスタイルプロトタイプの設計、開発、検討及び／又は提示のための物理的環境及び仮想環境を統合するためのシステム１００の想定される実施形態の例である。

【0024】

図１のシステム１００の物理的環境は、１つ又は複数のアクチュエータを介して垂直に移動できるフロア８を含む。例えば、２対のアクチュエータ９、１０、１１、１２が設けられ、長方形のフロア８の４つの角に配置され得る。フロア８には、一対の前部シート１、２を収容するための一対の前部開口２２と、一対の後部シート３、４を収容するための一対の後部開口２３とが設けられている。各シートには、シートを異なる位置に移動させるができる、それぞれの電動及び調整デバイス１３が設けられている。物理的環境は、ステアリングホイール６を含むフロントヘッド５をさらに含むことができる。ステアリングホイール６にはまた、その位置を移動及び調整することができる、それぞれの電動及び調整デバイスが設けられている。物理的環境は、リアヘッド７をさらに含むことができる。物理的環境は、システムの電子制御システムに人間工学的フィードバックを提供するのに適した、圧力センサ４１を備えた（例えば、各対のシートの間、及び／又は各シートの側方に配置された）１つ又は複数のアームレスト４０をさらに含むことができる。

【0025】

図２は、車両のスタイルプロトタイプの設計のための物理的環境及び仮想環境を統合するためのシステム１００の別の実施形態を示す。既に説明したものと同一又は類似の部品は、同じ参照番号で示されている。図２のシステム１００は、一対のシート１、２のみを含む。さらに、図２は、フロントヘッド５の下に（例えば、ステアリングホイール６に沿って）配置された一対の自動車用ペダル１５であって、その位置もそれぞれのアクチュエータを介して調整され得る、自動車用ペダル１５と、ステアリングホイール６の位置を移動及び調整するためのアクチュエータ１４と、フロントヘッド５に配置されたスクリーン４６と、仮想現実バイザ又は拡張現実バイザ４４と、及び電子制御デバイス（例えば、タブレット）４５と、を示す。図１に示されていなくとも、本発明の任意の実施形態は、ペダル１５、アクチュエータ１４、スクリーン４６、仮想現実バイザ又は拡張現実バイザ４４、及び制御デバイス４５を含み得ることが理解されるであろう。

【0026】

シート１、２、３、４のそれぞれは、上記で引用した国際特許出願に開示されているように、３つの直交軸Ｘ、Ｙ、Ｚに沿って移動及び調整され得る。シート１、２、３、４の移動、並びにペダル１５、ステアリングホイール６及び／又はアームレスト４０などの物理的環境の他の可動部品の移動、は、さらに以下で開示されるように、電子制御システムによって制御される。

【0027】

図１及び図２を参照して説明した設計／開発フレームワークの実施形態は、少なくとも２つの動作モードで使用され得る。

【0028】

例えば新しい自動車モデルの提示に適した第１動作モードでは、ユーザ（例えば自動車設計者）は、コマンドを（電子制御システムを介して）与えて、車両の特定のレイアウトに従って前述の可動物理デバイス（例えば、シート、ペダル、ステアリングホイール、アームレストなど）の位置を設定できる。例えば、ユーザは、コンピュータ又はタブレット４５を介してコマンドを与えることができる。見込み客は、例えば仮想／拡張現実バイザ４４を使用して、設計プロトタイプを見ることができ、同時に、物理デバイスが対応するように配置されている物理的環境を使用して「モックアップ」車両の制御及びコマンドの人間工学及び／又は機能を試すことができる。

【0029】

第２動作モードでは、本明細書で開示される設計／開発フレームワークにより、設計者は、例えば仮想／拡張現実バイザ４４を使用して、設計中の車両の物理的要素の特定の構成を表示し、同時に、その人間工学とスタイルをテストできるようになり、必要に応じて、設計者は、例えばコンピュータやタブレット４５などを使用してリアルタイムでそれらを変更できる。

【0030】

図３は、１つ又は複数の実施形態によるシステム１００の特定のハードウェア及びソフトウェア構成要素を例示するブロック図である。

【0031】

システム１００は、「物理的」設計環境のハードウェア構成要素３０２、例えば、図１及び図２を参照して実質的に説明されたハードウェア構成要素を備える。さらに、システム１００は、物理的設計環境の空間内のオブジェクトの位置を検出及び／又は追跡するように構成された１つ又は複数の位置検出及び／又は動き追跡デバイス３０４を備える。例えば、デバイス３０４は、６自由度（６ＤＯＦ）追跡デバイスなどの１つ又は複数の光学追跡デバイス、１つ又は複数の慣性測定ユニット（ＩＭＵ）、ユーザの手の位置を検出／追跡するように構成された１つ又は複数の装置などを含むことができる。さらに、システム１００は、ハードウェア構成要素３０２（例えば、可動シート、ステアリングホイール、ペダル、アームレストなどのアクチュエータ）及び検出／追跡デバイス３０４と相互接続する電子ドライバユニット３０６を備える。具体的には、ドライバユニット３０６は、動作コマンドをアクチュエータに送信でき、アクチュエータから位置データ（例えば、フィードバックデータ）を受信でき、及び／又はデバイス３０４から位置データを受信できる。ドライバユニット３０６はさらに、以下にさらに開示するように、アクチュエータ及びデバイス３０４からもたらされるセンサデータの統合を実行する。

【0032】

システム１００は、以下でさらに説明するように、物理構成要素３０２の位置を制御するように構成されたリモート電子制御ユニット３０８（例えば、コンピュータ又はワークステーション）をさらに備える。制御ユニット３０８は、ドライバユニット３０６に結合されて、ドライバユニット３０６にコマンドを送信し、ドライバユニット３０６からデータを受信する。例えば、制御ユニット３０８は、オン又はオフコマンド、作動コマンド（例えば、「ステアリングホイール：角度を４５°に設定」）などのコマンド３０８ａをドライバユニット３０６に送信できる。さらに、制御ユニット３０８は、現在のステータス情報（例えば、「オン」、「オフ」、「エラーステータス」、「現在移動中」など）、及び１つ又は複数のアクチュエータからの姿勢情報（例えば、「ステアリングホイール：現在の角度３５．８２°」）などの状態情報３０８ｂをドライバユニット３０６から受信できる。

【0033】

システム１００はさらに、ドライバユニット３０６から統合センサデータを受信し、物理構成要素３０２及びユーザの検出された位置を仮想／拡張現実バイザ４４に表示された対応するデジタル構成要素の位置と同期させるように構成された処理ユニット３１０を備える。具体的には、処理ユニット３１０は、プラグイン部分３１２、コンテンツ部分３１４（例えば、対話型自動車モデル）、及びグラフィックエンジン部分３１６（例えば、ゲームエンジン）を含むソフトウェアコードを実行できる。プラグイン部分３１２は、ハードウェアモックアップの現在のステータス、及びハードウェアモックアップ内で相互作用する物理的要素の位置（例えば、ハードウェア構成要素３０２の位置、バイザ４４などのユーザのヘッドセットの位置及び向き、ユーザの手の位置及び向きなど）などのデータをドライバユニット３０６から受信できる。

【0034】

システム１００の物理的環境におけるアクチュエータ（例えば、ハードウェア構成要素３０２を動かすモータ）は、自機の状態を検出できる。例えば、リニアモータは、そのフルスケールに対する現在の位置を検出できてもよい（例えば、モータｎ°１、現在の位置＝２５ｍｍ、フルスケール範囲＝４００ｍｍ）。アクチュエータからもたらされる位置データを使用して、ドライバユニット３０６は、物理モックアップの全体的な姿勢を計算するように構成される。しかし、このような姿勢では、構造全体の位置及び方向に関する情報が不足し得る。したがって、１つ又は複数の実施形態は、光学追跡及び／又は慣性追跡を使用して、物理モックアップとモックアップに座っているユーザとの間の相対位置を検出できる。さらに、エンドユーザの頭の姿勢（例えば、空間における位置及び向き）が、同様に検出され得る。

【0035】

予想されるように、ドライバユニット３０６は、センサデータ統合を実行するように構成される。さまざまなソース（例えば、光学及びＩＭＵ追跡）からのデータを正しく統合し、さまざまな頻度でさまざまな精度で実行できる能力は、望ましい機能である。したがって、ユースケースとその制約に特有の、優れた（たとえば、信頼できる）データ統合モデルを提供することは有益である。一般に、光学追跡は、低頻度でユーザの絶対位置と方向を検出するために使用され得るが、揺らぎが発生し得る。揺らぎ（ジッター）をフィルタリングすると遅延が発生する可能性があり、これは仮想／拡張現実バイザ４４などのヘッドマウントデバイス（ＨＭＤ）の使用には適していない。一方、慣性測定ユニットに基づくセンサは、高頻度で滑らかな相対位置と方向のデータを生成できるが、時間の経過とともにドリフトする可能性がある。したがって、１つ又は複数の実施形態は、満足のいく結果を提供するために、２つのデータタイプの有利な組み合わせを利用できる。さらに、（例えば、リープモーション（Leap Motion）などの光学センシングによる）ユーザの手の追跡もセンサ統合モデルに統合され得る。

【0036】

予想されるように、制御ユニット３０８は、ハードウェア構成要素３０２の位置を制御するように構成される。これは、例えば、ユーザがアクチュエータモータの１つ１つの位置を手動で設定する必要なく、物理モックアップを所望の構成に簡単に設定できるように、ユーザフレンドリな方法で実装され得る。制御ユニット３０８は、例えば、リモートユーザインタフェース及び３つの異なる制御モードを提供できる。

【0037】

第１制御モード（例えば、「手動（manual）」）では、ユーザは、各アクチュエータを所望の状態に設定できる（例えば、「モータｎ°１を４００ｍｍのうち１５ｍｍの位置に設定する」）。

【0038】

第２制御モード（例えば、「人間工学（ergonomics）」）では、ユーザは、ハードウェア構成要素３０２の位置を設定でき、制御ユニット３０８は、所望の最終位置を、対応するアクチュエータ状態と相関させるように構成される。例えば、ユーザは、ステアリングホイールを水平に対して特定の角度に設定でき（例えば、「ステアリングホイールの角度を７０°に設定する」）、制御ユニット３０８は、所望の結果をもたらすステアリングホイールの１つ又は複数のアクチュエータの位置を決定できる。いくつかの計算が、人間工学的値とモータ値との間で相互に変換するために使用される。

【0039】

第３制御モード（例えば「記憶（storage）」）では、アクチュエータの状態（位置）及び／又はハードウェア構成要素３０２の位置を定めるデータがファイルから読み込まれ得る。このような位置データの保存及び取得が可能になることにより、複数のユーザが異なる構成を保存したり、共通の共有プロジェクトで作業したりできるようにすることで、開発チームの作業を促進することができる。

【0040】

制御ユニット３０８を使用する場合、ユーザは、（上述の３つのモードのいずれかを使用して）物理モックアップの姿勢を設定してリモートユーザインタフェースを介して確認でき、それにより、制御ユニット３０８はアクチュエータに物理構成要素３０２の動作コマンドを送信する。ユーザインタフェースでは、２つの重ね合わせた画像が表示され得る。第１画像（例えば、「ゴースト」又は「半透明」画像）は、物理モックアップの現在の実際の姿勢を示すことができ、第２画像（「ソリッド」画像）は、物理モックアップの目標姿勢を示すことができる。

【0041】

予想されるように、処理ユニット３１０は、ドライバユニット３０６から統合センサデータを受信し、物理構成要素３０２の検出された位置及びユーザの検出された位置を、仮想／拡張現実バイザ４４などの仮想環境に表示される対応するデジタル構成要素の位置と同期させるように構成される。例えば、プラグイン部分３１２は、ドライバユニット３０６からもたらされるデータを、例えばアンリアルエンジン（Unreal Engine）などのグラフィックエンジンに統合するように構成され得る。プラグイン部分３１２の用途は、検討／設計されている車両の３Ｄ仮想モデルを、物理構成要素３０２の実際の位置と一致させることである。例えば、物理モックアップに物理的に着席し、ヘッドマウントバイザ４４を装着しているユーザは、「仮想」世界及び「現実」世界で同時に、ステアリングホイール６、アームレスト４０、ディスプレイ４６等に触れることができるだろう。

【0042】

物理モックアップとユーザに示される仮想環境との間の同期を提供するために、仮想モックアップ（例えば「ブルーゴースト」）は、グラフィックエンジン（例えば、アンリアル（Unreal））上で稼働中の車両の３Ｄモデルと一致する必要がある。仮想モックアップは、ドライバユニット３０６に接続してその姿勢をリアルタイムで更新するか、制御ユニット３０８を介して作成された構成ファイルが読み込まれるか、又はユーザが仮想環境で姿勢を直接定めて（例えば制御ユニット３０８をバイパスして）ドライバユニット３０６に送り返すことができる。仮想環境で（例えば、ユーザが仮想／拡張現実ヘッドセットを装着して）仮想モックアップを表示すると、仮想モックアップと物理モックアップが整列される。さらに、仮想環境で仮想の手が視覚化され得、それらの位置が他の仮想的に表示される要素（例えば、仮想のステアリングホイール）の位置と一致され得る。

【0043】

１つ又は複数の実施形態は、物理モックアップとユーザに示される仮想環境との間の精度及びマッチングを改善するセンサ融合アルゴリズムを利用できる。この点に関しては、図４及び５を参照する必要がある。

【0044】

標準的な仮想現実システム（例えば、オキュラス（Oculus）、ＨＴＣ Ｖｉｖｅなどとして知られる商用システム）では、ヘッドセット（例えば、仮想／拡張現実バイザ４４）の空間内の位置の推定は、主にＩＭＵセンサから受信したデータに基づいている。しかし、ＩＭＵセンサは非定常の誤差を生成する場合があり、つまり、仮想環境で視覚化された仮想オブジェクトの位置は、物理世界での同じオブジェクトの実際の位置と比較して、時間の経過とともにドリフトする可能性がある。仮想環境における仮想オブジェクトの配置の誤差は、物理的環境での知覚エラー（例えば、ユーザの誤った触覚フィードバック）につながる。また、上記のような商用システムは、ＩＭＵデータを他のデータ（カメラやライトハウス（lighthouse）からのデータなど）と結合し、センサ結合を使用できる。しかし、そのような商用センサ統合アルゴリズムは、従来、正確にするのではなく、滑らかになるように設計されており、また、複数のオブジェクトを追跡できない場合がある。例えば、オキュラスとして商業的に知られるシステムは、複数のオブジェクトを追跡することはできない。ＨＴＣ Ｖｉｖｅとして知られる別の商業的に既知のシステムは、「Ｖｉｖｅトラッカー」として知られる追加のデバイスを使用できるが、これは正確ではなく、静的なオブジェクト（追跡する必要があるシステム１００の物理部分の静的な構造など）に対してはさらに信頼性が低く、扱いづらく、電力が供給される必要があり且つドングルを使用してワイヤレスで接続される必要があるアクティブなデバイスである。

【0045】

図４に例示されるように、従来のＶＲ／ＡＲシステムでは、バイザ４４などのヘッドマウントデバイス（ＨＭＤ）４０２の位置及び／又は向きは、（例えば、フロア８の四隅に配置された）１つ又は複数の光学ベースステーション４０４によって追跡され得る。ヘッドマウントデバイス４０２の追跡された位置は、ユーザの目に対する視覚情報を生成するために使用されるため、位置データは従来、ＩＭＵデータを使用して平滑化され、誤差（例えば、ドリフト誤差）を引き起こす。これは図４に表されており、デバイス４０２は、ヘッドマウントデバイスを装着したユーザの現実の物理的位置を表し、デバイス４０６は対応する平滑化された位置を表している。したがって、配置誤差又は平滑化誤差ＥＳが発生し得る。物理的環境では、他のオブジェクト４０８（例えば、ハードウェア構成要素３０２のうちの１つ又は複数）が提供され、その位置も光学ベースステーション４０４によって追跡される。これらのオブジェクトはユーザに取り付けられておらず（例えば、ユーザの頭部に取り付けられておらず）、したがって移動することが想定されないため、オブジェクト４０８の位置を平滑化する必要はない。その結果、仮想環境（ＶＲ／ＡＲバイザ４４）で提示されるオブジェクト４０８の位置は、物理世界におけるオブジェクト４０８の実際の位置に等しいか又は非常に近くなる。１つ又は複数の他のオブジェクト（例えば、ユーザの手）の位置は、デバイス４０２の位置に対する追跡され得るため、仮想環境におけるこれらの追加のオブジェクトの位置も、実際の物理的な位置と比較して、平滑化誤差ＥＳによって影響を受けるだろう。

【0046】

その結果、従来のＡＲ／ＶＲシステムが使用された場合、位置の不一致により、ユーザは（ＶＲ／ＡＲヘッドセット４４からもたらされる）視覚フィードバックと（ユーザの周りの物理構成要素３０２からもたらされる）触覚フィードバックを一致させることができなくなる可能性がある。例えば、ユーザの手は、（図４の点４１０で例示されるように）物理的環境内の追跡されたオブジェクト４０８に触れることができるが、ヘッドセット４４によって示される「仮想」の手は、オブジェクト４０８の仮想表現に触れているものとして表示されない可能性がある。実際には、仮想的に表示されたデバイスの一部のみに影響する平滑化誤差ＥＳにより、ユーザの視覚がユーザの力覚（触覚）とは異なるものになる可能性がある。既知の解決策は、平滑化によって生じる誤差をできるだけ小さく保つことを目的としており、達成可能な平滑化のレベルと残留誤差の間のトレードオフ、及び／又は高精度のＩＭＵセンサの使用及び／又はカスタムセンサ統合アルゴリズムの実装の必要性をもたらす。

【0047】

したがって、図５に例示される１つ又は複数の実施形態は、改善された平滑化経験及び高い精度をもたらす単純な解決策を提供できる。システム１００は、（例えば、ドライバユニット３０６とデータを交換することによって）ヘッドマウントデバイス４０２の位置を独立して検出／追跡するように構成された１つ又は複数の追加のカメラ５０２をさらに備えることができる。ヘッドセット４０２からの平滑化された位置データは置き換えられず、カメラ５０２を介して決定された位置データと比較され、各時点で平滑化誤差ＥＳが決定（例えば、測定）される。したがって、測定された平滑化誤差は、ヘッドマウントデバイス４０２に対して配置されたすべてのオブジェクトの位置から差し引かれ得、手が、物理的にある位置に仮想的に配置され、ＡＲ／ＶＲヘッドセット４４を介してユーザに与えられる視覚情報が、ユーザがシステムの物理構成要素から得られる力覚（触覚）フィードバックと一致する。

【0048】

明らかに、構造の詳細及び実施形態は、特許請求の範囲で定められる本発明の保護の範囲から逸脱することなく、説明及び図示されたものに関して広く変化し得る。したがって、例えば、シート、ステアリングホイール、及びペダルの一般的な構成は、図面に示されているものとは異なってもよく、異なる車種に適合され得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】