IP Force 特許公報掲載プロジェクト 2022.1.31 β版

ホーム > 特許ランキング > ＧＡＬＡＣＴＩＦＹ ＧＭＢＨ

このエントリーをはてなブックマークに追加

知財求人 - 知財ポータルサイト「IP Force」

▶ ギャラクティファイ ゲーエムベーハーの特許一覧

特許7570146コンピュータによって実現されるヒューマンマシーンインタラクション方法及びユーザインタフェース
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-10
(45)【発行日】2024-10-21
(54)【発明の名称】コンピュータによって実現されるヒューマンマシーンインタラクション方法及びユーザインタフェース
(51)【国際特許分類】
   G06F 3/04845 20220101AFI20241011BHJP
   G06F 3/14 20060101ALI20241011BHJP
   G06F 30/10 20200101ALI20241011BHJP
【ＦＩ】
G06F3/04845
G06F3/14 310A
G06F30/10 200
【請求項の数】 17
(21)【出願番号】P 2023503181
(86)(22)【出願日】2021-07-22
(65)【公表番号】
(43)【公表日】2023-09-13
(86)【国際出願番号】 EP2021070614
(87)【国際公開番号】W WO2022018233
(87)【国際公開日】2022-01-27
【審査請求日】2023-03-15
(31)【優先権主張番号】20187414.6
(32)【優先日】2020-07-23
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】523017350
【氏名又は名称】ギャラクティファイ ゲーエムベーハー
【氏名又は名称原語表記】ＧＡＬＡＣＴＩＦＹ ＧＭＢＨ
【住所又は居所原語表記】Ｋａｕｆｉｎｇｅｒ Ｓｔｒａｓｓｅ １５， Ｍｕｎｃｈｅｎ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】リーガー マキシミリアン
(72)【発明者】
【氏名】ホーマン グレガー
【審査官】相川 俊
(56)【参考文献】
【文献】特表２０１１－５２６０４３（ＪＰ，Ａ）
【文献】特開平１１－０２４７３５（ＪＰ，Ａ）
【文献】特開２０００－０４７７７８（ＪＰ，Ａ）
【文献】特表２００７－５１６４９６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０４８４５
Ｇ０６Ｆ ３／１４
Ｇ０６Ｆ ３０／１０
(57)【特許請求の範囲】
【請求項1】
ユーザ（Ｕ）がデータベースＤＢ（５）に格納される階層システムモデル（ＳＹＳ－ＭＯＤ）によって表現され、ヒューマンマシーンインタラクション（ＨＭＩ）ユーザインタフェース（１）の表示部（３）の画面上に対応するネスト化された３次元ワークスペース（ＷＳ）構造として表示される複合システム（ＳＹＳ）に関する情報を抽出及び作成することを支援するのに利用されるコンピュータによって実現されるヒューマンマシーンインタラクション方法であって、
前記画面は、限定的な画面サイズと限定的な画面解像度とを有し、
前記階層システムモデル（ＳＹＳ－ＭＯＤ）は、前記複合システム（ＳＹＳ）を計画、監視及び制御するため処理され、前記コンピュータにより実現されるヒューマンマシーンインタラクション方法は、前記階層システムモデル（ＳＹＳ－ＭＯＤ）を表現する無数のネスト化された３次元ワークスペース（ＷＳ）の間のシームレスなセマンティックズームを提供するため、以下のステップ、
第１のステップ（Ｓ１）において、前記複合システム（ＳＹＳ）のシステムコンポーネントＣを表す関連する一意的なＵＲＬを利用して、選択されたペアレントブロックＢ１に関連する３次元ワークスペースＷＳＢ１をロードすることであって、前記ペアレントブロックＢ１の前記ロードされる３次元ワークスペースＷＳＢ１は、前記データベースＤＢ（５）に格納される前記階層システムモデル（ＳＹＳ－ＭＯＤ）において前記ペアレントブロックＢ１の下位として規定され、前記ペアレントブロックＢ１の前記ロードされる３次元ワークスペースＷＳＢ１に配置される前記ペアレントブロックＢ１のより深いネスト化されたチャイルドブロックのシーンを含む、ロードすることと、
第２のステップ（Ｓ２）において、前記ペアレントブロックＢ１の前記ロードされる３次元ワークスペースＷＳＢ１内の３次元座標系に配置される前記ペアレントブロックＢ１に関連するバーチャルカメラＶＣＢ１によって、前記表示部（３）の画面上に前記ペアレントブロックＢ１の前記より深いネスト化されたチャイルドブロックのシーンを投影することによって、前記３次元ワークスペースＷＳＢ１を表示することと、
第３のステップ（Ｓ３）において、明示／隠匿基準に依存して、前記ペアレントブロックＢ１の可視的な表示されたチャイルドブロックのコンテンツエリア（ＣＡ）を明示又は隠匿することであって、前記明示／隠匿基準は、各チャイルドブロックのサイズ、前記表示部（３）の画面の画面サイズ、及び、前記ペアレントブロックＢ１に関連する前記バーチャルカメラＶＣＢ１と、前記ペアレントブロックＢ１の各チャイルドブロックとの間の距離ｄに基づいて、リアルタイムに前記ＨＭＩユーザインタフェース（１）の処理部（４）のマイクロプロセッサによって計算され、前記距離ｄは、前記バーチャルカメラＶＣの位置と前記ブロックの中心点の位置との間のユークリッド距離として計算される、明示又は隠匿することと、
第４のステップ（Ｓ４）において、チャイルドブロックＢ１＿１のチャイルドエリアタイプＣＡＴ１のコンテンツエリア（ＣＡ）が、前記明示／隠匿基準に基づいて明示される場合、前記チャイルドブロックＢ１＿１上へのチャイルドブロックＢ１＿１のより深いネスト化されたチャイルドブロックのシーンの中間的な仮想的投影を介し、前記表示部（３）の画面上に前記ペアレントブロックＢ１の各チャイルドブロックＢ１＿１のより深いネスト化されたチャイルドブロックのシーンを投影することによって、前記データベースＤＢ（５）に格納される前記階層システムモデル（ＳＹＳ－ＭＯＤ）の下位の階層レベルに対応するより深いネスト化されたチャイルドブロックを表示することと、
全てのより深いネスト化されたチャイルドブロックと関連するコンテンツエリア（ＣＡ）とが、前記第３のステップ（Ｓ３）と前記第４のステップ（Ｓ４）とにおいて利用される明示／隠匿基準に従って表示されるまで、前記第３のステップ（Ｓ３）と前記第４のステップ（Ｓ４）とを繰り返すことと、
を繰り返し実行し、
前記階層システムモデル（ＳＹＳ－ＭＯＤ）の無数の階層レベルにわたってズームイン又はズームアウトするためのズーミング操作において、前記選択されたペアレントブロックＢ１の前記バーチャルカメラＶＣＢ１は、前記ペアレントブロックＢ１の前記より深いネスト化されたチャイルドブロックのシーンの投影に対して垂直である前記選択されたペアレントブロックＢ１の前記３次元ワークスペースＷＳＢ１の座標系のｚ方向に移動され、
ズームイン操作において、所定のスイッチオーバ基準が充足される場合、前記ペアレントブロックＢ１に関連する現在の３次元ワークスペースＷＳＢ１と前記バーチャルカメラＶＣＢ１とから、前記ペアレントブロックＢ１のチャイルドブロックＢ１＿１に関連する他の３次元ワークスペースＷＳＢ１＿１と前記バーチャルカメラＶＣＢ１＿１とへの切替が、自動的かつシームレスに実行され、
ズームアウト操作において、所定のスイッチオーバ基準が充足される場合、チャイルドブロックに関連する現在の３次元ワークスペースＷＳＢ１＿１と前記バーチャルカメラＶＣ Ｂ１＿１ とから、前記ペアレントブロックＢ１に関連する他の３次元ワークスペースＷＳＢ１と前記バーチャルカメラＶＣＢ１とへの切替が、自動的かつシームレスに実行される、方法。
【請求項2】
前記選択されたペアレントブロックＢ１の前記バーチャルカメラＶＣＢ１は、前記ユーザインタフェース（１）の入力部（２）に入力されるユーザコマンドに応答して、又は、外部コントローラから、特に複合技術システム（ＳＹＳ）のシステムコンポーネントＣを形成するコントローラから、又は前記複合技術システム（ＳＹＳ）のセンサコンポーネントから受信されるコマンドに応答して、前記関連するペアレントブロックＢ１の３次元ワークスペースＷＳＢ１において自動的に配置及び移動される、請求項１に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
【請求項3】
前記ズームイン操作において、前記ペアレントブロックＢ１に関連する現在の３次元ワークスペースＷＳＢ１と前記バーチャルカメラＶＣＢ１とから、前記ペアレントブロックＢ１のチャイルドブロックＢ１＿１に関連する他の３次元ワークスペースＷＳＢ１＿１と前記バーチャルカメラＶＣＢ１＿１とへの切替が、前記ペアレントブロックＢ１に関連するＵＲＬから前記チャイルドブロックＢ１＿１に関連するＵＲＬへのＵＲＬの自動変更を伴う、請求項１又は２に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
【請求項4】
前記ズームアウト操作において、前記チャイルドブロックＢ１＿１に関連する現在の３次元ワークスペースＷＳＢ１＿１と前記バーチャルカメラＶＣＢ１＿１とから、前記ブロックＢ１＿１のペアレントブロックＢ１に関連する他の３次元ワークスペースＷＳＢ１と前記バーチャルカメラＶＣＢ１とへの切替が、前記チャイルドブロックＢ１＿１に関連するＵＲＬから前記ペアレントブロックＢ１に関連するＵＲＬへのＵＲＬの変更を伴う、請求項１又は２に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
【請求項5】
前記階層システムモデル（ＳＹＳ－ＭＯＤ）の下位階層レベルＨＬにおける他のブロックと親子関係によって接続される前記データベースＤＢ（５）に格納される前記階層システムモデル（ＳＹＳ－ＭＯＤ）の階層レベルＨＬにおけるブロックＢは、上位の階層レベルにおける前記ペアレントブロックのチャイルドブロックを次に形成する下位の階層システムレベルにおける他のブロックに関してペアレントブロックを形成する、請求項１から４の何れかの一項に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
【請求項6】
各ブロックＢは、前記コンテンツエリア（ＣＡ）が行及び列に配置され、前記コンテンツエリア（ＣＡ）が明示／隠匿基準に従って明示可能又は隠匿可能である、異なるコンテンツエリアタイプの複数のコンテンツエリア（ＣＡ）を含み、
前記データベースに格納される前記階層システムモデル（ＳＹＳ－ＭＯＤ）のブロックＢのコンテンツエリアタイプＣＡＴは、
－各ブロックのより深いネスト化されたチャイルドブロックを示すよう適応される第１のコンテンツエリアタイプＣＡＴ１（チャイルド－エリア）と、
－コンテンツデータ、特に（限定することなく）、テキストコンテンツデータと画像コンテンツデータとを含む第２のコンテンツエリアタイプＣＡＴ２（データ－エリア）と、
－ＡＰＩを介し第三者サービスによって提供されるダイナミックデータを含む第３のコンテンツエリアタイプＣＡＴ３（ダイナミック－エリア）と、
－ユーザ入力感知エリアがユーザ選択コマンドに応答して選択される場合、制御信号を自動生成するよう適応されるユーザ入力感知コンテンツエリアを提供する第４のコンテンツエリアタイプ（ユーザ制御入力－エリア）と、
を含む、請求項１から５の何れか一項に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
【請求項7】
前記データベースＤＢ（５）に格納される前記階層システムモデル（ＳＹＳ－ＭＯＤ）の各ブロックＢは、前記データベースＤＢ（５）に格納される前記階層システムモデルの階層構造を反映する一意的なブロック識別子とＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）とを含み、
各ブロックＢは、前記ユーザ（Ｕ）が各ブロックＢに関連するＵＲＬを介しブロックＢに関連するワークスペースＷＳＢへのリード又はライトアクセスを他のユーザに提供可能なユーザにより規定された権限管理を含み、
前記ユーザにより規定された権限管理の設定は、他の何れのユーザにより規定された権限管理の設定も前記ブロックＢのチャイルドブロック又はより深いチャイルドブロックに適用されない限り、ブロックＢの直接のチャイルドブロックとより深いネスト化されたチャイルドブロックとにわたされる、請求項１から６の何れか一項に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
【請求項8】
前記データベースＤＢ（５）に格納される前記階層システムモデル（ＳＹＳ－ＭＯＤ）のペアレントブロックＢ１に関連する前記バーチャルカメラＶＣＢ１は、前記３次元ワークスペースＷＳＢ１内の前記バーチャルカメラＶＣＢ１と前記ペアレントブロックＢ１の前記３次元ワークスペースＷＳＢ１内の前記チャイルドブロックＢ１＿１との間の距離ｄを縮小させ、各チャイルドブロックＢ１＿１とそれのコンテンツエリアＣＡとにズームインするため、前記ペアレントブロックＢのチャイルドブロックＢ１に向かって、前記３次元ワークスペースＷＳＢにおける前記ユーザインタフェース（１）の入力部（２）に入力されるズームユーザコマンドに応答して移動され、
前記データベースＤＢ（５）に格納される前記階層システムモデル（ＳＹＳ－ＭＯＤ）の前記ペアレントブロックＢ１に関連する前記バーチャルカメラＶＣＢ１は、前記ペアレントブロックＢ１のチャイルドブロックにパラレルな前記３次元ワークスペースＷＳＢ１における前記ユーザインタフェース（１）の前記入力部（２）に入力されるユーザコマンドに応答して自動的に移動され、
前記データベースＤＢ（５）に格納される前記階層システムモデル（ＳＹＳ－ＭＯＤ）の前記ペアレントブロックＢ１に関連する前記バーチャルカメラＶＣＢ１は、現在のカメラ位置の周囲の前記ペアレントブロックＢ１の前記３次元ワークスペースＷＳＢにおける前記ユーザインタフェース（１）の前記入力部（２）に入力される回転ユーザコマンドに応答して回転される、請求項１から７の何れか一項に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
【請求項9】
前記データベースＤＢ（５）に格納される前記階層システムモデル内のブロックＢは、各関係を記述するための関連する関係ラベルを含む関係を介し相互リンク可能である、請求項１から８の何れか一項に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
【請求項10】
前記スイッチオーバ基準は、前記３次元ワークスペースＷＳＢ１における設定可能な距離閾値ＴＨに基づき、
前記ペアレントブロックＢ１に関連する前記３次元ワークスペースＷＳＢ１内で移動可能なバーチャルカメラＶＣＢ１と、前記ペアレントブロックＢ１のチャイルドブロックＢ１＿１との間の計算された距離ｄが前記設定可能な距離閾値ＴＨより小さくなる場合、前記ペアレントブロックＢ１のチャイルドブロックＢ１＿１に関連する前記バーチャルカメラＶＣＢ１＿１への切替が自動的に実行される、請求項３から９の何れか一項に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
【請求項11】
前記ペアレントブロックＢ１の新たなチャイルドブロックは、前記ユーザ（Ｕ）が各ペアレントブロックＢ１へのライトアクセスを有する場合、前記ペアレントブロックＢ１に関連する前記３次元ワークスペースＷＳＢ１内において前記ユーザ（Ｕ）によって作成可能であり、
背景カラー、境界カラー及び境界半径を含む前記ペアレントブロックＢ１のチャイルドブロックのスタイルは、前記ユーザ（Ｕ）が各ペアレントブロックＢ１へのライトアクセスを有する場合、ペアレントブロックＢ１に関連する前記３次元ワークスペースＷＳＢ１内において前記ユーザ（Ｕ）によって編集可能であり、
前記ペアレントブロックＢ１のチャイルドブロックのサイズは、前記ユーザ（Ｕ）が各ペアレントブロックＢ１へのライトアクセスを有する場合、ペアレントブロックＢ１に関連する前記３次元ワークスペースＷＳＢ１内において前記ユーザ（Ｕ）によって変更可能であり、
前記ペアレントブロックＢ１のチャイルドブロックの位置は、前記ユーザ（Ｕ）が各ペアレントブロックＢ１へのライトアクセスを有する場合、ペアレントブロックＢ１に関連する前記３次元ワークスペースＷＳＢ１内において前記ユーザ（Ｕ）によって前記位置を直接ドラッグ又は入力することを介し変更可能であり、
前記ペアレントブロックＢ１のチャイルドブロックの階層位置は、前記ユーザ（Ｕ）が前記ペアレントブロックＢ１と前記チャイルドブロックが移動される新たなペアレントブロックとへのライトアクセスを有する場合、ペアレントブロックＢ１に関連する前記３次元ワークスペースＷＳＢ１内において前記ユーザ（Ｕ）によってドラッグ又はドロップを介し変更可能であり、
前記ペアレントブロックＢ１のチャイルドブロックのための新たなコンテンツエリア（ＣＡ）は、前記ユーザ（Ｕ）が各ペアレントブロックＢ１へのライトアクセスを有する場合、前記ペアレントブロックＢ１に関連する前記３次元ワークスペースＷＳＢ１内において前記ユーザ（Ｕ）によって作成可能であり、
前記ペアレントブロックＢ１のチャイルドブロックのためのタイプ“データ－エリア”ＣＡＴ２によるコンテンツエリア（ＣＡ）のコンテンツは、前記ユーザ（Ｕ）が各ペアレントブロックＢ１へのライトアクセスを有する場合、前記ペアレントブロックＢ１に関連する前記３次元ワークスペースＷＳＢ１内において各コンテンツエリアＣＡを選択するためのユーザ選択コマンドに応答して、前記ユーザ（Ｕ）によって編集可能である、請求項１から１０の何れか一項に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
【請求項12】
選択可能なブロックＢに関連する３次元ワークスペースＷＳＢを表示するための計算は、３次元シーンの計算に対して最適化され、高性能を提供するＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）上で実行される、請求項１から１１の何れか一項に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
【請求項13】
ブロックＢのタイプ入力エリアＣＡＴ４のコンテンツエリア（ＣＡ）が、前記ユーザインタフェース（１）の前記入力部（２）を介し入力されるユーザ選択コマンドに応答して選択される場合、制御信号ＣＲＴＬの生成がトリガされ、
前記生成される制御信号は、前記データベースＤＢ（５）に格納される階層システムモデル（ＳＹＳ－ＭＯＤ）における対応するブロックＢによって表される複合技術システム（ＳＹＳ）のシステムコンポーネントＣを形成するコントローラ又はアクチュエータに提供される、請求項８に記載のコンピュータにより実現されるヒューマンマシーンインタラクション方法。
【請求項14】
データベースＤＢ（５）に格納される階層システムモデル（ＳＹＳ－ＭＯＤ）の関連するブロックＢによって表される複数のシステムコンポーネントＣを有する複合システム（ＳＹＳ）の少なくとも１つのコントローラ又はアクチュエータに接続されるヒューマンマシーンインタラクション（ＨＭＩ）ユーザインタフェース（１）であって、
ユーザ（Ｕ）のユーザ入力コマンドを受信するよう適応される入力部（２）と、
各ペアレントブロックＢ１に関連し、前記ペアレントブロックＢ１のロードされた３次元ワークスペースＷＳＢ１内において３次元座標系に配置されるバーチャルカメラＶＣＢ１によって、前記複合システム（ＳＹＳ）の対応するシステムコンポーネントＣを表す選択可能なペアレントブロックＢ１に関連する３次元ワークスペースＷＳＢ１内においてシーンを表示するよう適応される画面を有する表示部（３）であって、前記ペアレントブロックＢ１の前記バーチャルカメラＶＣＢ１は、各ペアレントブロックＢ１に対してズーム操作を実行し、それのコンテンツエリアＣＡを明示または隠匿するため、前記ユーザインタフェース（１）の前記入力部（２）に入力されるユーザ入力コマンドに応答して、前記関連するペアレントブロックＢ１の３次元ワークスペースＷＳＢ１において自動的に移動可能であり、ズームされた前記ペアレントブロックＢ１のコンテンツエリアＣＡは、各ペアレントブロックＢ１のネスト化されたチャイルドブロックＢ１＿１，Ｂ１＿２を含む、表示部（３）と、
請求項１から１２の何れか一項に記載のコンピュータによって実現されるヒューマンマシーンインタラクション方法を実行するよう適応されたＧＰＵを有する処理部（４）と、
を含む、ユーザインタフェース（１）。
【請求項15】
データベースＤＢ（５）に格納される階層システムモデル（ＳＹＳ－ＭＯＤ）の関連するブロックＢによって表される複数のシステムコンポーネントＣを有する複合システム（ＳＹＳ）の少なくとも１つのコントローラ又はアクチュエータに接続されるヒューマンマシーンインタラクション（ＨＭＩ）ユーザインタフェース（１）であって、
ユーザ（Ｕ）のユーザ入力コマンドを受信するよう適応される入力部（２）と、
各ペアレントブロックＢ１に関連し、前記ペアレントブロックＢ１のロードされた３次元ワークスペースＷＳ Ｂ１ 内において３次元座標系に配置されるバーチャルカメラＶＣ Ｂ１ によって、前記複合システム（ＳＹＳ）の対応するシステムコンポーネントＣを表す選択可能なペアレントブロックＢ１に関連する３次元ワークスペースＷＳ Ｂ１ 内においてシーンを表示するよう適応される画面を有する表示部（３）であって、前記ペアレントブロックＢ１の前記バーチャルカメラＶＣ Ｂ１ は、各ペアレントブロックＢ１に対してズーム操作を実行し、それのコンテンツエリアＣＡを明示または隠匿するため、前記ユーザインタフェース（１）の前記入力部（２）に入力されるユーザ入力コマンドに応答して、前記関連するペアレントブロックＢ１の３次元ワークスペースＷＳ Ｂ１ において自動的に移動可能であり、ズームされた前記ペアレントブロックＢ１のコンテンツエリアＣＡは、各ペアレントブロックＢ１のネスト化されたチャイルドブロックＢ１＿１，Ｂ１＿２を含む、表示部（３）と、
請求項１３に記載のコンピュータによって実現されるヒューマンマシーンインタラクション方法を実行するよう適応されたＧＰＵを有する処理部（４）と、
を含む、ユーザインタフェース（１）。
【請求項16】
前記選択されるペアレントブロックＢ１は、前記選択されるブロックＢ１によって表される複合技術システム（ＳＹＳ）のシステムコンポーネントＣ、又は、前記データベースＤＢ（５）に格納される階層システムモデル（ＳＹＳ－ＭＯＤ）において前記選択されるブロックＢ１と関係を有する他のブロックＢ’によって表される前記複合技術システム（ＳＹＳ）のシステムコンポーネントＣに供給される前記制御信号ＣＲＴＬの生成をトリガするための前記入力部（２）に入力されるユーザ起動コマンドに応答して、少なくとも１つの制御信号ＣＲＴＬを自動生成するよう適応されるユーザ入力感知コンテンツエリアタイプＣＡＴ４のコンテンツエリア（ＣＡ）を含む、請求項１５に記載のヒューマンマシーンインタラクションユーザインタフェース。
【請求項17】
前記表示部（３）は、コンピュータマウス、スマートフォン又はタブレット画面、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）表示デバイスまたはＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）デバイスを含む、請求項１４から１６の何れか一項に記載のヒューマンマシーンインタラクションユーザインタフェース。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザが複合システムに関する情報を抽出し、各複合システムのコンポーネントを計画、モニタリング及び制御するのを支援するのに利用されるコンピュータによって実現されるヒューマンマシーンインタラクション方法及びユーザインタフェースに関する。
【背景技術】
【0002】
製造設備や車両などの技術システムは、ますます複雑になっている。システムは、相互に関連する複数のハードウェア又はソフトウェアコンポーネントを備えることができる。システムの各コンポーネントは、それ自体、下位の階層レベルにおいて他のコンポーネントを含むことができる。システムの複雑さが増すにつれて、階層レベルの数も増加する。技術システム、特に設備などの技術システムの計画のため、システムは、各サブシステム及びコンポーネントがモデルの対応するデータオブジェクトによって表されることができる階層システムモデルによって表されることができる。それぞれのシステムの階層システムモデルは、システムを計画及び操作するために使用することができる。技術システムの動作は、システムの動作中にシステムコンポーネントを制御することを含む。さらに、システムコンポーネントは、複合技術システムの動作寿命の間、メンテナンス又は修理を必要とし得る。大部分の技術設備は、ユーザがシステムとやりとりし、その動作中に技術システムの機能を制御したり、又は、観察された危機的状況の際に修理又はメンテナンス手順をトリガすることなどの技術的作業を行うことを可能にするヒューマンマシーンインタフェースＨＭＩを有する。従来のヒューマンマシーンインタラクションユーザインタフェースは、ユーザ入力コマンドを受信するための入力部と、監視される技術システムの動作中に検出された障害などの情報をユーザに表示するための画面を有する表示部とを備える。しかしながら、ユーザインタフェースの表示部の画面は、そのサイズが制限されている。特に、ラップトップ又はタブレットのような携帯型制御デバイスの画面は、ユーザに情報データを出力するための限定的な画面領域しか含まない。画面の限られた領域における情報は、技術システム又は設備の階層システムモデル内の限られた数の階層レベルのみを同時に表示することを可能にするだけである。階層システムモデルは、ほとんどの場合、グラフの各ノードが対応する複合システムのサブシステム又はコンポーネントを表す、相互に関連するノードを有するダイアグラム又はグラフで表すことができる。システムの複雑さ及び階層レベルの数のため、複雑なダイアグラムは、技術システムの複数の階層レベルに同時に影響を及ぼすシステムの誤動作などの複雑な状況に関して透明な概略を提供しない。
【0003】
技術指向のＵＭＬ、ＳＹＳＭＬ又はＢＰＭＮのようないくつかの言語は、複合システムの内部の特徴的なコンポーネントと、システムのインタフェースのような境界を介した技術システム外の他のコンポーネントとのやりとりを開発及び記述するためのデファクトスタンダードとして確立されている。システムを視覚化することを可能にする異なるツール、特に、プロセス図、タイムライン図、オルガン図又はオントロジーなどの階層図とともに、システムのコンポーネントのＣＡＤモデルなどの基本的な技術モデルを作成することを可能にする図形化ツールがある。
【0004】
ツールのさらなるグループが、回路図、データ構造又はワークフローを作成及び表示するため使用することができる。このモデリングソフトウェアツールのグループは、エキスパートツールと呼ぶこともできる。これらのツールは、ドメインエキスパートがそれぞれの技術システムの管理供給サイクル及び変形例を含む複雑なデータ構造を作成するのに役立つ。
【0005】
一方、多くの一般的なモデリングソフトウェアツールは、特定のドメイン又は特定の技術タスクのためのデータモデルの表現に着目している。しかしながら、領域のモデルがこれらの領域間で交換されるとき、問題が発生し得る。新しい技術的又はプロセス的な解決手段を作成する際、異なるモデル間のやりとりはかなり一般的である。他方、学習しやすく、異なるドメインで使用できるダイアグラムツールを使用することは、ソフトウェア及びハードウェア製品の開発の複雑さに対処することができない。これは、高度に熟練した専門家が、スクリーンショットを使用して、又は異なる互換性のないソース及びデータモデルを用いて互いに協働する満足できない状況につながる。比喩的に言えば、今日の技術及びシステムは、時代遅れの技術を用いて開発されることが多い。
【0006】
従来のソフトウェアツールは、視覚的に異なるデータモデルの接続をサポートしておらず、これは、観察及び制御された技術システムの動作に悪影響を及ぼすエラーにつながる可能性がある完全な技術システムに対する不十分な概略のため、ユーザが相関関係を理解することを妨げる可能性がある。
【0007】
従来のソフトウェアツールは、特に、限られたズーム及びネスト化能力しか有していない。いくつかの階層レベルをズームするとき、表示されるサブシステム及びコンポーネントは、画面の限定的なサイズと画面の限定的な解像度のため、表示部の画面上でますます小さくなる。低い階層レベルでは、モデルにおいて表される様々なコンポーネント又はオブジェクトは、特に、技術システム内のコントローラのような制御コンポーネントなどを表す表示されたデータオブジェクトの制御エリアが、そのような従来のヒューマンマシーンインタフェースを介してユーザによってもはや観察及び操作できないように、区別不能になる。低い階層レベルにおける関心対象のオブジェクト上の従来のソフトウェアツールを用いてズームするとき、関心対象のオブジェクトに関する情報は、観察された技術設備における危険事象などの重大な状況にユーザが反応することができないように、最終的には識別不可になる。さらに、大部分のソフトウェアツールは、視覚的ネスト化を１つ又は２つの階層レベルのみに制限する。より深い階層レベルには、異なるタブ、ドキュメント又はモデルを介して間接的にしかアクセスできない。これは、その後、システム全体の不十分な理解につながる。従来のヒューマンマシーンインタフェースのさらなる欠点は、より下位の階層レベルにおける関心対象のデータオブジェクトに直接的にジャンプすることができないことにある。
【発明の概要】
【0008】
従って、本発明の課題は、複合技術システムを制御する際の信頼性を高めるため、特に、複合技術システムのコンポーネントを表す記憶されたデータモデル内の関心対象のオブジェクトへのズームを容易にするため、より効率的なヒューマンマシーンインタラクションを可能にする方法及び装置を提供することである。
【0009】
この課題は、本発明の第1の態様によると、請求項１の特徴を含むコンピュータにより実現されるヒューマンマシーンインタラクション方法によって達成される。
【0010】
第１の態様による発明は、ユーザがデータベースＤＢに格納される階層システムモデルＳＹＳ－ＭＯＤによって表現され、ユーザインタフェースの表示部上に対応するネスト化構造として表示される複合システムＳＹＳに関する情報を抽出及び作成することを支援するのに利用されるコンピュータによって実現され、階層システムモデルは、複合システムＳＹＳを計画、監視及び／又は制御するため処理され、コンピュータにより実現されるヒューマンマシーンインタラクション方法は、以下のステップ、
第１のステップＳ１において、複合システムＳＹＳのコンポーネントを表す関連する一意的なＵＲＬを利用して、ブロックＢ１に関連する３次元ワークスペースＷＳＢ１をロードすることであって、ブロックＢ１のロードされる３次元ワークスペースＷＳＢ１は、データベースＤＢに格納される階層的システムモデルＳＹＳ－ＭＯＤにおいてブロックＢ１の下位として規定され、ブロックＢ１のロードされる３次元ワークスペースＷＳＢ１に配置されるブロックＢ１のチャイルドブロックのシーンを含む、ロードすることと、
第２のステップＳ２において、ブロックＢ１の３次元ワークスペースＷＳＢ１内の３次元座標系に配置され、ブロックＢ１に関連するバーチャルカメラＶＣＢ１によって、表示部の画面上にブロックＢ１のチャイルドブロックＢ１＿ｘのシーンを投影することによって、３次元ワークスペースＷＳＢ１を表示することと、
第３のステップＳ３において、各チャイルドブロックのサイズ、表示部の画面の画面サイズ、及び、ブロックＢ１に関連するバーチャルカメラＶＣＢ１と、ブロックＢ１の各チャイルドブロックとの間の距離ｄに基づいて計算される明示／隠匿基準に依存して、ブロックＢ１の可視的な表示されたチャイルドブロックのコンテンツエリアＣＡを明示又は隠匿することと、
第４のステップＳ４において、チャイルドブロックＢ１＿１のチャイルドエリアタイプのコンテンツエリアＣＡが明示される場合、チャイルドブロックＢ１＿１上へのチャイルドブロックＢ１＿１のチャイルドブロックのシーンの中間的な仮想的投影を介し、表示部の画面上にブロックＢ１の各チャイルドブロックＢ１＿１のチャイルドブロックのシーンを投影することによって、データベースＤＢに格納される階層システムモデルＳＹＳ－ＭＯＤの下位の階層レベルに対応するより深いネスト化されたチャイルドブロックを表示することと、
全てのチャイルドブロックと関連するコンテンツエリアＣＡとが、第３のステップと第４のステップとにおいて利用される明示／隠匿基準に従って表示されるまで、第３のステップＳ３と第４のステップＳ４とを繰り返すことと、
を繰り返し実行するヒューマンマシーンインタラクション方法を提供する。
【0011】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法は、複合システムＳＹＳの階層システムモデルＳＹＳ－ＭＯＤの無限数の階層レベルにわたってズームイン又はズームアウトすることを可能にする。これは、複合システムを計画する際の効率性を増加させ、関連する複合システムの信頼できる監視及び制御を提供する。
【0012】
複合システムＳＹＳの監視及び制御は、システムコンポーネントＣの現在の動作状態に対する原因であるサブシステムが、例えば、システム全体に対する概略を失うことなく、システムコンポーネントＣの重大な動作状態に対する根本原因を効率的に探索するため、即座にズーム処理可能であるという追加的な利点を提供するそれのグラフィカルな表示されたシステムモデルを介し実行可能である。
【0013】
さらなる利点は、関連するブロックＢを利用したシステムコンポーネントＣの制御及び監視中、異なるブロックＢの間の関係Ｒがまた、複合システムＳＹＳ全体内の何れかの影響を受けたシステムコンポーネントＣの技術的コンテクストを同時に示す可視的なものであるということである。
【0014】
これは、技術コンポーネントＣの瞬間的な動作状態の監視を可能にし、関連するブロックＢに対してユーザコマンドによりトリガされた操作を実行する際、技術コンポーネントＣの制御をよりエラーが少ないものにし、従って、制御される技術システムＳＹＳの安全性及び性能を増大させる。
【0015】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法の可能な実施例では、バーチャルカメラＶＣＢ１は、ユーザインタフェースの入力部へのユーザコマンド入力に応答して、又は、コントローラから、特に対応する複合技術システムのコントローラから制御インタフェースを介し受信されるコマンドに応答して、関連するブロックＢ１の３次元ワークスペースＷＳＢ１において配置及び移動される。
【0016】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、所定のスイッチオーバ基準が充足される場合、ブロックＢ１に関連する現在の３次元ワークスペースＷＳＢ１とバーチャルカメラＶＣＢ１とから、ブロックＢ１のチャイルドブロックＢ１＿１に関連する他の３次元ワークスペースＷＳＢ１＿１とバーチャルカメラＶＣＢ１＿１とへの切替が、自動的又は手動でシームレスに実行され、ブロックＢ１に関連するＵＲＬからチャイルドブロックＢ１＿１に関連するＵＲＬへのＵＲＬの自動変更を伴う。
【0017】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、所定のスイッチオーバ基準が充足される場合、チャイルドブロックＢ１＿１に関連する現在の３次元ワークスペースＷＳＢ１＿１とバーチャルカメラＶＣＢ１＿１とから、ブロックＢ１＿１のペアレントブロックＢ１に関連する他の３次元ワークスペースＷＳＢ１とバーチャルカメラＶＣＢ１への切替が、自動的又は手動でシームレスに実行され、ブロックＢ１＿１に関連するＵＲＬからペアレントブロックＢ１に関連するＵＲＬへのＵＲＬの自動変更を伴う。
【0018】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、階層システムモデルの下位階層レベルＨＬにおける他のブロックＢ１＿１と親子関係によって接続されるデータベースＤＢに格納される階層システムモデルの階層レベルＨＬにおけるブロックＢ１は、上位の階層レベルＨＬにおけるペアレントブロックＢ１のチャイルドブロックを次に形成する下位の階層システムレベルにおける他のブロックＢ１＿１に関してペアレントブロックを形成する。
【0019】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、各ブロックは、コンテンツエリアＣＡが行及び列に配置され、コンテンツエリアが明示及び／又は隠匿基準に従って明示可能又は隠匿可能である、異なるコンテンツエリアタイプの複数のコンテンツエリアＣＡを含む。
【0020】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、コンテンツエリアＣＡの明示／隠匿基準は、ユーザインタフェースの表示部の画面上に表示される最適な情報量などのさらなる所定のファクタに基づく。
【0021】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、データベースＤＢに格納される階層システムモデルのブロックＢのコンテンツエリアＣＡのコンテンツエリアタイプＣＡＴは、
各ブロックのより深いネスト化されたチャイルドブロックを示すよう適応される第１のコンテンツエリアタイプＣＡＴ１（チャイルド－エリア）と、
コンテンツデータ、特にテキストコンテンツデータと画像コンテンツデータなどのコンテンツを含む第２のコンテンツエリアタイプＣＡＴ２（データ－エリア）と、
ＡＰＩを介し第三者サービスによって提供されるダイナミックデータを含む第３のコンテンツエリアタイプＣＡＴ３（ダイナミック－エリア）と、
ユーザ入力感知エリアがユーザ選択コマンドに応答して選択される場合、制御信号を自動生成するよう適応されるユーザ入力感知コンテンツエリアを提供する第４のコンテンツエリアタイプＣＡＴ４（ユーザ制御入力－エリア）と、
を含む。
【0022】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、より深い階層レベルの重要かつ重大な情報は、より高い階層レベルのブロックに視覚的にわたすことが可能である。
【0023】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、データベースＤＢに格納される階層システムモデルの各ブロックＢは、データベースＤＢに格納される階層システムモデルの階層構造を反映する一意的なブロック識別子又は名称と関連するＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）とを含みうる。
【0024】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、各ブロックＢは、ユーザが各ブロックＢに関連するＵＲＬを介しブロックＢに関連するワークスペースＷＳＢへのリード又はライトアクセスＲ／Ｗを他のユーザに提供可能なユーザにより規定された権限管理を含む。
【0025】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ユーザにより規定された権限管理の設定は、他の何れのユーザにより規定された権限管理の設定もブロックのチャイルドブロック又はより深いチャイルドブロックに適用されない限り、ブロックＢの直接のチャイルドブロックとより深いネスト化されたチャイルドブロックとに自動的にわたされる。
【0026】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、データベースＤＢに格納される階層システムモデルのブロックＢ１に関連するバーチャルカメラＶＣＢ１は、３次元ワークスペースＷＳＢ１内のバーチャルカメラＶＣＢ１とチャイルドブロックＢ１＿１との間の距離ｄを縮小させ、各チャイルドブロックＢ１＿１とそれのコンテンツエリアＣＡとにズームインするため、ブロックＢ１のチャイルドブロックＢ１＿１に向かって、３次元ワークスペースＷＳＢ内のユーザインタフェースの入力部へのズームユーザコマンド入力に応答して移動される。
【0027】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、データベースＤＢに格納される階層システムモデルのブロックＢ１に関連するバーチャルカメラＶＣＢ１は、ブロックＢ１のチャイルドブロックにパラレルな３次元ワークスペースＷＳＢ１におけるユーザインタフェースの入力部へのパンユーザコマンド入力に応答して移動される。
【0028】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、データベースＤＢに格納される階層システムモデルのブロックＢ１に関連するバーチャルカメラＶＣＢ１は、関連するバーチャルカメラＶＣＢ１の現在のカメラ位置の周囲の３次元ワークスペースＷＳＢ１におけるユーザインタフェースの入力部への回転ユーザコマンド入力に応答して自動的に回転される。
【0029】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、データベースＤＢに格納される階層システムモデルＳＹＳ－ＭＯＤ内のブロックＢは、各関係Ｒを記述するための関連する関係ラベルを含む関係Ｒを介し相互リンク可能である。
【0030】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、データベースＤＢに格納される階層システムモデルＳＹＳ－ＭＯＤ内のブロックＢは、異なるパーツ上のブロック、すなわち、データベースＤＢに格納される階層システムモデルＳＹＳ－ＭＯＤの階層レベルＨＬでないブロックにリンク可能である。
【0031】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、スイッチオーバ基準は、３次元ワークスペースＷＳにおける設定可能な距離閾値ＴＨに基づき、ブロックＢ１に関連する３次元ワークスペースＷＳＢ１内で移動可能なバーチャルカメラＶＣＢ１と、ブロックＢ１のチャイルドブロックＢ１＿１との間の計算された距離ｄが設定可能な距離閾値ＴＨより小さくなる場合、ブロックＢ１のチャイルドブロックＢ１＿１に関連するバーチャルカメラＶＣＢ１＿１への切替が自動的に実行される。
【0032】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、距離閾値ＴＨは、バーチャルカメラＶＣが各チャイルドブロックに対して移動される方向、各チャイルドブロックのサイズ及びユーザインタフェースの表示部の画面の画面サイズを含むさらなる基準に基づく。
【0033】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ブロックＢ１の新たなチャイルドブロックＢ１＿ｘは、ユーザがブロックＢ１へのライトアクセスを有する場合、ブロックＢ１に関連するワークスペースＷＳＢ１内においてユーザによって作成可能である。
【0034】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、背景カラー、境界カラー及び境界半径を含むブロックＢ１のチャイルドブロックのスタイルは、ユーザが各ブロックＢ１へのライトアクセスを有する場合、ブロックＢ１に関連するワークスペースＷＳＢ１内においてユーザによって編集可能である。
【0035】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ブロックＢ１のチャイルドブロックのサイズは、ユーザＵが各ブロックＢ１へのライトアクセスを有する場合、ブロックＢ１に関連するワークスペースＷＳＢ１内においてユーザＵによって変更可能である。
【0036】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ブロックＢ１のチャイルドブロックの位置は、ユーザＵが各ブロックＢ１へのライトアクセスを有する場合、ブロックＢ１に関連するワークスペースＷＳＢ１内においてユーザＵによって位置を直接ドラッグ又は入力することを介し変更可能である。
【0037】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ブロックＢ１のチャイルドブロックの階層位置は、ユーザＵがブロックＢ１とチャイルドブロックが移動される新たなペアレントブロックとへのライトアクセスを有する場合、ブロックＢ１に関連するワークスペースＷＳＢ１内においてユーザＵによってドラッグ又はドロップ操作を介し変更可能である。
【0038】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ブロックＢ１のチャイルドブロックのための新たなコンテンツエリアＣＡは、ユーザＵが各ブロックＢ１へのライトアクセスを有する場合、ブロックＢ１に関連するワークスペースＷＳＢ１内においてユーザＵによって作成可能である。
【0039】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ブロックＢ１のチャイルドブロックの第２のコンテンツエリアタイプＣＡＴ２のコンテンツエリアＣＡのコンテンツは、ユーザが各ブロックＢ１へのライトアクセスを有する場合、ブロックＢ１に関連するワークスペースＷＳＢ１内において各コンテンツエリアＣＡに対するユーザ選択コマンドに応答して、ユーザＵによって編集可能である。
【0040】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ブロックＢ１のチャイルドブロックの第３のコンテンツエリアタイプＣＡＴ３のコンテンツエリアＣＡのコンテンツは、関連するＡＰＩが変更されるデータを提供する場合、自動的に更新される。その反対に、ユーザが各ブロックＢ１へのライトアクセスを有し、各コンテンツエリアＣＡのデータを変更する場合、更新イベントが関連するＡＰＩに送信される。
【0041】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ブロックＢ１のワークスペースＷＳＢ１におけるユーザインタフェースを介した作業のためのユーザの編集アクションは、異なるユーザによるワークスペースＷＳＢ１の共同編集がサポートされるように、数分の１秒の短時間内で同じワークスペースＷＳＢ１を閲覧する他のユーザに自動的にミラーリングされる。
【0042】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、データベースＤＢに格納される階層システムモデルＳＹＳ－ＭＯＤは、ＵＭＬ（Ｕｎｉｆｉｅｄ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）又はＳｙｓＭＬ（Ｓｙｓｔｅｍｓ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）に基づいてユーザインタフェースの表示部の画面上に対応するネスト化構造として表示され、ＵＭＬ又はＳｙｓＭＬデータ構造としてインポート及びエクスポート可能であり、ＵＭＬ又はＳｙｓＭＬにおける構造は、ネスト化構造として３次元ワークスペース及び階層関係において表示される。
【0043】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、構造、動作、要件及びパラメトリックを含むＳｙｓＭＬの異なるピラーが、単一のワークスペースＷＳにおいて合成可能である。
【0044】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ブロックＢに関連する３次元ワークスペースＷＳＢを表示するための計算は、３次元の計算に対して最適化されるＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）上で実行される。
【0045】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、ブロックＢの第４のコンテンツエリアタイプＣＡＴ４のコンテンツエリアＣＡが、ユーザインタフェースの入力部を介したユーザ選択コマンド入力に応答して選択される場合、少なくとも１つの制御信号ＣＲＴＬの生成が自動的にトリガされ、生成される少なくとも１つの制御信号は、データベースＤＢに格納される階層システムモデルＳＹＳ－ＭＯＤによって表される複合技術システムＳＹＳのコンポーネントを形成するコントローラ又はアクチュエータに提供される。
【0046】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法のさらなる可能な実施例では、データベースＤＢに格納される階層システムモデルＳＹＳ－ＭＯＤにおける各ブロックＢは、複合技術システムのハードウェアコンポーネント又はソフトウェアコンポーネントを表し、ブロックＢ１の各チャイルドブロックＢ１＿ｘは、各チャイルドブロックＢ１＿ｘのペアレントブロックを形成するブロックＢ１によって表されるサブコンポーネントを表す。
【0047】
本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法は、ユーザ装置又はユーザ端末に一体化されるユーザインタフェースの処理部の少なくとも１つのプロセッサ上で実行されるソフトウェアツールによって実行可能である。
【0048】
本発明はさらに、さらなる態様によると、請求項１４の特徴を含むヒューマンマシーンインタラクションユーザインタフェースを提供する。
【0049】
本発明は、第２の態様によると、データベースＤＢに格納される階層システムモデルのブロックＢによって各々が表されるシステムコンポーネントＣを有する複合システムのコントローラ又はアクチュエータに接続されるヒューマンマシーンインタラクションユーザインタフェースであって、ユーザ入力コマンドを受信するよう適応される入力部と、各ブロックＢ１に関連し、ブロックＢ１の３次元ワークスペースＷＳＢ１内においてデカルト座標系に配置されるバーチャルカメラＶＣＢ１によって、複合システムのコンポーネントを表すブロックＢ１に関連する３次元ワークスペースＷＳＢ１内においてシーンを表示するよう適応される画面を有する表示部であって、バーチャルカメラＶＣＢ１は、各ブロックＢ１とそれのコンテンツエリアＣＡとに対してズーム操作を実行するため、ユーザインタフェースの入力部へのユーザ入力コマンド入力に応答して、関連するブロックＢ１の３次元ワークスペースＷＳＢ１において自動的に移動可能である、表示部と、を含むヒューマンマシーンインタラクションユーザインタフェースを提供する。
【0050】
本発明の第２の態様によるヒューマンマシーンインタラクションユーザインタフェースの可能な実施例では、ブロックＢ１は、ブロックＢ１によって表される複合技術システムのシステムコンポーネントＣ、又は、データベースＤＢに格納される階層システムモデルにおいてブロックＢ１と関係を有する他のブロックＢ’によって表される複合技術システムの他のシステムコンポーネントＣに供給される制御信号の生成をトリガするためのユーザ入力感知コンテンツエリアに適用されるユーザ起動コマンドに応答して、制御信号ＣＲＴＬを自動生成するよう適応される第４のコンテンツエリアタイプＣＡＴ４のユーザ入力感知コンテンツエリアＣＡを含む。
【0051】
ヒューマンマシーンインタラクションユーザインタフェースの可能な実施例では、ユーザインタフェースの処理部、特にＧＰＵが、以下のステップ、
複合技術システムＳＹＳのシステムコンポーネントＣを表すブロックＢ１に関連する３次元ワークスペースＷＳＢ１をデータメモリにロードするステップであって、ロードされる３次元ワークスペースＷＳＢ１は、データベースＤＢに格納される階層システムモデルにおいてブロックＢ１の下位として規定され、ブロックＢ１のロードされる３次元ワークスペースＷＳＢ１に配置されるブロックＢ１のチャイルドブロックのシーンを含む、ロードするステップ（Ｓ１）と、
ブロックＢ１のロードされる３次元ワークスペースＷＳＢ１に配置されるブロックＢ１に関連するバーチャルカメラＶＣＢ１によって、ヒューマンマシーンインタラクションユーザインタフェースの表示部の画面上にブロックＢ１のチャイルドブロックＢ＿ｘのシーンを投影することによって、ロードされる３次元ワークスペースＷＳＢ１を表示するステップ（Ｓ２）と、
ブロックＢ１に関連するバーチャルカメラＶＣＢ１と、ブロックＢ１の現在表示されているチャイルドブロックＢ１＿ｘとの間の一時的な計算された距離ｄに依存して、ブロックＢ１の可視的なチャイルドブロックＢ１＿ｘのコンテンツエリアＣＡを明示又は隠匿するステップ（Ｓ３）と、
チャイルドブロックＢ１＿１のチャイルドコンテンツエリアタイプＣＡＴ１のコンテンツエリアＣＡが明示される場合、チャイルドブロックＢ１＿１上へのチャイルドブロックＢ１＿１のチャイルドブロックのシーンの中間的な仮想的投影を介し、表示部の画面上にブロックＢ１のチャイルドブロックＢ１＿１のチャイルドブロックのシーンを投影することによって、データベースＤＢに格納される階層システムモデルの下位の階層レベルに対応するより深いネスト化されたチャイルドブロックを表示するステップ（Ｓ４）と、
を実行するよう繰り返し実行されるプログラムを実行するのに利用される。
【図面の簡単な説明】
【0052】
以下において、本発明の異なる態様が、包含された図面を参照してより詳細に説明される。
【図1】本発明の態様による複合システムを制御するのに利用されるヒューマンマシーンインタフェースの可能な例示的な実施例を示すブロック図を示す。
【図2】本発明の更なる態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法の可能な例示的な実施例を示すフローチャートを示す。
【図3】ブロックと、データモデルのエンティティの間の関係との具体例を示す。
【図4A】複数のチャイルドブロックを有するペアレントブロックＢ１の具体例を示す。
【図4B】複数のチャイルドブロックを有するペアレントブロックＢ１の具体例を示す。
【図4C】複数のチャイルドブロックを有するペアレントブロックＢ１の具体例を示す。
【図4D】複数のチャイルドブロックを有するペアレントブロックＢ１の具体例を示す。
【図5A】複合システムと対応するネスト化構造とを表す一例となる階層システムモデルを示す。
【図5B】複合システムと対応するネスト化構造とを表す一例となる階層システムモデルを示す。
【図6】本発明によるユーザインタフェースの表示部の画面上へのブロックＢ１のチャイルドブロックＢ１＿ｘのシーンの投影とともに、ブロックＢ１の関連するバーチャルカメラＶＣＢ１とブロックＢ１のデカルト座標系と一緒にブロックＢ１のシーンを含むブロックＢ１の３次元ワークスペースを示す。
【図7】異なるタイプのコンテンツエリアを示すための具体例を示す。
【図8】本発明によるヒューマンマシーンインタフェースによって実行されるズーム操作を示すための具体例を示す。
【図9】本発明による方法の処理を示すため、中間的な仮想的投影を介し画面上へのより深いネスト化されたチャイルドブロックの投影の具体例を示す。
【図10】本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法の可能な一例となる実施例を示すためのさらなるフローチャートを示す。
【図11A】本発明によるコンピュータにより実現される方法によって利用される異なるタイプのブロックを示す。
【図11B】本発明によるコンピュータにより実現される方法によって利用される異なるタイプのブロックを示す。
【図11C】本発明によるコンピュータにより実現される方法によって利用される異なるタイプのブロックを示す。
【発明を実施するための形態】
【0053】
図１は、３つの主要なユニットを有する本発明の態様によるヒューマンマシーンインタフェース（ＨＭＩ）１の実施例を概略的に示している。図１の実施例に示されるヒューマンマシーンインタラクションユーザインタフェース１は、ユーザ入力コマンドを受信するように適合された入力部２と、３次元ワークスペースＷＳ内にシーンを表示するように適合された画面を有する表示部３とを備える。ヒューマンマシーンインタフェース１はさらに、入力部２に接続され、表示部３に接続された処理部４を備える。処理部４は、図１に示されるように、ローカル又はリモートデータベース５へのアクセスを有する。
【0054】
入力部２は、タッチ感知画面を備えることができる。入力部２はまた、コンピュータマウス、トラックパッド、ジェスチャベースの制御デバイス、又は、他の何れかのタイプの手動操作入力エンティティを含むことができる。
【0055】
表示部３は、コンピュータモニタ、スマートフォン又はタブレット画面、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）ディスプレイデバイス又はＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）デバイスを含むことができる。
【0056】
処理部４は、コンピュータ、スマートフォン又はタブレットに存在しうる。それは、好ましくはＧＰＵと組み合わされ、図２のフローチャートに示されるように、コンピュータにより実現されるヒューマンマシーンインタラクション方法を実行する。ＧＰＵは、３Ｄシーンのレンダリングやレイトレーシングなどのグラフィック計算用に最適化されている。
【0057】
ヒューマンマシーンインタフェース１の処理部４は、複合技術システム内のコントローラ又はアクチュエータなどの少なくとも１つのシステムコンポーネントＣに接続することができる。図示された複合技術システムＳＹＳは、例えば、相互通信する複数のマシーンを備える製品を製造するための設備又は製造工場であってもよい。図１に示すシステムコンポーネントＣは、何れかのタイプのシステムコンポーネントＣ、特に複合システムＳＹＳ内のサブシステム又は回路とすることができる。複合システムＳＹＳは、データベース５に格納された階層システムモデルＳＹＳ－ＭＯＤで表される。このような階層システムモデルＳＹＳ－ＭＯＤの具体例が図５Ａに示される。複合システムＳＹＳは、例えば、物理、論理又は機能ベースで相互にやりとりする複数の相互関連したシステムコンポーネントＣを含むことができる。物理複合システムＳＹＳの各システムコンポーネントＣは、図３、図４及び図５に示されるように、階層システムモデルＳＹＳ－ＭＯＤにおけるブロックＢによって図示又は表される対応するデータオブジェクト又はデータ構造によって表されうる。システムコンポーネントＣは、複合システム内のアクチュエータなどの他のシステムコンポーネントＣを順に制御するように適合されたコントローラを形成することができる。また、ヒューマンマシーンインタフェース１の処理部４は、複合システムＳＹＳ内のセンサコンポーネントなどのシステムコンポーネントＣのいくつかからフィードバック情報を受信し、システムコンポーネントＣの瞬間的な状態に関する状態情報を表示部３のスクリーン上にユーザに表示することもできる。
【0058】
本発明によるヒューマンマシーンインタフェース１によって、複合システムＳＹＳのシステムコンポーネントＣを表すブロックＢが、同一又は異なる階層レベルＨＬにおける表示部３の画面上に表示される。ユーザＵは、複合システムＳＹＳにおける回路又はマシーンなどの関連する物理システムコンポーネントＣを表すブロックＢに対して直接処理を実行することができる。可能な実施形態では、表示部３のタッチ感知画面上に表示されたブロックＢの感知コンテンツエリアは、物理複合システムＳＹＳに統合されたそれぞれのシステムコンポーネントＣに対して制御処理を実行するためユーザの指によって押下可能である。複合システムＳＹＳにおける故障を示すユーザ入力感知コンテンツエリアＣＡは、タッチ感知画面上の感知エリアを押下することによって操作され、故障を処理するため複合システムＳＹＳにおける対応する物理システムコンポーネントＣを自動的に非アクティブ化することができる。従って、ユーザＵは、複合システムＳＹＳにおいて制御アクションをトリガするため、データベース５からロードされた複合システムＳＹＳを表すマルチレベル階層システムモデルＳＹＳ－ＭＯＤ上で直接作業可能である。さらに、本発明によるヒューマンマシーンインタフェース１及び対応するヒューマンマシーンインタラクション方法は、ユーザＵが複合システムＳＹＳ内の関心対象のシステムコンポーネントＣを表す関連ブロックＢをズームして、当該システムコンポーネントＣ及びそのサブコンポーネントに関する情報をより低い階層レベルで検索することを可能にする。
【0059】
ヒューマンマシーンインタフェース１の表示部３は、ブロックＢの３次元ワークスペースＷＳ内に配置され、ブロックＢに関連するバーチャルカメラＶＣによって、複合システムＳＹＳにおけるコンポーネントＣを表すブロックＢに関連する３次元ワークスペースＷＳ内のシーンを表示するための画面を含み、バーチャルカメラＶＣは、ブロックＢとそれのコンテンツエリアＣＡとに対してズームするため、ユーザインタフェース１の入力部２へのユーザ入力命令入力に応答して、関連するブロックＢの３次元ワークスペースＷＳにおいて移動可能である。
【0060】
ワークスペースＷＳは、図９にも見られるように、各ブロックＢが３つの座標ｘ、ｙ、ｚを含むため、真に３次元である。ワークスペースＷＳの座標系におけるブロックＢの位置は、各ブロックＢの表示フレームの中心点の位置である。
【0061】
図２は、本発明の第２の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法の可能な例示的な実施例のフローチャートを示す。コンピュータにより実現されるヒューマンマシーンインタラクション方法は、データベース５に記憶された階層システムモデルＳＹＳ－ＭＯＤによって表される、図１に示されるような複合システムＳＹＳに関する情報データを検索し、場合によっては作成するためユーザを支援するのに使用される。階層システムモデルＳＹＳ－ＭＯＤは、図５Ａ及び５Ｂにも示されるように、対応するネスト化構造として表示部３の画面上に表示することができる。データベース５からロードされた階層システムモデルＳＹＳ－ＭＯＤは、ヒューマンマシーンインタフェース１の処理部４によって処理され、複合システムＳＹＳのシステムコンポーネントＣを計画、監視及び／又は制御する。
【0062】
図２の図示された実施例では、コンピュータにより実現されるヒューマンマシーンインタラクション方法は、繰り返し実行される４つの主要なステップを含む。
【0063】
第１のステップＳ１では、ブロックＢ１に関連する３次元ワークスペースＷＳＢ１が、ブロックＢ１の関連する一意的なＵＲＬを使用してロードされる。ブロックＢ１は、複合システムＳＹＳ内のシステムコンポーネントＣを表す。各ブロックＢ１のロードされる三次元ワークスペースＷＳＢ１は、図６にも示されるように、各ブロックＢ１のチャイルドブロックのシーンを含む。ブロックＢ１のチャイルドブロックＢ１＿１，Ｂ１＿２は、データベース５に格納された複合システムＳＹＳの階層システムモデルＳＹＳ－ＭＯＤにおける各ブロックＢ１の下位として規定され、各ブロックＢ１のロードされる三次元ワークスペースＷＳＢ１に配置される。
【0064】
さらなる第２のステップＳ２では、３次元ワークスペースＷＳＢ１は、ブロックＢ１の３次元ワークスペースＷＳＢ１内の３次元デカルト座標系に配置されるブロックＢ１に関連するバーチャルカメラＶＣＢ１によって、表示部３の画面上にブロックＢ１のチャイルドブロックＢ１＿１、Ｂ１＿２のシーンを投影することによって表示される。
【0065】
さらなるステップＳ３では、各ブロックＢ１の可視的な表示されたチャイルドブロックのコンテンツエリアＣＡは、特に各チャイルドブロックのサイズ、表示部３の画面の画面サイズ、及び、各ブロックＢ１とブロックＢ１の各チャイルドブロックＢ１＿１、Ｂ１＿２とに関連するバーチャルカメラＶＣＢ１の距離ｄに基づいて、処理部４の少なくとも１つのマイクロプロセッサによって計算される、明示／隠匿基準に応じて自動的に明示又は隠匿される。
【0066】
さらなるステップＳ４では、データベース５に格納される階層システムモデルの下位の階層レベルに対応するより深いネスト化されたチャイルドブロックが、チャイルドブロックＢ１＿１のチャイルドタイプエリアＣＡＴ１のコンテンツエリアＣＡが明示される場合、図９の具体例にも示されるように、チャイルドブロックＢ１＿１上へのブロックＢ１＿１のチャイルドブロックＢ１＿１＿１，Ｂ１＿１＿２のシーンの中間的な仮想投影を介して、表示部３お画面上へのブロックＢ１のチャイルドブロックＢ１＿１のチャイルドブロックＢ１＿１＿１，Ｂ１＿１＿２のシーンを投影することによって、表示部３の画面上に表示される。
【0067】
第３のステップＳ３及び第４のステップＳ４は、全てのチャイルドブロックと関連するコンテンツエリアＣＡとが、対応するステップで使用される明示／隠匿基準に従って表示部３の画面上に表示されるまで繰り返される。
【0068】
図３は、ブロックＢとブロックを接続する接続または関係とを含むモデルの具体例を示す。ブロックＢは、コンテンツエリアＣＡを作成することができるデータオブジェクト（ビルディングブロック）の主要なコンポーネントである。ブロックＢは、異なるユースケースに使用することができ、例えば、図１１に示されるようにカスタマイズすることができる。ブロックＢは、ワークスペースＷＳの三次元において変化可能な幾何学的形状として視覚的に表示される。ブロックＢは、それのカラー、境界又は形状に関してスタイル化することもできる。技術的な観点から、ブロックＢは、コンテンツのためのデータポイント及びコンテナを形成する。各ブロックＢ内において、情報又はデータは、コンテンツエリアＣＡにおいて編成することができる。コンテンツエリアＣＡは、異なるタイプの情報又はデータが記憶可能であり、表示部３の画面を介して表示することができるセクションにブロックＢを分割する。コンテンツエリアＣＡの分割は、図７にも示されるように、行及び列によって行われることが好ましい。各ブロックＢは、関連する３次元ワークスペースＷＳを含む。各ブロックＢは、可能な実施形態では、複合システムＳＹＳのシステムコンポーネントＣを表す。複合システムＳＹＳは、互いにやりとりしうる多くのコンポーネントから構成される。複合システムＳＹＳは、それらのパーツ又はコンポーネントの間及び／又は及び／又は所与のシステムとそれの環境との間の依存性、競合、関係及び他のタイプのインタラクションのためモデル化することが本来的に困難である動作を有するシステムである。何れのケースでも、ノードがコンポーネントＣを表し、リンクがコンポーネントＣ間のインタラクションを表すネットワークとして、そのようなシステムＳＹＳを表すことができる。
【0069】
複合システムＳＹＳは、データベース５に格納された階層システムモデルＳＹＳ－ＭＯＤによって表される。階層システムモデルは、下位の階層レベルが連続する上位の階層レベルの単位の階層に分類されるモデルである。３次元ワークスペースＷＳは、各ブロックＢのチャイルドブロック（シーン）がヒューマンマシーンインタフェース１を介しユーザによって作成及び修正可能なブロックＢに関連付けされる。ワークスペースＷＳは、対応するブロックＢにそれぞれ関連するシーン、座標系及びバーチャルカメラＶＣを含む。
【0070】
ブロックＢは、ペアレントブロック及び／又は同時に少なくとも１つの他のブロックのチャイルドブロックでありうる。ペアレントブロックは、検討中のブロックの上位の１つの階層レベルＨＬになるブロックである。ペアレントブロックとチャイルドブロックとは、親子関係Ｒに沿って相互接続される。チャイルドブロックは、検討中のブロックの下位の１つの階層レベルにあるブロックである。コンテンツエリアＣＡは、異なるタイプの情報が格納及び表示可能であるセクションにブロックＢを分割する。ブロックＢに関連する３次元ワークスペースＷＳ内の全てのチャイルドブロックは、いわゆる、シーンを形成する。各ブロックＢは、関連するバーチャルカメラＶＣを有する。ブロックＢに関連するバーチャルカメラＶＣは、ブロックＢの３次元ワークスペースＷＳに配置される。バーチャルカメラＶＣによると、ブロックＢのワークスペースＷＳのシーンが、表示部３の画面上又はブロックＢ自体に投影することができる。
【0071】
各ブロックＢは、異なるコンテンツエリアタイプＣＡＴを有することができる所定数のコンテンツエリアＣＡを含む。これらのコンテンツエリアＣＡは、行及び列に配置され、コンテンツエリアは、所定の明示／隠匿基準に従って、公開可能又は非公開可能である。この明示／隠匿基準は、各チャイルドブロックのサイズ、画面の画面サイズ、及び／又は、ブロックＢに関連するバーチャルカメラＶＣとブロックＢのチャイルドブロックとの間の瞬間的な距離ｄに基づいて、ヒューマンマシーンインタフェース１の処理部４のマイクロプロセッサによってリアルタイムで計算することができる。距離ｄは、バーチャルカメラＶＣの位置とブロックＢのフレームの中心におけるブロックＢの中心点の位置との間のユークリッド距離として、処理部４のプロセッサによって計算することができる。
【0072】
可能な実施例では、データベース５に格納された階層システムモデルＳＹＳ－ＭＯＤ内のブロックＢの一部を形成することができるコンテンツエリアＣＡの４つの主要な異なるコンテンツエリアタイプＣＡＴがある。
【0073】
第１のコンテンツエリアタイプ（チャイルドエリアタイプ）ＣＡＴ１は、各ブロックＢのより深いネスト化されたチャイルドブロックを示すよう適合される。
【0074】
第２のコンテンツエリアタイプ（データ－エリアタイプ）ＣＡＴ２は、テキストコンテンツデータ又は画像コンテンツデータなどのコンテンツデータを含む。このタイプのコンテンツエリアは、複合システムＳＹＳに関する情報を提供する何れかのタイプのコンテンツを表示するのに利用可能である。
【0075】
コンテンツエリアの第３のコンテンツエリアタイプＣＡＴ３は、ＡＰＩを介し第三者サービスによって提供されるダイナミックデータを含む。この第３のコンテンツエリアタイプはまた、ダイナミックエリアコンテンツタイプとして参照されうる。それは、関連するＡＰＩによって提供されるデータの変更を反映し、変更されたデータをＡＰＩに送り返すことができる。
【0076】
ユーザ制御入力エリアタイプとも参照されうるさらなる第４のコンテンツエリアタイプＣＡＴ４は、ユーザの入力を感知するコンテンツエリアを形成し、ユーザ入力感知エリアが、ヒューマンマシーンインタフェース１のタッチ感知画面によって表示されたユーザ入力感知コンテンツエリアへのタッチなどのユーザ選択コマンドに応答して選択される場合、少なくとも１つの制御信号ＣＲＴＬを自動的に生成するように適合される。これにより、各コンテンツエリアＣＡは、異なるタイプのデータを保持することができる。
【0077】
タイプＣＡＴ２のコンテンツエリアは、とりわけ、例えば、図７に表示されるようなテキスト又は画像エリアを含む。タイプＣＡＴ３のコンテンツエリアは、例えば、ＡＰＩを介して第三者サービスによって提供されるユーザにより規定された値又はデータを表示するデータエリアを形成する。特殊なタイプのコンテンツエリアは、ネスト化又は入れ子構造を示すのに使用されるタイプＣＡＴ１のコンテンツエリアである。
【0078】
接続又は関係Ｒは、異なるブロックＢ間のリンクである。視覚的には、図３に示されるように、接続は表示部３の画面上にラインとして表示されうる。異なる矢印の先頭は、異なるモデル構築基準をサポートするためそれらの端部に表示することができる。さらに、ラベルは、２つのブロック間のそれぞれの接続又は関係Ｒを記述するため、手動で追加又は自動的に割り当てることができる。技術的な観点から、接続は、これら２つのブロックＢ間の様々なタイプの関係Ｒを表す。２つのブロックＢ間の関係Ｒは、システムモデルＳＹＳ－ＭＯＤにおいて、双方のブロックへのアクセス権を有するユーザＵによって割り当てることができる。関係Ｒは、同じ階層レベルにおけるレベル内関係と、異なる階層レベル間、特に隣接する階層レベル間のレベル間関係とを含むことができる。
【0079】
本発明によるコンピュータにより実現される方法は、ワークスペースＷＳの３次元内でのダイアグラムの作成をサポートするように適合される。例えば、ワークスペースＷＳ内のブロックＢの位置は、デカルト座標系におけるデカルト座標ｘ、ｙ、ｚを用いて設定することができる。コンピュータにより実現される方法は、ブロックＢ間の関係又は接続をそれらの位置に従って配置することができ、３次元ワークスペースＷＳ内においてｚ軸に沿って自動的にｚ変位を考慮に入れることができる。
【0080】
ブロックＢのバーチャルカメラＶＣは、ユーザインタフェース１の入力部２に入力されたユーザ命令又はジェスチャに応答して、関連するブロックＢの三次元ワークスペースＷＳにおいて配置及び移動することができる。バーチャルカメラＶＣは、複合システムＳＹＳの物理コンポーネントＣを形成し、階層システムモデルＳＹＳ－ＭＯＤにおける関連ブロックＢによって表される制御部からのコマンドに応答して、関連ブロックＢの３次元ワークスペースＷＳにおいて移動されることも可能である。
【0081】
図６及び図９は、選択されたブロックＢ１に関連するバーチャルカメラＶＣＢ１のズーム動作を示す。図６及び図９のバーチャルカメラＶＣＢ１は、関連するブロックＢ１の座標系又はワークスペースＷＳＢ１内で全方向に移動することができる。ブロックＢ１の三次元ワークスペースＷＳＢ１は、ブロックＢ１のシーンを含む。さらに、ブロックＢ１の三次元ワークスペースＷＳＢ１はまた、ブロックＢ１のバーチャルカメラＶＣＢ１を含む。バーチャルカメラＶＣＢ１が、ブロックＢ１のチャイルドブロックＢ１＿１、Ｂ１＿２のシーンの投影に対して垂直なワークスペースＷＳＢ１の座標系のｚ方向に移動される場合、中間的な仮想投影を介した画面上へのより深いネスト化されたチャイルドブロックＢ１＿１＿１、Ｂ１＿１＿２、Ｂ１＿２＿１の投影は、図９に示されるように実行される。
【0082】
ズーム動作中、関連するブロックに属するバーチャルカメラＶＣＢ１は、入力部２に入力されたズームユーザコマンドに応答して、各ブロックＢ１のワークスペースＷＳＢ１に移動可能である。これは、例えば、トラックパッド上又はマウスホイール操作を介して操作される２本指パンコマンドなどのスクロールジェスチャによって実行されうる。バーチャルカメラＶＣのバーチャルカメラの動きはまた、ドラッグジェスチャ又はコマンドによって制御可能である。ワークスペースＷＳにおけるバーチャルカメラＶＣを制御するための最も一般的に使用されるカメラ制御コマンドは、マップ制御と呼ぶこともでき、バーチャルカメラＶＣのビュー方向が常に回転することなくワーク面に垂直に向けられることを意味する。
【0083】
バーチャルカメラＶＣに加えて、各ブロックＢは、チャイルドブロックを含むことができる。各チャイルドブロックは、チャイルドブロックがそれぞれのペアレントブロックに対して視覚的に正しく表されるように、自らのバーチャルカメラＶＣを有する。チャイルドブロックはブロックそのものであるため、他のチャイルドブロックを含むこともできる。これにより、ブロックを無限にネスト化又は入れ子にすることができる。これはまた、図９にも示されている。図示された具体例では、ブロックＢ１は、２つのチャイルドブロックＢ１＿１及びＢ１＿２を備える。２つのチャイルドブロックＢ１＿１、Ｂ１＿２の各々は、それ自体のチャイルドブロックを含む。チャイルドブロックＢ１＿１は、チャイルドブロック（グランドチャイルド）ブロックＢ１＿１＿１と、ブロックＢ１＿１＿２とを含む。また、ブロックＢ１のチャイルドブロックＢ１＿２は、１つのチャイルドブロック（グランドチャイルド）Ｂ１＿２＿１を有する。ブロックＢ１は、関連するバーチャルカメラＶＣＢ１を有するルートブロックを形成する。図９に示すように、ブロックＢ１のシーンの表示部３の画面上への投影が実行される。ブロックＢ１のチャイルドブロック（Ｂ１＿１及びＢ１＿２）は、バーチャルカメラＶＣＢ１を介して画面上に投影される。より深くネスト化されたチャイルドブロック（グランドチャイルド）は、最初にそれぞれのペアレントブロックに投影される必要がある。この投影は、主要なシーン上のより深いネスト化されたチャイルドブロックの結果として生じるより小さいサイズ及び相対位置を計算するため仮想的に実行される。この技術は、中間的投影と呼ばれる。このアプローチの利点は、性能に基づくものである。チャイルドブロックの中間的な仮想投影は、第１のレンダリング中に１回だけ計算される必要がある。メインカメラの変化は再計算を必要としない。
【0084】
ブロックＢ１の仮想カメラＶＣＢ１、すなわち、メインカメラは、依然としてメインシーンにフォーカスされ、チャイルドブロックは仮想的に投影されるに過ぎず、過度に深いズーム動作は、従来の方法では、バーチャルカメラＶＣにメインシーンの平面を貫通させ、ブロックはもはや見えなくなる。従って、コンピュータにより実現されるヒューマンマシーンインタラクション方法では、所定の切替基準が満たされる場合、ブロックＢ１に関連する現在の三次元ワークスペースＷＳＢ１及びバーチャルカメラＶＣＢ１から、ブロックＢ１のチャイルドブロックＢ１＿１に関連する別の三次元ワークスペースＷＳＢ１＿１及びバーチャルカメラＶＣＢ１＿１への切替が、自動的かつシームレスに実行される。図９に示される具体例では、例えば、ブロックＢ１のワークスペースＷＳＢ１内のバーチャルカメラＶＣＢ１と投影されたチャイルドブロックＢ１＿１との間の距離ｄが、所定の距離閾値ＴＨよりも低くなるまで減少する場合、バーチャルカメラＶＣＢ１からバーチャルカメラＶＣＢ１＿１への切替が、ワークスペースにおいて自動的に実行される。これは、ブロックＢ１に関連するＵＲＬ上のＵＲＬをチャイルドブロックＢ１＿１に関連するＵＲＬに自動変更することを伴う。データベース５に記憶される階層システムモデルＳＹＳ－ＭＯＤにおける各ブロックＢは、好ましい実施例において、データベース５に記憶された階層システムモデルＳＹＳ－ＭＯＤの階層構造を反映する一意的なブロック識別子及びＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を含む。各ブロックＢは、ブロックＢを作成し、ブロックＢがユーザによって更新されたときのタイムスタンプまたは排他的なアクセスライト権限を有するユーザのユーザＩＤなどの追加情報を含むことができる。
【0085】
図９の具体例では、所定の切替基準が満たされた場合、ブロックＢ１＿１に関連する現在の三次元ワークスペースＷＳＢ１＿１及びバーチャルカメラＶＣＢ１＿１から、チャイルドブロックＢ１＿１のペアレントブロックＢ１に関連する別の三次元ワークスペースＷＳＢ１及びバーチャルカメラＶＣＢ１への切替は、自動的又は半自動的に実行可能である。これは、チャイルドブロックＢ１＿１に関連するＵＲＬからブロックＢ１に関連するＵＲＬへのＵＲＬの結果としての変更（ズームアウト）を伴いうる。その結果、コンピュータにより実現される方法は、ユーザインタフェース１の入力部２に入力されるズームユーザコマンドに応答して、効果的なズームイン動作とズームアウト動作との双方を提供する。階層システムモデルＳＹＳ－ＭＯＤにおけるブロックＢ１に関連するバーチャルカメラＶＣＢ１が、ブロックＢ１のチャイルドブロックＢ１＿１に対するズームユーザコマンドに応答して、３次元ワークスペース内のバーチャルカメラＶＣＢ１とチャイルドブロックＢ１＿１との間の距離ｄを小さくするよう移動される場合、図９に示されるように、投影が実行される。階層システムモデルＳＹＳ－ＭＯＤにおけるブロックＢ１に関連するバーチャルカメラＶＣＢ１は、可能な実施例では、三次元ワークスペースＷＳＢ１におけるユーザインタフェースの入力部に入力されたパンユーザコマンドに応答して移動可能である。各ブロックＢは、図９にも示されるように、ワークスペースＷＳにおける実際の３次元位置、すなわち、デカルト座標系における３つの座標ｘ、ｙ、ｚを含む。例えば、第１のチャイルドブロックＢ１＿１は３Ｄ位置（ｘ＝－１０; y＝０; z＝０）を有し、ブロックＢ１の他のチャイルドブロックＢ１＿２は位置（ｘ＝１０; y＝０; ｚ＝２０）を有する。
【0086】
また、階層システムモデルＳＹＳ－ＭＯＤにおけるブロックＢ１に関連するバーチャルカメラＶＣＢ１はまた、可能な実施例では、バーチャルカメラＶＣＢ１の現在のカメラ位置を中心としたブロックＢ１の３次元ワークスペースＷＳＢ１におけるユーザインタフェース１に入力された回転ユーザ命令に応答して、回転可能である。
【0087】
第１のブロックＢ１に関連する第１のバーチャルカメラＶＣＢ１から別のブロックＢ２に関連する別のバーチャルカメラＶＣＢ２へのスイッチオーバはまた、可能な実施例では、各ブロックのユニフォームリソースロケータＵＲＬを使用して、すなわち、システムモデルにおける第２のブロックＢ２のＵＲＬを選択して、自動的に実行可能である。本発明によるコンピュータにより実現される方法は、階層システムモデルにおける異なるブロックＢ間の直接的なブロックナビゲーションも可能にする。階層構造は、各ブロックＢのユニフォームリソースロケータＵＲＬによって反映されうる。これは、ブロック構造のより深いレベルが、ズーム操作を介して到達可能であるだけでなく、各ブロックＢのＵＲＬを選択することによって、あるタイプのジャンプ操作において直接到達可能であることを意味する。ブロックＵＲＬが直接アクセスされる場合、対応するブロックＢが入力可能である。これは、入力されたブロックＢの下方の階層レベルＨＬにあるブロックのみが表示されることを意味する。ＵＲＬ構造と組み合わせることにより、これは、特定レベルのブロック構造を他の参加ユーザと共有することを可能にする。
【0088】
図４Ａは、ネスト化されたブロックＢ、特に、いくつかのチャイルドブロックＢ１＿１、Ｂ１＿２、Ｂ１＿３、Ｂ１＿４を備えるペアレントブロックＢ１を示す。ペアレントブロックＢ１に対してズームすると、チャイルドブロック内のネスト化されたブロックが可視化される。これは、図４Ｂにも示されている。第１のタイプＣＡＴ１のチャイルドエリアは、図４Ａに示されるように、ブロックが互いに入れ子にされ、従って、それらの間に親子関係Ｒを生成することを可能にする。ペアレントブロックに対してズームインすることによって、より深いネスト化されたチャイルドブロックが、図４Ｂに示されるように明らかになる。対照的に、ズームアウトすることによって、より深くネスト化されたチャイルドブロックが隠され、ペアレント構造が表示される。ブロックＢは、異なるスタイル又は形状、例えば、図１１Ａに関連して説明されるような丸いブロックフレームを有するブロックＢを示すことができる。
【0089】
階層ブロック構造は、図４Ｃに示すように、ウェブブラウザＵＲＬによって反映することができる。例えば、ブロックＢ１４２は、ＵＲＬ：／ｂｌｏｃｋ１／ｂｌｏｃｋ１４／ｂｌｏｃｋ１４２を介して直接的に到達可能である。従って、ＵＲＬは、データベース５に格納された階層システムモデルＳＹＳ－ＭＯＤの階層構造を反映する。ブロックＢのＵＲＬを選択することによって、各ブロックＢ７及びそれのバーチャルカメラＶＣＢへの直接的なジャンプを自動的に達成することができる。
【0090】
可能な実施例では、各ブロックＢは、ユーザＵが各ブロックＢに関連するＵＲＬを用いて、ブロックＢに関連するワークスペースＷＳＢに対する他の参加ユーザＵのリード又はライトアクセスを与えることができるユーザにより規定される権限管理を備える。ユーザにより規定される権限管理設定は、他のユーザにより規定される権限管理設定がブロックＢのチャイルドブロック又はより深いネスト化されたチャイルドブロックに適用されない限り、各ブロックＢの直接のチャイルドブロック及びより深いネスト化されたチャイルドブロックにわたすことができる。
【0091】
可能な実施例では、階層システムモデルＳＹＳ－ＭＯＤの異なる部分に存在する２つのブロック（Ｂ５及びＢ９）は、図４Ｃに示すように、接続又は関係Ｒによって接続することができる。この場合、Ｒは階層システムモデルＳＹＳ－ＭＯＤの複数の階層レベル又は分岐をブリッジする。Ｒの両端部を観察可能にするため、Ｂ９のペアレントブロックの関連セクションにビューを開くポータルを作成することができる。
【0092】
ユーザＵがブロックＢへのライトアクセスを有する場合、ユーザＵは、それのアクセス権に従って異なる操作を実行してもよい。例えば、ブロックＢの新しいチャイルドブロックは、ユーザＵがブロックＢに対するライトアクセスを受信している場合、ブロックＢに関連するワークスペースＷＳＢ内においてユーザによって作成することができる。さらに、ブロックに適用されるライトアクセスを有するユーザは、ブロックＢに関連するワークスペースＷＳＢ内においてユーザＵによって編集可能な背景カラー、境界カラー及び／又は境界半径を含むブロックＢのチャイルドブロックのスタイルを変更することができる。さらに、ブロックＢのチャイルドブロックのサイズは、このユーザＵがブロックＢへのライトアクセスを有する場合、ブロックＢに関連するワークスペースＷＳＢ内においてユーザＵによって変更可能である。さらに、ブロックＢのチャイルドブロックの位置は、ユーザＵが各ブロックＢへの必要なライトアクセス権を有する場合、ブロックＢに関連するワークスペースＷＳＢ内においてユーザＵによって直接位置を入力するか、又はドラッグ操作を介して変更可能である。ブロックＢのチャイルドブロックの階層位置はまた、ユーザＵが各ブロックＢと、チャイルドブロックが移動される新たなペアレントブロックとに対するライトアクセス権を有する場合、ブロックＢに関連するワークスペースＷＳＢ内においてユーザＵによるドラッグ及びドロップ操作を介し自動的に変更可能である。システムモデルＳＹＳ－ＭＯＤの階層構造においてシフトされるブロックの階層ＵＲＬは、ブロックＢの新たな位置に自動的に適合される。さらに、ブロックＢのチャイルドブロックの新たなコンテンツエリアＣＡは、ユーザＵが各ブロックＢに対する必要なライトアクセス権を有する場合、ブロックＢに関連するワークスペースＷＳＢ内においてユーザＵによって作成することができる。ブロックＢのチャイルドブロックのタイプ「データ－エリア」ＣＡＴ２内のコンテンツエリアＣＡは、ユーザＵがブロックＢへの必要なライトアクセス権を有する場合、ブロックＢに関連するワークスペースＷＳＢ内のコンテンツエリアＣＡ上のユーザ選択コマンドに応答して、ユーザによって編集可能である。ブロックＢのワークスペースＷＳにおいて作業するユーザＵの編集アクションは、可能な実施例では、リアルタイムでのワークスペースＷＳの共同編集が本発明によるコンピュータによって実現される方法によって可能となるように、他のユーザＵが同じワークスペースＷＳを数秒で閲覧することに対してミラーリングすることができる
【0093】
データベース５に格納された階層システムモデルＳＹＳ－ＭＯＤは、表示部３の画面上に対応するネスト化構造として表示することができる。階層システムモデルＳＹＳ－ＭＯＤは、例えば、ＵＭＬ（Ｕｎｉｆｉｅｄ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）又はＳｙｓＭＬ（Ｓｙｓｔｅｍｓ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）に基づくことができる。従って、階層システムモデルＳＹＳ－ＭＯＤはまた、データーインタフェースを介してインポート及びエクスポートすることもできる。ＵＭＬ又はＳｙｓＭＬモデルの構造は、３次元ワークスペースＷＳ及び階層関係においてネスト化構造として表示することができる。
【0094】
本発明によるコンピュータによって実現されるヒューマンマシーンインタラクション方法とヒューマンマシーンインタフェース１との好適な実施例では、処理部４は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有する。ブロックＢに関連する３次元ワークスペースＷＳＢを表示するための計算は、３次元シーンの計算に対して最適化され、高い計算性能を提供するＧＰＵ上で実行可能である。この結果、ユーザＵによって実行される操作、特に物理複合システムＳＴＳのシステムコンポーネントＣに対する制御信号の生成がまた、リアルタイムに実行可能である。
【0095】
ブロックＢのユーザ制御入力エリアタイプＣＡＴ４のコンテンツエリアＣＡがユーザ選択コマンドに応答して選択される場合、少なくとも１つの制御信号ＣＲＴＬの生成がトリガ可能であり、トリガされた制御信号ＣＲＴＬは、ヒューマンマシーンインタフェース１の処理部４によって、システムコンポーネントＣとして複合システムＳＹＳに統合されたコントローラ、又は複合技術システムＳＹＳの別のタイプのコンポーネントＣを形成するアクチュエータに供給することができる。
【0096】
可能な実施例では、ブロックＢはまた、ブロックテンプレートを使用して作成することもできる。このようなブロックテンプレートは、コンテンツエリア構造の外観と、当該テンプレートを使用して作成されたブロックＢの可能な挙動とを規定する。ブロックテンプレートの変更は、当該ブロックテンプレートで作成された全てのブロックＢの自動更新をもたらしうる。ブロックテンプレートは、標準的なブロック（例えば、ＵＭＬブロック）と、特定のユースケースのためのカスタマイズされたブロックとをユーザに提供するため使用することができる。ブロックテンプレートは、ユーザＵ自身によって作成することができ、及び／又はインターネットなどのデータネットワークを介してあるタイプのブロック市場において他のユーザＵ’と交換することができる。ブロックテンプレートはまた、必要に応じてデータベース５からロードすることもできる。ユーザＵは、ブロックテンプレート選択コマンドを入力して、データベース５からブロックテンプレートを取り出すことができる。ロードされたブロックテンプレートに基づいて、ユーザＵは、ブロックＢをユースケース用にカスタマイズできる。生成されたブロックＢは、モデルＳＹＳ－ＭＯＤにおける他のブロックに割り当てられた関係Ｒを有する階層システムモデルＳＹＳ－ＭＯＤに挿入することができる。挿入された新しいブロックＢの対応する階層ＵＲＬは、自動的に生成することができる。
【0097】
表示されるブロックは、好適な実施例では、ズーム感知的である。従って、ブロックＢは、例えば、図８に示されるように、それらのコンテンツエリアＣＡをより多く又はより少なく表示することによって、それらの関連するバーチャルカメラＶＣの現在のカメラ位置からの距離ｄの変化に対応することができる。画面上でブロックＢ１に対してズームをすると、ブロックＢ１は画面上でより大きく表示され、コンテンツを表示するために利用可能なより大きなスペース又はエリアが存在する。他方、ズームアウトすると、ブロックＢ１は画面上でより小さく表示され、コンテンツはそれに応じて隠される。図７及び図８の図示される具体例では、複合システムＳＹＳの技術コンポーネントＣは、複数のサブシステム及びコンポーネントからなる衛星である。技術コンポーネントに関する重要な情報が、関連するブロックＢ１上に表示される。大部分の場合、これはブロックＢの一意的な名称である。図７の具体例では、ブロックの名称は「衛星」である。図８に示されるようにブロックＢ１をズームすることによって、関連するコンポーネントである衛星に関するより多くの情報、例えば、それの現在の速度、すなわち、１００ｍｐｈなどが可視的になる。表示される情報は、所与の例において軌道内の衛星の現在の相対速度を示すリアルタイムセンサデータを含むことができる。このデータは、サービスプロバイダによって、及び／又は、システムコンポーネントＣ自身のセンサによって提供することができる。
【0098】
図７は、そのようなブロックＢ１内のコンテンツエリアＣＡの異なるコンテンツエリアタイプＣＡＴを示す。図示された具体例では、ブロックＢ１は、それぞれのブロックＢ（チャイルド－エリア）（すなわち、コンテンツエリアタイプ（ＣＡＴ１））のより深いネスト化されたチャイルドブロックを示すよう適合されたコンテンツエリアＣＡ３を有する。図７の図示されたブロックＢ１では、テキストなどのコンテンツデータ、特に対応する物理コンポーネント「衛星」の名前を含む第２のコンテンツエリアタイプＣＡＴ２のコンテンツエリアＣＡ１をさらに含む。図示された具体例では、ブロックＢ１はさらに、コンテンツデータ、この例では、対応する物理コンポーネント「衛星」のピクチャ又は画像も含む、さらなるコンテンツエリアＣＡ２を備える。図７に示されるようなブロックＢ１は、他のコンテンツエリアタイプＣＡＴのさらなるコンテンツエリアＣＡ、特に、ＡＰＩを介してサードパーティサービスによって、又は監視される技術システムＳＹＳのセンサコンポーネントＣから提供されるダイナミックデータを含む第３のタイプＣＡＴ３のダイナミックコンテンツエリアを含んでもよい。さらに、図７の具体例に示されるブロックＢ１は、ユーザＵがタッチ感知コンテンツエリアタイプＣＡＴ４の表示されたコンテンツエリアＣＡにタッチするなど、ユーザ選択コマンドによって入力感知コンテンツエリアを選択する場合、少なくとも１つの制御信号ＣＲＴＬを自動的に生成するように適合されたユーザの入力感知コンテンツエリアを提供する第４のコンテンツエリアタイプＣＡＴ４を備えることができる。例えば、図７に示されるブロックＢ１は、１００ｍｐｈから１０５ｍｐｈまでの軌道速度を増加させるため、感知エリア上をスライドすることによって軌道内の衛星の相対速度を制御することを可能にするユーザ感知コンテンツエリアＣＡ４を備える。この値の変更は、ユーザインタフェース１の処理部４からデータネットワークを介して衛星基地局に供給される制御信号ＣＲＴＬを自動的にトリガし、基地局は、制御信号ＣＲＴＬを物理軌道衛星に転送して衛星の速度を変更する。従って、衛星を表すブロック図Ｂ１は、衛星の現在状態に関する情報を提供するだけでなく、軌道における衛星の物理性能パラメータ及び挙動を制御することを可能にする。さらに、軌道における衛星の表示された現在の相対速度がクリティカルになり、９５ｍｐｈなどの所定の閾値の以下に低下する場合、アラームが、物理的な衛星のセンサによって又は衛星基地局によって自動的にトリガされ、ヒューマンマシーンインタフェース１の処理部４に供給され、衛星を表すブロックＢ１の第３のタイプＣＡＴ３のダイナミックデータコンテンツエリア上に警告信号を表示することができる。地上制御のユーザ又はオペレータは、衛星の速度に影響を及ぼすシステムコンポーネントＣを示す衛星のサブシステムを表すブロックＢ１のチャイルドブロックにズームインすることができる。オペレータは、これらのサブシステムをズームして、衛星の速度問題を処理することができる。
【0099】
図１１は、異なるタイプのブロックＢについての異なる具体例を示す。異なるブロックＢは、図１１Ａの円、図１１Ｂ及び図１１Ｃの矩形などの異なる形状を含むことができる。図１１Ａに示されるブロックＢは、何れのコンテンツも含まない。図１１Ｂに示されるブロックは、テキストコンテンツを形成するコンテンツ“Ｈｅｌｌｏ ｕｎｉｖｅｒｓｅ”を有するコンテンツエリアを有する。図１１Ｃに示されるブロックＢは、第１のコンテンツ領域ＣＡ１はテキストコンテンツ“Ｍｙ ｐｉｃｔｕｒｅ”を含み、第２のコンテンツエリアＣＡ２は画像を含む。
【0100】
図１０は、本発明の第１の態様によるコンピュータにより実現されるヒューマンマシーンインタラクション方法を説明するためのさらなるフローチャートを示す。図１０は、ステップＳ１、Ｓ２、Ｓ３、Ｓ４が反復的に実行されることを示す。コンピュータにより実現されるヒューマンマシーンインタラクション方法の図示された実施例では、第１のステップＳ１において、ブロックＢ１に関連する３次元ワークスペースＷＳＢ１は、ブロックＢ１の関連する一意的なＵＲＬを使用してロードされる。ブロックＢ１のワークスペースＷＳＢ１は、ステップＳ２において、ブロックＢ１の関連するバーチャルカメラＶＣＢ１に表示される。
【0101】
さらなるステップＳ３において、ブロックＢ１のコンテンツエリアＣＡは、可能な実施例では、表示部３の画面の画面サイズと、ブロックＢ１に関連するバーチャルカメラＶＣＢ１とブロックＢ１のチャイルドブロックとの間の現在の計算された距離ｄとに応じて、ヒューマンマシーンインタフェース１の処理部４のマイクロプロセッサによって計算された明示／隠匿基準に応じて明示又は隠匿される。
【0102】
さらなるステップＳ４では、より深いネスト化されたチャイルドブロックが表示される。
【0103】
さらなるステップＳ５では、ブロックＢ１のバーチャルカメラＶＣＢ１がブロックＢ１のワークスペースＷＳＢ１内に再配置されたか確認される。
【0104】
さらなるステップＳ６において、所定のスイッチオーバ基準が満たされているかがチェックされる。そうでない場合、ルーチンはステップＳ１に戻る。一方、スイッチオーバ基準が満たされている場合、ステップＳ７において、他のワークスペースＷＳ及びバーチャルカメラＶＣへの自動切替が実行される。
【0105】
本発明によるヒューマンマシーンインタラクションユーザインタフェース１では、処理部４は、好適な実施例において、実際の３次元シーンを計算するように最適化されたＧＰＵを含む。可能な実施例では、３Ｄエンジンが利用可能である。これは、３Ｄオブジェクト（ＣＡＤデータなど）をレンダリングし、仮想空間（拡張現実／仮想現実）におけるシーンをレンダリングすることを可能にする。
【0106】
本発明によるコンピュータにより実現される方法では、階層レベルは、それらのペアレントブロック上にそれらを投影することによって表示される。本発明による方法では、デカルト座標系における三次元のオブジェクトを三次元位置（ｘ、ｙ、ｚ）に位置決めすることができる。他の座標系を使用することもできる。本発明によるコンピュータにより実現される方法では、チャイルドブロックは、ペアレントブロックのフレーム内に視覚的に表示される。このようにして、チャイルドブロックとペアレントブロックとの間の関係が明らかになる。
【0107】
本発明による方法によると、データネットワークを介し共有サーバに接続された異なるユーザ端末デバイスを用いて、複数のユーザが同一のワークスペースＷＳにおいて同時に操作することが可能になる。ユーザ端末の各々は、本発明によるヒューマンマシーンインタラクションユーザインタフェース１を含むことができる。あるユーザによって実行された操作の変更は、他の何れかの参加ユーザにもすぐに見ることができる。これは、リアルタイムで共通の複合技術システムＳＹＳ上での共同作業を可能にする。
【0108】
ユーザＵは、ブロックテンプレートを利用して作成したシステムモデルＳＹＳ－ＭＯＤ内のブロックＢのグループにたいしる排他的又は非排他的なライトアクセス権を有する利害関係者とすることができる。
【0109】
本発明によるコンピュータにより実現される方法は、表示部３の画面の限られた実エリア上での情報の表現を可能にする。画面は、例えば、タブレット、ラップトップ、コンピュータ又はスマートフォンの画面を含むことができる。ワークスペースＷＳにおける仮想的なｚ軸は、特定のシステムコンポーネントＣと関連するメタ情報データとを指定する詳細情報を表示部３の画面上に表示するのに利用可能である。ヒューマンマシーンインタフェース１の入力部２は、例えば、スクロールホイール又はタッチパッドを有するマウスを含んでもよい。ユーザＵは、仮想的なｚ軸に沿って３次元ワークスペースＷＳにおけるブロックＢに関連するバーチャルカメラＶＣの位置を変更することができる。さらに、デカルト座標のワークスペースＷＳ内のｘ軸及びｙ軸における表示部３の画面上に表示されるカメラ位置は、ユーザによって同時に変更可能である。これにより、ユーザＵは、入力されたユーザコマンドに応じてズームイン又はズームアウトすることができる。従って、ヒューマンマシーンインタフェース１は、車両、衛星、マシーン又は設備などの何れかのタイプの技術システムＳＹＳを制御及び監視するための効率性を向上させるコンポーネントベースのダイアグラムのためのズーム表示又は非表示三次元インタフェースを提供する。その制御は、各システムの階層構造モデルに従って物理システムＳＹＳを表すダイアグラムを直接用いることで行うことができる。
【0110】
コンテンツエリアＣＡの明示／隠匿基準は、表示部３の画面上に表示される情報データの最適量などのさらなる要因に基づくことができる。可能な実施例では、データベース５に記憶された階層システムモデルＳＹＳ－ＭＯＤはまた、データベース５に記憶された階層システムモデルＳＹＳ－ＭＯＤの異なる部分（階層レベルでない）上でブロックＢにリンク可能である。データベース５に記憶された階層システムモデルＳＹＳ－ＭＯＤにおける各ブロックＢは、複合技術システムＳＹＳの電子回路又はソフトウェアコンポーネントなどのハードウェアコンポーネントを表すことができ、そのようなブロックＢの各チャイルドブロックは、各チャイルドブロックのペアレントブロックを形成するブロックによって表されるサブコンポーネントを表すことができる。
【0111】
本発明によるコンピュータにより実現される方法は、分散システムを計画、監視及び制御するため適用可能である。
【0112】
本発明によるコンピュータにより実現される方法は、例えば、他のユーザＵ’による複合技術システムの共通の理解を作成するため、要件及び論理構造などの異なるドメイン間の関係を可視化し、ユーザＵに理解可能にするか、又はユーザＵによって利用させるモデルベースシステムエンジニアリングの複合技術システムが適用された方法を設計するのに利用可能である。
【0113】
本発明によるコンピュータによって実現される方法は、例えば、モデルベース事業の方法をサポートする組織におけるプロセス及びワークフローを計画及び監視するのに利用可能である。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図11C】
Copyright © 2010-2025 Science Impact Inc. All Rights Reserved.