知財求人 - 知財ポータルサイト「IP Force」
特許7564575トラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-01
(45)【発行日】2024-10-09
(54)【発明の名称】トラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法
(51)【国際特許分類】
G06T 7/20 20170101AFI20241002BHJP
G06T 13/40 20110101ALI20241002BHJP
G06V 40/20 20220101ALI20241002BHJP
B66B 3/00 20060101ALI20241002BHJP
【ＦＩ】
G06T7/20 300A
G06T13/40
G06V40/20
B66B3/00 P
【請求項の数】
10
【外国語出願】
(21)【出願番号】P 2023114184
(22)【出願日】2023-07-12
(65)【公開番号】P2024078386
(43)【公開日】2024-06-10
【審査請求日】2023-07-21
(31)【優先権主張番号】202211520459.5
(32)【優先日】2022-11-29
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520022540
【氏名又は名称】中国計量大学
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100132883
【弁理士】
【氏名又は名称】森川 泰司
(74)【代理人】
【識別番号】100148633
【弁理士】
【氏名又は名称】桜田 圭
(74)【代理人】
【識別番号】100147924
【弁理士】
【氏名又は名称】美恵 英樹
(72)【発明者】
【氏名】肖 剛
(72)【発明者】
【氏名】陸 佳▲ウェイ▼
(72)【発明者】
【氏名】王 ▲チー▼冰
(72)【発明者】
【氏名】李 ▲チェン▼
(72)【発明者】
【氏名】李 聡林
(72)【発明者】
【氏名】董 錦錦
(72)【発明者】
【氏名】顧 海瑞
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】特開２０１９－１８５７５２（ＪＰ，Ａ）
【文献】Qinghua Xu, et al.，Uncertainty-Aware Transfer Learning to Evolve Digital Twins for Industrial Elevators，ESEC/FSE 2022: Proceeding of the 30th ACM Joint European Software Engineering Conference and Symposium on the Foundations of Software Engineering，2022年11月09日，https://doi.org/10.1145/3540250.3558957
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｔ １３／００ － １３／８０
Ｇ０６Ｖ ４０／００ － ４０／７０
Ｂ６６Ｂ ３／００
(57)【特許請求の範囲】
【請求項1】
トラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法であって、トラクション式エレベーターシステムのツインシーンを構築するステップ１と、
人体行動ツインモデルの構築及びバーチャルリアリティマッピングを行うステップ２と、
骨格点検出アルゴリズムに基づいてツインシーンにおける仮想人間に対して骨格認識を行うツインシーンでの人体骨格点検出のステップ３と、
ステップ２で構築された人体行動ツインモデルに基づいて、エレベーター乗客行動に対してデータ強化を行うエレベーター乗客行動データ強化のステップ４とを含み、
ステップ１の過程は、
三次元モデリングソフトウェアによってトラクション式エレベーターシステムの幾何学的モデルを描画し、幾何学的モデルは物理エンティティに基づいて、デジタルツイン技術を使用して１：１で実物を再現した３Ｄ可視化モデルを構築し、ツインモデルと物理エンティティが幾何学的サイズ、材質属性、色、及び形状の点で高度に一致することを確保するとともに、物理エンティティの組立関係及び従属関係を真に反映し、構造的な「ツイン」を具備するトラクション式エレベーターシステムの幾何学的モデル描画のステップ（１．１）と、
ステップ（１．１）で描画された幾何学的モデルを統一されたファイル形式で出力し、一般的に使用されるデジタルツインエンジンにインポートして全体的な組立、階層関係及び運動制約条件の定義を行うデジタルツインシーン構築のステップ（１．２）と、
ツインシーンの幾何学的モデルをトラクション式エレベーターシステムの運転データ及びビデオデータで駆動するツインシーンデータ駆動のステップ（１．３）とであり、
ステップ２の過程は、
人体行動姿勢分解のステップ（２．１）と、
人体関節全体の運動を順運動学及び逆運動学の方法で制御できる運動学原理に基づく人体行動モデリングのステップ（２．２）と、
ステップ（１．２）における人間三次元モデルを使用し、人体骨格関節点データを入力とし、デジタルツイン技術及び運動学原理と組み合わせて、現実世界の人間の動作をツインシーンの人間三次元モデルにリアルタイムにマッピングする人体行動モデルのバーチャルリアリティマッピングのステップ（２．３）とであり、
ステップ３の過程は、
ステップ（２．３）を実行すると同時に、仮想人間の動作を録画するステップ（３．１）と、
ステップ（３．１）で取得されたビデオ画像データをＶＧＧ１９の前１０層の入力として、対応する特徴マップＦを得るステップ（３．２）と、
特徴マップＦを骨格抽出ネットワークに入力して人体骨格点抽出を行うステップ（３．３）と、
任意の２つの関節点に対して、ＰＡＦｓの線形積分を計算することによって関節点ペアの相関性を特徴付けるステップ（３．４）と、
【数1】
【数2】
【数3】
すべての信頼度が最も高い関節点を選択して結んで人体全体の骨格姿勢を形成するステップ（３．５）と、
ステップ（３．５）で取得された仮想人体骨格姿勢に応じて、仮想人間と実際の人間との骨格検出精度の違いを判断し、
仮想人間の骨格検出精度と実際の人間の骨格検出精度の誤差が許容範囲内に維持される場合、ステップ４の乗客行動データ強化を実行し、逆には、仮想人間モデルを変更し、ステップ２とステップ３を繰り返して実行するステップ（３．６）とであり、
ステップ４の過程は、
乗客行動データ強化を行う前に、まずエレベーター内の乗客の行動に対して定義及び分類を行う必要があり、
正常行動とは、エレベーター内での乗客の正確な乗降動作であり、
異常行動とは、エレベーター内で機器の安全な運転や人々の生命の安全を脅かす乗客の危険な動作であり、
異常行動は危険程度に応じて軽度危険行動及び重度危険行動に分類されてもよく、乗客数に応じてシングル異常行動及びマルチ異常行動に分類されてもよい乗客行動定義及び分類のステップ（４．１）と、
リアリティでバーチャルを制御する方法とバーチャルでリアリティをシミュレーションする方法の２種類に分けられる乗客行動データ強化のステップ（４．２）と、
乗客行動データセット生成のステップ（４．３）とである、ことを特徴とするトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
【請求項2】
前記ステップ（１．１）では、トラクション式エレベーターシステムの幾何学的モデルは昇降路建物モデル、エレベーター機械モデル及び人体三次元モデルを含み、昇降路建物モデルのステップ（１．１．１）では、昇降路建物モデルは機械室、昇降路の壁面及びピットの３つの部分を含み、
エレベーター機械モデルのステップ（１．１．２）では、トラクション式エレベーターは、それぞれ、トラクションシステム、ガイドシステム、乗りかご、ドアシステム、重量バランスシステム、電力ドラッグシステム、電気制御システム及び安全保護システムの８つのシステムからなり、
トラクションシステムは、機器に運動エネルギーを提供してエレベーターを正常に運転するためのものであり、巻上機、ワイヤーロープ、ガイドホイール及び電磁ブレーキからなり、
ガイドシステムは、乗りかごとカウンターウェイトがガイドレールに沿って昇降運動するしかできないように乗りかごとカウンターウェイトの移動自由度を制限するためのものであり、ガイドレール、ガイドシュー及びガイドレールフレームからなり、
乗りかごは乗りかごフレーム及び乗りかご本体からなり、乗りかごフレームは乗りかご本体を固定する耐荷重フレームであり、乗りかご本体は動作用コンテナであり、
ドアシステムは乗りかごドア、階ドア、ドアロック装置、及び自動ドアドラッグ装置を含み、
重量バランスシステムは、乗りかごの重量バランスを取り、乗りかごとカウンターウェイトとの重量差を所定の範囲に維持し、エレベーターのトラクション伝動の正常を確保するためのものであり、
電力ドラッグシステムは、巻上機、給電システム、速度フィードバック装置、及び調速装置からなり、エレベーターに対して速度制御を行うためのものであり、
電気制御システムは、エレベーターの運転を操作及び制御することに用いられ、制御装置、操作装置、レベリング装置及び位置表示装置からなり、
安全保護システムは、機械安全保護システム及び電気安全保護システムに分けられ、機械部分には速度制限装置及びバッファがあり、電気部分には端末保護装置及び様々なインターロックスイッチがあり、
人体三次元モデル描画のステップ（１．１．３）では、人体三次元モデルは骨格モデルと人間モデルとからなり、骨格とモデルが互いに独立するため、スキン技術を使用して骨格駆動モデルの合理的な運動を発生させる、ことを特徴とする請求項１に記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
【請求項3】
前記ステップ（１．２）では、組立プロセスは、現実世界における昇降路建物モデル、エレベーター機械モデル及び人体三次元モデル間の階層関係を考慮する必要があり、昇降路建物モデル、エレベーター機械モデル及び人体三次元モデルは第１階層であり、各モデルの下でのサブモデルは対応して第２階層であり、このように類推し、
エレベーター運転中の運動ユニットは巻上機、ワイヤーロープ、乗りかご、乗りかごドア、階ドア及びカウンターウェイト装置を含み、関連ユニット間の運動制約条件を設定することによって、仮想モデルのツインシーンでの運動を現実世界と同じ効果に維持することができる、ことを特徴とする請求項２に記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
【請求項4】
前記ステップ（１．３）では、エレベーター運転データとビデオデータはマルチソース異種データに属し、マルチソースは主にデータソースの多様化を指し、異種は主にデータ構造の差異性を指し、エレベーター運転データはツインシーンにおける運動ユニットを駆動することに用いられ、ビデオデータはツインシーンにおける人間の動作を駆動することに用いられ、通信バスによって様々なセンサをエッジ制御プラットフォームに接続してデータ伝送及び記憶を行い、エッジ制御プラットフォームはバーチャルリアリティインタラクション中間プラットフォームであり、一方では、実際のデータをクライアントであるデジタルツインプラットフォームに送信してデータ処理を行うことができ、他方では、クライアントからツインデータを取得して物理エンティティに対して対応する制御を行うことができる、ことを特徴とする請求項３に記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
【請求項5】
前記ステップ（２．１）では、人体行動姿勢分解の過程は、人体骨格モデルのステップ（２．１．１）と、人体骨格関節ツリーのステップ（２．１．２）とであり、人体骨格モデルのステップ（２．１．１）では、人体の三次元運動とは、関節及び四肢の一連の運動であり、従って、人体モデルは１７個の骨格点からなるヒンジ構造に簡素化でき、
１７個の骨格点はそれぞれ、頭部、首部、胸部、骨盤、臀部、右肩、右肘、右手首、左肩、左肘、左手首、右腰、右膝、右足首、左腰、左膝、及び左足首であり、
人体骨格関節ツリーのステップ（２．１．２）では、従来の三次元座標記述方法によれば運動中の各骨格点の位置パラメータは互いに独立し、いずれの骨格点の位置変化もほかの骨格点に影響せず、従って、階層的方法を使用して人体骨格モデルを骨格関節ツリーに等価することはこの欠陥を克服することができ、
ツリーのルートノードは人体骨格モデルの幾何学的中心（臀部）であり、人間モデルの全体的な変位及び方向を制御でき、残りの子ノードはルートノードとの直接及び間接的連結によって、共同で人体モデルの姿勢決定及び運動過程の提示を支援する、ことを特徴とする請求項１から３のいずれか一項に記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
【請求項6】
前記ステップ（２．２）では、順運動学は人間を制御して対応する動作を実行することに用いられ、逆運動学は姿勢変換中に詳細化された関節点データを求めることに用いられ、過程は、以下のとおりであり、順運動学のステップ（２．２．１）では、人体姿勢の順運動学とは、各関節の相対変位
【数4】
【数5】
【数6】
Ｑ＝Ｈ（Ｒ，Ｔ）
であり、ここで、Ｎは人体関節の数を表し、
【数7】
【数8】
【数9】
【数10】
逆運動学のステップ（２．２．２）では、逆運動学は順運動学の逆のプロセスであり、所望の人体姿勢
【数11】
Ｒ＝Ｇ（Ｐ，Ｔ）であり、
ここで、
【数12】
【数13】
【数14】
【数15】
【請求項7】
前記ステップ（２．３）の過程は、骨格点抽出のステップ（２．３．１）と、関節マッピングのステップ（２．３．２）と、座標変換のステップ（２．３．３）と、データインポートのステップ（２．３．４）と、逆運動学で詳細化された関節点データを求めるステップ（２．３．５）と、順運動学で動作データを求めて生成するステップ（２．３．６）とであり、ステップ（２．３．１）では、一般的な骨格点検出アルゴリズムによって実際の人体の関節タグデータを取得し、
ステップ（２．３．２）では、関節マッピングとは、デジタルツインシーンにおける人間骨格モデルとステップ２．３．１で取得された関節点タグとを１対１で対応付け、
ステップ（２．３．３）では、ステップ（２．３．１）で取得された各関節タグはいずれも独立した座標系を有し、動作マッピング中に関節ずれや関節ドリフトの問題が発生することを回避するために、ステップ（２．３．２）で関節タグのローカル座標系を同一座標系に変換する必要があり、
ローカル座標系からグローバル座標系への変換は同次変換行列の乗算によって実現でき、
【数16】
【数17】
【数18】
ステップ（２．３．４）では、ステップ（２．３．１）で取得された関節点データをバイトストリームの形式でクライアントであるデジタルツインプラットフォームに送信して処理を行い、人間三次元モデルにインポートしてキーフレームの人体姿勢の再現を実現し、
バイトストリームとは、バイトごとにデータを処理する形式であり、キーフレームとは、ステップ（２．３．１）における骨格検出アルゴリズムで実際の人間の関節点データを取得する現在フレームであり、
ステップ（２．３．５）では、人間の骨格関節点間は内的相関性を有し、各関節の平行移動及び回転を直接決定すると不自然な動作が生じやすいため、隣接する２つのキーフレームの骨格姿勢データを入力とし、ステップ（２．２．２）における逆運動学を使用して中間プロセスがより詳細化された各関節点データを求め、
ステップ（２．３．６）では、ステップ（２．３．５）で求められた詳細化された関節点データを一定の頻度で仮想人間の骨格ノードにインポートし、（２．２．１）における順運動学と組み合わせて求めて仮想人間の動作マッピングを実現できる、ことを特徴とする請求項６に記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
【請求項8】
前記ステップ（３．２）では、ＶＧＧ１９は１９個の隠れ層を含む畳み込みニューラルネットワークであり、１９個の隠れ層は１６個の畳み込み層及び３個の完全接続層を含み、現在、画像認識分野に広く使用されており、前記ステップ（３．３）では、骨格抽出ネットワークは２つのブランチを持つ多段階畳み込みニューラルネットワークに属し、
一方のブランチは２Ｄ信頼度マップＣｏｎｆｉｄｅｎｃｅ ｍａｐｓ（Ｓ）を予測することに用いられ、他方のブランチはパートアフィニティフィールドＰａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ（Ｌ）を予測することに用いられ、
Ｓ＝（Ｓ１，Ｓ２，…，Ｓｊ）であり、ｊは検出対象となる関節の数を表し、
Ｌ＝（Ｌ１，Ｌ２，…，Ｌｃ）であり、ｃは検出対象となる肢体（関節ペア）の数を表し、
前記ステップ（３．３）の過程は、
第１段階の入力はステップ（３．２）で取得された特徴マップＦであり、出力結果は２Ｄ信頼度マップ及びパートアフィニティフィールドの２つのブランチであるステップ（３．３．１）と、
第２段階（ｋ≧２）から、ネットワークの入力はＦ、Ｓｋ－１、及びＬｋ－１の３つの部分を含み、２つのブランチの異なる段階での入出力関係は
【数19】
【数20】
【数21】
訓練時、各段階の２つのブランチはいずれも対応するＬｏｓｓを生成し、勾配消失の問題を回避することに用いられ、勾配消失とは、ニューラルネットワークの層数が増加すると、入力層に近いほど、層間の重みを効果的に補正できず（導関数は０になる傾向がある）、その結果、ニューラルネットワークの効果が悪く、
Ｌｏｓｓは損失関数を表し、ネットワークが収束できることを確保する最も重要な要素であり、各段階における２つのブランチの損失は、
【数22】
【数23】
【数24】
【数25】
【数26】
【数27】
【数28】
【数29】
マークされていない人間の関節点はＷ（ａ）＝０であり、マークされた人間の関節点及び非関節点はＷ（ａ）＝１であり、従って、マークされていない人間の関節点はモデルの学習プロセスに影響することがなく、畳み込みニューラルネットワークアーキテクチャの最適化目的関数は、
【数30】
【数31】
【数32】
ステップ（３．３．４）の過程は、
ｎ人目のｊ番目の関節のｈｅａｔｍａｐは
【数33】
【数34】
【数35】
【数36】
現在骨格に対応する肢体の接続方向のｖｅｃｔｏｒｍａｐは
【数37】
【数38】
【数39】
【数40】
【数41】
【数42】
ｎ人目のｃ肢体のアフィニティフィールドは、
【数43】
【数44】
【請求項9】
前記ステップ（４．２）の過程は、リアリティでバーチャルを制御するステップ（４．２．１）と、バーチャルでリアリティをシミュレーションするステップ（４．２．２）とであり、ステップ（４．２．１）では、この方法は全体的にはステップ（２．３）のバーチャルリアリティマッピングプロセスと一致し、依然として実際の人間の骨格データを使用して仮想人間モデルを駆動する必要があるが、実際の人間がエレベーターシーンに入る必要がなく、仮想人間をツインシーンに配置し、任意の安全空間で動作シミュレーションを行うだけで実現でき、
ステップ（４．２．２）では、この方法は実際の人間の骨格データを取得する必要がなく、ツインシーンにおいて仮想人間の骨格モデルを直接操作し、運動学で求めるだけで対応する行動動作を得ることができ、
バーチャルでリアリティをシミュレーションするプロセスは、骨格リターゲティングのステップ（４．２．２．１）と、詳細化された関節点データを求めるステップ（４．２．２．２）と、動作データ生成のステップ（４．２．２．３）と、状態統合のステップ（４．２．２．４）と、イベントトリガーのステップ（４．２．２．５）と、データ拡張のステップ（４．２．２．６）とにより実現され、
ステップ（４．２．２．１）では、ツインシーンにおいて異なる仮想人間を構築して同じ行動動作を実行する時間を省くために、ツインシーンにインポートされた仮想人間に対して骨格リターゲティングを行う必要があり、骨格リターゲティングとは、異なる骨格構造の仮想人間をペアにし、同一組の動作データが異なる骨格を駆動できることを実現し、
ステップ（４．２．２．２）では、仮想人間の骨格ノードを操作し、連続キーフレーム時刻における所望の姿勢を作成し、隣接する２つのキーフレームの姿勢データをステップ（２．２．２）における逆運動学の入力とし、中間プロセスが詳細化された各関節点データを求め、
ステップ（４．２．２．３）では、ステップ（４．２．２．２）で求められた詳細化された関節点データをステップ（２．２．１）における順運動学の入力とし、対応する動作データを生成し、
ステップ（４．２．２．４）では、同一の仮想人間に複数の状態イベントを追加し、各状態イベントには対応する動作データをバインディングし、
ステップ（４．２．２．５）では、エレベーター乗りかごツインシーンにおいて仮想人間を配置し、ステップ（４．２．２．４）における各種のイベントにトリガー条件を追加し、
ステップ（４．２．２．６）では、対応するトリガー条件を実行し、シーンにおける人間のロール、乗りかごの背景及び照明強度を設定し、マルチシーン、マルチロールの行動データ拡張を実現する、ことを特徴とする請求項１から３のいずれか一項に記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
【請求項10】
前記ステップ（４．３）の過程は、仮想カメラ設定のステップ（４．３．１）と、乗客行動動作捕捉のステップ（４．３．２）と、データ前処理ステップ（４．３．３）とであり、ステップ（４．３．１）では、実際のエレベーター乗りかごにおける撮影シーンをシミュレーションするために、エレベーター乗りかごツインシーンの異なる方位に複数の仮想カメラを追加し、カメラの撮影角度、視野角、フレームレート及び出力形式を設定し、
ステップ（４．３．２）では、行動イベントをトリガーし、仮想カメラを制御してツインシーンにおける乗客動作を同時に撮影し、
ステップ（４．３．３）では、ステップ（４．３．２）で収集された動作ビデオを固定フレームで抽出し、異なる行動動作のビデオ画像データセットを得る、ことを特徴とする請求項９に記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、トラクション式エレベーターバーチャルリアリティインタラクションシーン分野に属し、トラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法に関する。
【背景技術】
【0002】
エレベーターにおける乗客の異常行動は、エレベーターの安全運転監視の重要な内容のうちの１つである。現在、多くの学者は、エレベーター乗りかごにおける転倒、ジャンプ、格闘及びドア掻きなどの様々な異常行動認識について研究を展開している。
【0003】
現在の行動認識問題には通常、２つの解決方法がある。１つ目は、トップダウン法であり、この方法は、行動認識問題をターゲット検出と姿勢推定の２つのサブ問題に分ける。２つ目は、ボトムアップ法であり、最初に与えられた画像においてすべての関節点を検出し、そして人体の例に基づいて関節点を組み合わせる。しかし、以上の方法は、本質的に監督学習に属し、より良い認識モデルを得るためには大量のデータセットで訓練を支援する必要があるが、現実生活の異常行動データが希少である。現在の異常行動データ強化には、２つの解決方法がある。（１）ボランティアにより危険行動の動作をシミュレーションするが、この方法は実践過程において安全リスクが存在するとともに、時間と装置コスト問題を考慮する必要がある。（２）人体物理モデルにより危険行動の動作をシミュレーションするが、人体物理モデルは、姿勢が固定され、実際の需要を満たすことができない。
【0004】
デジタルツインとは、物理エンティティに等価する仮想モデルを構築し、且つ物理エンティティと仮想モデルとの間のバーチャルリアリティインタラクションフィードバック、データ融合分析及び意思決定の反復最適化などにより、物理エンティティのために新しい能力を追加または拡張することを意味する。近年、研究者は、デジタルツインが提供する仮想環境において自動的にマーキングされた合成データを生成し、これらのデータをさらに用いて深層学習モデルを訓練し、さらにモデルの性能を高めることを試みている。しかし、それは、主に工業装置の早期故障検出に用いられ、人員の安全状態の監視の分野での応用が少ない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来技術の欠点を克服するために、本発明は、トラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法を提供し、実際の人間と仮想人間との間の行動動作の正確なマッピングを実現し、実際にエレベータービデオを取得しにくく、乗客異常行動データが希少であるなど問題を解決し、画像認識分野に新しいデータ強化方法を提供し、時間と装置コストを減少させるとともに、試験者の安全も確保する。
【課題を解決するための手段】
【0006】
本発明がその技術課題を解決するために用いる技術案は、以下のとおりである。
【0007】
トラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法であって、
トラクション式エレベーターシステムのツインシーンを構築するステップ１と、
人体行動ツインモデルの構築及びバーチャルリアリティマッピングを行うステップ２と、
骨格点検出アルゴリズムに基づいてツインシーンにおける仮想人間に対して骨格認識を行うツインシーンでの人体骨格点検出のステップ３と、
ステップ２で構築された人体行動ツインモデルに基づいて、エレベーター乗客行動に対してデータ強化を行うステップ４とを含み、
ステップ１の過程は、
三次元モデリングソフトウェアによってトラクション式エレベーターシステムの幾何学的モデルを描画し、幾何学的モデルは物理エンティティに基づいて、デジタルツイン技術を使用して１：１で実物を再現した３Ｄ可視化モデルを構築し、ツインモデルと物理エンティティが幾何学的サイズ、材質属性、色、及び形状の点で高度に一致することを確保するとともに、物理エンティティの組立関係及び従属関係を真に反映し、構造的な「ツイン」を具備するトラクション式エレベーターシステムの幾何学的モデル描画のステップ（１．１）と、
ステップ（１．１）で描画された幾何学的モデルを統一されたファイル形式で出力し、一般的に使用されるデジタルツインエンジンにインポートして全体的な組立、階層関係及び運動制約条件の定義を行うデジタルツインシーン構築のステップ（１．２）と、
ツインシーンの幾何学的モデルを主にトラクション式エレベーターシステムの運転データ及びビデオデータで駆動するツインシーンデータ駆動のステップ（１．３）とであり、
ステップ２の過程は、
人体行動姿勢分解のステップ（２．１）と、
人体関節全体の運動を順運動学及び逆運動学の方法で制御できる運動学原理に基づく人体行動モデリングのステップ（２．２）と、
ステップ（１．２）における人間三次元モデルを使用し、人体骨格関節点データを入力とし、デジタルツイン技術及び運動学原理と組み合わせて、現実世界の人間の動作をツインシーンの人間三次元モデルにリアルタイムにマッピングする人体行動モデルのバーチャルリアリティマッピングのステップ（２．３）とであり、
ステップ３の過程は、
ステップ（２．３）を実行すると同時に、仮想人間の動作を録画するステップ（３．１）と、
ステップ（３．１）で取得されたビデオ画像データをＶＧＧ１９の前１０層の入力として、対応する特徴マップＦを得るステップ（３．２）と、
特徴マップＦを骨格抽出ネットワークに入力して人体骨格点抽出を行うステップ（３．３）と、
任意の２つの関節点に対して、ＰＡＦｓの線形積分を計算することによって関節点ペアの相関性を特徴付けるステップ（３．４）と、
（ただし、Ｅは２つの関節点を結んで肢体を形成する信頼度を表し、ｄｊ１とｄｊ２は関節点１と関節点２の座標位置を表し、
は関節点１と関節点２からなる肢体の長さを表し、迅速に積分するために、均一サンプリングによってこれら２つの関節点間の類似度を近似する。
）
すべての信頼度が最も高い関節点を選択して結んで人体全体の骨格姿勢を形成するステップ（３．５）と、
ステップ（３．５）で取得された仮想人体骨格姿勢に応じて、仮想人間と実際の人間との骨格検出精度の違いを判断し、
仮想人間の骨格検出精度と実際の人間の骨格検出精度の誤差が許容範囲内に維持される場合、ステップ４の乗客行動データ強化を実行し、逆には、仮想人間モデルを変更し、ステップ２とステップ３を繰り返して実行するステップ（３．６）とであり、
ステップ４の過程は、
乗客行動データ強化を行う前に、まずエレベーター内の乗客の行動に対して定義及び分類を行う必要があり、
正常行動とは、エレベーター内での乗客の正確な乗降動作であり、
異常行動とは、エレベーター内で機器の安全な運転や人々の生命の安全を脅かす乗客の危険な動作であり、
異常行動は危険程度に応じて軽度危険行動及び重度危険行動に分類されてもよく、乗客数に応じてシングル異常行動及びマルチ異常行動に分類されてもよい乗客行動定義及び分類のステップ（４．１）と、
リアリティでバーチャルを制御する方法とバーチャルでリアリティをシミュレーションする方法の２種類に分けられる乗客行動データ強化のステップ（４．２）と、
乗客行動データセット生成のステップ（４．３）とである。
トラクション式エレベーターシステムのツインシーンを構築するステップ１と、
人体行動ツインモデルの構築及びバーチャルリアリティマッピングを行うステップ２と、
骨格点検出アルゴリズムに基づいてツインシーンにおける仮想人間に対して骨格認識を行うツインシーンでの人体骨格点検出のステップ３と、
ステップ２で構築された人体行動ツインモデルに基づいて、エレベーター乗客行動に対してデータ強化を行うステップ４とを含み、
ステップ１の過程は、
三次元モデリングソフトウェアによってトラクション式エレベーターシステムの幾何学的モデルを描画し、幾何学的モデルは物理エンティティに基づいて、デジタルツイン技術を使用して１：１で実物を再現した３Ｄ可視化モデルを構築し、ツインモデルと物理エンティティが幾何学的サイズ、材質属性、色、及び形状の点で高度に一致することを確保するとともに、物理エンティティの組立関係及び従属関係を真に反映し、構造的な「ツイン」を具備するトラクション式エレベーターシステムの幾何学的モデル描画のステップ（１．１）と、
ステップ（１．１）で描画された幾何学的モデルを統一されたファイル形式で出力し、一般的に使用されるデジタルツインエンジンにインポートして全体的な組立、階層関係及び運動制約条件の定義を行うデジタルツインシーン構築のステップ（１．２）と、
ツインシーンの幾何学的モデルを主にトラクション式エレベーターシステムの運転データ及びビデオデータで駆動するツインシーンデータ駆動のステップ（１．３）とであり、
ステップ２の過程は、
人体行動姿勢分解のステップ（２．１）と、
人体関節全体の運動を順運動学及び逆運動学の方法で制御できる運動学原理に基づく人体行動モデリングのステップ（２．２）と、
ステップ（１．２）における人間三次元モデルを使用し、人体骨格関節点データを入力とし、デジタルツイン技術及び運動学原理と組み合わせて、現実世界の人間の動作をツインシーンの人間三次元モデルにリアルタイムにマッピングする人体行動モデルのバーチャルリアリティマッピングのステップ（２．３）とであり、
ステップ３の過程は、
ステップ（２．３）を実行すると同時に、仮想人間の動作を録画するステップ（３．１）と、
ステップ（３．１）で取得されたビデオ画像データをＶＧＧ１９の前１０層の入力として、対応する特徴マップＦを得るステップ（３．２）と、
特徴マップＦを骨格抽出ネットワークに入力して人体骨格点抽出を行うステップ（３．３）と、
任意の２つの関節点に対して、ＰＡＦｓの線形積分を計算することによって関節点ペアの相関性を特徴付けるステップ（３．４）と、
【数1】
【数2】
【数3】
すべての信頼度が最も高い関節点を選択して結んで人体全体の骨格姿勢を形成するステップ（３．５）と、
ステップ（３．５）で取得された仮想人体骨格姿勢に応じて、仮想人間と実際の人間との骨格検出精度の違いを判断し、
仮想人間の骨格検出精度と実際の人間の骨格検出精度の誤差が許容範囲内に維持される場合、ステップ４の乗客行動データ強化を実行し、逆には、仮想人間モデルを変更し、ステップ２とステップ３を繰り返して実行するステップ（３．６）とであり、
ステップ４の過程は、
乗客行動データ強化を行う前に、まずエレベーター内の乗客の行動に対して定義及び分類を行う必要があり、
正常行動とは、エレベーター内での乗客の正確な乗降動作であり、
異常行動とは、エレベーター内で機器の安全な運転や人々の生命の安全を脅かす乗客の危険な動作であり、
異常行動は危険程度に応じて軽度危険行動及び重度危険行動に分類されてもよく、乗客数に応じてシングル異常行動及びマルチ異常行動に分類されてもよい乗客行動定義及び分類のステップ（４．１）と、
リアリティでバーチャルを制御する方法とバーチャルでリアリティをシミュレーションする方法の２種類に分けられる乗客行動データ強化のステップ（４．２）と、
乗客行動データセット生成のステップ（４．３）とである。
【0008】
さらに、前記ステップ（１．１）では、トラクション式エレベーターシステムの幾何学的モデルは昇降路建物モデル、エレベーター機械モデル及び人体三次元モデルを含み、
昇降路建物モデルのステップ（１．１．１）では、昇降路建物モデルは機械室、昇降路の壁面及びピットの３つの部分を含み、
エレベーター機械モデルのステップ（１．１．２）では、トラクション式エレベーターは、それぞれ、トラクションシステム、ガイドシステム、乗りかご、ドアシステム、重量バランスシステム、電力ドラッグシステム、電気制御システム及び安全保護システムの８つのシステムからなり、
トラクションシステムは、機器に運動エネルギーを提供してエレベーターを正常に運転するためのものであり、主に巻上機、ワイヤーロープ、ガイドホイール及び電磁ブレーキからなり、
ガイドシステムは、乗りかごとカウンターウェイトがガイドレールに沿って昇降運動するしかできないように乗りかごとカウンターウェイトの移動自由度を制限するためのものであり、ガイドレール、ガイドシュー及びガイドレールフレームからなり、
乗りかごは乗りかごフレーム及び乗りかご本体からなり、乗りかごフレームは乗りかご本体を固定する耐荷重フレームであり、乗りかご本体は動作用コンテナであり、
ドアシステムは、主に乗りかごドア、階ドア、ドアロック装置、及び自動ドアドラッグ装置を含み、
重量バランスシステムは、乗りかごの重量バランスを取り、乗りかごとカウンターウェイトとの重量差を所定の範囲に維持し、エレベーターのトラクション伝動の正常を確保するためのものであり、
電力ドラッグシステムは、主に巻上機、給電システム、速度フィードバック装置、及び調速装置からなり、エレベーターに対して速度制御を行うためのものであり、
電気制御システムは、主にエレベーターの運転を操作及び制御することに用いられ、制御装置、操作装置、レベリング装置及び位置表示装置からなり、
安全保護システムは、機械安全保護システム及び電気安全保護システムに分けられ、機械部分には主に速度制限装置及びバッファがあり、電気部分には主に端末保護装置及び様々なインターロックスイッチがあり、
人体三次元モデル描画のステップ（１．１．３）では、人体三次元モデルは骨格モデルと人間モデルとからなり、骨格とモデルが互いに独立するため、スキン技術を使用して骨格駆動モデルの合理的な運動を発生させる。
昇降路建物モデルのステップ（１．１．１）では、昇降路建物モデルは機械室、昇降路の壁面及びピットの３つの部分を含み、
エレベーター機械モデルのステップ（１．１．２）では、トラクション式エレベーターは、それぞれ、トラクションシステム、ガイドシステム、乗りかご、ドアシステム、重量バランスシステム、電力ドラッグシステム、電気制御システム及び安全保護システムの８つのシステムからなり、
トラクションシステムは、機器に運動エネルギーを提供してエレベーターを正常に運転するためのものであり、主に巻上機、ワイヤーロープ、ガイドホイール及び電磁ブレーキからなり、
ガイドシステムは、乗りかごとカウンターウェイトがガイドレールに沿って昇降運動するしかできないように乗りかごとカウンターウェイトの移動自由度を制限するためのものであり、ガイドレール、ガイドシュー及びガイドレールフレームからなり、
乗りかごは乗りかごフレーム及び乗りかご本体からなり、乗りかごフレームは乗りかご本体を固定する耐荷重フレームであり、乗りかご本体は動作用コンテナであり、
ドアシステムは、主に乗りかごドア、階ドア、ドアロック装置、及び自動ドアドラッグ装置を含み、
重量バランスシステムは、乗りかごの重量バランスを取り、乗りかごとカウンターウェイトとの重量差を所定の範囲に維持し、エレベーターのトラクション伝動の正常を確保するためのものであり、
電力ドラッグシステムは、主に巻上機、給電システム、速度フィードバック装置、及び調速装置からなり、エレベーターに対して速度制御を行うためのものであり、
電気制御システムは、主にエレベーターの運転を操作及び制御することに用いられ、制御装置、操作装置、レベリング装置及び位置表示装置からなり、
安全保護システムは、機械安全保護システム及び電気安全保護システムに分けられ、機械部分には主に速度制限装置及びバッファがあり、電気部分には主に端末保護装置及び様々なインターロックスイッチがあり、
人体三次元モデル描画のステップ（１．１．３）では、人体三次元モデルは骨格モデルと人間モデルとからなり、骨格とモデルが互いに独立するため、スキン技術を使用して骨格駆動モデルの合理的な運動を発生させる。
【0009】
さらに、前記ステップ（１．２）では、組立プロセスは、現実世界における昇降路建物モデル、エレベーター機械モデル及び人体三次元モデル間の階層関係を考慮する必要があり、
昇降路建物モデル、エレベーター機械モデル及び人体三次元モデルは第１階層であり、各モデルの下でのサブモデルは対応して第２階層であり、このように類推し、
エレベーター運転中の運動ユニットは巻上機、ワイヤーロープ、乗りかご、乗りかごドア、階ドア及びカウンターウェイト装置を含み、関連ユニット間の運動制約条件を設定することによって、仮想モデルのツインシーンでの運動を現実世界と同じ効果に維持することができる。
昇降路建物モデル、エレベーター機械モデル及び人体三次元モデルは第１階層であり、各モデルの下でのサブモデルは対応して第２階層であり、このように類推し、
エレベーター運転中の運動ユニットは巻上機、ワイヤーロープ、乗りかご、乗りかごドア、階ドア及びカウンターウェイト装置を含み、関連ユニット間の運動制約条件を設定することによって、仮想モデルのツインシーンでの運動を現実世界と同じ効果に維持することができる。
【0010】
さらに、前記ステップ（１．３）では、エレベーター運転データとビデオデータはマルチソース異種データに属し、マルチソースは主にデータソースの多様化を指し、異種は主にデータ構造の差異性を指し、エレベーター運転データは主にツインシーンにおける運動ユニットを駆動することに用いられ、ビデオデータは主にツインシーンにおける人間の動作を駆動することに用いられ、
通信バスによって様々なセンサをエッジ制御プラットフォームに接続してデータ伝送及び記憶を行い、エッジ制御プラットフォームはバーチャルリアリティインタラクション中間プラットフォームであり、一方では、実際のデータをクライアントであるデジタルツインプラットフォームに送信してデータ処理を行うことができ、他方では、クライアントからツインデータを取得して物理エンティティに対して対応する制御を行うことができる。
通信バスによって様々なセンサをエッジ制御プラットフォームに接続してデータ伝送及び記憶を行い、エッジ制御プラットフォームはバーチャルリアリティインタラクション中間プラットフォームであり、一方では、実際のデータをクライアントであるデジタルツインプラットフォームに送信してデータ処理を行うことができ、他方では、クライアントからツインデータを取得して物理エンティティに対して対応する制御を行うことができる。
【0011】
前記ステップ（２．１）では、人体行動姿勢分解の過程は、人体骨格モデルのステップ（２．１．１）と、人体骨格関節ツリーのステップ（２．１．２）とであり、
人体骨格モデルのステップ（２．１．１）では、人体の三次元運動とは、主に関節及び四肢の一連の運動であり、従って、人体モデルは１７個の骨格点からなるヒンジ構造に簡素化でき、
１７個の骨格点はそれぞれ、頭部、首部、胸部、骨盤、臀部、右肩、右肘、右手首、左肩、左肘、左手首、右腰、右膝、右足首、左腰、左膝、及び左足首であり、
人体骨格関節ツリーのステップ（２．１．２）では、従来の三次元座標記述方法によれば運動中の各骨格点の位置パラメータは互いに独立し、いずれの骨格点の位置変化もほかの骨格点に影響せず、従って、階層的方法を使用して人体骨格モデルを骨格関節ツリーに等価することはこの欠陥を克服することができ、
ツリーのルートノードは人体骨格モデルの幾何学的中心（臀部）であり、人間モデルの全体的な変位及び方向を制御でき、残りの子ノードはルートノードとの直接及び間接的連結によって、共同で人体モデルの姿勢決定及び運動過程の提示を支援する。
人体骨格モデルのステップ（２．１．１）では、人体の三次元運動とは、主に関節及び四肢の一連の運動であり、従って、人体モデルは１７個の骨格点からなるヒンジ構造に簡素化でき、
１７個の骨格点はそれぞれ、頭部、首部、胸部、骨盤、臀部、右肩、右肘、右手首、左肩、左肘、左手首、右腰、右膝、右足首、左腰、左膝、及び左足首であり、
人体骨格関節ツリーのステップ（２．１．２）では、従来の三次元座標記述方法によれば運動中の各骨格点の位置パラメータは互いに独立し、いずれの骨格点の位置変化もほかの骨格点に影響せず、従って、階層的方法を使用して人体骨格モデルを骨格関節ツリーに等価することはこの欠陥を克服することができ、
ツリーのルートノードは人体骨格モデルの幾何学的中心（臀部）であり、人間モデルの全体的な変位及び方向を制御でき、残りの子ノードはルートノードとの直接及び間接的連結によって、共同で人体モデルの姿勢決定及び運動過程の提示を支援する。
【0012】
前記ステップ（２．２）では、順運動学は人間を制御して対応する動作を実行することに用いられ、逆運動学は姿勢変換中に詳細化された関節点データを求めることに用いられ、過程は、以下のとおりであり、
順運動学のステップ（２．２．１）では、人体姿勢の順運動学とは、各関節の相対変位
及び相対回転
が既知であり、運動後の人体姿勢全体の
を求めるプロセスは、
Ｑ＝Ｈ（Ｒ，Ｔ）
であり、ここで、Ｎは人体関節の数を表し、
はｉ番目の関節の運動後の三次元姿勢行列を表し、
は相対変位行列のうちｉ番目の関節の三次元位置行列を表し、ｐａ（ｉ）はｉ番目の関節の親関節インデックスを表し、Ｒｐａ（ｉ），ｉは親関節に対するｉ番目の関節の回転を表し、Ｈ（Ｒ，Ｔ）は変位行列と回転行列をルートノードからすべての子ノードに再帰するプロセスを表し、
ただし、ｔｐａ（ｉ）はｉ番目の関節の親関節変位情報を表し、Ｒｉは正規静止姿勢空間に対するｉ番目の関節のグローバル回転を表し、親ノードのないルートノードの場合、
であり、
逆運動学のステップ（２．２．２）では、逆運動学は順運動学の逆のプロセスであり、所望の人体姿勢
と相対変位Ｔを入力することによって、関節の相対回転Ｒを求め、
Ｒ＝Ｇ（Ｐ，Ｔ）であり、
ここで、
は入力されたｉ番目の関節の所望の姿勢を表し、Ｇ（Ｐ，Ｔ）は、
を満たす必要があり、
はｉ番目の関節の親関節姿勢を表し、親ノードのないルートノードの場合、
である。
順運動学のステップ（２．２．１）では、人体姿勢の順運動学とは、各関節の相対変位
【数4】
【数5】
【数6】
Ｑ＝Ｈ（Ｒ，Ｔ）
であり、ここで、Ｎは人体関節の数を表し、
【数7】
【数8】
【数9】
【数10】
逆運動学のステップ（２．２．２）では、逆運動学は順運動学の逆のプロセスであり、所望の人体姿勢
【数11】
Ｒ＝Ｇ（Ｐ，Ｔ）であり、
ここで、
【数12】
【数13】
【数14】
【数15】
【0013】
前記ステップ（２．３）の過程は、骨格点抽出のステップ（２．３．１）と、関節マッピングのステップ（２．３．２）と、座標変換のステップ（２．３．３）と、データインポートのステップ（２．３．４）と、逆運動学で詳細化された関節点データを求めるステップ（２．３．５）と、順運動学で動作データを求めて生成するステップ（２．３．６）とであり、
ステップ（２．３．１）では、一般的な骨格点検出アルゴリズムによって実際の人体の関節タグデータを取得し、
ステップ（２．３．２）では、関節マッピングとは、デジタルツインシーンにおける人間骨格モデルとステップ２．３．１で取得された関節点タグとを１対１で対応付け、
ステップ（２．３．３）では、ステップ（２．３．１）で取得された各関節タグはいずれも独立した座標系（ローカル座標系）を有し、動作マッピング中に関節ずれや関節ドリフトの問題が発生することを回避するために、ステップ（２．３．２）で関節タグのローカル座標系を同一座標系（グローバル座標系）に変換する必要があり、
ローカル座標系からグローバル座標系への変換は同次変換行列の乗算によって実現でき、
ただし、Ｔ＊は同次変換行列であり、
は前の座標系に対する現在座標系の三次元回転行列であり、
は前の座標系に対する現在座標系の三次元変位行列であり、
ステップ（２．３．４）では、ステップ（２．３．１）で取得された関節点データをバイトストリームの形式でクライアント（デジタルツインプラットフォーム）に送信して処理を行い、人間三次元モデルにインポートしてキーフレームの人体姿勢の再現を実現し、
バイトストリームとは、バイトごとにデータを処理する形式であり、キーフレームとは、ステップ（２．３．１）における骨格検出アルゴリズムで実際の人間の関節点データを取得する現在フレームであり、
ステップ（２．３．５）では、人間の骨格関節点間は内的相関性を有し、各関節の平行移動及び回転を直接決定すると不自然な動作が生じやすいため、隣接する２つのキーフレームの骨格姿勢データを入力とし、ステップ（２．２．２）における逆運動学を使用して中間プロセスがより詳細化された各関節点データを求め、
ステップ（２．３．６）では、ステップ（２．３．５）で求められた詳細化された関節点データを一定の頻度で仮想人間の骨格ノードにインポートし、（２．２．１）における順運動学と組み合わせて求めて仮想人間の動作マッピングを実現できる。
ステップ（２．３．１）では、一般的な骨格点検出アルゴリズムによって実際の人体の関節タグデータを取得し、
ステップ（２．３．２）では、関節マッピングとは、デジタルツインシーンにおける人間骨格モデルとステップ２．３．１で取得された関節点タグとを１対１で対応付け、
ステップ（２．３．３）では、ステップ（２．３．１）で取得された各関節タグはいずれも独立した座標系（ローカル座標系）を有し、動作マッピング中に関節ずれや関節ドリフトの問題が発生することを回避するために、ステップ（２．３．２）で関節タグのローカル座標系を同一座標系（グローバル座標系）に変換する必要があり、
ローカル座標系からグローバル座標系への変換は同次変換行列の乗算によって実現でき、
【数16】
【数17】
【数18】
ステップ（２．３．４）では、ステップ（２．３．１）で取得された関節点データをバイトストリームの形式でクライアント（デジタルツインプラットフォーム）に送信して処理を行い、人間三次元モデルにインポートしてキーフレームの人体姿勢の再現を実現し、
バイトストリームとは、バイトごとにデータを処理する形式であり、キーフレームとは、ステップ（２．３．１）における骨格検出アルゴリズムで実際の人間の関節点データを取得する現在フレームであり、
ステップ（２．３．５）では、人間の骨格関節点間は内的相関性を有し、各関節の平行移動及び回転を直接決定すると不自然な動作が生じやすいため、隣接する２つのキーフレームの骨格姿勢データを入力とし、ステップ（２．２．２）における逆運動学を使用して中間プロセスがより詳細化された各関節点データを求め、
ステップ（２．３．６）では、ステップ（２．３．５）で求められた詳細化された関節点データを一定の頻度で仮想人間の骨格ノードにインポートし、（２．２．１）における順運動学と組み合わせて求めて仮想人間の動作マッピングを実現できる。
【0014】
前記ステップ（３．２）では、ＶＧＧ１９は１９個の隠れ層を含む畳み込みニューラルネットワークであり、１９個の隠れ層は１６個の畳み込み層及び３個の完全接続層を含み、現在、画像認識分野に広く使用されており、
前記ステップ（３．３）では、骨格抽出ネットワークは２つのブランチを持つ多段階畳み込みニューラルネットワークに属し、
一方のブランチは２Ｄ信頼度マップＣｏｎｆｉｄｅｎｃｅ ｍａｐｓ（Ｓ）を予測することに用いられ、他方のブランチはパートアフィニティフィールドＰａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ（Ｌ）を予測することに用いられ、
Ｓ＝（Ｓ１，Ｓ２，…，Ｓｊ）であり、ｊは検出対象となる関節の数を表し、
Ｌ＝（Ｌ１，Ｌ２，…，Ｌｃ）であり、ｃは検出対象となる肢体（関節ペア）の数を表し、
前記ステップ（３．３）の過程は、
第１段階の入力はステップ（３．２）で取得された特徴マップＦであり、出力結果は２Ｄ信頼度マップ及びパートアフィニティフィールドの２つのブランチであるステップ（３．３．１）と、
第２段階（ｋ≧２）から、ネットワークの入力はＦ、Ｓｋ－１、及びＬｋ－１の３つの部分を含み、２つのブランチの異なる段階での入出力関係は
であり、ここで、ｋは現在段階数を表し、
はｋ段階における２Ｄ信頼度マップ（Ｓｋ）と特徴マップＦ、ｋ－１段階における２Ｄ信頼度マップ（Ｓｋ－１）及びパートアフィニティフィールド間のネットワーク関係を表し、
はｋ段階におけるパートアフィニティフィールドと特徴マップＦ、ｋ－１段階における２Ｄ信頼度マップ及びパートアフィニティフィールド間のネットワーク関係を表すステップ（３．３．２）と、
訓練時、各段階の２つのブランチはいずれも対応するＬｏｓｓを生成し、勾配消失の問題を回避することに用いられ、勾配消失とは、ニューラルネットワークの層数が増加すると、入力層に近いほど、層間の重みを効果的に補正できず（導関数は０になる傾向がある）、その結果、ニューラルネットワークの効果が悪く、
Ｌｏｓｓは損失関数を表し、ネットワークが収束できることを確保する最も重要な要素であり、各段階における２つのブランチの損失は、
であり、ここで、Ｊは合計関節点数を表し、Ｃは合計肢体数を表し、
はｋ段階における２Ｄ信頼度マップブランチの損失関数を表し、
はｋ段階におけるパートアフィニティフィールドブランチの損失関数を表し、ａは画素点位置を表し、Ｗは二値化行列を表し、
はｋ段階におけるｊ関節点の２Ｄ信頼度マップのタグ画素点を表し、
はｋ段階におけるｊ関節点の２Ｄ信頼度マップの実際の画素点を表し、
はｋ段階におけるｃ肢体のパートアフィニティフィールドのタグ画素点を表し、
はｋ段階におけるｃ肢体のパートアフィニティフィールドの実際の画素点を表し、
はＬ２ノルム（２つ又は複数の点間のユークリッド距離）を表し、
マークされていない人間の関節点はＷ（ａ）＝０であり、マークされた人間の関節点及び非関節点はＷ（ａ）＝１であり、従って、マークされていない人間の関節点はモデルの学習プロセスに影響することがなく、畳み込みニューラルネットワークアーキテクチャの最適化目的関数は、
であり、ここで、ｆは最適化目的関数であり、Ｋは合計段階数であるステップ（３．３．３）と、
と
を計算するステップ（３．３．４）とであり、
ステップ（３．３．４）の過程は、
ｎ人目のｊ番目の関節のｈｅａｔｍａｐは
であり、ここで、ｅｘｐは自然定数ｅを表し、
はｎ人目のｊ番目の関節の位置座標を表し、
は標準偏差であるステップ（３．３．４．１）と、
現在骨格に対応する肢体の接続方向のｖｅｃｔｏｒｍａｐは
であり、ここで、
と
はｎ人目の関節点１と関節点２の位置座標を表し、
はｎ人目のｃ肢体を表し、
はｎ人目の関節点１から関節点２まで構成される肢体の長さを表し、
ｎ人目のｃ肢体のアフィニティフィールドは、
であり、ここで、
はｃ肢体が有する画素点の合計数であるステップ（３．３．４．２）とである。
前記ステップ（３．３）では、骨格抽出ネットワークは２つのブランチを持つ多段階畳み込みニューラルネットワークに属し、
一方のブランチは２Ｄ信頼度マップＣｏｎｆｉｄｅｎｃｅ ｍａｐｓ（Ｓ）を予測することに用いられ、他方のブランチはパートアフィニティフィールドＰａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ（Ｌ）を予測することに用いられ、
Ｓ＝（Ｓ１，Ｓ２，…，Ｓｊ）であり、ｊは検出対象となる関節の数を表し、
Ｌ＝（Ｌ１，Ｌ２，…，Ｌｃ）であり、ｃは検出対象となる肢体（関節ペア）の数を表し、
前記ステップ（３．３）の過程は、
第１段階の入力はステップ（３．２）で取得された特徴マップＦであり、出力結果は２Ｄ信頼度マップ及びパートアフィニティフィールドの２つのブランチであるステップ（３．３．１）と、
第２段階（ｋ≧２）から、ネットワークの入力はＦ、Ｓｋ－１、及びＬｋ－１の３つの部分を含み、２つのブランチの異なる段階での入出力関係は
【数19】
【数20】
【数21】
訓練時、各段階の２つのブランチはいずれも対応するＬｏｓｓを生成し、勾配消失の問題を回避することに用いられ、勾配消失とは、ニューラルネットワークの層数が増加すると、入力層に近いほど、層間の重みを効果的に補正できず（導関数は０になる傾向がある）、その結果、ニューラルネットワークの効果が悪く、
Ｌｏｓｓは損失関数を表し、ネットワークが収束できることを確保する最も重要な要素であり、各段階における２つのブランチの損失は、
【数22】
【数23】
【数24】
【数25】
【数26】
【数27】
【数28】
【数29】
マークされていない人間の関節点はＷ（ａ）＝０であり、マークされた人間の関節点及び非関節点はＷ（ａ）＝１であり、従って、マークされていない人間の関節点はモデルの学習プロセスに影響することがなく、畳み込みニューラルネットワークアーキテクチャの最適化目的関数は、
【数30】
【数31】
【数32】
ステップ（３．３．４）の過程は、
ｎ人目のｊ番目の関節のｈｅａｔｍａｐは
【数33】
【数34】
【数35】
【数36】
現在骨格に対応する肢体の接続方向のｖｅｃｔｏｒｍａｐは
【数37】
【数38】
【数39】
【数40】
【数41】
【数42】
ｎ人目のｃ肢体のアフィニティフィールドは、
【数43】
【数44】
【0015】
前記ステップ（４．２）の過程は、リアリティでバーチャルを制御するステップ（４．２．１）と、バーチャルでリアリティをシミュレーションするステップ（４．２．２）とであり、
ステップ（４．２．１）では、この方法は全体的にはステップ（２．３）のバーチャルリアリティマッピングプロセスと一致し、依然として実際の人間の骨格データを使用して仮想人間モデルを駆動する必要があるが、実際の人間がエレベーターシーンに入る必要がなく、仮想人間をツインシーンに配置し、任意の安全空間で動作シミュレーションを行うだけで実現できる。
ステップ（４．２．１）では、この方法は全体的にはステップ（２．３）のバーチャルリアリティマッピングプロセスと一致し、依然として実際の人間の骨格データを使用して仮想人間モデルを駆動する必要があるが、実際の人間がエレベーターシーンに入る必要がなく、仮想人間をツインシーンに配置し、任意の安全空間で動作シミュレーションを行うだけで実現できる。
【0016】
ステップ（４．２．２）では、この方法は実際の人間の骨格データを取得する必要がなく、ツインシーンにおいて仮想人間の骨格モデルを直接操作し、運動学で求めるだけで対応する行動動作を得ることができ、
バーチャルでリアリティをシミュレーションするプロセスは、本発明では、骨格リターゲティングのステップ（４．２．２．１）と、詳細化された関節点データを求めるステップ（４．２．２．２）と、動作データ生成のステップ（４．２．２．３）と、状態統合のステップ（４．２．２．４）と、イベントトリガーのステップ（４．２．２．５）と、データ拡張のステップ（４．２．２．６）とにより実現され、
ステップ（４．２．２．１）では、ツインシーンにおいて異なる仮想人間を構築して同じ行動動作を実行する時間を省くために、ツインシーンにインポートされた仮想人間に対して骨格リターゲティングを行う必要があり、骨格リターゲティングとは、異なる骨格構造の仮想人間をペアにし、同一組の動作データが異なる骨格を駆動できることを実現し、
ステップ（４．２．２．２）では、仮想人間の骨格ノードを操作し、連続キーフレーム時刻における所望の姿勢を作成し、隣接する２つのキーフレームの姿勢データをステップ（２．２．２）における逆運動学の入力とし、中間プロセスが詳細化された各関節点データを求め、
ステップ（４．２．２．３）では、ステップ（４．２．２．２）で求められた詳細化された関節点データをステップ（２．２．１）における順運動学の入力とし、対応する動作データを生成し、
ステップ（４．２．２．４）では、同一の仮想人間に複数の状態イベントを追加し、各状態イベントには対応する動作データをバインディングし、
ステップ（４．２．２．５）では、エレベーター乗りかごツインシーンにおいて仮想人間を配置し、ステップ（４．２．２．４）における各種のイベントにトリガー条件を追加し、
ステップ（４．２．２．６）では、対応するトリガー条件を実行し、シーンにおける人間のロール、乗りかごの背景及び照明強度を設定し、マルチシーン、マルチロールの行動データ拡張を実現する。
バーチャルでリアリティをシミュレーションするプロセスは、本発明では、骨格リターゲティングのステップ（４．２．２．１）と、詳細化された関節点データを求めるステップ（４．２．２．２）と、動作データ生成のステップ（４．２．２．３）と、状態統合のステップ（４．２．２．４）と、イベントトリガーのステップ（４．２．２．５）と、データ拡張のステップ（４．２．２．６）とにより実現され、
ステップ（４．２．２．１）では、ツインシーンにおいて異なる仮想人間を構築して同じ行動動作を実行する時間を省くために、ツインシーンにインポートされた仮想人間に対して骨格リターゲティングを行う必要があり、骨格リターゲティングとは、異なる骨格構造の仮想人間をペアにし、同一組の動作データが異なる骨格を駆動できることを実現し、
ステップ（４．２．２．２）では、仮想人間の骨格ノードを操作し、連続キーフレーム時刻における所望の姿勢を作成し、隣接する２つのキーフレームの姿勢データをステップ（２．２．２）における逆運動学の入力とし、中間プロセスが詳細化された各関節点データを求め、
ステップ（４．２．２．３）では、ステップ（４．２．２．２）で求められた詳細化された関節点データをステップ（２．２．１）における順運動学の入力とし、対応する動作データを生成し、
ステップ（４．２．２．４）では、同一の仮想人間に複数の状態イベントを追加し、各状態イベントには対応する動作データをバインディングし、
ステップ（４．２．２．５）では、エレベーター乗りかごツインシーンにおいて仮想人間を配置し、ステップ（４．２．２．４）における各種のイベントにトリガー条件を追加し、
ステップ（４．２．２．６）では、対応するトリガー条件を実行し、シーンにおける人間のロール、乗りかごの背景及び照明強度を設定し、マルチシーン、マルチロールの行動データ拡張を実現する。
【0017】
前記ステップ（４．３）の過程は、仮想カメラ設定のステップ（４．３．１）と、乗客行動動作捕捉のステップ（４．３．２）と、データ前処理ステップ（４．３．３）とであり、
ステップ（４．３．１）では、実際のエレベーター乗りかごにおける撮影シーンをシミュレーションするために、エレベーター乗りかごツインシーンの異なる方位に複数の仮想カメラを追加し、カメラの撮影角度、視野角、フレームレート及び出力形式を設定し、
ステップ（４．３．２）では、行動イベントをトリガーし、仮想カメラを制御してツインシーンにおける乗客動作を同時に撮影し、
ステップ（４．３．３）では、ステップ（４．３．２）で収集された動作ビデオを固定フレームで抽出し、異なる行動動作のビデオ画像データセットを得る。
ステップ（４．３．１）では、実際のエレベーター乗りかごにおける撮影シーンをシミュレーションするために、エレベーター乗りかごツインシーンの異なる方位に複数の仮想カメラを追加し、カメラの撮影角度、視野角、フレームレート及び出力形式を設定し、
ステップ（４．３．２）では、行動イベントをトリガーし、仮想カメラを制御してツインシーンにおける乗客動作を同時に撮影し、
ステップ（４．３．３）では、ステップ（４．３．２）で収集された動作ビデオを固定フレームで抽出し、異なる行動動作のビデオ画像データセットを得る。
【0018】
本発明の技術構想は、以下のとおりである。まず、トラクション式エレベーターシステムのデジタルツインモデルを構築し、そして、デジタルツイン技術と運動学原理に基づいて、人体行動モデルを構築し且つ動作のバーチャルリアリティマッピングを実現し、そして、ツインシーンにおける仮想人間ビデオを収集し、且つ骨格点検出アルゴリズムで認識検証を行い、最後に、トラクション式エレベーターツインシステムにおいて乗客行動データ強化を実現する。
【発明の効果】
【0019】
本発明の有益な効果は、主に以下のとおりである。（１）デジタルツイン技術と運動学原理により乗客行動ツインモデルを構築し、実際の人間と仮想人間との間の行動動作の正確なマッピングを実現する。（２）トラクション式エレベーターデジタルツインシステムにおいて乗客行動データを構築し、実際にエレベータービデオを取得しにくく、乗客異常行動データが希少であるなど問題を解決し、画像認識分野に新しいデータ強化方法を提供する。（３）デジタルツイン技術を利用して異常行動データを構築し、時間と装置コストを減少させるとともに、試験者の安全も確保する。
【図面の簡単な説明】
【0020】
【図1】人体骨格モデル及び骨格関節ツリーの概略図を示す。
【図2】乗客行動データ強化のフローチャートを示す。
【図3】乗客行動データ強化の結果の概略図を示し、（ａ）は、リアリティでバーチャルを制御する人体行動データ強化の結果であり、（ｂ）は、バーチャルでリアリティをシミュレーションする人体行動データ強化の結果であり、（ｃ）は、ＵＥ４骨格ツリーである。
【図4】エレベーター乗客行動データを収集する概略図を示す。
【発明を実施するための形態】
【0021】
以下、図面を結び付けながら本発明をさらに記述する。
【0022】
【0023】
ステップ１では、トラクション式エレベーターシステムのツインシーンを構築し、
トラクション式エレベーターシステムの幾何学的モデル描画のステップ（１．１）では、Ｒｅｖｉｔ、ＳｏｌｉｄＷｏｒｋｓ、Ｍａｙａなどの三次元モデリングソフトウェアによってトラクション式エレベーターシステムの幾何学的モデルを描画し、幾何学的モデルは物理エンティティに基づいて、デジタルツイン技術を使用して１：１で実物を再現した３Ｄ可視化モデルを構築し、ツインモデルと物理エンティティが幾何学的サイズ、材質属性、色、及び形状の点で高度に一致することを確保するとともに、物理エンティティの組立関係及び従属関係を真に反映し、構造的な「ツイン」を具備し、
トラクション式エレベーターシステムの幾何学的モデルは、昇降路建物モデル、エレベーター機械モデル及び人体三次元モデルを含み、
昇降路建物モデルのステップ（１．１．１）では、昇降路建物モデルは機械室、昇降路の壁面及びピットの３つの部分を含み、
エレベーター機械モデルのステップ（１．１．２）では、トラクション式エレベーターは、主に、トラクションシステム、ガイドシステム、乗りかご、ドアシステム、重量バランスシステム、電力ドラッグシステム、電気制御システム及び安全保護システムの８つのシステムからなり、
人体三次元モデル描画のステップ（１．１．３）では、人体三次元モデルは骨格モデルと人間モデルとからなり、骨格とモデルが互いに独立するため、スキン技術を使用して骨格駆動モデルの合理的な運動を発生させ、
スキンは、三次元アニメーションの作成では、モデルを骨格にバインディングする技術であり、
デジタルツインシーン構築のステップ（１．２）では、ステップ（１．１）で描画された幾何学的モデルを全てＦＢＸファイルフォーマットで出力し、且つＵｎｒｅａｌ Ｅｎｇｉｎｅ４（ＵＥ４）アンリアルエンジンにインポートして全体的な組立、階層関係及び運動制約条件の定義を行う。
トラクション式エレベーターシステムの幾何学的モデル描画のステップ（１．１）では、Ｒｅｖｉｔ、ＳｏｌｉｄＷｏｒｋｓ、Ｍａｙａなどの三次元モデリングソフトウェアによってトラクション式エレベーターシステムの幾何学的モデルを描画し、幾何学的モデルは物理エンティティに基づいて、デジタルツイン技術を使用して１：１で実物を再現した３Ｄ可視化モデルを構築し、ツインモデルと物理エンティティが幾何学的サイズ、材質属性、色、及び形状の点で高度に一致することを確保するとともに、物理エンティティの組立関係及び従属関係を真に反映し、構造的な「ツイン」を具備し、
トラクション式エレベーターシステムの幾何学的モデルは、昇降路建物モデル、エレベーター機械モデル及び人体三次元モデルを含み、
昇降路建物モデルのステップ（１．１．１）では、昇降路建物モデルは機械室、昇降路の壁面及びピットの３つの部分を含み、
エレベーター機械モデルのステップ（１．１．２）では、トラクション式エレベーターは、主に、トラクションシステム、ガイドシステム、乗りかご、ドアシステム、重量バランスシステム、電力ドラッグシステム、電気制御システム及び安全保護システムの８つのシステムからなり、
人体三次元モデル描画のステップ（１．１．３）では、人体三次元モデルは骨格モデルと人間モデルとからなり、骨格とモデルが互いに独立するため、スキン技術を使用して骨格駆動モデルの合理的な運動を発生させ、
スキンは、三次元アニメーションの作成では、モデルを骨格にバインディングする技術であり、
デジタルツインシーン構築のステップ（１．２）では、ステップ（１．１）で描画された幾何学的モデルを全てＦＢＸファイルフォーマットで出力し、且つＵｎｒｅａｌ Ｅｎｇｉｎｅ４（ＵＥ４）アンリアルエンジンにインポートして全体的な組立、階層関係及び運動制約条件の定義を行う。
【0024】
ＵＥ４は、ＥＰＩＣ社が開発したビデオエンジンであり、あらかじめ作成されたコアコードからなる統合ツールであり、現在、デジタルツインプラットフォームの構築に広く使われている。
【0025】
組立プロセスは、現実世界における昇降路建物モデル、エレベーター機械モデル及び人体三次元モデル間の階層関係を考慮する必要があり、
昇降路建物モデル、エレベーター機械モデル及び人体三次元モデルは第１階層であり、各モデルの下でのサブモデルは対応して第２階層であり、このように類推し、
エレベーター運転中の運動ユニットは、主に、巻上機、ワイヤーロープ、乗りかご、乗りかごドア、階ドア及びカウンターウェイト装置を含む。従って、巻上機とワイヤーロープや、乗りかごとカウンターウェイトなどの関連ユニット間の運動制約条件を設定することによって、仮想モデルのツインシーンでの運動を現実世界と同じ効果に維持することができ、
ツインシーンデータ駆動のステップ（１．３）では、ツインシーンの幾何学的モデルをトラクション式エレベーターシステムの運転データ及びビデオデータで駆動し、
エレベーター運転データとビデオデータはマルチソース異種データに属し、マルチソースは主にデータソースの多様化を指し、異種は主にデータ構造の差異性を指す。エレベーター運転データは、主に、ツインシーンにおける運動ユニットを駆動することに用いられ、ビデオデータは、主に、ツインシーンにおける人間の動作を駆動することに用いられ、
ＲＳ４８５、ＲＳ２３２などの通信バスによって様々なセンサをエッジ制御プラットフォーム（Ｒａｓｐｂｅｒｒｙ Ｐｉ）に接続してデータ伝送及び記憶を行う。エッジ制御プラットフォームはバーチャルリアリティインタラクション中間プラットフォームであり、一方では、実際のデータをクライアント（ＵＥ４）に送信してデータ処理を行うことができ、他方では、クライアントからツインデータを取得して物理エンティティに対して対応する制御を行うことができ、
ステップ２では、人体行動ツインモデルの構築及びバーチャルリアリティマッピングを行い、
人体行動姿勢分解のステップ（２．１）では、
図１は、人体骨格モデル及び骨格関節ツリーの概略図を示し、
人体骨格モデルのステップ（２．１．１）では、人体の三次元運動とは、主に、関節及び四肢の一連の運動であり、従って、人体モデル全体は、図１（ａ）に示す１７個の骨格点からなるヒンジ構造に簡素化でき、
１７個の骨格点はそれぞれ、頭部、首部、胸部、骨盤、臀部（ルート部）、右肩、右肘、右手首、左肩、左肘、左手首、右腰、右膝、右足首、左腰、左膝、及び左足首であり、
人体骨格関節ツリーのステップ（２．１．２）では、従来の三次元座標記述方法によれば運動中の各骨格点の位置パラメータは互いに独立し、いずれの骨格点の位置変化もほかの骨格点に影響せず、従って、階層的方法を使用して人体骨格モデルを図１（ｂ）に示す骨格関節ツリーに等価することはこの欠陥を克服することができ、
ツリーのルートノードは人体骨格モデルの幾何学的中心（臀部）であり、人間モデルの全体的な変位及び方向を制御でき、残りの子ノードはルートノードとの直接及び間接的連結によって、共同で人体モデルの姿勢決定及び運動過程の提示を支援し、
運動学原理に基づく人体行動モデリングのステップ（２．２）では、人体関節全体の運動を順運動学及び逆運動学の方法で制御でき、
順運動学は人間を制御して対応する動作を実行することに用いられ、逆運動学は姿勢変換中に詳細化された関節点データを求めることに用いられ、
順運動学のステップ（２．２．１）では、人体姿勢の順運動学とは、各関節の相対変位
及び相対回転
が既知であり、運動後の人体姿勢全体の
を求めるプロセスは、
Ｑ＝Ｈ（Ｒ，Ｔ）
であり、ここで、Ｎは人体関節の数を表し、
はｉ番目の関節の運動後の三次元姿勢行列を表し、
は相対変位行列のうちｉ番目の関節の三次元位置行列を表し、ｐａ（ｉ）はｉ番目の関節の親関節インデックスを表し、Ｒｐａ（ｉ），ｉは親関節に対するｉ番目の関節の回転を表し、Ｈ（Ｒ，Ｔ）は変位行列と回転行列をルートノードからすべての子ノードに再帰するプロセスを表し、
ただし、ｔｐａ（ｉ）はｉ番目の関節の親関節変位情報を表し、Ｒｉは正規静止姿勢空間に対するｉ番目の関節のグローバル回転を表し、親ノードのないルートノードの場合、
であり、
逆運動学のステップ（２．２．２）では、逆運動学は順運動学の逆のプロセスであり、所望の人体姿勢
と相対変位Ｔを入力することによって、関節の相対回転Ｒを求め、
Ｒ＝Ｇ（Ｐ，Ｔ）であり、
ここで、
は入力されたｉ番目の関節の所望の姿勢を表し、Ｇ（Ｐ，Ｔ）は、
を満たす必要があり、
はｉ番目の関節の親関節姿勢を表し、親ノードのないルートノードの場合、
であり、
人体行動モデルのバーチャルリアリティマッピングのステップ（２．３）では、ステップ（１．２）における人間三次元モデルを使用し、実際の人体の骨格関節点データを入力とし、デジタルツイン技術及び運動学原理と組み合わせて、現実世界の人間の動作をツインシーンの人間三次元モデルにリアルタイムにマッピングし、
骨格点抽出のステップ（２．３．１）では、ＯｐｅｎＰｏｓｅ又はスマートセンシングなどの骨格点検出アルゴリズムによって実際の人体の関節タグデータを取得し、
関節マッピングのステップ（２．３．２）では、関節マッピングとは、ＵＥ４における人間骨格関節ツリーとステップ２．３．１で取得された関節点タグとを１対１で対応付け、
座標変換のステップ（２．３．３）では、ステップ（２．３．１）で取得された各関節タグはいずれも独立した座標系（ローカル座標系）を有し、動作マッピング中に関節ずれや関節ドリフトの問題が発生することを回避するために、ステップ（２．３．２）で関節タグのローカル座標系を同一座標系（グローバル座標系）に変換する必要があり、
ＵＥ４により提供されるＩｎｖｅｒｓｅ Ｔｒａｎｓｆｏｒｍ関数を利用してローカル座標系をグローバル座標系に自動的に変換することができ、
データインポートのステップ（２．３．４）では、ステップ（２．３．１）で取得された関節点データをバイトストリームの形式でＵＥ４キャラクタブループリントに送信して処理を行い、人間骨格モデルにインポートしてキーフレームの人体姿勢の再現を実現し、
ブループリントは、ＵＥ４により提供される可視化スクリプト言語であり、キャラクタブループリントは、関連する機能を実行するように人間キャラクタを制御することに用いられ、
バイトストリームとは、バイトごとにデータを処理する形式であり、キーフレームとは、ステップ（２．３．１）における骨格検出アルゴリズムで実際の人間の関節点データを取得する現在フレームであり、
逆運動学で詳細化された関節点データを求めるステップ（２．３．５）では、人間の骨格関節点間は内的相関性を有し、各関節の平行移動及び回転を直接決定すると不自然な動作が生じやすいため、隣接する２つのキーフレームの骨格姿勢データをＵＥ４アニメーションブループリントの入力とし、ステップ（２．２．２）における逆運動学を使用して中間プロセスがより詳細化された各関節点データを求め、
アニメーションブループリントは、ＵＥ４において複雑なアニメーション行動を行うように、人の骨格メッシュを制御する可視化スクリプトであり、
順運動学で動作データを求めて生成するステップ（２．３．６）では、ステップ（２．３．５）で求められた詳細化された関節点データを一定の頻度で仮想人間の骨格ノードにインポートし、（２．２．１）における順運動学と組み合わせて求めて仮想人間の動作マッピングを実現でき、
ツインシーンでの人体骨格点検出のステップ３では、骨格点検出アルゴリズムに基づいてツインシーンにおける仮想人間に対して骨格認識を行い、
ステップ（３．１）では、ステップ（２．３）を実行すると同時に、ＵＥ４自体のカメラユニット（ＣａｍｅｒａＡｃｔｏｒ）を利用して仮想人間の動作を録画し、
ステップ（３．２）では、ステップ（３．１）で取得されたビデオ画像データをＶＧＧ１９の前１０層の入力として、対応する特徴マップＦを得、
ＶＧＧ１９は、１９個の隠れ層（１６個の畳み込み層及び３個の全接続層）を含む畳み込みニューラルネットワークであり、現在、画像認識分野に広く使用されており、
ステップ（３．３）では、特徴マップＦを骨格抽出ネットワークに入力して人体骨格点抽出を行い、
骨格抽出ネットワークは２つのブランチを持つ多段階畳み込みニューラルネットワークに属し、
一方のブランチは２Ｄ信頼度マップＣｏｎｆｉｄｅｎｃｅ ｍａｐｓ（Ｓ）を予測することに用いられ、他方のブランチはパートアフィニティフィールドＰａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ（Ｌ）を予測することに用いられ、
Ｓ＝（Ｓ１，Ｓ２，…，Ｓｊ）であり、ｊは検出対象となる関節の数を表し、
Ｌ＝（Ｌ１，Ｌ２，…，Ｌｃ）であり、ｃは検出対象となる肢体（関節ペア）の数を表し、
ステップ（３．３．１）では、第１段階の入力はステップ（３．２）で取得された特徴マップＦであり、出力結果は２Ｄ信頼度マップ及びパートアフィニティフィールドの２つのブランチであり、
ステップ（３．３．２）では、第２段階（ｋ≧２）から、ネットワークの入力はＦ、Ｓｋ－１、及びＬｋ－１の３つの部分を含み、２つのブランチの異なる段階での入出力関係は
であり、ここで、ｋは現在段階数を表し、
はｋ段階における２Ｄ信頼度マップ（Ｓｋ）と特徴マップＦ、ｋ－１段階における２Ｄ信頼度マップ（Ｓｋ－１）及びパートアフィニティフィールド間のネットワーク関係を表し、
はｋ段階におけるパートアフィニティフィールドと特徴マップＦ、ｋ－１段階における２Ｄ信頼度マップ及びパートアフィニティフィールド間のネットワーク関係を表し、
ステップ（３．３．３）では、訓練時、各段階の２つのブランチはいずれも対応するＬｏｓｓを生成し、勾配消失の問題を回避することに用いられ、勾配消失とは、ニューラルネットワークの層数が増加すると、入力層に近いほど、層間の重みを効果的に補正できず（導関数は０になる傾向がある）、その結果、ニューラルネットワークの効果が悪く、
Ｌｏｓｓは損失関数を表し、ネットワークが収束できることを確保する最も重要な要素であり、各段階における２つのブランチの損失は、
であり、ここで、Ｊは合計関節点数を表し、Ｃは合計肢体数を表し、
はｋ段階における２Ｄ信頼度マップブランチの損失関数を表し、
はｋ段階におけるパートアフィニティフィールドブランチの損失関数を表し、ａは画素点位置を表し、Ｗは二値化行列を表し、
はｋ段階におけるｊ関節点の２Ｄ信頼度マップのタグ画素点を表し、
はｋ段階におけるｊ関節点の２Ｄ信頼度マップの実際の画素点を表し、
はｋ段階におけるｃ肢体のパートアフィニティフィールドのタグ画素点を表し、
はｋ段階におけるｃ肢体のパートアフィニティフィールドの実際の画素点を表し、
はＬ２ノルム（２つ又は複数の点間のユークリッド距離）を表し、
マークされていない人間の関節点はＷ（ａ）＝０であり、マークされた人間の関節点及び非関節点はＷ（ａ）＝１であり、従って、マークされていない人間の関節点はモデルの学習プロセスに影響することがなく、畳み込みニューラルネットワークアーキテクチャの最適化目的関数は、
であり、ここで、ｆは最適化目的関数であり、Ｋは合計段階数であり、
ステップ（３．３．４）では、
と
を計算し、
ステップ（３．３．４．１）では、ｎ人目のｊ番目の関節のｈｅａｔｍａｐは
であり、ここで、ｅｘｐは自然定数ｅを表し、
はｎ人目のｊ番目の関節の位置座標を表し、
は標準偏差であり、
ステップ（３．３．４．２）では、現在骨格に対応する肢体の接続方向のｖｅｃｔｏｒｍａｐは
であり、ここで、
と
はｎ人目の関節点１と関節点２の位置座標を表し、
はｎ人目のｃ肢体を表し、
はｎ人目の関節点１から関節点２まで構成される肢体の長さを表し、
ｎ人目のｃ肢体のアフィニティフィールドは、
であり、ここで、
はｃ肢体が有する画素点の合計数であり、
ステップ（３．４）では、任意の２つの関節点に対して、ＰＡＦｓの線形積分を計算することによって関節点ペアの相関性を特徴付け、
ただし、Ｅは２つの関節点を結んで肢体を形成する信頼度を表し、ｄｊ１とｄｊ２は関節点１と関節点２の座標位置を表し、
は、関節点１と関節点２からなる肢体の長さを表す。迅速に積分するために、通常均一サンプリングによってこれら２つの関節点間の類似度を近似し、
ステップ（３．５）では、すべての信頼度が最も高い関節点を選択して結んで人体全体の骨格姿勢を形成し、
ステップ（３．６）では、ステップ（３．５）で取得された仮想人体骨格姿勢に応じて、仮想人間と実際の人間との骨格検出精度の違いを判断し、
仮想人間の骨格検出精度と実際の人間の骨格検出精度の誤差が＋５％～－５％の範囲内に維持される場合、ステップ４の乗客行動データ強化を実行し、逆には、仮想人間モデルを変更し、ステップ２とステップ３を繰り返して実行し、
エレベーター乗客行動データ強化のステップ４の過程は、以下のとおりであり、
乗客行動定義及び分類のステップ（４．１）では、エレベーター乗客ビデオは、秘密ファイルに属するため、非関係者は、その運転ビデオを取得することができない。それとともに、エレベーター内の乗客異常行動データの希少性も人員の安全管理を制約する重要な要素である。以上の問題を解決するために、本発明は、ステップ２で構築された人体行動ツインモデルに基づいて、エレベーター乗客の行動に対してデータ強化を行う。乗客行動のデータ強化を行う前、エレベーター内の乗客行動を定義及び分類する必要があり、
正常行動とは、エレベーター内での乗客の正確な乗降動作（例えば、立つ、腰をかがめるなど）であり、
異常行動とは、エレベーター内で機器の安全な運転や人々の生命の安全を脅かす乗客の危険な動作であり、
異常行動は危険程度に応じて軽度危険行動（例えば、ジャンプする）及び重度危険行動（例えば、ドアを掻く、倒れるなど）に分類されてもよく、乗客数に応じてシングル異常行動（例えば、ジャンプする、ドアを掻く、倒れるなど）及びマルチ異常行動（例えば、格闘する、強盗するなど）に分類されてもよく、
乗客行動データ強化のステップ（４．２）では、乗客行動データ強化は、リアリティでバーチャルを制御する方法とバーチャルでリアリティをシミュレーションする方法の２種類に分けられ、
図２には、乗客行動データ強化のフローチャートを示し、
リアリティでバーチャルを制御するステップ（４．２．１）では、この方法は全体的にはステップ（２．３）のバーチャルリアリティマッピングプロセスと一致し、依然として実際の人間の骨格データを使用して仮想人間モデルを駆動する必要があるが、実際の人間がエレベーターシーンに入る必要がなく、仮想人間をエレベーターツインシーンに配置し、任意の安全空間で動作シミュレーションを行うだけで実現できる。
昇降路建物モデル、エレベーター機械モデル及び人体三次元モデルは第１階層であり、各モデルの下でのサブモデルは対応して第２階層であり、このように類推し、
エレベーター運転中の運動ユニットは、主に、巻上機、ワイヤーロープ、乗りかご、乗りかごドア、階ドア及びカウンターウェイト装置を含む。従って、巻上機とワイヤーロープや、乗りかごとカウンターウェイトなどの関連ユニット間の運動制約条件を設定することによって、仮想モデルのツインシーンでの運動を現実世界と同じ効果に維持することができ、
ツインシーンデータ駆動のステップ（１．３）では、ツインシーンの幾何学的モデルをトラクション式エレベーターシステムの運転データ及びビデオデータで駆動し、
エレベーター運転データとビデオデータはマルチソース異種データに属し、マルチソースは主にデータソースの多様化を指し、異種は主にデータ構造の差異性を指す。エレベーター運転データは、主に、ツインシーンにおける運動ユニットを駆動することに用いられ、ビデオデータは、主に、ツインシーンにおける人間の動作を駆動することに用いられ、
ＲＳ４８５、ＲＳ２３２などの通信バスによって様々なセンサをエッジ制御プラットフォーム（Ｒａｓｐｂｅｒｒｙ Ｐｉ）に接続してデータ伝送及び記憶を行う。エッジ制御プラットフォームはバーチャルリアリティインタラクション中間プラットフォームであり、一方では、実際のデータをクライアント（ＵＥ４）に送信してデータ処理を行うことができ、他方では、クライアントからツインデータを取得して物理エンティティに対して対応する制御を行うことができ、
ステップ２では、人体行動ツインモデルの構築及びバーチャルリアリティマッピングを行い、
人体行動姿勢分解のステップ（２．１）では、
図１は、人体骨格モデル及び骨格関節ツリーの概略図を示し、
人体骨格モデルのステップ（２．１．１）では、人体の三次元運動とは、主に、関節及び四肢の一連の運動であり、従って、人体モデル全体は、図１（ａ）に示す１７個の骨格点からなるヒンジ構造に簡素化でき、
１７個の骨格点はそれぞれ、頭部、首部、胸部、骨盤、臀部（ルート部）、右肩、右肘、右手首、左肩、左肘、左手首、右腰、右膝、右足首、左腰、左膝、及び左足首であり、
人体骨格関節ツリーのステップ（２．１．２）では、従来の三次元座標記述方法によれば運動中の各骨格点の位置パラメータは互いに独立し、いずれの骨格点の位置変化もほかの骨格点に影響せず、従って、階層的方法を使用して人体骨格モデルを図１（ｂ）に示す骨格関節ツリーに等価することはこの欠陥を克服することができ、
ツリーのルートノードは人体骨格モデルの幾何学的中心（臀部）であり、人間モデルの全体的な変位及び方向を制御でき、残りの子ノードはルートノードとの直接及び間接的連結によって、共同で人体モデルの姿勢決定及び運動過程の提示を支援し、
運動学原理に基づく人体行動モデリングのステップ（２．２）では、人体関節全体の運動を順運動学及び逆運動学の方法で制御でき、
順運動学は人間を制御して対応する動作を実行することに用いられ、逆運動学は姿勢変換中に詳細化された関節点データを求めることに用いられ、
順運動学のステップ（２．２．１）では、人体姿勢の順運動学とは、各関節の相対変位
【数45】
【数46】
【数47】
Ｑ＝Ｈ（Ｒ，Ｔ）
であり、ここで、Ｎは人体関節の数を表し、
【数48】
【数49】
【数50】
【数51】
逆運動学のステップ（２．２．２）では、逆運動学は順運動学の逆のプロセスであり、所望の人体姿勢
【数52】
Ｒ＝Ｇ（Ｐ，Ｔ）であり、
ここで、
【数53】
【数54】
【数55】
【数56】
人体行動モデルのバーチャルリアリティマッピングのステップ（２．３）では、ステップ（１．２）における人間三次元モデルを使用し、実際の人体の骨格関節点データを入力とし、デジタルツイン技術及び運動学原理と組み合わせて、現実世界の人間の動作をツインシーンの人間三次元モデルにリアルタイムにマッピングし、
骨格点抽出のステップ（２．３．１）では、ＯｐｅｎＰｏｓｅ又はスマートセンシングなどの骨格点検出アルゴリズムによって実際の人体の関節タグデータを取得し、
関節マッピングのステップ（２．３．２）では、関節マッピングとは、ＵＥ４における人間骨格関節ツリーとステップ２．３．１で取得された関節点タグとを１対１で対応付け、
座標変換のステップ（２．３．３）では、ステップ（２．３．１）で取得された各関節タグはいずれも独立した座標系（ローカル座標系）を有し、動作マッピング中に関節ずれや関節ドリフトの問題が発生することを回避するために、ステップ（２．３．２）で関節タグのローカル座標系を同一座標系（グローバル座標系）に変換する必要があり、
ＵＥ４により提供されるＩｎｖｅｒｓｅ Ｔｒａｎｓｆｏｒｍ関数を利用してローカル座標系をグローバル座標系に自動的に変換することができ、
データインポートのステップ（２．３．４）では、ステップ（２．３．１）で取得された関節点データをバイトストリームの形式でＵＥ４キャラクタブループリントに送信して処理を行い、人間骨格モデルにインポートしてキーフレームの人体姿勢の再現を実現し、
ブループリントは、ＵＥ４により提供される可視化スクリプト言語であり、キャラクタブループリントは、関連する機能を実行するように人間キャラクタを制御することに用いられ、
バイトストリームとは、バイトごとにデータを処理する形式であり、キーフレームとは、ステップ（２．３．１）における骨格検出アルゴリズムで実際の人間の関節点データを取得する現在フレームであり、
逆運動学で詳細化された関節点データを求めるステップ（２．３．５）では、人間の骨格関節点間は内的相関性を有し、各関節の平行移動及び回転を直接決定すると不自然な動作が生じやすいため、隣接する２つのキーフレームの骨格姿勢データをＵＥ４アニメーションブループリントの入力とし、ステップ（２．２．２）における逆運動学を使用して中間プロセスがより詳細化された各関節点データを求め、
アニメーションブループリントは、ＵＥ４において複雑なアニメーション行動を行うように、人の骨格メッシュを制御する可視化スクリプトであり、
順運動学で動作データを求めて生成するステップ（２．３．６）では、ステップ（２．３．５）で求められた詳細化された関節点データを一定の頻度で仮想人間の骨格ノードにインポートし、（２．２．１）における順運動学と組み合わせて求めて仮想人間の動作マッピングを実現でき、
ツインシーンでの人体骨格点検出のステップ３では、骨格点検出アルゴリズムに基づいてツインシーンにおける仮想人間に対して骨格認識を行い、
ステップ（３．１）では、ステップ（２．３）を実行すると同時に、ＵＥ４自体のカメラユニット（ＣａｍｅｒａＡｃｔｏｒ）を利用して仮想人間の動作を録画し、
ステップ（３．２）では、ステップ（３．１）で取得されたビデオ画像データをＶＧＧ１９の前１０層の入力として、対応する特徴マップＦを得、
ＶＧＧ１９は、１９個の隠れ層（１６個の畳み込み層及び３個の全接続層）を含む畳み込みニューラルネットワークであり、現在、画像認識分野に広く使用されており、
ステップ（３．３）では、特徴マップＦを骨格抽出ネットワークに入力して人体骨格点抽出を行い、
骨格抽出ネットワークは２つのブランチを持つ多段階畳み込みニューラルネットワークに属し、
一方のブランチは２Ｄ信頼度マップＣｏｎｆｉｄｅｎｃｅ ｍａｐｓ（Ｓ）を予測することに用いられ、他方のブランチはパートアフィニティフィールドＰａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ（Ｌ）を予測することに用いられ、
Ｓ＝（Ｓ１，Ｓ２，…，Ｓｊ）であり、ｊは検出対象となる関節の数を表し、
Ｌ＝（Ｌ１，Ｌ２，…，Ｌｃ）であり、ｃは検出対象となる肢体（関節ペア）の数を表し、
ステップ（３．３．１）では、第１段階の入力はステップ（３．２）で取得された特徴マップＦであり、出力結果は２Ｄ信頼度マップ及びパートアフィニティフィールドの２つのブランチであり、
ステップ（３．３．２）では、第２段階（ｋ≧２）から、ネットワークの入力はＦ、Ｓｋ－１、及びＬｋ－１の３つの部分を含み、２つのブランチの異なる段階での入出力関係は
【数57】
【数58】
【数59】
ステップ（３．３．３）では、訓練時、各段階の２つのブランチはいずれも対応するＬｏｓｓを生成し、勾配消失の問題を回避することに用いられ、勾配消失とは、ニューラルネットワークの層数が増加すると、入力層に近いほど、層間の重みを効果的に補正できず（導関数は０になる傾向がある）、その結果、ニューラルネットワークの効果が悪く、
Ｌｏｓｓは損失関数を表し、ネットワークが収束できることを確保する最も重要な要素であり、各段階における２つのブランチの損失は、
【数60】
【数61】
【数62】
【数63】
【数64】
【数65】
【数66】
【数67】
マークされていない人間の関節点はＷ（ａ）＝０であり、マークされた人間の関節点及び非関節点はＷ（ａ）＝１であり、従って、マークされていない人間の関節点はモデルの学習プロセスに影響することがなく、畳み込みニューラルネットワークアーキテクチャの最適化目的関数は、
【数68】
ステップ（３．３．４）では、
【数69】
【数70】
ステップ（３．３．４．１）では、ｎ人目のｊ番目の関節のｈｅａｔｍａｐは
【数71】
【数72】
【数73】
【数74】
ステップ（３．３．４．２）では、現在骨格に対応する肢体の接続方向のｖｅｃｔｏｒｍａｐは
【数75】
【数76】
【数77】
【数78】
【数79】
【数80】
ｎ人目のｃ肢体のアフィニティフィールドは、
【数81】
【数82】
ステップ（３．４）では、任意の２つの関節点に対して、ＰＡＦｓの線形積分を計算することによって関節点ペアの相関性を特徴付け、
【数83】
【数84】
【数85】
ステップ（３．６）では、ステップ（３．５）で取得された仮想人体骨格姿勢に応じて、仮想人間と実際の人間との骨格検出精度の違いを判断し、
仮想人間の骨格検出精度と実際の人間の骨格検出精度の誤差が＋５％～－５％の範囲内に維持される場合、ステップ４の乗客行動データ強化を実行し、逆には、仮想人間モデルを変更し、ステップ２とステップ３を繰り返して実行し、
エレベーター乗客行動データ強化のステップ４の過程は、以下のとおりであり、
乗客行動定義及び分類のステップ（４．１）では、エレベーター乗客ビデオは、秘密ファイルに属するため、非関係者は、その運転ビデオを取得することができない。それとともに、エレベーター内の乗客異常行動データの希少性も人員の安全管理を制約する重要な要素である。以上の問題を解決するために、本発明は、ステップ２で構築された人体行動ツインモデルに基づいて、エレベーター乗客の行動に対してデータ強化を行う。乗客行動のデータ強化を行う前、エレベーター内の乗客行動を定義及び分類する必要があり、
正常行動とは、エレベーター内での乗客の正確な乗降動作（例えば、立つ、腰をかがめるなど）であり、
異常行動とは、エレベーター内で機器の安全な運転や人々の生命の安全を脅かす乗客の危険な動作であり、
異常行動は危険程度に応じて軽度危険行動（例えば、ジャンプする）及び重度危険行動（例えば、ドアを掻く、倒れるなど）に分類されてもよく、乗客数に応じてシングル異常行動（例えば、ジャンプする、ドアを掻く、倒れるなど）及びマルチ異常行動（例えば、格闘する、強盗するなど）に分類されてもよく、
乗客行動データ強化のステップ（４．２）では、乗客行動データ強化は、リアリティでバーチャルを制御する方法とバーチャルでリアリティをシミュレーションする方法の２種類に分けられ、
図２には、乗客行動データ強化のフローチャートを示し、
リアリティでバーチャルを制御するステップ（４．２．１）では、この方法は全体的にはステップ（２．３）のバーチャルリアリティマッピングプロセスと一致し、依然として実際の人間の骨格データを使用して仮想人間モデルを駆動する必要があるが、実際の人間がエレベーターシーンに入る必要がなく、仮想人間をエレベーターツインシーンに配置し、任意の安全空間で動作シミュレーションを行うだけで実現できる。
【0026】
バーチャルでリアリティをシミュレーションするステップ（４．２．２）では、この方法は実際の人間の骨格データを取得する必要がなく、ツインシーンにおいて仮想人間の骨格モデルを直接操作し、運動学で求めるだけで対応する異常行動動作を得ることができ、
バーチャルでリアリティをシミュレーションするプロセスは、本発明では、ＵＥ４に基づいて、以下のステップにより実現され、
骨格リターゲティングのステップ（４．２．２．１）では、ＵＥ４において異なる仮想人間を構築して同じ行動動作を実行する時間を省くために、ＵＥ４にインポートされた仮想人間に対して骨格リターゲティングを行う必要があり、骨格リターゲティングとは、異なる骨格構造の仮想人間をペアにし、同一組の動作データが異なる骨格を駆動できることを実現し、
詳細化された関節点データを求めるステップ（４．２．２．２）では、アニメーションブループリントにおいて仮想人間の骨格ノードを操作し、連続キーフレーム時刻における所望の姿勢を作成し、隣接する２つのキーフレームの姿勢データをステップ（２．２．２）における逆運動学の入力とし、中間プロセスが詳細化された各関節点データを求め、
動作データ生成のステップ（４．２．２．３）では、ステップ（４．２．２．２）で求められた詳細化された関節点データをステップ（２．２．１）における順運動学の入力とし、対応する動作データ（例えば、ジャンプする、ドアを蹴るなど）を生成し、
状態統合のステップ（４．２．２．４）では、キャラクタブループリントにおいて同一の仮想人間に複数の状態イベント（例えば、正常状態、軽度危険状態、重度危険状態など）を追加し、各状態イベントには対応する動作データをバインディングし、
イベントトリガーのステップ（４．２．２．５）では、エレベーター乗りかごツインシーンにおいて仮想人間を配置し、ステップ（４．２．２．４）における各種のイベントにトリガー条件（例えば、アルファベットを入力する、キーを押すなど）を追加し、
データ拡張のステップ（４．２．２．６）では、対応するトリガー条件を実行し、シーンにおける人間のロール、乗りかごの背景及び照明強度を設定し、マルチシーン、マルチロールの行動データ拡張を実現する、
ＴｒａｎｓｆｏｒｍのＰｏｓｉｔｉｏｎとＲｏｔａｔｉｏｎを設定することにより、人間キャラクタのシーンにおける位置を変えることができ、Ｍａｔｅｒｉａｌｓにおける要素を設定することにより、乗りかごの背景と材質を変えることができ、Ｌｉｇｈｔｓ属性を設定することにより、光照のタイプ、輝度及び位置などを変えることができ、
図３（ａ）は、リアリティでバーチャルを制御する人体行動データ強化の結果を示し、図３（ｂ）は、バーチャルでリアリティをシミュレーションする人体行動データ強化の結果を示し、図３（ｃ）は、ＵＥ４骨格関節ツリーの概略図である。
バーチャルでリアリティをシミュレーションするプロセスは、本発明では、ＵＥ４に基づいて、以下のステップにより実現され、
骨格リターゲティングのステップ（４．２．２．１）では、ＵＥ４において異なる仮想人間を構築して同じ行動動作を実行する時間を省くために、ＵＥ４にインポートされた仮想人間に対して骨格リターゲティングを行う必要があり、骨格リターゲティングとは、異なる骨格構造の仮想人間をペアにし、同一組の動作データが異なる骨格を駆動できることを実現し、
詳細化された関節点データを求めるステップ（４．２．２．２）では、アニメーションブループリントにおいて仮想人間の骨格ノードを操作し、連続キーフレーム時刻における所望の姿勢を作成し、隣接する２つのキーフレームの姿勢データをステップ（２．２．２）における逆運動学の入力とし、中間プロセスが詳細化された各関節点データを求め、
動作データ生成のステップ（４．２．２．３）では、ステップ（４．２．２．２）で求められた詳細化された関節点データをステップ（２．２．１）における順運動学の入力とし、対応する動作データ（例えば、ジャンプする、ドアを蹴るなど）を生成し、
状態統合のステップ（４．２．２．４）では、キャラクタブループリントにおいて同一の仮想人間に複数の状態イベント（例えば、正常状態、軽度危険状態、重度危険状態など）を追加し、各状態イベントには対応する動作データをバインディングし、
イベントトリガーのステップ（４．２．２．５）では、エレベーター乗りかごツインシーンにおいて仮想人間を配置し、ステップ（４．２．２．４）における各種のイベントにトリガー条件（例えば、アルファベットを入力する、キーを押すなど）を追加し、
データ拡張のステップ（４．２．２．６）では、対応するトリガー条件を実行し、シーンにおける人間のロール、乗りかごの背景及び照明強度を設定し、マルチシーン、マルチロールの行動データ拡張を実現する、
ＴｒａｎｓｆｏｒｍのＰｏｓｉｔｉｏｎとＲｏｔａｔｉｏｎを設定することにより、人間キャラクタのシーンにおける位置を変えることができ、Ｍａｔｅｒｉａｌｓにおける要素を設定することにより、乗りかごの背景と材質を変えることができ、Ｌｉｇｈｔｓ属性を設定することにより、光照のタイプ、輝度及び位置などを変えることができ、
図３（ａ）は、リアリティでバーチャルを制御する人体行動データ強化の結果を示し、図３（ｂ）は、バーチャルでリアリティをシミュレーションする人体行動データ強化の結果を示し、図３（ｃ）は、ＵＥ４骨格関節ツリーの概略図である。
【0027】
乗客行動データセット生成のステップ（４．３）では、
図４は、エレベーター乗客行動データを収集する概略図を示し、
仮想カメラ設定のステップ（４．３．１）では、実際のエレベーター乗りかごにおける撮影シーンをシミュレーションするために、エレベーター乗りかごツインシーンの４つの頂角位置にそれぞれＣａｍｅｒａＡｃｔｏｒ仮想カメラを追加し、仮想カメラは、撮影角度がかごのトップに平行し且つ４５°下向きであり、視野角度が６０°であり、フレームレートが５０ｆｐｘであり、出力フォーマットがａｖｉであるという設定を用いてもよく、
乗客行動動作捕捉のステップ（４．３．２）では、行動イベントをトリガーし、ＵＥ４においてＣ＋＋コードを作成し、すべての仮想カメラを制御してツインシーンにおける乗客動作を同時に撮影し、
データ前処理のステップ（４．３．３）では、ステップ（４．３．２）で収集された行動動作ビデオを固定フレームで抽出し、異なる行動のビデオ画像データセットを得る。
図４は、エレベーター乗客行動データを収集する概略図を示し、
仮想カメラ設定のステップ（４．３．１）では、実際のエレベーター乗りかごにおける撮影シーンをシミュレーションするために、エレベーター乗りかごツインシーンの４つの頂角位置にそれぞれＣａｍｅｒａＡｃｔｏｒ仮想カメラを追加し、仮想カメラは、撮影角度がかごのトップに平行し且つ４５°下向きであり、視野角度が６０°であり、フレームレートが５０ｆｐｘであり、出力フォーマットがａｖｉであるという設定を用いてもよく、
乗客行動動作捕捉のステップ（４．３．２）では、行動イベントをトリガーし、ＵＥ４においてＣ＋＋コードを作成し、すべての仮想カメラを制御してツインシーンにおける乗客動作を同時に撮影し、
データ前処理のステップ（４．３．３）では、ステップ（４．３．２）で収集された行動動作ビデオを固定フレームで抽出し、異なる行動のビデオ画像データセットを得る。
【0028】
本実施例の方案では、デジタルツイン技術と運動学原理により乗客行動ツインモデルを構築し、実際の人間と仮想人間との間の行動動作の正確なマッピングを実現し、トラクション式エレベーターデジタルツインシステムにおいて乗客行動データを構築し、実際にエレベータービデオを取得しにくく、乗客異常行動データが希少であるなど問題を解決し、画像認識分野に新しいデータ強化方法を提供する。デジタルツイン技術を利用して異常行動データを構築することにより、時間と装置コストを減少させるとともに、試験者の安全も確保する。
【0029】
本明細書の実施例に記載された内容は、発明の構想の実現形態の列挙にすぎず、説明するためのものにすぎない。本発明の保護範囲は、本実施例に記載された具体的な形態に限定されるものではなく、本発明の保護範囲は、本発明の構想に基づいて当業者が考えることができる同等の技術手段も含む。
【0030】
（付記）
（付記１）
トラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法であって、
トラクション式エレベーターシステムのツインシーンを構築するステップ１と、
人体行動ツインモデルの構築及びバーチャルリアリティマッピングを行うステップ２と、
骨格点検出アルゴリズムに基づいてツインシーンにおける仮想人間に対して骨格認識を行うツインシーンでの人体骨格点検出のステップ３と、
ステップ２で構築された人体行動ツインモデルに基づいて、エレベーター乗客行動に対してデータ強化を行うエレベーター乗客行動データ強化のステップ４とを含み、
ステップ１の過程は、
三次元モデリングソフトウェアによってトラクション式エレベーターシステムの幾何学的モデルを描画し、幾何学的モデルは物理エンティティに基づいて、デジタルツイン技術を使用して１：１で実物を再現した３Ｄ可視化モデルを構築し、ツインモデルと物理エンティティが幾何学的サイズ、材質属性、色、及び形状の点で高度に一致することを確保するとともに、物理エンティティの組立関係及び従属関係を真に反映し、構造的な「ツイン」を具備するトラクション式エレベーターシステムの幾何学的モデル描画のステップ（１．１）と、
ステップ（１．１）で描画された幾何学的モデルを統一されたファイル形式で出力し、一般的に使用されるデジタルツインエンジンにインポートして全体的な組立、階層関係及び運動制約条件の定義を行うデジタルツインシーン構築のステップ（１．２）と、
ツインシーンの幾何学的モデルをトラクション式エレベーターシステムの運転データ及びビデオデータで駆動するツインシーンデータ駆動のステップ（１．３）とであり、
ステップ２の過程は、
人体行動姿勢分解のステップ（２．１）と、
人体関節全体の運動を順運動学及び逆運動学の方法で制御できる運動学原理に基づく人体行動モデリングのステップ（２．２）と、
ステップ（１．２）における人間三次元モデルを使用し、人体骨格関節点データを入力とし、デジタルツイン技術及び運動学原理と組み合わせて、現実世界の人間の動作をツインシーンの人間三次元モデルにリアルタイムにマッピングする人体行動モデルのバーチャルリアリティマッピングのステップ（２．３）とであり、
ステップ３の過程は、
ステップ（２．３）を実行すると同時に、仮想人間の動作を録画するステップ（３．１）と、
ステップ（３．１）で取得されたビデオ画像データをＶＧＧ１９の前１０層の入力として、対応する特徴マップＦを得るステップ（３．２）と、
特徴マップＦを骨格抽出ネットワークに入力して人体骨格点抽出を行うステップ（３．３）と、
任意の２つの関節点に対して、ＰＡＦｓの線形積分を計算することによって関節点ペアの相関性を特徴付けるステップ（３．４）と、
（ただし、Ｅは２つの関節点を結んで肢体を形成する信頼度を表し、ｄｊ１とｄｊ２は関節点１と関節点２の座標位置を表し、
は関節点１と関節点２からなる肢体の長さを表し、迅速に積分するために、均一サンプリングによってこれら２つの関節点間の類似度を近似する。
）
すべての信頼度が最も高い関節点を選択して結んで人体全体の骨格姿勢を形成するステップ（３．５）と、
ステップ（３．５）で取得された仮想人体骨格姿勢に応じて、仮想人間と実際の人間との骨格検出精度の違いを判断し、
仮想人間の骨格検出精度と実際の人間の骨格検出精度の誤差が許容範囲内に維持される場合、ステップ４の乗客行動データ強化を実行し、逆には、仮想人間モデルを変更し、ステップ２とステップ３を繰り返して実行するステップ（３．６）とであり、
ステップ４の過程は、
乗客行動データ強化を行う前に、まずエレベーター内の乗客の行動に対して定義及び分類を行う必要があり、
正常行動とは、エレベーター内での乗客の正確な乗降動作であり、
異常行動とは、エレベーター内で機器の安全な運転や人々の生命の安全を脅かす乗客の危険な動作であり、
異常行動は危険程度に応じて軽度危険行動及び重度危険行動に分類されてもよく、乗客数に応じてシングル異常行動及びマルチ異常行動に分類されてもよい乗客行動定義及び分類のステップ（４．１）と、
リアリティでバーチャルを制御する方法とバーチャルでリアリティをシミュレーションする方法の２種類に分けられる乗客行動データ強化のステップ（４．２）と、
乗客行動データセット生成のステップ（４．３）とである、ことを特徴とするトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
（付記１）
トラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法であって、
トラクション式エレベーターシステムのツインシーンを構築するステップ１と、
人体行動ツインモデルの構築及びバーチャルリアリティマッピングを行うステップ２と、
骨格点検出アルゴリズムに基づいてツインシーンにおける仮想人間に対して骨格認識を行うツインシーンでの人体骨格点検出のステップ３と、
ステップ２で構築された人体行動ツインモデルに基づいて、エレベーター乗客行動に対してデータ強化を行うエレベーター乗客行動データ強化のステップ４とを含み、
ステップ１の過程は、
三次元モデリングソフトウェアによってトラクション式エレベーターシステムの幾何学的モデルを描画し、幾何学的モデルは物理エンティティに基づいて、デジタルツイン技術を使用して１：１で実物を再現した３Ｄ可視化モデルを構築し、ツインモデルと物理エンティティが幾何学的サイズ、材質属性、色、及び形状の点で高度に一致することを確保するとともに、物理エンティティの組立関係及び従属関係を真に反映し、構造的な「ツイン」を具備するトラクション式エレベーターシステムの幾何学的モデル描画のステップ（１．１）と、
ステップ（１．１）で描画された幾何学的モデルを統一されたファイル形式で出力し、一般的に使用されるデジタルツインエンジンにインポートして全体的な組立、階層関係及び運動制約条件の定義を行うデジタルツインシーン構築のステップ（１．２）と、
ツインシーンの幾何学的モデルをトラクション式エレベーターシステムの運転データ及びビデオデータで駆動するツインシーンデータ駆動のステップ（１．３）とであり、
ステップ２の過程は、
人体行動姿勢分解のステップ（２．１）と、
人体関節全体の運動を順運動学及び逆運動学の方法で制御できる運動学原理に基づく人体行動モデリングのステップ（２．２）と、
ステップ（１．２）における人間三次元モデルを使用し、人体骨格関節点データを入力とし、デジタルツイン技術及び運動学原理と組み合わせて、現実世界の人間の動作をツインシーンの人間三次元モデルにリアルタイムにマッピングする人体行動モデルのバーチャルリアリティマッピングのステップ（２．３）とであり、
ステップ３の過程は、
ステップ（２．３）を実行すると同時に、仮想人間の動作を録画するステップ（３．１）と、
ステップ（３．１）で取得されたビデオ画像データをＶＧＧ１９の前１０層の入力として、対応する特徴マップＦを得るステップ（３．２）と、
特徴マップＦを骨格抽出ネットワークに入力して人体骨格点抽出を行うステップ（３．３）と、
任意の２つの関節点に対して、ＰＡＦｓの線形積分を計算することによって関節点ペアの相関性を特徴付けるステップ（３．４）と、
【数86】
【数87】
【数88】
すべての信頼度が最も高い関節点を選択して結んで人体全体の骨格姿勢を形成するステップ（３．５）と、
ステップ（３．５）で取得された仮想人体骨格姿勢に応じて、仮想人間と実際の人間との骨格検出精度の違いを判断し、
仮想人間の骨格検出精度と実際の人間の骨格検出精度の誤差が許容範囲内に維持される場合、ステップ４の乗客行動データ強化を実行し、逆には、仮想人間モデルを変更し、ステップ２とステップ３を繰り返して実行するステップ（３．６）とであり、
ステップ４の過程は、
乗客行動データ強化を行う前に、まずエレベーター内の乗客の行動に対して定義及び分類を行う必要があり、
正常行動とは、エレベーター内での乗客の正確な乗降動作であり、
異常行動とは、エレベーター内で機器の安全な運転や人々の生命の安全を脅かす乗客の危険な動作であり、
異常行動は危険程度に応じて軽度危険行動及び重度危険行動に分類されてもよく、乗客数に応じてシングル異常行動及びマルチ異常行動に分類されてもよい乗客行動定義及び分類のステップ（４．１）と、
リアリティでバーチャルを制御する方法とバーチャルでリアリティをシミュレーションする方法の２種類に分けられる乗客行動データ強化のステップ（４．２）と、
乗客行動データセット生成のステップ（４．３）とである、ことを特徴とするトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
【0031】
（付記２）
前記ステップ（１．１）では、トラクション式エレベーターシステムの幾何学的モデルは昇降路建物モデル、エレベーター機械モデル及び人体三次元モデルを含み、
昇降路建物モデルのステップ（１．１．１）では、昇降路建物モデルは機械室、昇降路の壁面及びピットの３つの部分を含み、
エレベーター機械モデルのステップ（１．１．２）では、トラクション式エレベーターは、それぞれ、トラクションシステム、ガイドシステム、乗りかご、ドアシステム、重量バランスシステム、電力ドラッグシステム、電気制御システム及び安全保護システムの８つのシステムからなり、
トラクションシステムは、機器に運動エネルギーを提供してエレベーターを正常に運転するためのものであり、巻上機、ワイヤーロープ、ガイドホイール及び電磁ブレーキからなり、
ガイドシステムは、乗りかごとカウンターウェイトがガイドレールに沿って昇降運動するしかできないように乗りかごとカウンターウェイトの移動自由度を制限するためのものであり、ガイドレール、ガイドシュー及びガイドレールフレームからなり、
乗りかごは乗りかごフレーム及び乗りかご本体からなり、乗りかごフレームは乗りかご本体を固定する耐荷重フレームであり、乗りかご本体は動作用コンテナであり、
ドアシステムは乗りかごドア、階ドア、ドアロック装置、及び自動ドアドラッグ装置を含み、
重量バランスシステムは、乗りかごの重量バランスを取り、乗りかごとカウンターウェイトとの重量差を所定の範囲に維持し、エレベーターのトラクション伝動の正常を確保するためのものであり、
電力ドラッグシステムは、巻上機、給電システム、速度フィードバック装置、及び調速装置からなり、エレベーターに対して速度制御を行うためのものであり、
電気制御システムは、エレベーターの運転を操作及び制御することに用いられ、制御装置、操作装置、レベリング装置及び位置表示装置からなり、
安全保護システムは、機械安全保護システム及び電気安全保護システムに分けられ、機械部分には速度制限装置及びバッファがあり、電気部分には端末保護装置及び様々なインターロックスイッチがあり、
人体三次元モデル描画のステップ（１．１．３）では、人体三次元モデルは骨格モデルと人間モデルとからなり、骨格とモデルが互いに独立するため、スキン技術を使用して骨格駆動モデルの合理的な運動を発生させる、ことを特徴とする付記１に記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
前記ステップ（１．１）では、トラクション式エレベーターシステムの幾何学的モデルは昇降路建物モデル、エレベーター機械モデル及び人体三次元モデルを含み、
昇降路建物モデルのステップ（１．１．１）では、昇降路建物モデルは機械室、昇降路の壁面及びピットの３つの部分を含み、
エレベーター機械モデルのステップ（１．１．２）では、トラクション式エレベーターは、それぞれ、トラクションシステム、ガイドシステム、乗りかご、ドアシステム、重量バランスシステム、電力ドラッグシステム、電気制御システム及び安全保護システムの８つのシステムからなり、
トラクションシステムは、機器に運動エネルギーを提供してエレベーターを正常に運転するためのものであり、巻上機、ワイヤーロープ、ガイドホイール及び電磁ブレーキからなり、
ガイドシステムは、乗りかごとカウンターウェイトがガイドレールに沿って昇降運動するしかできないように乗りかごとカウンターウェイトの移動自由度を制限するためのものであり、ガイドレール、ガイドシュー及びガイドレールフレームからなり、
乗りかごは乗りかごフレーム及び乗りかご本体からなり、乗りかごフレームは乗りかご本体を固定する耐荷重フレームであり、乗りかご本体は動作用コンテナであり、
ドアシステムは乗りかごドア、階ドア、ドアロック装置、及び自動ドアドラッグ装置を含み、
重量バランスシステムは、乗りかごの重量バランスを取り、乗りかごとカウンターウェイトとの重量差を所定の範囲に維持し、エレベーターのトラクション伝動の正常を確保するためのものであり、
電力ドラッグシステムは、巻上機、給電システム、速度フィードバック装置、及び調速装置からなり、エレベーターに対して速度制御を行うためのものであり、
電気制御システムは、エレベーターの運転を操作及び制御することに用いられ、制御装置、操作装置、レベリング装置及び位置表示装置からなり、
安全保護システムは、機械安全保護システム及び電気安全保護システムに分けられ、機械部分には速度制限装置及びバッファがあり、電気部分には端末保護装置及び様々なインターロックスイッチがあり、
人体三次元モデル描画のステップ（１．１．３）では、人体三次元モデルは骨格モデルと人間モデルとからなり、骨格とモデルが互いに独立するため、スキン技術を使用して骨格駆動モデルの合理的な運動を発生させる、ことを特徴とする付記１に記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
【0032】
（付記３）
前記ステップ（１．２）では、組立プロセスは、現実世界における昇降路建物モデル、エレベーター機械モデル及び人体三次元モデル間の階層関係を考慮する必要があり、
昇降路建物モデル、エレベーター機械モデル及び人体三次元モデルは第１階層であり、各モデルの下でのサブモデルは対応して第２階層であり、このように類推し、
エレベーター運転中の運動ユニットは巻上機、ワイヤーロープ、乗りかご、乗りかごドア、階ドア及びカウンターウェイト装置を含み、関連ユニット間の運動制約条件を設定することによって、仮想モデルのツインシーンでの運動を現実世界と同じ効果に維持することができる、ことを特徴とする付記２に記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
前記ステップ（１．２）では、組立プロセスは、現実世界における昇降路建物モデル、エレベーター機械モデル及び人体三次元モデル間の階層関係を考慮する必要があり、
昇降路建物モデル、エレベーター機械モデル及び人体三次元モデルは第１階層であり、各モデルの下でのサブモデルは対応して第２階層であり、このように類推し、
エレベーター運転中の運動ユニットは巻上機、ワイヤーロープ、乗りかご、乗りかごドア、階ドア及びカウンターウェイト装置を含み、関連ユニット間の運動制約条件を設定することによって、仮想モデルのツインシーンでの運動を現実世界と同じ効果に維持することができる、ことを特徴とする付記２に記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
【0033】
（付記４）
前記ステップ（１．３）では、エレベーター運転データとビデオデータはマルチソース異種データに属し、マルチソースは主にデータソースの多様化を指し、異種は主にデータ構造の差異性を指し、エレベーター運転データはツインシーンにおける運動ユニットを駆動することに用いられ、ビデオデータはツインシーンにおける人間の動作を駆動することに用いられ、
通信バスによって様々なセンサをエッジ制御プラットフォームに接続してデータ伝送及び記憶を行い、エッジ制御プラットフォームはバーチャルリアリティインタラクション中間プラットフォームであり、一方では、実際のデータをクライアントであるデジタルツインプラットフォームに送信してデータ処理を行うことができ、他方では、クライアントからツインデータを取得して物理エンティティに対して対応する制御を行うことができる、ことを特徴とする付記３に記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
前記ステップ（１．３）では、エレベーター運転データとビデオデータはマルチソース異種データに属し、マルチソースは主にデータソースの多様化を指し、異種は主にデータ構造の差異性を指し、エレベーター運転データはツインシーンにおける運動ユニットを駆動することに用いられ、ビデオデータはツインシーンにおける人間の動作を駆動することに用いられ、
通信バスによって様々なセンサをエッジ制御プラットフォームに接続してデータ伝送及び記憶を行い、エッジ制御プラットフォームはバーチャルリアリティインタラクション中間プラットフォームであり、一方では、実際のデータをクライアントであるデジタルツインプラットフォームに送信してデータ処理を行うことができ、他方では、クライアントからツインデータを取得して物理エンティティに対して対応する制御を行うことができる、ことを特徴とする付記３に記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
【0034】
（付記５）
前記ステップ（２．１）では、人体行動姿勢分解の過程は、人体骨格モデルのステップ（２．１．１）と、人体骨格関節ツリーのステップ（２．１．２）とであり、
人体骨格モデルのステップ（２．１．１）では、人体の三次元運動とは、関節及び四肢の一連の運動であり、従って、人体モデルは１７個の骨格点からなるヒンジ構造に簡素化でき、
１７個の骨格点はそれぞれ、頭部、首部、胸部、骨盤、臀部、右肩、右肘、右手首、左肩、左肘、左手首、右腰、右膝、右足首、左腰、左膝、及び左足首であり、
人体骨格関節ツリーのステップ（２．１．２）では、従来の三次元座標記述方法によれば運動中の各骨格点の位置パラメータは互いに独立し、いずれの骨格点の位置変化もほかの骨格点に影響せず、従って、階層的方法を使用して人体骨格モデルを骨格関節ツリーに等価することはこの欠陥を克服することができ、
ツリーのルートノードは人体骨格モデルの幾何学的中心（臀部）であり、人間モデルの全体的な変位及び方向を制御でき、残りの子ノードはルートノードとの直接及び間接的連結によって、共同で人体モデルの姿勢決定及び運動過程の提示を支援する、ことを特徴とする付記１から３のいずれか一つに記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
前記ステップ（２．１）では、人体行動姿勢分解の過程は、人体骨格モデルのステップ（２．１．１）と、人体骨格関節ツリーのステップ（２．１．２）とであり、
人体骨格モデルのステップ（２．１．１）では、人体の三次元運動とは、関節及び四肢の一連の運動であり、従って、人体モデルは１７個の骨格点からなるヒンジ構造に簡素化でき、
１７個の骨格点はそれぞれ、頭部、首部、胸部、骨盤、臀部、右肩、右肘、右手首、左肩、左肘、左手首、右腰、右膝、右足首、左腰、左膝、及び左足首であり、
人体骨格関節ツリーのステップ（２．１．２）では、従来の三次元座標記述方法によれば運動中の各骨格点の位置パラメータは互いに独立し、いずれの骨格点の位置変化もほかの骨格点に影響せず、従って、階層的方法を使用して人体骨格モデルを骨格関節ツリーに等価することはこの欠陥を克服することができ、
ツリーのルートノードは人体骨格モデルの幾何学的中心（臀部）であり、人間モデルの全体的な変位及び方向を制御でき、残りの子ノードはルートノードとの直接及び間接的連結によって、共同で人体モデルの姿勢決定及び運動過程の提示を支援する、ことを特徴とする付記１から３のいずれか一つに記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
【0035】
（付記６）
前記ステップ（２．２）では、順運動学は人間を制御して対応する動作を実行することに用いられ、逆運動学は姿勢変換中に詳細化された関節点データを求めることに用いられ、過程は、以下のとおりであり、
順運動学のステップ（２．２．１）では、人体姿勢の順運動学とは、各関節の相対変位
及び相対回転
が既知であり、運動後の人体姿勢全体の
を求めるプロセスは、
Ｑ＝Ｈ（Ｒ，Ｔ）
であり、ここで、Ｎは人体関節の数を表し、
はｉ番目の関節の運動後の三次元姿勢行列を表し、
は相対変位行列のうちｉ番目の関節の三次元位置行列を表し、ｐａ（ｉ）はｉ番目の関節の親関節インデックスを表し、Ｒｐａ（ｉ），ｉは親関節に対するｉ番目の関節の回転を表し、Ｈ（Ｒ，Ｔ）は変位行列と回転行列をルートノードからすべての子ノードに再帰するプロセスを表し、
ただし、ｔｐａ（ｉ）はｉ番目の関節の親関節変位情報を表し、Ｒｉは正規静止姿勢空間に対するｉ番目の関節のグローバル回転を表し、親ノードのないルートノードの場合、
であり、
逆運動学のステップ（２．２．２）では、逆運動学は順運動学の逆のプロセスであり、所望の人体姿勢
と相対変位Ｔを入力することによって、関節の相対回転Ｒを求め、
Ｒ＝Ｇ（Ｐ，Ｔ）であり、
ここで、
は入力されたｉ番目の関節の所望の姿勢を表し、Ｇ（Ｐ，Ｔ）は、
を満たす必要があり、
はｉ番目の関節の親関節姿勢を表し、親ノードのないルートノードの場合、
である、ことを特徴とする付記５に記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
前記ステップ（２．２）では、順運動学は人間を制御して対応する動作を実行することに用いられ、逆運動学は姿勢変換中に詳細化された関節点データを求めることに用いられ、過程は、以下のとおりであり、
順運動学のステップ（２．２．１）では、人体姿勢の順運動学とは、各関節の相対変位
【数89】
【数90】
【数91】
Ｑ＝Ｈ（Ｒ，Ｔ）
であり、ここで、Ｎは人体関節の数を表し、
【数92】
【数93】
【数94】
【数95】
逆運動学のステップ（２．２．２）では、逆運動学は順運動学の逆のプロセスであり、所望の人体姿勢
【数96】
Ｒ＝Ｇ（Ｐ，Ｔ）であり、
ここで、
【数97】
【数98】
【数99】
【数100】
【0036】
（付記７）
前記ステップ（２．３）の過程は、骨格点抽出のステップ（２．３．１）と、関節マッピングのステップ（２．３．２）と、座標変換のステップ（２．３．３）と、データインポートのステップ（２．３．４）と、逆運動学で詳細化された関節点データを求めるステップ（２．３．５）と、順運動学で動作データを求めて生成するステップ（２．３．６）とであり、
ステップ（２．３．１）では、一般的な骨格点検出アルゴリズムによって実際の人体の関節タグデータを取得し、
ステップ（２．３．２）では、関節マッピングとは、デジタルツインシーンにおける人間骨格モデルとステップ２．３．１で取得された関節点タグとを１対１で対応付け、
ステップ（２．３．３）では、ステップ（２．３．１）で取得された各関節タグはいずれも独立した座標系を有し、動作マッピング中に関節ずれや関節ドリフトの問題が発生することを回避するために、ステップ（２．３．２）で関節タグのローカル座標系を同一座標系に変換する必要があり、
ローカル座標系からグローバル座標系への変換は同次変換行列の乗算によって実現でき、
ただし、Ｔ＊は同次変換行列であり、
は前の座標系に対する現在座標系の三次元回転行列であり、
は前の座標系に対する現在座標系の三次元変位行列であり、
ステップ（２．３．４）では、ステップ（２．３．１）で取得された関節点データをバイトストリームの形式でクライアントであるデジタルツインプラットフォームに送信して処理を行い、人間三次元モデルにインポートしてキーフレームの人体姿勢の再現を実現し、
バイトストリームとは、バイトごとにデータを処理する形式であり、キーフレームとは、ステップ（２．３．１）における骨格検出アルゴリズムで実際の人間の関節点データを取得する現在フレームであり、
ステップ（２．３．５）では、人間の骨格関節点間は内的相関性を有し、各関節の平行移動及び回転を直接決定すると不自然な動作が生じやすいため、隣接する２つのキーフレームの骨格姿勢データを入力とし、ステップ（２．２．２）における逆運動学を使用して中間プロセスがより詳細化された各関節点データを求め、
ステップ（２．３．６）では、ステップ（２．３．５）で求められた詳細化された関節点データを一定の頻度で仮想人間の骨格ノードにインポートし、（２．２．１）における順運動学と組み合わせて求めて仮想人間の動作マッピングを実現できる、ことを特徴とする付記６に記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
前記ステップ（２．３）の過程は、骨格点抽出のステップ（２．３．１）と、関節マッピングのステップ（２．３．２）と、座標変換のステップ（２．３．３）と、データインポートのステップ（２．３．４）と、逆運動学で詳細化された関節点データを求めるステップ（２．３．５）と、順運動学で動作データを求めて生成するステップ（２．３．６）とであり、
ステップ（２．３．１）では、一般的な骨格点検出アルゴリズムによって実際の人体の関節タグデータを取得し、
ステップ（２．３．２）では、関節マッピングとは、デジタルツインシーンにおける人間骨格モデルとステップ２．３．１で取得された関節点タグとを１対１で対応付け、
ステップ（２．３．３）では、ステップ（２．３．１）で取得された各関節タグはいずれも独立した座標系を有し、動作マッピング中に関節ずれや関節ドリフトの問題が発生することを回避するために、ステップ（２．３．２）で関節タグのローカル座標系を同一座標系に変換する必要があり、
ローカル座標系からグローバル座標系への変換は同次変換行列の乗算によって実現でき、
【数101】
【数102】
【数103】
ステップ（２．３．４）では、ステップ（２．３．１）で取得された関節点データをバイトストリームの形式でクライアントであるデジタルツインプラットフォームに送信して処理を行い、人間三次元モデルにインポートしてキーフレームの人体姿勢の再現を実現し、
バイトストリームとは、バイトごとにデータを処理する形式であり、キーフレームとは、ステップ（２．３．１）における骨格検出アルゴリズムで実際の人間の関節点データを取得する現在フレームであり、
ステップ（２．３．５）では、人間の骨格関節点間は内的相関性を有し、各関節の平行移動及び回転を直接決定すると不自然な動作が生じやすいため、隣接する２つのキーフレームの骨格姿勢データを入力とし、ステップ（２．２．２）における逆運動学を使用して中間プロセスがより詳細化された各関節点データを求め、
ステップ（２．３．６）では、ステップ（２．３．５）で求められた詳細化された関節点データを一定の頻度で仮想人間の骨格ノードにインポートし、（２．２．１）における順運動学と組み合わせて求めて仮想人間の動作マッピングを実現できる、ことを特徴とする付記６に記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
【0037】
（付記８）
前記ステップ（３．２）では、ＶＧＧ１９は１９個の隠れ層を含む畳み込みニューラルネットワークであり、１９個の隠れ層は１６個の畳み込み層及び３個の完全接続層を含み、現在、画像認識分野に広く使用されており、
前記ステップ（３．３）では、骨格抽出ネットワークは２つのブランチを持つ多段階畳み込みニューラルネットワークに属し、
一方のブランチは２Ｄ信頼度マップＣｏｎｆｉｄｅｎｃｅ ｍａｐｓ（Ｓ）を予測することに用いられ、他方のブランチはパートアフィニティフィールドＰａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ（Ｌ）を予測することに用いられ、
Ｓ＝（Ｓ１，Ｓ２，…，Ｓｊ）であり、ｊは検出対象となる関節の数を表し、
Ｌ＝（Ｌ１，Ｌ２，…，Ｌｃ）であり、ｃは検出対象となる肢体（関節ペア）の数を表し、
前記ステップ（３．３）の過程は、
第１段階の入力はステップ（３．２）で取得された特徴マップＦであり、出力結果は２Ｄ信頼度マップ及びパートアフィニティフィールドの２つのブランチであるステップ（３．３．１）と、
第２段階（ｋ≧２）から、ネットワークの入力はＦ、Ｓｋ－１、及びＬｋ－１の３つの部分を含み、２つのブランチの異なる段階での入出力関係は
であり、ここで、ｋは現在段階数を表し、
はｋ段階における２Ｄ信頼度マップ（Ｓｋ）と特徴マップＦ、ｋ－１段階における２Ｄ信頼度マップ（Ｓｋ－１）及びパートアフィニティフィールド間のネットワーク関係を表し、
はｋ段階におけるパートアフィニティフィールドと特徴マップＦ、ｋ－１段階における２Ｄ信頼度マップ及びパートアフィニティフィールド間のネットワーク関係を表すステップ（３．３．２）と、
訓練時、各段階の２つのブランチはいずれも対応するＬｏｓｓを生成し、勾配消失の問題を回避することに用いられ、勾配消失とは、ニューラルネットワークの層数が増加すると、入力層に近いほど、層間の重みを効果的に補正できず（導関数は０になる傾向がある）、その結果、ニューラルネットワークの効果が悪く、
Ｌｏｓｓは損失関数を表し、ネットワークが収束できることを確保する最も重要な要素であり、各段階における２つのブランチの損失は、
であり、ここで、Ｊは合計関節点数を表し、Ｃは合計肢体数を表し、
はｋ段階における２Ｄ信頼度マップブランチの損失関数を表し、
はｋ段階におけるパートアフィニティフィールドブランチの損失関数を表し、ａは画素点位置を表し、Ｗは二値化行列を表し、
はｋ段階におけるｊ関節点の２Ｄ信頼度マップのタグ画素点を表し、
はｋ段階におけるｊ関節点の２Ｄ信頼度マップの実際の画素点を表し、
はｋ段階におけるｃ肢体のパートアフィニティフィールドのタグ画素点を表し、
はｋ段階におけるｃ肢体のパートアフィニティフィールドの実際の画素点を表し、
はＬ２ノルム（２つ又は複数の点間のユークリッド距離）を表し、
マークされていない人間の関節点はＷ（ａ）＝０であり、マークされた人間の関節点及び非関節点はＷ（ａ）＝１であり、従って、マークされていない人間の関節点はモデルの学習プロセスに影響することがなく、畳み込みニューラルネットワークアーキテクチャの最適化目的関数は、
であり、ここで、ｆは最適化目的関数であり、Ｋは合計段階数であるステップ（３．３．３）と、
と
を計算するステップ（３．３．４）とであり、
ステップ（３．３．４）の過程は、
ｎ人目のｊ番目の関節のｈｅａｔｍａｐは
であり、ここで、ｅｘｐは自然定数ｅを表し、
はｎ人目のｊ番目の関節の位置座標を表し、
は標準偏差であるステップ（３．３．４．１）と、
現在骨格に対応する肢体の接続方向のｖｅｃｔｏｒｍａｐは
であり、ここで、
と
はｎ人目の関節点１と関節点２の位置座標を表し、
はｎ人目のｃ肢体を表し、
はｎ人目の関節点１から関節点２まで構成される肢体の長さを表し、
ｎ人目のｃ肢体のアフィニティフィールドは、
であり、ここで、
はｃ肢体が有する画素点の合計数であるステップ（３．３．４．２）とである、ことを特徴とする付記１から３のいずれか一つに記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
前記ステップ（３．２）では、ＶＧＧ１９は１９個の隠れ層を含む畳み込みニューラルネットワークであり、１９個の隠れ層は１６個の畳み込み層及び３個の完全接続層を含み、現在、画像認識分野に広く使用されており、
前記ステップ（３．３）では、骨格抽出ネットワークは２つのブランチを持つ多段階畳み込みニューラルネットワークに属し、
一方のブランチは２Ｄ信頼度マップＣｏｎｆｉｄｅｎｃｅ ｍａｐｓ（Ｓ）を予測することに用いられ、他方のブランチはパートアフィニティフィールドＰａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ（Ｌ）を予測することに用いられ、
Ｓ＝（Ｓ１，Ｓ２，…，Ｓｊ）であり、ｊは検出対象となる関節の数を表し、
Ｌ＝（Ｌ１，Ｌ２，…，Ｌｃ）であり、ｃは検出対象となる肢体（関節ペア）の数を表し、
前記ステップ（３．３）の過程は、
第１段階の入力はステップ（３．２）で取得された特徴マップＦであり、出力結果は２Ｄ信頼度マップ及びパートアフィニティフィールドの２つのブランチであるステップ（３．３．１）と、
第２段階（ｋ≧２）から、ネットワークの入力はＦ、Ｓｋ－１、及びＬｋ－１の３つの部分を含み、２つのブランチの異なる段階での入出力関係は
【数104】
【数105】
【数106】
訓練時、各段階の２つのブランチはいずれも対応するＬｏｓｓを生成し、勾配消失の問題を回避することに用いられ、勾配消失とは、ニューラルネットワークの層数が増加すると、入力層に近いほど、層間の重みを効果的に補正できず（導関数は０になる傾向がある）、その結果、ニューラルネットワークの効果が悪く、
Ｌｏｓｓは損失関数を表し、ネットワークが収束できることを確保する最も重要な要素であり、各段階における２つのブランチの損失は、
【数107】
【数108】
【数109】
【数110】
【数111】
【数112】
【数113】
【数114】
マークされていない人間の関節点はＷ（ａ）＝０であり、マークされた人間の関節点及び非関節点はＷ（ａ）＝１であり、従って、マークされていない人間の関節点はモデルの学習プロセスに影響することがなく、畳み込みニューラルネットワークアーキテクチャの最適化目的関数は、
【数115】
【数116】
【数117】
ステップ（３．３．４）の過程は、
ｎ人目のｊ番目の関節のｈｅａｔｍａｐは
【数118】
【数119】
【数120】
【数121】
現在骨格に対応する肢体の接続方向のｖｅｃｔｏｒｍａｐは
【数122】
【数123】
【数124】
【数125】
【数126】
【数127】
ｎ人目のｃ肢体のアフィニティフィールドは、
【数128】
【数129】
【0038】
（付記９）
前記ステップ（４．２）の過程は、リアリティでバーチャルを制御するステップ（４．２．１）と、バーチャルでリアリティをシミュレーションするステップ（４．２．２）とであり、
ステップ（４．２．１）では、この方法は全体的にはステップ（２．３）のバーチャルリアリティマッピングプロセスと一致し、依然として実際の人間の骨格データを使用して仮想人間モデルを駆動する必要があるが、実際の人間がエレベーターシーンに入る必要がなく、仮想人間をツインシーンに配置し、任意の安全空間で動作シミュレーションを行うだけで実現でき、
ステップ（４．２．２）では、この方法は実際の人間の骨格データを取得する必要がなく、ツインシーンにおいて仮想人間の骨格モデルを直接操作し、運動学で求めるだけで対応する行動動作を得ることができ、
バーチャルでリアリティをシミュレーションするプロセスは、骨格リターゲティングのステップ（４．２．２．１）と、詳細化された関節点データを求めるステップ（４．２．２．２）と、動作データ生成のステップ（４．２．２．３）と、状態統合のステップ（４．２．２．４）と、イベントトリガーのステップ（４．２．２．５）と、データ拡張のステップ（４．２．２．６）とにより実現され、
ステップ（４．２．２．１）では、ツインシーンにおいて異なる仮想人間を構築して同じ行動動作を実行する時間を省くために、ツインシーンにインポートされた仮想人間に対して骨格リターゲティングを行う必要があり、骨格リターゲティングとは、異なる骨格構造の仮想人間をペアにし、同一組の動作データが異なる骨格を駆動できることを実現し、
ステップ（４．２．２．２）では、仮想人間の骨格ノードを操作し、連続キーフレーム時刻における所望の姿勢を作成し、隣接する２つのキーフレームの姿勢データをステップ（２．２．２）における逆運動学の入力とし、中間プロセスが詳細化された各関節点データを求め、
ステップ（４．２．２．３）では、ステップ（４．２．２．２）で求められた詳細化された関節点データをステップ（２．２．１）における順運動学の入力とし、対応する動作データを生成し、
ステップ（４．２．２．４）では、同一の仮想人間に複数の状態イベントを追加し、各状態イベントには対応する動作データをバインディングし、
ステップ（４．２．２．５）では、エレベーター乗りかごツインシーンにおいて仮想人間を配置し、ステップ（４．２．２．４）における各種のイベントにトリガー条件を追加し、
ステップ（４．２．２．６）では、対応するトリガー条件を実行し、シーンにおける人間のロール、乗りかごの背景及び照明強度を設定し、マルチシーン、マルチロールの行動データ拡張を実現する、ことを特徴とする付記１から３のいずれか一つに記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
前記ステップ（４．２）の過程は、リアリティでバーチャルを制御するステップ（４．２．１）と、バーチャルでリアリティをシミュレーションするステップ（４．２．２）とであり、
ステップ（４．２．１）では、この方法は全体的にはステップ（２．３）のバーチャルリアリティマッピングプロセスと一致し、依然として実際の人間の骨格データを使用して仮想人間モデルを駆動する必要があるが、実際の人間がエレベーターシーンに入る必要がなく、仮想人間をツインシーンに配置し、任意の安全空間で動作シミュレーションを行うだけで実現でき、
ステップ（４．２．２）では、この方法は実際の人間の骨格データを取得する必要がなく、ツインシーンにおいて仮想人間の骨格モデルを直接操作し、運動学で求めるだけで対応する行動動作を得ることができ、
バーチャルでリアリティをシミュレーションするプロセスは、骨格リターゲティングのステップ（４．２．２．１）と、詳細化された関節点データを求めるステップ（４．２．２．２）と、動作データ生成のステップ（４．２．２．３）と、状態統合のステップ（４．２．２．４）と、イベントトリガーのステップ（４．２．２．５）と、データ拡張のステップ（４．２．２．６）とにより実現され、
ステップ（４．２．２．１）では、ツインシーンにおいて異なる仮想人間を構築して同じ行動動作を実行する時間を省くために、ツインシーンにインポートされた仮想人間に対して骨格リターゲティングを行う必要があり、骨格リターゲティングとは、異なる骨格構造の仮想人間をペアにし、同一組の動作データが異なる骨格を駆動できることを実現し、
ステップ（４．２．２．２）では、仮想人間の骨格ノードを操作し、連続キーフレーム時刻における所望の姿勢を作成し、隣接する２つのキーフレームの姿勢データをステップ（２．２．２）における逆運動学の入力とし、中間プロセスが詳細化された各関節点データを求め、
ステップ（４．２．２．３）では、ステップ（４．２．２．２）で求められた詳細化された関節点データをステップ（２．２．１）における順運動学の入力とし、対応する動作データを生成し、
ステップ（４．２．２．４）では、同一の仮想人間に複数の状態イベントを追加し、各状態イベントには対応する動作データをバインディングし、
ステップ（４．２．２．５）では、エレベーター乗りかごツインシーンにおいて仮想人間を配置し、ステップ（４．２．２．４）における各種のイベントにトリガー条件を追加し、
ステップ（４．２．２．６）では、対応するトリガー条件を実行し、シーンにおける人間のロール、乗りかごの背景及び照明強度を設定し、マルチシーン、マルチロールの行動データ拡張を実現する、ことを特徴とする付記１から３のいずれか一つに記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
【0039】
（付記１０）
前記ステップ（４．３）の過程は、仮想カメラ設定のステップ（４．３．１）と、乗客行動動作捕捉のステップ（４．３．２）と、データ前処理ステップ（４．３．３）とであり、
ステップ（４．３．１）では、実際のエレベーター乗りかごにおける撮影シーンをシミュレーションするために、エレベーター乗りかごツインシーンの異なる方位に複数の仮想カメラを追加し、カメラの撮影角度、視野角、フレームレート及び出力形式を設定し、
ステップ（４．３．２）では、行動イベントをトリガーし、仮想カメラを制御してツインシーンにおける乗客動作を同時に撮影し、
ステップ（４．３．３）では、ステップ（４．３．２）で収集された動作ビデオを固定フレームで抽出し、異なる行動動作のビデオ画像データセットを得る、ことを特徴とする付記９に記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
前記ステップ（４．３）の過程は、仮想カメラ設定のステップ（４．３．１）と、乗客行動動作捕捉のステップ（４．３．２）と、データ前処理ステップ（４．３．３）とであり、
ステップ（４．３．１）では、実際のエレベーター乗りかごにおける撮影シーンをシミュレーションするために、エレベーター乗りかごツインシーンの異なる方位に複数の仮想カメラを追加し、カメラの撮影角度、視野角、フレームレート及び出力形式を設定し、
ステップ（４．３．２）では、行動イベントをトリガーし、仮想カメラを制御してツインシーンにおける乗客動作を同時に撮影し、
ステップ（４．３．３）では、ステップ（４．３．２）で収集された動作ビデオを固定フレームで抽出し、異なる行動動作のビデオ画像データセットを得る、ことを特徴とする付記９に記載のトラクション式エレベーターのバーチャルリアリティインタラクションシーンにおける乗客行動モデリング及びデータ強化方法。
【図1】
【図2】
【図3】
【図4】
