特表 2024-513024 統合された写真・ビデオボリュメトリックキャプチャシステム及びメッシュトラッキングを使用する動的デジタルヒューマンモデル作成のための、表情と全身のポーズの自動ブレンディング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-21

(54)【発明の名称】統合された写真・ビデオボリュメトリックキャプチャシステム及びメッシュトラッキングを使用する動的デジタルヒューマンモデル作成のための、表情と全身のポーズの自動ブレンディング

(51)【国際特許分類】

   G06T 13/40 20110101AFI20240313BHJP

   G06T 17/20 20060101ALI20240313BHJP

【ＦＩ】

G06T13/40

G06T17/20

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023560157

(86)(22)【出願日】2022-03-31

(85)【翻訳文提出日】2023-09-28

(86)【国際出願番号】 IB2022053036

(87)【国際公開番号】W WO2022208442

(87)【国際公開日】2022-10-06

(31)【優先権主張番号】63/169,323

(32)【優先日】2021-04-01

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/706,996

(32)【優先日】2022-03-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(71)【出願人】

【識別番号】504257564

【氏名又は名称】ソニー コーポレイション オブ アメリカ

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100141553

【弁理士】

【氏名又は名称】鈴木 信彦

(72)【発明者】

【氏名】ラジャセカラン スレン ディーパック

(72)【発明者】

【氏名】武田 浩行

(72)【発明者】

【氏名】田代 健治

【テーマコード（参考）】

5B050

5B080

【Ｆターム（参考）】

5B050BA08

5B050BA09

5B050BA12

5B050CA07

5B050DA01

5B050DA10

5B050EA07

5B050EA12

5B050EA18

5B050EA19

5B050EA27

5B050EA28

5B050FA02

5B050FA09

5B050GA08

5B080AA19

5B080DA06

5B080GA22

(57)【要約】

３Ｄ／４Ｄスキャニングのための統合された写真・ビデオボリュメトリックキャプチャシステムは、画像及び映像を同時に取得することによって、３Ｄスキャン及び４Ｄスキャンを取得する。高品質４Ｄスキャニング及びメッシュトラッキングのための前記ボリュメトリックキャプチャシステムは、形状補完及び骨格駆動変形において使用される補正シェイプを生成するために、４Ｄスキャンされた一連のメッシュ全体で形態の対応関係を確立するために使用される。前記ボリュメトリックキャプチャシステムはエクストリームポーズのモデリングの容易さに加えて、メッシュレジストレーション（形態の一貫性）を維持するためのメッシュトラッキングを支援する。変形を生成する、及び全ての関節のカテゴリにわたって全ての運動の種類に対して幅広い動作を使用して同様のものをキャプチャするために重要な、主要な上半身及び下半身の関節を識別することができる。前記ボリュメトリックキャプチャシステム及びメッシュトラッキングを使用することにより、前記形態変化が追跡される。キャプチャされた各ポーズは、複数のポーズ間でのブレンディングをより簡単及びより正確にさせる同様の形態を持つ。

【特許請求の範囲】

【請求項1】

デバイスに非一時的にプログラムされた方法であって、
写真及び映像を同時にキャプチャすることを含む３Ｄスキャニング及び４Ｄスキャニングのために構成されたボリュメトリックキャプチャシステムを使用する段階であって、前記３Ｄスキャニング及び４Ｄスキャニングは役者の筋肉の変形を検知することを含むステップと、
３Ｄスキャニング及び４Ｄスキャニングに基づいて、メッシュ生成を実行するステップと、
を備える方法。

【請求項2】

前記３Ｄスキャニング及び４Ｄスキャニングは、
自動高忠実度のエクストリームポーズを生成する３Ｄスキャンと、
メッシュトラッキングに、自動的にブレンディングのためのエクストリームポーズのメッシュをレジストレーションすることを可能にする、高時間分解能を含む４Ｄスキャンと、
を含む、請求項１に記載の方法。

【請求項3】

自動高忠実度のエクストリームポーズを生成することは、前記自動高忠実度のエクストリームポーズを生成するために、前記役者及び前記役者の筋肉の変形の３Ｄスキャンを使用することを含む、請求項２に記載の方法。

【請求項4】

４Ｄスキャニング及びメッシュトラッキングは、形状補完及び骨格駆動変形のために補正シェイプを生成するための４Ｄスキャンされた一連のメッシュ全体で形態の対応関係を確立するために使用される、請求項２に記載の方法。

【請求項5】

３Ｄスキャニング及び４Ｄスキャニングのための前記ボリュメトリックキャプチャシステムによって、前記役者の関節及び筋肉を識別すること及びターゲットにすることをさらに備える、請求項１に記載の方法。

【請求項6】

メッシュ生成は、前記３Ｄスキャニング、４Ｄスキャニング、及び機械学習に基づく、筋肉の評価又は投影を含む、請求項１に記載の方法。

【請求項7】

メッシュ生成を実行することは、筋肉の変形を含む極端なポーズにおけるメッシュを生成するために前記３Ｄスキャニング及び４Ｄスキャニングを使用することを含む、請求項１に記載の方法。

【請求項8】

ポーズ間のブレンディングのためにキャプチャされる各ポーズが、同様の形態を持つことができるようにするための形態変化を追跡するためにメッシュトラッキングを実行することを備える、請求項１に記載の方法。

【請求項9】

アプリケーションを格納するための非一時的なメモリであって、前記アプリケーションは
写真及び映像を同時にキャプチャすることを含む、３Ｄスキャニング及び４Ｄスキャニングのために構成され、前記３Ｄスキャニング及び４Ｄスキャニングは役者の筋肉の変形を検知することを含む、ボリュメトリックキャプチャシステムシステムを使用し、及び
前記３Ｄスキャニング及び４Ｄスキャニングに基づいて、メッシュ生成を実行する、
ためのものである非一時的なメモリと、
前記メモリに連結され、前記アプリケーションを処理するために構成されるプロセッサと、
を備える、装置。

【請求項10】

３Ｄスキャニング及び４Ｄスキャニングは、
自動的に高忠実度の極端なポーズを生成するために使用される３Ｄスキャンと、
メッシュトラッキングにブレンディングのために極端なポーズのメッシュの自動的なレジストレーションを可能にする、高い時間分解能を含む４Ｄスキャンと、
を含む、請求項９に記載の装置。

【請求項11】

自動的に高忠実度の極端なポーズを生成することは、自動的に高忠実度の極端なポーズを生成するために、前記役者及び前記役者の筋肉の変形の３Ｄスキャンを使用することを含む、請求項１０に記載の装置。

【請求項12】

４Ｄスキャニング及びメッシュトラッキングは、形状補完及び骨格駆動変形のための補正シェイプを生成するために、４Ｄスキャンされた一連のメッシュ全体で形態の対応関係を確立するために使用される、請求項１０に記載の装置。

【請求項13】

前記アプリケーションはさらに、３Ｄスキャニング及び４Ｄスキャニングのための前記ボリュメトリックキャプチャシステムによって、関節及び前駆役者の筋肉を識別すること及びターゲットにするように構成される、請求項９に記載の装置。

【請求項14】

メッシュ生成は、前記３Ｄスキャニング、４Ｄスキャニング、及び機械学習に基づく筋肉の推定及び投影を含む、請求項９に記載の装置。

【請求項15】

メッシュ生成の実行は、筋肉の変形を含むエクストリームポーズにおけるメッシュを生成するための前記３Ｄスキャニング及び４Ｄスキャニングを含む、請求項９に記載の装置。

【請求項16】

アプリケーションはさらに、形態変化の追跡のためのメッシュトラッキングを実行するために、キャプチャされた各ポーズが、ポーズ間のブレンディングのための同様の形態を持つことができるよう構成される、請求項９に記載の装置。

【請求項17】

写真及び映像を同時にキャプチャすることを含み、前記３Ｄスキャニング及び４Ｄスキャニングは役者の筋肉の変形を検知することを含む、３Ｄ及び４Ｄスキャニングのためのスキャニングボリュメトリックキャプチャシステムと、
前記ボリュメトリックキャプチャシステムからキャプチャされた前記写真及び映像を受信し、
前記３Ｄスキャニング及び４Ｄスキャニングに基づいてメッシュ生成を実行する
よう構成されるコンピューティングデバイス
を備える、システム。

【請求項18】

前記３Ｄスキャニング及び４Ｄスキャニングは、
自動的に高忠実度の極端なポーズを生成するために使用される３Ｄスキャンと、
メッシュトラッキンにブレンディングのために極端なポーズのメッシュの自動的なレジストレーションを可能にする、高い時間分解能を含む４Ｄスキャンと、
を含む、請求項１７に記載のシステム。

【請求項19】

自動的に高忠実度の極端なポーズを生成することは、前記自動高忠実度 の極端なポーズを生成するために、前記役者及び前記役者の筋肉の変形の３Ｄスキャンを使用することを含む、請求項１８に記載のシステム。

【請求項20】

４Ｄスキャニング及びメッシュトラッキングは、形状補完及び骨格駆動変形のための補正シェイプを生成するために、４Ｄスキャンされた一連のメッシュ全体で形態の対応関係を確立するために使用される、請求項１８に記載のシステム。

【請求項21】

前記ボリュメトリックキャプチャシステムはさらに、３Ｄスキャニング及び４Ｄスキャニングのための前記ボリュメトリックキャプチャシステムによって、関節及び前記役者の筋肉を識別すること及びターゲットにすることのために構成される、請求項１７に記載のシステム。

【請求項22】

メッシュ生成は、前記３Ｄスキャニング、４Ｄスキャニング、及び機械学習に基づく筋肉の評価又は投影を含む、請求項１７に記載のシステム。

【請求項23】

メッシュ生成を実行することは、筋肉の変形を含む極端なポーズにおいてメッシュを生成するために、前記３Ｄスキャニング及び４Ｄスキャニングを使用することを含む、請求項１７に記載のシステム。

【請求項24】

前記ボリュメトリックキャプチャシステムはさらに、形態変化を追跡するためのメッシュトラッキングを実行するために、キャプチャされた各ポーズが、各ポーズ間のブレンディングのために同様の形態を持てるように構成される、請求項１７に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元コンピュータービジョン及びエンターテインメント産業向けのグラフィックに関連する。より具体的には、本発明は映画、テレビ、音楽及びゲームコンテンツの作成のための三次元コンピュータービジョン及びグラフィックを、取得すること及び処理することに関連する。

【0002】

（関連出願の相互参照）
本出願は、米国特許法第１１９（ｅ）条に基づき、２０２１年４月１日に提出され、「AUTOMATIC BLENDING OF HUMAN FACIAL EXPRESSION AND FULL-BODY POSE FOR DYNAMIC DIGITAL HUMAN MODEL CREATION USING INTEGRATED PHOTO-VIDEO VOLUMETRIC CAPTURE SYSTEM AND MESH-TRACKING」と題された米国仮出願第６３／１６９，３２３の権利を主張し、これによって全ての目的に対して引用により全体が本明細書に組み込まれる。

【背景技術】

【0003】

バーチャルヒューマンは高度に手作業で、時間がかかり、かつ高価である。初めから手作りのコンピューターグラフィック（ＣＧ）アートワークよりも、最近のトレンドはマルチビューカメラ３Ｄ／４Ｄスキャナーによって、現実的なデジタルヒューマンモデルを効率良く作製することである。カメラキャプチャに基づく人間のデジタル化のための種々の３Ｄスキャナースタジオ（3Lateral、Avatta、TEN24、Pixel Light Effect、Eisko）及び４Ｄスキャナースタジオ（4DViews、Microsoft、8i、DGene）は、世界中に存在する。

【0004】

写真ベースの３Ｄスキャナースタジオは、複数配列の高精細写真カメラを含む。３Ｄスキャンの従来技術は通常、リギングされたモデルを作成するために使用され、これは変形をキャプチャしないので、アニメーション化には手作りが要求される。ビデオベースの４Ｄスキャナー（４Ｄ ＝ ３Ｄ ＋ 時間）スタジオは、複数配列の高フレームレートマシンビジョンカメラを含む。これは自然な表面の動きをキャプチャするが、固定されたビデオ及びアクションのため、これまでにない表情あるいは身体の動作を作り出すことはできない。ダミーの役者は、多くの一連の動作を行う必要があり、役者の作業量が非常に大きい。

【発明の概要】

【0005】

３Ｄ／４Ｄスキャニングのための統合された写真・ビデオボリュメトリックキャプチャシステムは、画像と映像を同時に取得することにより３Ｄスキャン及び４Ｄスキャンを取得する。高品質４Ｄスキャニング及びメッシュトラッキングのためのボリュメトリックキャプチャシステムは、形状補完及び骨格駆動変形において使用される補正シェイプ生成のために４Ｄスキャンされる一連のメッシュ全体の形態の対応関係の確立のために使用される。ボリュメトリックキャプチャシステムは、エクストリームポーズのモデリングの容易さに加えて、メッシュレジストレーション（形態の一貫性）を維持するためのメッシュトラッキングを支援する。変形を生成する、及び全ての関節のカテゴリにわたって全ての運動の種類に対して幅広い動作を使用して同様のものをキャプチャするために重要な、主要な上半身及び下半身の関節を識別することができる。ボリュメトリックキャプチャシステム及びメッシュトラッキングを使用することにより、形態変化は追跡される。キャプチャされた各ポーズは、複数のポーズ間のブレンディングをより容易に及び正確にする、同様の形態を持つ。

【0006】

一様態において、デバイスの非一時的にプログラムされた方法は、写真及び映像を同時にキャプチャすることを含む３Ｄスキャニング及び４Ｄスキャニング向けに構成されるボリュメトリックキャプチャシステムを使用することを備え、３Ｄスキャニング及び４Ｄスキャニングは、役者の筋肉の変形を検知すること、及び３Ｄスキャニング及び４Ｄスキャニングに基づいたメッシュ生成を実行することを含む。３Ｄスキャニング及び４Ｄスキャニングは、自動高忠実度のエクストリームポーズの生成に使用する３Ｄスキャン、及びメッシュトラッキングにブレンディングのためのエクストリームポーズのメッシュの自動的なレジストレーションを可能にする、高い時間分解能を含む４Ｄスキャンを備える。自動高忠実度のエクストリームポーズを生成することは、自動高忠実度のエクストリームポーズを生成するために、役者及び役者の筋肉の変形の３Ｄスキャンを使用することを含む。４Ｄスキャニング及びメッシュトラッキングは、形状補完及び骨格駆動変形のための補正シェイプ生成のための４Ｄスキャンされた一連のメッシュの形態の対応関係の確立のために使用される。前記方法はさらに、３Ｄスキャニング及び４Ｄスキャニング向けのボリュメトリックキャプチャシステムによって、役者の関節及び筋肉を識別すること及びターゲットにすることを備える。メッシュ生成は、３Ｄスキャニング、４Ｄスキャニング及び機械学習に基づく筋肉の評価又は投影を含む。メッシュ生成を実行することは、筋肉の変形を含むエクストリームポーズにおけるメッシュを生成するために、３Ｄスキャニング及び４Ｄスキャニングを使用することを含む。前記方法はさらに、キャプチャされた各ポーズが、ポーズ間のブレンディングのための同様の形態を持てるように、形態変化を追跡するメッシュトラッキングを実行することを備える。

【0007】

別の様態において、装置はアプリケーションを格納するための非一時的なメモリであって、前記アプリケーションは写真及び映像を同時にキャプチャすることを含む、３Ｄスキャニング及び４Ｄスキャニングのために構成されたボリュメトリックキャプチャシステムを使用し、３Ｄスキャニング及び４Ｄスキャニングは役者の筋肉の変形を検知すること、及び３Ｄスキャニング及び４Ｄスキャニングに基づくメッシュ生成を実行することを含む前記メモリ、並びに前記メモリへ連結されたプロセッサであって、アプリケーションを実行するために構成される前記プロセッサを備える。３Ｄスキャニング及び４Ｄスキャニングは、自動高忠実度のエクストリームポーズの生成に使用する３Ｄスキャン、及びメッシュトラッキングにブレンディングのためのエクストリームポーズのメッシュの自動的なレジストレーションを可能にする、高い時間分解能を含む４Ｄスキャンを備える。自動高忠実度のエクストリームポーズを生成することは、自動高忠実度のエクストリームポーズを生成するために、役者又は役者の筋肉の変形の３Ｄスキャンを使用することを含む。４Ｄスキャニング及びメッシュトラッキングは、形状補完及び骨格駆動変形のための補正シェイプ生成のための４Ｄスキャンされた一連のメッシュの形態の対応関係の確立のために使用される。前記アプリケーションはさらに、３Ｄスキャニング及び４Ｄスキャニングのためのボリュメトリックキャプチャシステムによって、関節及び役者の筋肉を識別すること及びターゲットにすることのために構成される。メッシュ生成は、３Ｄスキャニング、４Ｄスキャニング及び機械学習に基づく筋肉の評価又は投影を含む。メッシュ生成を実行することは、筋肉の変形を含むエクストリームポーズにおいてメッシュを生成するために、３Ｄスキャニング及び４Ｄスキャニングを使用することを含む。アプリケーションはさらに、形態変化の追跡のためのメッシュトラッキングを実行するために、キャプチャされた各ポーズが、ポーズ間のブレンディングのための同様の形態を持てるように構成される。

【0008】

別の様態において、システムは写真及び映像を同時にキャプチャすることを含み、３Ｄスキャニング及び４Ｄスキャニングは役者の筋肉の変形を検知することを含む、３Ｄ及び４Ｄスキャニングのためのボリュメトリックキャプチャシステム、並びにボリュメトリックキャプチャシステムからキャプチャされた写真と映像を受信すること、及び３Ｄスキャニング及び４Ｄスキャニングに基づいてメッシュ生成を実行することのために構成されるコンピューティングデバイスを備える。３Ｄスキャニング及び４Ｄスキャニングは、自動高忠実度のエクストリームポーズを生成するために使用される３Ｄスキャン、及びメッシュトラッキングに、ブレンディングのためのエクストリームポーズを自動的にレジストレーションすることを可能にする、高い時間分解能を含む４Ｄスキャンを含む。自動高忠実度のエクストリームポーズを生成することは、自動高忠実度のエクストリームポーズを生成するために、役者及び役者の筋肉の変形の３Ｄスキャンを使用することを含む。４Ｄスキャニング及びメッシュトラッキングは、形状補完及び骨格駆動変形のための補正シェイプを生成するための４Ｄスキャンされた一連のメッシュの形態の対応関係を確立するために使用される。ボリュメトリックキャプチャシステムはさらに、３Ｄスキャニング及び４Ｄスキャニングのためのボリュメトリックキャプチャシステムによって関節及び役者の筋肉を識別する及びターゲットにするために構成される。メッシュ生成は、３Ｄスキャニング、４Ｄスキャニング及び機械学習に基づく筋肉の評価又は投影を含む。メッシュ生成を実行することは、筋肉の変形を含むエクストリームポーズにおけるメッシュを生成するために、３Ｄスキャニング及び４Ｄスキャニングを使用することを含む。ボリュメトリックキャプチャシステムはさらに、形態変化の追跡のためのメッシュトラッキングを実行するために、キャプチャされた各ポーズが、ポーズ間のブレンディングのための同様の形態を持てるように構成される。

【図面の簡単な説明】

【0009】

【図1】いくつかの実施形態による、写真・ビデオのボリュメトリックキャプチャシステムを使用し、被写体をアニメーション化する方法のフローチャートである。

【図2】いくつかの実施形態による、ニュートラルポーズ及びエクストリームポーズを結合することによって生成されるメッシュの図である。

【図3】いくつかの実施形態による、人体解剖学とコンピューターグラフィック間の相関関係の図である。

【図4A】いくつかの実施形態による、筋肉の運動の図である。

【図4B】いくつかの実施形態による、筋肉の運動の図である。

【図5】いくつかの実施形態による、主要な筋肉のグループの例である。

【図6】いくつかの実施形態による、メッシュキャプチャのための関節に基づく動きの種類の図である。

【図7】いくつかの実施形態による、メッシュキャプチャのための関節に基づく動きの種類の図である。

【図8】いくつかの実施形態による、エクストリームポーズの例である。

【図9】いくつかの実施形態による、自動的なブレンドシェイプ抽出の図である。

【図10】いくつかの実施形態による、メッシュ生成を実行するフローチャートである。

【図11】いくつかの実施形態による、自動ブレンディング方法を実行する模範的なコンピューティングデバイスのブロック図である。

【発明を実施するための形態】

【0010】

自動ブレンディングシステムは、画像及び映像を同時に取得することによって３Ｄスキャン及び４Ｄスキャンを取得する３Ｄ／４Ｄスキャンのための統合された写真・ビデオボリュメトリックキャプチャシステムを利用する。３Ｄスキャンは、自動高忠実度のエクストリームポーズを生成するのに使用することが可能であり、前記４Ｄスキャンは、ブレンディングのためのエクストリームポーズのメッシュを自動的にレジストレーションするためのメッシュトラッキングを可能にする、高い時間分解能を含む。

【0011】

高品質４Ｄスキャニング及びメッシュトラッキングのためのボリュメトリックキャプチャシステム（写真・ビデオベースの）は、補正用の形状を生成するための４Ｄスキャンされた一連のメッシュにわたる形態の対応関係を確立するのに使用することができ、ここで補正用の形状は形状補完及び骨格駆動変形（skeleton driven deformation）に用いられる。写真・ビデオシステムは、レジストレーションを支援するが手作業の形状生成を有する手作りの形状モデリング、及び形状生成を支援するがレジストレーションは支援しない３Ｄスキャニングに基づくアプローチとは異なり、エクストリームポーズのモデリングの容易さに加えて、メッシュレジストレーション（形態の一貫性）を維持するためのメッシュトラッキングを支援する。

【0012】

本明細書で説明する方法は、「写真・ビデオボリュメトリックキャプチャシステム」からの写真・ビデオキャプチャに基づく。写真・ビデオベースのキャプチャは、２０１９年１２月２０日に提出された、「PHOTO-VIDEO BASED SPATIAL-TEMPORAL VOLUMETRIC CAPTURE SYSTEM FOR DYNAMIC 4D HUMAN FACE AND BODY DIGITIZATION」と題されるＰＣＴ特許出願 ＰＣＴ／ＵＳ２０１９／０６８１５１において説明されており、その全体は参照により全ての目的のためにここに組み込まれる。上記出願において説明されているように、写真・ビデオキャプチャシステムは僅かな時間で高忠実度のテクスチャをキャプチャすることが可能で、写真をキャプチャする間に映像がキャプチャされ、このビデオは散在する写真の間での対応（例えば推移）を確立するのに使用することができる。この対応する情報は、メッシュトラッキングを実行するために使用することができる。

【0013】

上半身と下半身の主要な関節を特定することが可能であり、このことは、すべての種類の関節のすべての種類の動きに対する広範囲のモーションを用いて変形を生成し及び変形をキャプチャするのに重要である。関節は、筋肉の変形において使用することができる。例えば、どのように関節が動くか、どのように関節に近い筋肉が変形するかを知ることにより、骨格／関節の情報を、メッシュ生成に使用される筋肉の変形のために使用することができる。さらなる例として筋肉の変形の映像を持っていることによって取得された画像及び映像を使用することが可能で、筋肉の変形のメッシュをより正確に生成することができる。

【0014】

写真・ビデオシステム及びメッシュトラッキングを使用することで、形態変化を追跡できる。このように、キャプチャされた各ポーズは同じ形態を有し、これにより複数のポーズ間のブレンディングが容易にかつ正確になる。

【0015】

図１は、いくつかの実施形態にもとづく写真・ビデオのボリュメトリックキャプチャシステムを使用して被写体をアニメーション化する方法のフローチャートを示す。ステップ１００において、メッシュ作成／生成は、統合されたボリュメトリック写真・ビデオシステムを使用して、メッシュ作成／生成が実行される。メッシュ生成には、ブレンディングのためのエクストリームポーズのモデリング及びレジストレーションが含まれる。説明されるように、３Ｄ／４Ｄスキャンのための統合された写真・ビデオボリュメトリックキャプチャシステムは、同時に被写体／役者の画像及び映像を取得することによって、３Ｄスキャン及び４Ｄスキャンを取得する。３Ｄスキャンは、自動高忠実度のエクストリームポーズを生成するために使用されることが可能で、４Ｄスキャンはメッシュトラッキングにブレンディングのためのエクストリームポーズのメッシュを自動的にレジストレーションさせることができるようになる、高い時間分解能を含む。ステップ１０２において、骨格フィッティングが実行される。骨格フィッティングは、関連するマーカーの軌跡に基づくなどの任意の手法で実行することができる。ステップ１０４において、スキンウェイトペイントが行われる。スキンウェイトペイントは、肌の各セグメントの重みを決定し、それに応じてペイントするなどの任意の手法で実行することができる。ステップ１０４において、アニメーション化が行われる。アニメーション化は、任意の手法で実行される。実施様態によって、各ステップは手作業、半自動、及び自動で行うことができる。いくつかの実施形態では、より少ない又は追加のステップが実行される。いくつかの実施形態では、ステップの順番が変えられる。

【0016】

図２は、いくつかの実施形態によって、ニュートラルポーズ及びエクストリームポーズ組み合わせて生成されるメッシュの例を示す図である。腕を下して、腕を上げて、又は腕を横に伸ばして立っているといった任意の標準的なポーズをニュートラルボーズとすることができる。エクストリームポーズは、被写体がスタンダードポーズとスタンダードポーズの間で動くときのようなポーズである。エクストリームポーズは人間の筋肉の特定の部位をターゲットとすることによってキャプチャされ、これによりゲーム開発の過程で極端な形状の生成を可能にする。人体の全ての筋肉のグループをターゲットにして写真・ビデオシステム及びメッシュトラッキングを使用することによって、グラフィックゲーム開発の過程におけるキャプチャ及びメッシュのレジストレーションを維持するという問題を解決することができる。

【0017】

新しいビデオゲームを開発するときに、そのゲームのためのモデルがキャプチャされる。特定の動作やアクションの演技を記録するために役者がスタジオに来るのは、通常一回である。スタジオは、写真・ビデオボリュメトリックキャプチャシステムを使用して、全ての役者の筋肉の変形を包括的にキャプチャする。さらに、人体に起こる既存の運動学的な動きと変形の種類を使用することにより、対応するメッシュに同様の変形を行わせることができる。システムは、以前にキャプチャしたニュートラルポーズ及び追加でキャプチャしたポーズを使用して、人間の運動／変形と同じように、モデルを変形させることができる。さらに、運動学の運動、変形、及び／又は他の知識及びデータを用いて、システムをトレーニングすることができる。

【0018】

図３は、いくつかの実施形態による人体解剖学とコンピューターグラフィックとの間の相関関係の例を示す図である。人体解剖学において、筋骨格の動作は、人の運動皮質からの信号を受信することを含んでいる。そのときに筋肉の変形が生じ、筋肉が骨を引きつけることによって関節／骨の運動を可能にする。加えて、肌/脂肪の運動がある。コンピューターグラフィックのメッシュでは、特に関節／骨の運動を行うことによって、モーションドライバーがアニメーションキャラクターの運動をトリガーする。そしてメッシュ変形（Skeletal Subspace Deformation（ＳＳＤ））が起こり、続いてメッシュ変形（Pose Space Deformation（ＰＳＤ））が起こる。人体解剖学とコンピューターグラフィックを用いて生成されるメッシュとの間には、明らかな相関関係が見られる。

【0019】

図４Ａ－Ｂは、いくつかの実施形態における筋肉の動きを例を示す図である。人体の部位は、首で曲がる頭、手首で曲がる手、指関節で曲がる指、膝で曲がる脚、及び足首で曲がる足のように、図示のように関節で曲がる。いくつかの実施形態において、全ての関節の運動は１２のカテゴリへ当てはめることができる。いくつかの実施形態において、関節の運動をカテゴリへ分類することにより、分類された運動に基づいて正確な筋肉の変形を生成することができる。例えば、キャラクターが膝を曲げるとき、脚の特定の筋肉が変形するが、機械学習を使用して、正しい筋肉を適切な時間に変形させることができる。この筋肉の運動は、役者が行う、動作範囲を含む種類の運動である。筋肉の運動は、キャプチャのターゲットとなる。[Figures 4A-B, DeSaix, Peter, et al. "Anatomy & Physiology (OpenStax)." (2013). (Retrieved from https://openlibrary-repo.ecampusontario.ca/jspui/handle/123456789/331)]

【0020】

図５は、いくつかの実施形態による、主要な筋肉のグループの例を示す。上半身及び下半身はそれぞれ４つの関節を持つ（手指／足指の関節を除く）。上半身の関節は、肩、肘、首及び手を含み、下半身の関節は、胴、腰、膝、及び足首を含む。各関節は対応する筋肉のグループを持つ。説明されるように、これらの対応する筋肉のグループは、キャラクターが動くときに変形する。下半身及び上半身の筋肉は、役者が動くときのキャプチャの主要なターゲットである。

【0021】

図６は、いくつかの実施形態による、メッシュキャプチャのための、関節に基づく動きの種類例を示す図である。多くの異なる動きの種類があり、上半身及び下半身の関節のそれぞれに対して運動の角度範囲（０から１８０度）が変化する。種々の動きの種類を含むことによって所望の筋肉をキャプチャすることができ、後にメッシュを生成する際に利用される。

【0022】

図７は、いくつかの実施形態による、メッシュキャプチャのための関節に基づく動きの種類の例を示す図である。１２の動きの種類のうちの２つが示される（屈曲／伸長及び回内／回外）。いくつかの実施形態において、動作の角度範囲は、０度，９０度及び１８０度から選択可能であり、いくつかの実施形態において、動作の角度範囲を、特定の値の角度または分数の角度のように、より細かく調整することが可能である。

【0023】

図８は、いくつかの実施形態による、エクストリームポーズの例を示す図である。画像８００は、腕を横に上げる、腰の下から頭の上まで腕を上げる、及び腕を前に出す、といった６つの運動の種類を示す。画像８０２は４つの関節及びターゲットとなる筋肉を示す。

【0024】

図９は、いくつかの実施形態による、自動ブレンドシェイプ抽出を例示する図である。ポーズパラメータ９００は、顔アクションユニット９０２と組み合わされて、４Ｄ追跡されたメッシュ９０４となる。自動ブレンドシェイプ抽出の方法は顔の動きの４Ｄスキャンを使用し、これによりキャラクター作成プロセスを促進して制作コストを削減する。４Ｄ顔スキャンの方法には、２０２１年８月２５日に提出され、「PRESERVING GEOMETRY DETAILS IN A SEQUENCE OF TRACKED MESHES」と題された米国出願第１７／４１１，４３２などを使用することができ、この出願の全体は参照によりその全ての目的に対して本明細書に組み込まれる。これは、９０４に示されるような、動く顔の、高品質４Ｄ追跡されたメッシュを提供し、ポーズパラメータ９００を、追跡された４Ｄメッシュから得ることもできる。ユーザは、ポーズの再現のために、制御点又は骨を使用してもよい。[Figure 9, center figure is from P.Ekman, Wallace V. Friesen, Joseph C. Hager, “Facial action coding system: A technique for the measurement of facial movement>>Psychology 1978, 2002. ISBN 0-931835-01-1 1.]

【0025】

顔アクションユニットは興味深い。利用可能な種々の異なる表情を含む４Ｄ追跡されたメッシュを用いて、キャラクター特有の一組の顔アクションユニットを自動的に生成することができる。これは、４Ｄメッシュの、動的なポーズパラメータ及び静的なアクションユニットへの分解とみなすことが可能で、ここではアクションユニットのみ未知である。分割の問題については、機械学習技術を利用することができる。

【0026】

図１０は、いくつかの実施形態による、メッシュ生成を実行するフローチャートを例示する。ステップ１０００において、高品質３Ｄ／４Ｄスキャニングのために、ボリュメトリックキャプチャシステムを利用することができる。ＰＣＴ特許出願 ＰＣＴ／ＵＳ２０１９／０６８１５１で説明されているように、ボリュメトリックキャプチャシステムは高品質３Ｄ／４Ｄスキャニングのために、写真及び映像を同時に取得することができる。高品質３Ｄ／４Ｄスキャニングは、高品質モデリングのためのより高密度のカメラビューを含む。いくつかの実施形態において、ボリュメトリックキャプチャシステムを利用する代わりに、他の３Ｄコンテンツ及び時間情報を取得するためのシステムが利用される。例えば、少なくとも２つの別個の３Ｄスキャンが取得される。さらなる例として、別個の３Ｄスキャンは、キャプチャ及び／又はダウンロードすることができる。

【0027】

キャプチャ時間の期間に、関節及び筋肉の運動及び変形が取得される。例えば、特定の筋肉及び筋肉の特定の変形が時間の経過に伴いキャプチャされる。キャプチャ時間の期間に、役者の特定の関節及びその関節に対応する筋肉をターゲットとすることができる。例えば、ターゲットの被写体／役者は動くことを要求され、そして筋肉が変形する。筋肉のこの変形は、静的に又は動作中にキャプチャされる。運動及び変形から取得されるこの情報は、システムが関節及び筋肉の情報を使用してキャラクターの任意の運動を実行できるように、システムの学習に使用することができる。非常に複合的な状況では、アニメーターがこれを行うのは非常に困難である。任意の複合的な筋肉の変形は、モデリングステージの間に学習される。これにより、アニメーションステージでの合成が可能になる。

【0028】

ステップ１００２において、メッシュ生成が実行される。スキャニングのために高品質情報がキャプチャされると、エクストリームポーズのモデリング及びブレンディングのためのレジストレーションを含むメッシュ生成が実行される。３Ｄスキャン情報を用いて、自動的に高品質なエクストリームポーズを生成することができる。例えば、キーフレームとキーフレームの間のフレームは、キーフレームとキーフレームの間のフレーム情報を含む４Ｄスキャン情報を使用して、適切に生成することができる。４Ｄスキャン情報の高い時間分解能は、ブレンディングのためのエクストリームポーズのメッシュを自動的にレジストレーションするためのメッシュトラッキングを可能にする。他の例として、４Ｄスキャンは時間の経過に伴う筋肉の変形のメッシュ生成を可能にする。同様に、対応する筋肉及び筋肉の変形情報に加えて関節情報をも含む機械学習を用いて、キャプチャシステムによって運動が取得されない場合にも、筋肉の変形の情報を含むメッシュを生成することができる。例えば、役者がキャプチャのために、立って垂直にジャンプする動作及び走る動作を要求されたが、キャプチャシステムが役者の走りながらのジャップする動作を取得しなかったとする。しかしながら、立って垂直にジャンプする動作及び走る動作の間の筋肉の変形を含む取得された情報に基づいて、そして関節の知識及びその他の生理学的情報を有する機械学習を用いて、詳細な筋肉の変形を含む走りながらのジャンプのためのメッシュを生成することができる。いくつかの実施形態において、メッシュ生成には、３Ｄスキャニング、４Ｄスキャニング及び機械学習に基づく筋肉の評価又は投影が含まれる。

【0029】

変形の生成及び変形のキャプチャにとって重要な上半身及び下半身の主要な関節は、全ての関節のカテゴリにわたる全ての種類の運動に対する幅広い動作を用いて、識別することができる。

【0030】

ボリュメトリックキャプチャシステム及びメッシュトラッキングを使用することで、形態変化を追跡することができる。よって、キャプチャされた各ポーズは同様の形態を有することになり、これにより複数のポーズの間でのブレンディングはより簡単かつより正確になる。ターゲットとされた関節及び筋肉は、メッシュを生成するときに利用することが可能となる。

【0031】

いくつかの実施形態において、メッシュ生成には、３Ｄスキャン情報に基づく静的なメッシュ生成が含まれ、このメッシュは、４Ｄスキャン情報を使用することで改変され／アニメーション化することができる。例えば、メッシュが時間的に移動すると、４Ｄスキャン情報及び／又は機械学習の情報のビデオコンテンツから、追加のメッシュ情報を確立／生成することができる。説明されるように、アニメーション化されたメッシュの各フレームの間での遷移は、メッシュトラッキング及びブレンディングが円滑になるように、形態を維持することができる。言い換えると、形状補完及び骨格駆動変形に使用される補正シェイプを生成するために、４Ｄスキャンされた一連のメッシュにわたって形態の対応関係が確立される。

【0032】

いくつかの実施形態においては、より少ない又は追加のステップが実行される。いくつかの実施形態においては、ステップの順番が変えられる。

【0033】

図１１は、いくつかの実施形態によって、自動ブレンディング方法を実行する好ましいコンピューティングデバイスのブロック図の例を示す。コンピューティングデバイス１１００は、画像や映像のような情報の取得、格納、演算、処理、通信、及び／又は表示に使用することができる。コンピューティングデバイス１１００は、任意の態様の自動ブレンディングを実行することができる。一般に、コンピューティングデバイス１１００の実行に適するハードウェア構成には、ネットワークインタフェース１１０２、メモリ１１０４、プロセッサ１１０６、Ｉ／Ｏデバイス１１０８、バス１１１０及びストレージデバイス１１１２が含まれる。十分な速度の適切なプロセッサが選ばれている限り、プロセッサの選択は重要でない。メモリ１１０４は、当技術分野で周知の一般的なコンピュータメモリとすることができる。ストレージデバイス１１１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高密度ディスク／ドライブ、ウルトラ-HD ドライブ、フラッシュメモリカード、その他いずれかのストレージデバイスを含むことができる。コンピューティングデバイス１１００は、１つ又は複数のネットワークインタフェース１１０２を含むことができる。ネットワークインタフェースの一例として、イーサネット又はその他のＬＡＮに接続されるネットワークカードを含むことができる。Ｉ／Ｏデバイス１１０８としては、１つ又は複数のキーボード、マウス、モニター、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインタフェース及びその他のデバイスを含むことがでる。自動ブレンディング方法の実行に使用される自動ブレンディングアプリケーション１１３０は、アプリケーションが一般的に実行されるように、ストレージデバイス１１１２及びメモリ１１０４の中に格納され、実行される。コンピューティングデバイス１１００には、図１１に示されるより多い又はより少ないコンポーネントを含むことができる。いくつかの実施形態では、自動ブレンディングハードウェア１１２０が含まれる。図１１のコンピューティングデバイス１１００には自動ブレンディング方法のためにアプリケーション１１３０及びハードウェア１１２０が含まれているが、この自動ブレンディング方法は、ハードウェア、ファームウェア、ソフトウェア、又はそれらのいずれかを組み合わせたコンピューティングデバイス上で実行することができる。例えば、いくつかの実施形態において、自動ブレンディングアプリケーション１１３０はメモリにプログラムされ、プロセッサを使用して実行される。他の例として、いくつかの実施形態において、自動ブレンディングハードウェア１１２０は、自動ブレンディング方法を実行するように特別に設計されたゲートを含むプログラムされたハードウェアロジックである。

【0034】

いくつかの実施形態において、自動ブレンディングアプリケーション１１３０は、いくつかのアプリケーション及び／又はモジュールを含む。いくつかの実施形態において、モジュールは同様に１つ又は複数のサブモジュールを含む。いくつかの実施形態において、より少ない又は追加のモジュールが含まれうる。

【0035】

コンピューティングデバイスの適切な例としては、パーソナルコンピューター、ラップトップコンピューター、コンピューターワークステーション、サーバ、メインフレームコンピューター、ハンドヘルドコンピューター、パーソナルデジタルアシスタント、セルラー／モバイル電話、スマートアプライアンス、ゲーミングコンソール、デジタルカメラ、デジタルカムコーダー、カメラフォン、スマートフォン、ポータブルミュージックプレーヤー、タブレットコンピューター、モバイルデバイス、ビデオプレーヤー、ビデオディスクライター／プレーヤー（例えばＤＶＤライター／プレーヤー、高精細度ディスクライター／プレーヤー、ウルトラＨＤディスクライター／プレーヤー）、テレビ、ホームエンターテインメントシステム、拡張現実デバイス、仮想現実デバイス、スマートジュエリー（例えば、スマートウォッチ）、乗物（例えば、自動運転乗物）又は他の適するコンピューティングデバイスが含まれる。

【0036】

ここで説明された自動ブレンディング方法を利用するために、デジタルカメラ／カムコーダー／コンピューターのようなデバイスが、コンテンツを取得するために使用され、さらに同じデバイス若しくは１つ又は複数の追加のデバイスがコンテンツを解析する。自動ブレンディング方法は、ユーザ自身によって、又はユーザの関与無しに自動ブレンディングを行うように自動的に実行されうる。

【0037】

この自動ブレンディング方法を実行することにより、より正確及びより効率の良い自動ブレンディング及びアニメーション化の方法を提供される。自動ブレンディング方法は、レジストレーションを支援するが手作業の形状生成を有する手作りの形状モデリング、及び形状生成を支援するが登レジストレーションは支援しない３Ｄスキャンに基づくアプローチとは異なるエクストリームポーズのモデリングの容易さに加えて、メッシュレジストレーション（形態の一貫性）を維持するためのメッシュトラッキングを支援する写真・ビデオシステムを利用する。写真・ビデオシステム及びメッシュトラッキングを使用することにより、形態変化を追跡することができる。よって、キャプチャされた各ポーズは、複数のポーズ間のブレンディングをより簡単及び正確にする同様の形態を持つ。

【0038】

統合された写真・ビデオボリュメトリックキャプチャシステム及びメッシュトラッキングを使用する動的デジタルヒューマンモデル作成のための、人の表情及び全身のポーズの自動ブレンディングのいくつかの実施形態
（第１項）
デバイスに非一時的にプログラムされた方法であって、
写真及び映像を同時にキャプチャすることを含む３Ｄスキャニング及び４Ｄスキャニングのために構成されたボリュメトリックキャプチャシステムを使用する段階であって、前記３Ｄスキャニング及び４Ｄスキャニングは役者の筋肉の変形を検知することを含むステップと、
３Ｄスキャニング及び４Ｄスキャニングに基づいて、メッシュ生成を実行するステップと、
を備える方法。
（項目２）
前記３Ｄスキャニング及び４Ｄスキャニングは、
自動高忠実度のエクストリームポーズを生成する３Ｄスキャンと、
メッシュトラッキングに、自動的にブレンディングのためのエクストリームポーズのメッシュをレジストレーションすることを可能にする、高時間分解能を含む４Ｄスキャンと、
を含む、項目１に記載の方法。
（項目３）
自動高忠実度のエクストリームポーズを生成することは、前記自動高忠実度のエクストリームポーズを生成するために、前記役者及び前記役者の筋肉の変形の３Ｄスキャンを使用することを含む、項目２に記載の方法。
（項目４）
４Ｄスキャニング及びメッシュトラッキングは、形状補完及び骨格駆動変形のために補正シェイプを生成するための４Ｄスキャンされた一連のメッシュ全体で形態の対応関係を確立するために使用される、項目２に記載の方法。
（項目５）
３Ｄスキャニング及び４Ｄスキャニングのための前記ボリュメトリックキャプチャシステムによって、前記役者の関節及び筋肉を識別すること及びターゲットにすることをさらに備える、項目１に記載の方法。
（項目６）
メッシュ生成は、前記３Ｄスキャニング、４Ｄスキャニング、及び機械学習に基づく、筋肉の評価又は投影を含む、項目１に記載の方法。
（項目７）
メッシュ生成を実行することは、筋肉の変形を含むエクストリームポーズにおけるメッシュを生成するために前記３Ｄスキャニング及び４Ｄスキャニングを使用することを含む、項目１に記載の方法。
（項目８）
ポーズ間のブレンディングのためにキャプチャされる各ポーズが、同様の形態を持つことができるようにするための形態変化を追跡するためにメッシュトラッキングを実行することを備える、項目１に記載の方法。
（項目９）
アプリケーションを格納するための非一時的なメモリであって、前記アプリケーションは
写真及び映像を同時にキャプチャすることを含む、３Ｄスキャニング及び４Ｄスキャニングのために構成され、前記３Ｄスキャニング及び４Ｄスキャニングは役者の筋肉の変形を検知することを含む、ボリュメトリックキャプチャシステムシステムを使用し、及び
前記３Ｄスキャニング及び４Ｄスキャニングに基づいて、メッシュ生成を実行する、
ためのものである非一時的なメモリと、
前記メモリに連結され、前記アプリケーションを処理するために構成されるプロセッサと、
を備える、装置。
（項目１０）
３Ｄスキャニング及び４Ｄスキャニングは、
自動的に高忠実度の極端なポーズを生成するために使用される３Ｄスキャンと、
メッシュトラッキングにブレンディングのために極端なポーズのメッシュの自動的なレジストレーションを可能にする、高い時間分解能を含む４Ｄスキャンと、
を含む、項目９に記載の装置。
（項目１１）
自動高忠実度のエクストリームポーズを生成することは、自動高忠実度のエクストリームポーズを生成するために、前記役者及び前記役者の筋肉の変形の３Ｄスキャンを使用することを含む、項目１０に記載の装置。
（項目１２）
４Ｄスキャニング及びメッシュトラッキングは、形状補完及び骨格駆動変形のための補正シェイプを生成するために、４Ｄスキャンされた一連のメッシュ全体で形態の対応関係を確立するために使用される、項目１０に記載の装置。
（項目１３）
前記アプリケーションはさらに、３Ｄスキャニング及び４Ｄスキャニングのための前記ボリュメトリックキャプチャシステムによって、関節及び前駆役者の筋肉を識別すること及びターゲットにするように構成される、項目９に記載の装置。
（項目１４）
メッシュ生成は、前記３Ｄスキャニング、４Ｄスキャニング、及び機械学習に基づく筋肉の推定及び投影を含む、項目９に記載の装置。
（項目１５）
メッシュ生成の実行は、筋肉の変形を含むエクストリームポーズにおけるメッシュを生成するための前記３Ｄスキャニング及び４Ｄスキャニングを含む、項目９に記載の装置。
（項目１６）
アプリケーションはさらに、形態変化の追跡のためのメッシュトラッキングを実行するために、キャプチャされた各ポーズが、ポーズ間のブレンディングのための同様の形態を持つことができるよう構成される、項目９に記載の装置。
（項目１７）
写真及び映像を同時にキャプチャすることを含み、前記３Ｄスキャニング及び４Ｄスキャニングは役者の筋肉の変形を検知することを含む、３Ｄ及び４Ｄスキャニングのためのスキャニングボリュメトリックキャプチャシステムと、
前記ボリュメトリックキャプチャシステムからキャプチャされた前記写真及び映像を受信し、
前記３Ｄスキャニング及び４Ｄスキャニングに基づいてメッシュ生成を実行する
よう構成されるコンピューティングデバイス
を備える、システム。
（項目１８）
前記３Ｄスキャニング及び４Ｄスキャニングは、
自動的に高忠実度の極端なポーズを生成するために使用される３Ｄスキャンと、
メッシュトラッキンにブレンディングのために極端なポーズのメッシュの自動的なレジストレーションを可能にする、高い時間分解能を含む４Ｄスキャンと、
を含む、項目１７に記載のシステム。
（項目１９）
自動高忠実度のエクストリームポーズを生成することは、前記自動高忠実度のエクストリームポーズを生成するために、前記役者及び前記役者の筋肉の変形の３Ｄスキャンを使用することを含む、項目１８に記載のシステム。
（項目２０）
４Ｄスキャニング及びメッシュトラッキングは、形状補完及び骨格駆動変形のための補正シェイプを生成するために、４Ｄスキャンされた一連のメッシュ全体で形態の対応関係を確立するために使用される、項目１８に記載のシステム。
（項目２１）
前記ボリュメトリックキャプチャシステムはさらに、３Ｄスキャニング及び４Ｄスキャニングのための前記ボリュメトリックキャプチャシステムによって、関節及び前記役者の筋肉を識別すること及びターゲットにすることのために構成される、項目１７に記載のシステム。
（項目２２）
メッシュ生成は、前記３Ｄスキャニング、４Ｄスキャニング、及び機械学習に基づく筋肉の評価又は投影を含む、項目１７に記載のシステム。
（項目２３）
メッシュ生成を実行することは、筋肉の変形を含むエクストリームポーズにおいてメッシュを生成するために、前記３Ｄスキャニング及び４Ｄスキャニングを使用することを含む、項目１７に記載のシステム。
（項目２４）
前記ボリュメトリックキャプチャシステムはさらに、形態変化を追跡するためのメッシュトラッキングを実行するために、キャプチャされた各ポーズが、各ポーズ間のブレンディングのために同様の形態を持てるように構成される、項目１７に記載のシステム。

【0039】

本発明を、構造の原理及び発明の運用の理解を容易にするための詳細を組み入れて特定の実施形態の観点から説明した。特定の実施形態及びその詳細への、このような本明細書の言及は、本明細書に添付された特許請求の範囲を限定することを意図するものではない。特許請求の範囲に定義される本発明の趣旨及び範囲から外れることなしに、説明のために選択された実施形態では他の種々の変更を行うことができることは、当業者へ容易に明確に理解されるであろう。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【国際調査報告】