特許 7585027 ３Ｄモデリングにおける没入型ジェスチャを用いたエッジの選択

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-08

(45)【発行日】2024-11-18

(54)【発明の名称】３Ｄモデリングにおける没入型ジェスチャを用いたエッジの選択

(51)【国際特許分類】

   G06T 7/20 20170101AFI20241111BHJP

   G06F 3/01 20060101ALI20241111BHJP

   G06F 3/04815 20220101ALI20241111BHJP

   G06T 7/70 20170101ALI20241111BHJP

   G06T 19/00 20110101ALI20241111BHJP

【ＦＩ】

G06T7/20 300A

G06F3/01 570

G06F3/04815

G06T7/70 Z

G06T19/00 A

【請求項の数】 15

【外国語出願】

(21)【出願番号】P 2020211250

(22)【出願日】2020-12-21

(65)【公開番号】P2021131848

(43)【公開日】2021-09-09

【審査請求日】2023-11-24

(31)【優先権主張番号】19306791.5

(32)【優先日】2019-12-30

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】500102435

【氏名又は名称】ダッソー システムズ

【氏名又は名称原語表記】ＤＡＳＳＡＵＬＴ ＳＹＳＴＥＭＥＳ

(74)【代理人】

【識別番号】110000752

【氏名又は名称】弁理士法人朝日特許事務所

(72)【発明者】

【氏名】フィボス ドガニス

【審査官】藤原 敬利

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０１４６５９９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１０／０２３４０９４（ＵＳ，Ａ１）

【文献】特開２０１９－１９２２４２（ＪＰ，Ａ）

【文献】国際公開第２０１４／１２８７８８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３３－ ３／０３９

Ｇ０６Ｆ ３／０４８－ ３／０４８９５

Ｇ０６Ｆ ３０／００ － ３０／３９８

Ｇ０６Ｆ １１１／００ －１１９／２２

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｔ １１／００ － １９／２０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ４０／１６ 、 ４０／２０

(57)【特許請求の範囲】

【請求項1】

ＣＡＤシステムの３Ｄ没入環境における３Ｄオブジェクトの、それぞれが前記３Ｄ没入環境において配向されている複数のエッジから、エッジを選択するためのコンピュータによって実施される方法であって、
前記３Ｄ没入環境において前記３Ｄオブジェクトを表示すること（Ｓ１０）と、
親指以外のすべての指を折り曲げた手のジェスチャを検出すること（Ｓ２０）と、
前記３Ｄ没入環境において、前記手における折り曲げた指で形成された配向線を決定すること（Ｓ３０）と、
前記配向線と最も近い向きを有する前記３Ｄオブジェクトのエッジを識別すること（Ｓ４０）と、を含む
ことを特徴とするコンピュータによって実施される方法。

【請求項2】

前記３Ｄオブジェクトの各エッジおよび前記配向線は、方向をさらに有し、前記識別することは、前記配向線の方向と最も近い方向を有する前記３Ｄオブジェクトのエッジを識別することをさらに含む
ことを特徴とする請求項１に記載のコンピュータによって実施される方法。

【請求項3】

前記識別することの前に、前記３Ｄ没入環境において前記手の手のひらまたは手の甲で形成され、法線を含む配向平面を決定することをさらに含み、
前記３Ｄオブジェクトの各エッジおよび前記配向線は、前記３Ｄ没入環境において位置をさらに有し、前記識別すること（Ｓ４０）は、

【数19】

を満たす関数ｆを最小化することをさらに有し、
ここで、
Ｅｄｇｅは着目エッジであり、

【数20】

かつ

【数21】

かつ

【数22】

であり、
｜｜ＦＨ｜｜は、前記着目エッジＥｄｇｅの位置と前記手の配向平面の位置Ｈとの、前記３Ｄ没入環境におけるユークリッド距離であり、

【数23】

は、前記着目エッジＥｄｇｅの方向と前記手における折り曲げた指で形成された前記配向線の方向との前記３Ｄ没入環境における角度である
こと特徴とする請求項２に記載のコンピュータによって実施される方法。

【請求項4】

前記関数ｆの項｜｜ＦＨ｜｜は、｜｜ＦＨ’｜｜によって置き換えられ、Ｈ’は、

【数24】

によって計算され、
ここで、
Ｈ’は、仮想の手の配向平面の位置であり、
Ｅは、ユーザの視点の位置であり、
Ｈは、ユーザの手の配向平面の位置であり、
ＥＨは、ＥからＨへのベクトルであり、
Ｏｍａｘは、Ｅから最も遠い前記３Ｄオブジェクトのエッジの位置であり、
Ｈｍａｘは、ユーザの身体の横断面におけるＥから最も遠いユーザの手の中心の位置であり、

【数25】

であり、
｜｜ＥＯｍａｘ｜｜は、ＥからＯｍａｘへのベクトルのノルムであり、
｜｜ＥＨｍａｘ｜｜は、ＥからＨｍａｘへのベクトルのノルムである
ことを特徴とする請求項３に記載のコンピュータによって実施される方法。

【請求項5】

前記関数ｆの項｜｜ＦＨ｜｜は、エッジの位置と、頭部または利き目の中心または両目の中間の点から３Ｄモデルの中心に投射される光線と前記３Ｄモデルとの少なくとも１つの交点との、前記３Ｄ没入環境におけるユークリッド距離をさらに含む
ことを特徴とする請求項４に記載のコンピュータによって実施される方法。

【請求項6】

前記識別することは、
前記配向線と最も近い向きを有する前記３Ｄオブジェクトのエッジを決定すること（Ｓ４００）と、
前記決定されたエッジの１つまたは複数のｎ隣接エッジであって、前記決定されたエッジと選択可能なエッジの部分集合を形成する１つまたは複数の隣接エッジを計算すること（Ｓ４１０）と、
前記選択可能なエッジの部分集合から、前記配向線と最も近い向きを有する前記３Ｄオブジェクトのエッジを識別すること（Ｓ４２０）と、を含む
ことを特徴とする請求項１から請求項５のいずれか１項に記載のコンピュータによって実施される方法。

【請求項7】

選択可能なエッジの部分集合のエッジの第１のレンダリングを修正することをさらに含む
ことを特徴とする請求項６に記載のコンピュータによって実施される方法。

【請求項8】

前記識別されたエッジの第２のレンダリングを修正することをさらに含む
ことを特徴とする請求項１から請求項７のいずれか１項に記載のコンピュータによって実施される方法。

【請求項9】

前記３Ｄオブジェクトの複数のエッジは、三角形および／または四角形および／または位相面および／またはパラメトリック曲面および／またはプロシージャル曲面から選択された少なくとも１つの一部である
ことを特徴とする請求項１から請求項８のいずれか１項に記載のコンピュータによって実施される方法。

【請求項10】

前記手のジェスチャを検出すること（Ｓ２０）は、親指を除くすべての指を折り曲げることと、親指の外転とを含む
ことを特徴とする請求項１から請求項９のいずれか１項に記載のコンピュータによって実施される方法。

【請求項11】

前記３Ｄオブジェクトの前記識別されたエッジを、前記手のジェスチャが親指の内転をさらに含むことを検出することによって選択することをさらに含む
ことを特徴とする請求項１から請求項１０のいずれか１項に記載のコンピュータによって実施される方法。

【請求項12】

前記手のジェスチャが親指以外のすべての指を拡げることをさらに含むことを検出することと、
前記選択されたエッジを選択解除することと、をさらに含む
ことを特徴とする請求項１１に記載のコンピュータによって実施される方法。

【請求項13】

前記手のジェスチャを検出することは、
人差し指、中指、薬指および小指の末節骨が前記手のひらと実質的に接触していることを検出することを、さらに含む
ことを特徴とする請求項１から請求項１２のいずれか１項に記載のコンピュータによって実施される方法。

【請求項14】

請求項１から請求項１３のいずれか１項に記載の方法をコンピュータが実施できるようにする命令を含むコンピュータプログラム。

【請求項15】

ディスプレイと、メモリと通信可能に結合された処理回路を備えるシステムであって、前記メモリは、請求項１４に記載のコンピュータプログラムを記憶していることを特徴とするシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータプログラムおよびシステムの分野に関し、より詳細には、３Ｄ没入環境において３Ｄオブジェクトの複数のエッジからエッジを選択する方法に関する。

【背景技術】

【0002】

オブジェクトの設計、エンジニアリングおよび製造のために、多くのシステムおよびプログラムが市場に提供されている。ＣＡＤは、コンピュータ支援設計（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ）の略語であり、例えば、オブジェクトを設計するためのソフトウェアソリューションに関する。ＣＡＥは、コンピュータ支援エンジニアリング（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｅｎｇｉｎｅｅｒｉｎｇ）の略語であり、例えば、将来の製品の物理的挙動をシミュレートするためのソフトウェアソリューションに関する。ＣＡＭは、コンピュータ支援製造（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｍａｎｕｆａｃｔｕｒｉｎｇ）の略語であり、例えば、製造プロセスおよび動作を定義するためのソフトウェアソリューションに関する。このようなコンピュータ支援設計システムでは、グラフィカル・ユーザ・インターフェースは、技術の効率に関して重要な役割を果たす。これらの技術は、製品ライフサイクル管理（Ｐｒｏｄｕｃｔ Ｌｉｆｅｃｙｃｌｅ Ｍａｎａｇｅｍｅｎｔ：ＰＬＭ）システムに組み込むことができる。ＰＬＭとは、企業が、拡張エンタープライズの概念全体にわたって、製品データを共有し、共通の工程を適用し、構想に始まり製品寿命の終わりに至る製品開発のための企業知識を活用するのを支援するビジネス戦略を指す。ダッソー・システムズが提供するＰＬＭソリューション（製品名ＣＡＴＩＡ、ＥＮＯＶＩＡ、ＤＥＬＭＩＡ）は、製品エンジニアリング知識をオーガナイズするエンジニアリング・ハブ、製品エンジニアリング知識を管理する製造ハブ、およびエンジニアリング・ハブと製造ハブの両方に対するエンタープライズ統合と接続を可能にするエンタープライズ・ハブを提供する。全体として、システムは、製品、工程、リソースを結ぶオープンなオブジェクトモデルを提供し、最適化された製品定義、製造準備、生産およびサービスを推進する、動的な知識ベースの製品作成および意思決定支援を可能にする。

【0003】

ＣＡＤアプリケーションは、正確な３Ｄオブジェクトをインタラクティブに作成することを可能にする。３Ｄオブジェクトが対応する現実のオブジェクトを忠実に再現する場合、３Ｄオブジェクトは正確であると考えられる。１つの基準は、３Ｄオブジェクトのエンベロープと現実のオブジェクトのエンベロープとの差を最小化することである。したがって、ＣＡＤアプリケーションで作成された３Ｄオブジェクトは、従来、３Ｄオブジェクトの粗い部分のための多くの小さな位相要素を含む。設計のために関心のある位相要素を選択するためのいくつかの手法が実施されている。従来、マウスベースの手法が使用される。

【0004】

ここで、小さな位相要素は、小さな可視表面を有する要素として定義され得る。マウスベースの手法では、小さな位相要素は、小さなクリック可能な表面を有する要素として定義され得る。言い換えれば、マウスベースの手法における小さな位相要素は、ユーザがマウス位置を定義するために非常に正確である必要があるため、選択することが困難である。位相要素は、また、重なり合うことが多く、かつ／あるいは部分的に、あるいは完全に閉塞され得る。したがって、位相要素が小さくなくても、マウスベースの手法を用いたそれらのクリック可能な表面は小さく、またはゼロにさえなり得る。

【0005】

３Ｄアプリケーションでは、よく知られている問題は、ユーザがどの要素を選択したいかに関する曖昧さである。ＣＡＤアプリケーションでは、マウスベースの手法は、カーソルによって指し示される最小の要素を選択する傾向があるが、これは曖昧さを完全に解決するものではない。この曖昧さを低減するために、よく知られた解決策は、ユーザに、どのタイプの位相要素を選択したいかを指定させることである。この情報を使用して、要素は選択中にタイプによってフィルタリングされる。この解決策は時間が掛かり、例えば２Ｄパネルで利用可能な様々なフィルタを表示する必要がある。要素の選択中の別の問題は、１つの要素を選択するのに必要な必須クリック数を減らすことである。例えば、３Ｄオブジェクトの関心のある要素を選択するために、関心のあるゾーンを拡大することが必要となることが多い。３Ｄシーンの視点を変更することは、関心のある要素が閉塞されるときにも必要である。これらの２つのケースは、ユーザからのいくつかのアクションを必要とし、時間がかかる。

【0006】

近年、３Ｄ設計アプリケーションにおいて、手による対話操作が重要性を増している。実際に、没入型技術における最近の進歩は、仮想現実（ＶＲ）、拡張現実（ＡＲ）および複合現実（ＭＲ）において、完全な手の追跡を広く利用可能にしている。仮想現実は、ソフトウェアを用いて作成され、ユーザが信念を保留して、それを現実環境として受け入れるような方法でユーザに提示される人工環境として定義され得る３Ｄ没入環境である。仮想現実（ＶＲ）では、ユーザの現実の知覚は、完全に仮想情報に基づく。拡張現実（ＡＲ）および複合現実（ＭＲ）は、３Ｄ没入環境が、実際に現実である環境と、現実環境に追加された仮想オブジェクトのいくつかの層によって構成されるという意味で、仮想現実（ＶＲ）とは異なる。拡張現実（ＡＲ）および複合現実（ＭＲ）では、ユーザは、現実の知覚を向上させる追加のコンピュータ生成情報を提供される。一方、仮想現実（ＶＲ）では、周囲環境は完全に仮想的である。拡張現実と複合現実の違いは、ユーザが拡張現実（ＡＲ）における仮想オブジェクトと直接対話することができないことである。複合現実では、追加のコンピュータ生成情報が一緒に「複合」されて、現実的な環境が生成される。ユーザは、この環境をナビゲートし、現実オブジェクトと仮想オブジェクトの両方と対話することができる。

【0007】

例えば、拡張現実（ＡＲ）は、物理的テーブル上に仮想３Ｄボックスを表示する能力を有する。複合現実（ＭＲ）では、ユーザはボックスを持ち上げて開くことができる。

【0008】

仮想現実、拡張現実および複合現実の定義において、現実オブジェクトは、環境世界に物理的に存在するオブジェクトである。

【発明の概要】

【発明が解決しようとする課題】

【0009】

既存のＣＡＤアプリケーションのいずれも、没入環境において、手による自然な対話操作によって正確な３Ｄオブジェクトを作成させることができない。

【0010】

これに関連して、ＣＡＤシステムの３Ｄ没入環境において、３Ｄオブジェクトのエッジなどの位相要素を手のジェスチャを使用することによって選択するために改善された方法が依然として必要とされている。

【課題を解決するための手段】

【0011】

したがって、ＣＡＤシステムの３Ｄ没入環境において、３Ｄオブジェクトの複数のエッジからエッジを選択する、コンピュータによって実施される方法が提供される。各エッジは、３Ｄ没入環境において配向されている。本方法は
前記３Ｄオブジェクトを前記３Ｄ没入環境で表示することと、
親指以外の折り曲げたすべての指を含む手のジェスチャを検出することと、
前記３Ｄ没入環境において前記手における折り曲げた指で形成された配向線を決定することと、
前記配向線と最も近い向きを有する前記３Ｄオブジェクトのエッジを識別することと、を含む。

【0012】

本方法は、以下のうちの１つまたは複数を含むことができる。

【0013】

前記３Ｄオブジェクトの各エッジおよび前記配向線は方向をさらに有し、前記識別することは、前記配向線の方向と最も近い方向を有する３Ｄオブジェクトのエッジを識別することと、
前記識別することの前に、前記３Ｄ没入環境において、前記手の手のひらおよび手の甲で形成され、法線を含む配向平面を決定することであって、前記３Ｄオブジェクトの各エッジおよび前記配向線は前記３Ｄ没入環境において位置をさらに有し、前記識別することは、

【数1】

を満たす関数ｆを最小化することを有し
ここで、
Ｅｄｇｅは着目エッジであり、

【数2】

かつ

【数3】

かつ

【数4】

であり、
｜｜ＦＨ｜｜は、前記エッジＥｄｇｅの位置と前記手の配向平面の位置Ｈとの、前記３Ｄ没入環境におけるユークリッド距離であり、

【数5】

は、前記エッジＥｄｇｅの方向と前記手の前記折り曲げた指で形成される配向平面の方向との前記３Ｄ没入環境における角度である。

【0014】

前記関数ｆの項｜｜ＦＨ｜｜は、｜｜ＦＨ’｜｜によって置き換えられ、Ｈ’は

【数6】

によって計算され、
ここで、
Ｈ’は、仮想の手の配向平面の位置であり、
Ｅは、ユーザの視点の位置であり、
Ｈは、ユーザの手の配向平面の位置であり、
ＥＨは、ＥからＨへのベクトルであり、
Ｏｍａｘは、Ｅから最も遠い前記３Ｄオブジェクトのエッジの位置であり、
Ｈｍａｘは、ユーザの身体の横断面におけるＥから最も遠いユーザの手の中心の位置であり、

【数7】

であり、
｜｜ＥＯｍａｘ｜｜は、ＥからＯｍａｘへのベクトルのノルムであり、
｜｜ＥＨｍａｘ｜｜は、ＥからＨｍａｘへのベクトルのノルムである。

【0015】

前記関数ｆの項｜｜ＦＨ｜｜または｜｜ＦＨ’｜｜は、エッジの位置と、頭部または利き目の中心または両目の中間の点から３Ｄモデルの中心に投射される光線と前記３Ｄモデルとの少なくとも１つの交点との、前記３Ｄ没入環境におけるユークリッド距離をさらに含む。

【0016】

前記識別することは、
前記配向線と最も近い向きを有する前記３Ｄオブジェクトのエッジを決定することと、
前記決定されたエッジの１つまたは複数のｎ隣接エッジであって、前記決定されたエッジと選択可能なエッジの部分集合を形成する１つまたは複数の隣接エッジを計算すること（Ｓ４１０）と、
前記選択可能なエッジの部分集合から、前記配向線と最も近い向きを有する前記３Ｄオブジェクトのエッジを識別することと、を含む。

【0017】

選択可能なエッジの部分集合のエッジの第１のレンダリングを修正すること。

【0018】

前記識別されたエッジの第２のレンダリングを修正すること。

【0019】

前記３Ｄオブジェクトのエッジは、三角形および／または四角形および／または位相面および／またはパラメトリック曲面（ｐａｒａｍｅｔｏｒｉｃ ｓｕｒｆａｃｅ）および／またはプロシージャル曲面（ｐｒｏｃｅｄｕａｌ ｓｕｒａｆａｃｅ）から選択される少なくとも１つの一部である。

【0020】

前記手のジェスチャを検出することは、親指以外のすべての指の折り曲げと、親指の外転と含む。

【0021】

前記手のジェスチャが親指の内転をさらに含むことを検出することによって、前記３Ｄオブジェクトの前記識別されたエッジを選択すること。

【0022】

前記手のジェスチャが、親指以外のすべての指を拡げることと、前記選択されたエッジの選択解除とをさらに含むことを検出すること。

【0023】

前記手のジェスチャを検出することは、人差し指、中指、薬指、および小指の末節骨が、前記手のひらと実質的に接触していることを検出することをさらに含む。

【0024】

本方法を実施するための命令を含むコンピュータプログラムがさらに提供される。

【0025】

ディスプレイと、メモリと通信可能に結合された処理回路とを備えるシステムがさらに提供され、前記メモリは前記コンピュータプログラムを記憶している。

【0026】

前記コンピュータプログラムを記憶するコンピュータ可読媒体がさらに提供される。

【0027】

本発明の実施形態を、非限定的な例として、添付の図面を参照して説明する。

【図面の簡単な説明】

【0028】

【図1】本方法のフローチャートの一例を示す。

【図2】本方法のステップＳ４０のフローチャートの一例を示す。

【図3】システムの一例を示す。

【図4】デフォルト姿勢における右手の骨格の後前方図の例を示す。

【図5】検出されたジェスチャの一例を示す。

【図6】デフォルトジェスチャの一例を示す。

【図7】エッジの識別の一例を示す。

【図8】エッジの識別の別の例を示す。

【図9】手のひらまたは手の甲によって形成された配向平面の決定の例を示す。

【図10】手のひらまたは手の甲によって形成された配向平面の決定の例を示す。

【図11】仮想の手の例を示す。

【図12】仮想の手の例を示す。

【発明を実施するための形態】

【0029】

図１のフローチャートを参照すると、ＣＡＤシステムの３Ｄ没入環境において、３Ｄオブジェクトの複数のエッジからエッジを選択するための、コンピュータによって実施される方法が提案されている。各エッジは、３Ｄ没入環境において配向される。本方法は、３Ｄ没入環境において３Ｄオブジェクトを表示することを含む。本方法は、手のジェスチャを検出することをさらに含む。手のジェスチャは、親指以外のすべての指を折り曲げることを含む。本方法は、３Ｄ没入環境において手における折り曲げた指で形成された配向線を決定することをさらに含む。本方法は、配向線と最も近い向きを有する３Ｄオブジェクトのエッジを識別することをさらに含む。

【0030】

これは、手による対話操作を使用して、ＣＡＤシステムの３Ｄ没入環境において３Ｄオブジェクトの複数のエッジからエッジを選択するための改善された方法を構成する。特に、本方法は、ユーザがどの要素を選択したいかに関する曖昧さの問題を解決する。上述したように、ＣＡＤアプリケーションでは、３Ｄオブジェクトは多くの小さな要素を含む。要素を選択することは、要素のサイズまたはユーザの視点からの要素の可視表面のサイズのために、マウスベースの手法では困難であり得る。実際に、サイズが小さい場合、マウスベースの手法では、ユーザは、マウスを非常に正確に動かす、かつ／あるいは拡大する、かつ／あるいは３Ｄシーンの視点を変更する必要がある。ここで提示される方法は、この欠点を解決する。実際に、本方法は、ユーザがどの要素を選択したいかを決定するために、手のジェスチャの最中に、手における折り曲げた指で形成された線（仮想線）の向きを使用している。本方法は、また、ユーザがどの要素を選択したいかを決定するために、ユーザの手のジェスチャの最中に、手における折り曲げた指で形成された線の向きを、手の位置と組み合わせることができる。位置および向きの組み合わせを使用することによって、３Ｄオブジェクトのすべての要素が区別され、したがって、本方法を用いてユーザによって選択され得る。

【0031】

本方法は、コンピュータによって実施される。これは、本方法のステップ（または実質的にすべてのステップ）が、少なくとも１つのコンピュータ、または任意のシステムによって同様に実施されることを意味する。したがって、本方法のステップは、場合によっては完全に自動的に、または半自動的に、コンピュータによって実施される。一例においては、本方法のうちの少なくともいくつかのトリガリングは、ユーザとコンピュータとの対話を通して実施され得る。必要とされるユーザとコンピュータとの対話のレベルは、予見される自動化のレベルに依存し、ユーザの希望を実現する必要性とバランスを取ることができる。一例においては、このレベルは、ユーザ定義および／または事前定義され得る。

【0032】

例えば、検出すること（Ｓ２０）および決定すること（Ｓ３０）は、ユーザの行動に部分的に依存する。検出すること（Ｓ２０）は、親指以外のすべての指を折り曲げることを伴うユーザの手のジェスチャを含むユーザの行動の結果として実施される。決定すること（Ｓ３０）は、配向線がユーザの手における折り曲げた指（親指を除く）を伴って形成されるユーザの手のジェスチャを含むユーザの行動の結果として実施される。

【0033】

方法のコンピュータによる実施の典型的な例は、この目的のために適合されたシステムを用いて本方法を実施することである。システムは、メモリに結合されたプロセッサおよびグラフィカルユーザインタフェース（ＧＵＩ）を含むことができ、メモリは、本方法を実施するための命令を含むコンピュータプログラムを記録している。メモリはまた、データベースを記憶してもよい。メモリは、場合によってはいくつかの物理的に別個の部分（例えば、１つはプログラム用、場合によっては、１つはデータベース用）を備える、そのような記憶に適合された任意のハードウェアである。

【0034】

図３はシステムの例を示し、当該システムはクライアントコンピュータシステム、例えばユーザのワークステーションである。

【0035】

この例のクライアントコンピュータは、内部通信バス１０００に接続された中央処理装置（ＣＰＵ）１０１０と、同じくバスに接続されたランダムアクセスメモリ（ＲＡＭ）１０７０とを備える。クライアントコンピュータには、バスに接続されたビデオランダムアクセスメモリ１１００に関連付けられたグラフィック処理ユニット（ＧＰＵ）１１１０がさらに設けられる。ビデオＲＡＭ１１００は、当技術分野ではフレームバッファとしても知られている。大容量記憶装置コントローラ１０２０は、ハードドライブ１０３０などの大容量記憶装置へのアクセスを管理する。コンピュータプログラム命令およびデータを有形に具現化するのに適した大容量メモリデバイスは、例として、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスなどの半導体メモリデバイス、内部ハードディスクおよびリムーバルディスクなどの磁気ディスク、光磁気ディスク、ならびにＣＤ－ＲＯＭディスク１０４０を含む、すべての形態の不揮発性メモリを含む。前述のいずれも、特別に設計されたＡＳＩＣ（特定用途向け集積回路）によって補完されてもよく、またはそれに組み込まれてもよい。ネットワークアダプタ１０５０は、ネットワーク１０６０へのアクセスを管理する。クライアントコンピュータはまた、カーソル制御デバイス、キーボードなどの触覚デバイス１０９０を含んでもよい。カーソル制御デバイスは、ユーザがディスプレイ１０８０上の任意の所望の位置にカーソルを選択的に位置決めすることを可能にするためにクライアントコンピュータで使用される。さらに、カーソル制御デバイスは、ユーザが様々なコマンドを選択し、制御信号を入力することを可能にする。カーソル制御デバイスは、システムに制御信号を入力するための多数の信号発生装置を含む。典型的には、カーソル制御デバイスはマウスであってもよく、マウスのボタンは信号を生成するために使用される。代替的にまたは追加的に、クライアントコンピュータシステムは、感知パッドおよび／または感知スクリーンを備えてもよい。

【0036】

コンピュータプログラムは、コンピュータによって実施可能な命令を含むことができ、命令は、上記のシステムに本方法を実施させるための手段を含む。プログラムは、システムのメモリを含む任意のデータ記憶媒体に記録可能であってもよい。プログラムは、例えば、デジタル電子回路で、またはコンピュータハードウェア、ファームウェア、ソフトウェアで、またはそれらの組み合わせで実施されてもよい。プログラムは、装置として、例えば、プログラマブルプロセッサによる実施のために機械可読記憶デバイスにおいて有形に具現化される製品として実装され得る。方法ステップは、入力データに対して動作し、出力を生成することによって本方法の機能を実施するための命令のプログラムを実施するプログラマブルプロセッサによって実施され得る。したがって、プロセッサは、プログラム可能であり、データ記憶システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受信し、それらにデータおよび命令を送信するように結合され得る。アプリケーションプログラムは、高水準手続型プログラミング言語またはオブジェクト指向プログラミング言語で、あるいは必要に応じてアセンブリ言語または機械語で実施することができる。いずれの場合も、言語は、コンパイルされた言語または解釈された言語とすることができる。プログラムは、完全インストールプログラムまたは更新プログラムであってもよい。システム上でのプログラムの適用は、いずれの場合も、本方法を実施するための命令をもたらす。

【0037】

本方法は、３Ｄオブジェクトを操作する。以下では、３Ｄオブジェクトへのいかなる言及も、デジタル的にモデル化された３Ｄオブジェクトを指し、物理的な３Ｄオブジェクトを指さない。デジタル的にモデル化された３Ｄオブジェクトは、例えば（機械的な）部品または部品のアセンブリ（または、等価的に部品のアセンブリであり、部品のアセンブリは本方法の観点から部品自体として見ることができ、または本方法はアセンブリの各部品に独立して適用することができる）、またはより一般的には任意の剛体アセンブリ（例えば可動機構）など、例えばＣＡＤソフトウェアソリューションまたはＣＡＤシステムを用いた仮想設計の完了後に現実世界で製造される製品の幾何学的形状を表すことができる。ＣＡＤソフトウェアソリューションは、航空宇宙、建築、消費財、ハイテク装置、産業機器、輸送、海洋、および／または沖合のオイル／ガス生産または輸送を含む、様々な無制限の産業分野における設計を可能にする。したがって、本明細書の３Ｄモデル化オブジェクトは、地上車両（例えば、自動車および軽トラック機器、レーシングカー、オートバイ、トラックおよびモータ機器、トラックおよびバス、列車を含む）の一部、航空機（例えば、機体機器、航空宇宙機器、推進機器、防衛製品、航空機器、宇宙機器を含む）の一部、海軍車両（例えば、海軍機器、商船、沖合設備、ヨットおよび作業船、海洋設備を含む）の一部、一般機械部品（例えば、工業製造機械、大型移動機械または機器、設置機器、工業機器製品、加工金属製品、タイヤ製造製品を含む）、電気機械または電子部品（例えば、消費者電子機器、セキュリティおよび／または制御および／または計装用製品、コンピューティングおよび通信機器、半導体、医療機器および機器を含む）、消費財（例えば、家具、家庭および庭用製品、レジャー用品、ファッション製品、ハード商品小売業者の製品、ソフト商品小売業者の製品を含む）、包装（例えば、食品および飲料ならびにタバコ、美容およびパーソナルケア、家庭用製品包装を含む）などの任意の機械部品であり得る工業製品を表し得る。

【0038】

３Ｄオブジェクトは、以下の３つのタイプの位相実体、すなわち、面、エッジ、および頂点の少なくとも１つから構成され得る。定義では、面とは表面の境界付けされた部分のことである。エッジとは曲線の境界付けされた部分のことである。頂点とは、３Ｄ空間内の点のことである。これらは、以下のように互いに関連している。曲線の境界付けされた部分は、曲線上にある２つの点（頂点）によって定義される。表面の境界付けされた部分は、その境界によって定義され、この境界は表面上にある一組のエッジである。面の境界のエッジは、頂点を共有することによって接続される。面は、エッジを共有することによって接続される。２つの面は、エッジを共有する場合、隣接する。同様に、２つのエッジは、頂点を共有する場合、隣接する。面のすべてのエッジは、同じ平面上にあってもなくてもよい。面の法線は、その面の２つのエッジのベクトルクロス積を取ることによって計算することができる。面のすべてのエッジが同じ平面上にあるわけではない場合、クロス積を計算するために選択されたエッジに応じて、様々な法線を計算することができることに留意されたい。法線は編集されてもよい。法線は、平面の方向を与える。平面の向きは、平面の方向から差し引かれてもよい。当該平面の向きは、その法線に平行な線によって実現される。面のこの線の向きも編集することができる。平面は、位置も有する。面の位置は、その重心によって与えられる。面の位置も編集することができる。３Ｄモデルのエッジは、配向される。エッジの向きは、それが属する面の向きから推定することができる。例えば、境界表現（Ｂ－Ｒｅｐとも呼ばれる）の場合、Ｂ－Ｒｅｐの面の法線と、当該面に属するエッジとの整合性は、エッジの向き（例えば、時計回り規則、反時計回り規則）の決定のために使用され得る。実際、エッジは、三角形および／または四角形を含むメッシュの２つの面に属する。エッジの方向は、任意に決定されてもよく、例えば、ユーザによって編集されてもよい。前述のように、平面の法線は、面の２つのエッジのベクトルクロス積から計算することができ、したがって、エッジは配向される。

【0039】

以下では、すべての向き、方向、および位置が３Ｄ没入環境の基準フレームにおいて計算されると仮定する。

【0040】

３Ｄオブジェクトは、エッジまたは線を使用して、場合によっては（すなわち、任意選択で）面または表面を用いて定義することもできる。例えば、３Ｄオブジェクトは、モックアップのレーザスキャンされた点群から計算されてもよい。そのような点群は、典型的には切り離された頂点から作られるが、デジタル化されたモックアップの
形状を表す相互接続されたエッジを含むこともできる。

【0041】

３Ｄオブジェクトは、ワイヤフレーム３Ｄオブジェクトであってもよい。ワイヤフレームは点群から取得されてもよく、またはユーザによって設計されてもよい。

【0042】

線、エッジ、または表面は、様々な方法、例えば非一様有理Ｂスプライン（ＮＵＲＢＳ）で表すことができる。これらのエッジ、線、および／または表面は、３Ｄオブジェクトのジオメトリを生成することができる入力として使用することができ、３Ｄオブジェクトの表現を生成することができる。本明細書で説明する方法は、非一様有理Ｂスプライン（ＮＵＲＢＳ）線、エッジ、および表面に基づいて３Ｄオブジェクト上で使用され得る。より一般的には、表面は、パラメトリック曲面（ｐａｒａｍｅｔｏｒｉｃ ｓｕｒｆａｃｅ）および／またはプロシージャル曲面（ｐｒｏｃｅｄｕａｌ ｓｕｒａｆａｃｅ）であってもよい。パラメトリック曲面は、２つのパラメータ

【数8】

を有するパラメトリック方程式によって定義されるユークリッド空間

【数9】

内の曲面である。プロシージャル曲面は、プロシージャとして定義される曲面である。細分割曲面は、プロシージャル曲面と考えることができる。細分割曲面は、より粗い区分的線形ポリゴンメッシュの仕様を介して滑らかな曲面を表す方法である。

【0043】

ここで図１を参照すると、本方法は、３Ｄ没入環境において少なくとも１つの３Ｄオブジェクトを表示する（Ｓ１０）。３Ｄ没入環境に２つ以上の３Ｄオブジェクトが表示されている場合、関心のある３Ｄオブジェクトとして、識別される３Ｄオブジェクトが１つある。以下、関心のある３Ｄオブジェクトを３Ｄオブジェクトと呼ぶ。

【0044】

上で定義したように、３Ｄ没入環境は、仮想現実、拡張現実、または複合現実において使用することができる。３Ｄ没入環境は、基準フレームを有する。したがって、この３Ｄ没入環境におけるすべてのオブジェクト、およびすべてのそれらの位相的要素は、この基準フレームに対して相対的に配置され得る。次いで、本方法は、３Ｄ没入環境のいずれかの３Ｄオブジェクトの面を選択するために、仮想現実、拡張現実、および複合現実において使用され得る。本方法はまた、少なくとも１つの３Ｄオブジェクトの位置特定を可能にする基準フレームを有する環境を含む任意の他の現実において使用され得る。

【0045】

次に、手のジェスチャが検出される（Ｓ２０）。手のジェスチャは、親指以外のすべての指を折り曲げることを含む。

【0046】

３Ｄ没入環境とのユーザの対話は、ユーザの身体の一部の位置および向きを追跡することによって、またはユーザの身体のいくつかの部分のそれぞれの位置および向きを追跡することによって、またはさらには、ユーザの身体全体の位置および向きを追跡することによって行うことができる。

【0047】

一例においては、ユーザの身体の一部は、ユーザの手である。

【0048】

手の追跡は、直接的かつ自然な対話操作を提供し、没入体験を改善する。実際、ユーザは、特定の仮想現実、複合現実、または拡張現実ハンドコントローラを使用する必要がない。従来、３Ｄ没入環境において、３Ｄオブジェクトと対話するために、方法は、仮想３Ｄ線で３Ｄオブジェクトをポイントした後に、特定のコントローラのボタンをクリックすることを含む。

【0049】

手の追跡は、手の特定の姿勢またはジェスチャの検出を可能にする。例えば、特定の姿勢についての手の追跡は、ビデオレコーダまたは手袋を用いて行うことができ、特定のジェスチャについての手の追跡は、加速度計を用いて行うことができる。本方法は、ユーザの右手または左手を使用することができる。姿勢は、身体の一部を使用するポーズであり、ここでのジェスチャは、一部がその姿勢を修正することを可能にする動きとして定義され得る。言い換えれば、第２の姿勢は、第１の姿勢から開始されたジェスチャの結果として見られ得る。したがって、ジェスチャを検出することは、第２の姿勢を検出し、この第２の姿勢を第１の姿勢と比較することによって行われ得る。検出された第２の姿勢が第１の姿勢と同じである場合、ジェスチャは発生していない。検出された姿勢が第１の姿勢と異なる場合、ジェスチャは、第２の姿勢と第１の姿勢との差として定義され得る。より一般的には、ジェスチャは、ユーザの身体の一部、例えばユーザの手の位置、および／または向きの変化によってトリガされる姿勢の変化として定義され得る。例えば、本方法では、手のジェスチャを検出することは、デフォルト姿勢からの現在の姿勢の差を計算することからなることができる。本例では、デフォルト姿勢は第１の姿勢に対応し、現在の姿勢は第２の姿勢に対応する。差は、ユーザの手の位置および／または向きの変化によって推測され得る。特定の姿勢についての手の追跡が、高いフレームレート、例えば少なくとも１０フレーム／秒で姿勢を撮像するデバイスを用いて実施され、したがって、第１の姿勢から中間の第２の姿勢を有する第１の姿勢への動きを含む動きを検出しないリスクが実際に低いことは注目に値する。デフォルト姿勢は、親指以外のすべての指を折り曲げたことの検出を可能にする任意の姿勢であり得る。右手のデフォルト姿勢の一例を、図６に示す。このデフォルト姿勢は、右手を休ませるための一般的な姿勢の一例である。すなわち、デフォルト姿勢は、すべての筋肉が弛緩した右手のための姿勢の一例である。デフォルト姿勢は、本方法の任意のステップで使用される、特定の姿勢として検出されない任意の姿勢として定義することもできる。以下、説明の便宜上、すべてのジェスチャを、図６に示すデフォルト姿勢の差分として定義する。

【0050】

ジェスチャの検出は、様々な方法で行うことができる。一例では、ジェスチャは、身体の様々な部分の相対的な位置および／または向きの数学的な比較によって検出することができ、形態学的変動を考慮にいれるために、ある程度の許容差がある。なお、システムがユーザの形態に合わせて調整するために、キャリブレーション段階が必要とされ得ることに留意されたい。別の例では、ジェスチャはまた、異なる可能なジェスチャを区別するためにニューラルネットワークをトレーニングすることによって、機械学習技術を使用して検出され得る。

【0051】

一例においては、手のジェスチャの運動学的パラメータは、例えば図６に示されるように、仮想骨格を通して提供されてもよい。仮想骨格は、１つまたは複数の関節、および１つまたは複数の骨を含む。この仮想骨格は、実際の骨格を複製する必要はない。言い換えれば、仮想骨格の関節および骨と、実際の骨格の関節および骨とが対応していない場合がある。例えば、手の仮想骨格は、手の実際の骨格よりも少ないか、または多い関節を有し得る。また、仮に仮想骨格の各関節が実際の骨格の関節に対応していたとしても、その位置や向きが異なる場合がある。仮想骨格の関節の直線速度、角速度、位置および向きを用いることで、実際の骨格のジェスチャや姿勢を検出することができる。簡単にするため、後に、仮想骨格が手の実際の骨格を複製すると考える。

【0052】

本発明の方法は、説明した様々な姿勢を検出するために使用される検出方法とは無関係であることを留意されたい。したがって、仮想的な骨格に基づいて、または仮想的な骨格に基づかずに、姿勢の変化（例えば、ユーザの身体の一部の位置および／または向きの変化）を検出することができる任意の技術が使用され得る。

【0053】

手の実際の骨格の一例を図４に示す。手は、慣例的に、親指、人差し指、中指、薬指、および小指と呼ばれる５本の指を含む。親指は、中手指節関節１０と指節間関節６０とから構成される。人差し指は、中手指節関節２０、近位指節間関節７０および遠位指節間関節１１０から構成される。中指は、中手指節関節３０、近位指節間関節８０および遠位指節間関節１２０から構成される。薬指は、中手指節関節４０、近位指節間関節９０および遠位指節間関節１３０から構成される。小指は、中手指節関節５０、近位指節間関節１００および遠位指節間関節１４０から構成される。手の残りの部分は、３つの領域に分割することができる。第１の領域は手のひらであり、これは手の前部の中央領域である。第２の領域は手の甲であり、これは手の後部の手のひらに対応する領域である。第３の領域は、手のひらの近位部分に位置する手のかかとである。

【0054】

すべての指を折り曲げることは、手の指を丸めるジェスチャである。図５の例に示すように、親指以外の指については、折り曲げることは、各指を線１９０に向かって移動させるジェスチャである。図５に示される例として、この線１９０は、手のひらの中心によって画定され得る。親指以外のすべての指を折り曲げることは、それぞれ人差し指、中指、薬指、および小指の中手指節関節２０、３０、４０、５０、それぞれ人差し指、中指、薬指および小指の近位指節間関節７０、８０、９０、１００および遠位指節間関節１１０、１２０，１３０、１４０を折り曲げることである。このジェスチャは、指の筋肉の収縮の結果であり、それは、深指屈筋および浅指屈筋として知られる筋肉を含み得る。このジェスチャにより、人差し指、中指、薬指および小指の指先が手のひらに接触、近接する。

【0055】

親指の内転は、親指を手のひらに近づけるジェスチャである。親指の内転は、主に内転筋によって生じる。親指の内転はまた、親指を手のひらおよび人差し指の側面に向かって移動させ得る。親指の外転は、手のひらから親指を離すジェスチャである。親指を外転させることにより、親指を手のひらおよび人差し指の側面から離すこともできる。親指の内転は、母子外転筋によって部分的に生じる。親指の内転および外転は、親指の中手指節関節１０を含む。親指の屈曲は、親指を線１９０に向かって移動させる。親指の屈曲は、主に短母趾屈筋によって生じる。親指の伸展は、親指を線１９０から遠ざける。親指の伸展は、主に長指伸筋によって生じる。親指の内転、外転、屈曲および伸展は、親指の中手指節関節１０を含む。

【0056】

再び図１を参照すると、親指以外のすべての指を折り曲げた手のジェスチャを検出した（Ｓ２０）後、本方法は、３Ｄ没入環境において、手における折り曲げた指で形成された配向線を決定すること（Ｓ３０）を含む。手における折り曲げた指で形成された配向線を決定すること（Ｓ３０）は、親指を除く手の基節骨の向きを評価することに基づくことができる。指の基節骨は、親指以外のすべての指を折り曲げたときに線を形成すると考えられ得る。したがって、親指以外のすべての指が折り曲げられている場合には、手の基節骨を線とみなすことができる。親指以外の折り曲げた指で形成される線の向きを近似するために、各基節骨上で１つの点を決定することができ、各点を通過する直線位置を、例えばこれらの点の平均位置を使用することによって計算することができる。代替的に、手における折り曲げた指で形成された配向線を決定すること（Ｓ３０）は、折り曲げた指（親指を除く）および手のひらによって形成された空洞を通過する仮想線を評価することに基づくことができる。この空洞は、ほぼ円筒の形状を有する。仮想線は、折り曲げた指（親指を除く）によって形成されるこの円筒を中心に計算することによって得られてもよい。代替的に、手における折り曲げた指で形成される決定すること（Ｓ３０）は、指を折り曲げた位置にあるときに、それぞれ人差し指、中指、薬指および小指の中手指節関節２０、３０、４０、５０を通過する線を決定することに基づくことができる。図４は、中手指節関節２０、３０、４０、５０の整列２００を示す。中手指節関節は自然に整列され、したがって、手の他の関節と比較して、これらの関節からの線の計算を容易にする。

【0057】

上記の説明では、基節骨の向きが利用される。実際、これらの指節骨は自由度が低く、したがって、個人間の変動性が低い。言い換えれば、基節骨の検出は堅牢である。末節骨は、基節骨の代わりに、または基節骨と組み合わせて使用されてもよいことを理解されたい。

【0058】

決定すること（Ｓ３０）は、仮想骨格を使用することによって
行われ得る。決定すること（Ｓ３０）は、仮想骨格なしで行われてもよい。一例として、決定すること（Ｓ３０）は、ビデオレコーダから決定する（Ｓ３０）ようにトレーニングされたニューラルネットワークに基づき得る。

【0059】

ユーザが配向線をシステムに提供することを可能にするために、手における折り曲げた指を使用することは、本方法をより信頼できるものにする。実際、指先の相対的な位置合わせは、手のジェスチャを実施する人にわずかに依存する。さらに、配向線を決定するために異なる方法を使用することが可能であり、したがって、システムが最良の結果を提供するものを選択することを可能にするか、またはこれらの異なる方法のうちの２つ以上から線を計算することによって選択することを可能にする。

【0060】

次に、本方法は、配向線と最も近い向きを有する３Ｄオブジェクトのエッジを識別すること（Ｓ４０）をさらに含む。３Ｄオブジェクトの各エッジは線を画定し、配向線と最も近い向きは、配向線とエッジによって形成される線の各々（または、少なくともその一部）との比較によって決定されることを理解されたい。次に、最も近い向きの決定の例について説明する。

【0061】

一例として、各エッジの向きは、線によって具体化され得る。各エッジについて、その方向を表す線と、手における折り曲げた指（親指を除く）で形成された配向線との角度が計算される。最も小さい値の角度を有するエッジは、線と最も近い向きを有する３Ｄオブジェクトのエッジである。ここで、すべての角度が［０；２ＰＩ］の間で定義されると考える。

【0062】

本開示の例では、識別すること（Ｓ４０）は、３Ｄオブジェクトの各エッジを考慮することによって、反復的に行われ得る。配向線と最も近い向きを有する３Ｄオブジェクトのエッジを決定するときに、３Ｄオブジェクトのエッジの部分集合のみが使用され得ることを理解されたい。例えば、（ユークリッド距離による）ユーザの手に最も近いエッジのみが使用されてもよい。

【0063】

３Ｄオブジェクトの複数のエッジからエッジを選択するために向きを使用することは、関心のあるエッジの選択を加速する。３Ｄオブジェクトのエッジの中のエッジに対する向きを使用することはまた、ユーザがどの面を選択した以下の曖昧さを低減する。実際、正確な３Ｄオブジェクトは、デジタルでモデル化された３Ｄオブジェクトであり、物理的な３Ｄオブジェクトを非常に高い精度で複製している。例えば、正確な３Ｄモデルは、一般に、粗い表面を複製するための多くの小さなエッジと、平坦な表面を複製するための大きなエッジを有する。この場合、正確な３Ｄオブジェクトの隣接エッジは、有意な配向差を有する。したがって、３Ｄオブジェクトの複数のエッジからエッジを選択するために向きを使用することによって、本方法は、３Ｄオブジェクトが多くの小さいエッジを有する場合（正確な３Ｄオブジェクトの場合）に特に有用である。

【0064】

一例においては、識別すること（Ｓ４０）は、エッジの方向と配向線の方向との最も近い方向を有する３Ｄオブジェクトのエッジを識別することを含むことができる。例えば、識別すること（Ｓ４０）は、３Ｄオブジェクトの各エッジまたはエッジの部分集合を考慮することによって反復的に実施され得る。考慮される各エッジについて、その方向と配向線との角度が計算される。最小値の角度を有するエッジは、配向線に最も近い方向を有する３Ｄオブジェクトのエッジである。ここで、すべての角度が［０；２ＰＩ］の間で定義されると考える。識別（Ｓ４０）の最中に、向きの代わりに方向を使用することによって、ユーザがどのエッジを選択することを望むかの曖昧さが、より一層低減される。実際、２つの共線エッジが反対方向を有する場合、識別（Ｓ４０）の最中に、向きの代わりに方向を使用することにより、ユーザが選択したい曖昧さが除去される。

【0065】

図７は、選択中にエッジの方向が介入するエッジの選択を示す。エッジ２００および２２０は、六角形面３００に属する。それらは同じ向き（平行である）が、反対の方向を有する。この例では、２つのエッジ２００および２２０は、線１９０の向きと同一の（または非常に近い）向きを有する。手のジェスチャ（Ｓ２０）から導出された（Ｓ３０）線１９０は、エッジ２００に最も近い方向を有し、エッジ２００が識別される。

【0066】

ここで図８を参照すると、線の向きおよび方向によるエッジの選択（Ｓ３０）が示されている。３Ｄオブジェクトは図７と同じであるが、右手の手のひらを頭の方にむけることによって、本方法は、ユーザが同じ面３０２に属するユーザの視点からユーザの後ろに位置するエッジ２０２を選択することを可能にする。エッジ２０２が線１９０の方向と最も近い方向を有するので、エッジ２２２ではなくエッジ２０２が選択される。

【0067】

興味深いことに、３Ｄオブジェクトの複数のエッジからエッジを選択するために方向を使用することはまた、ユーザの観点から小さな可視表面を有するエッジを選択するために、特に有用である。ユーザは、その小さな可視性にも関わらず、所望のエッジを選択するために、右手の手のひらを３Ｄオブジェクトに向かって回転させるだけでよい。

【0068】

一例においては、識別すること（Ｓ４０）は、ｆで表される関数を最小化するエッジを複数のエッジから識別することを含んでもよい。この関数については、後述する。関数を使用する前に（すなわち、識別すること（Ｓ４０）を実施する前に）、３Ｄ没入環境において手のひらまたは手の甲で形成される平面が決定される。この平面は、法線によって配向され得る。平面を決定することは、手のひらおよび／または手の甲の向きを評価することに基づく。手のひらおよび／または手の甲は、親指以外のすべての指が内転されるか折り曲げたとき、平坦な表面としてみなされ得る。したがって、親指以外のすべての指を内転させるか、または折り曲げたときの手の甲を、平面とみなすことができる。平面の任意の点の法線を使用することによって、または平面の３つの点の位置を使用することによって、親指以外のすべての指が内転されるときの手のひらおよび／または手の甲の向きを近似するために、クロス積を用いて平面の法線を計算する。さらに関数を使用する前に、折り曲げた指で形成された配向線は、方向および位置を有する。３Ｄオブジェクトの各エッジおよび配向線は、３Ｄ没入環境において位置をさらに有し、それらの位置は、当技術分野で知られているように計算される。

【0069】

次に、図９について説明する。図９は、仮想骨格１５０の手首関節１６０の向きを用いて配向平面を決定することの例を示す。実際、仮想骨格１５０の手首関節１６０は、手のひらおよび／または手の甲を表す配向平面の点であり、したがって、手首関節１６０の向きは、配向平面の向きである。

【0070】

図１０は、手首関節１６０の位置と、人差し指の中手指節関節１７０の位置と、小指の中手指節関節１８０の位置とに基づいて判定すること（Ｓ３０）の別の例を示す。３つの位置は三角形を形成する。三角形の法線は、その三角形の２つの辺のベクトルクロス積をとることによって計算することができる。法線は、クロス積を計算するために選択された辺に応じて、手のひらおよび／または手の甲の方向を与える。法線は、これらの辺がクロス積を計算するために使用される順序にも依存する。三角形の向きは、三角形のすべての角がある平面に垂直な線によって具体化されてもよい。三角形の向きも編集することができ、したがって平面に対して垂直ではない。

【0071】

ここで、ｆで表される関数を説明する。この関数は、次式（１）で計算される。

【数10】

ここで、
Ｅｄｇｅは関心のあるエッジであり、

【数11】

かつ

【数12】

かつ

【数13】

であり、
｜｜ＦＨ｜｜は、３Ｄ没入環境における、エッジＥｄｇｅの位置と手の配向平面の位置Ｈとのユークリッド距離であり、

【数14】

は、エッジＥｄｇｅの方向と手における折り曲げた指で形成される配向線との３Ｄ没入環境における角度である。

【0072】

関数ｆは、２つの項の加重和である。実際、第１項｜｜ＦＨ｜｜に係数ｗ_１が乗算され、第２項

【数15】

に係数ｗ_２が乗算される。

【0073】

第１の重み付けされた項｜｜ＦＨ｜｜は、エッジＥｄｇｅの位置と、手のひらおよび／または手の甲の配向平面の位置Ｈとの、３Ｄ没入環境におけるユークリッド距離である。例えば、エッジＥｄｇｅの位置は、エッジの重心に位置してもよい。手のひらおよび／または手の甲の配向平面の位置は、一例として、仮想骨格の手首関節１６０の位置にされ得る。

【0074】

第２の重み付けされた項

【数16】

は、エッジＥｄｇｅの方向と、手における折り曲げた指で形成された配向線の方向との角度である。第２の重み付けされた項はまた、それらの方向を使用する代わりに、エッジＥｄｇｅの向きと、手における折り曲げた指で形成された配向線の向きとに基づき得る。

【0075】

各重みｗ_１およびｗ_２は、ゼロ以上であり得る。２つの重みの合計は、厳密にゼロより大きい。重みのうちの１つがゼロに等しい場合、それは、２つの項のうちの１つだけが関数において考慮されることを意味する。一例として、ｗ_１は０．１～０．５に設定されてもよく、ｗ_２は０．５～０．９に設定されてもよい。

【0076】

重みｗ_１およびｗ_２は、事前に計算され得る。例えば、それらは、３Ｄオブジェクトのエッジの数およびサイズに基づいて、あらかじめ計算されてもよい。重みｗ_１およびｗ_２は、例えば、３Ｄオブジェクトを含む３Ｄ没入環境のロード時に、あらかじめ計算されてもよい。３Ｄオブジェクトが多くの小さいエッジを有する場合、第２の項の重みは、第１の項の重みよりも大きくなり得る。重みはまた、使用されるデバイスに依存し得る。例えば、いくつかのデバイスは、手の位置に対して限られた精度を与えるが、向きに対してはより良好な精度を与えることができる。重みは、本方法の間に変化してもよい。例えば、重みは、ユーザの視野内に位置する３Ｄオブジェクトの表面のうちの３Ｄオブジェクトのエッジの数およびサイズに応じて変化し得る。視野は、所与の時間における視察可能な環境の範囲として定義され得る。したがって、視野が、本方法中に変化する可能性があるので、重みｗ_１およびｗ_２も変化する可能性がある。

【0077】

一例では、識別すること（Ｓ４０）は、３Ｄオブジェクトの各エッジを考慮することによって、反復的に行われ得る。別の例では、識別すること（Ｓ４０）は、３Ｄオブジェクトの部分集合の各エッジを考慮することによって、反復的に行われ得る。各エッジについて、関数ｆの結果が計算される。最小値を有する面は、関数ｆを最小化する３Ｄオブジェクトの面である。

【0078】

一例においては、関数ｆの項｜ＦＨ｜は、項｜｜ＦＨ’｜｜によって置き換えられ得る。Ｈ’は、式（２）を使用して計算される。

【数17】

ここで、
Ｈ’は、仮想の手の中心の計算された位置であり、
Ｅは、ユーザの視点の位置であり、
Ｈは、ユーザの手の中心の位置であり、
ＥＨは、ＥからＨへのベクトルであり、
Ｏｍａｘは、Ｅから最も遠い３Ｄオブジェクトのエッジの位置であり、
Ｈｍａｘは、ユーザの身体の横断面におけるＥから最も遠いユーザの手の中心の位置であり、

【数18】

であり、
｜｜ＥＯｍａｘ｜｜は、ＥからＯｍａｘへのベクトルのノルムであり、
｜｜ＥＨｍａｘ｜｜は、ＥからＨｍａｘへのベクトルのノルムである。

【0079】

Ｈ’は、仮想の手の配向平面の計算された位置である。仮想の手は、３Ｄ没入環境において、ユーザの視点Ｅからユーザの手よりも少なくとも遠くに仮想的に位置する手として定義することができる。仮想の手を使用することは、項｜｜ＦＨ’｜｜がユーザの視点からの面の距離に関して常に適切であることを保証するために有用である。仮想の手は、ユーザの手よりも、ユーザの視点Ｅから近くなくてもよい。ユーザの視点Ｅは、例えば、ユーザの頭の中心、ユーザの利き目、またはユーザの両目の中間に位置してもよい。Ｏｍａｘは、ユーザの視点Ｅから最も遠い３Ｄオブジェクトのエッジの位置である。一例として、ユーザの視点Ｅから最も遠い３Ｄオブジェクトの面として考慮されるエッジは、本方法の開始時に、例えば、検出すること（Ｓ２０）の開始時に決定されてもよい。一例として、ユーザの視点Ｅから最も遠い３Ｄオブジェクトのエッジとして考慮されるエッジも、本方法の全体にわたって更新され得る。考慮されるエッジをユーザの視点Ｅから最も遠い３Ｄオブジェクトの面として更新することは、ユーザの視点Ｅおよび／または３Ｄオブジェクトが、本方法の間に移動する場合に、特に有用である。言い換えれば、一例として、Ｏｍａｘは、検出すること（Ｓ２０）の間に決定されてもよく、本方法の間に更新されてもよい。Ｈｍａｘは、ユーザの身体の横断面におけるユーザの視点Ｅから最も遠いユーザの手の配向平面の位置である。したがって、Ｈｍａｘは、ユーザ視点Ｅからのエッジの距離を考慮した方法を用いてエッジを選択可能か否かの指標となる。Ｈｍａｘは、例えば、ユーザの腕が、彼らの前で水平に伸ばされたときのユーザの手の配向平面の位置である。Ｈｍａｘは、例えばキャリブレーション段階中にあらかじめ計算されてもよい。Ｈｍａｘは、ユーザによって設定されてもよい。ａは、｜｜ＥＯｍａｘ｜｜／｜｜ＥＨｍａｘ｜｜の因子として使用される。ａは、例えば、本方法を使用する前にユーザによって設定される。ａ＝１場合、これは、ユーザの視点Ｅからの３Ｄオブジェクトの最も遠い面との距離が、ユーザの身体の横断面におけるユーザの視点Ｅからのユーザの手の配向平面の最も遠い位置よりも大きいときに、仮想の手が３Ｄ没入空間においてユーザの手よりも遠くなることを意味する。ａに１より大きい値を使用することにより、ユーザは、自分の腕を完全に伸ばす必要がなく、ユーザの視点Ｅから最も遠い３Ｄオブジェクトのエッジを選択することができる。一例として、ａの値は、１．５から２の間に設定され得る。簡単にするため、以下では、ａ＝１と考える。

【0080】

仮想の手を使用することは、（より一般的には、３Ｄ環境における）３Ｄオブジェクトとのユーザの対話を改善する。図１１および図１２の例は、仮想の手の使用による人間工学の改善を示す。

【0081】

図１１の例では、仮想の手を使用することにより、ユーザは、自分の腕を完全に伸ばす必要なく、３Ｄオブジェクトの任意のエッジを選択することができる。腕を伸ばしたままにしておくことは、ユーザにとって疲れることもあり、したがって、仮想を使用することは、この問題を解決する。

【0082】

図１２の例では、仮想の手を使用することにより、ユーザは、ユーザの視点Ｅを動かすことなく、３Ｄオブジェクトの任意のエッジを選択することができる。実際に、一例として、最も遠い３Ｄオブジェクトのエッジとユーザの視点Ｅとの距離が、ユーザの身体の横断面におけるＥから最も遠いユーザの手の中心の位置の距離よりも大きいとき、３Ｄオブジェクトのいくつかのエッジは、仮想の手を使用せずに選択可能でないことがある。この場合、仮想の手は、ユーザの手よりもユーザの視点Ｅから遠い位置にある。仮想の手を使用しない場合、項｜｜ＦＨ｜｜は、ユーザの視点Ｅから最も遠い３Ｄオブジェクトのエッジの選択にペナルティを課すことになる。したがって、本方法は、この項によってバイアスされる。仮想の手は、３Ｄ没入環境においてユーザの手の位置を仮想的に移動させることによってこの問題を解決し、仮想Ｈ’が常に少なくとも３Ｄオブジェクトの最も遠いエッジまであり、両方の位置がユーザの視点Ｅから考慮されることを確実にする。

【0083】

一例では、仮想の手を使用することは、仮想の手から送信された光線投射と組み合わされ得る。この組み合わせは、例えば、ユーザの手がユーザの頭部に非常に近い場合に起動され得る。光線の方向は、配向平面に直交するか、または仮想の手の手のひら／甲の中心から３Ｄオブジェクトの中心に向かってもよい。この組み合わせは、例えば、現実の障害物によって囲まれ得る３Ｄオブジェクトの任意のエッジを選択するために、複合現実または拡張現実において非常に有用であり得る。

【0084】

一例においては、（それぞれ、式（１）または式（２）で計算される）関数ｆの項｜｜ＦＨ｜｜または項｜｜ＦＨ’｜｜は、エッジの位置と３Ｄモデルとユーザの視点Ｅから投射される光線との少なくとも１つの交点との３Ｄ没入環境におけるユークリッド距離をさらに含むことができる。光線は、例えば、頭部もしくは利き目の中心、または両目の間の点から３Ｄモデルの中心に投射され得る。投射の方向は、例えば、ユーザの視線またはユーザの頭部の方向によって定義され得る。投射の方向は、例えば、ユーザの視点Ｅの位置から３Ｄモデルの中心の位置まで計算されてもよい。３Ｄモデルの中心は、例えば、３Ｄモデルの境界ボックスの中心として定義され得る。一例として、ユーザの視点Ｅの位置から３Ｄモデルの中心の位置まで、投射の方向が算出される。

【0085】

エッジの位置と、ユーザの視点Ｅから投射される光線と３Ｄモデルとの少なくとも１つの交点との３Ｄ没入環境におけるユークリッド距離に基づく項を、項｜｜ＦＨ｜｜または｜｜ＦＨ’｜｜に追加することにより、本方法がユーザの視点Ｅの位置に敏感になることが可能になる。言い換えれば、これは、ユーザの視点Ｅと、３Ｄモデルと光線との少なくとも１つの交点との線に位置合わせされたエッジの選択を促進することを可能にする。これは、３Ｄモデルが視野の外側で部分的にレンダリングされる場合に、特に有用である。この場合、本方法は、視野外のエッジの選択にペナルティを課す。

【0086】

ユーザの頭部の位置および／または向きを検索するために、姿勢の変化または動きを検出することができる任意の技術によって頭部の追跡を行うことができる。一例として、仮想現実、複合現実、または拡張現実において、そのような情報を提供するヘッドセットまたは眼鏡がある。ユーザの視線の方向および／または向きを検索するために、目の追跡技術が使用され得る。

【0087】

一例においては、図２の例を参照すると、識別すること（Ｓ４０）は、配向線と最も近い向きを有する３Ｄオブジェクトのエッジを決定すること（Ｓ４００）をさらに含むことができる。識別すること（Ｓ４０）は、決定されたエッジの１つまたは複数のｎ隣接を計算すること（Ｓ４１０）をさらに含むことができ、当該１つまたは複数の隣接エッジおよび決定されたエッジは、選択可能なエッジの部分集合を形成する。決定されたエッジのｎ隣接エッジは、決定されたエッジのｎ－１隣接エッジと頂点を共有し、ｎ－２隣接エッジと頂点を共有しないエッジである。したがって、決定されたエッジの１隣接エッジは、決定されたエッジと頂点を共有するエッジであり、決定されたエッジの２隣接エッジは、決定されたエッジの１隣接エッジと頂点を共有し、決定されたエッジと頂点を共有しないエッジである。識別すること（Ｓ４０）は、選択可能なエッジの部分集合から配向線と最も近い向きを有する３Ｄオブジェクトのエッジを識別すること（Ｓ４２０）をさらに含む。ｎは、３Ｄオブジェクトのエッジのサイズに基づいて、あらかじめ決定され得る。ｎはまた、部分集合を形成するエッジのサイズ、または部分集合を形成するエッジのユーザの視点Ｅからの可視表面のサイズ、および／またはユーザの視点と決定されたエッジとの距離に基づいて更新され得る。ｎはまた、デバイス仕様に基づいて、またはユーザ選好に基づいて、あらかじめ決定され得る。

【0088】

決定すること（Ｓ４００およびＳ４２０）はまた、最も近い方向を有する３Ｄオブジェクトのエッジを決定することによって、または、式（１）もしくは式（２）の関数ｆを最小化するエッジを決定することによって実施され得る。決定する（Ｓ４００およびＳ４２０）最中のすべての組み合わせが使用されてもよい。例えば、決定すること（Ｓ４００）は、最も近い方向を有する３Ｄオブジェクトのエッジを決定することによって行われ得、決定すること（Ｓ４２０）は、関数ｆを最小化するエッジを決定することにより行われ得る。

【0089】

別の例では、決定すること（Ｓ４００）および決定すること（Ｓ４２０）は、関数ｆを最小化するエッジを決定することによって行われ得る。この場合、決定すること（Ｓ４００）の間、重みｗ_１はｗ_２より４倍大きくてもよく、決定すること（Ｓ４２０）の間、重みｗ_１はｗ_２より４倍小さくてもよい。

【0090】

一例においては、本方法は、選択可能なエッジの部分集合のエッジの第１のレンダリングを修正することをさらに含むことができる。選択可能なエッジの部分集合は、ステップＳ４１０の間に計算される。上述したように、部分集合は、例えば、決定すること（Ｓ４０）の間に、決定されたエッジに基づいて計算される。部分集合のサイズは、計算すること（Ｓ４１０）で使用されるｎの値に依存する。一例では、ｎの値は、ユーザの視点からの可視表面が、ユーザがそれを容易に識別するのに常に十分大きいことを保証するように計算され得る。部分集合のレンダリングを修正することは、どのエッジがステップＳ４２０の間に選択可能であると考えられるかをユーザが識別するのを助ける。したがって、ユーザは、関心のあるエッジがこの部分集合の中にないことを容易に識別し、したがって、ステップＳ４１０の間に部分集合を変更するためのユーザの手の位置および／または向きを修正することになる。

【0091】

３Ｄオブジェクトのエッジのレンダリングは、検出すること（Ｓ２０）が行われないときは、本方法によって修正されない。

【0092】

一例では、ユーザは、選択可能なエッジの部分集合を識別した後、選択可能なエッジの部分集合を変更するために手の位置を修正することができ、かつ／あるいは、選択可能なエッジの同じ部分集合の中で識別されたエッジを変更するために、手の向きを修正することができる。

【0093】

レンダリングの修正は、様々な方法で行うことができる。レンダリングの修正は、計算すること（Ｓ４１０）および／または識別すること（Ｓ４２０）の間に行われてもよい。一例として、レンダリングの修正は、選択可能なエッジを強調表示することによって実施され得る。別の例として、レンダリングの修正は、選択可能なエッジに特定のテクスチャを適用することによって実施され得る。別の例では、レンダリングの修正はまた、３Ｄオブジェクトからの選択可能なエッジの拡大および切断を含んでもよい。レンダリングの修正は、識別されたエッジに関するグラフィカルユーザ情報の自動スナップなど、ユーザへの任意の別のフィードバックによって完了することができる。レンダリングの修正は、ユーザの表現を変更することによって、ユーザの手の上に現れてもよい。例えば、手の色を変えることができ、または線を指の上に重ねることができる。

【0094】

一例においては、本方法は、識別されたエッジの第２のレンダリングを修正することをさらに含んでもよい。識別されたエッジは、例えば、ステップＳ４０の間に識別されたエッジであってもよい。したがって、識別されたエッジのレンダリングの修正が開始し、ユーザが関心のあるエッジを選択するのを助ける。

【0095】

識別されたエッジは、例えば、ステップＳ４２０の間に識別されたエッジであってもよい。識別されたエッジは、例えば、ステップＳ４００の間に決定されたエッジであってもよい。これらの場合、例えば、第２および第３のレンダリングは、選択可能なエッジの部分集合の第１のレンダリングとは異なる。第２のレンダリングは、第３のレンダリングと異なってもよい。第１のレンダリングおよび／または第２のレンダリングおよび／または第３のレンダリングは、３Ｄ環境における３Ｄオブジェクトとのユーザ対話を改善する。実際、ユーザは、選択可能なエッジの部分集合を変更するために手の位置を変更する必要があるかどうかをステップＳ４２０の間に容易に把握することができ、かつ／あるいは、選択可能なエッジの同じ部分集合の中で、識別されたエッジを変更するために手の向きを修正することができる。所望のエッジを選択するために必要とされるユーザ対話は、より少ない。

【0096】

連続的なユーザフィードバックを提供することと、過剰なポッピングを回避することとに良好なバランスが見出され得る。連続的なユーザフィードバックを提供することは、ユーザの入力に応答する方法を有するものとして定義され得る。言い換えれば、例えば、ユーザが入力を提供するとすぐに、本方法は、識別すること（Ｓ４０）の結果および／または決定すること（Ｓ４００）の結果および／または計算すること（Ｓ４１０）の結果および／または識別すること（Ｓ４２０）の結果を、目に見える遅延なしに更新すべきである。ユーザの入力に応答する方法を有することによって、本方法が、過剰なポッピングを提供するリスクがある。このポッピングという用語は、ユーザインタフェースが、様々な状態間で迅速かつ連続的に切り替わる傾向を定義する。本方法においては、それは、例えば、識別された面とみなされる２つ以上の面の間の迅速かつ俊敏な切替えであってもよい。

【0097】

一例として、修正されたレンダリングを有する識別されたエッジは、同じ次元のより良い候補が確実に識別されるまで保持され得る。言い換えれば、識別すること（Ｓ４０）は、関数ｆを最小化することを含むことができ、現在の識別されたエッジから別のエッジへの切り替えは、別のエッジの関数ｆの値が現在の識別されたエッジの関数ｆの値よりも小さくなってすぐには行われない。過剰なポッピングを回避するために、現在の識別されたエッジの関数ｆの結果を別のエッジと比較するために、識別すること（Ｓ４０）の間にペナルティ閾値またはペナルティ係数が使用され得る。言い換えれば、修正されたレンダリングを用いて識別されたエッジは、同じ次元のより良い候補が、追加されたペナルティ閾値を用いて、かつ／あるいは、候補の関数ｆの結果にペナルティ係数を乗じて、関数ｆを最小化するまで保持され得る。代替的に、ユーザが特定の時間量にわたって動いていないことを検出した後にのみ、現在の識別されたエッジから別のエッジに切り替えることによって、過剰なポッピングを回避でき得る。

【0098】

連続的なユーザフィードバックは、例えば、３Ｄオブジェクト２００のレンダリングの修正によって、かつ／あるいは３Ｄオブジェクト２００の近くかつ／あるいはユーザの手の近くに仮想表現を追加することによって、かつ／あるいはデバイスからの触覚フィードバックによって行われ得る。

【0099】

一例においては、本方法における３Ｄオブジェクトのエッジは、三角形および／または四角形および／または位相面の一部を形成するエッジであってよい。位相面は、隣接する三角形のグループまたは隣接する四角形のグループであり、より大きな「論理的」連続面を形成する一方で、特に位相面が大きい場合、各プリミティブ間の多種多様な向きを依然として潜在的に表示する。ＣＡＤプログラムでは、位相面は、ほとんどの場合、位相エッジによって境界付けられる。隣接する三角形および／または隣接する四角形によって、グループの各三角形または四角形は、当該グループの三角形または四角形の１つの隣接する三角形または四角形であることが理解されるべきである。例えば、車を表すＣＡＤオブジェクトは、１００未満の位相面にグループ化され得る数千の三角形から構成され得る。例えば、１つの位相面は、自動車の座席の上面を表すことができる。

【0100】

一例においては、手のジェスチャを検出すること（Ｓ２０）は、親指以外のすべての指を折り曲げることと、親指の外転とを含む。図５に示すように、ユーザが親指の外転を行っている間に、人差し指、中指、薬指および小指が折り曲げられる。親指の外転は、短母指外転筋を含む筋肉の収縮の結果である。

【0101】

親指以外のすべての指が折り曲げられることおよび親指の外転を検出することは、２つの理由で有利である。第１に、このジェスチャは、ユーザによって実施されることが非常に容易であり、したがって、ジェスチャの人間工学を改善する。加えて、このジェスチャは検出された姿勢とデフォルト姿勢との混同のリスクを低減し、したがって、検出すること（Ｓ２０）は、より信頼性がある。

【0102】

一例においては、本方法は、手のジェスチャが親指の内転をさらに含むことを検出することによって、３Ｄオブジェクトの識別されたエッジを選択することをさらに含む。言い換えれば、３Ｄオブジェクトの識別されたエッジは、手のジェスチャが親指の内転を含むとき、エッジの現在の選択に追加される。したがって、識別されたエッジは、選択されたエッジとみなされる。この選択は、ステップＳ４０またはステップＳ４００またはステップＳ４２０の間に行われてもよい。したがって、ユーザは、本方法を反復的に使用して、複数の関心のあるエッジを選択することができる。

【0103】

一例においては、本方法は、手のジェスチャが親指以外のすべての指を拡げることをさらに含むことを検出することと、選択されたエッジを選択解除することとをさらに含むことができる。検出は、本方法の任意のステップの間に行うことができる。したがって、一例として、ユーザは、最後に選択されたエッジを選択解除することができる。別の例として、ユーザは、エッジの現在の選択全体を選択解除することができる。

【0104】

一例においては、手のジェスチャを検出することは、末節骨が手のひらと実質的に接触していることを検出することをさらに含んでもよい。末節骨と手のひらとの接触は、検出すること（Ｓ２０）の堅牢性を改善する。末節骨が手のひらと実質的に接触していることを検出することは、検出された姿勢とデフォルト姿勢との混同のリスクを低減する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】