特表 2022-518532 単一の平面視画像フレームに基づく検出及び測距

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-03-15

(54)【発明の名称】単一の平面視画像フレームに基づく検出及び測距

(51)【国際特許分類】

   H04N 13/261 20180101AFI20220308BHJP

   H04N 13/111 20180101ALI20220308BHJP

   H04N 5/225 20060101ALI20220308BHJP

   G06T 19/00 20110101ALI20220308BHJP

   B60W 40/02 20060101ALI20220308BHJP

   B60W 60/00 20200101ALI20220308BHJP

【ＦＩ】

H04N13/261

H04N13/111

H04N5/225 800

G06T19/00 F

B60W40/02

B60W60/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021543198

(86)(22)【出願日】2020-01-27

(85)【翻訳文提出日】2021-09-03

(86)【国際出願番号】 US2020015278

(87)【国際公開番号】W WO2020231484

(87)【国際公開日】2020-11-19

(31)【優先権主張番号】62/797,114

(32)【優先日】2019-01-25

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】515280403

【氏名又は名称】ビッタニメイト インコーポレイテッド

(74)【代理人】

【識別番号】110001427

【氏名又は名称】特許業務法人前田特許事務所

(72)【発明者】

【氏名】マレキ ベールーズ

(72)【発明者】

【氏名】サーコーシュ サルヴェナーズ

【テーマコード（参考）】

3D241

5B050

5C061

5C122

【Ｆターム（参考）】

3D241CE06

5B050AA10

5B050BA09

5B050BA11

5B050EA09

5B050FA02

5B050FA06

5C061AB03

5C061AB06

5C061AB08

5C122FA18

5C122FD07

5C122HA35

5C122HB09

(57)【要約】

１つ以上の立体視画像が、カメラセンサから得られ得る単一の平面視画像に基づいて生成される。各立体視画像は、第１デジタル画像と第２デジタル画像とを含み、これらの画像は、任意の適切な立体視技術を使用して見られると、ユーザ又はソフトウェアプログラムが、立体視画像に含まれる要素に関して３次元効果を受け取ることになる。平面視画像は、特定の地理的位置の地理的場面を描写することができ、結果として得られる立体視画像は、地理的場面の三次元（３Ｄ）レンダリングを提供することができる。立体視画像の使用は、システムがより正確な検出及び測距能力を得るのに役立つ。立体視画像は、第１デジタル画像（平面視画像）及び第２デジタル画像（平面視画像）の任意の構成とすることができ、これらは一緒になって、視聴者又はソフトウェアプログラムによって知覚されるような３Ｄ効果を生成することができる。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

検出アプリケーションを介して第１デジタル画像を取得することであって、
前記第１デジタル画像は、前記検出アプリケーションに通信可能に結合されたカメラセンサの第１位置からの場面を描写する平面視画像である、
第１デジタル画像を取得することと、
前記第１デジタル画像に基づいて、平面視画像であり、前記第１位置とは異なる第２位置からの前記場面を描写する第２デジタル画像を生成することと、
前記第１デジタル画像及び前記第２デジタル画像を含む前記場面の立体視画像を生成することと
を含む方法。

【請求項2】

第１平面視画像及び第２平面視画像をそれぞれ含む複数の立体ペア画像を取得することと、
前記複数の立体ペア画像をグラフベースのモデルに入力として送ることと
をさらに含む、請求項１に記載の方法。

【請求項3】

前記第１デジタル画像を前記グラフベースのモデルに入力として送ること
をさらに含み、
前記第２デジタル画像は、前記複数の立体ペア画像の一方又は両方と、前記グラフベースのモデルに入力された前記第１デジタル画像とに基づいて、前記グラフベースのモデルから出力される
請求項２に記載の方法。

【請求項4】

前記立体視画像内のそれぞれの画素について対応する画素を含む奥行きマップを生成することをさらに含み、
前記奥行きマップ内のそれぞれの対応する画素は、前記立体視画像内のそれぞれの対応する画素について前記カメラセンサからの相対距離データを表す
請求項１に記載の方法。

【請求項5】

前記奥行きマップ内の画素の全体のうちの画素のサブセットを、物体を示すものとして関連付けることと、
前記物体に関連付けられた前記奥行きマップ内の前記画素のサブセットの一部に基づいて、
物体に関連付けられた前記一部の前記相対距離データと、
前記第１デジタル画像及び前記第２デジタル画像の焦点と、
前記第１デジタル画像及び前記第２デジタル画像の間の変位係数と
を用いて、前記カメラセンサから前記立体視画像内の前記物体までの実際の距離を求めることと
をさらに含む、請求項４に記載の方法。

【請求項6】

前記物体までの前記実際の距離が第１閾値距離を満たすとき、前記検出アプリケーションを介して、提示のための警告を送信すること、又は、
前記物体までの前記実際の距離が第２閾値距離を満たすとき、前記検出アプリケーションを介して、前記検出アプリケーションに通信可能に結合された機器に補正アクションを実行させること
をさらに含む、請求項５に記載の方法。

【請求項7】

前記物体までの前記実際の距離を取得することは、前記立体視画像において知覚される奥行きに基づいて、距離測定値におけるオフセットを補償する補正値を決定することを含む
請求項５に記載の方法。

【請求項8】

前記立体視画像内の物体の存在を判定することと、
グラフベースのモデルを介した前記物体の画像認識処理に基づいて、前記物体を分類することと
をさらに含む、請求項１に記載の方法。

【請求項9】

前記第１デジタル画像は、機器の軌跡を含む、請求項１に記載の方法。

【請求項10】

ディスプレイと、
前記ディスプレイで提示されるべきデータを送るよう構成された、前記ディスプレイに結合されたプロセッサと、
前記プロセッサに通信可能に結合され、前記プロセッサによって実行される時に、システムに操作を実行するようにさせる又は指示する１つ以上の命令を記憶するよう構成された、少なくとも１つの非一時的コンピュータ読み取り可能な媒体と
を備えるシステムであって、前記操作は、
機器に関連付けられたカメラセンサを介して第１デジタル画像を取得することであって、
前記第１デジタル画像は、前記機器に通信可能に結合されたカメラセンサの第１位置からの場面の第１領域を描写する平面視画像である、
第１デジタル画像を取得することと、
前記第１デジタル画像に基づいて、平面視画像であり、前記第１位置とは異なる第２位置からの前記場面を描写する第２デジタル画像を生成することと、
前記第１デジタル画像及び前記第２デジタル画像を含む前記場面の立体視画像を生成することと
を含む、システム。

【請求項11】

前記操作は、
前記立体視画像内のそれぞれの画素について対応する画素を含む奥行きマップを生成することをさらに含み、
前記奥行きマップ内のそれぞれの対応する画素は、前記立体視画像内のそれぞれの対応する画素について前記カメラセンサからの相対距離データを表す
請求項１０に記載のシステム。

【請求項12】

前記操作は、
前記奥行きマップ内の画素の全体のうちの画素のサブセットを、物体を示すものとして関連付けることと、
前記物体に関連付けられた前記奥行きマップ内の前記画素のサブセットの一部に基づいて、
物体に関連付けられた前記一部の前記相対距離データと、
前記第１デジタル画像及び前記第２デジタル画像の焦点と、
前記第１デジタル画像及び前記第２デジタル画像の間の変位係数と
を用いて、前記カメラセンサから前記立体視画像内の前記物体までの実際の距離を求めることと
をさらに含む、請求項１１に記載のシステム。

【請求項13】

前記操作は、
前記物体までの前記実際の距離が第１閾値距離を満たすとき、検出アプリケーションを介して、前記ディスプレイにおける提示のための警告を送信すること、又は、
前記物体までの前記実際の距離が第２閾値距離を満たすとき、前記検出アプリケーションを介して、前記検出アプリケーションに通信可能に結合された機器に補正アクションを実行させること
をさらに含む、請求項１２に記載のシステム。

【請求項14】

前記物体までの前記実際の距離を取得することは、前記立体視画像において知覚される奥行きに基づいて、距離測定値におけるオフセットを補償する補正値を決定することを含む
請求項１２に記載のシステム。

【請求項15】

前記操作は、
前記立体視画像内の物体の存在を判定することと、
グラフベースのモデルを介した前記物体の画像認識処理に基づいて、前記物体を分類することと
をさらに含む、請求項１０に記載のシステム。

【請求項16】

前記第１デジタル画像は、機器の軌跡を含む、請求項１０に記載のシステム。

【請求項17】

プロセッサと、
前記プロセッサに通信可能に結合され、前記プロセッサによって実行される時に、システムに操作を実行するようにさせる又は指示する１つ以上の命令を記憶するよう構成された、少なくとも１つの非一時的コンピュータ読み取り可能な媒体と
を備えるシステムであって、前記操作は、
機器に関連付けられたカメラセンサを介して第１デジタル画像を取得することであって、
前記第１デジタル画像は、前記機器に通信可能に結合されたカメラセンサの第１位置からの場面の第１領域を描写する平面視画像である、
第１デジタル画像を取得することと、
前記第１デジタル画像に基づいて、平面視画像であり、前記第１位置とは異なる第２位置からの前記場面を描写する第２デジタル画像を生成することと、
前記第１デジタル画像及び前記第２デジタル画像を含む前記場面の立体視画像を生成することと
を含む、システム。

【請求項18】

前記操作は、
前記立体視画像内のそれぞれの画素について対応する画素を含む奥行きマップを生成することをさらに含み、
前記奥行きマップ内のそれぞれの対応する画素は、前記立体視画像内のそれぞれの対応する画素について前記カメラセンサからの相対距離データを表す
請求項１７に記載のシステム。

【請求項19】

前記操作は、
前記奥行きマップ内の画素の全体のうちの画素のサブセットを、物体を示すものとして関連付けることと、
前記物体に関連付けられた前記奥行きマップ内の前記画素のサブセットの一部に基づいて、
物体に関連付けられた前記一部の前記相対距離データと、
前記第１デジタル画像及び前記第２デジタル画像の焦点と、
前記第１デジタル画像及び前記第２デジタル画像の間の変位係数と
を用いて、前記カメラセンサから前記立体視画像内の前記物体までの実際の距離を求めることと
をさらに含む、請求項１８に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示で説明される実施形態は、単一の平面視画像フレームに基づく検出及び測距に関する。

【背景技術】

【0002】

検出及び測距の応用例は、自律車両及び半自律車両の出現に伴って需要が増大している。車両の自律的及び半自律的な運転を促進するのを助けるために、環境内の物体を検出し、測距する能力は、ますます有用になっている。車両の自律的及び半自律的な運転についてのさらなる考慮事項は、移動の軌道上に留まり、物体との衝突を回避する能力のような安全についてのものを含み得る。従って、いくつかのシステムは、検出、測距、及び／又は安全の目的で開発されてきている。

【0003】

例えば、いくつかの従来のシステムでは、実際の三次元カメラを使用して三次元画像をキャプチャすることができる。他の従来のシステムでは、全ての異なるカメラからの結合された画像が一緒にスティッチされるときに、三次元効果を作り出すために、多数の平面視画像カメラが採用され得る。このようなシステムは、ビジョンベースであるが、他の従来のシステムは、信号ベースであってもよい。たとえば、ＲＡＤＡＲは無線信号を使用し、ＬＩＤＡＲはレーザー信号を使用して物体の検出及び測距を行う。しかしながら、前述の従来のシステムのそれぞれは、１つ以上の態様において不十分である可能性がある。例えば、３次元カメラは、ＬＩＤＡＲ技術、又は、一部のＴＥＳＬＡ（登録商標）自律型／半自律型車両によって使用されるおよそ８台のカメラのような多数の平面視画像カメラと同様に、かさばり、及び／又は高価である。コスト、サイズ、及び／又は実装の容易さに加えて、技術上の制約も要因となり得る。例えば、ＬＩＤＡＲは夜間、曇天、高所（例えば２０００メートル超）では限定的な使用法しか有しない可能性がある。さらに、例えば、ＲＡＤＡＲは、無線信号の波長のために、小さな物体を検出しないか、又は物体の正確な画像を提供しない場合がある。

【0004】

加えて、人間は、約２．５インチ（約６．５センチメートル）離れて配置された２つの眼を使用する両眼視覚システムを有する。それぞれの目は、わずかに異なる視点から世界を見る。脳は、距離を計算又は測定するために、これらの斜視の差を使用する。この両眼視覚システムは、物体の距離を比較的良好な精度で決定する能力に部分的に寄与している。視野内の複数の物体の相対距離はまた、両眼視力の助けを借りて決定され得る。

【0005】

３次元（立体）撮像は、２つの画像を観察者に提示することによって両眼視力によって知覚される奥行きを利用し、一方の画像は一方の目（例えば、左目）に提示され、他方の画像は他方の目（例えば、右目）に提示される。２つの目に提示される画像は、実質的に同じ要素を含むことができるが、２つの画像内の要素は、日常生活において観察者の目によって知覚されることができるオフセット遠近法を模倣するように互いにオフセットされ得る。したがって、観察者は、画像によって描写される要素の奥行きを知覚することができる。

【発明の概要】

【0006】

本開示の１つ以上の実施形態によれば、１つ以上の立体視画像は、カメラセンサから取得され得る単一の平面視画像に基づいて生成され得る。立体視画像は、それぞれ、任意の適切な立体視技法を使用して見たときに、ユーザ又はソフトウェアプログラムが、立体視画像に含まれる要素に関して３次元効果を受け取ることができる、第１デジタル画像及び第２デジタル画像を含むことができる。平面視画像は、特定の地理的位置の地理的場面を描写することができ、結果として得られる立体視画像は、地理的場面の三次元（３Ｄ）レンダリングを提供することができる。立体視画像の使用は、システムがより正確な検出及び測距能力を得るのに役立つ可能性がある。本開示における「立体視画像」への言及は、第１デジタル画像（平面視画像）及び第２デジタル画像（平面視画像）の任意の構成を指すことができ、これらは一緒になって、視聴者又はソフトウェアプログラムによって知覚されるような３Ｄ効果を生成することができる。

【図面の簡単な説明】

【0007】

【図1A】図１Ａは、本開示のある実施形態による、立体（３Ｄ）画像を生成するように構成された例示的なシステムを示す。

【図1B】図１Ｂは、単一の平面視画像フレームに基づく立体視画像生成が生じる例示的な環境を図示する。

【図2】図２は、グラフベースのモデルのトポロジー最適化のための方法の例示的なフロー図を示す。

【図3】図３は、グラフベースのモデルのトポロジー最適化において使用され得る例示的なシステムを示している。

【図4】図４は、検出アプリケーション及び／又は立体視画像モジュールによって生成される奥行きマップの例を示す。

【図5】図５は、トレーニング目的のためにグラフベースモデルに提供される立体対の例を示す。

【発明を実施するための形態】

【0008】

図１Ａは、本開示のある実施形態による、立体視（３Ｄ）画像を生成するように構成された例示的なシステム１００を示す。システム１００は、１つ以上の立体視画像（stereoscopic images）１０８を生成するように構成された立体視画像生成モジュール１０４（以下、「立体視画像モジュール１０４」と呼ぶ）を含むことができる。立体視画像モジュール１０４は、平面視画像（monoscopic images）１０２を受け取り、２つ以上の平面視画像１０２に基づいて立体視画像１０８のそれぞれを生成するように構成された任意の適切なシステム、装置、又は装置を含んでもよい。例えば、ある実施形態では、立体視画像モジュール１０４は、平面視画像１０２に基づいて立体視画像１０８を生成するための動作をプロセッサに実行させるように構成されたコンピュータで実行可能な命令を含むソフトウェアを含むことができる。

【0009】

ある実施形態では、平面視画像１０２は、場面を描写するカメラセンサによって得られるデジタル画像を含んでもよい。例えば、平面視画像１０２は、場面内の物体を描写するデジタル画像を含むことができる。ある実施形態では、物体は、木、歩行者、飛行鳥、飛行機、飛行ミサイル、船、ブイ、河川又は海洋、縁石、交通標識、交通線（例えば、「通行禁止区域」を示す二重線）、山、壁、家、消火栓、犬、又はカメラセンサによって視覚的に検出可能な任意の他の適切な物体等、視覚的に検出可能な任意の要素とすることができる。ある実施形態では、立体視画像モジュール１０４は、カメラセンサに通信可能に結合された検出アプリケーションを介して、平面視画像１０２を取得するように構成され得る。本開示で言及されるように、「検出アプリケーション」は、「検出及び測距アプリケーション」の略である。

【0010】

ある実施形態では、立体視画像モジュール１０４は、図１Ｂのネットワーク１２８等の任意の適切なネットワークを介して検出アプリケーション（図１Ｂの検出アプリケーション１２４等）にアクセスして、検出アプリケーションから平面視画像１０２を要求するように構成され得る。これら又は他の実施形態では、検出アプリケーション及び関連する平面視画像１０２は、立体視画像モジュール１０４を含むことができる同じデバイス上に格納することができる。これら又は他の実施形態では、立体視画像モジュール１０４は、装置上に記憶された検出アプリケーションにアクセスして、平面視画像１０２を記憶され得る装置の記憶領域から要求するように構成され得る。

【0011】

追加として又は代替として、立体視画像モジュール１０４は、立体視画像モジュール１０４が、平面視画像１０２を得ることを制御する検出アプリケーションの部分にアクセスすることによって、検出アプリケーションを介して平面視画像１０２を得ることができる検出アプリケーションに含まれてもよい。他の実施形態では、立体視画像モジュール１０４は、（例えば、図１Ｂに示されるように）検出アプリケーションとは別個であってもよいが、平面視画像１０２を得るために検出アプリケーションとインターフェースするように構成され得る。

【0012】

立体視画像モジュール１０４は、以下に示すように立体視画像１０８を生成するように構成することができる。概念の説明を助けるために、図１Ａの立体視画像１０８の１つの例であり得る、例示的立体視画像１２０（図１Ｂに図示され、以下に説明される）の生成に関して説明がなされる。また、図１Ｂに示される、例示的第１デジタル画像１１０及び例示的第２デジタル画像１１２に基づく立体視画像１２０の生成について説明がされる。第１デジタル画像１１０及び第２デジタル画像１１２は、図１Ａの平面視画像１０２に含まれ得る平面視画像の例である。

【0013】

図１Ｂは、単一の平面視画像フレームに基づく立体視画像生成が生じる例示的な環境１０５を示す。図１Ｂの要素は、本開示の１つ以上の実施形態に従って配置され得る。図示されるように、図１Ｂは、検出アプリケーション１２４及びコンピューティングシステム１２６を有する機器１２２と、ネットワーク１２８と、グラフベースモデル１３２及びコンピューティングシステム１３４を有する立体視画像モジュール１３０とを含む。さらに、場面（setting）１０９、第１デジタル画像１１０、第２デジタル画像１１２、焦点１１３、カメラ１１４、焦点距離１１５ａ／１１５ｂ、仮想カメラ１１６、及び変位係数１１８が示されている。ある実施形態では、立体視画像モジュール１３０は、図１Ａに関連して上述した立体視画像モジュール１０４と同じであっても又は類似のものであってもよい。追加として又は代替として、コンピューティングシステム１２６及びコンピューティングシステム１３４は、図３に関連して以下で説明するシステム３００と同じであってもよく又は類似のものであってもよい。

【0014】

ある実施形態では、場面１０９は、カメラ１１４が画像をキャプチャすることができる任意の地理的場面を含むことができる。例えば、場面１０９は、ガレージ、車道、道路、歩道、海、河川、空、森林、都市、村落、空港滑走路及びフライトデッキ等の着陸／発射エリア、倉庫、店舗、在庫通路、ならびに機器１２２が物体を検出し、測距することができる任意の他の適切な環境を含むことができる。したがって、カメラ１１４が第１デジタル画像１１０を撮像するとき、第１デジタル画像１１０は、場面１０９の任意の局面及び／又は一部を含んでもよい。追加として又は代替として、第１デジタル画像１１０は、カメラ１１４の焦点距離１１５ａに基づく焦点１１３を含んでもよい。これら又は他の実施形態では、焦点１１３までの焦点距離１１５ａは、カメラ１１４の仕様に基づく既知の定数であってもよい。

【0015】

ある実施形態では、カメラ１１４は、機器１２２に取り付けられてもよい。本開示では、「機器」とは、コンピュータコード、例えば、ソフトウェアアプリケーションの実行可能な命令を格納及び／又は実行するように構成された任意のデバイスを表し得る。ある実施形態では、機器は、第１地理的位置（例えば、「点Ａ」）から第２地理的位置（例えば、「点Ｂ」）に移動可能であってもよい。これら又は他の実施形態では、機器１２２は、地理的位置間の移動に関して自律的又は半自律的であってもよい。あるいは、機器１２２は、地理的位置の間で人間が操作することもできる。機器１２２の例には、ロボット、ドローン、ロケット、宇宙ステーション、自動運転の車／トラック、人間が運転する車／トラック、機器（例えば、バックホー、ストリートスイーパ、蒸気ローラ等の建設／保守機器）、保管ポッド（例えば、可搬式保管ユニット等）、又は地理的位置間を移動するように構成された任意の他の適切なデバイスを含み得る。

【0016】

追加として又は代替として、機器は、静止しており、ある実施形態では、定位置に固定された装置を含むことができる。例えば、機器は、軍事基地に配置された対ミサイル装置、刑務所の周辺に固定されたセキュリティ装置、ホバリングヘリコプタ、又は一時的に静止しているか、又は所定の位置に永久的に固定されているかにかかわらず、任意の他の適切な機器を含むことができる。追加として又は代替として、マシンは、クライアント装置を含むことができる。クライアント装置のいくつかの例は、携帯電話、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、セットトップボックス、仮想現実装置、ウェアラブル装置、接続された装置、オペレーティングシステムを有する任意のモビリティ装置、衛星等を含むことができる。

【0017】

これら又は他の実施形態では、本出願によって可能になる機器１２２の検出及び測距能力は、例えば、商業／工業目的、製造目的、軍事目的（例えば、陸軍、海軍、国家警備隊、海兵隊、空軍、及び宇宙部隊）、政府機関目的（例えば、連邦調査局、中央情報機関、及び国家輸送安全委員会）等を含む、任意の様々な分野又は産業において有利であり得る。

【0018】

追加として又は代替として、機器１２２は、軌道に沿って検出及び／又は測距をすることができる。軌道は、空気、陸上、空間、又は水上のいずれであっても、機器１２２の任意の移動経路及び／又は周囲領域を含むことができる。これら又は他の実施形態では、カメラ１１４は、機器１２２の軌道の一部、例えば、機器１２２に最も近い軌道の部分、機器１２２から最も遠い軌道の別の部分、又は必ずしも機器１２２の軌道の一部ではない別の部分を、第１デジタル画像１１０内にキャプチャするように構成され得る。一例として、カメラ１１４は、機器１２２から約２メートルまで、機器１２２から約５メートルまで、機器１２２から約２０メートルまで、機器１２２から約５０メートルまで、機器１２２から約１００メートルまで、機器１２２から約２００メートルまで、機器１２２から約５００メートルまで、機器１２２から約１０００メートルまで、機器１２２から約５０００メートルまで等の軌跡の一部をキャプチャし得る。カメラ技術（カメラレンズ技術を含む）の進歩は、撮像速度、解像度、測定精度、及び焦点距離における優位性を促進し続け得る。

【0019】

ある実施形態では、カメラ１１４によって取り込まれた第１デジタル画像１１０は、検出アプリケーション１２４によって取得され得る。例えば、検出アプリケーション１２４は、カメラ１１４から第１デジタル画像１１０を要求することができる。追加として又は代替として、検出アプリケーション１２４は、カメラ１１４から送られた第１デジタル画像１１０を受け取り得る。

【0020】

これら又は他の実施形態では、立体視画像モジュール１３０は、検出アプリケーション１２４から第１デジタル画像１１０を取得することができる。例えば、立体視画像モジュール１３０は、検出アプリケーション１２４から第１デジタル画像１１０を要求することができる。追加として又は代替として、立体視画像モジュール１３０は、検出アプリケーション１２４から送られた第１デジタル画像１１０を受信することができる。これら又は他の実施形態では、立体視画像モジュール１３０は、ネットワーク１２８を介して第１デジタル画像１１０を取得することができ、例えば、そのような場合、立体視画像モジュール１３０は、図１Ｂに示すように、リモートサーバ等の機器１２２から遠隔に配置される。リモートサーバは、計算システム１３４と同一であっても類似であってもよい。追加として又は代替として、リモートサーバは、ラックマウントサーバ、ルータコンピュータ、サーバコンピュータ、パーソナルコンピュータ、メインフレームコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、スマートフォン、車、ドローン、ロボット、オペレーティングシステムを有する任意のモビリティデバイス等の１つ以上のコンピューティングデバイス、データストア（例えば、ハードディスク、メモリ、データベース）、ネットワーク、ソフトウェアコンポーネント、及び／又はハードウェアコンポーネントを含んでもよい。他の実施形態では、立体視画像モジュール１３０は、例えば、立体視画像モジュール１３０が機器１２２と一体化されている（例えば、リモートサーバに配置されていない）場合、ネットワーク１２８なしで第１デジタル画像１１０を取得することができる。

【0021】

ある実施形態では、ネットワーク１２８は、システムとデバイスとの間で通信を送受信するように構成された任意のネットワーク又はネットワーク群の構成であり得る。ある実施形態では、ネットワーク１２８は、従来のタイプのネットワーク、有線又は無線ネットワークを含むことができ、多数の異なる構成を有することができる。追加として又は代替として、ネットワーク１２８は、スター構成、トークンリング構成、又は他の構成を含む任意の適切なトポロジー、構成又は構成を含むことができる。ネットワーク１２８は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）（例えば、インターネット）、ＤＥＣＴ ＵＬＥ、及び／又は複数の装置が通信し得る他の相互接続されたデータパスを含み得る。ある実施形態では、ネットワーク１２８は、ピアツーピアネットワークを含んでもよい。ネットワーク１２８はまた、様々な異なる通信プロトコルにおけるデータの通信を可能にする電気通信ネットワークに結合されてもよいし、その一部を含んでもよい。ある実施形態では、ネットワーク１２８は、データを送受信するためのＢｌｕｅＴｏｏｔｈ（登録商標）通信ネットワーク（例えば、ＭＥＳＨ Ｂｌｕｅｔｏｏｔｈ）及び／又はセルラ通信ネットワークを含んでもよく、それらには、ショートメッセージングサービス（ＳＭＳ）、マルチメディアメッセージングサービス（ＭＭＳ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、直接データ接続、無線アプリケーションプロトコル（ＷＡＰ）、電子メール等を介するものが含まれる。さらに、ネットワーク１２８は、ＷｉＦｉ、ＮＦＣ、ＬＴＥ、ＬＴＥ－Ａｄｖａｎｃｅｄ、１Ｇ、２Ｇ、３Ｇ、４Ｇ、５Ｇ等、ＺｉｇＢｅｅ（登録商標）、ＬｏＲＡ（登録商標）－－機器間通信及びモノのインターネット（ＩｏＴ）アプリケーション－ためのセンサ及びアクチュエータによって、長距離にわたって低データレート通信を行うことを可能にするために開発されたワイヤレス技術、ワイヤレスＵＳＢ、又は任意の他のそのようなワイヤレス技術を含み得る。

【0022】

ある実施形態では、第１デジタル画像１１０が立体視画像モジュール１３０によって得られた後、立体視画像モジュール１３０は、第１デジタル画像１１０をグラフベースのモデル１３２に入力することができる。本開示で言及されるように、用語「グラフベースモデル」は、ディープニューラルネットワーク、ディープビリーフネットワーク、反復ニューラルネットワーク、又は遺伝的プログラミングモデルもしくはツリーベースもしくはフォレストベースの機械学習モデル等の何らかの他のグラフモデルを含むことができる。したがって、グラフベースのモデル１３２は、任意の人工知能システム又は学習ベースのメカニズムを含み得て、それらの例には、パーセプトロン、多層パーセプトロン、フィードフォワード、ラジアル基底ネットワーク、ディープフィードフォワード、リカレントニューラルネットワーク、長期／短期メモリ、ゲート反復ユニット、自動エンコーダ、バリエーションオートエンコーダ、雑音除去オートエンコーダ、スパースオートエンコーダ、任意のシーケンス間モデル、浅いニューラルネットワーク、マルコフチェーン、ホップフィールドネットワーク、ボルツマンマシン、制限ボルツマンマシン、ディープビリーフネットワーク、ディープコンボリューションネットワーク、深層畳み込みネットワーク、畳み込みニューラルネットワーク（例えば、ＶＧＧ－１６）、逆畳み込みネットワーク、深層畳み込み逆グラフィックスネットワーク、モジュラーニューラルネットワーク、敵対的生成ネットワーク、リキッドステートマシン、エクストリームラーニングマシン、エコーステートネットワーク、リカーシブニューラルネットワーク、深層残差ネットワーク、コホーネンネットワーク、サポートベクトルマシン、ニューラルターニングマシン等が含まれ得る。

【0023】

ある実施形態では、グラフベースモデル１３２は、第１デジタル画像１１０の形態である入力に基づいて、第２デジタル画像１１２を生成する（例えば、システム１３４の助けを借りて）ようにトレーニングされ得る。グラフベースモデル１３２のトレーニングは、本開示で後述する。これら又は他の実施形態では、第２デジタル画像１１２は、場面１０９の同じ領域又は類似の領域の画像であるように構成され得る。よって、ある実施形態では、第１デジタル画像１１０及び第２デジタル画像１１２は、実質的に重なり合ってもよい。これら又は他の実施形態では、第１デジタル画像１１０と第２デジタル画像１１２とが重ならない部分に対応するデータは、破棄され得る。追加として又は代替として、第２デジタル画像１１２は、仮想カメラ１１６がカメラ１１４のような実際のカメラであった場合に、仮想カメラ１１６が画像となるものを視覚的に模倣する平面視画像として生成され得る。これら又は他の実施形態では、仮想カメラ１１６は、カメラ１１４の実際の位置とは異なる位置に仮想的に配置される。よって、ある実施形態では、第１デジタル画像１１０で撮像された物体は、第１の位置から及び／又は第１角度で撮像され得る。追加として又は代替として、物体は、第２位置及び／又は第２角度が第１位置及び第１角度とそれぞれ異なるように、第２位置から及び／又は第２角度で第２デジタル画像１１２に撮像され得る。このようにして、知覚可能な奥行きを有する立体視画像１２０は、カメラ１１４によってキャプチャされた第１デジタル画像１１０と、立体視画像モジュール１３０によって生成された第２デジタル画像１１２とを使用して生成され得る。

【0024】

これら又は他の実施形態では、仮想カメラ１１６に対するカメラ１１４の位置関係は、変位係数１１８を含んでもよい。本開示で言及されるように、変位係数１１８は、１つ以上の軸（例えば、ロール、ピッチ、及びヨー）に対する角度又は向き、オフセット水平方向距離又はオフセット垂直方向高さ等を含むことができる。ある実施形態では、変位係数１１８は、既知の定数であってもよい。追加として又は代替として、変位係数１１８は、第２デジタル画像１１２から生じる立体視画像１２０が十分な品質及び精度であるような値に設定され得る。例えば、変位係数１１８は、立体視画像１２０に基づく距離測定値が十分に正確であり、及び／又は、あるモデルに適合するような値に設定され得る。

【0025】

ある実施形態では、立体視画像１２０を使用して奥行きマップを生成することができる。例えば、検出アプリケーション１２４及び／又は立体視画像モジュール１３０は、奥行きマップを生成することができる。奥行きマップの一例を図４に示す。奥行きマップは、立体視画像１２０内の各画素についての対応する画素を含み得る。奥行きマップ内の各対応する画素は、立体視画像１２０内の各画素についてのカメラ１１４からの相対距離データを表すことができる。例えば、紫色又はグレースケールのある濃淡の度合いを有する奥行きマップ内の画素は、実際の距離値ではない特定の相対距離に対応し得る。よって、ある実施態様では、第１奥行きマップ内の画素及び第２奥行きマップ内の画素は、カラー又はグレースケールの同じ濃淡の度合いを含むのに、それでいながら異なる実際の距離値（例えば大きさが桁違いに異なるほどの実際の距離値）を有し得る。このようにして、生成された奥行きマップ内のカラー又はグレースケールは、その画素に対する実際の距離値を表わさず、むしろ、生成された奥行きマップ内の画素のカラー又はグレースケールは、隣接する画素に対する距離値を表現し得る。

【0026】

ある実施形態では、奥行きマップ内の全部の画素のうちの画素のサブセットを物体に関連付けることができる。例えば、検出アプリケーション１２４及び／又は立体視画像モジュール１３０は、奥行きマップ内の画素のサブセットが物体を示すと判定することができる。このようにして、物体の存在は、事前に識別又は検出され得るが、必ずしも測距される必要はない。検出された物体を測距するために、物体に関連付けられた画素のサブセットの一部が分析され得る。ある実施形態では、物体に関連する画素のサブセット全体とは異なり、画素のサブセットの部分だけが、計算のオーバーヘッドを低減し、測距速度を向上させる等のために、分析され得る。例えば、歩行者に関連付けられた全ての画素（例えば、足、脚、胴、首、及び頭）が測距される必要はない。むしろ、歩行者に関連付けられた画素の１つ以上の部分は、測距のために、歩行者がカメラ１１４に対してどこに位置するかを表すものと考えられ得る。これら又は他の実施形態では、物体に関連付けられた画素のサブセットは、平均化され、セグメント化され、又は他の方法で画素のサブセットの一部に簡略化することができる。追加として又は代替として、立体視画像１２０及び奥行きマップの一方又は両方の解像度は、一時的に低下させられ得る（後で元の解像度に復元される）。このようにして、画素のサブセットの一部は、物体を十分に表す相対距離データを含み得る。

【0027】

ある実施形態では、物体についての相対距離データは、実際の距離値（例えば、インチ、フィート、メートル、キロメートル等）に変換され得る。奥行きマップに基づく相対距離データを物体までの実際の距離値に変換するために、相対距離データ、第１デジタル画像１１０及び第２デジタル画像１１２の焦点１１３、カメラ１１４及び仮想カメラ１１６の間の変位係数１１８、及び／又は立体視画像において知覚される奥行きに基づいて距離測定値のオフセットを補償する補正曲線が用いられ得る。これら又は他の実施形態では、カメラ１１４からの距離が増加するにつれて、奥行きマップ内の相対距離データは、精度が低下し得る。したがって、いったん実際の距離データが相対距離データから変換されると、実際の距離データからのオフセット量は、グラフ化されるか、又は実際の距離の関数として曲線に当てはめられ得る。よってある実施形態では、実際の距離データからのオフセットを補正するために、補正値の曲線が実現され得る。

【0028】

ある実施形態では、グラフベースのモデル１３２は、立体視画像１２０をその後に生成するために、第１デジタル画像１１０のような単一の平面視画像に基づいて第２デジタル画像１１２を生成するようにトレーニングされ得る。グラフベースモデル１３２をトレーニングするために、立体ペア画像がグラフベースモデル１３２に提供され得る。立体ペア画像は、第１平面視画像及び第２平面視画像を含み得る。トレーニング目的のためにグラフベースモデル１３２に提供される立体ペアの一例が、図５に示される。これら又は他の実施形態では、第１平面視画像及び第２平面視画像は、任意の同一の又は類似の場面であるが、異なる位置及び／又は角度から撮影された画像を含み得る。このようにして、一緒に撮影された第１平面視画像及び第２平面視画像は、知覚可能な奥行きを持つ立体視的なペアであり得る。追加として又は代替として、第１平面視画像及び第２平面視画像は、任意のタイプ、性質、位置、又は被写体の場面１０９を含み得る。いくつかの立体ペア画像は、タイプ、性質、位置、又は被写体によって関連付けられ得るが、増加された量に加えて、立体ペア画像群の間の多様性は、十分な品質及び精度の第２デジタル画像１１２及び立体視画像１２０を生成するために、グラフベースモデル１３２のトレーニング品質又は能力を改善するのに役立ち得る。

【0029】

ある実施形態では、グラフベースモデル１３２のトレーニングは、サーバ側で、例えば、機器１２２から離れて配置されたときには、立体視画像モジュール１３０において行うことができる。追加として又は代替として、グラフベースモデル１３２のトレーニングは、ワンタイムのプロセスであってもよく、その後、第２デジタル画像１１２及び立体視画像１２０の生成が可能にされ得る。他の実施形態では、グラフベースモデル１３２のトレーニングは、必要に応じてそのつどに、随時に（例えば、連続的に）、又は所定間隔で（例えば、所定のスケジュールで）行われ得る。そのつど行う例として、例えば、不正確さ又は安全性の脅威が明らかになる場合、例えば安全違反又は事故の場合がある。このような場合、不正確性又は安全上の脅威に焦点を当てた追加のトレーニングがグラフベースモデル１３２に提供され得る。追加として又は代替として、グラフベースモデル１３２のトレーニングの１つ以上の局面は、例えば、検出アプリケーション１２４を介して、機器１２２において発生し得る。例として、フィードバックは、検出アプリケーション１２４から機器１２２を介して、機器１２２のユーザから、機器１２２を介して、法執行官のような第三者から、グラフベースモデル１３２において受信され得る。

【0030】

本開示の範囲から逸脱することなく、環境１０５に修正、追加、又は省略を行うことができる。例えば、環境１０５は、具体的に列挙されたもの以外の他の要素を含むことができる。さらに、環境１０５は、任意の数の異なるシステム又はデバイスに含まれ得る。

【0031】

図２は、グラフベースのモデルのトポロジー最適化のための方法２００の例示的なフロー図を示す。方法２００は、本開示に記載される少なくとも１つの実施形態に従って構成され得る。方法２００は、ある実施形態では、図３に関連して以下で説明されるシステム３００のような、ソフトウェアシステム及び／又は処理システムによって、全体的に又は部分的に実現され得る。これら及び他の実施形態では、方法２００のステップのうちの一部又は全部は、１つ以上の非一時的コンピュータ読み取り可能な媒体に格納された命令の実行に基づいて実行され得る。個別のブロックとして図示されているが、様々なブロックは、所望の実装に応じて、さらなるブロックに分割され、より少ないブロックに結合され、又は削除され得る。

【0032】

方法２００は、検出アプリケーション及びカメラセンサの一方又は両方を介して、第１デジタル画像が得られるブロック２０５において開始され得る。第１デジタル画像は、検出アプリケーションに通信可能に結合されたカメラセンサの第１位置からの場面を描写する平面視画像であり得る。ある実施形態では、第１デジタル画像は、機器の軌道を含んでもよい。

【0033】

ブロック２１０において、第２デジタル画像は、第１デジタル画像に基づいて生成され得る。第２デジタル画像は、第１位置とは異なる第２位置からの場面を描写する平面視画像であり得る。これら又は他の実施形態では、第２デジタル画像は、ブロック２０５の第１デジタル画像をキャプチャするカメラのような、カメラによってキャプチャされる画像ではない。

【0034】

ブロック２１５では、場面の立体視画像が生成され得る。立体視画像は、第１デジタル画像及び第２デジタル画像を含んでもよい。これら又は他の実施形態では、立体視画像は、検出及び測距の決定の基礎となる画像であってもよい。

【0035】

当業者は、本開示で開示されるこの方法及び他の方法について、方法のブロックが異なる順序で実装され得ることを理解するであろう。さらに、ブロックは、例としてのみ提供され、ブロックのいくつかは、オプションであってもよく、より少ないブロックに結合されてもよく、又は追加のブロックに拡張され得る。

【0036】

例えば、ある実施形態では、それぞれが第１平面視画像及び第２平面視画像を含む複数の立体ペア画像を得るステップと、複数の立体ペア画像を入力としてグラフベースのモデルに送るステップとを含む、１つ以上のさらなるブロックが、方法２００に含まれてもよい。このようにして、グラフベースのモデルは、ブロック２１５の立体視画像のその後の生成のために、第１デジタル画像に基づいてブロック２１０の第２デジタル画像を生成する方法を知るようにトレーニングされ得る。

【0037】

追加として又は代替として、グラフベースモデルへの入力として第１デジタル画像を送信することを含む１つ以上の追加のブロックが方法２００に含まれてもよく、第２デジタル画像は、複数の立体ペア画像の一方又は両方に基づいてグラフベースモデルから出力され、第１デジタル画像は、グラフベースモデルに入力される。

【0038】

追加として又は代替として、１つ以上のさらなるブロックが、立体視画像内の各画素についての対応する画素を含む奥行きマップを生成することを含む方法２００に含まれてもよく、奥行きマップ内のそれぞれの対応する画素は、立体視画像内のそれぞれの画素についてのカメラセンサからの相対距離データを表す。

【0039】

追加として又は代替として、１つ以上の追加のブロックを方法２００に含めることができ、その追加のブロックは、物体を示すものとして奥行きマップ内の画素の総量の画素のサブセットを関連付けることと、物体に関連する奥行きマップ内の画素のサブセットの一部分に基づいて、物体に関連する部分の相対距離データと、第１デジタル画像及び第２デジタル画像の焦点と、第１デジタル画像と第２デジタル画像との間の変位係数とを使用して、カメラセンサから立体視画像内の物体までの実際の距離を取得することとを含む。ある実施形態では、前記物体までの実際の距離を、前記立体視画像内の知覚奥行きに基づいて、距離測定値のオフセットを補正する補正値を求めるステップを含むことができる。

【0040】

追加として又は代替として、物体までの実際の距離が第１閾値距離を満たすときに、検出アプリケーションを介して提示するための警告を送信すること、及び／又は、検出アプリケーションを介して、物体までの実際の距離が第２閾値距離を満たすときに、検出アプリケーションに通信可能に結合された機器に補正作用を実行させることを含む、１つ以上の追加のブロックが、方法２００に含まれてもよい。ある実施形態では、第１閾値距離及び第２閾値距離は、同じであってもよく、他の実施形態では、検出された物体までの異なる距離であってもよい。追加として又は代替として、第１閾値距離及び／又は第２閾値距離は、無数の要因のいずれかに応じて変化してもよい。例えば、第１及び第２閾値差に影響を及ぼす要因は、機器及び／又は物体の速度、機器及び／又は物体の軌跡、規制ルール又は法則、コスト／利益分析、リスク予測分析、又は機器と検出された物体との間の閾値距離が評価され得る任意の他の適切なタイプの要因を含むことができる。

【0041】

ある実施形態では、検出アプリケーションを介した（例えば、ディスプレイでの）提示のための警告は、視覚的警告信号及び／又は可聴警告信号を含むことができる。追加として又は代替として、検出アプリケーションは、機器を停止させること、機器を減速させること、機器を進路から外れさせること、機器の高度を降下／上昇させること、操縦を回避すること、又は機器及び物体への損傷を軽減するための、及び／又は機器と物体との間の接触を防止するための任意の他の適切なタイプの修正動作を含む修正動作を機器に実行させることができる。

【0042】

追加として又は代替として、１つ以上の追加のブロックが、立体視画像内の物体の存在を決定することを含む方法２００に含まれてもよく、グラフベースのモデルを介した物体の画像認識処理に基づいて、物体を分類する。実施形態では、立体視画像内の物体の存在を判定することは、立体視画像内及び／又は奥行きマップ内の画素の分析を含み得る。例えば、画素のグループが例示的な形状を形成するか、又は特定の色又はグレースケールを含む場合、物体の存在が推論され得る。これら又は他の実施形態では、物体の認識は、別個のステップであってもよい。

【0043】

ある実施形態では、画像認識は、グラフベースのモデルの画像認識トレーニングを含むことができる。例えば、グラフベースのモデルは、入力データ（例えば、物体の画像）を供給されてもよく、グラフベースのモデルの出力（例えば、推測）は、所定の又は人間が指定したラベルのような期待される結果と比較され得る。入力データを通る追加のサイクルを用いて、グラフベースのモデルにおける重み、バイアス、及び他のパラメータを修正して、推測の誤り率を低減することができる。例えば、グラフベースのモデルにおける重み付けは、推測が物体の画像の所定の又は人間が指定したラベルにより良く一致するように調整され得る。

【0044】

これら又は他の実施形態では、トレーニング目的のためにグラフベースモデルに供給される入力データは、多数の異なる物体の画像を含むことができる。数百、数千、又は数百万の物体の画像をグラフベースのモデルに提供することができる。追加として又は代替として、グラフベースモデルに提供される物体の画像は、物体の１つ以上の特徴、画素、境界、又は任意の他の検出可能な局面に対応するラベルを含むことができる。

【0045】

これら又は他の実施形態では、追加又は代替の画像認識技法をグラフベースのモデルと共に使用して、物体を分類することができる。例は、グレースケール、例えば、ゼロから２５５までの範囲のＲＧＢ（赤、緑、及び青）値、前処理技術（例えば、画像クロッピング／フリッピング／角度操作、画像色相、コントラスト、及び彩度の調整等）、データセット全体ではなくデータのサブセット又は小さなバッチサイズを試験すること、及びグリッドの最大画素値をとることによって画像の寸法を縮小するための最大プーリングを使用することを含むことができる。

【0046】

図３は、グラフベースのモデルのトポロジー最適化に使用され得る例示的なシステム３００を示す。システム３００は、本開示に記載される少なくとも１つの実施形態に従って構成され得る。システム３００は、プロセッサ３１０と、メモリ３１２と、通信ユニット３１６と、ディスプレイ３１８と、ユーザインターフェースユニット３２０と、周辺デバイス３２２とを含むことができ、これらはすべて通信可能に結合され得る。ある実施形態では、システム３００は、本開示で説明されるシステム又は装置のいずれかの一部であってもよい。

【0047】

一般に、プロセッサ３１０は、任意の適切な特定用途又は汎用コンピュータ、コンピューティングエンティティ、又は、様々なコンピュータハードウェア又はソフトウェアモジュールを含む処理装置を含み、そして、任意の適用可能なコンピュータ可読記憶媒体上に記憶された命令を実行するように構成され得る。例えば、プロセッサ３１０は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラム命令を解釈し及び／又は実行し、及び／又はデータを処理するように構成された任意の他のデジタル又はアナログ回路を含むことができる。

【0048】

図３では単一のプロセッサとして示されているが、プロセッサ３１０は、本開示で説明される任意の数の動作を個別に又は集合的に実行するように構成された任意の数のネットワーク又は物理的位置にわたって分散された任意の数のプロセッサを含むことができることを理解されたい。ある実施形態では、プロセッサ３１０は、メモリ３１２に記憶されたプログラム命令及び／又は処理データを解釈及び／又は実行してもよい。ある実施形態では、プロセッサ３１０は、メモリ３１２に記憶されたプログラム命令を実行してもよい。

【0049】

例えば、ある実施形態では、プロセッサ３１０は、単一の平面視画像フレームに基づいて検出及び測距に関連する、メモリ３１２に格納されたプログラム命令を実行することができる。これら及び他の実施形態では、命令は、本開示で説明される１つ以上の動作又は機能を実行するために使用され得る。

【0050】

メモリ３１２は、コンピュータで読み取り可能な記憶媒体、又はコンピュータで実行可能な命令又はデータ構造を記憶したものを担持したり又はそれを保持するための一つ以上のコンピュータで読み取り可能な記憶媒体を含んだりすることができる。このようなコンピュータ読み取り可能な記憶媒体は、プロセッサ３１０のような汎用又は特定用途のコンピュータによってアクセス可能な任意の利用可能な媒体であってもよい。このようなコンピュータ可読記憶媒体には、例として、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、電気的に消去可能なプログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスク読取り専用メモリ（ＣＤ－ＲＯＭ）、又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置、フラッシュメモリ装置（例えば、ソリッドステートメモリ装置）、又はコンピュータで実行可能な命令又はデータ構造の形態で特定のプログラムコードを担持又は記憶するために使用され、汎用又は特定用途のコンピュータによってアクセスされ得る他の記憶媒体が含まれ得る。上記の組合せはまた、コンピュータ可読記憶媒体の範囲内に含まれてもよい。コンピュータ実行可能命令は、例えば、本開示に記載されるように、プロセッサ３１０に特定の動作又は動作のグループを実行させるように構成された命令及びデータを含み得る。これらの実施形態及び他の実施形態では、本開示で説明される「非一時的」という用語は、In re Nuijten, 500 F.3d 1346 (Fed. Cir. 2007)の連邦巡回裁判所の判決において特許可能な主題の範囲の外であると判示された一時的媒体のタイプのみを除外するものと解釈されるべきである。上記のものが組み合わされたものも、コンピュータ読み取り可能な媒体の範囲内に含まれ得る。

【0051】

通信ユニット３１６は、ネットワークを介して情報を送信又は受信するように構成された任意の構成要素、装置、システム、又はそれらの組合せを含むことができる。ある実施形態では、通信ユニット３１６は、他の場所、同じ場所、又は同じシステム内の他のコンポーネントでさえ、他のデバイスと通信することができる。たとえば、通信ユニット３１６は、モデム、ネットワークカード（無線又は有線）、赤外線通信デバイス、ワイヤレス通信デバイス（アンテナ等）、及び／又はチップセット（Ｂｌｕｅｔｏｏｔｈデバイス、８０２．６デバイス（たとえば、メトロポリタンエリアネットワーク（ＭＡＮ））、Ｗｉ－Ｆｉデバイス、ＷｉＭａｘデバイス、セルラ通信設備等）及び／又はそれらの類似物を含むことができる。通信ユニット３１６は、本開示で説明されるネットワーク及び／又は任意の他のデバイス又はシステムとデータが交換されることを可能にし得る。

【0052】

ディスプレイ３１８は、ＬＣＤ、ＬＥＤ、又は他のタイプのディスプレイのような、１つ以上のディスプレイとして構成され得る。例えば、ディスプレイ３１８は、プロセッサ３１０によって指示されるように、トポロジーを提示し、トポロジーに対する変化型を示し、警告通知を示し、検証性能改善値を示し、重み、バイアス等を表示し、他のデータを表示するように構成され得る。

【0053】

ユーザインターフェースユニット３２０は、ユーザがシステム３００とインターフェースすることを可能にする任意のデバイスを含み得る。例えば、ユーザインターフェースユニット３２０は、さまざまなデバイスの中でもとりわけ、マウス、トラックパッド、キーボード、ボタン、及び／又はタッチスクリーンを含み得る。ユーザインタフェースユニット３２０は、ユーザからの入力を受け取り、プロセッサ３１０に入力を提供することができる。ある実施形態では、ユーザインターフェースユニット３２０及びディスプレイ３１８は、組み合わされ得る。

【0054】

周辺デバイス３２２は、１つ以上のデバイスを含むことができる。例えば、周辺装置は、さまざまな周辺装置の中でもとりわけ、センサ、マイクロホン、及び／又はスピーカを含み得る。

【0055】

本開示の範囲から逸脱することなく、システム３００に修正、追加、又は省略を行うことができる。例えば、ある実施形態では、システム３００は、明示的に図示又は説明されていない任意の数の他の構成要素を含むことができる。さらに、いくつかの実装形態に応じて、システム３００は、図示され説明された構成要素のうちの１つ又は複数を含まなくてもよい。

【0056】

一般的な慣行に従って、図面に図示されている様々な特徴は、縮尺通りに描かれていなくてもよい。本開示で提示される例示は、任意の特定の装置（例えば、デバイス、システム等）又は方法の実際の図であることを意味するものではなく、本開示の様々な実施形態を説明するために使用される理想化された表現にすぎない。したがって、様々な特徴の寸法は、明確にするために任意に拡大又は縮小され得る。さらに、図面のいくつかは、明確にするために簡略化されている場合がある。したがって、図面は、所与の装置（たとえば、デバイス）の構成要素のすべて、又は特定の方法の動作のすべてを示すわけではない。

【0057】

本明細書で使用される用語、特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本体）は、一般に「オープン」用語として意図される（例えば、「含む」という用語は、「含むが、これに限定されない」と解釈されるべきであり、「有する」という用語は、「少なくとも有する」と解釈されるべきであり、「含む」という用語は、「含むが、これに限定されない」と解釈されるべきである。

【0058】

加えて、導入されたクレームの特定の数の記載が意図される場合、そのような意図はクレームにおいて明示的に記載され、そのような記載がない場合、そのような意図は存在しない。例えば、理解を助けるために、以下の特許請求の範囲は、クレームの記載を導入するための導入語句「少なくとも１つ」及び「１つ以上」の使用を含むことができるが、そのような語句の使用は、そのような導入されたクレームの記載を含む特定のクレームの「ａ」又は「ａｎ」によるクレームの記載の導入が、同じクレームが「１つ以上」又は「少なくとも１つ」の導入語句及び「ａ」又は「ａｎ」のような不明確な条を含む場合であっても、そのような特定のクレームの記載を含む特定のクレームの記載をそのような記載のみを含む実施形態に限定することを意味すると解釈されるべきではなく、クレームの記載を導入するために使用される特定の条の使用についても同様である。

【0059】

加えて、たとえ導入された請求項引用の特定の数が明示的に引用されたとしても、当業者は、そのような引用が、少なくとも引用された数を意味すると解釈されるべきであることを認識するであろう（例えば、他の修飾語なしの「２つの引用」の裸の引用は、少なくとも２つの引用、又は２つ以上の引用を意味する）。さらに、「Ａ、Ｂ、及びＣ等のうちの少なくとも１つ」又は「Ａ、Ｂ、及びＣ等のうちの１つ以上」に類似する慣例が使用される場合において、一般に、そのような構造は、Ａ単独、Ｂ単独、Ｃ単独、Ａ及びＢを一緒に、Ａ及びＣを一緒に、Ｂ及びＣを一緒に、又はＡ、Ｂ及びＣを一緒に、等を含むことを意図する。例えば、用語「及び／又は」の使用は、このように解釈されることが意図され、さらに、用語「約」、「実質的に」、及び「ほぼ」は、実際の値の１０％以内の値、例えば、３ｍｍ又は１００％（パーセント）のような値を意味すると解釈されるべきである。

【0060】

さらに、説明、特許請求の範囲、又は図面のいずれかにおいて、２つ以上の代替的な用語を提示する任意の分離語又は句は、用語のうちの１つ、用語のうちのいずれか、又は両方の用語を含む可能性を企図すると理解されるべきである。例えば、語句「Ａ又はＢ」は、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むと理解されるべきである。

【0061】

しかし、そのような語句の使用は、当該導入されたクレームの記載を含む特定のクレームの「ａ」又は「ａｎ」によるクレームの記載の導入が、たとえ同じクレームが「１以上」又は「少なくとも１以上」の導入語句及び「ａ」又は「ａｎ」のような不明確な条を含む場合であっても、そのような導入されたクレームの記載を含む特定のクレームのいずれかをそのような記載のみを含む実施形態に限定することを意味すると解釈されるべきではなく（例えば、「ａ」及び／又は「ａｎ」は「少なくとも１以上」を意味すると解釈されるべきである）、同じことがクレームの記載を導入するために使用される定冠詞の使用についてあてはまる。

【0062】

加えて、用語「第１」、「第２」、「第３」等の使用は、本明細書では、必ずしも特定の順序又は数の要素を暗示するために使用されない。一般に、用語「第１」、「第２」、「第３」等は、異なる要素を一般的な識別子として区別するために使用される。用語「第１」、「第２」、「第３」等は、特定の順序を暗示するものではなく、さらに、用語「第１」、「第２」、「第３」等は、特定の数の要素を暗示するものではない。例えば、第１ウィジェットは、第１辺を有するものとして説明され、第２ウィジェットは、第２辺を有するものとして説明され得る。第２ウィジェットに対する用語「第２辺」の使用は、第２ウィジェットのそのような辺を区別するためのものであってもよい。第１ウィジェットの「第１側」からのウィジェットであって、第２ウィジェットが２つの側を有することを意味するものではない。

【0063】

本明細書に列挙されたすべての例及び条件付き言語は、読者が本発明及び本発明者によって当該技術を促進するために寄与された概念を理解するのを助けるための教育目的のためのものであり、そのような具体的に列挙された例及び条件に限定されるものではないと解釈されるべきである。本開示の実施形態を詳細に説明したが、本開示の精神及び範囲から逸脱することなく、様々な変更、置換、及び変更を本明細書に行うことができることを理解されたい。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】