特開 2024-12160 目標状態推定方法、装置、電子機器及び媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024012160

(43)【公開日】2024-01-25

(54)【発明の名称】目標状態推定方法、装置、電子機器及び媒体

(51)【国際特許分類】

   B60W 40/10 20120101AFI20240118BHJP

   G06T 7/00 20170101ALI20240118BHJP

   G08G 1/16 20060101ALI20240118BHJP

【ＦＩ】

B60W40/10

G06T7/00 650B

G08G1/16 A

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023114661

(22)【出願日】2023-07-12

(31)【優先権主張番号】202210837617.3

(32)【優先日】2022-07-15

(33)【優先権主張国・地域又は機関】CN

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＶＥＲＩＬＯＧ

(71)【出願人】

【識別番号】521254764

【氏名又は名称】北京図森智途科技有限公司

(74)【代理人】

【識別番号】110001139

【氏名又は名称】ＳＫ弁理士法人

(74)【代理人】

【識別番号】100130328

【弁理士】

【氏名又は名称】奥野 彰彦

(74)【代理人】

【識別番号】100130672

【弁理士】

【氏名又は名称】伊藤 寛之

(72)【発明者】

【氏名】楊▲ユィン▼晨

(72)【発明者】

【氏名】劉偉俊

(72)【発明者】

【氏名】孫嘉明

(72)【発明者】

【氏名】王乃岩

【テーマコード（参考）】

3D241

5H181

5L096

【Ｆターム（参考）】

3D241BA50

3D241DC25Z

3D241DC26Z

5H181AA01

5H181BB04

5H181BB13

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF13

5H181FF25

5H181FF27

5H181FF33

5H181LL07

5H181LL08

5H181LL09

5L096BA04

5L096CA02

5L096DA02

5L096FA06

5L096FA62

5L096FA66

5L096FA67

5L096FA69

(57)【要約】      （修正有）

【課題】十分に精確な状態推定を得ることができる目標状態推定方法を提供する。
【解決手段】目標状態推定方法は、複数の時刻に対応するデータフレームシーケンスを取得するステップと、データフレームシーケンスにおいて第１のタイムウィンドウを決定するステップであって、第１のタイムウィンドウは１群の最適化される第１状態量集合を含むステップと、第１のタイムウィンドウ内から複数の第２のタイムウィンドウを決定するステップであって、第２のタイムウィンドウ内のデータフレーム数は第１のタイムウィンドウ内のデータフレーム数より小さく、隣接する２つの第２のタイムウィンドウは重複するデータフレームを有し、且つ各第２のタイムウィンドウは１群の最適化される第２状態量集合を有するステップと、複数の第２のタイムウィンドウ内の第２状態量集合を同時に最適化することにより、最適化された第１状態量集合を得るステップと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の時刻に対応するデータフレームシーケンスを取得するステップ、
前記データフレームシーケンスに基づいて第１のタイムウィンドウを決定するステップであって、前記第１のタイムウィンドウは最適化される第１状態量集合を含むステップと、
前記第１のタイムウィンドウ内において複数の第２のタイムウィンドウを決定するステップであって、各第２のタイムウィンドウに対応するデータフレーム数は前記第１のタイムウィンドウに対応するデータフレーム数より小さく、隣接する２つの第２のタイムウィンドウは少なくとも１つの同一のデータフレームを有し、且つ各第２のタイムウィンドウは最適化される第２状態量集合を有するステップと、
前記複数の第２のタイムウィンドウに対応する第２状態量集合を最適化し、それによって前記第１状態量集合を最適化するステップと、を含む、目標状態推定方法。

【請求項2】

前記第１状態量集合は、
前記第１のタイムウィンドウ内の各時刻での前記目標の速度、位置、向き又は寸法のうち少なくとも一方と、
前記第１のタイムウィンドウ内の前記目標の平均速度、平均位置又は平均向きのうち少なくとも一方とのうち少なくとも一方を含み、また、
前記第２状態量集合は、
前記第２のタイムウィンドウ内の各時刻で前記目標の速度、位置、向き又は寸法のうち少なくとも一方と、
前記第２のタイムウィンドウ内の前記目標の平均速度、平均位置又は平均向きのうち少なくとも一方とのうち少なくとも一方を含む、請求項１に記載の方法。

【請求項3】

前記第２状態量集合に対する最適化は損失関数を最小化することによって実現され、
前記損失関数は前記複数の第２のタイムウィンドウ内の各時刻での前記目標の状態量及び前記目標の観測量に基づいて決定され、また、
前記観測量は少なくとも１つの観測モデルによって観測され、前記少なくとも１つの観測モデルは少なくとも１つのセンサに基づいて得られる、請求項１に記載の方法。

【請求項4】

前記損失関数は前記複数の第２のタイムウィンドウに基づいて決定される前記状態量の平滑化損失、前記目標の速度に関連付けられた速度損失、又は前記目標の向きに関連付けられた向き損失を含み、
前記平滑化損失は各第２のタイムウィンドウ内の各時刻での前記目標の状態量及び前記各第２のタイムウィンドウ内での前記目標の前記状態量の平均値に基づいて算出され、

前記速度損失は速度平滑化損失を含み、前記速度平滑化損失は前記各第２のタイムウィンドウ内の各時刻、対応する第２のタイムウィンドウ内の各時刻での前記目標の速度状態量、及び前記対応する第２のタイムウィンドウ内での前記目標の平均速度状態量に基づいて算出され、
前記向き損失は向き平滑化損失を含み、前記向き平滑化損失は前記各第２のタイムウィンドウの各時刻、対応する第２のタイムウィンドウ内の各時刻での前記目標の向き状態量及び前記対応する第２のタイムウィンドウ内での前記目標の平均向き状態量に基づいて算出される、請求項３に記載の方法。

【請求項5】

前記速度平滑化損失はさらに前記第１のタイムウィンドウ内の各時刻での前記目標の速度状態量及び前記第１のタイムウィンドウ内での前記目標の平均速度状態量に基づいて算出される、請求項４に記載の方法。

【請求項6】

前記速度損失はさらに速度事前損失を含み、前記速度事前損失は、現在の第１のタイムウィンドウと前の第１のタイムウィンドウとの重なり区間内の各時刻での速度状態量及び前記前の第１のタイムウィンドウに対して行われた状態量の最適化過程における前記重なり区間内の各時刻での最適化された速度状態量に基づいて算出され、又は
前記速度損失はさらに速度残差を含み、前記速度残差は前記第１のタイムウィンドウ内の各時刻での前記目標の速度観測量と前記第１のタイムウィンドウ内の各時刻での前記目標の速度状態量に基づいて算出される、請求項４に記載の方法。

【請求項7】

前記向き平滑化損失はさらに前記第１のタイムウィンドウ内の各時刻での前記目標の向き状態量及び前記第１のタイムウィンドウ内での前記目標の平均向き状態量に基づいて算出される、又は
前記向き損失はさらに向き事前損失を含み、前記向き事前損失は、前記第１のタイムウィンドウと前の第１のタイムウィンドウとの重なり区間内の各時刻での向き状態量及び前記前の第１のタイムウィンドウに対して行われた状態量の最適化過程における前記重なり区間内の各時刻での最適化された向き状態量に基づいて算出される、請求項4記載の方法。

【請求項8】

前記目標は車両であり、前記車両は第１の部材及び少なくとも１つの第２の部材を含み、前記第２の部材は前記第１の部材回りに回転することができ、
前記目標の位置は、前記第１の部材の位置、各前記第２の部材の位置又は前記車両の位置のうち少なくとも一方を含み、
前記目標の寸法は、前記第１の部材の寸法、各前記第２の部材の寸法又は前記車両の寸法のうち少なくとも一方を含み、
前記目標の向きは、前記速度の向き、前記第１の部材の向き又は前記車両が位置する車線の向きのうち少なくとも一方を含む、請求項２に記載の方法。

【請求項9】

前記第２状態量集合に対する最適化は損失関数を最小化することによって実現され、
前記損失関数は前記目標の向きに関連付けられた向き損失を含み、また、
前記向き損失は向き平滑化損失又は向き残差を含み、ここで、
前記向き平滑化損失は前記各第２のタイムウィンドウの各時刻、前記目標が対応する第２のタイムウィンドウ内の各時刻での向き状態量及び前記目標が前記対応する第２のタイムウィンドウ内の平均向き状態量に基づいて算出され、
前記向き残差は第１の部材の向き残差及び／又は第２の部材の向き残差を含み、
前記第１の部材の向き残差は前記第１のタイムウィンドウ内の各時刻での前記第１の部材の向き状態量及び前記第１のタイムウィンドウ内の各時刻での前記第１の部材の向き観測量に基づいて算出され、また、
前記第２の部材の向き残差は前記第１のタイムウィンドウ内の各時刻での前記第２の部材の向き状態量及び前記第１のタイムウィンドウ内の各時刻での前記第２の部材の向き観測量に基づいて算出される、請求項８に記載の方法。

【請求項10】

前記損失関数は、前記目標の向きに関連する向き損失を含み、また、
前記向き損失は向き平滑化損失又は角速度拘束を含み、ここで、
前記向き平滑化損失は前記各第２のタイムウィンドウの各時刻、対応する第２のタイムウィンドウ内の各時刻での前記目標の向き状態量及び前記対応する第２のタイムウィンドウ内での前記目標の平均向き状態量に基づいて算出され、また、
前記角速度拘束は、前記第１のタイムウィンドウ内の各時刻での前記目標の速度状態量、前記第１のタイムウィンドウ内の前記第２の部材の長さ、前記第１のタイムウィンドウ内の前記第１の部材と前記第２の部材との間のヒンジの長さ、前記第１のタイムウィンドウ内の各時刻での前記第１の部材の向き状態量及び前記第１のタイムウィンドウ内の各時刻での前記第２の部材の向き状態量に基づいて算出される、請求項３に記載の方法。

【請求項11】

前記損失関数は前記目標の位置に関連付けられた位置損失をさらに含み、
前記位置損失は少なくとも１つの基準点残差を含み、また、
前記基準点残差は、中心点残差又は輪郭隅角点残差のうち少なくとも一方を含む、請求項３に記載の方法。

【請求項12】

前記損失関数は、前記目標の寸法に関連付けられた寸法損失をさらに含み、
前記寸法損失は、寸法事前損失又は各時刻で最適化された寸法累積損失のうち少なくとも一方を含み、
前記寸法事前損失は各現在時刻での前記目標の寸法量残差と前の第１のタイムウィンドウに対して行われた状態量の最適化過程において最適化された前記目標の寸法量との残差を含み、また、
前記寸法累積損失は初期時刻から前の最適化時刻までの間の前記目標の各寸法損失の総和を含む、請求項４に記載の方法。

【請求項13】

複数の時刻に対応するデータフレームシーケンスを取得するように配置される取得ユニットと、
前記データシーケンスに基づいて第１のタイムウィンドウを決定するように配置される決定ユニットであって、前記第１のタイムウィンドウは最適化される第１状態量集合を含む決定ユニットと、
前記第１のタイムウィンドウ内において複数の第２のタイムウィンドウを決定するように配置される選択ユニットであって、各第２のタイムウィンドウに対応するデータフレーム数は前記第１のタイムウィンドウに対応するデータフレーム数より小さく、隣接する２つの第２のタイムウィンドウは少なくとも１つの同一のデータフレームを有し、且つ各第２のタイムウィンドウは１群の最適化される第２状態量集合を有する選択ユニットと、
前記複数の第２のタイムウィンドウに対応する第２状態量集合を最適化し、それによって前記第１状態量集合を最適化するように配置される最適化ユニットと、を含む、目標状態推定装置。

【請求項14】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信可能に接続されたメモリと、を含み、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサによって実行されて、前記少なくとも１つのプロセッサに請求項１～１２のいずれか一項に記載の方法を実行させることができる、電子機器。

【請求項15】

コンピュータ命令が記憶されている非一時的コンピュータ可読記憶媒体であって、前記コンピュータ命令は、前記コンピュータに請求項１～１２のいずれか一項に記載の方法を実行させるために用いられる、コンピュータ命令が記憶されている非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、コンピュータ分野に関し、特に自動運転、データ処理技術分野に関し、具体的には、目標状態推定方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム製品に関する。

【背景技術】

【0002】

目標を識別又は観測する過程において、一般的に、センサによって取得された目標測定データに基づいて目標状態を精確に推定する必要がある。目標は、運動中に、速度、角度、加速度などのパラメータに伴って絶えず変化することで、目標の位置は高い相関性を有する。例えば、無人運転における１つの重要な部分として、道路上の他の車両の位置、速度、大きさ、方向などの状態をリアルタイムに推定し、このような技術は無人運転の安全係数をかなりの程度決定する。したがって、目標の識別又は観測性能を向上させるために、より優れた状態推定方法の検討が切実に望まれる。

【0003】

この部分で説明される方法は、必ずしも以前に想定又は採用された方法ではない。別段の指示がない限り、この部分で説明される方法は、この部分に含まれているだけで先行技術として考えられると仮定すべきではない。同様に、別段の指示がない限り、この部分で言及される問題は、いずれの先行技術においても公知のものとして考えられるべきではない。

【発明の概要】

【0004】

本開示の一態様によれば、複数の時刻に対応するデータフレームシーケンスを取得するステップと、前記データフレームシーケンスにおいて第１のタイムウィンドウを決定するステップであって、前記第１のタイムウィンドウは１群の最適化される第１状態量集合を含むステップと、前記第１のタイムウィンドウ内から複数の第２のタイムウィンドウを決定するステップであって、前記第２のタイムウィンドウ内のデータフレーム数は前記第１のタイムウィンドウ内のデータフレーム数より小さく、隣接する２つの第２のタイムウィンドウは重複するデータフレームを有し、且つ各第２のタイムウィンドウは１群の最適化される第２状態量集合を有するステップと、前記複数の第２のタイムウィンドウ内の第２状態量集合を同時に最適化することにより、最適化された第１状態量集合を得るステップと、を含む目標状態推定方法が提供される。

【0005】

本開示の別の態様によれば、複数の時刻に対応するデータフレームシーケンスを取得するように配置される取得ユニットと、前記データシーケンスに基づいて第１のタイムウィンドウを決定するように配置される決定ユニットであって、前記第１のタイムウィンドウは１群の最適化される第１状態量集合を含む決定ユニットと、前記第１のタイムウィンドウ内に複数の第２のタイムウィンドウを決定するように配置される選択ユニットであって、前記第２のタイムウィンドウ内のデータフレーム数は前記第１のタイムウィンドウ内のデータフレーム数より小さく、隣接する２つの第２のタイムウィンドウは重複するデータフレームを有し、且つ各第２のタイムウィンドウは１群の最適化される第２状態量集合を有するように配置される選択ユニットと、前記複数の第２のタイムウィンドウ内の第２状態量集合を最適化することにより、最適化された第１状態量集合を得るように配置される最適化ユニットと、を含む目標状態推定装置が提供される。

【0006】

本開示の別の態様によれば、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信可能に接続されたメモリと、を含み、メモリには少なくとも１つのプロセッサによって実行可能な命令が記憶されており、当該命令が少なくとも１つのプロセッサによって実行され、それによって少なくとも１つのプロセッサに本開示に記載の方法を実行させることができる電子機器が提供される。

【0007】

本開示の別の態様によれば、コンピュータ命令が記憶されている非一時的コンピュータ可読記憶媒体を提供し、当該コンピュータ命令はコンピュータに本開示に記載の方法を実行させるために用いられる。

【0008】

本開示の１つ又は複数の実施例によれば、第１のタイムウィンドウ内の状態量を最適化する時、複数の第２のタイムウィンドウを設定し且つ第２のタイムウィンドウ内の状態量を同時に最適化することにより、第１のタイムウィンドウ内の状態量のグローバル平滑性を保持し、それにより目標状態推定の精度を向上させる。

【0009】

この部分に説明された内容は、本願の実施例における肝心な又は重要な特徴を示すためのものではなく、本願の範囲を制限するためのものでもないと理解すべきである。本開示の他の特徴は以下の明細書からわかりやすくなる。

【図面の簡単な説明】

【0010】

図面は例示的に実施例を示し且つ明細書の一部を構成し、明細書の文字説明とともに実施例の例示的な実施形態を説明するために用いられる。示される実施例は、例示のみを目的とし、特許請求の範囲を限定するものではない。全ての図面において、同一の図面符号必ずしも同一ではないが類似の要素を指す。

【図1】例示的な実施例による目標状態推定方法を示すフローチャートである。

【図2】例示的な実施例による目標状態推定に用いられるタイムウィンドウを示す概略図である。

【図3】例示的な実施例よるトラックの運動モデルを示す概略図である。

【図4】例示的な実施例による第１の部材のみを含む車両の運動モデルを示す概略図である。

【図5】例示的な実施例による目標状態推定装置の構造を示すブロック図である。

【図6】例示的な実施例に適用可能な例示的なコンピューティング機器を示す構造ブロック図である。

【発明を実施するための形態】

【0011】

以下、図面を組み合わせて本開示の例示的な実施例を説明し、理解を容易にするために、その中には本開示の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本開示の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができる。同様に、わかりやすく且つ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

【0012】

本開示において、特に説明しない限り、「第１」、「第２」などの用語を用いて各種の要素を説明することは、これらの要素の位置関係、タイムシーケンス関係又は重要性関係を定義することを意図するものではなく、このような用語は単に１つの要素を他の要素と区別するために用いられるものである。いくつかの例では、第１要素及び第２要素は当該要素の同じ例を指してもよく、いくつかの場合では、文脈の記載に基づいて異なる例を指してもよい。

【0013】

本開示において、記載された様々な例の説明において使用される用語は、特定の例を説明する目的のためだけのものであり、限定することを意図するものではない。文脈から明らかでない限り、特に要素の数を限定しなければ、その要素は１つでも複数でもよい。さらに、本開示で使用される用語「及び／又は」は列挙された項目のいずれか１つ及び全ての可能な組み合わせを包含する。

【0014】

無人運転における１つの重要な部分として、道路上の他の車両の位置、速度、大きさ、方向などの状態をリアルタイムに推定し、これは無人運転の安全係数をかなりの程度決定する。対応する観測モデルによって車両の速度、位置などの情報を観測することができ、観測モデルにより観測されたデータには、一般的に、ノイズなどの影響が存在することで、観測されたデータと車両の実際の走行データとの誤差が生じる。それにより、当該観測データを補正し、すなわち、観測データに基づいて車両の走行中の物理状態を推定する必要がある。

【0015】

通常、状態推定のプロセスでは、対応する観測データに基づいてある状態を推定し、例えば、観測されたデータ情報に基づいて車両速度状態を推定し、観測された車両中心点座標に基づいて車両位置状態を推定するなどが挙げられる。通常、車両の物理的状態を推定する時、タイムウィンドウ（例えば、スライディングタイムウィンドウ）を構築することによって、タイムウィンドウ内の１群の状態量の最適化を実現することができる。これから分かるように、タイムウィンドウ内の１群の状態量の最適化効果は無人運転の安全係数に影響を与えるキーとなる。

【0016】

したがって、本開示の実施例は、複数の時刻に対応するデータフレームシーケンスを取得するステップと、前記データフレームシーケンスにおいて第１のタイムウィンドウを決定するステップであって、前記第１のタイムウィンドウは１群の最適化される第１状態量集合を含むステップと、前記第１のタイムウィンドウ内から複数の第２のタイムウィンドウを決定するステップであって、前記第２のタイムウィンドウ内のデータフレーム数は前記第１のタイムウィンドウ内のデータフレーム数より小さく、隣接する２つの第２のタイムウィンドウは重複するデータフレームを有し、且つ各第２のタイムウィンドウは１群の最適化される第２状態量集合を有するステップと、前記複数の第２のタイムウィンドウ内の第２状態量集合を同時に最適化することにより、最適化された第１状態量集合を得るステップと、を含む目標状態推定方法を提供する。

【0017】

本開示の実施例によれば、第１のタイムウィンドウ内の状態量を最適化する時、複数の第２のタイムウィンドウを設定し且つ第２のタイムウィンドウ内の状態量を同時に最適化することにより、第１のタイムウィンドウ内の状態量のグローバル平滑性を保持し、それにより目標状態推定の精度及びロバスト性を向上させる。

【0018】

図１は本開示の実施例による目標状態推定方法のフローチャートを示す。図１に示すように、ステップ１１０において、複数の時刻に対応するデータフレームシーケンスを取得する。

【0019】

本開示の実施例では、前記目標は車両を含むことができる。したがって、データフレームシーケンスは複数の時刻での当該目標車両の観測量に対応してもよい。例示的に、当該観測量は、各時刻での目標車両の速度、位置、向きのうち少なくとも一方、及び目標車両の寸法を含んでもよく、前記寸法は長さ、幅及び高さのうち少なくとも一方を含んでもよい。

【0020】

いくつかの実施例では、当該データフレームシーケンスに対応する観測量は複数種類のセンサに基づいて取得することができる。例示的に、複数種類のセンサは、画像収集装置、点群収集装置のうち少なくとも一方を含む。例示的に、当該画像収集装置は、視覚カメラ、赤外線カメラ、紫外線又はＸ線撮像を行うカメラなど、様々な機器を含んでもよい。異なる機器は異なる検出精度及び範囲を提供することができる。視覚カメラは目標の運転状態などの情報をリアルタイムに捕捉することができる。赤外線カメラは暗視状況において目標を捕捉することができる。紫外線又はＸ線撮像カメラは、様々な複雑な環境（夜間、悪天候、電磁干渉など）下で目標を撮像することができる。点群収集装置はレーザレーダー（ＬｉＤＡＲ）、ミリ波レーダー、超音波センサなど、様々な機器を含んでもよい。異なる機器は異なる検出精度及び範囲を提供することができる。レーザレーダーは目標エッジ、形状情報を検出し、それにより目標識別及び追跡を行うために用いることができる。ミリ波レーダーは電磁波の特性を利用して目標との距離を測定することができる。超音波センサは超音波の方向性が高いなどの特徴を利用して目標との距離を測定することができる。ドップラー効果により、レーダー装置は移動目標との速度変化を測定することもできる。

【0021】

いくつかの実施例によれば、複数種類のセンサは、少なくとも１つの観察車両又は路側機器に位置することができる。例示的に、自動運転車両は、走行中に、周辺車両に対するリアルタイムな観測を実現するために、車両の前方、後方又は他の位置に様々なセンサが取り付けられてもよい。又は、複数種類のセンサが路側機器に位置して、当該路側機器を経由する車両、歩行者などの目標をリアルタイムに観測する。

【0022】

いくつかの例では、当該路側機器は電子機器、通信機器などを含んでもよく、電子機器は通信機器と一体に集積化されてもよいし、別体に設けられてもよい。電子機器は複数種類のセンサによって観測されたデータを取得し、それによりデータ処理及び計算を行って、対応する観測量を取得し、さらに通信機器を経由してコンピューティング機器に処理及び計算結果を送信することができる。任意選択的に、電子機器はクラウドに設けられてもよく、通信機器により路側機器上の複数種類のセンサによって観測されたデータを取得し、データ分析及び計算により対応する観測量を取得する。

【0023】

いくつかの実施例によれば、本開示による目標状態推定方法はコンピューティング機器に実装することができ、コンピューティング機器は各種類のセンサによって少なくとも１種類の観測量を取得する。すなわち、複数種類のセンサによって取得された各時刻での目標の観測量は、コンピューティング機器によりオンライン又はオフラインで分析することができる。コンピューティング機器は少なくとも１つの観測車両、路側機器又はクラウドに存在していてよく、ここでは限定されない。

【0024】

いくつかの実施例によれば、観測量は各センサにそれぞれ対応する観測モデルによって得ることができる。例示的に、当該観測モデルは、画像に基づく両眼距離測定アルゴリズム、画像に基づく単眼距離測定アルゴリズム、点群に基づく距離測定アルゴリズム、画像及び地図に基づく投影距離測定アルゴリズム、並びに点群及び地図に基づく投影距離測定アルゴリズムのうち少なくとも一方を含む。

【0025】

本開示では、観測モデルはセンサによって取得されたデータに基づいて分析及び計算を行って、当該目標に対応する各時刻での観測量を出力することができる。具体的には、いくつかの例では、投影距離測定アルゴリズムに基づいて、周辺車両の中心点座標及び検出ボックスの４つの角点座標などを取得することができ、両眼距離測定アルゴリズム、単眼距離測定アルゴリズムなどの距離測定アルゴリズムに基づいて、周辺車両の中心点座標、速度などを取得することができる。

【0026】

いくつかの実施例では、複数種類のセンサにより各時刻での目標の観測量を取得した後、取得した観測量に対してデータ前処理を行うことができる。一例として、異常観測量の削除、利用可能な観測量の保持、データフォーマットの統一などをしてよく、ここでは限定されない。

【0027】

ステップ１２０において、データフレームシーケンスにおいて第１のタイムウィンドウを決定し、第１のタイムウィンドウは１群の最適化される第１状態量集合を含む。

【0028】

運転過程において、車両は、例えば、複数のセンサにより周辺車両をリアルタイムに観測することができ、それにより、観測データ、すなわちデータフレームシーケンスを絶えず生成する。当該観測データに基づけば、最適化される状態量を決定することができる。いくつかの実施例では、車両の物理的状態の最適化を実現するためにタイムウィンドウを構築することができる。

【0029】

具体的には、少なくとも１つの観測モデルによって第１のタイムウィンドウ内で観測された目標車両に対する観測量を取得して、当該観測量に基づいて当該第１のタイムウィンドウ内での目標車両の物理的状態を説明する状態量を構築する。いくつかの例では、当該第１のタイムウィンドウはスライディングタイムウィンドウであってもよく、第１のタイムウィンドウの長さ及びスライドステップサイズは任意に設定することができ、当然のことながら、第１のタイムウィンドウはスライディングしなくてもよく、ここでは限定されない。

【0030】

いくつかの実施例によれば、第１のタイムウィンドウに対応する第１状態量集合は、第１のタイムウィンドウ内の各時刻での前記目標の速度、位置、向き、寸法のうち少なくとも一方を含み、各時刻での目標の速度、位置、向きなどの状態量は瞬時状態量である。また、第１状態量集合はさらに第１のタイムウィンドウ内での前記目標の平均速度、平均位置、平均向きのうち少なくとも一方を含んでもよい。

【0031】

図２は本開示の実施例による目標状態推定に用いられるタイムウィンドウの概略図を示す。図２に示すように、第１のタイムウィンドウはｎ個の最適化される状態量を含み、第１状態量集合を構成し、すなわちＳ_０、Ｓ_１、...、Ｓ_ｎ－１である。ここで、第１状態量集合はさらに第１のタイムウィンドウ内での目標の平均速度、平均位置、平均向きのうち少なくとも一方を含んでもよく、ここでは限定されない。

【0032】

例示的に、式（１）に基づいて第１のタイムウィンドウにおける最適化される状態量を構築することができる。

ここで、当該第１のタイムウィンドウにおける

フレーム目の状態量

は、例えば、式（２）に示す状態量を含んでもよい。

ここで、

はそれぞれ目標車両の速度の大きさ、速度の方向及び車体の向きを示している。なお、

については、後のステップ１３０の関連記述において説明する。

【0033】

いくつかの実施例によれば、前記目標は車両であり、且つ当該車両は第１の部材及び少なくとも１つの第２の部材を含み、第２の部材は第１の部材回りに回転することができる。したがって、いくつかの例では、目標の位置は、第１の部材の位置、各第２の部材の位置、車両の位置のうち少なくとも一方を含んでもよく、目標の寸法は、第１の部材の寸法、各第２の部材の寸法、車両の寸法のうち少なくとも一方を含む。目標の向きは、速度の向き、第１の部材の向き、前記車両が位置する車線の向きのうち少なくとも一方を含む。

【0034】

例示的に、前記目標が車両である実施例では、当該目標車両はトラックであってもよく、トラックは前後２つの部材を含み、すなわち当該トラックの第１の部材は牽引車であり、第２の部材はトレーラであり、牽引車とトレーラとの間に接続される回転軸（又はヒンジ）構造はその両者の間の構造的拘束を形成する。

【0035】

いくつかの例では、当該目標車両はトラックなどの構造である場合、当該目標車両の速度の大きさ、速度の方向は牽引車の速度の大きさ及び速度の方向であってもよい。また、上記の車体の向きは牽引車の向きであり、且つ、

フレーム目の状態量

はトレーラの向き

をさらに含んでもよく、すなわち、

である。理解できるように、式（１）及び（２）に示されるタイムウィンドウ内の最適化される状態量は単に例示的なものであり、ここでは限定されない。

【0036】

図３は本開示の実施例によるトラックの運動モデルの概略図を示す。図３に示すように、牽引車３０１とトレーラ３０２は回転軸３０３を介して接続される。いくつかの実施例では、牽引車３０１は第１の部材のみを含む車両の運動モデルに基づいて取り扱うことができるが、トレーラの運動観測は牽引車の運動観測を拘束する。この第１の部材のみを含む車両は、例えば、一輪車、普通の四輪車などであってもよい。

【0037】

図４は本開示の実施例による第１の部材のみを含む車両運動モデルの概略図を示す。いくつかの例では、車両状態推定の正確性を向上させるために、車両の速度方向が車頭方向から区別される。図４に示す運動モデルでは、οは車輌の向き（すなわち車頭方向）であり、θは車輌の速度方向である。車両は

時刻から

時刻までの間に速度

を有するとすると、以下の式（３）及び式（４）に示すような変換式となる。

ここで、

はそれぞれ

時刻での車両中心点座標を表し、

はそれぞれ

時刻での車両中心点座標を表し、

は

時刻での車両速度方向と基準座標系におけるｘ方向との夾角を表す。

【0038】

本開示では、基準座標系は、複数のセンサが位置する観測車両又は路側機器に基づいて決定される座標系である。例示的に、複数のセンサが観測車両上に位置する場合、基準座標系は車両の周辺物体と車両との関係を記述する座標系として使用される。定義によって、その原点も異なり、例えば、重心を原点とすることができ、それから延出する右手座標系はすなわち基準座標系であり、又はＩＭＵ（慣性測定ユニット）によって定義される基準座標系はＩＭＵ位置を原点とする。

【0039】

理解できるように、任意の適切な基準座標系が可能であり、例えば、当該基準座標系はさらに、車線中心線を横方向座標軸とし、車線中心線からずれたものを縦方向座標軸とし、車線中心線に垂直なものを鉛直座標軸とすることができ、ここでは限定されない。

【0040】

上記したように、投射距離測定アルゴリズムに基づき、車両検出ボックスの４つの隅角点座標を取得することができ、すなわち車両の輪郭検出を実現する。したがって、図４に示すような車体フレームにおいて、車両の中心から

番目の車両隅角点へのベクトルは式（５）に示すように表すことができる。

ここで、ＬとＷはそれぞれ車両の長さと幅であり、

は基準座標系における車両中心点に対する

番目の車両隅角点のずれ量を表し、各車両隅角点に対しては定数であり、

は基準座標系からＥＮＵ（Ｅａｓｔ－Ｎｏｒｔｈ－Ｕｐ、東－北－上）座標系への回転行列を表し、ここで、

は式（６）に示すように表される。

【0041】

それにより、車両の速度、向き、寸法及び中心点位置などの情報に基づくのは、１つの車両の決定に十分である。

【0042】

引き続き図３を参照すると、いくつかの実施例では、トレーラ３０２と回転軸構造３０３は一般的には同じ向きを有し、したがって、剛体構造として取り扱うことができる。また、回転軸構造３０３は牽引車３０１とトレーラ３０２との接触面の中心位置に連結されていると仮定することができる。牽引車３０１の

の中心点座標が分かると、トレーラ３０２の

を取得することができ、式（７）～式（９）に示すとおりである。

ここで、

はトレーラの長さであり、

回転軸構造の長さであり、

はそれぞれ牽引車とトレーラの基準座標系に対するｘ軸方向の夾角である。

【0043】

いくつかの例では、レーザレーダーなどのセンサによって牽引車及びトレーラの検出ボックスを同時に取得してもよい。トレーラの検出ボックスの位置をｈ_１（ｉが１である場合、図３におけるｈ_ｉの位置）からｈ_０（図３におけるｈ_０の位置）へ移動させ、牽引車の別の観測とすることにより、トレーラの観測は牽引車の観測を拘束し、式（１０）に示すとおりである。

【0044】

トレーラの角速度は式（１１）に示すとおりであってもよい。

ここで、

は牽引車の速度を表し、

はトレーラの角速度を表す。牽引車の速度、向き、寸法、回転軸の長さ、牽引車の位置がわかると、トラックの様々な状態を決定することができる。

【0045】

上記したように、目標車両が２段構造を含むモデルについて説明し、すなわち目標車両は第１の部材と第２の部材とを含む。いくつかの実施例では、第２の部材は複数であってもよく、例えば、列車、マルチトレーラの貨車などであり、その運動モデルは上記説明したトラックモデルを参照することができ、ここで説明を省略する。

【0046】

図１のステップ１３０において、前記第１のタイムウィンドウ内から複数の第２のタイムウィンドウを決定し、前記第２のタイムウィンドウ内のデータフレーム数は前記第１のタイムウィンドウ内のデータフレーム数より小さく、隣接する２つの第２のタイムウィンドウは重複するデータフレームを有し、且つ各第２のタイムウィンドウは１群の最適化される第２状態量集合を有する。

【0047】

引き続き図２を参照すると、第１のタイムウィンドウ内に複数の第２のタイムウィンドウ、すなわち第２のタイムウィンドウ１、第２のタイムウィンドウ２、...、第２のタイムウィンドウ（ｎ－ｍ＋１）が含まれる。各第２のタイムウィンドウは１群の最適化される第２状態量集合を有する。図２において各第２のタイムウィンドウはｍ個の状態量を含み、隣接する２つの第２のタイムウィンドウは（ｍ－１）個の重複するデータフレームを有する。理解できるように、ここでの隣接する第２のタイムウィンドウの間の重複するデータフレーム数及び第２状態量集合における状態量の数は例示的なものにすぎず、ここでは限定されない。

【0048】

いくつかの実施例によれば、前記第２状態量集合は、前記第２のタイムウィンドウ内の各時刻での前記目標の速度、位置、向き、寸法のうち少なくとも一方と、前記第２のタイムウィンドウ内での前記目標の平均速度、平均位置、平均向きのうち少なくとも一方とのうち少なくとも一方を含む。

【0049】

前述した式（１）を参照すると、

は１番目の第２のタイムウィンドウ内での平均速度を表し、

は（ｎ－ｍ）番目の第２のタイムウィンドウ内での平均速度を表し、

は（ｎ－ｍ＋１）番目の第２のタイムウィンドウ内での平均速度を表す。

は１番目の第２のタイムウィンドウ内での平均向きを表し、

は（ｎ－ｍ）番目の第２のタイムウィンドウ内での平均向きを表し、

は（ｎ－ｍ＋１）番目の第２のタイムウィンドウ内での平均向きを表す。

【0050】

図１のステップ１４０において、前記複数の第２のタイムウィンドウ内の第２状態量集合を同時に最適化することにより、最適化された第１状態量集合を得る。

【0051】

いくつかの実施例によれば、前記最適化は損失関数を最小化することによって実現される。前記損失関数は前記複数の第２のタイムウィンドウ内の各時刻での前記目標の状態量と前記目標の観測量に基づいて決定され、前記観測量は少なくとも１つの観測モデルによって観測され、前記少なくとも１つの観測モデルは少なくとも１つのセンサに基づいて得られる。

【0052】

具体的には、いくつかの実施例では、当該損失関数は目標の位置損失、向き損失、速度損失、寸法損失、構造的拘束のうち少なくとも一方を含んでもよい。損失関数を最小化することにより、目標の各時刻での状態量に対する最適化を実現する。例示的に、損失関数が位置損失、向き損失、速度損失、寸法損失を含む場合、式（１２）に基づいて損失関数を構築してもよい。

ここで、

はそれぞれ位置損失、向き損失、速度損失及び寸法損失を表す。損失関数は最適化される状態量に基づいて決定される。具体的には、位置損失、向き損失、速度損失及び寸法損失のそれぞれは最適化される状態量、当該状態量に対応する観測量及び当該状態量に拘束条件を与えることができる他の観測量に基づいて決定することができる。

【0053】

本開示による例示的なシーンでは、目標車両の速度観測量、目標車両の位置などは当該目標車両の速度の大きさ、速度の方向に対して拘束条件を与えることができ、また、目標車両の速度事前、平均速度なども当該目標車両の速度の大きさ、速度方向に拘束条件を提供することができ、区画線方向、速度方向、レーザレーダーセンサによって観測された目標車両の向き、目標車両の向き事前、平均向きなどは当該目標車両の車体向きに拘束条件を提供することができるなどについては、後で詳細に説明する。

【0054】

本開示では、複数種類のセンサによって各時刻での目標の観測量を取得し且つ対応する損失関数を構築することにより、シングルセンサによる識別からマルチセンサの融合への移行が実現される。それにより、車両の走行中に、複数種類のセンサの検知結果と結合して周辺車両をモデリングし、且つ周辺車両の状態情報をリアルタイムに更新することができ、それによって無人運転システムはこの結果に基づいて安全な経路計画を作成し、それにより交通事故の発生を回避する。

【0055】

いくつかの実施例では、前記損失関数は複数の第２のタイムウィンドウに基づいて決定された前記状態量の平滑化損失を含み、平滑化損失は各第２のタイムウィンドウ内の各時刻での前記目標の状態量及び前記各第２のタイムウィンドウ内での前記目標の前記状態量の平均値に基づいて算出される。

【0056】

複数の第２のタイムウィンドウに基づいて決定された状態量の平滑化損失により、現在時刻の状態を推定する時、現在時刻及び前後の各時刻のデータが十分に利用され、それにより第１のタイムウィンドウを最適化した後に得られた当該状態量がより平滑になり、目標状態推定の精度が向上する。

【0057】

具体的に、いくつかの実施例によれば、損失関数は前記目標の速度に関連付けられた速度損失を含む。速度損失は速度平滑化損失を含み、速度平滑化損失は前記各第２のタイムウィンドウ内の各時刻、対応する第２のタイムウィンドウ内の各時刻での前記目標の速度状態量及び前記対応する第２のタイムウィンドウ内での前記目標の平均速度状態量に基づいて算出される。

【0058】

いくつかの実施例では、前記目標が車両である場合、状態量は第２のタイムウィンドウ内の各時刻での目標車両の速度を含む。第２のタイムウィンドウ内の速度平滑化を保証するために、式（１３）に示す速度平滑化損失を用いて第２のタイムウィンドウ内の各時刻の速度を平均値に制限することができる。

ここで、

は当該速度平滑化損失に対応する重み値であり、

は上記した式（６）を参照し、

は現在の第２のタイムウィンドウ内の平均速度である。

【0059】

各第２のタイムウィンドウに式（１３）に示す速度平滑化拘束を適用可能なことに注意されたい。

【0060】

いくつかの実施例によれば、速度平滑化損失はさらに第１のタイムウィンドウ内の各時刻での目標の速度状態量、及び前記第１のタイムウィンドウ内での目標の平均速度状態量に基づいて算出される。

【0061】

いくつかの実施例では、状態量は第１のタイムウィンドウ内の各時刻での目標車両の速度を含む。第１のタイムウィンドウ内の速度平滑化を保証するために、式（１４）に示す速度平滑化損失を使用して第１のタイムウィンドウ内の各時刻での速度を平均値に制限することができる。

ここで、

は当該速度平滑化損失に対応する重み値であり、ここで、

は第１のタイムウィンドウ内の平均速度である。

【0062】

いくつかの実施例では、速度平滑化損失に対応する重み値

は目標車両と前記複数のセンサが位置する車両又は路側機器との間の距離に基づいて決定されてもよい。例示的に、当該距離が予め設定された閾値より大きい場合、当該重み値は当該距離と正相関し、当該距離が当該予め設定された閾値以下である場合、当該重み値は固定値である。

【0063】

いくつかの実施例では、速度平滑化損失に対応する重み値

はさらに目標車両の速度変化率に基づいて決定されてもよく、前記速度変化率はスライディングタイムウィンドウ内の各時刻での目標車両の速度に基づいて算出される。具体的には、速度変化率が別の予め設定された閾値より大きい場合の重み値は速度変化率が当該別の予め設定された閾値以下である場合の重み値より小さい。

【0064】

いくつかの実施例によれば、速度損失はさらに速度事前損失を含み、速度事前損失は、現在の第１のタイムウィンドウと前の第１のタイムウィンドウとの重なり区間内の各時刻での速度状態量、及び前の第１のタイムウィンドウに対して行われた状態量の最適化過程における前記重なり区間内の各時刻での最適化された速度状態量に基づいて算出される。

【0065】

いくつかの実施例では、第１のタイムウィンドウがスライディングタイムウィンドウであり、且つそのスライドステップサイズが第１のタイムウィンドウの長さ未満であると、速度損失は速度事前損失に基づいて決定することができる。具体的には、各現在時刻の前に最適化された最適化情報を保持するために、式（１５）に示す速度事前損失項を用いて第１のタイムウィンドウ内の各時刻での速度を当該時刻の前回最適化された速度に近づけるように制限することができる。

ここで、

は現在時刻の前回最適化された後の速度であり、このとき、

の値は０からｎ－２までであり、このときの第１のタイムウィンドウのスライドステップサイズが１であることを示し、

については、その最適解は既に前回の最適化（前の第１のタイムウィンドウ）で取得され、

は速度事前損失に対応する重み値である。

【0066】

いくつかの実施例では、速度事前損失に対応する重み値は目標車両と複数のセンサが位置する車両又は路側機器との間の距離に基づいて決定されてもよい。当該距離が予め設定された閾値より大きい場合、当該重み値は当該距離と正相関し、当該距離が当該予め設定された閾値以下である場合、当該重み値は固定値である。

【0067】

いくつかの実施例によれば、速度損失はさらに速度残差を含み、速度残差は第１のタイムウィンドウ内の各時刻での前記目標の速度観測量と第１のタイムウィンドウ内の各時刻での前記目標の速度状態量に基づいて算出される。

【0068】

１つの観測モデルが速度観測量を提供できる場合、例えばレーダーモデルが挙げられ、当該速度損失に速度残差損失を柔軟に追加することもできる。

番目の観測モデルの観測を

に仮定し、式（１６）における速度損失項

を速度損失式に追加する必要があり、ここで、Ｌは速度観測を提供できるモデル数を表す。

【0069】

いくつかの実施例では、例えば、レーダーモデルによって観測される速度ベクトルが信頼できないが、速度ノルムを使用することができる。このとき、速度ノルムのみが利用可能であれば、速度損失項

は式（１７）に示すとおりであってもよい。

【0070】

以上をまとめると、完全な速度損失項は式（１８）に示すように表すことができる。

ここで、第２のタイムウィンドウに基づいて決定された平滑化拘束項

は多項であり、すなわち第２のタイムウィンドウの個数に等しい。

【0071】

いくつかの実施例によれば、損失関数は前記目標の向きに関連付けられた向き損失を含む。向き損失は向き平滑化損失を含み、向き平滑化損失は各第２のタイムウィンドウの各時刻、対応する第２のタイムウィンドウ内の各時刻での前記目標の向き状態量及び対応する第２のタイムウィンドウ内での前記目標の平均向き状態量に基づいて算出される。

【0072】

速度損失と同様に、向き損失も類似する平滑化損失を有する。いくつかの実施例では、状態量は第２のタイムウィンドウ内の各時刻での目標車両の向きを含む。第２のタイムウィンドウ内の向き平滑化を保証するために、式（１９）に示す向き平滑化損失を使用して第２のタイムウィンドウ内の各時刻での向きを平均値に制限することができる。

ここで、

は当該向き平滑化損失に対応する重み値であり、

は現在の第２のタイムウィンドウ内の平均向きである。

【0073】

いずれかの第２のタイムウィンドウに式（１９）に示される速度平滑拘束を適用可能なことに注意されたい。

【0074】

いくつかの実施例によれば、速度平滑化損失はさらに第１のタイムウィンドウ内の各時刻での前記目標の向き状態量、及び第１のタイムウィンドウ内の前記目標の平均向き状態量に基づいて算出される。

【0075】

いくつかの実施例では、状態量は第１のタイムウィンドウ内の各時刻での目標車両の向きを含む。第１のタイムウィンドウ内の向き平滑を保証するために、式（２０）に示す向き平滑化損失を使用して第１のタイムウィンドウ内の各時刻での向きを平均値に制限することができる。

ここで、

は当該向きの平滑化損失に対応する重み値であり、ここでの

は第１のタイムウィンドウ内の平均向きである。

【0076】

いくつかの実施例によれば、向き損失はさらに向き事前損失を含み、向き事前損失は、第１のタイムウィンドウと前の第１のタイムウィンドウとの重なり区間内の各時刻での向き状態量、及び前の第１のタイムウィンドウに対して行われた状態量の最適化過程における前記重なり区間内の各時刻での最適化された向き状態量に基づいて算出される。

【0077】

いくつかの実施例では、第１のタイムウィンドウがスライディングタイムウィンドウであり、且つそのスライドステップサイズが第１のタイムウィンドウの長さ未満であると、向き損失は向き事前損失に基づいて決定することができる。具体的には、各現在時刻の前に最適化された最適化情報を保持するために、式（２１）に示す向き事前損失項を用いて第１のタイムウィンドウ内の各時刻での速度を当該時刻の前回最適化された速度に近づけるように制限することができる。

ここで、

は向き事前損失に対応する重み値であり、

は現在時刻の前回の最適化された後の向きである（このとき第１のタイムウィンドウのスライドステップサイズが１であると仮定する）。

【0078】

いくつかの実施例では、状態量は第１のタイムウィンドウ内の各時刻での目標の向きを含む。このとき、向き損失は向き残差に基づいて、向き残差は第１のタイムウィンドウ内の各時刻での目標の向き状態量及び当該第１のタイムウィンドウ内の各時刻での目標の向き観測値に基づいて算出される。

【0079】

具体的には、向き観測量が向きの拘束を直接構成することができ、したがって、向き損失項は式（２２）に示すとおりであってもよい。

ここで、

は１群の異なる観測源であり、

は

番目の観測源に対応する重みであり、その計算方式は以下の位置損失に記載される式（３２）を参照することができる。

【0080】

いくつかの実施例では、向き観測値は少なくとも１つの観測モデルによって観測された目標車両の車体の向き、区画線の向き、又は目標車両の速度の方向であってよい。いくつかの実施例では、向きを最適化するために、信頼できる向き観測が与えられない場合、車両が車線に沿って走行すべきであり、このとき、車線の区画線進路は固定分散を有する向き観測値と見なすことができ、また、速度方向は向き観測と考えてもよく、且つ速度が速いほど、速度方向と車両の向きとの違いは小さくなる。

【0081】

いくつかの例では、速度に基づく向き観測については、重み

は式（２３）に基づいて算出され、

ここで、

はハイパーパラメータである。

【0082】

いくつかの実施例によれば、前記損失関数は前記目標の向きに関連付けられた向き損失を含み、前記向き損失は向き平滑化損失を含み、前記向き平滑化損失は前記各第２のタイムウィンドウの各時刻、対応する第２のタイムウィンドウ内の各時刻での前記目標の向き状態量及び前記対応する第２のタイムウィンドウ内での前記目標の平均向き状態量に基づいて算出される。前記向き損失はさらに向き残差を含み、前記向き残差は第１の部材の向き残差及び／又は第２の部材の向き残差を含み、前記第１の部材の向き残差は前記第１のタイムウィンドウ内の各時刻での前記第１の部材の向き状態量及び前記第１のタイムウィンドウ内の各時刻での前記第１の部材の向き観測量に基づいて算出され、前記第２の部材の向き残差は前記第１のタイムウィンドウ内の各時刻での前記第２の部材の向き状態量及び前記第１のタイムウィンドウ内の各時刻での前記第２の部材の向き観測量に基づいて算出される。

【0083】

いくつかの実施例では、目標車両は、図３に示すように、第１の部材及び第２の部材を含むトラックなどの車両である。前記第１の部材及び第２の部材は回転軸構造（又はヒンジ）によって両者間の構造的拘束を形成することができる。状態量はスライディングタイムウィンドウ内の各時刻での第１の部材の向き及び前記スライディングタイムウィンドウ内の各時刻での第２の部材の向きを含む。

【0084】

したがって、いくつかの実施例では、向き損失は第１の部材の向き残差及び第２部材の向き残差に基づいてもよく、ここで、第１の部材の向き残差は、スライディングタイムウィンドウ内の各時刻での第１の部材の向き及びスライディングタイムウィンドウ内の各時刻での第１の部材の向き観測値に基づいて算出され、且つ第２の部材の向き残差は、スライディングタイムウィンドウ内の各時刻での第２の部材の向き及びスライディングタイムウィンドウ内の各時刻での第２の部材の向き観測値に基づいて算出される。第１の部材の向き残差及び第１の部材の向き残差は上記を参照することができ、ここで説明を省略する。

【0085】

いくつかの実施例では、第１の部材の向き観測値は少なくとも１つの観測モデルによって観測される第１の部材の向き、区画線の向き、又は第１の部材の速度方向であり、第２の部材の向き観測値は、少なくとも１つの観測モデルによって観測される第２の部材の向き、区画線の向き、又は第２の部材の速度方向である。

【0086】

いくつかの実施例では、目標車両が第１の部材及び第２の部材を含む車両である場合、状態量はスライディングタイムウィンドウ内での第１の部材の平均向きを含む。したがって、向き損失は、第１の部材の向き平滑化損失を含んでもよく、第１の部材の向き平滑化損失は各第２のタイムウィンドウの各時刻での第１の部材の向き状態量、対応する第２のタイムウィンドウ内の各時刻での第１の部材の向き状態量、及び前記対応する第２のタイムウィンドウ内での第１の部材の平均向き状態量に基づいて算出される。

【0087】

いくつかの実施例では、目標車両が第１の部材及び第２の部材を含む車両である場合、状態量はスライディングタイムウィンドウ内での第１の部材の平均向きを含む。したがって、第１の部材の向き平滑化損失はさらに第１のタイムウィンドウ内の各時刻での第１の部材の向き状態量、及び第１のタイムウィンドウ内での第１の部材の平均向き状態量に基づいて算出されてもよい。

【0088】

理解できるように、向き損失はさらに第２の部材の向き平滑化損失を含んでもよく、ここで説明を省略する。

【0089】

いくつかの実施例では、第１のタイムウィンドウのスライドステップサイズは第１のタイムウィンドウの長さ未満である。そのため、目標車両が第１の部材及び第２の部材を含む車両である場合、向き損失は第１の部材の向き事前損失を含んでもよく、第１の部材の向き事前損失は、第１のタイムウィンドウと前の第１のタイムウィンドウとの重なり領域内の各時刻での第１の部材の向き、及び前記前の第１のタイムウィンドウに対して行われた状態量の最適化過程における前記重なり領域内の各時刻での第１の部材の最適化された向きに基づいて算出される。

【0090】

いくつかの実施例によれば、前記損失関数は前記目標の向きに関連付けられた向き損失を含み、向き損失は向き平滑化損失を含み、向き平滑化損失は前記各第２のタイムウィンドウの各時刻、対応する第２のタイムウィンドウ内の各時刻での前記目標の向き状態量及び前記対応する第２のタイムウィンドウ内での前記目標の平均向き状態量に基づいて算出される。向き損失はさらに角速度拘束を含み、角速度拘束は、第１のタイムウィンドウ内の各時刻でのトラックの速度状態量、第１のタイムウィンドウ内の第２の部材の長さ、第１のタイムウィンドウ内の第１の部材と第２の部材との間のヒンジの長さ、第１のタイムウィンドウ内の各時刻での第１の部材の向き状態量、及び第１のタイムウィンドウ内の各時刻での第２の部材の向き状態量に基づいて算出される。

【0091】

具体的には、第２の部材の向き観測には式（１１）に示される運動学的拘束がさらに存在する。すると、角速度損失は式（２４）に示すとおりであってもよい。

ここで、

はそれぞれ第１の部材及び回転軸構造の長さであり、その計算方式は以下に寸法損失を参照して説明する。

【0092】

以上をまとめると、完全な向き損失項は、例えば、式（２５）に示すように表すことができる。

ここで、第２のタイムウィンドウに基づいて決定された平滑拘束項

は多項であり、すなわち第２のタイムウィンドウの個数に等しい。

【0093】

いくつかの実施例によれば、前記損失関数はさらに前記目標の位置に関連付けられた位置損失を含む。位置損失は少なくとも１つの基準点残差を含み、基準点残差は、中心点残差及び輪郭隅角点残差のうち少なくとも一方を含む。

【0094】

いくつかの実施例によれば、位置は少なくとも１つの基準点の位置を含み、前記基準点は、中心点及び輪郭隅角点（例えば、車両検出ボックスの四隅角点）のうち少なくとも一方を含む。位置損失は少なくとも１つの基準点残差を含み、基準点残差は、中心点残差及び輪郭隅角点残差のうち少なくとも一方を含み、前記中心点残差は中心点に対する観測量と状態量との差を表し、輪郭隅角点残差は輪郭隅角点に対する観測量と状態量との差を表す。

【0095】

具体的には、仮に

個の観測モデルによって取得された観測データに基づいて目標車両の状態量を最適化し、

は正の整数であるとする。

番目の観測モデルの中心点観測量が

であれば、中心点の観測量と状態量との差に基づいて中心点残差

を構築することができる。また、

番目の観測モデルがさらに輪郭観測を提供し、輪郭観測量が

であれば、輪郭隅角点の観測量と状態量との差に基づいて輪郭隅角点残差

を構築することができる。

【0096】

いくつかの実施例では、中心点の状態量は速度に基づいて表現することができ、それによって中心点残差による速度状態量のさらなる最適化を実現する。具体的には、観測量がスライディングタイムウィンドウ内の各時刻での目標車両の中心点座標を含み、状態量が当該スライディングタイムウィンドウ内の各時刻での目標車両の速度を含む場合、中心点残差は当該スライディングタイムウィンドウ内の各時刻での目標車両の中心点座標及び当該スライディングタイムウィンドウ内の各時刻での目標車両の速度に基づいて算出することができる。

【0097】

具体的には、仮に

個の観測モデルによって取得された観測データに基づいて目標車両の状態量を最適化し、

は正の整数であるとする。

番目の観測モデルの中心点観測量が

であれば、目標車両に対応する１フレーム目の位置座標が

であると決定し、

は

番目の観測モデルの

時刻での中心点残差ベクトルを代表し、式（２６）に示すとおりである。

【0098】

いくつかの実施例では、輪郭隅角点の状態量は中心点の状態量に基づいて表現することができ、それによって輪郭隅角点残差による中心点の状態量のさらなる最適化を実現する。具体的には、観測量がスライディングタイムウィンドウ内の各時刻での目標車両の輪郭隅角点座標を含む場合、基準点残差は、当該スライディングタイムウィンドウ内の初期時刻での目標車両の中心点座標、当該スライディングタイムウィンドウ内の各時刻での目標車両の速度、当該スライディングタイムウィンドウ内の各時刻での目標車両の輪郭隅角点座標、及び当該スライディングタイムウィンドウ内の各時刻での目標車両の中心点座標から輪郭隅角点座標への対応するベクトルに基づいて算出することができる。

【0099】

具体的には、

番目の観測モデルが輪郭観測をさらに提供し、輪郭観測が

であれば、輪郭隅角点残差を得ることができ、式（２９）に示すとおりである。

ここで、

は車両中心点から車両輪郭隅角点へのベクトルを表す。

【0100】

上述したように、図３に示すようなトラックの運動モデルでは、トレーラが牽引車の輪郭観測を拘束する。そのため、牽引車の対応する状態量（例えば上記した速度状態量）を最適化する時、上記した基準点残差の上で、トレーラによる牽引車の輪郭観測に対する拘束条件をさらに導入することができる。

【0101】

いくつかの実施例によれば、中心点残差と輪郭隅角点残差はそれぞれ対応する重みを有し、且つ重みはいずれも対角行列であり、中心点残差及び輪郭隅角点残差のそれぞれは横方向残差成分及び縦方向残差成分を含み、且つ横方向残差成分及び縦方向残差成分はそれぞれ対応する重みを有する。

【0102】

本開示による例では、目標が車両である場合、横方向は目標車両の略向きに垂直な水平方向であってもよく、縦方向は目標車両の略向きに平行な水平方向であってもよい。具体的には、当該「略向き」は、例えば、観測された目標車両の車体向き、目標車両が位置する車線の車線向き（すなわち、区画線進路）などを含んでもよい。

【0103】

したがって、いくつかの実施例によれば、目標が車両である場合、前記横方向残差成分は前記車両が位置する車線向きに垂直であり、前記縦方向残差成分は前記車両が位置する区画線進路に平行であり、あるいは、前記横方向残差成分は前記車両の車体向きに垂直であり、前記縦方向残差成分は前記車両の車体向きに平行である。

【0104】

本開示では、状態量を推定する時に、横方向及び縦方向に着目し、また、モデルのチューニングを容易にするために、横方向及び縦方向を分離することができる。いくつかの例では、例えばレーダーセンサによって観測された車体向き又は車線向きは既知であり、したがってＥＮＵ座標系での残差を

行列によって基準座標系に回転することができ、すると、中心点残差及び輪郭隅角点残差を含む位置損失関数は式（３１）に示すとおりであってもよい。

ここで、

はロバスト関数であり、

は重み行列（対角線行列）であり、それぞれ横方向残差と縦方向残差に異なる重みを設定し、

は上記の式（６）に示すとおりである。

【0105】

本開示では、ロバスト関数

は任意の適切な損失関数に基づくロバスト関数であってもよく、Ｃａｕｃｈｙ（Ｌｏｒｅｎｔｚｉａｎ）、Ｃｈａｒｂｏｎｎｉｅｒ（ｐｓｅｕｄｏ－Ｈｕｂｅｒ、Ｌ１－Ｌ２）、Ｈｕｂｅｒ、Ｇｅｍａｎ－ＭｃＣｌｕｒｅ、ｓｍｏｏｔｈ ｔｒｕｎｃａｔｅｄ ｑｕａｄｒａｔｉｃ、ｔｒｕｎｃａｔｅｄ ｑｕａｄｒａｔｉｃ、Ｔｕｋｅｙ'ｓ ｂｉｗｅｉｇｈｔなどを含むが、これらに限定されない。例示的に、凸最適化問題を維持するために、Ｈｕｂｅｒのような凸損失関数を選択することができる。しかしながら、凸損失関数は異常値に対するロバスト性が限られている。したがって、いくつかの例では、非凸損失関数を選択することができる。

【0106】

いくつかの実施例によれば、中心点残差と輪郭隅角点残差のうち一方の横方向分散が所定の閾値より小さい場合、対応する横方向残差成分の重みは第１の固定値を取り、中心点残差と輪郭隅角点残差のうち一方の縦方向分散が所定の閾値より小さい場合、対応する縦方向残差成分の重みは第１の固定値を取る。

【0107】

いくつかの例では、中心点残差を例として、中心点分散の横方向中心点分散成分と縦方向中心点分散成分のうち少なくとも一方が対応する第１閾値より小さい場合、横方向中心点残差成分と縦方向中心点残差成分の対応する重みは第１の固定値である。また、横方向中心点分散成分及び縦方向中心点分散成分のうち少なくとも一方が第１の閾値以上である場合、横方向中心点残差成分及び縦方向中心点残差成分のうち少なくとも一方の重みは横方向中心点分散成分及び縦方向中心点分散成分のうち少なくとも一方と逆相関する。

【0108】

いくつかの例では、輪郭隅角点残差は上述した中心点残差と類似することができ、すなわち輪郭隅角点分散に基づいて輪郭隅角点残差に対応する重みを決定する。

【0109】

具体的には、重み行列は分散と逆相関し、横方向分散及び縦方向分散が知られ、重み行列は式（３２）に示すように表すことができる。

ここで、

はいずれもハイパーパラメータである。観測モデルの精度に制限され、分散が小さい場合、真の誤差を正確に反映することができないため、式（３２）により、分散が閾値未満である場合、固定した重みが使用される。本開示では、全ての観測損失項について、いずれも式（３２）と同様の重み式を用いることができる。

【0110】

いくつかの実施例によれば、前記損失関数はさらに前記目標の寸法に関連付けられた寸法損失を含む。寸法損失項は、寸法事前損失、及び各時刻での最適化された寸法累積損失のうち少なくとも一方を含む。寸法事前損失は各現在時刻での前記目標の寸法量と前記前の第１のタイムウィンドウに対して行われた状態量の最適化過程における最適化された前記目標の寸法量との残差を含み、寸法累積損失は、初期時刻から前の最適化時刻までの間の前記目標の各寸法損失の総和を含む。

【0111】

いくつかの実施例では、第１のタイムウィンドウのスライドステップサイズは第１のタイムウィンドウの長さ未満である。したがって、寸法損失項は寸法事前損失を含んでもよく、寸法事前損失は、第１のタイムウィンドウと前の第１のタイムウィンドウとの重なり領域内の各時刻での目標の寸法、及び前記前の第１のタイムウィンドウに対して行われた状態量の最適化過程における前記重なり領域内の各時刻での目標の最適化された寸法に基づいて算出される。

【0112】

いくつかの実施例によれば、寸法累積損失は増分更新方法を用いて算出され、各時刻での前記目標の観測量は第１のタイムウィンドウ内の各時刻での前記目標の観測量であり、各時刻での前記目標の状態量は第１のタイムウィンドウ内の各時刻での前記目標の状態量であり、前記第１のタイムウィンドウは複数のデータ時刻を含み、前記各時刻は前記複数のデータ時刻のうち少なくとも２つの時刻である。

【0113】

具体的には、寸法累積損失は初期時刻から前の最適化時刻までの間の前記目標の各寸法損失の総和を含む。当該初期時刻は最初に状態量最適化を開始する時刻であり、例えば、取得した１フレーム目のデータ時刻である。前の最適化時刻は、例えば、前の第１のタイムウィンドウ内の最後の時刻とすることができる。例示的に、目標車両の輪郭観測は目標車両の寸法情報を提供することができ、したがって、寸法累積損失は、現在の第１のタイムウィンドウ内になく且つ前の第１のタイムウィンドウ内にある各時刻に対応する基準点残差に基づいて決定された寸法損失、及び前記前の第１のタイムウィンドウに対して行われた状態量の最適化過程に使用された寸法累積損失に基づいて算出することができる。

【0114】

いくつかの実施例では、前記観測量は前記第１のタイムウィンドウ内の各時刻での目標車両の輪郭隅角点座標及び第１のタイムウィンドウ内の各時刻での目標車両の中心点座標を含む。状態量は前記第１のタイムウィンドウ内の各時刻での目標車両の速度を含み、且つ各時刻に対応する基準点残差は、当該時刻での目標車両の中心点座標の観測量、当該時刻での目標車両の輪郭隅角点座標の観測量、当該時刻での目標車両の中心点座標の観測量から輪郭隅角点座標の観測量への対応するベクトルに基づいて算出され、当該対応するベクトルは式（３０）に基づいて決定することができる。

【0115】

具体的には、最適化フレームワークにおいて、車体寸法又はトラックの牽引車寸法は、最適化されるグローバル変数として考えられる。現在の状態を更新した後、最も古い１フレームは取り除かれ、更新されない。スライディングウィンドウ外の状態量は固定されているが、それらはまたグローバル寸法変数に関するいくつかの情報を提供することができる。具体的には、

番目のフレームが取り除かれた後、輪郭観測

が利用可能であれば、式（３３）に示すように、新たな寸法損失を生成することができる。

ここで、

は定数であり、

は式（３２）において分散に基づいて算出される重みである。

【0116】

ラプラス分布はガウス分布と逆ガウス分布との積として同等に表すことができるため、いくつかの例では、式（３４）に示すように、より良好なロバスト性を有するために、

を用いてＨｕｂｅｒ損失関数のＬ２項に近似させることができる。

ここで、

は予め設定されたパラメータを表し、

は式（３３）における、

を表す。

【0117】

寸法損失項の数は時間とともに多くなり、冗長な計算を避けるために、本開示による実施例では、増分形態でこれらを１つに合併するため、Ｔｉ時点での損失項は式（３５）のように表すことができる。

ここで、式（３６）～（３８）に示すように、

はＳＶＤ分解方法により計算することができる。

ここで、

は対称行列であり、したがってＵ＝Ｖである。

は式（３９）に示すとおりであってもよい。

【0118】

いくつかの実施例では、目標が第１の部材及び第２の部材を含む例では、例えば、図３に示すようなトラックモデルでは、トレーラ及び当該トレーラと牽引車を接続する回転軸構造の寸法は観測量計算によって得ることができ、以下の式（４０）～（４２）に示すとおりである。

ここで、式（４０）～式（４２）は最適化問題の解であり、式（４３）に示すとおりである。

【0119】

以上をまとめると、Ｌ及びＷの事前損失が既知であり、全寸法損失項は式（４４）に示すとおりであってもよい。

ここで、

中の第一項はすなわち寸法累積損失であり、第二項は寸法事前損失である。

【0120】

本開示では、目標の位置損失、向き損失、速度損失、寸法損失、構造的拘束のうち少なくとも一方を含む損失関数に基づき、当該損失関数を最小化することにより、各時刻での当該目標の状態量を最適化し、それにより最適化された各状態量を取得することができる。無人運転の分野では、本開示の方法によれば周辺車両の状態情報をより正確に更新することができ、それによって無人運転システムはこの結果に基づいて安全な経路計画を行い、それにより交通事故の発生を回避する。

【0121】

本開示の実施例によれば、図５に示すように、複数の時刻に対応するデータフレームシーケンスを取得するように配置される取得ユニット５１０と、前記データシーケンスにおける第１のタイムウィンドウを決定するように配置される決定ユニット５２０であって、前記第１のタイムウィンドウは最適化される第１状態量集合を含む決定ユニット５２０と、前記第１のタイムウィンドウ内に複数の第２のタイムウィンドウを決定するように配置される選択ユニット５３０であって、前記第２のタイムウィンドウ内のデータフレーム数は前記第１のタイムウィンドウ内のデータフレーム数より小さく、隣接する２つの第２のタイムウィンドウは重複したデータフレームを有し、且つ各第２のタイムウィンドウは１群の最適化される第２状態量集合を有する選択ユニット５３０と、前記複数の第２のタイムウィンドウ内の第２状態量集合を最適化することにより、最適化された第１状態量集合を得るように配置される最適化ユニット５４０と、を含む目標状態推定装置５００がさらに提供される。

【0122】

図６を参照して、コンピューティング機器２０００について説明し、それは本開示の各態様に適用可能なハードウェア機器の一例である。コンピューティング機器２０００は処理及び／又は計算を実行するように配置される任意の機器であってもよく、ワークステーション、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、パーソナルデジタルアシスタント、スマートフォン、車載コンピュータ又はそれらの任意の組み合わせであってもよいが、これらに限定されるものではない。上述した目標状態推定装置は、その全部又は少なくとも一部が、コンピューティング機器２０００や類似した機器又はシステムにより実現することができる。

【0123】

コンピューティング機器２０００は（１つ又は複数のインタフェースを介する可能性がある）バス２００２に接続されるか又はバス２００２と通信する素子を含んでもよい。例えば、コンピューティング機器２０００はバス２００２と、１つ又は複数のプロセッサ２００４と、１つ又は複数の入力機器２００６と、１つ又は複数の出力機器２００８とを含んでもよい。１つ又は複数のプロセッサ２００４は任意のタイプのプロセッサであってもよく、且つ１つ又は複数の汎用プロセッサ及び／又は１つ又は複数の専用プロセッサ（例えば、特殊処理チップ）を含んでもよいが、これらに限定されるものではない。入力機器２００６はコンピューティング機器２０００に情報を入力することができる任意のタイプの機器であってもよく、マウス、キーボード、タッチスクリーン、マイクロフォン及び／又はリモートコントローラを含んでもよいが、これらに限定されものではない。出力機器２００８は情報を提示することができる任意のタイプの機器であってもよく、且つディスプレイ、スピーカ、ビデオ／オーディオ出力端末、バイブレータ及び／又はプリンタを含んでもよいが、これらに限定されるものではない。コンピューティング機器２０００は非一時的記憶機器２０１０をさらに含んでもよく、又は非一時的記憶機器２０１０に接続されてもよく、非一時的記憶機器は非一時的であり且つデータ記憶を可能にすることができる任意の記憶機器であってもよく、ディスクドライブ、光記憶機器、ソリッドステートメモリ、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ又は任意の他の磁気媒体、光ディスク又は任意の他の光学媒体、ＲＯＭ（リードオンリーメモリ）、ＲＡＭ（ランダムアクセスメモリ）、キャッシュメモリ及び／又は任意の他のメモリチップ又はカートリッジ、及び／又はコンピュータがその中からデータ、命令及び／又はコードを読み取ることができる任意の他の媒体を含んでもよいが、これらに限定されるものではない。非一時的記憶機器２０１０はインタフェースから取り外すことができる。非一時的記憶機器２０１０は上記の方法及びステップを実現するためのデータ／プログラム（命令を含む）／コードを有することができる。コンピューティング機器２０００はさらに通信機器２０１２を含んでもよい。通信機器２０１２は外部機器及び／又はネットワークとの通信を可能にする任意のタイプの機器又はシステムであってもよく、モデム、ネットワークカード、赤外線通信機器、無線通信機器、及び／又はチップセットを含んでもよいが、これらに限定されるものではなく、例えば、ブルートゥース（商標）機器、１３０２．１１機器、ＷｉＦｉ機器、ＷｉＭａｘ機器、セルラー通信機器及び／又は同等物が挙げられる。

【0124】

コンピューティング機器２０００はさらにワークメモリ２０１４を含んでもよく、それはプロセッサ２００４の動作に有用なプログラム（命令を含む）及び／又はデータを記憶することができる任意のタイプのワークメモリであってもよく、且つランダムアクセスメモリ及び／又はリードオンリーメモリ機器を含んでもよいが、これらに限定されない。

【0125】

ソフトウェア要素（プログラム）はワークメモリ２０１４内に位置することができ、オペレーティングシステム２０１６、１つ又は複数のアプリケーションプログラム２０１８、ドライバ及び／又は他のデータとコードを含むが、これらに限定されるものではない。上述した方法及びステップを実行するための命令は、１つ又は複数のアプリケーションプログラム２０１８に含まれてもよく、且つ上述した目標状態推定装置の各ユニットなどは、プロセッサ２００４が１つ又は複数のアプリケーションプログラム２０１８の命令を読み取り実行することによって実現することができる。より具体的には、別の前述した目標状態推定装置の取得ユニット５１０は、例えば、プロセッサ２００４がステップ１１０を実行する命令を有するアプリケーションプログラム２０１８を実行することによって実現することができる。また、別の前述した目標状態推定装置の構築ユニット５２０は、例えば、プロセッサ２００４がステップ１２０を実行する命令を有するアプリケーション２０１８を実行することによって実現することができる。また、前述した目標状態推定装置の最適化ユニット５３０は、例えば、プロセッサ２００４がステップ１３０を実行する命令を有するアプリケーションプログラム２０１８を実行することによって実現することができる。ソフトウェア要素（プログラム）の命令の実行可能なコード又はソースコードは、非一時的コンピュータ可読記憶媒体（例えば、上記の記憶装置２０１０）に記憶されてもよく、且つ実行時にワークメモリ２０１４に記憶されてもよい（コンパイル及び／又はインストールされる可能性がある）。ソフトウェア要素（プログラム）の命令の実行可能なコード又はソースコードは遠隔地からダウンロードされてもよい。

【0126】

また、具体的な要求に応じて様々な変形を行うことができることも理解されたい。例えば、カスタムハードウェアを使用してもよく、及び／又はハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語又はそれらの任意の組み合わせで特定の素子を実現してもよい。例えば、開示された方法及び機器のいくつか又は全ては、本開示によるロジック及びアルゴリズムを使用して、アセンブリ言語又はハードウェアプログラミング言語（例えば、ＶＥＲＩＬＯＧ、ＶＨＤＬ、Ｃ＋＋）で、ハードウェア（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）及び／又はプログラマブルロジックアレイ（ＰＬＡ）を含むプログラマブルロジック回路）をプログラミングすることによって実現することができる。

【0127】

さらに、前述した方法は、サーバ－クライアントモードによって実現することができると理解されたい。例えば、クライアントはユーザが入力したデータを受信し且つ前記データをサーバに送信することができる。クライアントはユーザが入力したデータを受信し、前述した方法の一部の処理を行い、且つ処理によって得られたデータをサーバに送信してもよい。サーバはクライアントからのデータを受信し、且つ前述した方法又は前述した方法の別の部分を実行し、且つ実行結果をクライアントに返すことができる。クライアントはサーバから方法の実行結果を受信し、且つ例えば出力機器によってユーザに提示することができる。

【0128】

また、コンピューティング機器２０００のモジュールはネットワーク上に分散することができると理解されたい。例えば、あるプロセッサを用いていくつかの処理を実行しつつ、他の処理をそのプロセッサから離れた他のプロセッサによって実行してもよい。コンピューティングシステム２０００の他のモジュールも同様に分散してもよい。このように、コンピューティング機器２０００は複数の位置で処理を実行する分散型コンピューティングシステムとして解釈されることができる。

【0129】

以上、添付図面を参照しながら本開示の実施例又は例について説明したが、上記の方法、システム及び機器は例示的な実施例又は例にすぎず、本発明の範囲はこれらの実施例又は例に限定されず、授権後の特許請求の範囲及びその同等の範囲に限定されることを理解されたい。実施例又は例における様々な要素は省略されてもよく、又はそれらの同等の要素によって置き換えられてもよい。また、各ステップは、本開示で説明された順序とは異なる順序で実行されてもよい。さらに、実施例又は例における様々な要素は、様々な形態で組み合わせることができる。重要なことに、技術が進歩するにつれて、本明細書に記載される要素の多くは、本開示の後に現れる同等の要素によって置き換えられる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】