特開 2023-49036 説明可能なシーンクラスタリングのための装置、及び、コンピュータ実装された方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023049036

(43)【公開日】2023-04-07

(54)【発明の名称】説明可能なシーンクラスタリングのための装置、及び、コンピュータ実装された方法

(51)【国際特許分類】

   G06F 16/55 20190101AFI20230331BHJP

   G06F 16/56 20190101ALI20230331BHJP

   G06F 16/90 20190101ALI20230331BHJP

   G08G 1/16 20060101ALI20230331BHJP

   G08G 1/00 20060101ALI20230331BHJP

【ＦＩ】

G06F16/55

G06F16/56

G06F16/90 100

G08G1/16 C

G08G1/00 A

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022153673

(22)【出願日】2022-09-27

(31)【優先権主張番号】10 2021 210 848.2

(32)【優先日】2021-09-28

(33)【優先権主張国・地域又は機関】DE

(71)【出願人】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】コーリー ヘンソン

(72)【発明者】

【氏名】ダリア ステパノワ

(72)【発明者】

【氏名】モハメド ガド－エルラブ

(72)【発明者】

【氏名】ルワン ウィックラマラクチジ ドン

(72)【発明者】

【氏名】スレヤシ ナグ チョードゥリー

【テーマコード（参考）】

5B175

5H181

【Ｆターム（参考）】

5B175DA02

5B175EA01

5B175FA03

5B175HB03

5H181AA01

5H181AA25

5H181AA26

5H181BB20

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181LL01

5H181LL02

5H181LL04

5H181LL09

(57)【要約】

【課題】シーンの説明可能なクラスタリングのための装置、及び、コンピュータ実装された方法である。
【解決手段】本方法は、第１のオブジェクトクラスを第２のオブジェクトクラスに関係付ける第１の関係を決定すること（３０６）であって、第１の関係を決定すること（３０６）は、第１のオブジェクトクラス及び第２のオブジェクトクラスに応じて、ドメインに関する情報を表す第１のナレッジグラフ、特にコモンセンスナレッジグラフにおけるエンティティ対を決定することを含み、エンティティ対は、第１のナレッジグラフにおいて第１の関係によって関係付けられている、こと（３０６）と、シーンに応じて及び他のシーンに応じて、シーンが属するクラスタを決定すること（３０８）と、シーンを表すデジタル画像データの少なくとも１つの特徴に応じて、シーンをクラスタに関係付ける第２の関係を決定すること（３１０）と、第１の関係を第２の関係にマッピングするルールを決定すること（３１２）と、を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

シーンの説明可能なクラスタリングのためのコンピュータ実装された方法において、
第１のオブジェクトクラス（２１４）を第２のオブジェクトクラス（２１６）に関係付ける第１の関係（２３０）を決定すること（３０６）であって、前記第１の関係（２３０）を決定すること（３０６）は、前記第１のオブジェクトクラス（２１４）及び前記第２のオブジェクトクラス（２１６）に応じて、ドメインに関する情報を表す第１のナレッジグラフ（２０４）、特にコモンセンスナレッジグラフにおけるエンティティ対（２２２，２２６）を決定することを含み、前記エンティティ対（２２２，２２６）は、前記第１のナレッジグラフ（２０４）において前記第１の関係（２３０）によって関係付けられている、こと（３０６）と、
前記シーンに応じて及び他のシーンに応じて、前記シーンが属するクラスタを決定すること（３０８）と、
前記シーンを表すデジタル画像データの少なくとも１つの特徴に応じて、前記シーンを前記クラスタに関係付ける第２の関係（２３４）を決定すること（３１０）と、
前記第１の関係を前記第２の関係にマッピングするルールを決定すること（３１２）と、
を含むことを特徴とする方法。

【請求項2】

前記第１の関係を決定すること（３０６）は、
前記第１のナレッジグラフ（２０４）の第１のエンティティ（２２２）を表す第１の埋め込みを決定することと、
前記第１のナレッジグラフ（２０４）の第２のエンティティ（２２６）を表す第２の埋め込みを決定することと、
前記第１のオブジェクトクラス（２１４）を表す第３の埋め込みを決定することと、
前記第２のオブジェクトクラス（２１６）を表す第４の埋め込みを決定することと、
前記第１の埋め込みと前記第３の埋め込みとの間の類似度及び前記第２の埋め込みと前記第４の埋め込みとの間の類似度が条件を満たすかどうかを判定することと、
前記条件が満たされる場合に前記第１の埋め込み（２２２）及び前記第２の埋め込み（２２６）を含むように前記エンティティ対を決定すること、又は、前記第１のナレッジグラフ（２０４）の少なくとも１つの他のエンティティに応じて前記エンティティ対を決定することのいずれかと、
を含む、請求項１に記載の方法。

【請求項3】

前記方法は、
特にカメラ、特に、技術システム、特に車両又は道路施設に取り付けられる又はこれらを監視するカメラによって、前記シーンを含む画像を取り込むこと（３０２）と、
前記シーンの前記クラスタを決定すること（３０８）及び／又は前記画像に応じて前記ルールを決定すること（３１２）と、
を含む、請求項１又は２に記載の方法。

【請求項4】

前記方法は、
前記シーンを表すエンティティ（２０８）と前記クラスタを表すエンティティとを関係付けること（３０４）と、
これらのエンティティを、第２のナレッジグラフ（２０６）、特にシーングラフにおいて、前記第２の関係によって関係付けることと、
を含む、請求項１乃至３のいずれか一項に記載の方法。

【請求項5】

前記第１の関係を決定すること（３０６）は、前記第２のナレッジグラフ（２０２）において、前記第１のオブジェクトクラスを表す第１のエンティティ（２１４）と前記第２のオブジェクトクラスを表す第２のエンティティ（２１６）とを前記第１の関係（２３０）によって関係付けることを含む、請求項４に記載の方法。

【請求項6】

前記方法は、前記第２のナレッジグラフ（２０６）の関係（２２０，２２２）から、前記第１の関係（２３０）を前記第２の関係にマッピングするルールを決定すること（３１２）を含む、請求項４又は５に記載の方法。

【請求項7】

前記方法は、特に自動運転用の訓練データを生成することを含み、訓練データを生成することは、前記シーンを前記クラスタに関係付ける前記第２の関係（２３４）に応じて又は前記第１の関係を前記第２の関係にマッピングする前記ルールに応じて、前記シーンのラベルを生成することを含む、請求項１乃至６のいずれか一項に記載の方法。

【請求項8】

前記方法は、前記シーンのデータ構造を生成することを含み、
前記データ構造は、前記第２の関係の次元及び前記ルールの次元を含む、
請求項１乃至７のいずれか一項に記載の方法。

【請求項9】

前記方法は、
特に技術システムのコントローラ（１１２）からの結合クエリに応答して（３１６）、前記クラスタを含むクラスタのセットについて決定されるルールに関して前記結合クエリの結果のためのセマンティック検索を実行すること（３１８）と、
前記結果に応じて前記コントローラ（１１２）によって前記技術システムを制御すること（３２０）と、
を含む、請求項１乃至８のいずれか一項に記載の方法。

【請求項10】

説明可能なシーンクラスタリングのための装置（１００）であって、請求項１乃至９のいずれか一項に記載の方法を実施するために、特に、少なくとも１つのプロセッサ（１０２）と、少なくとも１つの記憶装置（１０４）とを備えるように構成されていることを特徴とする装置（１００）。

【請求項11】

前記装置は、コントローラ（１１２）を備え、請求項９に記載の方法を実施するように構成されている、請求項１０に記載の装置（１００）。

【請求項12】

コンピュータ上において実行されるときに、請求項１乃至９のいずれか一項に記載の方法におけるステップを前記コンピュータに実施させるためのコンピュータ可読命令を含むことを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

背景
本発明は、説明可能なシーンクラスタリングに関する。

【発明の概要】

【課題を解決するための手段】

【0002】

発明の開示
シーンの説明可能なクラスタリングのためのコンピュータ実装された方法は、第１のオブジェクトクラスを第２のオブジェクトクラスに関係付ける第１の関係を決定することを含み、第１の関係を決定することは、第１のオブジェクトクラス及び第２のオブジェクトクラスに応じて、ドメインに関する情報を表す第１のナレッジグラフ、特にコモンセンスナレッジグラフにおけるエンティティ対を決定することを含み、エンティティ対は、第１のナレッジグラフにおいて第１の関係によって関係付けられている、ことと、シーンに応じて及び他のシーンに応じて、シーンが属するクラスタを決定することと、シーンを表すデジタル画像データの少なくとも１つの特徴に応じて、シーンをクラスタに関係付ける第２の関係を決定することと、第１の関係を第２の関係にマッピングするルールを決定することと、を含む。第２の関係は、デジタル画像の低レベル特徴に基づく。第１の関係は、第２の関係がシーンをクラスタに関係付ける理由を説明する。

【0003】

第１の関係を決定することは、第１のナレッジグラフの第１のエンティティを表す第１の埋め込みを決定することと、第１のナレッジグラフの第２のエンティティを表す第２の埋め込みを決定することと、第１のオブジェクトクラスを表す第３の埋め込みを決定することと、第２のオブジェクトクラスを表す第４の埋め込みを決定することと、第１の埋め込みと第３の埋め込みとの間の類似度及び第２の埋め込みと第４の埋め込みとの間の類似度が条件を満たすかどうかを判定することと、条件が満たされる場合に第１の埋め込み及び第２の埋め込みを含むようにエンティティ対を決定すること又は第１のナレッジグラフの少なくとも１つの他のエンティティに応じてエンティティ対を決定することのいずれかと、を含み得る。英数字の識別子、文字又は単語は、エンティティ及び／又はオブジェクトクラスを識別可能とする。それぞれの埋め込みは、それぞれのエンティティを表す英数字の識別子、文字又は単語のテキスト埋め込みであるものとしてよい。例えば、同義語が、その単語埋め込みによって自動的に検出される。

【0004】

方法は、特にカメラによって、特に、技術システム、特に車両又は道路施設に取り付けられる又はこれらを監視するカメラによって、シーンを含む画像を取り込むことと、シーンのクラスタを決定すること及び／又は画像に応じてルールを決定することと、を含み得る。

【0005】

方法は、シーンを表すエンティティとクラスタを表すエンティティとを関係付けることと、これらのエンティティを、第２のナレッジグラフ、特にシーングラフにおいて、第２の関係によって関係付けることとを含み得る。

【0006】

第１の関係を決定することは、第２のナレッジグラフにおいて、第１のオブジェクトクラスを表す第１のエンティティと第２のオブジェクトクラスを表す第２のエンティティとを第１の関係によって関係付けることを含み得る。

【0007】

方法は、第２のナレッジグラフの関係から、第１の関係を第２の関係にマッピングするルールを決定することを含み得る。

【0008】

方法は、特に自動運転用の訓練データを生成することを含み、訓練データを生成することは、シーンをクラスタに関係付ける第２の関係に応じて又は第１の関係を第２の関係にマッピングするルールに応じて、シーンのラベルを生成することを含み得る。

【0009】

方法は、シーンのデータ構造を生成することを含み、データ構造は、第２の関係の次元及びルールの次元を含み得る。

【0010】

方法は、特に技術システムのコントローラからの結合クエリに応答して、クラスタを含むクラスタのセットについて決定されるルールに関して結合クエリの結果のためのセマンティック検索を実行することと、結果に応じてコントローラによって技術システムを制御することと、を含み得る。

【0011】

説明可能なシーンクラスタリングのための装置は、方法を実行するために、特に少なくとも１つのプロセッサと、少なくとも１つの記憶装置とを備えるように構成されている。

【0012】

装置は、コントローラを備え、コントローラによって技術システムを制御するための方法を実行するように構成されている。

【0013】

コンピュータプログラムは、コンピュータ上において実行されるときに、方法におけるステップをコンピュータに実施させるためのコンピュータ可読命令を含む。

【0014】

さらなる有利な実施形態は、以下の説明及び図面から導出することができる。

【図面の簡単な説明】

【0015】

【図1】説明可能なシーンクラスタリングのための装置を概略的に示す図である。

【図2】コモンセンスナレッジグラフからの情報によってシーンナレッジグラフを拡張する態様を概略的に示す図である。

【図3】説明可能なシーンクラスタリングのための方法におけるステップを概略的に示す図である。

【発明を実施するための形態】

【0016】

ナレッジグラフＫＧは、相互に関連付けられた事実情報の集合を表し、＜Ｊｏｈｎ，ｌｉｖｅｓ＿ｉｎ，Ｇｅｒｍａｎｙ＞のような＜主語 述語 目的語＞形式のトリプルのセットとして記号化することができる。このようなトリプルの主語又は目的語は、エンティティと称することができる。述語は、関係と称することができる。ＫＧのトリプルのセットは、頂点と辺とにラベルが付された有向グラフとして自然に表現することができる。

【0017】

シーングラフＳＧは、シーンを記述するＫＧである。ＳＧは、〈ｓｃｅｎｅ１，ｉｎｃｌｕｄｅｓ，ｃａｒ〉、〈ｍｏｖｉｎｇ，ｈａｓ＿ｐａｒｔｉｃｉｐａｎｔ，ｃａｒ〉のように、自動検出されたオブジェクト及びイベントをエンティティとみなし、これらの間の関係を述語とみなすことにより、シーン画像から構築することができる。ＳＧは、視覚的情報のみに限定されない。画像中に現れるシーンは、画像が撮影された場所や取り込まれた画像間の時間関係のような特定の文脈を有する場合もある。

【0018】

コモンセンスナレッジグラフＣＫＧは、日常世界に関する一般的な知識を記憶するナレッジグラフである。例においては、ＣＫＧは、人間が所有すると期待される情報を含む。そのような情報の例は、〈ｃａｒ，ｈａｓ＿ｐａｒｔ，ｗｈｅｅｌｓ〉や〈ｃｈｉｌｄｒｅｎ，ｐｌａｙ＿ｗｉｔｈ，ｂａｌｌ〉である。ＣＫＧは、テキスト又は他のソースから抽出することができる。

【0019】

ナレッジグラフ埋め込みＫＧＥは、ＫＧのエンティティ及び関係を連続ベクトル空間内に埋め込むことに関する。より具体的には、ＫＧＥモデルは、ＫＧのトリプルのセットを入力として取ることができ、ＫＧの構造を反映するいくつかの特徴を保持するように、エンティティ及び関係をｎ次元ベクトル空間にマッピングすることを目的とすることができる。これらの特徴は、例えば、それぞれの埋め込みモデルの目的関数によって取り込まれる。

【0020】

クラスタリングは、ナレッジグラフ内のエンティティを、クラスタ間の類似度が高く、かつ、クラスタ内の類似度が低い、クラスタのセットにグループ化するタスクである。

【0021】

ルール抽出は、ＫＧからルールを学習するタスクである。ＫＧを所与とすると、ルール抽出のゴールは、形式Ｈ←Ｂのルールのセットを構築することであり、ここで、Ｈは、形式ｈ（Ｘ，ｃ）の含意述語（entailed predicate）であり、ｃは、ターゲットクラスタに対応する定数であり、Ｂは、形式ｂ_１（Ｘ_１，Ｙ_１），…，ｂ_ｎ（Ｘ_ｎ，Ｙ_ｎ）の述語の結合であり，Ｘ_１，Ｙ_１，…，Ｘ_ｎ，Ｙ_ｎは、変数又は定数のいずれかであり得る。抽出されるルールは、データにおいて十分な頻度で成立する。

【0022】

結合クエリＣＱは、形式ｂ_１（Ｘ_１，Ｘ_２，…，Ｘ_ｋ）←Ｂ又は〈Ｘ_１，Ｘ_２，…，Ｘ_ｋ〉←Ｂの表現であり、ここで、Ｂは、ＣＱの本体であり、Ｘ_１，Ｘ_２，…，Ｘ_ｋは、回答変数、即ち、クエリへの回答を担う位置にある変数である。

【0023】

ユーザが自然言語で定式化した情報ニーズは、そのような形式的な結合クエリに変換することができる。例えば、自律走行シーンを記憶しているＫＧの場合、ユーザは、乗用車（ｃａｒ）及びその近くにある鉄道車両が示された全てのシーンに関心を有することがある。形式的に、こうしたクエリは、
Ｑ（Ｘ）
←ｉｎｃｌｕｄｅｓ（Ｘ；Ｙ）；ｔｙｐｅ（Ｙ；ｃａｒ）；ｉｎｃｌｕｄｅｓ（Ｘ；Ｚ）；ｌｏｃａｔｅｄ＿ｎｅａｒ（Ｙ；Ｚ）；ｔｙｐｅ（Ｚ；ｔｒａｉｎ）
のように定式化することができる。

【0024】

図１は、少なくとも１つのプロセッサ１０２と、命令及び他のデータを記憶するための少なくとも１つの記憶装置１０４とを備える装置１００を示している。装置１００は、入力部１０６及び出力部１０８を備え得る。

【0025】

入力部１０６は、入力を受け取るように構成することができる。入力は、少なくとも１つのカメラ１１０によって取り込まれるデジタル画像を含み得る。入力は、例えば、デジタル画像を取り込む場所及び／又は時間を提供する、メタデータを含み得る。少なくとも１つのカメラは、車両又は道路施設に取り付けられるカメラであるものとしてよい。

【0026】

出力部１０８は、出力を出力するように構成することができる。出力は、クラスタ及びそのセマンティックラベルを含み得る。出力部１０８は、少なくとも１つのコントローラ１１２及び／又は少なくとも１つのアクチュエータに出力を送り出すことができる。少なくとも１つのコントローラ１１２及び／又は少なくとも１つのアクチュエータは、車両に取り付けることができる。少なくとも１つのコントローラ１１２及び／又は少なくとも１つのアクチュエータは、少なくとも部分的に自動運転化された車両のために構成することができる。少なくとも１つのコントローラ１１２は、例えば、車両のための少なくとも部分自動化された運転者支援機能、少なくとも部分自動化された駐車機能、及び／又は、少なくとも部分自動化された衝突回避機能において、例えば、少なくとも１つのカメラによって取り込まれる少なくとも１つのデジタル画像に基づいて、出力部１０８から受け取られた出力に応答して、少なくとも部分自動化されたステアリング、少なくとも部分自動化されたエンジン制御、及び／又は、少なくとも部分自動化されたブレーキ制御のための少なくとも１つのアクチュエータを制御するように構成することができる。車両（ｖｅｈｉｃｌｅ）は、モータサイクル（ｍｏｔｏｒｃｙｃｌｅ）、乗用車（ｃａｒ）、航空機又は船舶であり得る。

【0027】

図２は、例示的なＣＫＧ２０４からの情報によって例示的なＳＧ２０２を拡張する態様を概略的に示している。図２においては、さらに、コモンセンス拡張ＫＧ２０６の例も示されている。例においては、コモンセンス拡張ＫＧ２０６は、ＳＧ２０２及びＣＫＧ２０４に基づく。

【0028】

ＳＧ２０２は、第１のエンティティ２０８を含む。ＳＧ２０２は、第２のエンティティ２１０を含む。ＳＧ２０２は、第３のエンティティ２１２を含む。ＳＧ２０２は、第４のエンティティ２１４を含む。ＳＧ２０２は、第５のエンティティ２１６を含む。

【0029】

第１のエンティティ２０８は、第１の関係２１８によって第２のエンティティ２１０に関係付けられる。第１のエンティティ２０８は、第１の関係２１８によって第３のエンティティ２１２に関係付けられる。第２のエンティティ２１０は、第２の関係２２０によって第４のエンティティ２１４に関係付けられる。第３のエンティティ２１２は、第２の関係２２０によって第５のエンティティ２１６に関係付けられる。

【0030】

ＣＫＧ２０４は、第１のエンティティ２２２を含む。ＣＫＧ２０４は、第２のエンティティ２２４を含む。ＣＫＧ２０４は、第３のエンティティ２２６を含む。ＣＫＧ２０４の第１のエンティティ２２２は、第３の関係２２８によってＣＫＧ２０４の第２のエンティティ２２４に関係付けられる。ＣＫＧ２０４の第１のエンティティ２２２は、第４の関係２３０によってＣＫＧ２０４の第３のエンティティ２２６に関係付けられる。第３の関係２２８は、第３の関係２２８によって目的語エンティティに関係する主語エンティティが、第３の関係２２８によって示されるように目的語エンティティに関係付けられることを示す。第３の関係２２８は、任意のコモンセンス関係を示し得る。第４の関係２３０は、第４の関係２３０によって目的語エンティティに関係する主語エンティティが、第４の関係２３０によって示されるように目的語エンティティに関係付けられることを示す。第４の関係２３０は、任意のコモンセンス関係を示し得る。

【0031】

拡張ＫＧ２０６は、ＳＧ２０２を含む。これは、拡張ＫＧにおいては、第１のエンティティ２０８が第１の関係２１８によって第２のエンティティ２１０に関係付けられ、第１のエンティティ２０８が第１の関係２１８によって第３のエンティティ２１２に関係付けられ、第２のエンティティ２１０が第２の関係２２０によって第４のエンティティ２１４に関係付けられ、第３のエンティティ２１２が第２の関係２２０によって第５のエンティティ２１６に関係付けられることを意味する。

【0032】

加えて、第５のエンティティ２１６は、第４の関係２３０によって第４のエンティティ２１４に関係付けられる。

【0033】

以下においては、自転車（ｂｉｃｙｃｌｅ）及び乗用車（ｃａｒ）を伴うシーンを含むデジタル画像の例について説明する。

【0034】

ＳＧ２０２の第１のエンティティ２０８は、シーンを表す。ＳＧ２０２の第２のエンティティ２１０は、デジタル画像中で検出される第１のオブジェクトを表す。ＳＧ２０２の第３のエンティティ２１２は、デジタル画像中で検出される第２のオブジェクトを表す。ＳＧ２０２の第４のエンティティ２１４は、第１のラベル、例えば乗用車（ｃａｒ）を表す。ＳＧ２０２の第５のエンティティ２１６は、第２のラベル、例えば自転車（ｂｉｃｙｃｌｅ）を表す。

【0035】

この例における第１の関係２１８は、主語エンティティによって表され、第１の関係２１８によって目的語エンティティに関係付けられるオブジェクトが、目的語エンティティが表すクラスにあることを示す。

【0036】

この例におけるＳＧ２０２は、シーン中で検出される第１のオブジェクトが乗用車（ｃａｒ）であることを示す。例におけるＳＧ２０２は、シーン中で検出される第２のオブジェクトが自転車（ｂｉｃｙｃｌｅ）であることを示す。

【0037】

ＣＫＧ２０４の第１のエンティティ２２２は、第１のコモンセンス情報、例えば自動車（ａｕｔｏｍｏｂｉｌｅ）を示す。ＣＫＧ２０４の第２のエンティティ２２４は、第２のコモンセンス情報、例えば車輪（ｗｈｅｅｌ）を表す。ＣＫＧ２０４の第３のエンティティ２２６は、第３のコモンセンス情報、例えばバイク（ｂｉｋｅ）を表す。

【0038】

例における第３の関係２２８は、主語エンティティによって表され、第３の関係２２８によって目的語エンティティに関係付けられるオブジェクトが、目的語エンティティが表すオブジェクトである部分を有することを示す。

【0039】

例における第４の関係２３０は、主語エンティティが表す主語の特性を、主語エンティティが関係する目的語エンティティによって表される目的語の特性とどのように比較するかを示す。

【0040】

例におけるＣＫＧ２０４は、自動車（ａｕｔｏｍｏｂｉｌｅ）が車輪（ｗｈｅｅｌ）である部分を有することを示す。例におけるＣＫＧ２０４は、自動車（ａｕｔｏｍｏｂｉｌｅ）とバイク（ｂｉｋｅ）とをどのように比較するかを示す。例においては、比較される特性は、加速度である。これは、この例における第４の関係２３０が、自動車（ａｕｔｏｍｏｂｉｌｅ）がバイク（ｂｉｋｅ）よりも速く加速するというコモンセンス情報を示すことを意味する。

【0041】

図３は、説明可能なシーンクラスタリングのための方法におけるステップを概略的に示している。方法は、ＳＧ２０２及びＣＫＧ２０４のそれぞれのナレッジグラフ埋め込みＫＧＥに基づく。

【0042】

ＳＧ２０２のＫＧＥは、ＳＧ２０２のエンティティを表す状態空間内のベクトルを含む。ＣＫＧ２０４のＫＧＥは、ＣＫＧ２０４のエンティティを表す状態空間内のベクトルを含む。

【0043】

ＫＧ同士を組み合わせること、即ち、例におけるＳＧとＣＫＧとを組み合わせることは、ＫＧ埋め込み同士を組み合わせるのではなく、エンティティを表す単語のテキスト埋め込みに応じてベクトルを決定することを含む。より具体的には、同義語は、その単語埋め込みによって自動的に検出される。

【0044】

例においては、乗用車（ｃａｒ）を表すエンティティのベクトルが、自転車（ｂｉｃｙｃｌｅ）を表すエンティティのベクトル又はバイク（ｂｉｋｅ）を表すエンティティのベクトルよりも、自動車（ａｕｔｏｍｏｂｉｌｅ）を表すエンティティのベクトルに近い。例においては、自転車（ｂｉｃｙｃｌｅ）を表すエンティティのベクトルは、自動車（ａｕｔｏｍｏｂｉｌｅ）を表すエンティティのベクトル及び乗用車（ｃａｒ）を表すエンティティのベクトルよりも、バイク（ｂｉｋｅ）を表すエンティティのベクトルに近い。

【0045】

装置１００は、図３を参照して後述する方法を実行するために構成されている。

【0046】

本明細書の開示に従って処理されるデジタル画像は、例えばカメラによって取り込まれたビデオ、レーダ、ＬｉＤＡＲ、超音波、モーション又は熱画像であるものとしてよい。デジタル画像は、シーンをクラスタリングするために、及び、得られたクラスタについて機械及び／又は人間によって解釈可能なラベルを計算するために、処理することができる。デジタル画像は、得られた少なくとも１つのクラスタの機械によって解釈可能なラベルに応じて、技術システム、例えば車両を動作させるために処理することができる。

【0047】

方法は、シーンクラスタリングの問題を、グラフ上の推論の問題に置き変える。より具体的には、シーンの視覚的特徴に完全に依存する代わりに、方法は、シーン画像とともに、コモンセンス知識を記憶するソースのような他のソースから収集した、シーン中に現れるオブジェクトに関する情報も利用する。

【0048】

シーンのクラスタリングは、シーン中に出現するオブジェクトの視覚的な共通点のみならず、そのセマンティック特性にも依存する。セマンティック特性は、それぞれのオブジェクトの物理的特性であり得る。

【0049】

例えば、乗用車（ｃａｒ）を含むシーンと、スクータ（ｓｃｏｏｔｅｒ）を含むシーンとでは、これら２つのオブジェクトは、視覚的には異なるが、例えば、両方ともバイク（ｂｉｋｅ）よりも速く加速するという共通の物理的特性を有する。

【0050】

これら２つのシーンを参照して方法について説明する。例においては、物理的特性は、ＣＫＧからのコモンセンス情報である。例におけるＣＫＧは、ドメインに関する情報、特に、このドメインに関するコモンセンス知識を表す。この例におけるドメインは、交通施設及び車両や人などの交通参加者の特性を指す。方法は、他のドメインにもまた適用可能である。

【0051】

例においては、ＣＫＧは、自動車（ａｕｔｏｍｏｂｉｌｅ）を表すエンティティを、“ｉｓ ｆａｓｔｅｒ ｔｈａｎ（よりも速い）”を示す関係によって、バイク（ｂｉｋｅ）というエンティティに関係付ける。例においては、ＣＫＧは、モータサイクル（ｍｏｔｏｒｃｙｃｌｅ）を表すエンティティを、“ｉｓ ｆａｓｔｅｒ ｔｈａｎ”を示す関係によって、バイク（ｂｉｋｅ）というエンティティに関係付ける。

【0052】

シーンは、他のオブジェクトの他の特性に関する、ＣＫＧからの他のコモンセンス情報に基づいてもまたクラスタリングすることができる。

【0053】

ステップ３０２においては、シーンを示す画像のセットが入力として提供される。

【0054】

画像のセット内の画像は、カメラによって取り込むことができる。

【0055】

入力は、任意選択肢として画像のメタデータを含む。

【0056】

ＣＫＧは、記憶装置から読み出すことができ、又は、入力として受け取ることができる。ＣＫＧは、特に自然言語処理技術を使用して、文書の集合又は他のソースから調べられるものとしてもよい。

【0057】

その後、ステップ３０４が実行される。

【0058】

ステップ３０４においては、入力に基づいてＳＧが構築される。

【0059】

ＳＧは、例えば、画像のセット内の画像の少なくとも一部から構築される。

【0060】

ＳＧを構築することは、画像のセットからの画像の少なくとも一部を、ＳＧ内のシーンを表すエンティティに割り当てることを含み得る。方法は、例えば、画像中の低レベル特徴に基づいて画像の少なくとも一部においてシーンを検出することを含む。方法は、ＳＧ内のシーンを表すエンティティを作成することを含み得る。

【0061】

例における方法は、乗用車（ｃａｒ）を含むシーン及びスクータ（ｓｃｏｏｔｅｒ）を含むシーンを検出することを含む。

【0062】

ＳＧを構築することは、オブジェクトを分類することを含み得る。方法は、画像の少なくとも一部の低レベル特徴に基づいてシーン中のオブジェクトを検出することを含み得る。オブジェクトを分類することは、オブジェクトをオブジェクトクラスにマッピングすることを含み得る。方法は、オブジェクトクラス候補のセットを提供することを含み得る。方法は、オブジェクトクラス候補のセットからのオブジェクトクラスにオブジェクトを分類することを含み得る。

【0063】

ＳＧを構築することは、ＳＧ内のオブジェクトを表すエンティティにオブジェクトを割り当てることを含み得る。方法は、ＳＧ内のオブジェクトを表すエンティティを作成することを含み得る。

【0064】

ＳＧを構築することは、ＳＧ内のオブジェクトクラスを表す少なくとも１つのエンティティにオブジェクトクラスを割り当てることを含み得る。方法は、ＳＧ内のオブジェクトクラスを表すエンティティを作成することを含み得る。

【0065】

ＳＧを構築することは、オブジェクトを表すエンティティを、ＳＧ内のオブジェクトクラスを表すエンティティに関連付けることを含み得る。ＳＧを構築することは、オブジェクトを表すエンティティを、シーンを表すエンティティに関連付けることを含み得る。

【0066】

一例においては、少なくとも１つの画像中で検出される各シーンについて、ＳＧにおいて一意のエンティティが作成される。一例においては、画像のセット内において検出される各オブジェクトについて、ＳＧにおいて一意のエンティティが作成される。

【0067】

一例においては、方法は、ＳＧ内のオブジェクトを表すエンティティを、オブジェクトが現れるシーンを表すＳＧ内の複数のエンティティ又は任意のエンティティに関連付けることを含む。

【0068】

一例においては、方法は、ＳＧ内のオブジェクトを表すエンティティを、オブジェクトが分類されるオブジェクトクラスを表すＳＧ内の複数のエンティティ又は任意のエンティティに関連付けることを含む。

【0069】

例においては、画像のセット内のシーンで認められるオブジェクトクラスのセット、例えば、乗用車（ｃａｒ）、スクータ（ｓｃｏｏｔｅｒ）、バイク（ｂｉｋｅ）が、ＳＧ内の専用のエンティティとして表現される。

【0070】

例における方法は、乗用車（ｃａｒ）を含むシーン中のオブジェクトを検出し、このオブジェクトを乗用車（ｃａｒ）として分類し、このオブジェクトを表すエンティティとＳＧ内のオブジェクトクラス“ｃａｒ（乗用車）”を表すエンティティとの間の対応関係を追加することを含む。例における方法は、スクータ（ｓｃｏｏｔｅｒ）を含むシーン中のオブジェクトを検出し、このオブジェクトをスクータ（ｓｃｏｏｔｅｒ）として分類し、このオブジェクトを表すエンティティとＳＧ内のオブジェクトクラス“ｓｃｏｏｔｅｒ（スクータ）”を表すエンティティとの間の対応関係を追加することを含む。

【0071】

一例においては、デジタル画像中に現れるオブジェクトは、オブジェクトクラスのセットに従って分類される。

【0072】

一例においては、シーンを表すエンティティは、オブジェクトを表すエンティティにタイプ関係によって結び付けられる。

【0073】

ＳＧを構築するために、少なくとも１つの画像のさらなるメタデータを使用することができる。

【0074】

方法は、例えば、シーンが取り込まれた時間及び／又はシーンが取り込まれた場所をメタデータから抽出することを含む。方法は、ＳＧにおいて、シーンを表すエンティティを、シーンが取り込まれた時間を表すエンティティに割り当てることを含み得る。方法は、ＳＧにおいて、シーンを表すエンティティを、シーンが取り込まれた場所を表すエンティティに割り当てることを含み得る。

【0075】

方法は、ＳＧにおいて、シーン中のオブジェクトを表すエンティティを、シーン中の別のオブジェクトを表すエンティティとの空間的な相互関係を表す関係によって割り当てることを含み得る。方法は、例えば、シーン中のオブジェクトに対応するバウンディングボックス間の空間的な相互関係を決定することを含む。一例においては、方法は、特に、シーンを含む画像の少なくとも一部の低レベル特徴に応じて、その画像の少なくとも一部においてオブジェクトに対応するバウンディングボックスを検出することを含む。方法は、このバウンディングボックスと、画像の少なくとも一部において別のオブジェクトについて決定される別のバウンディングボックスとの間の空間的な相互関係を決定することを含み得る。

【0076】

例においては、方法は、ＳＧの主語エンティティ、ＳＧの目的語エンティティ、及び、ＳＧの主語エンティティとＳＧの目的語エンティティとの間の関係を含む、トリプルのセットを決定することを含む。

【0077】

方法は、画像の少なくとも一部の低レベル特徴に基づいてトリプルを決定することを含む。方法は、画像のセットからの複数の画像に応じてトリプルのセットを決定することを含む。

【0078】

その後、ステップ３０６が実行される。

【0079】

ステップ３０６においては、ＣＫＧからのエンティティ対の関係が、第１のオブジェクトクラス及び第２のオブジェクトクラスに応じて決定される。

【0080】

これは、ＳＧのエンティティが、ＣＫＧからの関係によってＳＧの別のエンティティに関係付けられることを意味する。

【0081】

ＣＫＧからの関係を決定することは、ＣＫＧの第１のエンティティを表す第１の埋め込み、及び、ＣＫＧの第２のエンティティを表す第２の埋め込みを決定することを含み得る。ＣＫＧからの関係を決定することは、第１のオブジェクトクラスを表す第３の埋め込み、及び、第２のオブジェクトクラスを表す第４の埋め込みを決定することを含み得る。

【0082】

ＣＫＧからの関係を決定することは、第１の埋め込みと第３の埋め込みとの間の類似度及び第２の埋め込みと第４の埋め込みとの間の類似度が条件を満たすかどうかを判定し、条件を満たす場合に第１の埋め込み及び第２の埋め込みを含むようにエンティティ対を決定すること、又は、ＣＫＧの少なくとも１つの他のエンティティに応じてエンティティ対を決定することのいずれかを含み得る。

【0083】

埋め込みは、ベクトル空間内のベクトルであるものとしてよい。

【0084】

例においては、方法は、ＳＧの２つのエンティティ及びＣＫＧからの関係を含む、トリプルを決定することを含む。方法は、このトリプルをＳＧに追加することを含み得る。例においては、ＳＧの２つのエンティティ及びＣＫＧからのこれらの関係を含むトリプルは、ＳＧ内に記憶される。これは、シーン中で表されるオブジェクトに関係付けられた非視覚的な知識がＳＧに統合されることを意味する。ＳＧ内に記憶する代わりに、ＳＧ及びトリプルを含む別のＫＧを決定することができる。

【0085】

以下においては、ＣＫＧからの関係によって関係付けるＣＫＧの例示的な２つのエンティティ、及び、ＳＧの例示的な２つのエンティティについて、ＳＧの拡張を説明する。ＳＧの他のエンティティ対を、同様の方法により、この関係又はＣＫＧからの他の関係によって関係付けることができる。

【0086】

方法は、ベクトル空間内のＳＧのエンティティを表す埋め込みベクトルを計算することを含み得る。方法は、ベクトル空間内のＣＫＧのエンティティを表す埋め込みベクトルを計算することを含み得る。例えば、ＳＧのＫＧＥ及びＣＫＧのＫＧＥが決定される。これらのＫＧＥは、同一の次元のベクトルを含み得る。

【0087】

方法は、ＳＧ内の第１のエンティティを表す第１のベクトルを決定することを含み得る。方法は、ＳＧ内の第２のエンティティを表す第２のベクトルを決定することを含み得る。方法は、ＣＫＧ内の第１のエンティティを表す第３のベクトルを決定することを含み得る。方法は、ＣＫＧ内の第２のエンティティを表す第４のベクトルを決定することを含み得る。

【0088】

例においては、ＣＫＧ内の第１のエンティティとＣＫＧ内の第２のエンティティは、ＣＫＧからの関係によって関連付けられる。

【0089】

方法は、第１のベクトルと第３のベクトルとの間の第１の類似度を決定することを含み得る。方法は、第２のベクトルと第４のベクトルとの間の第２の類似度を決定することを含み得る。

【0090】

例においては、ＣＫＧからの関係は、第１の類似度が閾値を超え、かつ、第２の類似度が閾値を超える場合に、ＳＧ内の第１のエンティティをＳＧ内の第２のエンティティに関係付けるために選択される。これらの閾値は、ユーザによって定義することができる。第１の類似度及び第２の類似度には、同一の閾値を使用することができる。例においては、第１の類似度が第１の類似度の閾値を超える場合、ＳＧ内の第１のエンティティとＣＫＧ内の第１のエンティティが類似するとみなされる。この情報は、例えば、第１のエンティティ及びＳＧの他のエンティティを含むＳＧのエンティティ対を、その対からのＳＧの他のエンティティに類似すると認められたＣＫＧの別のエンティティにＣＫＧの第１のエンティティを関係付けるＣＫＧの関係によって関係付けるかどうかを評価するときに再び使用することができる。例においては、第２の類似度が第２の類似度の閾値を超える場合、ＳＧ内の第２のエンティティとＣＫＧ内の第２のエンティティとが類似するとみなされる。この情報は、例えば、第２のエンティティ及びＳＧの他のエンティティを含むＳＧのエンティティ対を、その対からのＳＧの他のエンティティに類似すると認められたＣＫＧの別のエンティティにＣＫＧの第２のエンティティを関係付けるＣＫＧの関係によって関係付けるかどうかを評価するときに再び使用することができる。

【0091】

第１の類似度及び／又は第２の類似度は、単語に基づくセマンティック類似度であるものとしてよい。第１の類似度及び／又は第２の類似度は、ベクトル間のコサイン類似度であるものとしてよい。

【0092】

これは、方法が、ＳＧ内のオブジェクトクラスを表すエンティティをＣＫＧの関係によって関係付けることを含むことを意味する。ＣＫＧの関係は、コモンセンス情報を表す。

【0093】

このようにして、画像のセットから、画像のセットの少なくとも一部で検出されるシーンに関する視覚的情報と文脈情報の両方を取り入れた拡張ＳＧが決定される。

【0094】

例においては、方法は、ＳＧ内の乗用車（ｃａｒ）というオブジェクトクラスを表すエンティティと、ＳＧ内の自転車（ｂｉｃｙｃｌｅ）というオブジェクトクラスを表すエンティティとを、ＣＫＧからの“ｉｓ ｆａｓｔｅｒ ｔｈａｎ”を示す関係によって関係付けることを含む。

【0095】

例においては、方法は、ＳＧ内のスクータ（ｓｃｏｏｔｅｒ）というオブジェクトクラスを表すエンティティと、ＳＧ内の自転車（ｂｉｃｙｃｌｅ）というオブジェクトクラスを表すエンティティとを、ＣＫＧからの“ｉｓ ｆａｓｔｅｒ ｔｈａｎ”を示す関係によって関係付けることを含む。

【0096】

その後、ステップ３０８が実行される。

【0097】

ステップ３０８においては、ＳＧ内のエンティティがクラスタリングされる。

【0098】

例においては、方法は、ＳＧ内のエンティティからターゲットエンティティを選択することを含む。例えば、シーンを表すＳＧ内のエンティティが、ターゲットエンティティとして選択される。

【0099】

これらのエンティティのクラスタリングは、以下のステップを含み得る。

【0100】

ＳＧを低次元ベクトル空間内のベクトルに変換する。例においては、前のステップから生じるＳＧのＫＧＥを決定することができる。

【0101】

ターゲットエンティティをベクトル空間内においてクラスタリングする。ターゲットエンティティをクラスタリングすることは、クラスタリングから生じるはずであるいくつかのクラスタを提供することを含み得る。クラスタリングは、クラスタリング手法、例えば、マルチカットクラスタリングアルゴリズム又はｋ－ｍｅａｎｓアルゴリズムによって行うことができる。いくつかの所与のクラスタに基づく他の任意のクラスタリング手法を使用することができる。

【0102】

その後、ステップ３１０が実行される。

【0103】

ステップ３１０は、得られたクラスタを、関係を使用して表すことを含む。これらの関係は、“ｂｅｌｏｎｇｓＴｏ（に属する）”のような述語によってラベルが付された関係であり得る。

【0104】

シーンとクラスタを関係付けるこれらの関係は、シーンを表すデジタル画像データの少なくとも１つの特徴に応じて決定される。

【0105】

以下においては、ＳＧのエンティティと、クラスタを表すエンティティと、“ｂｅｌｏｎｇｓＴｏ”のような述語によってラベルが付された関係とを含むトリプルの場合で、得られたクラスタを表現することについて説明する。クラスタを表すエンティティは、ターゲットエンティティの１つであり得る。

【0106】

同様の方法は、ターゲットエンティティをクラスタリングした結果に従って、他のエンティティをこのクラスタ又は別のクラスタに関係付けるために使用される。

【0107】

方法は、このトリプルをＳＧに追加することを含み得る。例においては、ＳＧの２つのエンティティと、述語によってラベルが付された関係とを含むトリプルがＳＧ内に記憶される。これは、クラスタに関する情報がＳＧに統合されることを意味する。ＳＧ内に記憶する代わりに、ＳＧ及びトリプルを含む別のＫＧを決定することができる。

【0108】

例においては、クラスタのセットが決定される。例におけるクラスタは、エンティティをそのセマンティック類似度に基づいてグループ化し、次いで、得られたグループについて対応するラベルが計算される。例におけるセマンティックラベルは、クラスタリングされたシーンで検出されるオブジェクトのオブジェクトクラスを表すエンティティ対を関係付けるＣＫＧの関係を含む。これらのクラスタは、様々な用途に使用することができる。

【0109】

乗用車（ｃａｒ）とスクータ（ｓｃｏｏｔｅｒ）とをそれぞれ含む例示的な２つのシーンは、自転車（ｂｉｃｙｃｌｅ）よりも速いという共通特性のため、一緒にクラスタリングされる。

【0110】

その後、ステップ３１２が実行される。

【0111】

ステップ３１２においては、方法は、少なくとも１つのルールを学習することを含む。例においては、ルールを決定するために、ルール抽出が使用される。

【0112】

少なくとも１つのルールを学習することについて１つのルールの例を用いて説明する。他のルールは、同様の方法により学習することができる。

【0113】

ルールは、ヘッド及び本体を含み得る。ヘッドは、シーンを表すエンティティを、クラスタを表すエンティティに関係付けるヘッド関係を含み得る。本体は、述語又は述語の結合を含み得る。述語は、第１のエンティティを第２のエンティティに関係付ける関係を含み得る。例におけるエンティティは、ＳＧのエンティティである。例における関係は、ＣＫＧから決定される追加の関係によって拡張されるＳＧから選択される。例においては、ルールは、前に決定されたトリプルに関して決定される。

【0114】

ルールの本体における述語の結合は、ＣＫＧからＳＧに追加されたコモンセンス情報を表す関係である述語を含み得る。

【0115】

乗用車（ｃａｒ）とスクータ（ｓｃｏｏｔｅｒ）を含む例示的な２つのシーンでは、自転車（ｂｉｃｙｃｌｅ）よりも速いという共通特性のため、これらのシーンが一緒にクラスタリングされることを説明するルールを学習することができる。乗用車（ｃａｒ）とスクータ（ｓｃｏｏｔｅｒ）とを含む例示的な２つのシーンでは、ルールヘッドは、ルール本体が真になる任意のシーンを、所定のクラスタを表すエンティティに関係付ける関係を含む。例においては、オブジェクトタイプ“ｃａｒ（乗用車）”のオブジェクトを表すエンティティは、車を含むシーンに関係付けられる。例においては、オブジェクトタイプ“ｓｃｏｏｔｅｒ（スクータ）”のオブジェクトを表すエンティティは、スクータ（ｓｃｏｏｔｅｒ）を含むシーンに関係付けられる。例においては、オブジェクトクラス“ｃａｒ（乗用車）”を表すエンティティとオブジェクトクラス“ｓｃｏｏｔｅｒ（スクータ）”を表すエンティティは両方とも、これらが自転車（ｂｉｃｙｃｌｅ）よりも速いことを示すＣＫＧからの関係によって、オブジェクトクラス“ｂｉｃｙｃｌｅ（自転車）”を表すエンティティに関係付けられる。よって、ルールは、両方の場合で真になるように決定される。よって、ルール本体は、自転車（ｂｉｃｙｃｌｅ）よりも速いという特性を有するオブジェクトクラスのオブジェクトを含む任意のシーンで真になる述語の結合を含む。オブジェクトクラス“ｃａｒ（乗用車）”及び“ｓｃｏｏｔｅｒ（スクータ）”からクラスタｃについて学習される、オブジェクトクラスＺ１及びオブジェクトクラスＺ２のオブジェクトＹを含むシーンＸを説明するルールは、以下のようであり得る。
ｂｅｌｏｎｇｓＴｏ（ｃ，Ｘ）←ｉｎｃｌｕｄｅｓ（Ｘ，Ｙ），ｔｙｐｅ（Ｙ，Ｚ１），ｉｓ＿ｆａｓｔｅｒ＿ｔｈａｎ（Ｚ１，Ｚ２）

【0116】

このルールは、計算されたクラスタについての記述、特にセマンティック記述を表現している。

【0117】

他のクラスタについて、ルールは、特定のシーンが一緒にグループ化された理由を反映した説明を表現する。これらの説明は、例えば、シーン画像の大規模な集合に関するセマンティック検索を容易にするために有用である。

【0118】

その後、ステップ３１４が実行される。

【0119】

ステップ３１４においては、クラスタのセットは、ルール即ちその説明とともに、出力及び／又は使用される。

【0120】

任意選択肢として、クラスタリングの結果に応じて、技術システム、例えば車両が制御される。クラスタリングの結果は、車両によって取り込まれる画像のセットから決定することができる。

【0121】

例えば、ステップ３１６においては、結合クエリが受け取られる。結合クエリは、車両の少なくとも１つのコントローラ１１２から受け取ることができる。

【0122】

その後、ステップ３１８においては、結合クエリに基づいてシナリオを特定するために、クラスタのセット及びその記述に関するセマンティック検索が行われる。シナリオは、車両が動作するシナリオであるものとしてよい。ルールにおける説明は、セマンティック検索を容易にするために使用することができる。セマンティック検索の結果、例えば特定されたシナリオは、ステップ３２０において、車両を制御するためにコントローラ１１２によって使用することができる。

【0123】

シーンクラスタリングのためのこの方法の主な進歩は、以下の２つの側面に関する。

【0124】

第１に、クラスタリングの問題は、完全に視覚的なドメインとは対照的に、セマンティック的（意味的）に豊富な（ｓｅｍａｎｔｉｃａｌｌｙ ｒｉｃｈ）ドメインにおいて行われる。

【0125】

これは、クラスタリングが機能する追加のトリプルを構築することによって達成される。

【0126】

第２に、方法は、出力において、クラスタのみならず、そのセマンティックラベルも作り出す。これは、画像をその低レベル特徴に基づいてクラスタリングする代わりに、方法が、画像のセット内の画像の低レベル特徴と、ＣＫＧからのコモンセンス情報とに基づいてＳＧから導出されたトリプルに関して、埋め込みに基づく説明可能なクラスタリングを行うためである。

【0127】

シーンを表すＳＧ内のエンティティの埋め込み即ちベクトルは、デジタル画像の低レベル特徴に基づいて決定される。シーンがクラスタリングされるクラスタは、シーンを表す低レベル特徴に基づく埋め込みに応じて決定される。ＣＫＧからのコモンセンス情報は、そのようにシーンがクラスタリングされる理由を説明するルールを学習するために使用される。

【0128】

他の用途は、以下の通りである。即ち、
１．例えば自動運転ＡＤ用の訓練データの生成：方法は、ＡＤの文脈においてモデルの教師付き訓練のために後で利用し得る運転シーンのラベルを生成するために使用することができる。

【0129】

方法は、自動運転用の訓練データを生成することを含み得る。

【0130】

訓練データを生成することは、シーンをクラスタに関係付ける関係に応じて又はこのシーンクラスタ関係のルールに応じて、シーンのラベルを生成することを含み得る。

【0131】

２．セマンティック画像検索及び探索：方法は、画像中に現れる視覚的オブジェクトを取り込むのみならず、コモンセンスの概念によってラベル空間を拡張する、画像のセマンティッククラスタをその記述とともに作成することができる。これにより、ユーザによってキーワードのセットが与えられ、指定されたキーワードに意味的に合致する画像を取得することをゴールとする、画像検索処理が容易になる。

【0132】

方法は、シーンのデータ構造を生成することを含み得る。データ構造は、第２の関係の次元及びルールの次元を含み得る。

【図1】

【図2】

【図3】

【手続補正書】

【提出日】2022-12-01

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

シーンの説明可能なクラスタリングのためのコンピュータ実装された方法において、
第１のオブジェクトクラス（２１４）を第２のオブジェクトクラス（２１６）に関係付ける第１の関係（２１８）を決定すること（３０６）であって、前記第１の関係（２１８）を決定すること（３０６）は、前記第１のオブジェクトクラス（２１４）及び前記第２のオブジェクトクラス（２１６）に応じて、ドメインに関する情報を表す第１のナレッジグラフ（２０４）、特にコモンセンスナレッジグラフにおけるエンティティ対（２２２，２２６）を決定することを含み、前記エンティティ対（２２２，２２６）は、前記第１のナレッジグラフ（２０４）において前記第１の関係（２１８）によって関係付けられている、こと（３０６）と、
前記シーンに応じて及び他のシーンに応じて、前記シーンが属するクラスタを決定すること（３０８）と、
前記シーンを表すデジタル画像データの少なくとも１つの特徴に応じて、前記シーンを前記クラスタに関係付ける第２の関係（２２０）を決定すること（３１０）と、
前記第１の関係（２１８）を前記第２の関係（２２０）にマッピングするルールを決定すること（３１２）と、
を含むことを特徴とする方法。

【請求項2】

前記第１の関係（２１８）を決定すること（３０６）は、
前記第１のナレッジグラフ（２０４）の第１のエンティティ（２２２）を表す第１の埋め込みを決定することと、
前記第１のナレッジグラフ（２０４）の第２のエンティティ（２２６）を表す第２の埋め込みを決定することと、
前記第１のオブジェクトクラス（２１４）を表す第３の埋め込みを決定することと、
前記第２のオブジェクトクラス（２１６）を表す第４の埋め込みを決定することと、
前記第１の埋め込みと前記第３の埋め込みとの間の類似度及び前記第２の埋め込みと前記第４の埋め込みとの間の類似度が条件を満たすかどうかを判定することと、
前記条件が満たされる場合に前記第１の埋め込み（２２２）及び前記第２の埋め込み（２２６）を含むように前記エンティティ対を決定すること、又は、前記第１のナレッジグラフ（２０４）の少なくとも１つの他のエンティティに応じて前記エンティティ対を決定することのいずれかと、
を含む、請求項１に記載の方法。

【請求項3】

前記方法は、
特にカメラ、特に、技術システム、特に車両又は道路施設に取り付けられる又はこれらを監視するカメラによって、前記シーンを含む画像を取り込むこと（３０２）と、
前記シーンの前記クラスタを決定すること（３０８）及び／又は前記画像に応じて前記ルールを決定すること（３１２）と、
を含む、請求項１又は２に記載の方法。

【請求項4】

前記方法は、
前記シーンを表すエンティティ（２０８）と前記クラスタを表すエンティティとを関係付けること（３０４）と、
前記シーンを表すエンティティ（２０８）と前記クラスタを表すエンティティとを、第２のナレッジグラフ（２０６）、特にシーングラフにおいて、前記第２の関係（２２０）によって関係付けることと、
を含む、請求項１に記載の方法。

【請求項5】

前記第１の関係（２１８）を決定すること（３０６）は、前記第２のナレッジグラフ（２０６）において、前記第１のオブジェクトクラスを表す第１のエンティティ（２１４）と前記第２のオブジェクトクラスを表す第２のエンティティ（２１６）とを前記第１の関係（２１８）によって関係付けることを含む、請求項４に記載の方法。

【請求項6】

前記方法は、前記第２のナレッジグラフ（２０６）の関係（２１８，２２０）から、前記第１の関係（２１８）を前記第２の関係（２２０）にマッピングするルールを決定すること（３１２）を含む、請求項５に記載の方法。

【請求項7】

前記方法は、特に自動運転用の訓練データを生成することを含み、訓練データを生成することは、前記シーンを前記クラスタに関係付ける前記第２の関係（２２０）に応じて又は前記第１の関係（２１８）を前記第２の関係（２２０）にマッピングする前記ルールに応じて、前記シーンのラベルを生成することを含む、請求項１に記載の方法。

【請求項8】

前記方法は、前記シーンのデータ構造を生成することを含み、
前記データ構造は、前記第２の関係（２２０）の次元及び前記ルールの次元を含む、
請求項１に記載の方法。

【請求項9】

前記方法は、
特に技術システムのコントローラ（１１２）からの結合クエリに応答して（３１６）、前記クラスタを含むクラスタのセットについて決定されるルールに関して前記結合クエリの結果のためのセマンティック検索を実行すること（３１８）と、
前記結果に応じて前記コントローラ（１１２）によって前記技術システムを制御すること（３２０）と、
を含む、請求項１に記載の方法。

【請求項10】

説明可能なシーンクラスタリングのための装置（１００）であって、請求項１に記載の方法を実施するために、特に、少なくとも１つのプロセッサ（１０２）と、少なくとも１つの記憶装置（１０４）とを備えるように構成されていることを特徴とする装置（１００）。

【請求項11】

前記装置は、コントローラ（１１２）を備え、請求項９に記載の方法を実施するように構成されている、請求項１０に記載の装置（１００）。

【請求項12】

コンピュータ上において実行されるときに、請求項１に記載の方法におけるステップを前記コンピュータに実施させるためのコンピュータ可読命令を含むことを特徴とするコンピュータプログラム。

【外国語明細書】