特開 2025-3420 機械学習のための装置及びコンピュータ実装された方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025003420

(43)【公開日】2025-01-09

(54)【発明の名称】機械学習のための装置及びコンピュータ実装された方法

(51)【国際特許分類】

   G06V 10/82 20220101AFI20241226BHJP

   G06F 16/903 20190101ALI20241226BHJP

   G06T 7/00 20170101ALI20241226BHJP

   G06N 3/04 20230101ALI20241226BHJP

   G06N 20/00 20190101ALI20241226BHJP

【ＦＩ】

G06V10/82

G06F16/903

G06T7/00 350C

G06N3/04 100

G06N20/00

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024100674

(22)【出願日】2024-06-21

(31)【優先権主張番号】23181257

(32)【優先日】2023-06-23

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ネルソン イゲラ

(72)【発明者】

【氏名】ヨハネス エッチュ

(72)【発明者】

【氏名】トーマス アイター

【テーマコード（参考）】

5B175

5L096

【Ｆターム（参考）】

5B175DA10

5B175KA12

5L096CA25

5L096DA02

5L096HA11

5L096HA13

5L096KA04

(57)【要約】      （修正有）

【課題】機械学習のための装置及びコンピュータ実装された方法、装置及びプログラムを提供する。
【解決手段】機械学習のためアーキテクチャであって、第１のモデル４０８は、ノード間の辺を認識し、第１の入力４０４に依存して辺にノードを関連付ける式４１０を決定し、第２のモデル４１２は、第１の入力に依存して、名称及び名称とノードとの間の関連付けを認識し、第１の入力に依存して、ノードに名称を関連付ける式４１４を決定し、第３のモデル４１６は、第２の入力４０６内の名称を認識し、第２の入力に依存して名称を含む式４１８を決定し、モジュール４２０は、第１のモデル、第２のモデル４１２及び第３のモデル４１６が出力する式に依存して、応答４０２を決定する。装置は、例えば、アーキテクチャに従って構成される。
【選択図】図４

【特許請求の範囲】

【請求項1】

機械学習のためのコンピュータ実装された方法であって、
前記方法は、
入力（４０４）、特にデジタル画像又はグラフの記号的記述を提供するステップ（５０２）であって、前記入力（４０４）は、第１のノード、第１の名称、第２のノード及び第２の名称を含み、前記入力（４０４）は、前記第１のノードと前記第２のノードとの間の辺を含む、ステップ（５０２）と、
第１のモデル（４０８）を用いて、前記入力（４０４）に依存して、前記辺に前記第１のノード及び前記第２のノードを関連付ける式（４１０）を決定するステップ（５０６）であって、前記第１のモデル（４０８）は、前記辺が前記第１のノードと前記第２のノードとの間にあることを認識するように構成され、前記第１のモデル（４０８）は、前記入力（４０４）に依存して、前記辺に前記第１のノード及び前記第２のノードを関連付ける前記式（４１０）を決定するように構成される、ステップ（５０６）と、
第２のモデル（４１２）を用いて、前記入力（４０４）に依存して、前記第１のノードに前記第１の名称を関連付ける式（４１４）と、前記第２のノードに前記第２の名称を関連付ける式（４１４）とを決定するステップ（５０８）であって、前記第２のモデル（４１２）は、前記第１の名称を認識しかつ前記第１の名称が前記第１のノードに関連付けられていることを認識するように構成され、前記第２のモデル（４１２）は、前記第２の名称を認識しかつ前記第２の名称が前記第２のノードに関連付けられていることを認識するように構成され、前記第２のモデル（４１２）は、前記入力（４０４）に依存して、前記第１のノードに前記第１の名称を関連付ける前記式（４１４）と、前記第２のノードに前記第２の名称を関連付ける前記式（４１４）とを決定するように構成される、ステップ（５０８）と、
前記第１の名称と前記第２の名称とを含む質問（４０６）を提供するステップ（５０４）と、
第３のモデル（４１６）を用いて、前記質問（４０６）に依存して、前記第１の名称及び前記第２の名称を含む式（４１８）を決定するステップ（５１０）であって、前記第３のモデル（４１６）は、前記質問（４０６）において前記第１の名称及び前記第２の名称を認識し、前記質問（４０６）に依存して、前記第１の名称及び前記第２の名称を含む式（４１８）を決定するように構成される、ステップ（５１０）と、
前記式に依存して、前記質問（４０６）に対する応答（４０２）を決定するステップ（５１２）と、
を含む、ことを特徴とする方法。

【請求項2】

前記方法は、センサ（１１０）からの又はインタフェース（１０６）における入力（４０４）を受信するステップ（５０２）であって、前記入力（４０４）は、電気回路を表し、前記辺は、前記第１のノードによって表される第１の電気部品と、前記第２のノードによって表される第２の電気部品との間の電気的接続を表し、前記質問（４０６）は、前記電気回路の状態、前記第１の電気部品、前記第２の電気部品又は前記電気的接続の状態に関連し、前記応答は、前記状態を含む、ステップ（５０２）を含み、
前記方法は、前記状態を出力するステップ（５１４）、又は、前記状態に依存して前記電気回路を自動的に承認若しくは選別するステップ（５１４）を含む、請求項１に記載の方法。

【請求項3】

前記方法は、センサ（１１０）からの又はインタフェース（１０６）における入力（４０４）を受信するステップ（５０２）であって、前記入力（４０４）は、マップを表し、前記辺は、前記第１のノードによって表される第１のウェイポイントと、前記第２のノードによって表される第２のウェイポイントとの間の接続を表し、前記質問は、前記接続に関連し、又は、前記第１のウェイポイント、前記第２のウェイポイント、及び／又は、前記第１のウェイポイントと前記第２のウェイポイントとの間の接続を含むマップ内の接続に関連する、ステップ（５０２）を含み、
前記方法は、前記応答（４０２）に依存して、技術システムを運動させるための接続を選択し、前記接続を介して、前記技術システム（１１２）を運動させるステップ（５１４）を含む、請求項１に記載の方法。

【請求項4】

前記第１のモデル（４０８）は、前記デジタル画像のセマンティックセグメンテーションのために構成され、前記セマンティックセグメンテーションの結果に依存して、前記辺が前記第１のノードと前記第２のノードとの間にあることを認識するように構成されている、請求項１乃至３のいずれか一項に記載の方法。

【請求項5】

前記第１のモデル（４０８）は、前記第１のノードについての行と前記第２のノードについての列とを含み、前記行及び前記列にある前記行列の要素のエントリによって、前記第１のノードと前記第２のノードとの間の辺の存在を示す行列を決定するように構成され、
前記方法は、前記行列を決定し、かつ、前記行列に依存して、前記辺に前記第１のノード及び前記第２のノードを関連付ける式（４１０）を決定するステップ（５０６）を含む、請求項１乃至４のいずれか一項に記載の方法。

【請求項6】

前記第２のモデル（４１２）は、前記デジタル画像内の光学的文字認識のために構成され、前記光学的文字認識の結果に依存して、前記第１の名称及び前記第２の名称を決定するように構成される、請求項１乃至５のいずれか一項に記載の方法。

【請求項7】

前記第１のモデル（４０８）は、前記デジタル画像における前記第１のノードの位置、特に画素座標を決定するように構成され、前記第２のモデルは、前記デジタル画像における前記第１の名称の位置、特に画素座標を決定するように構成され、
前記方法は、前記位置を決定し、かつ、前記位置に依存して、前記第１のノードに前記第１の名称を関連付ける式を決定するステップ（５０６）を含む、請求項１乃至６のいずれか一項に記載の方法。

【請求項8】

前記第３のモデル（４１６）は、前記質問のためのテンプレートにおける第１の変数の位置に依存して前記質問における第１の名称を決定し、前記質問のためのテンプレートにおける第２の変数の位置に依存して前記質問における第２の名称を決定するように構成され、
前記方法は、前記テンプレートに依存して、前記第１の名称と前記第２の名称とを含む式を決定するステップ（５１０）を含む、請求項１乃至７のいずれか一項に記載の方法。

【請求項9】

前記方法は、前記式に依存して、応答セットプログラミング事実を決定し、かつ、前記応答セットプログラミング事実に依存して、前記応答を決定するステップ（５１２）を含む、請求項１乃至８のいずれか一項に記載の方法。

【請求項10】

機械学習のための装置（１００）であって、
前記装置（１００）は、
少なくとも１つのプロセッサ（１０２）と、
少なくとも１つのメモリ（１０４）と、
を備え、
前記少なくとも１つのプロセッサ（１０２）は、前記少なくとも１つのプロセッサ（１０２）によって実行されるときに、前記装置（１００）に、請求項１乃至８のいずれか一項に記載の方法を実施させるための命令を実行するように構成されており、
前記少なくとも１つのメモリ（１０４）は、前記命令を格納するように構成されている
ことを特徴とする装置（１００）。

【請求項11】

コンピュータプログラムであって、コンピュータによって実行されるときに、前記コンピュータに、請求項１乃至８のいずれか一項に記載の方法を実施させるためのコンピュータ実行可能命令を含む、ことを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習のための装置及びコンピュータ実装された方法に関する。

【背景技術】

【0002】

グラフに基づく構造の視覚的又は記号的表現は、情報を提示する一般的な形式であり、実生活でもインタネット上で広く使用されている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

発明の開示
機械学習のための装置及びコンピュータ実装された方法は、視覚的なグラフ質問応答を提供するものであり、ここで、入力は、自然言語の質問を伴うグラフのデジタル画像又は記号記述であり、タスクは、与えられた入力に対する質問に適正に応答することである。

【課題を解決するための手段】

【0004】

機械学習のためのコンピュータ実装された方法は、入力、特にデジタル画像又はグラフの記号的記述を提供するステップであって、入力は、第１のノード、第１の名称、第２のノード及び第２の名称を含み、入力は、第１のノードと第２のノードとの間の辺を含む、ステップと、第１のモデルを用いて、入力に依存して、辺に第１のノード及び第２のノードを関連付ける式を決定するステップであって、第１のモデルは、辺が第１のノードと第２のノードとの間にあることを認識するように構成され、第１のモデルは、入力に依存して、辺に第１のノード及び第２のノードを関連付ける式を決定するように構成される、ステップと、第２のモデルを用いて、入力に依存して、第１のノードに第１の名称を関連付ける式と、第２のノードに第２の名称を関連付ける式とを決定するステップであって、第２のモデルは、第１の名称を認識しかつ第１の名称が第１のノードに関連付けられていることを認識するように構成され、第２のモデルは、第２の名称を認識しかつ第２の名称が第２のノードに関連付けられていることを認識するように構成され、第２のモデルは、入力に依存して、第１のノードに第１の名称を関連付ける式と、第２のノードに第２の名称を関連付ける式とを決定するように構成される、ステップと、第１の名称と第２の名称とを含む質問を提供するステップと、第３のモデルを用いて、質問に依存して、第１の名称及び第２の名称を含む式を決定するステップであって、第３のモデルは、質問において第１の名称及び第２の名称を認識し、質問に依存して、第１の名称及び第２の名称を含む式を決定するように構成される、ステップと、式に依存して、質問に対する応答を決定するステップと、を含む。ノード及び辺は、グラフの一部を表す。グラフは、機械学習のためのコンピュータ実装された方法によって決定される。質問に対する応答は、グラフの内容に基づいて、機械学習のためのコンピュータ実装された方法によって決定される。

【0005】

一例によれば、本方法は、センサからの又はインタフェースにおける入力を受信するステップであって、入力は、電気回路を表し、辺は、第１のノードによって表される第１の電気部品と、第２のノードによって表される第２の電気部品との間の電気的接続を表し、質問は、電気回路の状態、第１の電気部品、第２の電気部品又は電気的接続の状態に関連し、応答は、状態を含む、ステップと、状態を出力するステップ、又は、状態に依存して電気回路を自動的に承認若しくは選別するステップと、を含む。機械学習のためのコンピュータ実装された方法は、電気的接続を製造するための検査の一部であるものとしてよい。

【0006】

一例によれば、本方法は、センサからの又はインタフェースにおける入力を受信するステップであって、入力は、マップを表し、辺は、第１のノードによって表される第１のウェイポイントと、第２のノードによって表される第２のウェイポイントとの間の接続を表し、質問は、接続に関連し、又は、第１のウェイポイント、第２のウェイポイント、及び／又は、第１のウェイポイントと第２のウェイポイントとの間の接続を含むマップ内の接続に関連する、ステップと、応答に依存して、技術システムを運動させるための接続を選択し、接続を介して、技術システムを運動させるステップと、を含む。マップは、メトロマップであるものとしてもよいし、施設のマップであるものとしてもよい。技術システムは、例えばロボット、特に車両や製造機械などの物理的システムであるものとしてよい。機械学習のためのコンピュータ実装された方法は、技術システムをマップ内の１つのウェイポイントから別のウェイポイントに自動的に運動させる、又は、部品をマップ内の１つのウェイポイントから別のウェイポイントに自動的に運動させるステップを支援することができる。

【0007】

一例によれば、第１のモデルは、デジタル画像のセマンティックセグメンテーションのために構成され、セマンティックセグメンテーションの結果に依存して、辺が第１のノードと第２のノードとの間にあることを認識するように構成される。セマンティックセグメンテーションは、デジタル画像の画素に、例えばノード、辺、その他のクラスを割り当てる。グラフの部分は、デジタル画像の画素座標及びクラスからコンピュータ実装された方法によって決定されるものとしてよい。

【0008】

一例によれば、第１のモデルは、第１のノードについての行と第２のノードについての列とを含み、行及び列にある行列の要素のエントリによって、第１のノードと第２のノードとの間の辺の存在を示す行列を決定するように構成され、ここで、本方法は、行列を決定し、行列に依存して、辺に第１のノード及び第２のノードを関連付ける式を決定するステップを含む。行列内のエントリは、特に、デジタル画像の画素座標及びクラスから、コンピュータ実装された方法によって決定される。

【0009】

一例によれば、第２のモデルは、デジタル画像内の光学的文字認識のために構成され、光学的文字認識の結果に依存して、第１の名称及び第２の名称を決定するように構成される。第１の名称及び第２の名称は、デジタル画像からコンピュータ実装された方法によって決定される。

【0010】

一例によれば、第１のモデルは、デジタル画像における第１のノードの位置、特に画素座標を決定するように構成され、第２のモデルは、デジタル画像における第１の名称の位置、特に画素座標を決定するように構成され、ここで、本方法は、位置を決定するステップと、位置に依存して、第１のノードに第１の名称を関連付ける式を決定するステップとを含む。

【0011】

一例によれば、第３のモデルは、質問のためのテンプレートにおける第１の変数の位置に依存して、質問における第１の名称を決定し、質問のためのテンプレートにおける第２の変数の位置に依存して、質問における第２の名称を決定するように構成され、ここで、本方法は、テンプレートに依存して、第１の名称と第２の名称とを含む式を決定するステップを含む。質問は、変数が名称に置き換えられたテンプレートのインスタンスである。

【0012】

一例によれば、本方法は、式に依存して、応答セットプログラミング事実を決定し、応答セットプログラミング事実に依存して、応答を決定するステップを含む。式は、組合せ問題を提示する。コンピュータ実装された方法は、質問について推論し、組合せ問題を解決する応答を決定するために、応答セットプログラミングを使用することができる。

【0013】

機械学習のための装置は、少なくとも１つのプロセッサと、少なくとも１つのメモリと、を備え、少なくとも１つのプロセッサは、少なくとも１つのプロセッサによって実行されるときに、本装置に、本方法を実施させるための命令を実行するように構成されており、少なくとも１つのメモリは、命令を格納するように構成されている。

【0014】

コンピュータによって実行されるときに、コンピュータに、本方法を実施させるためのコンピュータ実行可能命令を含むコンピュータプログラムは、本方法が提供する利点を有する。

【0015】

さらなる実施形態は、以下の説明及び図面から導かれる。

【図面の簡単な説明】

【0016】

【図1】機械学習のための装置を示す概略図である。

【図2】例示的な入力を示す図である。

【図3】例示的な質問の機能的表現を示す図である。

【図4】機械学習のためのアーキテクチャを示す図である。

【図5】機械学習のためのコンピュータ実装された方法のステップを有するフローチャートである。

【発明を実施するための形態】

【0017】

図１は、機械学習のための装置１００を概略的に示している。この装置１００は、少なくとも１つのプロセッサ１０２と、少なくとも１つのメモリ１０４と、を備える。

【0018】

装置１００は、インタフェース１０６を含み得る。このインタフェース１０６は、入力１０８を受信するように構成されるものとしてよい。この入力１０８は、デジタル画像であるものとしてもよいし、又は、グラフの記号的記述であるものとしてもよい。

【0019】

装置１００は、質問に応答するように構成されている。この質問は、自然言語の質問であるものとしてよい。

【0020】

インタフェース１０６は、センサ１１０から入力１０８を受信するように構成されるものとしてよい。このセンサ１１０は、入力１０８を捕捉するように構成されるものとしてよい。センサ１１０は、カメラであるものとしてよい。

【0021】

装置１００は、技術システム１１２を動作させるように構成されるものとしてよい。この技術システム１１２は、ロボット、特に車両又は製造機械であるものとしてよい。装置１００は、技術システム１１２を動作させるために出力１１４を出力するように構成されるものとしてよい。インタフェース１０６は、出力１１４を出力するように構成されるものとしてもよい。

【0022】

入力１０８は、電気回路を表し得る。

【0023】

グラフは、電気回路を表し得る。このグラフは、電気部品を表すノードを含み得る。グラフは、電気部品間の電気的接続を表す辺を含み得る。グラフの辺は、グラフの第１のノードによって表される電気部品と、グラフの第２のノードによって表される第２の電気部品との間の電気的接続を表し得る。

【0024】

質問は、電気回路の状態に関し得る。質問は、第１の電気部品の状態に関し得る。質問は、第２の電気部品の状態に関し得る。質問は、電気的接続の状態に関し得る。

【0025】

応答は、状態を含み得る。

【0026】

装置１００は、状態を出力するように構成されるものとしてよい。出力１１４は、状態を含み得る。

【0027】

装置１００又は技術システム１１４は、状態に依存して電気回路を自動的に承認又は選別するように構成されるものとしてよい。装置１００は、状態が電気回路、電気的接続又は電気部品の不具合を示す場合に、電気回路を選別するように製造機械を動作させるように構成されるものとしてよい。装置１００は、状態が、電気回路、電気的接続及び／又は電気部品が承認されたことを示す場合に、電気回路を承認するように製造機械を動作させるように構成されるものとしてよい。

【0028】

入力１０８は、マップを表し得る。

【0029】

グラフは、マップを表し得る。グラフは、ウェイポイントを表すノードを含み得る。グラフは、ウェイポイント間の接続を表す辺を含み得る。グラフの辺は、グラフの第１のノードによって表される第１のウェイポイントと、グラフの第２のノードによって表される第２のウェイポイントとの間の接続を表し得る。

【0030】

質問は、接続に関し得る。質問は、マップ内の他の接続に関し得る。他の接続は、第１のウェイポイントを含み得る。他の接続は、第２のウェイポイントを含み得る。他の接続は、第１のウェイポイントと第２のウェイポイントとの間の接続を含み得る。

【0031】

装置１００は、応答に依存して、技術システム１１２を運動させるための接続を選択し、接続を介して技術システム１１２を運動させるように構成されるものとしてよい。出力１１４は、接続を介して技術システム１１２を運動させる結果を生じさせる、選択された接続又は命令を含み得る。

【0032】

図２は、例示的な入力１０８を示している。この例示的な入力は、デジタル画像２００を含む。

【0033】

デジタル画像２００は、文字Ｎ１の隣に第１の要素２０２を、文字Ｎ２の隣に第２の要素２０４を、文字Ｎ３の隣に第３の要素２０６を、文字Ｎ４の隣に第４の要素２０８を、文字Ｎ５の隣に第５の要素２１０を示している。デジタル画像２００は、より多くの要素又はより少ない要素を示し得る。これらの要素は、より多くの文字又はより少ない文字の隣に示されるものとしてもよい。

【0034】

デジタル画像２００は、第１の要素２０２と第２の要素２０４との間に第１の接続２１２を示している。デジタル画像２００は、第２の要素２０４と第３の要素２０６との間に第２の接続２１４を示している。デジタル画像２００は、第３の要素２０６と第４の要素２０８との間に第３の接続２１６を示している。デジタル画像２００は、第４の要素２０８と第５の要素２１０との間に第４の接続２１８を示している。

【0035】

デジタル画像２００は、異なるタイプの接続及び要素を含み得る。

【0036】

この例によれば、デジタル画像２００は、２つの異なるタイプの接続と３つの異なるタイプの要素とを含む。第１の要素群は、第１の要素２０２、第２の要素２０４、及び、第３の要素２０６を含む。第２の要素群は、第３の要素２０６、第４の要素２０８、及び、第５の要素２１０を含む。この例によれば、第１の要素２０２及び第２の要素２０４は、第１のタイプであり、第４の要素及び第５の要素２１０は、第２のタイプであり、第３の要素２０６は、第３のタイプである。

【0037】

異なるグループは、異なるタイプの接続を含み得る。この例によれば、第１の接続２１２及び第２の接続２１４は、第１のタイプの接続部である。この例によれば、第３の接続２１６及び第４の接続部２１８は、第２のタイプの接続である。

【0038】

この例によれば、第１のタイプの２つの要素間の接続は、第１のタイプである。この例によれば、第２のタイプの２つの要素間の接続は第２のタイプである。この例によれば、第１のタイプの要素と第３のタイプの要素との間の接続は第１のタイプである。この例によれば、第２のタイプの要素と第３のタイプの要素との間の接続は第２のタイプである。

【0039】

グラフは、要素を表すノードと、接続を表す辺とを含み得る。この例によれば、グラフは、第１の要素２０２を表す第１のノードと、第２の要素２０４を表す第２のノードと、第３の要素２０６を表す第３のノードと、第４の要素２０８を表す第４のノードと、第５の要素２１０を表す第５のノードとを含む。この例によれば、グラフは、第１の接続２１２を表す第１の辺と、第２の接続２１４を表す第２の辺と、第３の接続２１６を表す第３の辺と、第４の接続２１８を表す第４の辺とを含む。

【0040】

これらの要素は、ウェイポイントであるものとしてよい。これらの要素は、電気部品であるものとしてよい。

【0041】

図３は、「Ｎ１とＮ５との間にいくつの要素があるか」という例示的な質問の関数表現を示している。この関数表現においては、Ｓｕｂｔｒａｃｔ（）は、関数Ｓｕｂｔｒａｃｔ（）への入力間の差分を決定するための関数であり、Ｃｏｕｎｔ（）は、関数Ｃｏｕｎｔ（）への入力間の要素数を決定する関数であり、Ｉｎｔ（２）は、値２を提供する関数であり、Ｅｌｅｍｅｎｔ（Ｎ１）は、値Ｎ１を出力する関数であり、Ｅｌｅｍｅｎｔ（Ｎ１）は、値Ｎ２を出力する関数である。

【0042】

Ｎ１及びＮ５は、デジタル画像２００内の要素の名称である。

【0043】

例示的な質問は、以下のようにテンプレートに基づいている。

【0044】

「［Ｅｌｅｍｅｎｔ１］と［Ｅｌｅｍｅｎｔ２］との間にいくつの要素があるか」

【0045】

このテンプレートは、第１の変数［Ｅｌｅｍｅｎｔ１］と第２の変数［Ｅｌｅｍｅｎｔ２］とを含む。第１の変数は、質問における第１の名称のためのプレースホルダである。第２の変数は、質問における第２の名称のためのプレースホルダである。質問において名称が出現する順序は、関数表現における変数の挿入順序に対応し得る。

【0046】

関数表現は、上述したような関数Ｓｕｂｔｒａｃｔ（）、Ｃｏｕｎｔ（）、Ｉｎｔ（）、ＳｈｏｒｔｅｓｔＰａｔｈ（）、関数Ｅｌｅｍｅｎｔ（Ｅｌｅｍｅｎｔ１）の第１の出現における名称Ｎ１に代わる第１の変数名Ｅｌｅｍｅｎｔ１、及び、関数Ｅｌｅｍｅｎｔ（Ｅｌｅｍｅｎｔ２）の第２の出現における名称Ｎ５に代わる第２の変数名Ｅｌｅｍｅｎｔ２を含むテンプレートに基づくものとしてよい。

【0047】

図４は、機械学習のためのアーキテクチャ４００を示している。このアーキテクチャ４００は、第１の入力４０４、例えばデジタル画像又はグラフの記号的記述、及び、第２の入力４０６、例えば質問に依存して、応答４０２を決定するように構成されている。応答４０２は、例えば、応答セットである。

【0048】

アーキテクチャ４００は、第１のモデル４０８を含む。第１のモデル４０８は、ノード間の辺を認識し、第１の入力４０４に依存して辺にノードを関連付ける式４１０を決定するように構成されている。

【0049】

アーキテクチャ４００は、第２のモデル４１２を含む。第２のモデル４１２は、第１の入力４０４に依存して、名称、及び、名称とノードとの間の関連付けを認識するように構成されている。

【0050】

第２のモデル４１２は、第１の入力４０４に依存して、ノードに名称を関連付ける式４１４を決定するように構成されている。

【0051】

アーキテクチャ４００は、第３のモデル４１６を含む。第３のモデル４１６は、第２の入力４０６内の名称を認識し、第２の入力４０６に依存して名称を含む式４１８を決定するように構成されている。

【0052】

アーキテクチャ４００は、モジュール４２０を含む。このモジュール４２０は、第１のモデル４０８、第２のモデル４１２及び第３のモデル４１６が出力する式に依存して、応答４０２を決定するように構成されている。

【0053】

装置１００は、例えば、アーキテクチャ４００に従って構成されている。

【0054】

図５は、機械学習のためのコンピュータ実装された方法のステップを伴うフローチャートを示している。本方法は、アーキテクチャ４００を参照して説明される。

【0055】

本方法は、ステップ５０２を含む。

【0056】

ステップ５０２においては、入力４０４が提供される。

【0057】

本方法は、センサ１１０からの又はインタフェース１０６における入力４０４を受信するステップを含み得る。

【0058】

この例における入力４０４は、グラフのデジタル画像である。入力４０４は、グラフの記号的記述であるものとしてよい。

【0059】

入力４０４は、第１のノード、第１の名称、第２のノード、及び、第２の名称を含む。

【0060】

入力４０４は、より多くのノードと名称とを含み得る。入力４０４についての例は、デジタル画像２００である。

【0061】

入力４０４は、第１のノードと第２のノードとの間の辺を含む。入力４０４は、第１の名称及び第２の名称を含む。

【0062】

辺についての例は、第１の要素２０２と第２の要素２０４との間の接続２１２である。第１のノードについての例は、第１の要素２０２である。第２のノードについての例は、第２の要素２０４である。第１の名称についての例は、Ｎ１である。第２の名称についての例は、Ｎ２である。

【0063】

本方法は、ステップ５０４を含む。

【0064】

ステップ５０４においては、第１の名称と第２の名称とを含む質問４０６が提供される。

【0065】

本方法は、ステップ５０６を含む。

【0066】

ステップ５０６においては、辺に第１のノード及び第２のノードを関連付ける式４１０が、入力４０４に依存して第１のモデル４０８を用いて決定される。

【0067】

第１のモデル４０８は、第１の入力４０４、特にデジタル画像のセマンティックセグメンテーションのために構成され、セマンティックセグメンテーションの結果に依存して、辺が第１のノードと第２のノードとの間にあることを認識するように構成されるものとしてよい。

【0068】

第１のモデル４０８は、第１のノードについての行と第２のノードについての列とを含みかつ行及び列にある行列の要素のエントリによって、第１のノードと第２のノードとの間の辺の存在を示す行列を決定するように構成されるものとしてよい。

【0069】

本方法は、行列を決定し、行列に依存して、辺に第１のノード及び第２のノードを関連付ける式４１０を決定するステップを含み得る。

【0070】

第１のモデル４０８は、入力４０４、例えばデジタル画像における第１のノードの位置、特に画素座標を決定するように構成されるものとしてよい。

【0071】

第１のモデル４０８は、入力４０４、例えばデジタル画像における第２のノードの位置、特に画素座標を決定するように構成されるものとしてよい。

【0072】

第１のモデル４０８は、入力４０４を式４１０及び／又は位置に写像するように構成された、例えば人工ニューラルネットワークを含む。

【0073】

本方法は、ステップ５０８を含む。

【0074】

ステップ５０８においては、第２のモデル４１２を用いて、入力４０４に依存して、第１のノードに第１の名称を関連付ける式４１４と、第２のノードに第２の名称を関連付ける式４１４とが決定される。

【0075】

第２のモデル４１２は、デジタル画像内の光学的文字認識のために構成され、光学的文字認識の結果に依存して、第１の名称及び第２の名称を決定するように構成されるものとしてよい。

【0076】

本方法は、光学式文字認識を用いて第１の名称及び第２の名称を決定するステップを含み得る。

【0077】

本方法は、入力４０４におけるそれぞれの位置に依存して、第１のノードに第１の名称を関連付け、第２のノードに第２の名称を関連付ける式４１４を決定するステップを含み得る。

【0078】

第２のモデル４１２は、入力４０４、例えばデジタル画像における第１の名称の位置、特に画素座標を決定するように構成されるものとしてよい。

【0079】

ステップ５０８は、位置を決定するステップと、位置に依存して、第１のノードに第１の名称を関連付ける式を決定するステップとを含み得る。

【0080】

本方法は、ステップ５１０を含む。

【0081】

ステップ５１０は、質問４０６に依存して、第３のモデル４１６と共に第１の名称及び第２の名称を含む式４１８を決定するステップを含む。

【0082】

第３のモデル４１６は、質問４０６のためのテンプレートにおける第１の変数の位置に依存して、質問４０６における第１の名称を決定するように構成されるものとしてよい。

【0083】

第３のモデル４１６は、質問４０６のためのテンプレートにおける第２の変数の位置に依存して、質問４０６における第２の名称を決定するように構成されるものとしてよい。

【0084】

ステップ５１０は、テンプレートに依存して、第１の名称及び第２の名称を含む式４１８を決定するステップを含み得る。

【0085】

本方法は、ステップ５１２を含む。

【0086】

ステップ５１２は、第１のモデル４０８が入力４０４に対して出力する式４１０、第２のモデル４１２が入力４０４に対して出力する式４１４、及び、第３のモデル４１６が質問４０６に対して出力する式４１８に依存して、質問４０６に対する応答４０２を決定するステップを含む。

【0087】

ステップ５１２は、第１のモデル４０８、第２のモデル４１２及び第３のモデル４１６が提供する式に依存して、応答セットプログラミング事実を決定するステップと、応答セットプログラミング事実に依存して、応答４０２を決定するステップと、を含み得る。

【0088】

本方法は、ステップ５１４を含み得る。

【0089】

入力４０４は、電気回路を表し得る。辺は、第１のノードによって表される第１の電気部品と、第２のノードによって表される第２の電気部品との間の電気的接続を表し得る。

【0090】

質問４０６は、電気回路の状態、第１の電気部品、第２の電気部品又は電気的接続の状態に関連し得る。

【0091】

応答４０２は、状態を含み得る。

【0092】

ステップ５１４は、特に技術システム１１２を用いて、状態を出力するステップ、又は、状態に依存して電気回路を自動的に承認若しくは選別するステップを含み得る。これは、技術システム１１２が、状態に依存して電気回路を承認又は選別するために、出力１１４に従って動作する場合があることを意味する。この出力１１４は、状態に依存して技術システム１１２を動作させるために、状態、又は、状態に依存して決定された信号であるものとしてよい。

【0093】

入力４０４は、マップを表し得る。辺は、第１のノードによって表される第１のウェイポイントと、第２のノードによって表される第２のウェイポイントとの間の接続を表し得る。質問は、接続に関し、又は、第１のウェイポイント、第２のウェイポイント、及び／又は、第１のウェイポイントと第２のウェイポイントとの間の接続を含むマップ内の接続に関し得る。

【0094】

ステップ５１４は、応答４０２に依存して、技術システムを運動させるための接続を選択するステップと、接続を介して技術システム１１２を運動させるステップとを含み得る。技術システム１１２は、出力１１４により操作されるものとしてよい。出力１１４は、応答４０２に依存して、例えば、第１のウェイポイントから第２のウェイポイントに運動するための軌道又は直接的操舵入力を技術システム１１２に提供するように決定されるものとしてよい。

【0095】

本方法は、隣接ノードに限定されるものではない。本方法は、グラフ内の経路によって接続されているノードにも同様に適用される。本方法は、２つのノードに限定されるものではない。本方法は、３つ以上のノードを含む経路にも同様に適用される。

【0096】

本方法が解決するタスクは、例えば、自然言語の質問に応答することである。自然言語の質問においては、特定の特性を有するステーションを回避しながら、メトロマップ内の２つのステーション間の最短経路を求めることができる。

【0097】

自然言語の質問に対して、本方法は、メトロマップを表すデジタル画像において発見可能である情報を用いて応答可能であるそれらの自然言語の質問のみを考慮することができる。本方法は、デジタル画像又は自然言語の質問からの他のすべての記号情報を無視することができる。本方法は、グラフを解析してノード及び辺を識別し、ステーションにラベル付けする名称を読み取って理解し、それらをグラフのノードに関連付け、自然言語の質問を理解し、当該自然言語の質問に応答するためにデジタル画像から抽出された情報を推論する。

【0098】

第１のモデル４０８は、例えば、Ｃ．Ａｕｅｒ，Ｃ．Ｂａｃｈｍａｉｅｒ，Ｆ．Ｊ．Ｂｒａｎｄｅｎｂｕｒｇ，Ａ．Ｇｌｅｉｓｓｎｅｒ，Ｊ．Ｒｅｉｓｌｈｕｂｅｒらによる文献「Optical graph recognition, in： Graph Drawing, Springer Berlin Heidelberg, Berlin, Heidelberg, 2013, pp.529-540」に記載されているように、光学的グラフ認識のために構成されるものとしてよい。

【0099】

第２のモデル４１２は、Ａ．Ｍ．Ｓａｂｕ，Ａ．Ｓ．Ｄａｓらによる文献「A survey on various optical character recognition techniques, in： 2018 Conference on Emerging Devices and Smart Systems (ICEDSS), 2018, pp.152-155.」に記載されているように、光学的文字認識のために構成されるものとしてよい。

【0100】

第３のモデル４１６は、例えば、Ｄ．Ｍａｃｋ，Ａ．Ｊｅｆｆｅｒｓｏｎらによる文献「CLEVR graph: A dataset for graph question answering, 2018. URL: https://github.com/Octavian-ai/clevr-graph.」に記載されているように、ＣＬＥＧＲテンプレートを用いて自然言語の質問を表現する機能プログラムを決定するために構成されるものとしてよい。

【0101】

本方法は、例えば、Ｇ．Ｂｒｅｗｋａ，Ｔ．Ｅｉｔｅｒ，Ｍ．Ｔｒｕｓｚｃｚｙｎｓｋｉらによる文献「Answer set programming at a glance, Commun. ACM 54 (2011) 92-103」に記載されているように、アンサーセットプログラミングを使用することができる。

【0102】

モジュール４２０は、アンサーセットプログラミングソルバを含み得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】