特表 2024-541065 オブジェクト認識

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-06

(54)【発明の名称】オブジェクト認識

(51)【国際特許分類】

   G06V 10/82 20220101AFI20241029BHJP

   G06T 7/00 20170101ALI20241029BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024526811

(86)(22)【出願日】2022-11-04

(85)【翻訳文提出日】2024-07-04

(86)【国際出願番号】 AU2022051322

(87)【国際公開番号】W WO2023077193

(87)【国際公開日】2023-05-11

(31)【優先権主張番号】2021903529

(32)【優先日】2021-11-04

(33)【優先権主張国・地域又は機関】AU

(81)【指定国・地域】

(71)【出願人】

【識別番号】590003283

【氏名又は名称】コモンウェルス サイエンティフィック アンド インダストリアル リサーチ オーガナイゼーション

(74)【代理人】

【識別番号】100169904

【弁理士】

【氏名又は名称】村井 康司

(74)【代理人】

【識別番号】100216150

【弁理士】

【氏名又は名称】香山 良樹

(72)【発明者】

【氏名】フィリップ ヴァレンシア

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096AA09

5L096BA05

5L096CA02

5L096DA02

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

本発明は環境内のオブジェクトを認識するためのオブジェクト認識システムを提供し、このシステムは、タグであって、各タグは個々のオブジェクトに関連付けられ、個々のオブジェクトと形状符号化層との間の関係を示す計算モデルであるオブジェクトモデルを記憶するためのタグメモリを含む、タグと、環境を感知するための感知装置、感知装置を使用して捕捉されたセンサデータと形状符号化層との間の関係を示す計算モデルである感知装置モデルを記憶するための感知システムメモリ、トランシーバからオブジェクトモデルを受信し、感知システムメモリから感知装置モデルを検索し、感知装置から環境を示すセンサデータを取得し、感知装置モデル及びオブジェクトモデルを使用してセンサデータを分析し、それによって環境内のオブジェクトを認識するための感知システム処理装置を含む、感知システムと、を備える。

【特許請求の範囲】

【請求項1】

環境内の１つ又は複数のオブジェクトを認識するためのオブジェクト認識システムであって、
ａ）１つ又は複数のタグであって、各タグは使用中の個々のオブジェクトに関連付けられ、各タグは、
ｉ）オブジェクトモデルを記憶するように構成されるタグメモリであって、前記オブジェクトモデルは前記個々のオブジェクトと形状符号化層との間の関係を示す計算モデルである、タグメモリ、
ｉｉ）タグトランシーバ、及び、
ｉｉｉ）前記タグトランシーバに前記オブジェクトモデルを伝送させるように構成されるタグ処理装置、
を含む、１つ又は複数のタグと、
ｂ）感知システムであって、
ｉ）前記環境を感知するように構成される感知装置、
ｉｉ）感知装置モデルを記憶するように構成される感知システムメモリであって、前記感知装置モデルは前記感知装置を使用して捕捉されたセンサデータと前記形状符号化層との間の関係を示す計算モデルである、感知システムメモリ、
ｉｉｉ）感知システムトランシーバ、
ｉｖ）１つ又は複数の感知システム処理装置であって、
（１）前記トランシーバから１つ又は複数のオブジェクトモデルを受信し、
（２）前記感知システムメモリから前記感知装置モデルを検索し、
（３）前記感知装置から前記環境を示すセンサデータを取得し、
（４）前記感知装置モデル及び前記１つ又は複数のオブジェクトモデルを使用して前記センサデータを分析し、それによって前記環境内の前記１つ又は複数のオブジェクトを認識するように構成される、１つ又は複数の感知システム処理装置、
を含む、感知システムと、
を備える、
オブジェクト認識システム。

【請求項2】

前記環境が複数のオブジェクトを含み、
各オブジェクトが個々のタグに関連付けられ、
前記１つ又は複数の処理装置が前記複数のオブジェクトの異なるものを認識するように構成される、
請求項１に記載のシステム。

【請求項3】

各オブジェクトモデルが、
ａ）特定のオブジェクトに固有のモデル、及び、
ｂ）特定のオブジェクトの種類に固有のモデル、
の何れかである、
請求項１又は２に記載のシステム。

【請求項4】

前記１つ又は複数の処理装置が、
ａ）形状符号化パラメータを生成するために前記センサデータ及び前記感知装置モデルを使用し、
ｂ）オブジェクトを認識するために前記形状符号化パラメータ及び前記オブジェクトモデルを使用する、
ように構成される、
請求項１乃至３の何れか一項に記載のシステム。

【請求項5】

前記タグ処理装置が、
ａ）周期的に、及び、
ｂ）前記タグトランシーバによって受信されるモデル要求メッセージに応答して、
のうちの少なくとも１つで前記タグトランシーバに前記オブジェクトモデルを伝送させるように構成される、
請求項１乃至４の何れか一項に記載のシステム。

【請求項6】

前記感知装置モデルが、
ａ）特定の感知装置に固有のモデル、及び、
ｂ）特定の感知装置の種類に固有のモデル、
の何れかである、
請求項１乃至５の何れか一項に記載のシステム。

【請求項7】

前記感知装置が、
ａ）撮像装置、
ｂ）ライダー、
ｃ）レーダー、及び、
ｄ）音響マッピング装置、
のうちの少なくとも１つを含む、
請求項１乃至６の何れか一項に記載のシステム。

【請求項8】

前記オブジェクトモデルが、
ａ）敵対的生成ニューラルネットワーク、
ｂ）ニューラルネットワーク、及び、
ｃ）再帰的ニューラルネットワーク、
のうちの少なくとも１つである、
請求項１乃至７の何れか一項に記載のシステム。

【請求項9】

前記感知装置モデルが、
ａ）敵対的生成ニューラルネットワーク、
ｂ）ニューラルネットワーク、及び、
ｃ）再帰的ニューラルネットワーク、
のうちの少なくとも１つである、
請求項１乃至８の何れか一項に記載のシステム。

【請求項10】

環境内の１つ又は複数のオブジェクトを認識するためのオブジェクト認識方法であって、前記方法は
ａ）１つ又は複数のタグであって、各タグは使用中の個々のオブジェクトに関連付けられ、各タグは、
ｉ）オブジェクトモデルを記憶するように構成されるタグメモリであって、前記オブジェクトモデルは前記個々のオブジェクトと形状符号化層との間の関係を示す計算モデルである、タグメモリ、
ｉｉ）タグトランシーバ、及び、
ｉｉｉ）前記タグトランシーバに前記オブジェクトモデルを伝送させるように構成されるタグ処理装置、
を含む、１つ又は複数のタグと、
ｂ）感知システムであって、
ｉ）前記環境を感知するように構成される感知装置、
ｉｉ）感知装置モデルを記憶するように構成される感知システムメモリであって、前記感知装置モデルは前記感知装置を使用して捕捉されたセンサデータと前記形状符号化層との間の関係を示す計算モデルである、感知システムメモリ、
ｉｉｉ）感知システムトランシーバ、
ｉｖ）１つ又は複数の処理装置であって、
（１）前記トランシーバから１つ又は複数のオブジェクトモデルを受信し、
（２）前記感知システムメモリから前記感知装置モデルを検索し、
（３）前記感知装置から前記環境を示すセンサデータを取得し、
（４）前記感知装置モデル及び前記１つ又は複数のオブジェクトモデルを使用して前記センサデータを分析し、それによって前記環境内の前記１つ又は複数のオブジェクトを認識するように構成される、１つ又は複数の処理装置、
を含む、感知システムと、
を備える、
オブジェクト認識方法。

【請求項11】

環境内の個々のオブジェクトを認識する際に使用するためのモデルを生成するためのシステムであって、
ａ）感知装置から前記環境内の前記個々のオブジェクトを示すセンサデータを取得し、
ｂ）前記センサデータを使用して、
ｉ）前記個々のオブジェクトと形状符号化層との間の関係を示すオブジェクトモデルを生成し、
ｉｉ）前記感知装置を使用して捕捉されたセンサデータと前記形状符号化層との間の関係を示す感知装置モデルを生成する、
ように構成される１つ又は複数の処理装置、
を備える、
システム。

【請求項12】

前記１つ又は複数の処理装置が、
ａ）複数の異なる感知装置から前記環境内の前記個々のオブジェクトを示すセンサデータを取得し、
ｂ）前記センサデータを使用して、
ｉ）前記オブジェクトモデルを生成すること、及び、
ｉｉ）複数の感知装置モデルを生成すること、
のうちの少なくとも１つを行う、
ように構成される、
請求項１１に記載のシステム。

【請求項13】

前記１つ又は複数の処理装置が、
ａ）前記環境内の複数の異なるオブジェクトを示すセンサデータを取得し、
ｂ）前記センサデータを使用して、
ｉ）異なるオブジェクトごとの個々のオブジェクトモデルを含む複数のオブジェクトモデルを生成すること、及び、
ｉｉ）感知装置モデルを生成すること、
のうちの少なくとも１つを行う、
ように構成される、
請求項１１又は１２に記載のシステム。

【請求項14】

各オブジェクトモデルが、
ａ）特定のオブジェクトに固有のモデル、及び、
ｂ）特定のオブジェクトの種類に固有のモデル、
の何れかである、
請求項１１乃至１３の何れか一項に記載のシステム。

【請求項15】

前記感知装置モデルが、
ａ）特定の感知装置に固有のモデル、及び、
ｂ）特定の感知装置の種類に固有のモデル、
の何れかである、
請求項１１乃至１４の何れか一項に記載のシステム。

【請求項16】

前記オブジェクトモデルが、
ａ）敵対的生成ニューラルネットワーク、
ｂ）ニューラルネットワーク、及び、
ｃ）再帰的ニューラルネットワーク、
のうちの少なくとも１つである、
請求項１１乃至１５の何れか一項に記載のシステム。

【請求項17】

前記感知装置モデルが、
ａ）敵対的生成ニューラルネットワーク、
ｂ）ニューラルネットワーク、及び、
ｃ）再帰的ニューラルネットワーク、
のうちの少なくとも１つである、
請求項１１乃至１６の何れか一項に記載のシステム。

【請求項18】

環境内の個々のオブジェクトを認識する際に使用するためのモデルを生成するためのシステムであって、
ａ）感知装置から前記環境内の前記個々のオブジェクトを示すセンサデータを取得し、
ｂ）前記センサデータを使用して、
ｉ）前記個々のオブジェクトと形状符号化層との間の関係を示すオブジェクトモデルを生成し、
ｉｉ）前記感知装置を使用して捕捉されたセンサデータと前記形状符号化層との間の関係を示す感知装置モデルを生成する、
ように構成される１つ又は複数の処理装置、
を備える、
システム。

【請求項19】

環境内の個々のオブジェクトを認識する際に使用するためのモデルを生成するための方法であって、１つ又は複数の処理装置において、
ａ）感知装置から前記環境内の前記個々のオブジェクトを示すセンサデータを取得することと、
ｂ）前記センサデータを使用して、
ｉ）前記個々のオブジェクトと形状符号化層との間の関係を示すオブジェクトモデルを生成し、
ｉｉ）前記感知装置を使用して捕捉されたセンサデータと前記形状符号化層との間の関係を示す感知装置モデルを生成することと、
を備える、
方法。

【請求項20】

環境内の個々のオブジェクトを認識する際に使用するためのモデルを生成するためのコンピュータプログラム製品であって、１つ又は複数の適切にプログラムされた処理装置によって実行されるとき、
ａ）感知装置から前記環境内の前記個々のオブジェクトを示すセンサデータを取得すること、及び、
ｂ）前記センサデータを使用して、
ｉ）前記個々のオブジェクトと形状符号化層との間の関係を示すオブジェクトモデルを生成し、
ｉｉ）前記感知装置を使用して捕捉されたセンサデータと前記形状符号化層との間の関係を示す感知装置モデルを生成すること、
を前記１つ又は複数の処理装置に行わせるコンピュータ実行可能コード、
を備える、
コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オブジェクトを認識するためのシステム及び方法に関し、或る特定の例では、機械学習モデルを使用してオブジェクトを認識するためのシステム及び方法に関する。

【背景技術】

【0002】

過去の任意の刊行物（又はそこから導出される情報）又は既知の任意の事柄に本明細書で言及することは、本明細書が関係する努力傾注分野における共通の一般知識の一部を過去の刊行物（又はそこから導出される情報）又は既知の事柄が形成するという承認又は容認又は如何なる形の示唆でもなく、そのように解釈すべきではない。

【0003】

オブジェクトを認識するために機械学習を使用するプロセスは知られている。従来の手法は２つの広範なカテゴリ、つまり個々のオブジェクトを認識するための特定のモデルを生成すること、及び複数の異なるオブジェクトを認識するための一般化モデルを生成することの１つに分類される。特定の個々のオブジェクトを認識するためのモデルはロバストで性能は良いが、一般性の欠如に悩まされる傾向があるのに対し、一般化モデルは複数のオブジェクトを認識可能だが性能は低い傾向がある。加えて、使用されるモデルの種類に関係なく、これらはモデルを訓練するために使用される感知モダリティに固有である傾向があり、異なる感知モダリティを使用して同じオブジェクトを認識するために複数の異なるモデルを有する必要があることを意味する。

【発明の概要】

【課題を解決するための手段】

【0004】

或る広範な形態では、本発明の一態様は環境内の１つ又は複数のオブジェクトを認識するためのオブジェクト認識システムを提供しようと試み、このシステムは、１つ又は複数のタグであって、各タグは使用中の個々のオブジェクトに関連付けられ、各タグは、オブジェクトモデルを記憶するように構成されるタグメモリであって、オブジェクトモデルは個々のオブジェクトと形状符号化層との間の関係を示す計算モデルである、タグメモリ、タグトランシーバ、及びタグトランシーバにオブジェクトモデルを伝送させるように構成されるタグ処理装置を含む、１つ又は複数のタグと、環境を感知するように構成される感知装置、感知装置モデルを記憶するように構成される感知システムメモリであって、感知装置モデルは感知装置を使用して捕捉されたセンサデータと形状符号化層との間の関係を示す計算モデルである、感知システムメモリ、感知システムトランシーバ、トランシーバから１つ又は複数のオブジェクトモデルを受信し、感知システムメモリから感知装置モデルを検索し、感知装置から環境を示すセンサデータを取得し、感知装置モデル及び１つ又は複数のオブジェクトモデルを使用してセンサデータを分析し、それによって環境内の１つ又は複数のオブジェクトを認識するように構成される１つ又は複数の感知システム処理装置を含む、感知システムと、を備える。

【0005】

一実施形態では、環境が複数のオブジェクトを含み、各オブジェクトが個々のタグに関連付けられ、１つ又は複数の処理装置が複数のオブジェクトの異なるものを認識するように構成される。

【0006】

一実施形態では、各オブジェクトモデルが、特定のオブジェクトに固有のモデル、及び特定のオブジェクトの種類に固有のモデルの何れかである。

【0007】

一実施形態では、１つ又は複数の処理装置が、形状符号化パラメータを生成するためにセンサデータ及び感知装置モデルを使用し、オブジェクトを認識するために形状符号化パラメータ及びオブジェクトモデルを使用するように構成される。

【0008】

一実施形態では、タグ処理装置が、周期的に及びタグトランシーバによって受信されるモデル要求メッセージに応答してのうちの少なくとも１つで、タグトランシーバにオブジェクトモデルを伝送させるように構成される。

【0009】

一実施形態では、感知装置モデルが、特定の感知装置に固有のモデル、及び特定の感知装置の種類に固有のモデルの何れかである。

【0010】

一実施形態では、感知装置が、撮像装置、ライダー、レーダー、及び音響マッピング装置のうちの少なくとも１つを含む。

【0011】

一実施形態では、オブジェクトモデルが、敵対的生成ニューラルネットワーク、ニューラルネットワーク、及び再帰的ニューラルネットワークのうちの少なくとも１つである。

【0012】

一実施形態では、感知装置モデルが、敵対的生成ニューラルネットワーク、ニューラルネットワーク、及び再帰的ニューラルネットワークのうちの少なくとも１つである。

【0013】

或る広範な形態では、本発明の一態様は環境内の１つ又は複数のオブジェクトを認識するためのオブジェクト認識方法を提供しようと試み、システムは、１つ又は複数のタグであって、各タグは使用中の個々のオブジェクトに関連付けられ、各タグは、オブジェクトモデルを記憶するように構成されるタグメモリであって、オブジェクトモデルは個々のオブジェクトと形状符号化層との間の関係を示す計算モデルである、タグメモリ、タグトランシーバ、及びタグトランシーバにオブジェクトモデルを伝送させるように構成されるタグ処理装置を含む、１つ又は複数のタグと、環境を感知するように構成される感知装置、感知装置モデルを記憶するように構成される感知システムメモリであって、感知装置モデルは感知装置を使用して捕捉されたセンサデータと形状符号化層との間の関係を示す計算モデルである、感知システムメモリ、感知システムトランシーバ、トランシーバから１つ又は複数のオブジェクトモデルを受信し、感知システムメモリから感知装置モデルを検索し、感知装置から環境を示すセンサデータを取得し、感知装置モデル及び１つ又は複数のオブジェクトモデルを使用してセンサデータを分析し、それによって環境内の１つ又は複数のオブジェクトを認識するように構成される１つ又は複数の処理装置を含む、感知システムと、を備える。環境内の個々のオブジェクトを認識する際に使用するためのモデルを生成するためのシステムであって、感知装置から環境内の個々のオブジェクトを示すセンサデータを取得し、センサデータを使用して、個々のオブジェクトと形状符号化層との間の関係を示すオブジェクトモデルを生成し、感知装置を使用して捕捉されたセンサデータと形状符号化層との間の関係を示す感知装置モデルを生成するように構成される１つ又は複数の処理装置を備える、システム。

【0014】

一実施形態では、１つ又は複数の処理装置が、複数の異なる感知装置から環境内の個々のオブジェクトを示すセンサデータを取得し、センサデータを使用して、オブジェクトモデルを生成すること、及び複数の感知装置モデルを生成することのうちの少なくとも１つを行うように構成される。

【0015】

一実施形態では、１つ又は複数の処理装置が、環境内の複数の異なるオブジェクトを示すセンサデータを取得し、センサデータを使用して、異なるオブジェクトごとの個々のオブジェクトモデルを含む複数のオブジェクトモデルを生成すること、及び感知装置モデルを生成することのうちの少なくとも１つを行うように構成される。

【0016】

一実施形態では、各オブジェクトモデルが、特定のオブジェクトに固有のモデル、及び特定のオブジェクトの種類に固有のモデルの何れかである。

【0017】

一実施形態では、感知装置モデルが、特定の感知装置に固有のモデル、及び特定の感知装置の種類に固有のモデルの何れかである。

【0018】

一実施形態では、オブジェクトモデルが、敵対的生成ニューラルネットワーク、ニューラルネットワーク、及び再帰的ニューラルネットワークのうちの少なくとも１つである。

【0019】

一実施形態では、感知装置モデルが、敵対的生成ニューラルネットワーク、ニューラルネットワーク、及び再帰的ニューラルネットワークのうちの少なくとも１つである。

【0020】

或る広範な形態では、本発明の一態様は環境内の個々のオブジェクトを認識する際に使用するためのモデルを生成するためのシステムを提供しようと試み、このシステムは、感知装置から環境内の個々のオブジェクトを示すセンサデータを取得し、センサデータを使用して、個々のオブジェクトと形状符号化層との間の関係を示すオブジェクトモデルを生成し、感知装置を使用して捕捉されたセンサデータと形状符号化層との間の関係を示す感知装置モデルを生成するように構成される１つ又は複数の処理装置を備える。

【0021】

或る広範な形態では、本発明の一態様は環境内の個々のオブジェクトを認識する際に使用するためのモデルを生成するための方法を提供しようと試み、この方法は、１つ又は複数の処理装置において、感知装置から環境内の個々のオブジェクトを示すセンサデータを取得することと、センサデータを使用して、個々のオブジェクトと形状符号化層との間の関係を示すオブジェクトモデルを生成し、感知装置を使用して捕捉されたセンサデータと形状符号化層との間の関係を示す感知装置モデルを生成することとを備える。

【0022】

或る広範な形態では、本発明の一態様は環境内の個々のオブジェクトを認識する際に使用するためのモデルを生成するためのコンピュータプログラム製品を提供しようと試み、このコンピュータプログラム製品は、１つ又は複数の適切にプログラムされた処理装置によって実行されるとき、感知装置から環境内の個々のオブジェクトを示すセンサデータを取得すること、及びセンサデータを使用して、個々のオブジェクトと形状符号化層との間の関係を示すオブジェクトモデルを生成し、感知装置を使用して捕捉されたセンサデータと形状符号化層との間の関係を示す感知装置モデルを生成することを１つ又は複数の処理装置に行わせるコンピュータ実行可能コードを備える。

【0023】

本発明の広範な形態及びその個々の特徴は組み合わせて及び／又は独立に使用することができ、別個の広範な形態に言及することは限定的であることは意図しないことが理解されよう。更に、方法の特徴はシステム又は機器を使用して実行することができ、システム又は機器の特徴は方法を使用して実装できることが理解されよう。

【0024】

次に本発明の様々な例及び実施形態を添付図面に関して説明する。

【図面の簡単な説明】

【0025】

【図1】オブジェクト認識システムの一例の概略図である。

【図2】図１のオブジェクト認識システムのモデル構造の一例の概略図である。

【図3】オブジェクト認識プロセスの一例のフローチャートである。

【図4】モデル訓練プロセスの具体例の概略図である。

【発明を実施するための形態】

【0026】

次に、オブジェクト認識システムの例を図１及び図２に関して説明する。

【0027】

この例では、システムが１つ又は複数のタグ１１０を含み、タグのそれぞれは使用中の個々のオブジェクト１０１に関連付けられる。タグ１１０は、典型的にはＢｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ低エネルギー（ＢＬＥ）、Ｗｉ－Ｆｉ等の短距離無線通信プロトコルを利用して通信可能な電子タグ１１０である。タグ１１０は、典型的にはタグ１１０とオブジェクトの物理的なフォームファクタに応じて、何らかの方法でタグ１１０をオブジェクト１０１に取り付け又は統合することによってオブジェクト１０１と関連付けられる。このような関連付けはタグ１１０が概してオブジェクトと同じ環境内に提供されるように行われるが、これは必須ではなく、単にオブジェクトを含む環境内にタグを配置すること等、他の構成を使用することもできる。

【0028】

タグは任意の形態を有し得るが、典型的にはタグはオブジェクトモデルを記憶するように構成されるタグメモリ１１２、例えばメッセージを伝送又は受信するための無線通信を可能にするタグトランシーバ１１３、及び必要な任意の操作を実行するように構成されるタグ処理装置１１１等の構成要素を含む。構成要素は任意の適切な形態のものとすることができ、揮発性及び／又は不揮発性メモリ、並びに統合アンテナ及び他の任意の構成要素に結合され又はそれらを含むＢｌｕｅｔｏｏｔｈシステムオンチップ（ＳＯＣ）等のカスタム集積回路から任意で形成され得るＢｌｕｅｔｏｏｔｈトランシーバ等の短距離無線トランシーバを含むことができる。タグ処理装置は、マイクロプロセッサ、マイクロチッププロセッサ、論理ゲート構成、ＦＰＧＡ（書き換え可能ゲートアレイ）等のロジックを実装することに任意で関連するファームウェア、又は他の任意の電子装置、システム、若しくは構成等の任意の電子処理装置であり得る。説明を容易にするために、残りの説明は処理装置に言及するが、必要に応じて処理装置間で処理を分散させた状態で複数の処理装置を使用できること、及び単数形への言及が複数の構成を包含し、その逆もまた同様であることが理解されよう。

【0029】

短距離無線通信プロトコルを使用して直接、又は無線通信ネットワーク等の中間ネットワーク又は装置（不図示）を介してタグ１１０と通信する１つ又は複数の感知システム１２０が提供される。感知システム１２０は、典型的には環境を感知するように構成される感知装置１２４を含む。感知装置の性質及び感知装置が動作する方法は意図する用途によって異なり、カメラ等の撮像装置、又はライダー、レーダー、音響深度マッピング装置等の深度又は範囲感知構成を含み得る。単一の感知装置に言及しているが、例えばマルチモーダル感知構成の一部として複数の感知装置が提供されてもよいことも理解されよう。

【0030】

感知システム１２０は、典型的には感知装置モデルを記憶するように構成される感知システムメモリ１２２、例えば短距離無線プロトコルを使用してタグと通信するように構成される感知システムトランシーバ１２３、及び１つ又は複数の感知システム処理装置１２１も含む。構成要素は任意の適切な形態のものとすることができ、揮発性及び／又は不揮発性メモリ、並びに統合アンテナ及び他の任意の構成要素に結合され又はそれらを含むＢｌｕｅｔｏｏｔｈシステムオンチップ（ＳＯＣ）等のカスタム集積回路から任意で形成され得るＢｌｕｅｔｏｏｔｈトランシーバ等の短距離無線トランシーバを含むことができる。感知システム処理装置は、マイクロプロセッサ、マイクロチッププロセッサ、論理ゲート構成、ＦＰＧＡ（書き換え可能ゲートアレイ）等のロジックを実装することに任意で関連するファームウェア、又は他の任意の電子装置、システム、若しくは構成等の任意の電子処理装置であり得る。説明を容易にするために、残りの説明は処理装置に言及するが、必要に応じて処理装置間で処理を分散させた状態で複数の処理装置を使用できること、及び単数形への言及が複数の構成を包含し、その逆もまた同様であることが理解されよう。

【0031】

上記の内容から、感知システム１２０は任意の適切な形態のものとすることができ、或る具体例では、任意で感知装置に結合された又は統合された感知装置を有する処理システム、コンピュータシステム、スマートフォン、タブレット、モバイル計算装置の１つ又は複数を含み得ることが理解されよう。但しこれは必須ではなく、感知システムは分散されてもよいこと、並びに物理的に別個の感知装置、及び例えば環境内の感知装置を含む処理システム、及び有線又は無線通信ネットワークを介して感知装置と通信する別個の計算装置等を含み得ることが理解されよう。或る具体例では、感知システムがロボット又は他の自律的構成若しくは半自律的構成に統合され、ロボットが環境内のオブジェクトを認識するのを支援するために使用され、ロボットが必要に応じてオブジェクトと相互作用できるようにする。

【0032】

使用中、異なるオブジェクトに関連付けられたタグ１１０．１、１１０．２はオブジェクトモデル２３１．１、２３１．２を記憶し、これらのモデルは個々のオブジェクトと形状符号化層２３３との間の関係を示す計算モデルである。同様に、異なる感知システム１２０．１、１２０．２は感知装置モデル２３２．１、２３２．２を記憶し、これらのモデルは個々の感知装置を使用して捕捉されるセンサデータと形状符号化層２３３との間の関係を示す計算モデルである。計算モデルの性質は好ましい実装によって異なるが、典型的には以下でより詳細に説明するように、モデルは何らかの形式のニューラルネットワークである。

【0033】

形状符号化層２３３は、典型的には異なるオブジェクトを識別する際に使用することができる幾つかの異なる形状パラメータを定める。これらのパラメータは計算モデルの作成中に導出され、典型的には異なるオブジェクトに対して更に多くのオブジェクトモデルが生成されるにつれて徐々に構築されることが理解されよう。パラメータは任意の適切な形態のものとすることができ、典型的にはオブジェクトモデル及び感知装置モデルを生成するために使用される機械学習プロセス中に導出される。したがってパラメータは、オブジェクトの寸法等の実作業の物理的パラメータを含み得るが、オブジェクトを区別する際に有用な機械学習手法によって導出される他のパラメータも含み得る。実際には、感知装置モデルは、例えばセンサデータに基づいて１つ又は複数の特徴ベクトルを生成することにより、感知装置によって捕捉されたセンサデータを異なる形状パラメータの値に変換する。次いで感知システム処理装置は使用されているオブジェクトモデルを使用して、例えば特徴ベクトルを異なるオブジェクトモデルに適用して任意の一致を識別することにより、特定の形状パラメータ値を異なるオブジェクトにマップすることができる。

【0034】

使用中、オブジェクトモデルはタグ上に記憶され、感知システムに伝送され、感知システムがオブジェクトを認識する際にこれらを使用することを可能にし、今度はこのプロセスの一例を図３に関して説明する。

【0035】

この例ではステップ３００で、タグが記憶済みのオブジェクトモデルを伝送する。この伝送は、例えばブロードキャスト又は他の同様のメッセージを使用してタグにモデルを周期的に、例えば数分おきに伝送させることによって、周期的に行うことができ、これにより、タグの近傍にある任意の感知システムによってモデルが受信され得る。或いはこの伝送は感知システムからの要求に応答して実行することができ、この場合、モデルは要求を行っている感知システムに限定して伝送されてもよく、又は同様のやり方でブロードキャストすることができる。何れの場合も、上述のようにオブジェクトモデルは典型的にはニューラルネットワークであり、これらは典型的には数メガバイトのオーダーのサイズを有することを意味し、モデルの無線伝送を実現可能にする。

【0036】

ステップ３１０で、感知システム１２０、特に処理装置１２１がオブジェクトモデルを受信し、ステップ３２０で内部メモリ１２２から感知装置モデルを検索する。ステップ３３０で、処理装置１２１は感知装置１２４からセンサデータを取得する。センサデータは、典型的には感知装置を使用して環境を走査することによって取得され、したがって典型的には１つ又は複数のオブジェクト並びに周囲環境の詳細を捕捉する。

【0037】

これらのステップは任意の順序で実行することができ、そのため例えばモデルの検索は、オブジェクトモデルの伝送及び受信の前等に実行できることが理解されよう。

【0038】

センサデータ、オブジェクトモデル、及び感知装置モデルが取得されると、感知システム処理装置は、ステップ３４０でオブジェクトモデル及び感知装置モデル並びにセンサデータを使用してオブジェクトを識別する。したがって一例では、このプロセスはセンサデータを感知装置モデルに適用して形状符号化パラメータの値を生成することを含み、これらの値は、対応するオブジェクトがセンサデータ内に捕捉されているかどうかを判定するためにオブジェクトモデルに適用される。但し、モデルの性質及び好ましい実装に応じて他の適切な技法を使用できることが理解されよう。

【0039】

何れにせよ、実際にはこれは例えばロボット等に組み込まれる可能性のある感知システムが、環境内にある様々な種類のオブジェクトからオブジェクトモデルを受信することを可能にすることが理解されよう。次に感知システムを使用して、その環境内のセンサデータを捕捉し、センサデータから環境内のオブジェクトを認識することができる。

【0040】

この手法は従来のオブジェクト認識手法に勝る幾つかの重要な利点をもたらす。第１に、この手法はオブジェクト固有のモデルを使用しており、そのため例えば環境内のコップを識別するためにコップのオブジェクトモデルが使用される。前述したように、かかるオブジェクト固有のモデルは非常にロバストである可能性があり、非常に高レベルのオブジェクト認識精度をもたらす。

【0041】

第２に、オブジェクトモデルがタグによって周期的に又は要求あり次第伝送されることにより、これは感知システムが環境内に存在しないオブジェクトのオブジェクトモデルにアクセスする必要がないことを意味する。このことは、感知システムが環境内に存在しないオブジェクトのモデルを記憶し或いは検索する必要性をなくし、記憶要件及び／又はデータ伝送要件を低減する。

【0042】

さらにこのことは、どのオブジェクトモデルが任意の所与の環境に関連するのかを感知システムが知ることを意味し、関連するモデルにのみセンサデータを適用すればよいことを意味する。このことは関連性のないモデルにセンサデータを適用することを回避し、計算要件を低減し、ひいては存在するオブジェクトをより迅速に識別することを可能にする。感知装置の処理装置は環境内のオブジェクトに関連するオブジェクトモデルだけを絶えず使用するので、このことは認識プロセスのロバスト性を高めること、例えばオブジェクトが非常に類似している場合に発生する可能性のある矛盾した結果を回避することも支援し得る。

【0043】

第３に、感知装置モデルが追加的に存在することは、感知で使用されるモダリティとは異なるモダリティを使用してオブジェクトモデルを訓練できることを意味する。例えばコップを識別するためのオブジェクトモデルは、撮像装置を使用して捕捉した光学画像だけを使用して訓練することができる。従来、そのような任意のモデルは、光学感知を使用してコップを認識できるようにするためにのみ有用であった。しかし上記の手法では、共通の形状符号化層はセンサデータを形状符号化層にマップし、そこからオブジェクトにマップできることを意味し、そのためコップモデルが訓練データとして光学画像のみを使用して作成されていたとしても、ライダー等の深度ベースのセンサはコップを認識することができる。

【0044】

したがって上記の手法は、部屋等の環境に入るロボット等の感知システムが環境内の一連の異なるオブジェクトを認識し、したがって識別できるようにするために使用することができる。これは既存の技法を使用して達成できるよりも迅速且つ正確に行うことができ、更に重要なことは、感知装置モデルが作成されている限りセンサ非依存であり得ることである。

【0045】

次に幾つかの更なる特徴を説明する。

【0046】

前述のように、一例では環境が複数のオブジェクトを含み、各オブジェクトが個々のタグに関連付けられている。この例では、複数のオブジェクトの異なるものを認識するように処理装置１２１が構成される。したがって感知装置は、オブジェクトの全てを捕捉するセンサデータを使用して複数のオブジェクトを感知し、認識することができる。

【0047】

各オブジェクトモデルは、特定のオブジェクトに固有とすることができ、及び／又は特定のオブジェクトの種類に固有であり得る。例えば全てのコップをコップとして識別できるようにするオブジェクトモデルを導出できる一方、例えば特定の種類のコップを識別するために、更には特定の個人に属するコップを識別するために、異なるコップを区別するためのモデルを導出することもできる。どの手法が使用されるのかは好ましい実装によって異なり、例えば一部の個々のオブジェクトを識別できるようにする一方で、他のオブジェクトは種類だけに基づいて区別することができる組み合わせによって手法を使用できることが理解されよう。

【0048】

同様に、感知装置モデルは特定の感知装置に固有とすることができ、及び／又は特定の感知装置の種類に固有とすることができ、これは同じ種類の異なる感知装置間で生じるばらつきに依存し得る。例えばライダーは高度な一貫性を持って製造される可能性があり、そのため或るライダーのモデルは他のライダーに適用可能であるのに対し、異なる撮像装置間では高度なばらつきがある可能性があり、モデルが装置固有でなければならない可能性があることを意味する。

【0049】

一例では、処理装置が、センサデータ及び感知装置モデルを使用して形状符号化パラメータを生成し、形状符号化パラメータ及びオブジェクトモデルを使用してオブジェクトを認識するように構成される。但し、他の手法も使用できることが理解されよう。例えば、出力の形式に関係なく、感知装置モデルの出力をオブジェクトモデルへの入力として適用することができる。或いは、センサデータ内のオブジェクトを直接認識するために複合モデルを生成し、使用することができる。

【0050】

前述したように、タグ処理装置は、周期的に及び／又はタグトランシーバによって受信されるモデル要求メッセージに応答してタグトランシーバにオブジェクトモデルを伝送させるように構成することができる。この後者の手法は伝送要件を低減し、したがって典型的には電池寿命を延ばすが、使用される手法は好ましい実装に依存することが理解されよう。

【0051】

感知装置は、撮像装置、ライダー、レーダー、及び音響マッピング装置を含むことができる。

【0052】

オブジェクトモデル及び／又は感知装置モデルは、ニューラルネットワーク、敵対的生成ニューラルネットワーク（ＧＡＮ）、及び／又は再帰的ニューラルネットワーク等のうちの何れか１つ又は複数であり得る。

【0053】

概してネットワークは機械学習手法を使用して開発され、次にその一例を図４に関して説明する。

【0054】

ステップ４００で、１つ又は複数のオブジェクトのセンサデータを捕捉する。センサデータは、典型的には個々のオブジェクトを識別する情報でタグ付けされ、任意で調整或いは補強され、例えばオブジェクト認識に寄与しないセンサデータの部分が除去される。これらの処理は手動プロセス等を使用して実行することができる。

【0055】

ステップ４１０で、例えばＧＡＮを訓練するためにそのデータを使用することにより、そのデータを使用して訓練を実行し、この訓練は典型的にはセンサデータ及びオブジェクトの識別を使用してＧＡＮの弁別器及び生成器を訓練することを含む。次にステップ４２０でこれを使用してオブジェクト固有のモデルを生成し、ステップ４３０で感知装置固有のモデルを生成する。

【0056】

この点に関して、複数の異なる感知装置から環境内の個々のオブジェクトを示すセンサデータを取得し、それを使用してオブジェクトモデル並びに複数の感知装置モデルを生成できることが理解されよう。同様に、単一の感知装置を使用して複数のオブジェクトを感知し、単一の感知装置モデル及び複数のオブジェクトモデルを生成するために使用することができる。このやり方によるモデルの訓練は当技術分野で知られており、したがってこれ以上の詳細な説明は省略する。

【0057】

本明細書及び添付の特許請求の範囲の全体を通して、文脈上他の意味に解すべき場合を除き、「ｃｏｍｐｒｉｓｅ（含む）」という用語及び「ｃｏｍｐｒｉｓｅｓ（含む）」又は「ｃｏｍｐｒｉｓｉｎｇ（含んでいる）」等の異体は、述べられた整数又は整数群又はステップを含むことを含意するが、他の任意の整数又は整数群を排除することは含意しないことが理解されよう。

【0058】

多数の改変形態及び修正形態が明らかになることを当業者なら理解されよう。当業者に明らかになるそのような全ての改変形態及び修正形態が、前述した本発明の広範な趣旨及び範囲に含まれると考えるべきである。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】