特許 6985121 物体間関係認識装置、学習済みモデル、認識方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6985121

(24)【登録日】2021年11月29日

(45)【発行日】2021年12月22日

(54)【発明の名称】物体間関係認識装置、学習済みモデル、認識方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20211213BHJP

【ＦＩ】

   G06T7/00 350C

【請求項の数】8

【全頁数】18

(21)【出願番号】特願2017-234246(P2017-234246)

(22)【出願日】2017年12月6日

(65)【公開番号】特開2019-101907(P2019-101907A)

(43)【公開日】2019年6月24日

【審査請求日】2020年10月15日

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】中山 英樹

(72)【発明者】

【氏名】増井 建斗

(72)【発明者】

【氏名】吉澤 真太郎

(72)【発明者】

【氏名】落合 亮吉

【審査官】 山田 辰美

(56)【参考文献】

【文献】 米国特許出願公開第２０１７／０１３２４９８（ＵＳ，Ａ１）

【文献】 特開２０１７−１９９１４９（ＪＰ，Ａ）

【文献】 原田 達也，機械学習の画像認識への応用，シミュレーション 第３４巻 第４号，小宮山印刷工業株式会社，2015年，第３４巻 第４号，18〜24

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

画像と、該画像に含まれる複数の物体間の関係と、を対応付けた学習データに基づいて学習を行い、該学習結果を用いて画像に含まれる物体間の関係を認識し出力する物体間関係認識装置であって、
画像が入力され、該画像の特徴を示す第１特徴量を出力する第１学習器と、
前記第１学習器から出力される第１特徴量が入力され、該第１特徴量より低次元数の第２特徴量を出力すると共に、内部状態を所定ステップ保持する複数の記憶部を有する第２学習器と、
第２学習器の各記憶部に接続され、該各記憶部から出力される第２特徴量が入力され、該入力された第２特徴量に基づいてそれぞれ第１乃至第３要素を認識し、該第１乃至第３要素の確率情報を出力する第１乃至第３認識部で構成される共に、前記第１乃至第３要素の組合せをそれぞれ出力する複数のトリプレットユニットを有するトリプレット部と、
を備え、
前記トリプレット部は、前記各トリプレットユニットの第１乃至第３認識部から出力される第１乃至第３要素の確率情報に基づいて、前記各トリプレットユニットから出力される第１乃至第３要素の組合せの中から、少なくとも１つの前記第１乃至第３要素の組合せを選択し、該選択した第１乃至第３要素の組合せを、前記画像に含まれる物体間の関係として認識し出力する、
ことを特徴とする物体間関係認識装置。

【請求項2】

請求項１記載の物体間関係認識装置であって、
前記第２学習器は、再帰的ニューラルネットワークであり、
前記第２学習器及びトリプレット部は、画像と物体間の関係とを対応付けた学習データに基づいて、所定関数のパラメータを最適化することで前記学習を行い、該最適化されたパラメータを学習結果として保持する、
ことを特徴とする物体間関係認識装置。

【請求項3】

請求項１又は２記載の物体間関係認識装置であって、
前記第１及び第３認識部は、それぞれ、前記第１及び第３要素の確率情報を前記第２認識部に出力し、
前記第２認識部は、前記第１及び第３認識部から出力される第１及び第３要素と、対応する前記第２学習器の記憶部から出力される第２特徴量と、に基づいて、前記第２要素を認識し、該第２要素の確率情報を出力する、
ことを特徴とする物体間関係認識装置。

【請求項4】

請求項１乃至３のうちいずれか１項記載の物体間関係認識装置であって、
前記第２学習器の記憶部は、ＬＳＴＭ（Long Short-Term Memory）である、ことを特徴とする物体間関係認識装置。

【請求項5】

請求項１乃至４のうちいずれか１項記載の物体間関係認識装置であって、
前記第１学習器は、畳み込み式ニューラルネットワークとして構成されている、ことを特徴とする物体間関係認識装置。

【請求項6】

画像が入力され、該画像の特徴を示す第１特徴量を出力する第１学習器と、
前記第１学習器から出力される第１特徴量が入力され、該第１特徴量より低次元数の第２特徴量を出力すると共に、内部状態を所定ステップ保持する複数の記憶部を有する第２学習器と、
第２学習器の各記憶部に接続され、該各記憶部から出力される第２特徴量が入力され、該入力された第２特徴量に基づいてそれぞれ第１乃至第３要素を識別し、該第１乃至第３要素の確率情報を出力する第１乃至第３認識部で構成され前記第１乃至第３要素の組合せを出力する複数のトリプレットユニットを有するトリプレット部と、
を備え、
前記トリプレット部は、前記各トリプレットユニットの第１乃至第３認識部から出力される第１乃至第３要素の確率情報に基づいて、前記各トリプレットユニットから出力される第１乃至第３要素の組合せの中から、少なくとも１つの前記第１乃至第３要素の組合せを選択し、該選択した第１乃至第３要素の組合せを、前記画像に含まれる物体間の関係として認識するよう、に構成され、
画像と該画像に含まれる物体間の関係とを対応付けた学習データに基づいて、前記第１学習器、第２学習器及びトリプレット部の重み付け係数が学習され、
認識対象の画像が入力されると、前記第１学習器、第２学習器及びトリプレット部が該学習済み重み付け係数に基づく演算を行い、該認識対象の画像に含まれる各物体間の関係が認識されるよう、コンピュータを機能させるための学習済みモデル。

【請求項7】

画像が入力され、該画像の特徴を示す第１特徴量を出力する第１学習器と、
前記第１学習器から出力される第１特徴量が入力され、該第１特徴量より低次元数の第２特徴量を出力すると共に、内部状態を所定ステップ保持する複数の記憶部を有する第２学習器と、
第２学習器の各記憶部に接続され、該各記憶部から出力される第２特徴量が入力され、該入力された第２特徴量に基づいてそれぞれ第１乃至第３要素を認識し、該第１乃至第３要素の確率情報を出力する第１乃至第３認識部で構成される共に、前記第１乃至第３要素の組合せをそれぞれ出力する複数のトリプレットユニットを有するトリプレット部と、
を備える物体間関係認識装置の認識方法であって、
前記トリプレット部は、前記各トリプレットユニットの第１乃至第３認識部から出力される第１乃至第３要素の確率情報に基づいて、前記各トリプレットユニットから出力される第１乃至第３要素の組合せの中から、少なくとも１つの前記第１乃至第３要素の組合せを選択し、該選択した第１乃至第３要素の組合せを、前記画像に含まれる物体間の関係として認識し出力する、
ことを特徴とする認識方法。

【請求項8】

画像が入力され、該画像の特徴を示す第１特徴量を出力する第１学習器と、
前記第１学習器から出力される第１特徴量が入力され、該第１特徴量より低次元数の第２特徴量を出力すると共に、内部状態を所定ステップ保持する複数の記憶部を有する第２学習器と、
第２学習器の各記憶部に接続され、該各記憶部から出力される第２特徴量が入力され、該入力された第２特徴量に基づいてそれぞれ第１乃至第３要素を認識し、該第１乃至第３要素の確率情報を出力する第１乃至第３認識部で構成される共に、前記第１乃至第３要素の組合せをそれぞれ出力する複数のトリプレットユニットを有するトリプレット部と、
を備える物体間関係認識装置のプログラムであって、
前記トリプレット部が、前記各トリプレットユニットの第１乃至第３認識部から出力される第１乃至第３要素の確率情報に基づいて、前記各トリプレットユニットから出力される第１乃至第３要素の組合せの中から、少なくとも１つの前記第１乃至第３要素の組合せを選択し、該選択した第１乃至第３要素の組合せを、前記画像に含まれる物体間の関係として認識し出力する処理をコンピュータに実行させる、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像に含まれる物体間の関係を認識する物体間関係認識装置、学習済みモデル、認識方法及びプログラムに関する。

【背景技術】

【0002】

画像に含まれる複数の物体の関係を学習し、その学習結果に基づいて、物体間の関係を認識し出力する物体間関係認識装置が知られている（例えば、非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Yuval Atzmon, Jonathan Berant, Vahid Kezami, Amir Globerson, Gal Chechik著、 Learinig to generalize to new compositions in image understanding、 arXiv preprint arXiv; 1608.07639, 2016.

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記物体間関係認識装置は、画像に含まれる物体間の関係を全て抽出した後、その物体間の関係を出力する。このため、物体間の関係を出力するまでに時間がかかる虞がある。

【0005】

本発明は、このような問題点を解決するためになされたものであり、画像に含まれる物体間の関係を逐次的に認識することで、短時間で物体間の関係を出力できる物体間関係認識装置、学習済みモデル、認識方法及びプログラムを提供することを主たる目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するための本発明の一態様は、画像と、該画像に含まれる複数の物体間の関係と、を対応付けた学習データに基づいて学習を行い、該学習結果を用いて画像に含まれる物体間の関係を認識し出力する物体間関係認識装置であって、画像が入力され、該画像の特徴を示す第１特徴量を出力する第１学習器と、前記第１学習器から出力される第１特徴量が入力され、該第１特徴量より低次元数の第２特徴量を出力すると共に、内部状態を所定ステップ保持する複数の記憶部を有する第２学習器と、第２学習器の各記憶部に接続され、該各記憶部から出力される第２特徴量が入力され、該入力された第２特徴量に基づいてそれぞれ第１乃至第３要素を認識し、該第１乃至第３要素の確率情報を出力する第１乃至第３認識部で構成される共に、前記第１乃至第３要素の組合せをそれぞれ出力する複数のトリプレットユニットを有するトリプレット部と、を備え、前記トリプレット部は、前記各トリプレットユニットの第１乃至第３認識部から出力される第１乃至第３要素の確率情報に基づいて、前記各トリプレットユニットから出力される第１乃至第３要素の組合せの中から、少なくとも１つの前記第１乃至第３要素の組合せを選択し、該選択した第１乃至第３要素の組合せを、前記画像に含まれる物体間の関係として認識し出力する、ことを特徴とする物体間関係認識装置である。
この一態様において、前記第２学習器は、再帰的ニューラルネットワークであり、前記第２学習器及びトリプレット部は、画像と物体間の関係とを対応付けた学習データに基づいて、所定関数のパラメータを最適化することで前記学習を行い、該最適化されたパラメータを学習結果として保持していてもよい。
この一態様において、前記第１及び第３認識部は、それぞれ、前記第１及び第３要素の確率情報を前記第２認識部に出力し、前記第２認識部は、前記第１及び第３認識部から出力される第１及び第３要素と、対応する前記第２学習器の記憶部から出力される第２特徴量と、に基づいて、前記第２要素を認識し、該第２要素の確率情報を出力してもよい。
この一態様において、前記第２学習器の記憶部は、ＬＳＴＭ（Long Short-Term Memory）であってもよい。
この一態様において、前記第１学習器は、畳み込み式ニューラルネットワークとして構成されていてもよい。
上記目的を達成するための本発明の一態様は、画像が入力され、該画像の特徴を示す第１特徴量を出力する第１学習器と、前記第１学習器から出力される第１特徴量が入力され、該第１特徴量より低次元数の第２特徴量を出力すると共に、内部状態を所定ステップ保持する複数の記憶部を有する第２学習器と、第２学習器の各記憶部に接続され、該各記憶部から出力される第２特徴量が入力され、該入力された第２特徴量に基づいてそれぞれ第１乃至第３要素を識別し、該第１乃至第３要素の確率情報を出力する第１乃至第３認識部で構成され前記第１乃至第３要素の組合せを出力する複数のトリプレットユニットを有するトリプレット部と、を備え、前記トリプレット部は、前記各トリプレットユニットの第１乃至第３認識部から出力される第１乃至第３要素の確率情報に基づいて、前記各トリプレットユニットから出力される第１乃至第３要素の組合せの中から、少なくとも１つの前記第１乃至第３要素の組合せを選択し、該選択した第１乃至第３要素の組合せを、前記画像に含まれる物体間の関係として認識するよう、に構成され、画像と該画像に含まれる物体間の関係とを対応付けた学習データに基づいて、前記第１学習器、第２学習器及びトリプレット部の重み付け係数が学習され、認識対象の画像が入力されると、前記第１学習器、第２学習器及びトリプレット部が該学習済み重み付け係数に基づく演算を行い、該認識対象の画像に含まれる各物体間の関係が認識されるよう、コンピュータを機能させるための学習済みモデルであってもよい。
上記目的を達成するための本発明の一態様は、画像が入力され、該画像の特徴を示す第１特徴量を出力する第１学習器と、前記第１学習器から出力される第１特徴量が入力され、該第１特徴量より低次元数の第２特徴量を出力すると共に、内部状態を所定ステップ保持する複数の記憶部を有する第２学習器と、第２学習器の各記憶部に接続され、該各記憶部から出力される第２特徴量が入力され、該入力された第２特徴量に基づいてそれぞれ第１乃至第３要素を認識し、該第１乃至第３要素の確率情報を出力する第１乃至第３認識部で構成される共に、前記第１乃至第３要素の組合せをそれぞれ出力する複数のトリプレットユニットを有するトリプレット部と、を備える物体間関係認識装置の認識方法であって、前記トリプレット部は、前記各トリプレットユニットの第１乃至第３認識部から出力される第１乃至第３要素の確率情報に基づいて、前記各トリプレットユニットから出力される第１乃至第３要素の組合せの中から、少なくとも１つの前記第１乃至第３要素の組合せを選択し、該選択した第１乃至第３要素の組合せを、前記画像に含まれる物体間の関係として認識し出力する、ことを特徴とする認識方法であってもよい。
上記目的を達成するための本発明の一態様は、画像が入力され、該画像の特徴を示す第１特徴量を出力する第１学習器と、前記第１学習器から出力される第１特徴量が入力され、該第１特徴量より低次元数の第２特徴量を出力すると共に、内部状態を所定ステップ保持する複数の記憶部を有する第２学習器と、第２学習器の各記憶部に接続され、該各記憶部から出力される第２特徴量が入力され、該入力された第２特徴量に基づいてそれぞれ第１乃至第３要素を認識し、該第１乃至第３要素の確率情報を出力する第１乃至第３認識部で構成される共に、前記第１乃至第３要素の組合せをそれぞれ出力する複数のトリプレットユニットを有するトリプレット部と、を備える物体間関係認識装置のプログラムであって、前記トリプレット部が、前記各トリプレットユニットの第１乃至第３認識部から出力される第１乃至第３要素の確率情報に基づいて、前記各トリプレットユニットから出力される第１乃至第３要素の組合せの中から、少なくとも１つの前記第１乃至第３要素の組合せを選択し、該選択した第１乃至第３要素の組合せを、前記画像に含まれる物体間の関係として認識し出力する処理をコンピュータに実行させる、ことを特徴とするプログラムであってもよい。

【発明の効果】

【0007】

本発明によれば、画像に含まれる物体間の関係を逐次的に認識することで、短時間で物体間の関係を出力できる物体間関係認識装置、学習済みモデル、認識方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施形態１に係る物体間関係認識装置の概略的なシステム構成を示すブロック図である。

【図2】本発明の実施形態１に係る第２ニューラルネットワーク及びトリプレット部の概略的構成を示すブロック図である。

【図3】本発明の実施形態１に係るトリプレットユニットの概略的構成を示すブロック図である。

【図4】認識工程を具体的に説明するための図である。

【図5】物体間関係をグラフで出力した一例を示す図である。

【図6】本発明の実施形態１に係る物体間関係認識装置の認識方法のフローを示すフローチャートである。

【図7】本発明の実施形態２にかかるトリプレットユニットを示す図である。

【図8】多層化されたトリプレットユニットの一例を示す図である。

【図9】（ａ）実施形態１及び２に係る物体間関係認識装置１によるシミュレーション結果を示す図である。（ｂ）本発明の実施形態１及び２に係る物体間関係認識装置１によるシミュレーション結果を示す図である。

【図10】物体間関係認識装置が搭載されたロボットの概略的構成を示すブロック図である。

【図11】認識された物体間関係に従ったロボットの動作を示す図である。

【発明を実施するための形態】

【0009】

実施形態１
以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の実施形態１に係る物体間関係認識装置の概略的なシステム構成を示すブロック図である。本実施形態１に係る物体間関係認識装置１は、例えば、家庭内などの一般環境で活動するロボット周辺にある複数の物体を認識し、各物体間の関係を認識し出力するものである。

【0010】

本実施形態１に係る物体間関係認識装置１は、第１ニューラルネットワーク２と、第２ニューラルネットワーク３と、トリプレット部４と、を備える。

【0011】

物体間関係認識装置１は、例えば、演算処理等を行うＣＰＵ（Central Processing Unit）、ＣＰＵによって実行される演算プログラム等が記憶されたＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）からなるメモリ、外部と信号の入出力を行うインターフェイス部（Ｉ／Ｆ）、などからなるマイクロコンピュータを中心にして、ハードウェア構成されている。ＣＰＵ、メモリ、及びインターフェイス部は、データバスなどを介して相互に接続されている。

【0012】

第１ニューラルネットワーク２は、第１学習器の一具体例である。第１ニューラルネットワーク２は、例えば、畳み込み式ニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）として構成されている。第１ニューラルネットワーク２は、例えば、画像情報が入力されると、その画像の第１特徴量として、４０９６次元のベクトル値を出力する。

【0013】

第１特徴量は、第１ニューラルネットワーク２が抽出する画像特徴量であり、後述の第２特徴量は、第２ニューラルネットワーク３が抽出する画像特徴量である。なお、第１ニューラルネットワーク２の入力として、画像内の部体に定義されるBounding Box（バウンディングボックス）から作ったものを入力とし、第１特徴量を付加してもよい。

【0014】

上記第１ニューラルネットワーク２が出力する第１特徴量の次元数は一例でありこれに限定されず、計算資源が許容される限り任意に設定できる。

【0015】

図２は、本実施形態１に係る第２ニューラルネットワーク及びトリプレット部の概略的構成を示すブロック図である。第２ニューラルネットワーク３は、第２学習器の一具体例である。第２ニューラルネットワーク３は、例えば、再帰的ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）として構成されている。第２ニューラルネットワーク３は、複数のＬＳＴＭ（Long Short-Term Memory）３１を有している。

【0016】

ＬＳＴＭ３１は、例えば、第１ニューラルネットワーク２から出力される４０９６次元ベクトルの第１特徴量が入力され、第１特徴量より低次元数の１０２４次元ベクトルの第２特徴量を出力する。このように第１ニューラルネットワーク２によって特徴量の次元数を低減することで計算量を低減できる。

【0017】

ＬＳＴＭ３１は、内部状態を所定ステップ保持し、逐次的に第１ニューラルネットワーク２からの第１特徴量を受け付ける。ＬＳＴＭ３１は、あるステップｔにおける内部状態を入力に応じて更新するようにモデリングされている。本実施形態１において、ステップｔにおけるＬＳＴＭ３１をＬＳＴＭ_ｔと表記する。

【0018】

ＬＳＴＭ３１は、第１ニューラルネットワーク２から第１特徴量が入力される毎に、内部状態を更新し、１０２４次元の第２特徴量を出力する。上記ＬＳＴＭ３１が出力する第２特徴量の次元数は一例でありこれに限定されず、計算資源が許容される限り任意に設定できる。

【0019】

トリプレット部４は、第２ニューラルネットワーク３のＬＳＴＭ３１に対応した、複数のトリプレットユニット４１で構成されている。トリプレット部４の各トリプレットユニット４１は、対応する、第２ニューラルネットワーク３の各ＬＳＴＭ３１に夫々接続されている。各トリプレットユニット４１には、ＬＳＴＭ３１から出力される第２特徴量が入力される。

【0020】

図３は、本実施形態１に係るトリプレットユニットの概略的構成を示すブロック図である。トリプレットユニット４１は、ＬＳＴＭ３１から出力される第２特徴量に基づいて、第１要素であるsubject、第２要素であるpredicate、及び第３要素であるobjectを認識する、独立した第１乃至第３認識部４１１、４１２、４１３を有している。

【0021】

例えば、第１認識部４１１は、ＬＳＴＭ３１から出力される第２特徴量に基づいて、「Monitor」、「Mouse」などのsubject（主語）を認識する。第２認識部４１２は、ＬＳＴＭ３１から出力される第２特徴量に基づいて、「on」、「sitting」などのpredicate（述語）を認識する。第３認識部４１３は、ＬＳＴＭ３１から出力される第２特徴量に基づいて、「table」などのobject（目的語）を認識する。そして、第１乃至第３認識部４１１、４１２、４１３は、認識結果であるsubject、predicate、及びobjectの事後確率分布（確率情報の一例）を、ベクトルとして夫々出力する。

【0022】

トリプレット部４は、各トリプレットユニット４１の第１乃至第３認識部４１１、４１２、４１３から出力されるsubject、predicate、及びobjectの事後確率分布ベクトルに基づいて、各トリプレットユニット４１から出力されるトリプレット（subject、predicate、及びobjectの組合せ）の中から、少なくとも１つのトリプレット（クラス）を選択する。

【0023】

トリプレット部４は、各トリプレットユニット４１の第１乃至第３認識部４１１、４１２、４１３から出力されるsubject、predicate、及びobjectの事後確率分布ベクトルに基づいて、各トリプレットユニット４１から出力されるトリプレットの中から、例えば、ベクトルが最大値となるトリプレットを選択する。また、トリプレット部４は、各トリプレットユニット４１の第１乃至第３認識部４１１、４１２、４１３から出力されるsubject、predicate、及びobjectの事後確率分布ベクトルに基づいて、各トリプレットユニット４１から出力されるトリプレットの中から、例えば、ベクトルが所定値以上のトリプレットを選択してもよい。トリプレット部４は、選択したトリプレットを物体間関係として出力する。

【0024】

上述したように、本実施形態１に係る物体間関係認識装置１は、トリプレット部４の各トリプレットユニット４１を用いて、物体間関係を認識する。これにより、物体間関係を認識する際の計算量を大幅に低減できる。すなわち、従来のランキング学習を用いた手法では、特徴量から画像に含まれる全ての物体の組合せの関係に対しスコアを算出しており、その認識にかかる計算量はＯ（Ｎの３乗）であった。

【0025】

これに対し、本実施形態１に係る物体間関係認識装置１は、トリプレット部４の各トリプレットユニット４１を用いて物体間関係を、subject、predicate、及びobjectのトリプレットに分解して認識する。このため、各要素の認識に必要なスコアの計算量はＯ（Ｎ）であり、１つのトリプレットを認識するために、各要素の第１乃至第３認識部４１１、４１２、４１３の出力結果を独立に用いることができる。したがって、認識にかかる全体の計算量はＯ（Ｎ）に抑え、その計算量を低減できる。

【0026】

続いて、物体間関係認識装置の認識方法について説明する。本実施形態１に係る物体間関係認識装置１は、後述の如く、＜学習工程＞において、予め用意された学習データに基づいて学習を行う。その後、物体間関係認識装置１は、＜認識工程＞において、＜学習工程＞の学習結果を用いて、新たに取得された認識対象物を含む画像（以下、認識対象画像）に含まれる各物体間の関係を示す物体間関係を認識する。

【0027】

以下、＜学習工程＞及び＜認識工程＞について詳細に説明する。
＜学習工程＞
第１ニューラルネットワーク２、第２ニューラルネットワーク３、及び、トリプレット部４は、予め用意した学習データに基づいて、第１ニューラルネットワーク２、第２ニューラルネットワーク３、及び、トリプレット部４の重み付け係数の学習を行う。学習データは、例えば、画像と物体間関係とを対応付けた複数組のデータ群である。学習データは、例えば、メモリなどに予め記憶されていてもよい。

【0028】

本実施形態１においては、第１ニューラルネットワーク２は、例えば、予めインターネット上の画像データ群などを基づいて、重み付け係数の学習を行ってもよい。続いて、第２ニューラルネットワーク３及びトリプレット部４は、予め用意した複数の物体を含む画像と物体間関係とを対応付けた学習データに基づいて重み付け係数の学習を行う。

【0029】

第２ニューラルネットワーク３及びトリプレット部４は、例えば、以下のバッチ確率的勾配降下法を用いて重み付け係数の学習を行う。なお、第１ニューラルネットワーク２、第２ニューラルネットワーク３及びトリプレット部４は、学習データに基づいて同時に重み付け係数の学習を行ってもよい。

【0030】

第２ニューラルネットワーク３及びトリプレット部４は、バッチ確率的勾配降下法において、下記（３）式に示す損失関数Ｌ（Θ、Ｗ）を最小化するように、ＬＳＴＭ３１のパラメータ（ＬＳＴＭパラメータ）Θ及びトリプレットユニット４１のパラメータ（トリプレットパラメータ）Ｗの最適化を行う。損失関数Ｌ（Θ、Ｗ）は、所定関数の一具体例である。

【0031】

第２ニューラルネットワーク３及びトリプレット部４は、損失関数を最小化した（収束させた）後、バリデーションデータセットで最も精度の高いパラメータを学習結果（学習済み重み付け係数）として保持する。

【数1】

【0032】

上記式において、Ｎ_ｓ、Ｎ_ｐ、Ｎ_ｏは、夫々、subject、predicate、objectのクラス数を示す。ｘは画像を示し、ｘ∈Ｒ^{３×２２４×２２４}となっている。ＣＮＮ（ｘ）は、第１ニューラルネットワーク２から出力される第１特徴量を示し、ＣＮＮ（ｘ）∈Ｒ^４０９６となっている。

【0033】

ＬＳＴＭ_ｔは、ステップｔにおけるＬＳＴＭ３１からの出力値を示し、ＬＳＴＭ∈Ｒ^１０２４となっている。ΘはＬＳＴＭパラメータを示している。ｓ′_ｔ、ｐ′_ｔ、ｏ′_ｔは、夫々、第１乃至第３認識部４１１、４１２、４１３から出力されるステップｔにおけるsubject、predicate、objectの事後確率分布ベクトルを示す。ｙ′_ｔは、ステップｔにおけるトリプレットユニット４１からの出力値を示し、ｙ′_ｔ＝（ｓ′_ｔ、ｐ′_ｔ、ｏ′_ｔ）となっている。Ｗは、トリプレットパラメータを示している。

【0034】

ｓ_ｔ、ｐ_ｔ、ｏ_ｔは、夫々、ステップｔにおけるsubject、predicate、objectの教師データを示す。ＴＵ（）は、トリプレット関数であり、予めトリプレットユニット４１に設定されている。なお、上記（２）式のステップｔにおける各ＬＳＴＭ３１の出力Ｌ_ｔ（Θ、Ｗ）を加算したものが上記（３）式に示す損失関数Ｌ（Θ、Ｗ）となっている。

【0035】

第２ニューラルネットワーク３及びトリプレット部４は、第１乃至第３認識部４１１、４１２、４１３の出力データであるｓ′_ｔ、ｐ′_ｔ、ｏ′_ｔと、教師データであるｓ_ｔ、ｐ_ｔ、ｏ_ｔとの差が最小となるようにＬＳＴＭパラメータΘ及びトリプレットパラメータＷを決定し、損失関数Ｌ（Θ、Ｗ）を最小化している。

【0036】

上述したように、第１ニューラルネットワーク２、第２ニューラルネットワーク３及びトリプレット部４は、予め用意した学習データに基づいて学習を行い、その学習結果を保持する。

【0037】

＜認識工程＞
続いて、物体間関係認識装置１は、上記＜学習工程＞において学習した学習結果（ＬＳＴＭパラメータΘ及びトリプレットパラメータＷ）を用いて、新たに取得された認識対象画像に含まれる各物体間の関係を示す物体間関係を認識する。物体間関係認識装置１は、認識対象画像に基づいて、その認識対象画像に含まれる各物体の物体間関係を認識する。認識対象画像は、例えば、ロボットのカメラにより取得された画像やメモリになどに予め記憶された画像である。

【0038】

第１ニューラルネットワーク２に、例えば、図４に示す如く、認識対象画像ｘが入力される（図４の（１））。

【0039】

第１ニューラルネットワーク２は、入力された認識対象画像ｘに基づいて、学習済み重み付け係数に基づく演算を行い、例えば、４０９６次元ベクトルの第１特徴量ＣＮＮ（ｘ）を、第２ニューラルネットワーク３の各ＬＳＴＭ３１に対し出力する。

【0040】

各ＬＳＴＭ３１は、第１ニューラルネットワーク２からの第１特徴量ＣＮＮ（ｘ）に基づいて、上記学習工程で設定されたＬＳＴＭパラメータΘに従って演算を行い、例えば、１０２４次元ベクトルの第２特徴量ＬＳＴＭ_ｔを、トリプレット部４の各トリプレットユニット４１に対し出力する（図４の（２））。

【0041】

各トリプレットユニット４１の第１乃至第３認識部４１１、４１２、４１３は、各ＬＳＴＭ３１からの第２特徴量ＬＳＴＭ_ｔに基づいて、上記学習工程で設定されたトリプレットパラメータＷに従がって演算を行い、subject、predicate、及びobjectの事後確率分布ベクトルｓ′_ｔ、ｐ′_ｔ、ｏ′_ｔを出力する（図４の（３））。

【0042】

トリプレット部４は、各トリプレットユニット４１の第１乃至第３認識部４１１、４１２、４１３から出力されるsubject、predicate、及びobjectの事後確率分布ベクトルｓ′_ｔ、ｐ′_ｔ、ｏ′_ｔに基づいて、各トリプレットユニット４１から出力されるトリプレット（subject、predicate、及びobjectの組合せ）の中から、ベクトルの最大値を取るトリプレットを選択し、そのトリプレットを物体間関係として認識し出力する（図４の（４））。

【0043】

トリプレット部４は、例えば、図４に示す如く、トリプレット（Monitor on table）、（Mouse on table）、・・・、及び（Person sitting chair）の中から、トリプレット（Monitor on table）を選択し、物体間関係として認識し出力する。物体間関係認識装置１は、例えば、トリプレット部４から出力される物体間関係を、ディスプレイ、スピーカ、プリンタなどの出力装置を用いてユーザに対し出力する。物体間関係認識装置１は、入力画像に対し出力装置を用いて、例えば、図５に示す如く、物体間関係（stem on table）をグラフで出力してもよい。これにより、ユーザは、物体間関係を視覚的に容易に認識できる。

【0044】

上述したように、本実施形態１に係る物体間関係認識装置１は、画像の特徴量を、複数のＬＳＴＭ３１で構成された再帰的な第２ニューラルネットワーク３に入力し、その出力からトリプレット部４のトリプレットユニット４１を用いて、物体間関係を認識する。これにより、逐次的に物体間関係を認識し出力することができ、出力済みの物体間関係を考慮して、物体間関係を短時間で出力できる。

【0045】

また、画像から複数の物体間関係を認識する場合、同一の物体間関係を重複して出力したり、類似した物体間関係を複数出力するのを抑制するのが好ましい。これに対し、本実施形態１に係る物体間関係認識装置１において、再帰的な第２ニューラルネットワーク３は、逐次的に各ステップで出力した際の過去の出力結果を考慮するようにモデル化されている。このため、多様な物体間関係を出力しつつも、同一あるいは類似した物体間関係の出力を抑制でき、物体間関係の意味的重複を排除できる。

【0046】

さらに、従来のランキング学習を用いた手法では、ランクに基づいてスコアの大きさにかかわらず一定数の物体間関係を出力するようにモデル化されていた。これに対し、本実施形態１に係る物体間関係認識装置１は、物体間関係を逐次的に出力できる。このため、物体間関係認識装置１は、例えば、認識対象画像に対して正しいと考えられる物体間関係のみを選択し出力することができる。すなわち、本実施形態１に係る物体間関係認識装置１は、設定された最大数以下で、任意の数の物体間関係を出力することができるため、物体間関係を選択的に出力できる。

【0047】

図６は、本実施形態１に係る物体間関係認識装置の認識方法のフローを示すフローチャートである。
例えば、学習工程において、第１ニューラルネットワーク２は、予め用意した画像データ群などを基づいて、学習を行う。

【0048】

第２ニューラルネットワーク３及びトリプレット部４は、予め用意した画像と物体間関係とを対応付けた学習データに基づいて学習を行い、損失関数Ｌ（Θ、Ｗ）のＬＳＴＭパラメータΘ及びトリプレットパラメータＷを最適化する（ステップＳ１０２）。

【0049】

続いて、認識工程において、第１ニューラルネットワーク２に、認識対象画像が入力される（ステップＳ１０３）。

【0050】

第１ニューラルネットワーク２は、入力された認識対象画像に基づいて学習済み重み付け係数に基づく演算を行い、例えば、４０９６次元ベクトルの第１特徴量を、第２ニューラルネットワーク３の各ＬＳＴＭ３１に対し出力する（ステップＳ１０４）。

【0051】

各ＬＳＴＭ３１は、第１ニューラルネットワーク２から４０９６次元ベクトルの第１特徴量に基づいて、上記学習工程で設定されたＬＳＴＭパラメータΘに従って演算を行い、例えば、１０２４次元ベクトルの第２特徴量を、トリプレット部４の各トリプレットユニット４１に対し出力する（ステップＳ１０５）。

【0052】

各トリプレットユニット４１の第１乃至第３認識部４１１、４１２、４１３は、各ＬＳＴＭ３１からの１０２４次元ベクトルの第２特徴量に基づいて、上記学習工程で設定されたトリプレットパラメータＷに従がって演算を行い、subject、predicate、及びobjectの事後確率分布ベクトルを出力する（ステップＳ１０６）。

【0053】

トリプレット部４は、各トリプレットユニット４１の第１乃至第３認識部４１１、４１２、４１３から出力されるsubject、predicate、及びobjectの事後確率分布ベクトルに基づいて、各トリプレットユニット４１から出力されるトリプレットの中から、ベクトルの最大値を取るトリプレットを選択し、そのトリプレットを物体間関係として出力する（ステップＳ１０７）。

【0054】

以上、本実施形態１に係る物体間関係認識装置１は、画像が入力され、該画像の特徴を示す第１特徴量を出力する第１ニューラルネットワーク２と、第１ニューラルネットワーク２から出力される第１特徴量が入力され、第１特徴量より低次元数の第２特徴量を出力すると共に、内部状態を所定ステップ保持する複数のＬＳＴＭ３１を有する第２ニューラルネットワーク３と、第２ニューラルネットワーク３の各ＬＳＴＭ３１に接続され、該各ＬＳＴＭ３１から出力される第２特徴量が入力され、該入力された第２特徴量に基づいてそれぞれsubject、predicate、及びobjectを認識し、該subject、predicate、及びobjectの事後確率分布ベクトルを出力する第１乃至第３認識部４１１、４１２、４１３で構成される共に、subject、predicate、及びobjectの組合せをそれぞれ出力する複数のトリプレットユニット４１を有するトリプレット部４と、を備える。トリプレット部４は、各トリプレットユニット４１の第１乃至第３認識部４１１、４１２、４１３から出力されるsubject、predicate、及びobjectの事後確率分布ベクトルに基づいて、各トリプレットユニット４１から出力されるsubject、predicate、及びobjectの組合せの中から、少なくとも１つのsubject、predicate、及びobjectの組合せを選択し、該選択したsubject、predicate、及びobjectの組合せを、画像に含まれる物体間の関係として認識する。なお、トリプレットユニット４１は、例えば、図８に示す如く、多層化されていてもよい。

【0055】

本実施形態１に係る物体間関係認識装置１は、上述の如く、トリプレット部４の各トリプレットユニット４１を用いて物体間関係を、subject、predicate、及びobjectのトリプレットに分解して認識する。これにより、物体間関係を認識する際の計算量を大幅に低減できる。

【0056】

また、本実施形態１に係る物体間関係認識装置１は、上述の如く、画像の特徴量を、複数のＬＳＴＭ３１で構成された再帰的な第２ニューラルネットワーク３に入力し、その出力からトリプレット部４のトリプレットユニット４１を用いて、物体間関係を認識する。これにより、逐次的に物体間関係を認識し出力することができ、出力済みの物体間関係を考慮して、物体間関係を短時間で出力できる。

【0057】

さらに、本実施形態１に係る物体間関係認識装置１において、上述の如く、再帰的な第２ニューラルネットワーク３は、逐次的に各ステップで出力した際の過去の出力結果を考慮するようにモデル化されている。これにより、多様な物体間関係を出力しつつも、同一あるいは類似した物体間関係の出力を抑制できる。

【0058】

さらに、本実施形態１に係る物体間関係認識装置１は、上述の如く、物体間関係を逐次的に出力できる。これにより、物体間関係認識装置１は、設定された最大数以下で、任意の数の物体間関係を出力することができ、物体間関係を選択的に出力できる。

【0059】

実施形態２
上記実施形態１において、トリプレットユニット４１の第１乃至第３認識部４１１、４１２、４１３は、独立して、subject、predicate、及びobjectを夫々認識している。一方、本実施形態２において、トリプレットユニット４１の第２認識部４１２は、図７に示す如く、第１及び第３認識部４１１、４１３からの出力される認識結果に依存して、predicateを認識するように構成されている。トリプレットユニット４１は、所謂Object-First型として構成されている。

【0060】

第１及び第３認識部４１１、４１３は、それぞれ、subject及びobjectの事後確率分布ベクトルｓ′_ｔ、ｏ′_ｔを第２認識部４１２に出力する。第２認識部４１２は、第１及び第３認識部４１１、４１３から出力されるsubject及びobjectの事後確率分布ベクトルｓ′_ｔ、ｏ′_ｔと、対応するＬＳＴＭ３１から出力されるＬＳＴＭ_ｔと、に基づいて、predicateを認識し、該predicateの事後確率分布ベクトルｐ′_ｔを出力する。

【0061】

上記構成により、例えば、（man、wear、horse）のような間違った、subject、predicate、objectの認識を抑制し、２つの物体間でより出現頻度の高い関係を出力できる。したがって、認識精度をより向上させることができる。なお、本実施形態２において、他の構成は、上記実施形態１と略同一であり、同一部分には同一符号を付して詳細な説明は省略する。

【0062】

図９（ａ）及び（ｂ）は、本実施形態１及び２に係る物体間関係認識装置１によるシミュレーション結果を示す図である。図９（ａ）及び（ｂ）において、縦軸は夫々Precision（精度）（％）及びRecall（再現度）（％）を示し、横軸は、各物体間関係認識装置１が認識した物体間関係の数である。実線（１）は、実施形態１に係る物体間関係認識装置１の結果を示し、点線（２）は、実施形態２に係る物体間関係認識装置１の結果を示している。物体クラス数および関係性クラス数が、それぞれ、１０００存在するデータを用いて、本シミュレーションを行っている。

【0063】

図９（ａ）及び（ｂ）に示すように、本実施形態２に係る物体間関係認識装置１は、上記実施形態１に係る物体間関係認識装置１と比較して、Precision及びRecallの両方において、良好な結果を示していることが分かる。

【0064】

実施形態３
本発明の実施形態３において、上記実施形態１又は２に係る物体間関係認識装置１は、例えば、図１０に示す如く、自律型のロボット１０に搭載されてもよい。図１０は、物体間関係認識装置が搭載されたロボットの概略的構成を示すブロック図である。

【0065】

例えば、ロボット１０は、物体間関係認識装置１により認識された物体間関係に基づいて、操作対象物の操作を行う。ロボット１０は、制御部１１や記憶部１２、アクチュエータ１３等を備えており、ロボット１０の記憶部１２に、認識された物体間関係を記憶する。制御部１１が記憶部１２に記憶された物体間関係にしたがってアクチュエータ１３等の動作を制御する。

【0066】

例えば、ロボット１０は、図１１に示す如く、認識された物体間関係（stem on table）にしたがい、テーブル（table）上（on）の物体（stem）を把持し、ゴミ箱などに入れる。これより、ロボット１０は、物体間関係認識装置１により認識された物体間関係を用いて、操作対象物を高精度かつ安全に操作できる。

【0067】

なお、本実施形態３において、物体間関係認識装置１は、ロボット１０に搭載される構成であるが、これに限定されない。物体間関係認識装置１は、ロボット１０に搭載されない構成であってもよい。この場合、物体間関係認識装置１は、認識した物体間関係を、有線あるいは無線を介して、ロボット１０に送信してもよい。なお、本実施形態３において、他の構成は、上記実施形態１及び２と略同一であり、同一部分には同一符号を付して詳細な説明は省略する。

【0068】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0069】

例えば、上記実施形態において、第２ニューラルネットワーク３は、複数のＬＳＴＭ３１を有する構成であるが、これに限定されない。第２ニューラルネットワーク３は、例えば、複数のＧＲＵ（Gated Recurrent Unit）を有する構成であってもよい。ＧＲＵは、ＬＳＴＭ３１の構成を簡略化したモデルである。ＧＲＵは、ＬＳＴＭ３１のゲート数を３つから２つに減らした構造を有している。ＧＲＵは、Update Gate及びReset Gateの２つのゲートによってメモリセルの中身の維持及び出力を制御する。さらに、第２ニューラルネットワーク３は、複数の双方向ＬＳＴＭ（bi-directional ＬＳＴＭ）を有する構成であってもよい。

【0070】

本発明は、例えば、図６に示す処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。

【0071】

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

【0072】

プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0073】

さらに、本発明は、学習済みモデルにより実現することも可能である。学習済みモデルは、人工知能ソフトウエアの一部であるプログラムモジュールとしての利用が想定される。学習済みモデルは、ＣＰＵ及びメモリを備えるコンピュータにて用いられる。具体的には、コンピュータのＣＰＵが、メモリに記憶された学習済みモデルからの指令に従って、第１ニューラルネットワーク２に入力された認識対象画像に対し、第１ニューラルネットワーク２、第２ニューラルネットワーク３、及びトリプレット部４における学習済み重み付け係数に基づく演算を行い、トリプレット部４から結果（認識対象画像に含まれる各物体間の関係）が出力するよう動作する。

【符号の説明】

【0074】

１ 物体間関係認識装置、２ 第１ニューラルネットワーク、３ 第２ニューラルネットワーク、４ トリプレット部、１０ ロボット、１１ 制御部、１２ 記憶部、１３ アクチュエータ、４１ トリプレットユニット、４１１ 第１認識部、４１２ 第２認識部、４１３ 第３認識部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】