特開 2023-18893 学習装置及びロボット制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023018893

(43)【公開日】2023-02-09

(54)【発明の名称】学習装置及びロボット制御システム

(51)【国際特許分類】

   B25J 13/00 20060101AFI20230202BHJP

   G06N 20/00 20190101ALI20230202BHJP

【ＦＩ】

B25J13/00 Z

G06N20/00

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021123255

(22)【出願日】2021-07-28

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000925

【氏名又は名称】弁理士法人信友国際特許事務所

(72)【発明者】

【氏名】伊藤 洋

(72)【発明者】

【氏名】一藁 秀行

(72)【発明者】

【氏名】山本 健次郎

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS04

3C707AS21

3C707HS27

3C707KS03

3C707KS07

3C707KS21

3C707KS35

3C707KS37

3C707KT01

3C707KT04

3C707LW12

3C707LW15

3C707MT01

(57)【要約】

【課題】ロボットに対して新たに入力された動作指示が明確でなくてもロボットに何らかの動作を行わせることが可能な学習装置を提供する。
【解決手段】学習装置４０は、目的動作に合わせてモデル定義部４１から読み出したモデルを用いて、計測情報と、撮影画像と、指示情報とを学習する学習部４２と、学習部４２が学習したモデルへの重みを保存する重み保存部４３と、ロボット１０への指示情報３０が新たに入力されると、モデル定義部４１から読み出したモデルに重み保存部４３から読み出した重みをかけ、新たに計測された計測情報と、新たに撮影された撮影画像と、新たに入力されたロボット１０へ指示情報３０とをモデルに適用して指示情報の意図を予測し、かつロボット１０の目的動作、及び目的動作の対象となる物体を推論し、予測した指示情報の意図に合わせた目的動作をロボット１０に行わせるための駆動指令を予測する推論部４４を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

ロボットの目的動作に合わせたモデルが定義されるモデル定義部と、
前記ロボットの目的動作に合わせて前記モデル定義部から読み出した前記モデルを用いて、前記ロボットの動作が計測された計測情報と、前記ロボットによる動作対象である物体が撮影された撮影画像と、前記ロボットへの動作指示が言語化された指示語を含む指示情報とを学習する学習部と、
前記学習部が学習した前記モデルへの重みを保存する重み保存部と、
前記ロボットへの指示情報が新たに入力されると、前記モデル定義部から読み出した前記モデルに前記重み保存部から読み出した前記重みをかけ、新たに計測された計測情報と、新たに撮影された撮影画像と、新たに入力された前記ロボットへの指示情報とを前記モデルに適用して前記指示情報の意図を予測し、かつ前記ロボットの目的動作、及び前記目的動作の対象となる物体を推論し、予測した前記指示情報の意図に合わせた前記目的動作を前記ロボットに行わせるための駆動指令を予測する推論部と、を備える
学習装置。

【請求項2】

前記学習部は、
前記計測情報、前記撮影画像及び前記指示情報を学習データとして蓄積する学習データ蓄積部から読み出した前記学習データに基づいて、前記目的動作が教示される前記ロボットの動作を学習する動作学習部と、
前記学習データ蓄積部から読み出した前記指示情報と、前記目的動作が教示される前記ロボットの動作が計測された前記計測情報との対応を学習した学習結果に基づいて、前記指示情報の意図を予測する指示学習部と、
前記指示学習部による前記指示情報の学習結果を前記動作学習部で共有する共有部と、を備える
請求項１に記載の学習装置。

【請求項3】

前記動作学習部は、
前記学習データ蓄積部から読み出した前記学習データに含まれる前記撮影画像から前記動作対象である前記物体の形状及び位置を認識する物体認識部と、
前記共有部から取得する前記指示情報の学習結果と、前記物体認識部から時系列で入力される前記物体の形状及び位置に基づいて、前記物体認識部が前記物体の形状及び位置を認識してから所定時間後の前記物体の位置を学習して予測し、前記指示情報の学習結果に基づいて前記ロボットへの指令を学習して予測する時系列学習部と、
前記時系列学習部により予測された所定時間後の前記物体の位置に基づいて、前記指示情報で動作指示が行われた物体を推定する指示対象推定部と、を備える
請求項２に記載の学習装置。

【請求項4】

前記時系列学習部は、所定時間後の前記物体の位置の重要度を学習して予測し、
前記指示対象推定部は、予測された所定時間後の前記物体の位置、及び前記重要度に基づいて前記撮影画像に含まれる前記物体のヒートマップを作成し、前記ヒートマップに前記モデルを適用して、所定時間後に撮影されると予測した予測画像を出力する
請求項３に記載の学習装置。

【請求項5】

前記時系列学習部は、前記共有部から取得した前記指示情報の学習結果に基づいて、所定時間後の前記物体の位置、及び重要度、並びに前記ロボットの目的動作を変更する
請求項４に記載の学習装置。

【請求項6】

前記推論部は、前記時系列学習部により予測された前記重要度が、他に予測された前記重要度よりも大きい前記物体に注目して、前記物体を前記目的動作の対象とするように前記駆動指令を出力する
請求項４に記載の学習装置。

【請求項7】

前記ヒートマップ、及び前記予測画像、及び予測された前記ロボットへの指令のうち、少なくとも一つが表示装置に表示可能に出力される
請求項４に記載の学習装置。

【請求項8】

前記学習部は、
前記計測情報、前記撮影画像及び前記指示情報を学習データとして蓄積する学習データ蓄積部から読み出した前記学習データに基づいて、前記目的動作が教示される前記ロボットの動作を学習する動作学習部と、
入力される前記指示情報を圧縮して、圧縮した前記指示情報に基づいて、前記指示情報の意図を予測する指示学習部と、を備え、
前記指示学習部は、前記指示情報の意図と、前記目的動作が教示される前記ロボットの動作により計測される前記計測情報との対応を学習した学習結果を前記動作学習部と共有する共有部を有する
請求項１に記載の学習装置。

【請求項9】

目的動作に従って動作するロボットと、
前記ロボットの動作が計測された計測情報と、前記ロボットによる動作対象である物体が撮影された撮影画像と、前記ロボットへの動作指示が言語化された指示語を含む指示情報と、を蓄積する記憶装置と、
前記記憶装置から読み出した情報に基づいて、前記ロボットに前記目的動作を行わせるための駆動指令を出力する学習装置と、を備えるロボット制御システムであって、
前記学習装置は、
前記目的動作に合わせたモデルが定義されるモデル定義部と、
前記目的動作に合わせて前記モデル定義部から読み出した前記モデルを用いて、前記計測情報と、前記撮影画像と、前記指示情報とを学習する学習部と、
前記学習部が学習した前記モデルへの重みを保存する重み保存部と、
前記ロボットへの指示情報が新たに入力されると、前記モデル定義部から読み出した前記モデルに前記重み保存部から読み出した前記重みをかけ、新たに計測された計測情報と、新たに撮影された撮影画像と、新たに入力された前記ロボットへの指示情報とを前記モデルに適用して前記指示情報の意図を予測し、かつ前記ロボットの目的動作、及び前記目的動作の対象となる物体を推論し、予測した前記指示情報の意図に合わせた前記目的動作を前記ロボットに行わせるための駆動指令を予測する推論部と、を備える
ロボット制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習装置及びロボット制御システムに関する。

【背景技術】

【0002】

例えば、製造・建設現場などにおいて、人とロボットが協調して作業するためには、ロボットが人の作業指示や作業手順書などを適切に理解し、動作できるようにする技術が必要である。しかし、ロボットを操作する人がロボットに対する全ての指令をプログラミングするには、膨大な開発工数や高度な専門知識が必要である。そこで、従来から人の指示をロボットが解釈できるようにするための技術が検討されていた。

【0003】

特許文献１には、「脚式移動ロボットは、比較的長い教示動作やその他の行動を分節化するとともに、分節化された各動作を、音声認識などにより認識された入力シンボルと連想して記憶する。したがって、動作再生時においては、比較的長い動作パターンを容易に指示することができる。また、直接的には同一のものを学習していない行動であっても、音声指示により入力されたシンボルから連想していくことにより、指示により近い行動を発現することができる。」と記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００２－３３７０７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、人とロボットが協調して作業するためには、ロボットが周囲の状況を正確に認識する技術に加え、人が発声する言語による指示や作業手順書に書かれた指示などをロボットが適切に理解し、指示対象物を推定する技術が必要である。近年の画像認識技術の向上により、ロボットが周囲の状況や多様な物体を高精度に認識することが可能になった。

【0006】

しかし、画像認識技術を用いた手法では、ロボットが既に学習したラベルが付された物体しか認識できず、未学習ラベルの物体を認識することはできない。また、日常に存在する全ての物体に付するラベルを事前に学習することは現実的ではない。

【0007】

また、従来のロボット操作では、人による指示と、ロボットの動作とが１対１に対応していたため、ロボットは指示された物体を把持する動作を行っていた。しかし、人が一般的に用いる指示語には、未学習の単語や、抽象化された指示が含まれることが多い。例えば、「あれ取って」、「右の物取って」、「赤いの取って」のように、こそあど言葉（指示語）を用いて指示することが多い。このため、ロボットには、現在の状況や過去の経験に基づいて、指示された対象物を判断する能力が求められる。さらに、人が「あれ」や「右の物」と指示する指示対象物をロボットが認識するためには基準点が必要である。しかし、ロボットが画像中の物体を網羅的に認識する一般的な画像認識の手法で基準点を推定することは困難であった。

【0008】

ここで、工場などの環境でロボットが自律的に繰り返し作業するような状況を検討する。この工場では、ばら積みされた物体をロボットがアームで把持するランダムピッキングの作業が行われるものとする。この作業では、ロボットが物体を認識した順、又はロボットが掴み易い順に物体を把持する動作が行われることが多い。

【0009】

そして、赤色をした同一形状や類似形状の物体が複数置かれた状態で「赤いのを取って」のような曖昧な指示がされることを想定する。指示されたのが人であれば、その人は、複数の物体から指示の内容に合いそうな物体を１つ選んで掴むことができる。しかし、指示されたのがロボットであれば、指示の内容に合う物体を選ぶことができず、ロボットはどの物体を取ればよいか分からない。このようにロボットは、自律的に把持すべき物体を選べないので、ロボットが物体を把持するためのアームの軌道を計画すること、すなわちロボットの動作を確定することもできない。

【0010】

本発明はこのような状況に鑑みて成されたものであり、入力されたロボットへの指示が明確でなく、ロボットの動作対象とする物体が不明確な状況であっても、ロボットに何らかの動作を行わせることを目的とする。

【課題を解決するための手段】

【0011】

本発明に係る学習装置は、ロボットの目的動作に合わせたモデルが定義されるモデル定義部と、ロボットの目的動作に合わせてモデル定義部から読み出したモデルを用いて、ロボットの動作が計測された計測情報と、ロボットによる動作対象である物体が撮影された撮影画像と、ロボットへの動作指示が言語化された指示語を含む指示情報とを学習する学習部と、学習部が学習したモデルへの重みを保存する重み保存部と、ロボットへの指示情報が新たに入力されると、モデル定義部から読み出したモデルに重み保存部から読み出した重みをかけ、新たに計測された計測情報と、新たに撮影された撮影画像と、新たに入力されたロボットへの指示情報とをモデルに適用して指示情報の意図を予測し、かつロボットの目的動作、及び目的動作の対象となる物体を推論し、予測した指示情報の意図に合わせた目的動作をロボットに行わせるための駆動指令を予測する推論部と、を備える。

【発明の効果】

【0012】

本発明によれば、入力されたロボットへの指示が明確でなく、ロボットの動作対象とする物体が不明確な状況であっても、その指示の意図を予測して推論した何らかの目的動作をロボットに行わせることが可能となる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0013】

【図1】ボトムアップ型とトップダウン型の２種類の注意機構を説明するための図である。

【図2】本発明の第１の実施形態に係る学習装置を備えるロボットシステムの構成例を示すブロック図である。

【図3】本発明の第１の実施形態に係るモデルの例を示すブロック図である。

【図4】本発明の第１の実施形態に係るヒートマップの具体的な表示例を示す図である。

【図5】本発明の第１の実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。

【図6】本発明の第１の実施形態に係るロボットシステムで行われる動作教示処理の一例を示すフローチャートである。

【図7】本発明の第１の実施形態に係るロボットシステムで行われる動作学習処理の一例を示すフローチャートである。

【図8】本発明の第１の実施形態に係るロボットシステムで行われる動作生成処理の一例を示すフローチャートである。

【図9】本発明の第２の実施形態に係るモデルの例を示すブロック図である。

【発明を実施するための形態】

【0014】

以下、本発明を実施するための形態について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。

【0015】

［用語の定義］
まず、本明細書に記載されている用語の定義を説明する。
「センサデータ」とは、ロボットの各駆動部（アクチュエータ）の状態を計測するセンサ（関節角度、電流値、トルク値、触覚値、撮影画像等）の計測値や、ロボット外部に取り付けられ、周囲の状況を計測するセンサ（カメラやモーションキャプチャなど）の計測値である。
「学習データ」とは、ロボットに目的動作を教示した際の学習で用いられる一連のセンサデータであり、時系列に保存される。この学習データは、複数の時刻で計測されたセンサデータと、ロボットに対して行われた言語指示の指示情報とが対応付けられたデータである。
「目的動作」とは、ロボットに行わせる動作である。人の音声指示、又はテキスト入力等による指示情報３０（後述する図２を参照）によってロボットに目的動作が指示される。

【0016】

［本発明者による知見］
上述したように、機械学習は、これまで難しかった複雑な認識や識別を高精度に実現する方法として注目されている。そこで、本発明者は、機械学習を用いて、曖昧な指示からロボットの目的動作を予測し、予測した目的動作をロボットに行わせることが可能な学習装置を検討した。この学習装置の一例は、後述する図２に学習装置４０として示される。

【0017】

学習装置は、ロボットに教示された目的動作を学習することで、ロボットの周囲の環境が変化しても、ロボットに行わせる動作を自律的に生成することが可能である。従来のロボットシステムは、人の指示を理解する言語処理部と、ロボットの動作生成部とを、それぞれ個別に開発したものを統合した技術が多かった。この手法は、言語処理部で認識した単語と動作を一対一に対応させ、この対応関係をデータベースに記録することで、指示に基づいた動作を実現していた。ただし、この手法は、データベースに記録されていない指示が学習装置に入力された場合、学習装置がロボットの適切な動作を生成できないことに課題があった。

【0018】

上述した特許文献１に開示された技術では、動作生成部が、言語処理部により抽出された特徴量を基にロボットの動作を推定するものであった。しかし、例えば、赤色をした「同一形状」や「類似形状」の物体が複数置かれた状態で「赤いのを取って」と指示されると、ロボットはどれを取ればよいか分からず、動作を停止せざるをえなかった。

【0019】

ここで、脳神経科学によると、人の視覚情報処理にはボトムアップ型とトップダウン型の２種類の注意機構が存在することが判明した。これら２種類の注意機構について、図１を参照して説明する。

【0020】

図１は、ボトムアップ型とトップダウン型の２種類の注意機構を説明するための図である。図１Ａは、ボトムアップ型の注意機構を説明するための図である。また、図１Ｂは、トップダウン型の注意機構を説明するための図である。

【0021】

ボトムアップ型の注意機構は、視覚情報から瞬時に判断される注意に関する機構であり、周囲と異なる状況に対して、人の注意を受動的に惹きつける。例えば、人が目標対象物（正立したL字対象物）を探すとき、図１Ａに示すように多数の青色物体がある中で橙色の目標対象物が一つだけ存在するような状況であれば、目標対象物が目立つ。このため、人は容易に目標対象物を見つけることができる。

【0022】

一方でトップダウン型の注意機構では、事前に得た知識や予測などに基づいて特定の空間位置や特徴に能動的にバイアスをかけることで人の注意を向けることができる。例えば、図１Ｂに示すように、様々な形・色の物体が混在している状況で、目標対象物が目立たない状況を想定する。この状況であっても、人は、目標の位置や特徴に注意を向けることによって見つけることができる。参考までに、図１Ａと図１Ｂに示した目標対象物（正立した橙色のL字対象物）はどちらも同じ場所にあるものとする。

【0023】

本明細書に開示される技術は、人又は機械の指示に基づいて動作するロボットのマニピュレーション作業を対象にする。このマニピュレーション作業の例として物体把持について説明する。

【0024】

一般的な物体認識技術は、視覚情報に基づいて多種多様な物体を瞬時に認識することからボトムアップ型と言える。そのため、ロボットが物体を把持する技術に物体認識技術を適用する場合、複数の認識結果からある指標、例えば、ロボットによる物体の把持のし易さや、物体の前後位置関係といった指標に基づいて、ロボットが把持対象物を自律的に決定する必要がある。

【0025】

従来の学習装置は、人の指示情報が明確であれば、ロボットの視覚画像中の把持対象物と、ロボットの状態とに基づいて、ロボットの把持動作を逐次生成することが可能であった。例えば、色や形が異なる複数の物体が置かれた状況であっても、ロボットが人の指示に合わせて適切な対象物を選択し、選択した対象物を把持することが可能であった。しかし曖昧な状況、例えば同一形状又は類似形状の物体が複数置かれた状況では、把持対象物を一意に特定することは困難であった。ロボットが人の指示を適切に判断するためには、学習経験や周囲の状況、前後の文脈などに基づいて、人の指示の意図を理解し、対象物を判断する能力が求められていた。

【0026】

そこで、本発明者は、人の指示と、物体との関係と、物体の重要度とを学習し、ロボットの目的動作を生成することが可能な学習装置を発明した。この手法では、複数の物体を識別して得る複数の情報に基づいて、学習装置が把持対象物を一意に特定することが可能となる。このため、同一形状又は類似形状の物体が複数置かれた状況であっても、学習装置が把持対象物を一意に特定し、ロボットの把持動作を生成することが可能である。さらに、学習装置が把持対象物に着目しながら物体把持動作を生成することから、周囲の環境変化や環境ノイズに対してロバストな動作生成が可能になる。以下に、本発明の実施形態に係る学習装置の詳細な構成例及び動作例について説明する。

【0027】

［第１の実施形態］
ここでは、本発明者が発明した学習装置の第１の実施形態について、添付図面を参照して詳細に説明する。なお、以下に説明する実施形態は、本開示の実現手段としての一例であり、本開示が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本開示は以下の実施形態に限定されるものではない。

【0028】

始めに、本発明の第１の実施形態に係るロボットシステムについて説明する。
図２は、学習装置４０を備えるロボットシステム１０００の構成例を示すブロック図である。

【0029】

ロボットシステム１０００は、ロボット１０、記憶装置２０、学習装置４０、表示装置５０を備える。ロボット１０は、学習装置４０が指示情報３０を解釈して生成する予測指令に基づき、対象物を把持する等の動作を行う。

【0030】

本実施形態に係るロボットシステム１０００では、始めに人等がロボット１０（ロボット装置の一例）に所望の目的動作を教示する。所望の目的動作として、例えば、特定の位置にある物体をロボット１０が把持し、別の位置に物体を移動させる動作がある。このように、ロボット１０が実際に対象物を把持する１回の把持動作を、「動作教示」と呼ぶ。

【0031】

動作教示では、人が遠隔操作装置を用いてロボット１０を遠隔操作する手法や、人がロボットを直接操作するダイレクトティーチングなどの手法を用いて、ロボット１０に対し、所望のマニピュレーション動作（以下、「動作」と略記する）を教示する。ロボット１０は、不図示のアームを対象物に向けて伸ばしたり、関節を所定の角度で曲げたり、把持部の開くタイミングといった様々な動作が教示される。

【0032】

ロボット１０が動作教示されている間、不図示のセンサがロボット１０の各部の機器を計測してロボットセンサデータとして記憶装置２０に出力する。ロボットセンサデータ蓄積部２１には、動作教示に伴う時系列のロボットセンサデータが蓄積される。ロボットセンサデータには、例えば、実際に対象物体のマニピュレーションを行うときに計測部１１が計測したセンサ情報（アームの関節角やトルク値、モータ電流の電流値など）が含まれる。また、ロボットセンサデータには、ロボット１０の周囲、又はロボット１０自体に取り付けられたカメラが撮影した撮影画像（デプス画像など）も含まれる。このため、計測部１１は、カメラを含む。

【0033】

記憶装置２０は、ロボット１０から取得したロボットセンサデータ、ロボットシステム１０００に入力された指示情報３０を記憶し、蓄積する。この記憶装置２０は、ロボットセンサデータ蓄積部２１、指示データ蓄積部２２及び学習データ蓄積部２３を備える。

【0034】

ロボットセンサデータ蓄積部２１は、上述したようにロボット１０から入力したセンサ情報や撮影画像をロボットセンサデータとして蓄積する。

【0035】

指示データ蓄積部２２は、ロボットシステム１０００の外部から入力した指示情報３０を指示データとして蓄積する。この指示情報３０は、ロボットに教示した動作に１対１で対応する言語指示を含む情報である。例えば、赤色の対象物を掴む動作をロボット１０に教示した場合、それに対応した指示情報として「Pickup red object」という文章を記録する。このように言語指示には、「赤いのを取って」のような対象物の色だけを指定した文章情報、「ペットボトルを取って」のような対象物の種類だけを指定した情報が含まれる。指示情報３０は、文章以外にも作業手順書や、人の音声などであってもよい。

【0036】

学習データ蓄積部２３は、ロボットセンサデータ蓄積部２１から取得するロボットセンサデータ（センサ情報）及び撮影画像と、指示データ蓄積部２２から取得する指示データ（指示情報３０）とを一対一に対応させた情報を学習データとして蓄積する。本明細書では、ロボットセンサデータ、撮影画像、及び指示データをまとめたものを「学習データ」と呼ぶ。

【0037】

ロボット１０に目的動作が教示される間、学習装置４０は、ロボットセンサデータと指示データを用いて、ロボット１０が目的動作を遂行するために必要な情報を学習する。動作教示の後、再び指示情報３０が入力されると、学習装置４０は、ロボット１０に行わせる動作を自律的に生成することが可能となる。ここで、入力される指示情報３０は、ロボット１０に目的動作が教示された時に入力された指示情報３０と全く同じでなくても構わない。指示情報３０として入力される言語指示の一部が欠けたり、異なる表現であったりしてもよい。そして、入力された指示情報３０に基づいて学習装置４０が生成した予測指令により、ロボット１０が目的動作を実行することが可能となる。

【0038】

学習装置４０は、モデル定義部４１に人が予め定義したモデル（ネットワーク構成）と、学習データ蓄積部２３に蓄積された学習データを用いて、目的関数に従って、学習部４２にてモデルの最適パラメータを学習する。この学習装置４０は、ロボットシステム１０００に構成される情報処理装置の一例として用いられる。学習装置４０は、モデル定義部４１、学習部４２、重み保存部４３、及び推論部４４を備える。

【0039】

（学習処理）
この学習装置４０は、記憶装置２０により生成された学習データを用いてモデルを機械学習する。そして、学習装置４０は、学習したモデルを用いて指示情報３０が指示する対象物体を認識して所望のマニピュレーション動作を生成する。本実施形態に係る学習装置４０の学習部４２は、例えば、ディープラーニングの一種であるＣＮＮ（Convolutional Neural Network）とＲＮＮ（Recurrent Neural Network）を使ってモデルを学習する。

【0040】

モデル定義部４１は、人が予め定義した任意の機械学習モデル（例えば、ニューラルネットワークのネットワーク構成など）を格納する。以下の説明では、機械学習モデルを「モデル」と略記する。モデル定義部４１には、ロボット１０の目的動作に合わせたモデルが定義されており、このモデルには、学習部４２が学習する時のパラメータが構成されている。後述する図３には、複数のブロック（パラメータ）とデータの流れ（矢印）で表されたモデルの例が示される。また、モデル定義部４１には、ロボット１０が実行するタスク（目的動作）に応じて異なるモデルが用意されている。例えば、ロボット１０が物体を把持するタスクに対応するモデル、ロボット１０がネジを締めるタスクに対応するモデル等がある。本実施形態では、ロボット１０が物体を把持するタスクに対応するモデルが選択されるものとする。

【0041】

学習部４２は、記憶装置２０の学習データ蓄積部２３から学習データを読み出す。上述したように学習データは、計測情報、撮影画像及び指示情報３０をまとめたデータである。この学習部４２は、ロボット１０の目的動作に合わせてモデル定義部４１から読み出したモデルを用いて、ロボット１０の動作が計測された計測情報（ロボットセンサデータ）と、ロボット１０による動作対象である物体が撮影された撮影画像と、ロボット１０への動作指示が言語化された指示語を含む指示情報３０とを学習する。学習部４２は、ロボット１０で実行されるタスクによって、モデル定義部４１から読み出し、学習に用いるモデルを切り替え可能である。

【0042】

重み保存部４３は、学習部４２が学習したモデルに対する重みやバイアスを保存する。重みとは、例えば、学習部４２が学習データを用いて学習してモデルを最適化した時のパラメータ（最適パラメータ）に付加される値である。学習部４２の目的関数とは、人が指定するものである。後述する図３には、本実施形態に係るモデル定義部４１で定義されるモデル、及び、このモデルを用いて指示情報３０に対するロボット１０の動作を学習する学習部４２の一例が示される。

【0043】

（推論処理）
学習装置４０は、記憶装置２０から取得した指示情報３０から意図を予測し、指示情報３０と学習データに基づいて、指示情報３０で指示される目的動作及び対象物を推論し、推論結果をロボット１０に出力する。ロボット１０は、推論結果に基づいて、特定の対象物を把持する動作が可能となる。

【0044】

そこで、推論部４４は、ロボット１０への指示情報３０が新たに入力されると、モデル定義部４１から読み出したモデルに重み保存部４３から読み出した重みをかけて推論する処理にモデルを用いる。そして、推論部４４は、重みをかけたモデルを用いて、新たに撮影された物体の撮影画像からロボット１０による動作対象である物体を識別し、新たに計測された計測情報に基づいて、駆動指令を予測する。

【0045】

そして、推論部４４は、新たに計測された計測情報（ロボットセンサデータ）と、新たに撮影された撮影画像と、新たに入力されたロボット１０への指示情報３０とをモデルに適用して指示情報３０の意図を予測し、かつロボット１０の目的動作、及び目的動作の対象となる物体を推論する。そして、推論部４４は、読み出した指示情報３０から予測指示情報４１２１（後述する図３を参照）を推論する。また、推論部４４は、予測した指示情報３０の意図に合わせた目的動作をロボット１０に行わせるための駆動指令を予測して、予測した駆動指令（後述する図３に示す予測指令４１１２３）を駆動部１２に出力する。

【0046】

推論部４４は、学習モデルとロボットセンサデータとを用いた推論処理を行うことで、マニピュレータの動作指令値を予測した予測指令４１１２３（後述する図３を参照）を生成する。この予測指令４１１２３は、ロボット１０に対する指令データとして、ロボット１０の駆動部１２に入力され、駆動部１２は、指令データに基づいて駆動する。

【0047】

推論処理の間、計測部１１は、駆動部１２の駆動と合わせて、センサ情報を計測し、ロボットセンサデータを出力する。このセンサ情報は、ロボットセンサデータ蓄積部２１に蓄積されると共に、推論部４４に取り込まれる。このため、推論部４４は、リアルタイムで入力されるセンサデータに基づいて、予測指令４１１２３を生成し、ロボット１０の駆動部１２を駆動させる。この推論処理は、ロボット１０の目的動作が終了するまで繰り返し行われる。

【0048】

次に、モデル定義部４１に定義されるモデルのうち、ロボット１０の動作を学習する構成と、指示情報３０を学習する構成について、図３を参照して説明する。
図３は、モデルの例を示すブロック図である。図３の破線で囲った箇所は、モデル定義部４１に格納されるモデルを表す。また、図３の一点鎖線で囲った箇所は、学習部４２がモデルを用いて学習する機能部を表す。上述したように、このモデルは、学習部４２が学習して最適化した後、推論部４４で推論処理に用いられる。

【0049】

始めに、学習部４２の構成例について説明する。
学習部４２は、動作学習部４１１、指示学習部４１２及び知識共有部４１３を備える。

【0050】

動作学習部４１１は、学習データ蓄積部２３から読み出した学習データに基づいて、目的動作が教示されるロボット１０の動作と、学習データとの対応関係を学習する。物体認識部４１１１の機能は、一般的に広く用いられている物体認識技術を用いて実現可能である。例えば、物体認識に特化した機械学習手法（ｙｏｌｏやＳＳＤなど）や、ＱＲ・ＡＲマーカーなどによって認識した位置情報、さらに物体の色重心により認識した位置情報などを利用する物体認識部４１１１が構成可能である。

【0051】

この動作学習部４１１は、物体認識部４１１１、時系列学習部４１１２、及び指示対象推定部４１１３を有する。物体認識部４１１１、時系列学習部４１１２、及び指示対象推定部４１１３に含まれる多数のブロック（フィルタ）を結合したものが、モデル定義部４１で定義されるモデルを表す。そして、動作学習部４１１には、学習データ蓄積部２３から読み出された撮影画像及びセンサ情報が入力される。

【0052】

物体認識部４１１１は、学習データ蓄積部２３から読み出した学習データに含まれる撮影画像からロボット１０の目的動作の対象である物体の形状及び位置を認識する。例えば、物体認識部４１１１は、ある時刻ｔでカメラが撮影した撮影画像に基づいて、その時刻ｔでの物体の位置及び形状を認識する処理を行う。そこで、物体認識部４１１１は、画像特徴量抽出をするＣＮＮと物体の空間的な位置情報を抽出するSpatialSoftmaxを用いて、物体の位置を表す物体位置情報４１１１１を抽出する。SpatialSoftmaxは、機械学習で用いられるSoftmax関数やtanh、sigmoid関数などの関数の一種であり、soft argmaxとも称される。SpatialSoftmaxで抽出される物体位置情報４１１１１の数は、直前のＣＮＮのフィルタ数に基づいて決定される。

【0053】

物体認識部４１１１には、機械学習のパラメータ（重み）の数がブロック４１１１ａで表される。各ブロック４１１１ａは、物体認識部４１１１で実行される学習処理の層を表す。そして、ブロック４１１１ａの奥行き方向の長さが長くなるほど、行列で表されるモデルの層にパラメータが多く含まれることを意味している。例えば、物体認識部４１１１の左側のブロック４１１１ａより、右側のブロック４１１１ａの方が多くのパラメータが含まれる。そして、各ブロック４１１１ａにおけるパラメータの結合が、複数のブロック４１１１ａ間の矢印で表されている。

【0054】

そして、物体認識部４１１１に入力された撮影画像は、初めに左側のブロック４１１１ａを通過することで、注目度が高い点を「１」とし、注目度が低い点「０」とするような処理が行われる。後続の複数あるブロック４１１１ａにおいても、同様の処理が行われる。物体認識部４１１１は、複数のブロック４１１１ａに撮影画像を通過させることで、撮影画像内の物体を徐々に認識し、パラメータを最適化する。最適化されたモデルのパラメータ（重み）は、図２に示した重み保存部４３に保存される。

【0055】

また、平板４１１１ｂは、例えば、上述したSpatialSoftmaxを表している。右側のブロック４１１１ａから出力された撮影画像が平板４１１１ｂに入力すると、SpatialSoftmaxで物体の位置を表す物体位置情報４１１１１の数が抽出される。抽出された物体位置情報４１１１１の数は、時系列学習部４１１２に出力される。

【0056】

時系列学習部４１１２は、知識共有部４１３から取得する指示情報３０の学習結果と、物体認識部４１１１から時系列で入力される物体の形状及び位置に基づいて、物体認識部４１１１が物体の形状及び位置を認識してから所定時間後の物体の位置を学習して予測する。また、時系列学習部４１１２は、所定時間後の物体の位置の重要度を学習して予測する。そして、時系列学習部４１１２は、指示情報３０の学習結果に基づいてロボット１０への指令を学習して予測する。時系列学習部４１１２が、物体認識部４１１１のSpatialSoftmaxで抽出された物体位置情報４１１１１から物体の位置を判断する処理は、視覚情報から瞬時に判断されるため、上述したボトムアップ注意機構に相当する。

【0057】

例えば、時系列学習部４１１２には、動作学習部４１１が抽出した時刻ｔにおける複数の物体位置情報４１１１１と、時刻ｔで計測されたロボット１０のセンサ情報４１１１２とが入力される。時系列学習部４１１２内には、モデルで規定されるネットワーク４１１２０が設けられる。

【0058】

時系列学習部４１１２に構成されるネットワーク４１１２０には、物体認識部４１１１から時刻ｔにおける複数の物体位置情報４１１１１と、時刻ｔにおけるロボット１０のセンサ情報４１１１２とが入力される。また、ネットワーク４１１２０には、知識共有部４１３から学習結果として、指示情報３０に対応する変数が入力される。

【0059】

そして、時系列学習部４１１２は、知識共有部４１３から入力した変数に合わせてネットワーク４１１２０を用いて、時刻ｔ＋１で予測した物体の位置、この予測位置の重要度、ロボット１０に動作を指令するための予測指令を生成する。例えば、時系列学習部４１１２は、時刻ｔ＋１の物体の位置を表す予測位置情報４１１２１と、予測位置情報４１１２１の予測重要度４１１２２と、予測指令４１１２３とを予測する。この予測指令４１１１３は、ロボット１０のアームの関節部分の関節角度等の情報を含む。なお、時系列学習部４１１２は、知識共有部４１３から取得した指示情報３０の学習結果に基づいて、所定時間後の物体の位置（予測位置情報４１１２１）、及び重要度（予測重要度４１１２２）、並びにロボット１０の目的動作を変更することができる。

【0060】

予測位置情報４１１２１と予測重要度４１１２２は、指示対象推定部４１１３に出力される。また、予測指令４１１２３は、図２に示した駆動部１２に出力され、駆動部１２が予測指令４１１２３に基づいてロボット１０の各機器を駆動する。

【0061】

指示対象推定部４１１３は、時系列学習部４１１２により予測された所定時間後の物体の位置に基づいて、指示情報３０で動作指示が行われた物体を推定する。この際、指示対象推定部４１１３は、予測された所定時間後の物体の位置（予測位置情報４１１２１）、及び重要度（予測重要度４１１２２）に基づいて撮影画像に含まれる物体のヒートマップ４１１３１を作成し、ヒートマップ４１１３１にモデルを適用して、所定時間後に撮影されると予測した予測画像を出力する。この予測画像とは、例えば、ロボット１０が把持する物体がペットボトルである場合に、ペットボトルの形状を表す画像である。

【0062】

ここで、ヒートマップ４１１３１の構成例について説明する。
ヒートマップ４１１３１は、例えば、カメラの向きを固定した時の、カメラの撮影画角内に含まれる物体の位置を色の濃淡で表したものであり、撮影画像に含まれる物体に合わせて生成される。例えば、撮影画角内に３つの物体が存在していれば、３つのヒートマップ４１１３１が生成される。

【0063】

ヒートマップ４１１３１では、濃く表示された箇所が、ロボット１０が把持する対象物として予測された物体を表す点候補である。複数の重要な点候補が存在する場合、動作学習部４１１に追加指示を入力することで、指示対象推定部４１１３がより正確に物体を予測することが可能となる。動作学習部４１１による学習初期には、撮像領域内のランダムな箇所にヒートマップ４１１３１が表示される。動作学習部４１１の学習が進んでモデルが最適化されると、ヒートマップ４１１３１では、濃く強調された強調部の中心位置が実際の対象物の位置に近づく。

【0064】

指示対象推定部４１１３は、予測位置情報４１１２１をヒートマップ４１１３１の中心位置とし、予測重要度４１１２２をヒートマップ４１１３１で濃く強調される強調部の半径に対応付ける。強調部の半径は、予測重要度４１１２２によって異なる。このため、予測重要度４１１２２が高いほど、強調部が大きくなり、把持対象として選択されるべき物体であることが示される。このようにヒートマップ４１１３１に含まれる強調部が濃いほど重要な点と捉えることができる。このことは、指示対象推定部４１１３が、時刻ｔ＋１で物体が存在する位置を正確に予測できるようになったことを意味する。

【0065】

図４は、ヒートマップ４１１３１の具体的な表示例を示す図である。ヒートマップ４１１３１の横軸はＸ座標、縦軸はＹ座標を表す。

【0066】

図４には、ヒートマップ４１１３１の一例として、ヒートマップ１１Ａ～１１Ｃが示される。例えば、右側に立方体の物体が表示されたヒートマップ１１Ａ、真ん中に立方体が表示されたヒートマップ１１Ｂ、左側に円柱の物体が表示されたヒートマップ１１Ｃが表示されている。なお、カメラの撮影方向から見て、円柱の物体と、２つの立方体の物体とが奥行き方向に重なっていたとしても、深度情報を含むデプス画像を用いることで、指示対象推定部４１１３が手前にある物体と奥にある物体とを識別可能である。

【0067】

ここで、ロボット１０に対する指示が、立方体の物体を把持することであったとする。この指示では、円柱の物体は対象外であるので、ヒートマップ１１Ｃには強調部が全く含まれない。すなわち、ヒートマップ１１Ｃに示される円柱の物体は、ロボット１０の把持対象として予測されていないことが分かる。

【0068】

一方、ヒートマップ１１Ａ，１１Ｂには、物体の中心から同程度の半径で色が濃く表示されている。ただし、強調部３４Ｂ、３４Ａの順で色が濃くなっているとする。そして、色が濃いほど、ロボット１０に把持させる指示に近いと予測される物体であることが示される。このため、ロボット１０は、ヒートマップ１１Ａに示される物体を把持する動作を行う。この時、人は、表示装置５０に表示されたヒートマップ４１１３１を見て、不適切な物体が把持対象として選択されたことを確認すると、適切な物体に選択し直すといった修正が可能である。

【0069】

再び図３に戻って、モデルの内容を説明する。
動作学習部４１１による学習終期には、物体が実際に存在する箇所にヒートマップ４１１３１が表示される。例えば、ロボット１０が把持する物体がペットボトルである場合に、ペットボトルが存在する箇所が濃く強調されたヒートマップ４１１３１が生成される。

【0070】

また、指示対象推定部４１１３は、１つの撮像領域内に１つ以上のヒートマップ４１１３１を生成し、複数の物体の位置を示すことができる。すなわち、指示対象推定部４１１３は、所望の数のヒートマップ４１１３１を生成することが可能である。

【0071】

そして、ヒートマップ４１１３１、及び予測画像、及び予測されたロボット１０への指令のうち、少なくとも一つが表示装置５０（図１を参照）に表示可能に出力される。このため、人は、表示装置５０に表示されたヒートマップ４１１３１に基づいて、物体の実際の位置と、強調部の位置とが合っているかを確認することが可能である。

【0072】

指示対象推定部４１１３においても、物体認識部４１１１と同様に、複数のブロック４１１３ａが設けられる。ヒートマップ４１１３１は、奥行きが長い（パラメータが多い）ブロック４１１３ａに結合される。そして、指示対象推定部４１１３のブロック４１１３ａは、各層で結合を繰り返し、右端のブロック４１１３ａから予測画像を出力する。

【0073】

このように学習装置４０は、ロボット１０に指示される目的動作の対象となる物体を表す少なくとも１つの物体の位置と、少なくとも１つの物体の重要度とを予測する。
学習処理時には、物体認識部４１１１は、入力された撮影画像から物体の位置情報や、物体に付加されるラベルを抽出する。また、指示学習部４１２は、入力された指示情報３０から指示の意図を抽出する。そして、時系列学習部４１１２は、物体認識結果と、抽象指示の認識結果とに基づいて、注意点とその重要度を学習する。

【0074】

推論処理時には、推論部４４は、ロボット１０に新たな指示が行われ、学習データを取得すると、モデルを用いて少なくとも１つの物体の位置を予測する。そして、推論部４４は、時系列学習部４１１２により予測された重要度（予測重要度４１１２２）が、他に予測された重要度よりも大きい物体に注目して、物体を目的動作の対象とするように、ロボット１０に目的動作を行わせるための駆動指令（予測指令４１１２３）を出力することができる。このため、ロボット１０は、入力された新たな指示に合わせて、目的動作を実行することが可能となる。なお、撮影画像内に一つの物体しかない場合、推論部４４は、その物体に対する予測重要度４１１２２が最も大きいものとする。

【0075】

図３の下側に示す指示学習部４１２は、学習データ蓄積部２３から読み出した指示情報３０と、目的動作が教示されるロボット１０の動作が計測された計測情報との対応を学習した学習結果に基づいて、指示情報３０の意図を予測する。このため、指示学習部４１２は、時系列で入力されるロボットセンサデータに対応した指示情報３０の時系列学習を行う。例えば、一つの指示情報３０によりロボット１０が動作開始してから目的動作を終了するまでに５秒間かかる場合、一つの指示情報３０と、５秒間で計測されたロボットセンサデータとが対応付けられる。

【0076】

指示学習部４１２には、モデル定義部４１から読み出されたモデルで規定されるネットワーク４１２０が設けられる。指示学習部４１２は、ネットワーク４１２０を用いて、入力された指示情報３０から予測指示情報４１２１を出力する。

【0077】

知識共有部４１３は、指示学習部４１２による指示情報３０の学習結果（知識）を動作学習部４１１で共有する。このため、知識共有部４１３は、動作学習部４１１と指示学習部４１２の結びつけを行っている。知識共有部４１３は、動作学習部４１１のネットワーク４１１２０と、指示学習部４１２のネットワーク４１２０とにアクセスする。そして、知識共有部４１３は、１つのロボット１０の動作とその指示情報に対し、１つの変数を学習する。このように知識共有部４１３は、指示学習部４１２に入力された指示情報３０から、指示の意図を示す変数を抽出することができる。知識共有部４１３は、動作と指示の関係を学習した多次元の変数で表される。知識共有部４１３の変数は、重み保存部４３に保存される。

【0078】

知識共有部４１３が抽出した変数が入力される時系列学習部４１１２は、指示に対応した予測指令４１１２３を生成することができる。また、知識共有部４１３の変数が入力された指示学習部４１２は、ロボット１０の動作に対応した指示（予測指示情報４１２１）を生成することができる。

【0079】

例えば、指示学習部４１２は、入力された指示情報３０に「赤いの取って」という言語指示が含まれていることを予測した場合に、「赤いの取って」という言語指示を予測指示情報４１２１として出力することができる。また、指示学習部４１２は、入力された指示情報３０に含まれる言語指示が「赤いものが欲しい」、「赤いのをください」のように揺らいでも、「赤い物体を選んで把持して移動する」のように言語指示を解釈して同じ内容とすることができる。そして、「赤い物体を選んで把持して移動する」という内容を予測指示情報４１２１として出力することが可能となる。そして、「赤い物体を選んで把持して移動する」という内容に合わせた変数が知識共有部４１３に抽出される。このため、時系列学習部４１１２は、知識共有部４１３からこの変数が入力されると、この変数に合わせた予測指令４１１２３を出力することができる。

【0080】

本明細書では、知識共有部４１３が学習した言語指示に基づいて、ロボット１０の動作が生成されることを「変数を介する」と表現する。知識共有部４１３の変数を介すことで、入力された指示情報３０と、ロボット１０の目的動作とを連携することができる。本実施形態に係る動作学習部４１１と指示学習部４１２は知識共有部４１３のみで繋がっている。例えば、知識共有部４１３は、学習により「掴む」という言語指示と、この言語指示に対応したロボット１０の動作とを１つの変数として記憶する。すなわち、「掴む」という言語を学習した変数を動作学習部４１１に入力することで、その変数に対応した動作が生成される。

【0081】

上述したように知識共有部４１３が抽出する変数は多次元で構成されており、「赤いものを取る」という情報や「赤いものを押す」といった情報に対応付けた変数が、所定の数値で表される。このため、「掴む」という言語指示以外にも、例えば、「押す」などの言語指示に対応した変数が知識共有部４１３から時系列学習部４１１２に入力される場合がある。この時、「押す」などの言語指示に対応した変数が知識共有部４１３によって抽出される。このような変数は、言語指示ごとに異なる値であり、例えば、インデックスとして用いられる。例えば、「赤いものを取る」という情報には変数として「１」が割り当てられ、「赤いものを押す」といった情報には変数として「２」が割り当てられる。

【0082】

そして、「掴む」という言語指示の時と同様に、推論部４４で用いられるモデルの時系列学習部４１１２は、知識共有部４１３により抽出された変数（「押す」に対応する値）を介してロボット１０の動作を生成し、駆動部１２を駆動するための指示を予測指令４１１２３として出力する。このようにロボット１０の動作の切り替えは、知識共有部４１３で抽出された変数に基づいて行われる。

【0083】

また、知識共有部４１３の変数は、時系列学習部４１１２が生成する予測指令４１１２３の他に、予測位置情報４１１２１と予測重要度４１１２２にも影響を与える。すなわち、知識共有部４１３の変数に基づいてヒートマップ４１１３１の位置や強調部の半径を制御することが可能であり、指示情報に基づいて着目すべき対象物を切り替えることができる。このような制御は、知識や学習経験に基づいて判断されることから、トップダウン注意機構と考えることができる。

【0084】

以上より、知識共有部４１３を介して指示情報が入力された時系列学習部４１１２は、物体認識部４１１１が認識した複数の物体位置情報４１１１１から、ロボット１０の動作に重要な対象物の予測位置情報４１１２１と予測重要度４１１２２を予測する。そして、時系列学習部４１１２は、指示に関係した動作指令を予測した予測指令４１１２３を出力することが可能となる。そこで、モデル定義部４１は、時刻tにおける各種センサや指示情報から、時刻ｔ＋１のロボット１０の動作指令値を推定するように、学習装置４０を構成するモデルのパラメータの最適化を行う。

【0085】

深層学習では、ネットワークのパラメータを少しずつ調整することを学習と呼ぶ。そして、時刻tのセンサ情報などを入力し、予測した時刻ｔ＋１の値と真値の誤差が最小になるまで、もしくは指定した学習回数に達するまで、学習が繰り返される。予測画像はヒートマップ４１１３１を基に生成される。このため、注意点と重要度が把持対象物に適切に向いていれば、入出力の誤差が必然的に小さくなる。

【0086】

＜情報処理装置のハードウェア構成＞
図５は、本実施形態における情報処理装置１００のハードウェア構成の一例を示す図である。情報処理装置１００は、図２に示した学習装置４０に構成される各機能部の機能を実現するための装置であり、例えば、コンピューター装置等が用いられる。

【0087】

情報処理装置１００は、ＣＰＵ１１０と、ＲＯＭ１２０と、ＲＡＭ１３０と、外部メモリ１４０と、表示部１５０と、入力部１６０と、通信Ｉ／Ｆ１７０と、システムバスと１８０を備える。

【0088】

ＣＰＵ１１０は、情報処理装置１００における動作を統括的に制御するものであり、システムバス１８０を介して、ロボットシステム１０００を制御する。
ＲＯＭ１２０は、ＣＰＵ１１０が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリや着脱可能な記憶媒体に記憶されてもよい。これらＲＯＭ１２０、外部メモリ、着脱可能な記憶媒体は、情報処理装置１００によって実行されるプログラムを格納したコンピューター読取可能な非一過性の記憶媒体の一例として用いられる。

【0089】

ＲＡＭ１３０は、ＣＰＵ１１０の主メモリであり、ワークエリア等として機能する。つまり、ＣＰＵ１１０は、処理の実行に際し、ＲＯＭ１２０から読み出した必要なプログラム等をＲＡＭ１３０にロードし、当該プログラム等を実行することで、各種の機能動作を実行する。ＣＰＵ１１０、ＲＯＭ１２０及びＲＡＭ１３０が連携して、学習装置４０における各部の処理が実現される。

【0090】

外部メモリ１４０は、ＣＰＵ１１０がプログラムを用いた処理を行う際に必要な各種データ（情報）を記憶することができる。また、外部メモリ１４０は、ＣＰＵ１１０がプログラムを用いた処理を行うことにより得られる各種データや各種情報等を記憶することができる。外部メモリ１４０に、図２に示した記憶装置２０が構成されるため、記憶装置２０内の各データは外部メモリ１４０に保存される。

【0091】

表示部１５０は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）等のモニタにより構成される。表示部１５０は、ロボット１０の視覚情報である撮影画像や学習装置４０が予測したヒートマップ４１１３１や予測画像を表示することで、学習装置４０が撮影画像から抽出した物体の位置情報、及び予測した物体の位置情報を表示する。

【0092】

入力部１６０は、キーボードやマウス等のポインティングデバイスにより構成され、人が情報処理装置１００に対し指示を与えることができるように構成される。

【0093】

通信Ｉ／Ｆ１７０は、外部装置（本実施形態では、ロボット１０、記憶装置２０）と通信するためのインタフェースである。通信Ｉ／Ｆ１７０は、例えばＬＡＮインタフェースとすることができる。システムバス１８０は、ＣＰＵ１１０、ＲＯＭ１２０、ＲＡＭ１３０、外部メモリ１４０、表示部１５０、入力部１６０、及び通信Ｉ／Ｆ１７０を通信可能に接続する。

【0094】

図５に示す情報処理装置１００の各部の機能は、ＣＰＵ１１０がプログラムを実行することで実現することができる。ただし、図５に示す情報処理装置１００の各部のうち少なくとも一部の機能が専用ハードウェアで動作するように構成されてもよい。この場合、専用のハードウェアは、ＣＰＵ１１０の制御に基づいて動作する。

【0095】

＜ロボットシステムの処理例＞
次に、ロボットシステム１０００で行われる処理の一例について、図６～図８を参照して説明する。

【0096】

（動作教示処理）
図６は、ロボットシステム１０００で行われる動作教示処理の一例を示すフローチャートである。動作教示処理は、人が目的動作をロボット１０に教示し、ロボット１０の動作を計測部１１が計測した結果を、ロボットセンサデータとしてロボットセンサデータ蓄積部２１に蓄積する処理である。以降、アルファベットのＳはフローチャートにおけるステップを意味するものとする。

【0097】

始めに、人は、ロボット１０に目的動作を教示する（Ｓ１１）。ロボット１０への教示方法は、不図示の遠隔操作装置を用いた遠隔操縦による動作教示、人がロボットを直接持って教示するダイレクトティーチング、さらに人が目的動作を事前にプログラミングして再生する方法など、任意の方法を用いて教示する。

【0098】

次に、ロボット１０の計測部１１は、各駆動部１２のセンサ値を時系列的に計測し、ロボットセンサデータとして記憶装置２０に出力する。記憶装置２０のロボットセンサデータ蓄積部２１は、ロボット１０から入力したロボットセンサデータを保存し、蓄積する（Ｓ１２）。

【0099】

次に、学習データ蓄積部２３は、ロボットセンサデータ蓄積部２１に蓄積された少なくとも１つのロボットセンサデータを読み出す。そして、学習データ蓄積部２３は、ロボットセンサデータに対応した指示情報３０を指示データ蓄積部２２から参照して、ロボットセンサデータと指示情報３０を学習データとして統合する（Ｓ１３）。ここでは、例えば、「赤いものをとって」という言語指示を含む指示情報３０と、ロボット１０が赤い物体を把持して所定の位置に移動させる動作で計測された一連のロボットセンサデータとが統合される。

【0100】

そして、学習データ蓄積部２３は、学習データを保存し、蓄積して（Ｓ１４）、本処理を終了する。

【0101】

（動作学習処理）
図７は、ロボットシステム１０００で行われる動作学習処理の一例を示すフローチャートである。動作学習処理は、学習データ蓄積部２３で蓄積された学習データを用いて、学習装置４０のモデル定義部４１が定義したモデルを学習し、モデルを構成する各種パラメータ情報（重み）を重み保存部４３に保存する処理である。

【0102】

始めに、学習部４２は、学習データ蓄積部２３で蓄積された学習データを読み込む（Ｓ２１）。上述したように学習データには、ロボットセンサデータと指示情報３０が含まれる。

【0103】

次に、学習部４２は、モデル定義部４１からモデルを読み込む（Ｓ２２）。学習部４２は、上述したようにロボット１０が物体を把持する場合、物体を押す場合とで異なるモデルを読み込む。

【0104】

次に、学習部４２は、学習データ蓄積部２３から読み出した学習データと、モデル定義部４１から読み出したモデルとを用いて学習する（Ｓ２３）。この学習は、人が指定する目的関数に従うよう、学習部４２がモデルの最適化を行うことである。学習を終えたモデルを学習済みモデルと呼ぶ。

【0105】

そして、学習部４２は、学習済みモデルを保存する（Ｓ２４）。学習済みモデルの保存は、学習部４２が、学習済みモデルとして構成される各種パラメータ（重み）を重み保存部４３に保存する処理である。

【0106】

（動作生成処理）
図８は、ロボットシステム１０００で行われる動作生成処理の一例を示すフローチャートである。動作生成処理は、学習装置４０が、計測部１１で計測されたセンサ情報に基づいて、ロボット１０が目的動作を達成するための逐次動作の指令を生成する処理である。この動作生成処理では、推論部４４がモデル定義部４１から読み出したモデルを使ってロボット１０の動作指令を予測し、駆動部１２へ予測指令４１１２３を出力する。

【0107】

始めに、推論部４４は、モデル定義部４１から人が定義するモデルを読み込む（Ｓ３１）。ここでも、ロボット１０の目的動作に合わせたモデルが読み込まれる。

【0108】

次に、推論部４４は、図７に示した動作学習処理にて求められた、モデルを構成する各種パラメータ（重み）を重み保存部４３から読み込む（Ｓ３２）。そして、推論部４４は、ステップＳ３３以降の処理において、重みをモデルに適用して、指示情報３０における指示の意図を予測し、ロボット１０に目的動作を行わせるための予測指令４１１２３を生成する。この推論処理では、推論部４４が、図７に示した動作学習処理で最適化されたモデル（学習済みモデル）を用いて、指示情報３０に対応する目的動作のための予測指令を生成する。

【0109】

このため、推論部４４は、ロボット１０の動作に伴い、計測部１１が計測した各種のセンサデータを学習データ蓄積部２３から取得する（Ｓ３３）。
次に、推論部４４は、ロボット１０の動作指令値を推定する（Ｓ３４）。推定された動作指令値は、予測指令４１１２３としてロボット１０の駆動部１２に出力される。そして、ロボット１０の駆動部１２は、予測指令４１１２３に基づいてロボット１０の各機器を駆動する。

【0110】

ロボット１０の駆動状況は、計測部１１によりリアルタイムで計測され、ロボットセンサデータとして推論部４４に入力される。そこで、推論部４４は、ロボットセンサデータに基づいて、ステップＳ３４で推論した動作指令値で示されるロボット１０の目的動作を完了したか否かを判断する（Ｓ３５）。

【0111】

目的動作を完了していない（Ｓ３５のＮＯ）、すなわち推論部４４は、ロボット１０が目的動作の遂行途中であると判断した場合、ステップＳ３３に戻って、目的動作の生成が完了するまで、ステップＳ３３以降の処理を繰り返す。例えば、ロボット１０がアームを伸ばしている途中であれば、目的動作が完了していないと判断される。この場合、物体がある位置までアームをもう少し伸ばすといった予測指令４１１２３により、駆動部１２がアームを伸ばす動作が行われる。

【0112】

一方、目的動作を完了した（Ｓ３５のＹＥＳ）、すなわち推論部４４は、ロボット１０が目的動作の遂行を達成したと判断した場合、本処理を終了する。例えば、ロボット１０がアームを所定位置まで伸ばし、指示された物体をエンドエフェクタで掴む動作が完了していれば、目的動作が完了したと判断される。

【0113】

以上のステップを繰り返すことで、推論部４４は、計測部１１で計測されたセンサ情報に基づいて、ロボット１０が目的動作を達成するまで逐次、予測指令４１１２３を生成し、ロボット１０に予測指令４１１２３を出力することが可能となる。

【0114】

以上説明した第１の実施形態に係る学習装置４０では、抽象的な指示と、指示された対象物に対するロボット１０の動作との関係を学習する。このため、学習装置４０は、入力されたロボットへの指示情報３０が明確でなく、ロボットの動作対象とする物体が不明確な状況であっても、指示の意図を予測して、ロボット１０に何らかの動作をさせることが可能となる。このように学習装置４０は、画像認識だけでは認識困難な曖昧な指示であっても、複数の物体の中から確からしい１つの物体を予測して、この物体に対する軌道計画を可能とすることで、ロボット１０のマニピュレーション動作を実現することが可能となる。

【0115】

ここで、学習装置４０の学習部４２は、ロボットセンサデータと指示情報３０とを対応付けた学習データを用い、モデル定義部４１から読み出したモデルの学習を行い、重み保存部４３にパラメータ（重み）を保存する。この際、学習部４２は、時刻ｔでの撮影画像とロボットセンサデータに基づいて、時刻ｔ＋１における物体の予測位置を求める。この際、知識共有部４１３の変数を介すことで、知識共有部４１３が学習した言語指示に基づいてロボット１０の動作を生成できる。このため、動作学習部４１１は、「こそあど言葉」のような曖昧な指示語で指示された物体を予測し、ロボット１０を駆動するための予測指令４１１２３を生成することができる。また、指示学習部４１２は、「こそあど言葉」のような曖昧な指示や、主語と目的語が前後するような指示のように、言語指示が揺らいだとしても、予測指示情報を出力することができる。

【0116】

また、「赤いの取って」という言語指示と、「青いの押して」という言語指示とが指示情報３０に含まれ、学習済であることを想定する。この場合、「赤いの押して」という未学習の言語指示を含む指示情報３０が入力されたとしても、学習装置４０は、既に学習した「赤いの取って」という言語指示と、「青いの押して」という言語指示とを組み合わせて、「赤いの押して」という言語指示を予測することができる。そして、学習装置４０は、予測した言語指示に基づいて、ロボット１０に新たな言語指示による動作を行わせることが可能となる。

【0117】

［第２の実施形態］
次に、本発明の第２の実施形態に係る学習装置の構成例について、図９を参照して説明する。第２の実施形態に係る学習装置では、知識共有部に指示情報が直接入力される形態としている。
図９は、第２の実施形態に係るモデルの例を示すブロック図である。

【0118】

指示学習部４１２Ａは、第１の実施形態に係る指示学習部４１２と大きく２点で異なる。第１点は、入力した指示情報３０から指示された動作を予測しない点である。第２点は、指示学習部４１２Ａが知識共有部４１４を取り込む構成とし、指示情報３０の言語指示を圧縮した情報を知識共有部４１４が時系列学習部４１１２と共有可能とした点である。ここで、同じ意図とした指示であっても様々な形態で入力される指示情報３０を一つの情報にまとめることを圧縮と呼ぶ。指示学習部４１２Ａが指示情報３０の言語指示を圧縮することで、例えば、異なる言語による言語指示であっても、同一の情報にまとめることができる。

【0119】

例えば、指示学習部４１２Ａの知識共有部４１４は、言語指示の予測を行っておらず、言語指示を予測する代わりに指示情報３０を圧縮する。このため、初めての指示情報３０であっても対応することが可能となる。例えば、指示情報３０が日本語以外の外国語（英語、フランス語等）であっても、翻訳部として設けられるネットワーク４１２２が指示情報３０を日本語に翻訳することで、ある程度同じ表現となる。

【0120】

そこで、指示学習部４１２Ａには、モデル定義部４１から読み出されたモデルで規定されるネットワーク４１２２が設けられる。ネットワーク４１２２として、例えば、ある言語を別の言語に翻訳する翻訳処理を実行可能なネットワーク又はプログラムが用いられてもよい。このため、学習データに含まれる指示情報３０は、ネットワーク４１２２を通過することで、時系列学習部４１１２が解釈可能な言語指示として知識共有部４１４に入力される。

【0121】

ネットワーク４１２２が指示情報３０を変換した言語指示は、圧縮された情報とみなせる。さらに知識共有部４１４は、変換された言語指示の特徴を抽出し、言語指示の特徴に変数を割り当てる。このような処理により、動作学習部４１１は、異なる言語で行われた指示であっても、ロボット１０が動作可能な予測画像及び予測指令を生成し、ロボット１０を動作させることが可能となる。なお、同一の言語であっても、揺らぎのある言語指示を含む指示情報３０がネットワーク４１２２を通過することで、ある程度同じ表現の指示に圧縮することも可能である。

【0122】

このように学習部４２は、ロボット１０の動作学習処理において、学習データ蓄積部２３から指示情報３０を読み出すのでなく、指示情報３０を直接取得する。そして、学習部４２は、指示情報３０に基づいて言語指示を圧縮する。

【0123】

指示学習部４１２Ａは、入力される指示情報３０を圧縮して、圧縮した指示情報３０に基づいて、指示情報３０の意図を予測する。そして、指示学習部４１２Ａは、指示情報３０の意図と、目的動作が教示されるロボット１０の動作により計測される計測情報との対応を学習した学習結果を動作学習部４１１と共有する知識共有部４１４を有する。

【0124】

知識共有部４１４は、１つのロボット１０の動作と、ネットワーク４１２２を通過した言語指示に対し、１つの変数を学習する。知識共有部４１４が学習した変数は、時系列学習部４１１２に出力される。

【0125】

時系列学習部４１１２は、物体認識部４１１１が撮影画像から求めた物体位置情報４１１１１と、センサ情報４１１１２と、知識共有部４１４から入力される変数とに基づいて学習した、時系列の予測位置情報４１１２１と予測重要度４１１２２を出力する。ここで、時系列学習部４１１２は、視線計測装置などのセンサを用いて人の視線を計測して得た視線情報に基づいて、時系列の予測位置情報４１１２１と予測重要度４１１２２を学習してもよい。

【0126】

第２の実施形態に係る学習装置４０の動作の具体例について説明する。ここでは、赤い物体が複数存在する状況で、言語指示が「赤いのを取って」であることを想定する。この場合、学習装置４０が複数の赤い物体から一つの赤い物体を予測することで、予測された赤い物体をロボット１０が認識し、把持する動作を行える。また、言語指示が「一番右の赤いのを取って」であれば、推論部４４は、カメラの撮影画角内で「一番右」にある「赤い物体」をロボット１０に掴ませるための予測指令４１１２３を出力する。このため、ロボット１０は、カメラの撮影画角内で「一番右」にある「赤い物体」に着目して掴むことができる。

【0127】

以上説明した第２の実施形態に係る学習装置４０では、同じ内容の言語指示が複数の異なる言語で行われたとしても、この言語指示を翻訳した結果に基づいて、指示情報３０を圧縮した情報を知識共有部４１４に持たせることができる。指示情報３０を圧縮した情報には、特定の変数が割り当てられるので、時系列学習部４１１２は、知識共有部４１４から取得した変数に基づいて、この変数に対応する予測指令４１１１３を出力する。そして、駆動部１２は、予測指令４１１１３に基づいて、ロボット１０を動作させることができる。このように第２の実施形態に係る学習装置４０においても、明確でない言語指示による指示情報３０からロボット１０に何らかの動作を行わせることができる。

【0128】

［変形例］
（指示情報のデータ形式）
なお、指示学習部４１２に入力される指示情報３０は、多様なデータ形式で構成されてよい。指示データ蓄積部２２は、例えば、文章情報の場合、文章全体をあるベクトルに変換、又は単語単位に切り分けた後にベクトルに変換して入力しても良い。また、指示情報３０が音声情報である場合、音声波形を時系列データとして入力、もしくは音声波形を１つのベクトルとして入力されてもよい。さらに音声波形を文章などに変換した指示情報３０が入力されてもよい。他にも、物体の組立途中の様子を示した組立図や人が組立を行っている様子の画像や動画などが指示情報３０として入力されてもよい。

【0129】

また、「それを取って」のような「こそあど言葉」が言語指示として初めて使われることがある。この場合、学習装置４０が予測する物体が、指示者が意図した物体と異なったことは、表示装置５０に表示されるヒートマップ４１１３１、又は実際にロボット１０が把持した物体により判明する。このように指示者が意図した物体と異なっていれば、指示者は学習装置４０に意図した物体が異なっていることを入力する。そして、学習装置４０は、改めて物体の位置を予測し、ロボット１０が把持する対象物を予測し直す。

【0130】

なお、本発明は上述した各実施形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
例えば、上述した各実施形態は本発明を分かりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ここで説明した実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、さらにはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0131】

１０…ロボット、１１…計測部、１２…駆動部、２０…記憶装置、２１…ロボットセンサデータ蓄積部、２２…指示データ蓄積部、２３…学習データ蓄積部、３０…指示情報、４０…学習装置、４１…モデル定義部、４２…学習部、４３…重み保存部、４４…推論部、５０…表示装置、１００…情報処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】