特許 7380567 情報処理装置、情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-07

(45)【発行日】2023-11-15

(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   G06F 16/532 20190101AFI20231108BHJP

   G06N 20/00 20190101ALI20231108BHJP

【ＦＩ】

G06F16/532

G06N20/00

【請求項の数】 15

(21)【出願番号】P 2020534106

(86)(22)【出願日】2019-06-21

(86)【国際出願番号】 JP2019024835

(87)【国際公開番号】W WO2020026643

(87)【国際公開日】2020-02-06

【審査請求日】2022-05-17

(31)【優先権主張番号】P 2018147178

(32)【優先日】2018-08-03

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】木村 友哉

【審査官】三橋 竜太郎

(56)【参考文献】

【文献】特開２００２－２０７７５５（ＪＰ，Ａ）

【文献】特開２０００－１２２９８９（ＪＰ，Ａ）

【文献】特開２００２－１４９６９７（ＪＰ，Ａ）

【文献】特開２００１－１４２８６８（ＪＰ，Ａ）

【文献】特開２００６－３０９４８５（ＪＰ，Ａ）

【文献】特開２０１８－０４５３２０（ＪＰ，Ａ）

【文献】特開２０１８－０４５５３１（ＪＰ，Ａ）

【文献】特開２０１７－００４２６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

入力データに対して出力データを得る所定の処理において、第１の出力データを得た際に入力された第１の入力データを取得する取得部と、
前記取得部によって取得された第１の入力データと、前記所定の処理が過去に実行された際の入力データの履歴である入力履歴データの各々との類似度に基づいて、当該入力履歴データから当該第１の入力データと関連する第２の入力データを抽出する抽出部と、
前記抽出部によって抽出された前記第２の入力データを呈示する呈示部と、
を備え、
前記抽出部は、
前記第１の出力データと類似する出力結果を得た入力履歴データと、当該第１の出力データと非類似の出力結果を得た入力履歴データとの複数のデータを、前記第２の入力データとして抽出する
情報処理装置。

【請求項2】

前記抽出部は、
前記第１の出力データと類似する出力結果を得た入力履歴データを前記第２の入力データとして抽出する
請求項１に記載の情報処理装置。

【請求項3】

前記抽出部は、
前記入力履歴データのうち、前記第１の入力データとの類似度が高いデータから優先的に前記第２の入力データとして抽出する
請求項１に記載の情報処理装置。

【請求項4】

前記取得部は、
前記第１の出力データを得た際の前記所定の処理における環境情報を含む前記第１の入力データを取得し、
前記抽出部は、
前記環境情報を含む前記第２の入力データを抽出し、
前記呈示部は、
前記環境情報とともに前記第２の入力データを呈示する
請求項１に記載の情報処理装置。

【請求項5】

前記取得部は、
前記環境情報として温度又は湿度を取得し、
前記呈示部は、
前記第２の入力データとともに、前記第２の入力データに対して前記所定の処理が実行された場合の温度又は湿度を呈示する
請求項４に記載の情報処理装置。

【請求項6】

前記取得部は、
前記所定の処理における結果を示したラベルが付与された前記第１の入力データを取得し、
前記抽出部は、
前記第１の入力データに付与されたラベルが予め指定された所定の結果である場合に、当該第１の入力データと関連する第２の入力データを抽出する
請求項１に記載の情報処理装置。

【請求項7】

前記取得部は、
前記所定の処理における結果を示したラベルが付与された前記第１の入力データを取得し、
前記抽出部は、
前記第１の入力データと、前記ラベルが付与された入力履歴データとの類似度に基づいて、当該ラベルが付与された前記第２の入力データを抽出し、
前記呈示部は、
前記第２の入力データとともに、当該第２の入力データに付与されたラベルを呈示する
請求項１に記載の情報処理装置。

【請求項8】

前記呈示部は、
前記抽出部によって抽出された前記ラベルが付与された前記第２の入力データに基づいて、前記ラベルと、当該第２の入力データが含む変数との相関性に関する情報を呈示する
請求項７に記載の情報処理装置。

【請求項9】

前記取得部は、
所定の学習モデルから前記第１の出力データを得た際に入力された前記第１の入力データを取得し、
前記抽出部は、
前記第１の入力データと、前記学習モデルの生成に用いられた学習データとの類似度に基づいて、当該学習データから前記第２の入力データを抽出する
請求項１に記載の情報処理装置。

【請求項10】

前記呈示部は、
前記抽出部によって抽出された前記第２の入力データとともに、当該第２の入力データが前記学習モデルの学習に与える影響を示す指標値を呈示する
請求項９に記載の情報処理装置。

【請求項11】

前記取得部は、
前記所定の処理における結果を示したラベルが付与された前記第１の入力データを取得し、
前記抽出部は、
前記第１の入力データと、前記ラベルが付与された学習データとの類似度に基づいて、当該ラベルが付与された前記第２の入力データを抽出する
請求項９に記載の情報処理装置。

【請求項12】

前記抽出部によって抽出された前記第２の入力データのうち、前記第１の入力データと反するラベルが付与されたデータを学習データから削除し、削除後の学習データを用いて前記学習モデルを更新する更新部
をさらに備えた請求項１１に記載の情報処理装置。

【請求項13】

前記抽出部は、
複数の前記第２の入力データに対応付けられた変数に基づいて、当該複数の第２の入力データを統計的に分類し、
前記呈示部は、
前記抽出部によって分類された複数の前記第２の入力データを呈示する
請求項１に記載の情報処理装置。

【請求項14】

コンピュータが、
入力データに対して出力データを得る所定の処理において、第１の出力データを得た際に入力された第１の入力データを取得し、
取得された第１の入力データと、前記所定の処理が過去に実行された際の入力データの履歴である入力履歴データの各々との類似度に基づいて、当該入力履歴データから当該第１の入力データと関連する第２の入力データを抽出し、
抽出された前記第２の入力データを呈示し、
前記第１の出力データと類似する出力結果を得た入力履歴データと、当該第１の出力データと非類似の出力結果を得た入力履歴データとの複数のデータを、前記第２の入力データとして抽出する
情報処理方法。

【請求項15】

コンピュータを、
入力データに対して出力データを得る所定の処理において、第１の出力データを得た際に入力された第１の入力データを取得する取得部と、
前記取得部によって取得された第１の入力データと、前記所定の処理が過去に実行された際の入力データの履歴である入力履歴データの各々との類似度に基づいて、当該入力履歴データから当該第１の入力データと関連する第２の入力データを抽出する抽出部と、
前記抽出部によって抽出された前記第２の入力データを呈示する呈示部と、
として機能させ、
前記抽出部は、
前記第１の出力データと類似する出力結果を得た入力履歴データと、当該第１の出力データと非類似の出力結果を得た入力履歴データとの複数のデータを、前記第２の入力データとして抽出する
ための情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。詳しくは、機械学習における学習性能を向上させるための情報処理に関する。

【背景技術】

【0002】

様々な技術分野において、情報処理装置自らが最適な出力を行うための学習を行う、いわゆる機械学習が利用されている。また、機械学習の精度を向上させたり、効率の良い学習を行わせたりするための技術が提案されている。

【0003】

例えば、画像の特徴量に基づいて、基板等の検査対象物を撮像して収集された複数の欠陥画像の中から典型的な欠陥を持つ画像を抽出し、抽出した画像を教師データとして学習を行う技術が知られている。また、過去の機械学習に用いられた画像に対して類似度が低い画像を抽出し、抽出した画像を優先的に学習する技術が知られている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－６６１３号公報

【文献】特開２０１７－２２４１８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来技術によれば、画像の特徴量を探索することで画像同士の類似度を算出し、算出した類似度に基づいて学習データを抽出してから学習を行うことで、学習の効率を高めることができる。

【0006】

しかしながら、従来技術は、画像の類似度を用いて特定の画像をユーザに呈示するに過ぎず、例えば、学習済みモデルを用いた際の実行結果に不備があった場合にその原因を呈示するなど、種々の状況に対応した情報を呈示することができるとは限らない。

【0007】

そこで、本開示では、ユーザにとって有用な情報を呈示することができる情報処理装置、情報処理方法及び情報処理プログラムを提案する。

【課題を解決するための手段】

【0008】

上記の課題を解決するために、本開示に係る一形態の情報処理装置は、入力データに対して出力データを得る所定の処理において、第１の出力データを得た際に入力された第１の入力データを取得する取得部と、前記取得部によって取得された第１の入力データと、前記所定の処理が過去に実行された際の入力データの履歴である入力履歴データの各々との類似度に基づいて、当該入力履歴データから当該第１の入力データと関連する第２の入力データを抽出する抽出部と、前記抽出部によって抽出された前記第２の入力データを呈示する呈示部と、を備え、前記抽出部は、前記第１の出力データと類似する出力結果を得た入力履歴データと、当該第１の出力データと非類似の出力結果を得た入力履歴データとの複数のデータを、前記第２の入力データとして抽出する。

【発明の効果】

【0009】

本開示に係る情報処理装置、情報処理方法及び情報処理プログラムによれば、ユーザにとって有用な情報を呈示することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

【図面の簡単な説明】

【0010】

【図1】本開示の第１の実施形態に係る情報処理システムを示す図である。

【図2】本開示においてユーザに呈示される情報の一例を示す図（１）である。

【図3】本開示においてユーザに呈示される情報の一例を示す図（２）である。

【図4】本開示においてユーザに呈示される情報の一例を示す図（３）である。

【図5】本開示においてユーザに呈示される情報の一例を示す図（４）である。

【図6】本開示においてユーザに呈示される情報の一例を示す図（５）である。

【図7】本開示の第１の実施形態に係る情報処理装置の構成例を示す図である。

【図8】本開示の第１の実施形態に係る学習データ記憶部の一例を示す図である。

【図9】本開示の第１の実施形態に係る実行結果記憶部の一例を示す図である。

【図10】本開示の第１の実施形態に係る情報処理の概要を示す図である。

【図11】本開示の第１の実施形態に係る解析処理の概要を示す図である。

【図12】本開示の第１の実施形態に係る再解析処理を示す図（１）である。

【図13】本開示の第１の実施形態に係る再解析処理を示す図（２）である。

【図14】本開示の第１の実施形態に係る再解析処理を示す図（３）である。

【図15】本開示の第１の実施形態に係る情報処理の流れを示すシーケンス図である。

【図16】第１の実施形態の変形例に係る情報処理の一例を示す図（１）である。

【図17】第１の実施形態の変形例に係る情報処理の一例を示す図（２）である。

【図18】本開示の第２の実施形態に係る情報処理の概要を示す図（１）である。

【図19】本開示の第２の実施形態に係る情報処理の概要を示す図（２）である。

【図20】情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0011】

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

【0012】

（１．第１の実施形態）
［１－１．本開示に係る情報処理の適用例について］
様々な技術分野において、装置自らが最適な出力を行うための学習を行う、いわゆる機械学習が利用されている。機械学習を利用することにより、所定のハードウェア（例えばロボット）は、予め定められた動作のみならず、新たに学習した動作を柔軟に実行することができる。

【0013】

例えば、工場等において、物体を把持するための把持ロボットに機械学習を適用する例では、把持ロボット自らが物体の形状等をセンシングし、把持する点や把持の結果を取得し、取得した情報に基づいて学習を行う。これにより、把持ロボットは、把持する物体の情報を人為的に逐一入力されなくても、現場での把持作業を繰り返すことで、適切な把持の手法を学習することができる。また、把持ロボットは、未知の物体に対しても、既に学習した物体における把持点等の情報を応用することにより、適切な位置を把持することができる。

【0014】

このように、ハードウェアに対して、予め学習されたモデルを組み込むのではなく、ハードウェア自らが現場での処理に基づいて機械学習を行い、適切な処理をハードウェアが学ぶことで、様々な状況に柔軟に対応した処理を行うことができる。このような、現場でアクティブに学習を行う手法はアクティブラーニング等と称され、工場等の様々な現場で広く利用される。

【0015】

ところで、機械学習には様々な手法が存在するが、学習の過程がブラックボックス化することも多く、例えば、機械学習を行うハードウェアが適切な処理を行えなくなった場合に、どのような対応をしてよいか現場の人間が判断できない事態も想定される。すなわち、現場の人間は、ハードウェアが処理に失敗した場合等に、どのような原因で処理が失敗したか、あるいは、どのように学習が行われているかといった情報を参照することが難しい場合がある。

【0016】

そこで、本開示に係る情報処理は、アクティブラーニング等の機械学習に関して、種々の情報の呈示処理を行うことにより、ハードウェアを管理する人間（以下、「ユーザ」と称する）に情報を提供する。具体的には、本開示に係る情報処理によれば、ユーザは、ハードウェアが所定の処理を実行した場合に、なぜその処理が実行されたのかといった原因の究明につながる情報を得ることができる。これにより、ユーザは、ハードウェアの機械学習を適切に修正できるため、学習効率を高めたり、所定の処理の成功率を向上させたりすることができる。なお、本開示に係る情報処理は、必ずしもアクティブラーニング等の機械学習の処理に利用されるのみならず、処理に関するログが得られる事象であれば、機械学習以外にも適用可能である。以下、本開示に係る情報処理について、具体的な実施例を挙げて説明する。

【0017】

［１－２．第１の実施形態に係る情報処理の概要］
図１は、本開示の第１の実施形態に係る情報処理の概要を示す図である。本開示の第１の実施形態に係る情報処理は、図１に示す情報処理システム１によって実現される。情報処理システム１は、情報処理装置１００と、把持ロボット２と、ユーザ端末１０とを含む。

【0018】

情報処理装置１００は、本開示に係る情報処理装置の一例であり、本開示に係る情報処理を実行する。また、情報処理装置１００は、ハードウェアに関する機械学習を実行することで学習済みモデル（以下、単に「モデル」と称する）を生成し、生成したモデルをハードウェアに組み込むことで、ハードウェアの動作性能を向上させる。

【0019】

把持ロボット２は、本開示に係るハードウェアの一例であり、情報処理装置１００と協働して、所定の処理に関する機械学習を行う装置である。第１の実施形態において、把持ロボット２は、所定の処理として、人為的な操作を受けることなく、自動的に物体を把持（ピッキング）し、把持した物体を所定の位置に移動させる処理を行う。例えば、把持ロボット２は、把持する物体の形状を示す画像データを入力とし、当該物体のどの位置を把持するかを示した把持点を示す画像上の座標データを出力とする学習データに基づいて学習されたモデルを用いて、上記の把持処理を実行する。

【0020】

ユーザ端末１０は、本開示に係る端末装置の一例であり、情報処理装置１００及び把持ロボット２を管理するユーザによって操作される。ユーザ端末１０は、ディスプレイを有し、情報処理装置１００から呈示される情報を表示する。

【0021】

以下、図１を用いて、本開示の情報処理の概要を流れに沿って説明する。なお、図１の例では、把持ロボット２は、所定量の学習データに基づいて学習されたモデルが既に組み込まれており、当該モデルに基づいて処理を実行するものとする。

【0022】

まず、把持ロボット２は、種々の物体が置かれた領域の中から、把持すべき物体（例えば、取り除くべき物体）を特定する。例えば、把持ロボット２は、アームに取り付けられたセンサ（例えばカメラ等）を用いて種々の物体をセンシングし、種々の物体の形状の特徴量と、学習した物体の特徴量との類似度に基づいて、把持すべき物体を特定する。

【0023】

図１の例では、把持ロボット２は、物体２１を把持すべき物体として特定したものとする。この場合、把持ロボット２は、アームを用いて、物体２１を把持し、物体２１を取り除く処理を実行する（ステップＳ１）。

【0024】

このとき、把持ロボット２は、物体２１を把持する際にセンシングした画像データと、把持する際に掴んだ点（把持点）に関する情報を情報処理装置１００に送信する（ステップＳ２）。

【0025】

情報処理装置１００は、把持ロボット２から送信された情報を取得し、取得した情報と、把持ロボット２が実行した把持処理が過去に実行された際の入力データの履歴である入力履歴データの各々との類似度を算出する。図１の例では、入力履歴データとは、例えば、把持処理のモデルの生成において用いられた学習データの入力データ（図１の例では、物体の形状を示した画像データ）である。あるいは、入力履歴データは、例えば、把持ロボット２が実行した過去の把持処理における入力データ（把持しようとする物体を撮像した画像データ）であってもよい。

【0026】

なお、類似度とは、例えば、機械学習における入力データ（この例では画像データ）の特徴量と、ステップＳ１において把持処理が実行された際に取得された入力データ（把持ロボット２が撮像した画像データ）の特徴量との類似性を示した指標値である。詳細は後述するが、本開示における類似度は、機械学習における入力データの特徴量の類似性を０から１までの値で数値化したものである。

【0027】

そして、情報処理装置１００は、算出した類似度に基づいて、入力履歴データから、ステップＳ２において取得した入力データと関連する入力データを抽出する（ステップＳ３）。具体的には、情報処理装置１００は、保持する入力履歴データのうち、類似度が所定の閾値を超える入力データを抽出する。例えば、情報処理装置１００は、保持する入力履歴データのうち、類似度が最も高い入力データを一つのみ抽出してもよい。

【0028】

続けて、情報処理装置１００は、抽出した入力データと、ステップＳ２において把持ロボット２から取得したデータとをユーザ端末１０に送信する（ステップＳ４）。

【0029】

ユーザ端末１０は、受信したデータをディスプレイに表示する（ステップＳ５）。これにより、ユーザは、情報処理装置１００がユーザに呈示する情報を閲覧することができる。

【0030】

図１に、ユーザ端末１０に表示される情報の一例を示す。実行データ２０は、ステップＳ１において把持ロボット２が所定の処理を実行した際に取得した入力データ及び出力データを含む画像データである。具体的には、実行データ２０は、把持ロボット２が把持処理を実行した際に撮像した物体２１の画像データを入力データとして含む。また、実行データ２０は、把持ロボット２が把持処理を実行した際に、物体２１を把持した位置を示す座標（図１に示す把持点２２及び把持点２３）を物体２１に重畳させた画像データを出力データとして含む。また、実行データ２０は、把持ロボット２が把持処理を実行した際の結果をラベル付けした情報（以下、単に「ラベル」と称する）を含んでもよい。把持処理におけるラベルとは、例えば、把持ロボット２が把持に成功したか（物体２１を掴み、移動させることに成功したか）否かを示す情報である。なお、ラベルは、把持ロボット２によって自動的に付与されてもよいし、ユーザが入力してもよい。例えば、図１の例では、実行データ２９には「把持失敗」というラベルが付与されている。このことは、把持ロボット２が物体２１に対して把持点２２及び把持点２３で把持した場合に、把持に失敗したことを示している。

【0031】

図１に示すように、ユーザ端末１０には、実行データ２０とともに、実行データ２０に基づいて情報処理装置１００に抽出された学習データ２５が表示される。学習データ２５は、ステップＳ１において把持ロボット２が所定の処理を実行した際に取得した入力データに類似する入力データを有する学習データの一例である。

【0032】

学習データ２５は、把持ロボット２の把持処理に係るモデルを学習する際に用いられたデータの一つであり、把持しようとする物体２６の画像データを入力データとして含む。また、学習データ２５は、把持ロボット２が把持処理を実行した際に、物体２６を把持した位置を示す座標（図１に示す把持点２７及び把持点２８）を物体２６に重畳させた画像データを出力データとして含む。

【0033】

例えば、学習データ２５の入力データである物体２６は、実行データ２０の入力データである物体２１との類似度が「０．９２」である。この数値は、物体２６と物体２１とが極めて類似する形状を有する物体であることを示す。また、学習データ２５の出力データである把持点２７と把持点２８とは、実行データ２０の出力データである把持点２２と把持点２３との類似度が「０．９０」である。この数値は、把持点２７及び把持点２８と、把持点２２及び把持点２３とが、物体２１又は物体２６に対応する位置として、極めて類似する関係性を有することを示す。

【0034】

また、学習データ２５は、把持ロボット２が把持処理を実行した際のラベルを含んでもよい。例えば、図１の例では、学習データ２５には「把持成功」というラベルが付与されている。このことは、把持ロボット２が物体２６に対して把持点２７及び把持点２８で把持した場合に、把持に成功したことを示している。

【0035】

このように、ユーザは、ユーザ端末１０を介して、把持ロボット２による把持処理が実行されたのち、当該処理における実行データ２０と類似する学習データ２５を確認することができる。例えば、ユーザは、把持ロボット２が把持に失敗したことを契機として、情報処理装置１００に抽出処理を要求し、類似した入力履歴データを要求してもよい。あるいは、情報処理装置１００は、把持ロボット２が把持に失敗したことを自動的に検知し、所定のアラートとともに、類似した入力履歴データをユーザ端末１０に送信してもよい。

【0036】

ユーザは、学習データ２５を閲覧することで、ステップＳ１において、「物体２６と類似する形状を有する物体２１に対して、物体２６において把持に成功した把持点２７及び把持点２８と類似した把持点２２及び把持点２３を把持する」と把持ロボット２が判断したことを推測することができる。また、ユーザは、学習データ２５を閲覧することで、出力データを視認することができるため、把持点２７や把持点２８が、物体２６のような形状に対して適切でないと知得することができる。また、ユーザは、学習データ２５のラベルが「把持成功」となっているために、人為的にはあまり適切でないと判断される「把持点２２及び把持点２３」を把持ロボット２が把持したのではないか、と推測することができる。

【0037】

そして、ユーザは、上記の状況に鑑みて、学習データ２５を学習データ群から削除する（あるいは、学習における学習データ２５の重要度を下げる）という判断をとりうる。すなわち、ユーザは、把持ロボット２の学習の過程において、学習データ２５において「偶然に把持が成功した」ために、学習データ２５がモデルに悪影響を与えていると判断する。そして、ユーザは、学習データ２５を除いた学習データ群で把持処理を再学習させる（すなわち、モデルを更新する）ことにより、適切な学習を行わせることができる。

【0038】

このように、情報処理装置１００は、ある処理がハードウェアに実行された場合に、実行における入力データと類似するデータを抽出してユーザに呈示することにより、学習における問題点をユーザに気付かせることができる。これにより、ユーザは、機械学習が適切に行われているか否かを判断したり、あるいは、適切な処理結果が得られていない場合の問題点（具体的には、問題のある学習データ）を効率よく発見したりすることができる。

【0039】

情報処理装置１００は、図１で示した以外にも、種々の情報をユーザに呈示してもよい。以下、図２乃至図６を用いて、情報処理装置１００が呈示する情報のバリエーションについて説明する。

【0040】

図２は、本開示においてユーザに呈示される情報の一例を示す図（１）である。図２の例では、情報処理装置１００は、実行データ２０に対して、「入力データが類似し、出力データが非類似である」学習データ３０や、学習データ３５を呈示する。

【0041】

例えば、学習データ３０の入力データである物体３１は、実行データ２０の入力データである物体２１との類似度が「０．９０」である。この数値は、物体３１と物体２１とが極めて類似する形状を有する物体であることを示す。また、学習データ３０の出力データである把持点３２と把持点３３とは、実行データ２０の出力データである把持点２２と把持点２３との類似度が「０．３０」である。この数値は、把持点３２及び把持点３３と、把持点２２及び把持点２３とが、物体２１又は物体３１に対応する位置として、非類似な関係であることを示す。また、図２の例では、学習データ３０には、「把持失敗」というラベルが付与されていることを示す。

【0042】

ユーザは、学習データ３０を閲覧することで出力データを視認することができるため、把持点３２や把持点３３が、物体３１のような形状に対して適切であると知得することができる。ところが、把持ロボット２は、実行データ２０において、学習データ３０とは異なる把持点２２及び把持点２３を選択している。

【0043】

このような状況下において、学習データ３０を呈示されたユーザは、学習データ３０が「把持失敗」であることから、ステップＳ１において、学習データ３０とは異なる出力となるよう把持ロボット２が判断したのではないか、と推測することができる。すなわち、ユーザは、「物体３１と類似する形状を有する物体２１に対して、（把持に失敗した）学習データ３０とは異なる把持点である把持点２２及び把持点２３を把持すべきである」と、把持ロボット２が判断したのではないかと推測することができる。

【0044】

そして、ユーザは、上記の状況に鑑みて、学習データ３０を学習データ群から削除する（あるいは、学習における学習データ３０の重要度を下げる）という判断をとりうる。すなわち、ユーザは、把持ロボット２の学習の過程において、学習データ３０に示す入力データ及び出力データの関係において「偶然に把持が失敗した」ために、学習データ３０がモデルに悪影響を与えていると判断する。そして、ユーザは、学習データ３０を除いた学習データ群で把持処理を再学習させる（すなわち、モデルを更新する）ことにより、適切な学習を行わせることができる。

【0045】

また、ユーザは、学習データ３０において「把持失敗」のラベルが付与されていることから、把持点以外の問題点についても推察することができる。すなわち、ユーザは、把持ロボット２における問題点は、把持点の座標だけではないのではないかと推察することができる。具体的には、ユーザは、把持ロボット２のアームの摩擦力や把持する圧力、アームに取り付けられた吸盤の吸着力など、他の改善点があるのではないか、と推察することができる。

【0046】

また、情報処理装置１００は、学習データ３０の入力データにおける類似度と同じ類似度を有する学習データ３５を同時に呈示してもよい。例えば、学習データ３５の入力データである物体３６は、実行データ２０の入力データである物体２１との類似度が「０．９０」である。この数値は、物体３６と物体２１とが極めて類似する形状を有する物体であることを示す。また、学習データ３０の出力データである把持点３７と把持点３８とは、実行データ２０の出力データである把持点２２と把持点２３との類似度が「０．３０」である。この数値は、把持点３７及び把持点３８と、把持点２２及び把持点２３とが、物体２１又は物体３６に対応する位置として、非類似な関係であることを示す。また、図２の例では、学習データ３０には、「把持成功」というラベルが付与されていることを示す。

【0047】

ユーザは、学習データ３５を閲覧することで出力データを視認することができるため、把持点３７や把持点３８が、物体３１のような形状に対して適切であると知得することができる。ところが、把持ロボット２は、実行データ２０において、学習データ３５とは異なる把持点２２及び把持点２３を選択している。

【0048】

このような状況下において、学習データ３５を呈示されたユーザは、学習データ３５よりも大きな影響を与える学習データによって、把持ロボット２が間違った学習を行っている可能性を推察することができる。これにより、ユーザは、例えば、実行データ２０の出力データと類似度が高い学習データを情報処理装置１００にあらためて抽出させる対応を採りえる。あるいは、ユーザは、学習データ３５の学習における重要度を高めたり、学習データ３５に類似する学習データを増加させて再学習させたりといった、種々の対応を検討することができる。

【0049】

図２で示したように、情報処理装置１００は、実行データ２０と類似する出力結果を得た入力履歴データを抽出してもよいし、実行データ２０と非類似の出力結果を得た入力履歴データを抽出してもよい。このように、情報処理装置１００は、多様な情報をユーザにフィードバックすることで、学習に関する様々な情報をユーザに与えることができる。

【0050】

続いて、図３を用いて、ユーザに呈示される情報の他の例を説明する。図３は、本開示においてユーザに呈示される情報の一例を示す図（２）である。

【0051】

図３には、実行データ４０に対して、学習データ４５が抽出され、ユーザに呈示された例を示す。実行データ４０は、入力データとして物体４１に関する画像データを含む。また、実行データ４０は、出力データとして把持点４２及び把持点４３を含む。また、実行データ４０は、「把持失敗」のラベルが付与される。

【0052】

学習データ４５は、入力データとして物体４６に関する画像データを含む。また、学習データ４５は、出力データとして把持点４７及び把持点４８を含む。また、学習データ４５は、「把持成功」のラベルが付与される。また、実行データ４０に対する学習データ４５の入力データの類似度は「０．９８」であり、出力データの類似度は「０．９０」である。これは、情報処理装置１００が、実行データ４０の入力データ及び出力データと、学習データ４５の入力データ及び出力データとの各々が極めて類似すると判定したことを示す。

【0053】

ユーザは、呈示された実行データ４０を閲覧することで、把持点４２が物体４１の突起部にあたるため、適切な把持点ではないと判断可能である。また、ユーザは、把持ロボット２が「物体４１と物体４６とが極めて類似することから、類似した点で把持することにより把持が成功する」と判断した、と推察する。すなわち、図３の例では、類似する形状を有する物体同士であるものの、突起部の形状が異なることにより、把持の結果が異なる２つの例が呈示されている。この場合、ユーザは、物体４１を把持するという事象の学習において、学習データ４５が適切でない（あるいは、学習データ４５のみでは不十分である）と判断することができる。このため、ユーザは、物体４１と類似する形状を有する物体に関する学習データをさらに収集したり、学習データ４５を学習データから削除したりする等の対応を採りうる。

【0054】

続いて、図４を用いて、ユーザに呈示される情報の他の例を説明する。図４は、本開示においてユーザに呈示される情報の一例を示す図（３）である。

【0055】

図４には、実行データ５０に対して、学習データ５５が抽出され、ユーザに呈示された例を示す。実行データ５０は、入力データとして物体５１に関する画像データを含む。また、実行データ５０は、出力データとして把持点５２及び把持点５３を含む。また、実行データ５０は、「把持失敗」のラベルが付与される。

【0056】

学習データ５５は、入力データとして物体５６に関する画像データを含む。また、学習データ５５は、出力データとして把持点５７及び把持点５８を含む。また、学習データ５５は、「把持成功」のラベルが付与される。また、実行データ５０に対する学習データ５５の入力データの類似度は「０．３５」であり、出力データの類似度は「０．８０」である。これは、例えば、情報処理装置１００が実行データ５０と類似する入力履歴データを探索したところ、類似度が「０．３５」の学習データ５５しか探索されなかった状況を示す。

【0057】

ユーザは、呈示された実行データ５０を閲覧することで、把持点５２及び把持点５３が物体５１を把持するには適切な位置でないと判断可能である。また、ユーザは、把持ロボット２が「物体５１と類似する形状を探索したが、類似する形状がなかったため、最も類似する形状を有する物体５６における出力データと類似する位置で把持を行った」と推察する。すなわち、図４の例では、そもそも学習データ群に物体５１と類似する入力データを有する学習データが存在しないため、物体５１の把持に失敗したと推察される例が呈示されている。この場合、ユーザは、物体５１を把持するという事象の学習において、学習データがそもそも不足していると判断することができる。このため、ユーザは、物体５１と類似する形状を有する物体に関する学習データを収集する等の対応を採りうる。

【0058】

続いて、図５を用いて、ユーザに呈示される情報の他の例を説明する。図５は、本開示においてユーザに呈示される情報の一例を示す図（４）である。

【0059】

図５には、図４で示した実行データ５０に対して、類似した学習データや、過去の実行データが多く存在する場合の例を示す。また、図５では、学習データとともに、情報処理装置１００が生成した呈示情報が呈示される場合の例を示す。呈示情報とは、情報処理装置１００による実行データの解析結果に基づき、所定の処理の実行結果において想定される要因が示された情報である。情報処理装置１００は、例えば、エージェント２００を呈示情報とともに呈示することで、あたかも情報処理装置１００がユーザにアドバイスを行っているかのような情報の提供を行うことができる。

【0060】

図６に示す実行結果データ６１、実行結果データ６２及び実行結果データ６３は、所定の処理が行われた際の温度や湿度等の環境情報が異なる状況における実行結果を含む。なお、実行結果データ６１、実行結果データ６２及び実行結果データ６３における入力データ及び出力データは、実行データ５０と極めて類似するものとする。また、図５では、情報処理装置１００が３つの実行結果データを呈示する例を示しているが、実際には、情報処理装置１００は、３つよりも多くの実行結果データと、実行データ５０との比較検証を行っているものとする。

【0061】

図５に示す例では、情報処理装置１００は、実行結果（ラベル）と、所定の処理における環境情報との相関性を検証したものとする。そして、情報処理装置１００は、温度とラベルとの間に有意な相関がみられたと判定する。この場合、情報処理装置１００は、ラベルに与える要因が「温度」であると判定し、その旨を示すメッセージ６４を生成する。例えば、情報処理装置１００は、「温度と把持成功率の相関性が高いです。ハードウェアの変更またはモデルへの温度入力追加をお勧めします。」といった、ユーザへのアドバイスを含むメッセージ６４を生成し、ユーザに呈示する。これにより、ユーザは、自身で要因を検討せずとも、所定の処理の実行結果に影響を与える要因を知得することができる。

【0062】

続いて、図６を用いて、ユーザに呈示される情報の他の例を説明する。図６は、本開示においてユーザに呈示される情報の一例を示す図（５）である。

【0063】

図６では、図５で示したメッセージ６４に対して、エージェント２００が、グラフ６５やグラフ６６を呈示する例を示す。例えば、情報処理装置１００は、過去の実行結果の履歴に基づいて、温度と実行結果との関係を一次元にプロットしたグラフ６５を生成し、ユーザに呈示する。また、情報処理装置１００は、過去の実行結果の履歴に基づいて、温度と出力類似度（把持点）と実行結果との関係を二次元にプロットしたグラフ６６を生成し、ユーザに呈示してもよい。このように、情報処理装置１００は、文章やグラフなど、種々の態様でユーザに情報を呈示してもよい。これにより、ユーザは、処理の実行結果に与える要因を一目で理解することができる。

【0064】

以上、図１乃至図６を用いて説明したように、情報処理装置１００は、所定の処理が実行された際に入力されたデータと、履歴データ（学習データや実行結果データ）との類似度を算出し、類似度に基づいて一部の履歴データを抽出する。また、情報処理装置１００は、抽出した履歴データが含む環境情報やラベルの相関性に基づいて、呈示情報を生成してもよい。これにより、情報処理装置１００は、把持ロボット２等のハードウェアが実行する処理の失敗原因や、機械学習に悪影響を与える要因となった学習データ等をユーザにわかりやすく呈示することができる。

【0065】

［１－３．第１の実施形態に係る情報処理装置の構成］
次に、第１の実施形態に係る情報処理を実行する情報処理装置１００の構成について説明する。図７は、本開示の第１の実施形態に係る情報処理装置１００の構成例を示す図である。

【0066】

図７に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００を管理する管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

【0067】

通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１０は、ネットワークＮ（インターネット等）と有線又は無線で接続され、ネットワークＮを介して、把持ロボット２やユーザ端末１０等との間で情報の送受信を行う。

【0068】

記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、学習データ記憶部１２１と、実行結果記憶部１２２と、呈示情報記憶部１２３とを有する。以下、各記憶部について順に説明する。

【0069】

学習データ記憶部１２１は、モデル生成に用いられる学習データ群を記憶する。例えば、学習データは、物体の把持に関する学習においては、把持する物体の画像データと、当該画像データにおける正解データとなる把持点の座標とのデータセットから構成される。なお、学習データは、情報処理装置１００が保持せずに、外部サーバ等から、適宜取得してもよい。

【0070】

図８に、第１の実施形態に係る学習データ記憶部１２１の一例を示す。図８は、本開示の第１の実施形態に係る学習データ記憶部１２１の一例を示す図である。図８に示した例では、学習データ記憶部１２１は、「学習モデル種別」、「学習データＩＤ」、「入力データ」、「出力データ」、「環境情報」、「ラベル」、「ＬＯＳＳ」といった項目を有する。

【0071】

「学習モデル種別」は、モデルによって実行される事象（ハードウェアが実行する処理）の種別を示す。「学習データＩＤ」は、学習データを識別する識別情報である。

【0072】

「入力データ」は、学習データにおける入力データを示す。「出力データ」は、学習データにおける出力データを示す。なお、図８では、入力データや出力データ、その他の項目のデータ等を、「Ａ０１」や「Ｂ０１」といった概念で示しているが、実際には、各項目には、各項目に対応する具体的な情報が記憶される。例えば、入力データの項目には、物体の形状を示す画像データが記憶される。また、出力データには、物体を把持すべき座標を示すデータが記憶される。

【0073】

「環境情報」は、所定の処理が実行された際の環境に関する情報を示す。環境情報は、例えば、把持ロボット２や、情報処理装置１００が備えるセンサ等によって測定される。環境情報は、「日付」、「温度」、「湿度」、「稼働時間」、「個体ＩＤ」といった小項目を有する。

【0074】

「日付」は、所定の処理が実行された日付を示す。「温度」は、所定の処理が実行された際の温度を示す。「湿度」は、所定の処理が実行された際の湿度を示す。「稼働時間」は、所定の処理が実行された際に、当該ハードウェアが稼働していた時間を示す。「個体ＩＤ」は、所定の処理を実行したハードウェアを識別する識別情報を示す。

【0075】

「ラベル」は、所定の処理の結果に対して付与される任意の情報を示す。例えば、ラベルは、実行結果が望ましい結果であったか否かを示す「成功」や「失敗」といった情報である。なお、学習の種別によっては、ラベルは付与されなくてもよい。

【0076】

「ＬＯＳＳ」は、機械学習における損失を示す値である。例えば、機械学習では、ＬＯＳＳ（損失）を最小化するような学習が行われる。ＬＯＳＳは、個別の学習データごとに算出される値であり、例えば、モデルの出力と正解出力の誤差とによって求められる。ＬＯＳＳが大きいほどモデルのパラメータの修正量が大きいことになるため、ＬＯＳＳが大きい学習データほど、モデルに与える影響が大きいといえる。

【0077】

すなわち、図８に示した例では、学習モデル種別が「物体の把持」である場合の学習データの一例は、学習データＩＤ「Ａ０１」によって識別される学習データであることを示している。また、学習データＩＤ「Ａ０１」は、入力データが「Ｂ０１」であり、出力データが「Ｃ０１」であり、その処理が行われた日付は「Ｄ０１」であり、その際の温度が「Ｅ０１」であり、湿度が「Ｆ０１」であり、稼働時間が「Ｇ０１」であり、処理が行われたハードウェアの個別ＩＤが「Ｈ０１」であることを示している。また、学習データＩＤ「Ａ０１」は、ラベルが「成功」であり、ＬＯＳＳが「Ｊ０１」であることを示している。

【0078】

次に、実行結果記憶部１２２について説明する。実行結果記憶部１２２は、ハードウェアによって実行された所定の処理の結果を記憶する。

【0079】

図９に、第１の実施形態に係る実行結果記憶部１２２の一例を示す。図９は、本開示の第１の実施形態に係る実行結果記憶部１２２の一例を示す図である。図９に示した例では、実行結果記憶部１２２は、「実行結果ＩＤ」、「実行結果」、「抽出データ」といった項目を有する。

【0080】

「実行結果ＩＤ」は、所定の処理が行われた結果を識別する識別情報を示す。「実行結果」は、所定の処理が行われた結果の具体的な情報を示す。「入力データ」、「出力データ」、「ラベル」、「環境情報」は、各々、図８に示した同様の項目に対応した情報が記憶される。

【0081】

「抽出データ」は、実行結果に基づいて、情報処理装置１００によって抽出されたデータを示す。抽出データは、例えば、ユーザの要求や、所定の処理が失敗した際に、実行結果と学習データや他の実行結果データとの入力データの類似度等に基づいて抽出されるデータである。なお、抽出データは、一つのデータに限らず、複数のデータであってもよい。

【0082】

すなわち、図９に示した例では、実行結果ＩＤ「Ｋ０１」によって識別される実行結果は、入力データが「Ｂ１１」であり、出力データが「Ｃ１１」であり、ラベルが「成功」であり、環境情報が「Ｌ０１」であることを示している。また、実行結果ＩＤ「Ｋ０１」によって識別される実行結果に基づいて抽出されたデータは、「Ｍ０１」であることを示している。

【0083】

次に、呈示情報記憶部１２３について説明する。呈示情報記憶部１２３は、情報処理装置１００が呈示情報を生成する際に利用される情報を記憶する。例えば、呈示情報記憶部１２３は、文章データベース１２４と、グラフデータベース１２５を有する。

【0084】

文章データベース１２４は、呈示情報の一例であるメッセージを生成するための基礎となる文章と、各文章に挿入される変数に関する情報が記憶される。変数は、例えば、実行結果と相関性を有する要因等である。

【0085】

グラフデータベース１２５は、呈示情報の一例であるグラフを生成するための基礎となるグラフ等の画像データ（例えば、棒グラフや折れ線グラフを表示するために用いられる画像データ等）と、各グラフを生成するために用いられる変数に関する情報が記憶される。変数は、例えば、実行結果と相関性を有する要因等である。

【0086】

図７に戻り、説明を続ける。制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部に記憶されたプログラム（例えば、本開示に係る情報処理プログラム）がＲＡＭ（Random Access Memory）等を作業領域として実行されることにより実現される。また、制御部１３０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

【0087】

図７に示すように、制御部１３０は、学習部１３１と、取得部１３２と、解析部１３３と、抽出部１３４と、呈示部１３５と、更新部１３６とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図７に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

【0088】

学習部１３１は、学習データ記憶部１２１に記憶された学習データに基づいて、学習モデルを生成するための学習を行う。なお、学習部１３１が実行する学習処理の種別は、何らかの種別に特定されない。例えば、学習部１３１は、ニューラルネットワーク、サポートベクターマシン（Support Vector Machine）、クラスタリング、強化学習等の各種学習アルゴリズムを用いてモデルを生成してもよい。

【0089】

取得部１３２は、各種情報を取得する。例えば、取得部１３２は、入力データに対して出力データを得る所定の処理において、任意の出力データ（以下、区別のため「第１の出力データ」と称する）を得た際に入力された入力データ（以下、区別のため「第１の入力データ」と称する）を取得する。すなわち、取得部１３２は、モデルが組み込まれたハードウェアによって所定の処理が実行された場合の入力データを取得する。言い換えれば、取得部１３２は、所定の学習モデルから第１の出力データを得た際に入力された第１の入力データを取得する。

【0090】

また、取得部１３２は、第１の出力データを得た際の所定の処理における環境情報を含む第１の入力データを取得してもよい。

【0091】

例えば、取得部１３２は、ハードウェアに設置されたセンサ等を介して、所定の処理が実行された際の温度や湿度等を取得する。また、取得部１３２は、所定の処理が実行された際の日付や、ハードウェアの個体ＩＤや、ハードウェアの稼働時間等を取得してもよい。

【0092】

また、取得部１３２は、所定の処理における結果を示したラベルが付与された第１の入力データを取得してもよい。例えば、取得部１３２は、所定の処理が実行されたのちに、人為的に付与されたラベルや、実行結果に基づいて自動的に判定されたラベル等が付与された第１の入力データを取得する。

【0093】

解析部１３３は、取得部１３２によって取得された第１の入力データに対する各種解析を実行する。例えば、解析部１３３は、第１の入力データと、所定の処理が過去に実行された際の入力データの履歴である入力履歴データの各々との類似度を算出する。この場合、入力履歴データとは、学習データ及び過去の実行結果データを含む。

【0094】

例えば、解析部１３３は、第１の入力データがモデルに入力された場合に導出される特徴量と、他の入力データがモデルに入力された場合に導出される特徴量とに基づいて、第１の入力データと各々の入力データとの類似度を算出する。この場合、解析部１３３は、特徴量として、例えばニューラルネットワークの中間層における特徴量を利用すること等により、計算量を削減することができる。また、解析部１３３は、主成分分析やオートエンコーダなどの次元圧縮器を利用し、入力データの情報量を削減した情報を特徴量として用いてもよい。また、解析部１３３は、その他、入力データの特徴量を算出する既知の技術を適宜利用して、類似度を算出してもよい。

【0095】

また、解析部１３３は、所定の処理の結果と、所定の処理の結果に影響を与えたと推定される要因との相関性を算出してもよい。かかる処理についての詳細は後述する。

【0096】

抽出部１３４は、取得部１３２によって取得された第１の入力データと、所定の処理が過去に実行された際の入力データの履歴である入力履歴データの各々との類似度に基づいて、入力履歴データから第１の入力データと関連する第２の入力データを抽出する。ここで、第２の入力データとは、例えば、図１において実行データ２０とともにユーザに呈示された学習データ２５（より具体的には、入力データである物体２６の画像データ）等、実行結果と比較対照されるデータのことをいう。

【0097】

例えば、抽出部１３４は、第２の入力データとして、第１の出力データと類似する出力結果を得た入力履歴データを第２の入力データとして抽出してもよい。すなわち、抽出部１３４は、第１の入力データと、入力データ及び出力データがともに類似する第２の入力データを抽出する。かかるデータが抽出され呈示されることで、ユーザは、処理の実行において強い影響を受けたと想定される学習データがどのようなデータであったか等を認識することができる。

【0098】

また、抽出部１３４は、第１の出力データと類似する出力結果を得た入力履歴データと、第１の出力データと非類似の出力結果を得た入力履歴データとの複数のデータを、第２の入力データとして抽出してもよい。かかるデータが抽出され呈示されることで、ユーザは、入力データが類似しているにもかかわらず、異なる出力データである複数のデータを比較することができるため、学習の問題点や、モデルの更新のために適するデータ等を容易に把握することができる。

【0099】

また、抽出部１３４は、入力履歴データのうち、第１の入力データとの類似度が高いデータから優先的に第２の入力データとして抽出してもよい。例えば、抽出部１３４は、最も類似度が高いデータのみを抽出してもよいし、類似度が高いデータから優先的に所定数のデータを抽出してもよい。

【0100】

また、抽出部１３４は、環境情報を含む第２の入力データを抽出してもよい。具体的には、抽出部１３４は、環境情報として、温度や湿度等を含む第２の入力データを抽出する。かかるデータが抽出され呈示されることで、ユーザは、所定の処理の実行時における環境情報も含めた検証を行うことができる。

【0101】

また、抽出部１３４は、第１の入力データに付与されたラベルが予め指定された所定の結果である場合に、第１の入力データと関連する第２の入力データを抽出する処理を実行してもよい。例えば、抽出部１３４は、所定の処理が「物体の把持」である場合、「物体の把持に失敗」したというラベルが付与された第１の入力データを取得した場合に、当該第１の入力データに関連する第２の入力データを自動的に抽出してもよい。これにより、ユーザは、わざわざ抽出の要求を行わずとも、処理が失敗したことを契機として、失敗要因となりうる学習データの呈示を受けることができるので、迅速に検証を行うことができる。

【0102】

また、抽出部１３４は、第１の入力データと、ラベルが付与された入力履歴データとの類似度に基づいて、ラベルが付与された第２の入力データを抽出してもよい。すなわち、抽出部１３４は、同一のラベルが付与された学習データや、あるいは、入力データが類似するにもかかわらず異なるラベルが付与された学習データ等を抽出する。これにより、ユーザは、所定の処理の実行結果に関して、多様な観点から検証を行うことができる。

【0103】

また、抽出部１３４は、複数の第２の入力データに対応付けられた変数に基づいて、複数の第２の入力データを統計的に分類する処理を行ってもよい。例えば、抽出部１３４は、図６に示したように、類似する複数の実行結果データを得た場合に、それらのデータを統計的手法（クラスタリング等）に基づき分類する。そして、抽出部１３４は、分類した結果を呈示部１３５に渡す。これにより、ユーザは、例えば、図６に示すグラフ６５やグラフ６６に示されるような、所定の変数（図６の例では温度）と、入力データとの相関性を容易に把握することができる。

【0104】

呈示部１３５は、抽出部１３４によって抽出された第２の入力データを呈示する。なお、呈示部１３５は、自装置がディスプレイ等の表示部を有する場合、表示部へ第２の入力データを呈示する。また、呈示部１３５は、自装置がディスプレイ等の表示部を有しない場合、外部装置（例えば、ユーザ端末１０）へ第２の入力データに関する情報を送信することにより、抽出部１３４によって抽出された情報をユーザに呈示する。

【0105】

呈示部１３５は、所定の処理の結果に与えた要因等、ユーザにとって有用な情報を呈示する。例えば、呈示部１３５は、図５に示したように、抽出部１３４によって抽出された第２の入力データとともに、温度等の環境情報を呈示する。

【0106】

より具体的には、呈示部１３５は、第２の入力データとともに、第２の入力データに対して所定の処理が実行された場合の温度又は湿度等を呈示する。これにより、ユーザは、過去にモデルに入力されたデータ（第２の入力データ）に対して所定の処理が実行された際の温度や湿度を、現時点の実行データ（第１の入力データ）と比較することができるため、処理の失敗原因等に関する有用な情報を得ることができる。

【0107】

また、呈示部１３５は、第２の入力データとともに、第２の入力データに付与されたラベルを呈示してもよい。例えば、呈示部１３５は、過去に第２の入力データが入力された際の実行結果をユーザに呈示する。

【0108】

さらに、呈示部１３５は、抽出部１３４によって抽出されたラベルが付与された第２の入力データに基づいて、ラベルと、当該第２の入力データが含む変数との相関性に関する情報を呈示してもよい。例えば、呈示部１３５は、図５に示すように、温度と把持成功率など、ラベルと、ラベルの要因となりうる変数（図５の例では温度）を呈示する。これにより、ユーザは、実行結果の要因を容易に特定することができる。

【0109】

また、呈示部１３５は、抽出部１３４によって抽出された第２の入力データとともに、第２の入力データが学習モデルの学習に与える影響を示す指標値を呈示してもよい。具体的には、呈示部１３５は、抽出された第２の入力データにおけるＬＯＳＳの値を呈示する。これにより、ユーザは、抽出された第２の入力データが、モデルにどのくらいの影響力があるデータであるかといった情報を把握することができる。

【0110】

また、呈示部１３５は、抽出部１３４によって複数の第２の入力データが統計的に分類された場合、抽出部１３４によって分類された複数の第２の入力データを呈示してもよい。

【0111】

更新部１３６は、モデルの更新処理を実行する。例えば、更新部１３６は、ユーザ端末１０を介して、特定の学習データの削除の要求や、学習における重要度を下げる要求を受け付ける。そして、更新部１３６は、受け付けた要求に基づいて学習データを更新し、更新した学習データに基づいて、モデルを再学習する。

【0112】

なお、更新部１３６は、ユーザから要求を受け付けずに、自動的にモデルを最適化する更新処理を行ってもよい。例えば、更新部１３６は、抽出部１３４によって抽出された第２の入力データのうち、第１の入力データと反するラベルが付与されたデータを学習データから削除し、削除後の学習データを用いて学習モデルを更新してもよい。

【0113】

例えば、図１に示したような、実行データ２０と入力も出力も類似するにも関わらず反するラベルが付与された学習データ２５は、所定の処理の実行（すなわちモデル）に悪影響を与える可能性が高い。このため、更新部１３６は、第１の入力データと反するラベルが付与されたデータを自動的に学習データから削除し、削除後の学習データを用いて学習モデルを更新することで、ユーザからの要求を受け付けずとも、モデルを最適化することができる。

【0114】

［１－４．第１の実施形態に係る情報処理の手順］
次に、図１０乃至図１５を用いて、第１の実施形態に係る情報処理の手順について説明する。まず、図１０を用いて、本開示の第１の実施形態に係る情報処理の流れの概要について説明する。図１０は、本開示の第１の実施形態に係る情報処理の概要を示す図である。

【0115】

図１０では、情報処理装置１００が実行する情報処理の流れや、情報処理装置１００と、ユーザ端末１０や把持ロボット２との関係を模式的に示す。図１０に示すように、情報処理装置１００は、主に４つの機構（機能）に基づいて情報処理を実行する。なお、例えば、図７に示した学習部１３１は、図１０に示す学習データ管理機構に対応する。また、図７に示した取得部１３２は、図１０に示す学習モデル実行機構に対応する。また、図７に示した解析部１３３、抽出部１３４及び呈示部１３５は、図１０に示す統計・解析機構に対応する。また、図７に示した更新部１３６は、図１０に示す学習データ・モデル修正機構に対応する。

【0116】

図１０に示すように、情報処理装置１００は、学習データとそれに伴う環境情報とを学習データ管理機構で管理する（ステップＳ１１及びステップＳ１２）。また、情報処理装置１００は、学習モデル実行機構において、学習モデルを用いて学習モデルの実行を制御し（ステップＳ１３）、実行結果を得る。

【0117】

情報処理装置１００は、実行結果を統計・解析機構において統計及び解析処理を行う（ステップＳ１４）。この際、情報処理装置１００は、モデル生成に用いられた学習データを取得し（ステップＳ１５）、モデルの実行において入力されたデータ（第１の入力データ）と類似する学習データ等を抽出する。そして、情報処理装置１００は、抽出した情報をユーザ端末１０に送信し、ユーザに情報を呈示する（ステップＳ１６）。

【0118】

ユーザは、呈示された情報に基づいて、さらに詳細な情報を得るための再解析を要求したり（ステップＳ１７）、抽出された学習データを削除するための要求を送信したりする（ステップＳ１８）。

【0119】

情報処理装置１００は、学習データ・モデル修正機構において、学習データを更新する（ステップＳ１９）。そして、情報処理装置１００は、更新された学習データに基づいて、学習モデルを更新する（ステップＳ２０）。また、ユーザは、更新された学習モデルをハードウェア（把持ロボット２）に組み込む要求や命令を実行する（ステップＳ２１０）。

【0120】

次に、図１１を用いて、図１０に示した統計・解析機構が実行する処理の詳細について説明する。図１１は、本開示の第１の実施形態に係る解析処理の概要を示す図である。

【0121】

図１１に示すように、情報処理装置１００は、第１の入力データに基づいて実行された処理の失敗成功判定（例えば、処理が失敗であったこと等）や、ユーザからの解析要求を契機として（ステップＳ２１）、解析処理を開始する（ステップＳ２２）。

【0122】

情報処理装置１００は、学習データ群や、実行時の入力データ（第１の入力データ）や、実行結果（出力データ等）や、成功失敗判定（ラベル）等、解析に要するデータを取得する（ステップＳ２３）。そして、情報処理装置１００は、学習データを検索し、類似する学習データを抽出し、ユーザ端末１０に情報を呈示する（ステップＳ２４）。

【0123】

また、情報処理装置１００は、検索結果を統計解析し（ステップＳ２５）、学習データとして不適切なデータであるか否か等の判定を行う（ステップＳ２６）。情報処理装置１００は、学習データとして不適切なデータについては、学習データ・修正機構に送り、学習データ群から削除する等の対応を行う（ステップＳ２７）。

【0124】

また、情報処理装置１００は、統計した情報に基づいて、呈示情報の生成処理を行う（ステップＳ２８）。例えば、情報処理装置１００は、実行結果と温度との相関性等に基づいて、ユーザに呈示するメッセージやグラフの生成処理を行う。なお、かかる処理は、ユーザからの要求を契機として行われてもよい。

【0125】

情報処理装置１００は、生成した呈示情報をユーザ端末１０に送信する（ステップＳ２９）。そして、情報処理装置１００は、呈示情報を閲覧したユーザから、さらに情報の解析を行う旨の要求を受け付けた場合（ステップＳ３０）、情報の再解析を行う。

【0126】

ここで、図１２乃至図１４を用いて、情報の再解析に関して説明する。図１２は、本開示の第１の実施形態に係る再解析処理を示す図（１）である。図１２では、実行データ５０に対して、実行結果データ７１、実行結果データ７２及び実行結果データ７３が抽出され、ユーザに呈示された例を示す。

【0127】

図１２に示す実行結果データ７１、実行結果データ７２及び実行結果データ７３における入力データ及び出力データは、実行データ５０と極めて類似するものとする。また、図１２では、情報処理装置１００が３つの実行結果データを呈示する例を示しているが、実際には、情報処理装置１００は、３つよりも多くの実行結果データと、実行データ５０との比較検証を行っているものとする。

【0128】

図１２に示す例では、情報処理装置１００は、実行結果（ラベル）と、所定の処理における環境情報との相関性を検証したものとする。そして、情報処理装置１００は、日付とラベルとの間に有意な相関がみられたと判定する。この場合、情報処理装置１００は、ラベルに与える要因が「日付」であると判定し、その旨を示すメッセージ７４を生成する。例えば、情報処理装置１００は、「日付と把持成功率の相関性が高いです。ハードウェア破損の可能性があるため、メンテナンスをお勧めします。」といった、ユーザへのアドバイスを含むメッセージ７４を生成し、ユーザに呈示する。

【0129】

ここで、情報処理装置１００は、実行結果に関する要因と、要因に関する再解析を行う提案をユーザに呈示してもよい。例えば、情報処理装置１００は、要因と、要因と対応付けられた再解析の定義情報等を参照し、ユーザに所定の提案を行う。一例として、情報処理装置１００は、「日付」が把持成功率に影響を与える要因と判定された場合に、ハードウェアにおける「経年劣化」に関する再解析をユーザに提案する。

【0130】

例えば、情報処理装置１００は、日付が実行結果に影響を与える要因であることを示す呈示情報（例えばメッセージ７４）とともに、再解析を受け付けるボタン７５を表示する。ボタン７５は、例えば、「「経年劣化」に着目した再解析」を行うことを要求することを示すボタンである。ユーザは、再解析を要求する場合、ボタン７５を選択する。

【0131】

ユーザから要求された際の再解析の処理について、図１３を用いて説明する。図１３は、本開示の第１の実施形態に係る再解析処理を示す図（２）である。図１３では、情報処理装置１００が経年劣化に関する再解析を行った際に、ユーザに呈示される情報の一例を示す。

【0132】

例えば、情報処理装置１００は、経年劣化に関する再解析を要求された場合、実行結果データ７１等に示される物体の把持結果や他の物体の把持結果と、日付に関するデータとの相関性を算出する。そして、情報処理装置１００は、種々の物体と、物体の把持結果と日付の相関性とを示す情報７６をユーザに呈示する。本開示では、把持結果と任意のデータとの相関性を示す指標値をαという変数で示す。相関値αは、例えば、０から１までの数値であり、１に近付くほど相関性が高いことを示す。

【0133】

また、情報処理装置１００は、ハードウェアの動作結果から得られた数値と、算出した相関性との関係を示したグラフ７７等をユーザに呈示してもよい。図１３の例では、情報処理装置１００は、ハードウェアの動作（アクション）のうち指の開き具合と、把持結果を示す相関性との関係を示したグラフ７７を呈示する。これにより、ユーザは、経年劣化の傾向（例えば、稼働時間が長いほど把持に失敗する傾向にある等）や、経年の利用によってどのような部位に支障が出ているかといった、種々の情報を知得することができる。

【0134】

また、情報処理装置１００は、上記のような再解析の結果に関する呈示情報を生成してもよい。例えば、情報処理装置１００は、「指の開き具合によって経年劣化の傾向があるようです。指の開閉を行うモータのチェックをお勧めします。」といった、ユーザにチェック項目を呈示するメッセージ７８を生成する。

【0135】

次に、図１４を用いて、情報処理装置１００が実行する再解析処理の詳細について説明する。図１４は、本開示の第１の実施形態に係る再解析処理を示す図（３）である。図１４では、情報処理装置１００が再解析を行い、さらに、再解析に基づいた呈示情報を生成する処理の流れについて説明する。

【0136】

図１４に示すように、情報処理装置１００は、学習データ群を参照し、所定の処理の結果と、各学習データが含むデータとの相関性を算出する（ステップＳ４１）。そして、情報処理装置１００は、所定の処理の結果と、各学習データが含むデータとの相関性（相関値α）との関係を示す表８０を生成する。

【0137】

なお、相関値αは、例えば所定のＡＰＩ（Application Programming Interface）を組み込み、ＡＰＩを実行することにより算出される。例えば、情報処理装置１００は、ＡＰＩを実行し、学習データ群（及び実行結果データ群）を入力の特徴量に基づいてクラスタリングする。すなわち、情報処理装置１００は、類似度の高い入力データ（図１４の例では物体の形状）をまとめる。そして、情報処理装置１００は、クラスタリングされた類似物体ごとに統計処理を行うことにより、環境情報等の個々のデータと、付与されたラベルとの相関性を示す相関値αを算出する。

【0138】

そして、情報処理装置１００は、相関値αが所定の閾値を超える場合（例えば、α＞０．５など）、当該データが処理結果に与える影響が大きいと判定して、ユーザにその旨を呈示するための情報を生成する。

【0139】

例えば、図１４に示した例では、気温や湿度等の情報のうち、個体ＩＤと成功率との相関値αが閾値を超える。このため、情報処理装置１００は、個体ＩＤが処理結果に与える影響が大きいと判定し、個体ＩＤに関する呈示情報を生成することを決定する（ステップＳ４２）。

【0140】

例えば、情報処理装置１００は、複数のルールが規定された文章データベース１２４やグラフデータベース１２５に対して、所定の変数を入力することにより、ユーザに呈示する呈示情報を生成する。

【0141】

図１４の例では、情報処理装置１００は、変数「相関対象」が「個体ＩＤ」であるとか、変数「相関対象数」が「１」であるといった種々の情報を文章データベース１２４に入力する（ステップＳ４３）。例えば、文章データベース１２４内には、メッセージ８１のように、いくつかの変数の入力箇所（図１４では「相関対象」や「失敗個体ＩＤ」等）が空欄であるメッセージが保持される。情報処理装置１００は、これらの入力箇所に変数の値を入力することにより、ユーザに呈示することが可能なメッセージを取得する（ステップＳ４４）。

【0142】

同様に、情報処理装置１００は、変数の値をグラフデータベース１２５に入力する（ステップＳ４５）。これにより、情報処理装置１００は、変数の値に基づいて生成されたグラフ８２等を取得する（ステップＳ４６）。かかる処理により、情報処理装置１００は、呈示情報を生成する（ステップＳ４７）。

【0143】

このように、情報処理装置１００は、蓄積された学習データ群に対して再解析を行うことにより、処理結果の失敗要因と相関性のあるデータや、ユーザが採りうる対応等を適切に提示することができる。ユーザは、呈示された情報に基づいて、学習データを修正したり、ハードウェアのチェックを行ったりすることができる。

【0144】

次に、図１５を用いて、情報処理システム１全体における情報処理の流れを説明する。図１５は、本開示の第１の実施形態に係る情報処理の流れを示すシーケンス図である。

【0145】

まず、把持ロボット２は、学習モデルに基づき所定の処理を実行する（ステップＳ１０１）。そして、把持ロボット２は、処理の実行結果や、実行時の環境情報等の種々の情報を情報処理装置１００に送信する（ステップＳ１０２）。

【0146】

情報処理装置１００は、実行時の入力データ等に類似するデータを抽出する（ステップＳ１０３）。続けて、情報処理装置１００は、抽出したデータをユーザ端末１０に呈示（送信）する（ステップＳ１０４）。

【0147】

ユーザ端末１０は、呈示された情報を表示する（ステップＳ１０５）。また、ユーザ端末１０は、表示された情報を閲覧したユーザから、再解析の要求を受け付ける（ステップＳ１０６）。ユーザ端末１０は、ユーザから受け付けた要求に従い、情報の再解析を情報処理装置１００に要求する（ステップＳ１０７）。

【0148】

情報処理装置１００は、要求に応じた再解析を実行する（ステップＳ１０８）。そして、情報処理装置１００は、再解析した情報をユーザ端末１０に呈示する（ステップＳ１０９）。

【0149】

ユーザ端末１０は、再解析の情報を閲覧したユーザから、学習データの更新（削除）の要求等を受け付ける（ステップＳ１１０）。ユーザ端末１０は、ユーザから受け付けた要求に従い、学習データの更新等の要求を情報処理装置１００に送信する（ステップＳ１１１）。

【0150】

情報処理装置１００は、学習データを更新したのち、更新後の学習データでの再学習を行い、学習モデルを更新する（ステップＳ１１２）。そして、情報処理装置１００は、更新された学習モデルに基づいて、ハードウェアを更新する（ステップＳ１１３）。

【0151】

なお、上記の処理の流れは一例を示したものであり、情報処理システム１による処理は、必ずしも図１５の流れに沿って行われるのではなく、種々に変更されてもよい。例えば、ユーザは、ステップＳ１０５ののちに学習データの更新を要求してもよいし、ハードウェアの更新についてユーザ端末１０を介して行ってもよい。

【0152】

［１－５．第１の実施形態の変形例］
上述した第１の実施形態に係る処理は、種々の異なる形態（変形例）にて実施されてよい。

【0153】

例えば、情報処理装置１００は、入力データとして、１枚の画像データを呈示するのではなく、複数の入力データを呈示してもよい。この点について、図１６を用いて説明する。図１６は、第１の実施形態の変形例に係る情報処理の一例を示す図（１）である。

【0154】

図１６では、情報処理装置１００が、入力データとして、物体の画像の正面及び横向きの画像をユーザに呈示する例を示す。図１６に示すように、ユーザは、物体の正面から撮像された画像８５に加えて、物体の横向きから撮像された画像８６を閲覧することができる。これにより、ユーザは、把持ロボット２が把持した点を多角的な視点から確認することができる。なお、図１６での図示は省略しているが、情報処理装置１００は、画像８５及び画像８６とともに、画像８５及び画像８６と類似する入力データを有する学習データを呈示してもよい。

【0155】

また、図１６では、情報処理装置１００が、入力データとして、物体の画像のＲＧＢ画像及び硬度画像をユーザに呈示する例を示す。図１６に示すように、ユーザは、通常の色調で物体が撮像された画像８５に加えて、物体の硬度を測るセンサを介して取得された画像８７を閲覧することができる。これにより、ユーザは、把持ロボット２が把持した点を確認するとともに、物体がどのような硬度を有するか、あるいは、どのような硬度を有する箇所を把持することが適切であったか、といった分析を行うことができる。なお、図１６での図示は省略しているが、情報処理装置１００は、画像８５及び画像８７とともに、画像８５及び画像８７と類似する入力データを有する学習データを呈示してもよい。この場合、画像８７に類似する入力データとは、物体を構成する要素の硬度が類似する物体であってもよい。なお、情報処理装置１００は、硬度を示す画像等に限らず、物体の深度画像等を取得してもよい。

【0156】

また、情報処理装置１００は、出力データとして、把持点のみを呈示するのではなく、把持の方向や動作履歴等を呈示してもよい。この点について、図１７を用いて説明する。図１７は、第１の実施形態の変形例に係る情報処理の一例を示す図（２）である。

【0157】

図１７では、情報処理装置１００が、把持ロボット２が物体を把持した軌跡を出力データとして有する実行データ８８をユーザに呈示する例を示す。また、情報処理装置１００は、把持ロボット２が物体を把持する動作履歴を時系列で記憶したデータを出力データとして有する実行データ８９をユーザに呈示してもよい。

【0158】

このように、情報処理装置１００は、出力データとして、ある瞬間の出力値のみを呈示するのみならず、ハードウェアの動作に基づき得られる出力データを時系列で捉えたデータをユーザに呈示してもよい。これにより、ユーザは、ハードウェアがどのような動作を行ったかをより的確に把握することができる。なお、情報処理装置１００は、出力データとして、２次元の動作履歴のみならず、３次元の動作履歴等を取得してもよい。

【0159】

また、第１の実施形態では、把持ロボット２に取り付けられたカメラ等のセンサに基づいて入力データが生成される例を示した。しかし、入力データは、種々の手法によって生成されてもよい。

【0160】

例えば、入力データは、ユーザ自らが把持ロボット２の動作を撮像して生成してもよい。また、入力データは、把持ロボット２とは異なるロボットが自動的に収集したデータに基づいて生成されてもよい。

【0161】

また、第１の実施形態では、情報処理装置１００が環境情報として温度や湿度等のデータを取得する例を示した。しかし、情報処理装置１００は、環境情報として、光度（明るさの度合い）や、動作が実行された時間帯や、処理が実行された際の高度等、種々のデータを取得してもよい。また、情報処理装置１００は、取得した種々のデータと処理結果との相関性を解析してもよい。

【0162】

（２．第２の実施形態）
次に、第２の実施形態について説明する。第１の実施形態では、情報処理装置１００が把持ロボット２の把持処理における入力データと、学習データ等に含まれる入力データとの類似度を算出する例を示した。しかし、情報処理装置１００は、把持処理に限らず、種々の処理において、上記のような類似度を算出する処理を行ってもよい。この点について、図１８及び図１９を用いて説明する。

【0163】

図１８は、本開示の第２の実施形態に係る情報処理の概要を示す図（１）である。図１８では、情報処理装置１００が、音声の自動応答に関するモデルを生成し、かかるモデルに入力された音声に対する応答を行う例を示す。なお、図１８での図示は省略するが、第２の実施形態に係るハードウェアは、例えば、音声の自動応答を行う、いわゆるスマートスピーカー等である。

【0164】

図１８に示す例では、ユーザがハードウェアに対して「ちばくん、げんき？」といった音声９０を入力し、入力した音声９０に対して、「明日の関東の天気は・・・」といった応答が行われたことを示す。この場合、ユーザは、ユーザ端末１０を介して、所望する応答が得られなかった旨を情報処理装置１００に送信する。情報処理装置１００は、かかる情報を受信し、第１の入力データ（図１８の例では、「ちばくん、げんき？」という音声波形を有する音声９０）に類似する学習データを抽出する。

【0165】

例えば、情報処理装置１００は、第１の実施形態と同様、各学習データが含む入力データの特徴量と、第１の入力データの特徴量との類似度を算出する。そして、情報処理装置１００は、例えば算出された類似度の高い入力データを含む学習データを抽出する。

【0166】

図１８の例では、情報処理装置１００は、第１の入力データと類似する（例えば類似度が０．８０以上の）複数の学習データを含んだ学習データ群９１を抽出し、ユーザに呈示するものとする。ユーザは、呈示された学習データ群９１の各入力データを参照することで、例えば、「ちばくん」という発話が「千葉県」と誤って認識されていたことや、「げんき？」という発話が「天気」と誤って認識されていたこと等を推測することができる。

【0167】

また、情報処理装置１００は、過去の実行データや学習データのラベルやその他の環境情報とともに類似するデータを呈示することで、より有用な情報をユーザに提供することもできる。この点について、図１９を用いて説明する。

【0168】

図１９は、本開示の第２の実施形態に係る情報処理の概要を示す図（２）である。図１９では、情報処理装置１００が、ユーザの「よこはまのてんきは？」という音声９２に対して、類似する学習データ群９３を抽出した例を示す。

【0169】

ユーザは、「よこはまのてんきは？」という音声９２に対して、「明日の広島の天気は・・・」という応答がハードウェアから得られた場合に、その応答が失敗であるとして、ラベル「応答失敗」を付与する。情報処理装置１００は、ラベル「応答失敗」が付与されたことを契機として、第１の入力データに類似する入力データを抽出する処理を開始する。

【0170】

図１９の例では、情報処理装置１００は、学習データ群９３を抽出し、ユーザに呈示するものとする。図１９に示すように、学習データ群９３が含む各データは、ラベルや、発話者の属性情報（性別や年齢等）を有する。

【0171】

ユーザは、呈示された学習データ群９３を参照することで、例えば、「よこはま」という発話が「ひろしま」や「かごしま」と誤って認識されていたこと等を推測することができる。

【0172】

また、情報処理装置１００は、第１の実施形態と同様、ラベルと環境情報との相関性を算出し、算出した情報に基づいて呈示情報を生成してもよい。例えば、情報処理装置１００は、所定の統計処理により、学習データ群９３の各データに付与されたラベルと、各データの環境情報との相関性を算出する。図１９の例では、情報処理装置１００は、第１の入力データと類似するデータ群（学習データ群９３）において、ラベル（応答の成功率）と、発話者の性別に有意な相関があると判定したものとする。

【0173】

この場合、情報処理装置１００は、「発話者の性別と成功率の相関が強いです。男性発話者の場合に失敗の傾向が見られます。」といった、ラベルと性別との相関性を伝達するメッセージ９４を生成し、ユーザに呈示する。あるいは、情報処理装置１００は、ラベルと性別との相関性を示すグラフ９５を生成し、ユーザに呈示してもよい。

【0174】

以上のように、情報処理装置１００は、所定の処理においてログを有する事象について、第１の実施形態と同様、類似する入力データを抽出して呈示する処理を実行することができる。すなわち、情報処理装置１００は、把持処理に限らず、音声応答処理等、機械学習が利用される様々な分野において、ユーザに有用な情報を呈示することができる。

【0175】

なお、第２の実施形態において、情報処理装置１００は、ユーザの性別や年齢等に限らず、発話が行われた場所や、発話者の出身地域や、発話者とハードウェアとの距離や、発話者の顔の向きや、特徴量やＬＯＳＳなど、種々のデータを用いて呈示情報を生成してもよい。

【0176】

（３．その他の実施形態）
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。

【0177】

例えば、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0178】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0179】

また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0180】

また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。

【0181】

（４．ハードウェア構成）
上述してきた各実施形態に係る情報処理装置１００、把持ロボット２、ユーザ端末１０等の情報機器は、例えば図２０に示すような構成のコンピュータ１０００によって実現される。以下、第１の実施形態に係る情報処理装置１００を例に挙げて説明する。図２０は、情報処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

【0182】

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

【0183】

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

【0184】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。

【0185】

通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

【0186】

入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0187】

例えば、コンピュータ１０００が第１の実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部１３０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部１２０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

【0188】

なお、本技術は以下のような構成も取ることができる。
（１）
入力データに対して出力データを得る所定の処理において、第１の出力データを得た際に入力された第１の入力データを取得する取得部と、
前記取得部によって取得された第１の入力データと、前記所定の処理が過去に実行された際の入力データの履歴である入力履歴データの各々との類似度に基づいて、当該入力履歴データから当該第１の入力データと関連する第２の入力データを抽出する抽出部と、
前記抽出部によって抽出された前記第２の入力データを呈示する呈示部と、
を備えた情報処理装置。
（２）
前記抽出部は、
前記第１の出力データと類似する出力結果を得た入力履歴データを前記第２の入力データとして抽出する
前記（１）に記載の情報処理装置。
（３）
前記抽出部は、
前記第１の出力データと類似する出力結果を得た入力履歴データと、当該第１の出力データと非類似の出力結果を得た入力履歴データとの複数のデータを、前記第２の入力データとして抽出する
前記（１）又は（２）に記載の情報処理装置。
（４）
前記抽出部は、
前記入力履歴データのうち、前記第１の入力データとの類似度が高いデータから優先的に前記第２の入力データとして抽出する
前記（１）～（３）のいずれかに記載の情報処理装置。
（５）
前記取得部は、
前記第１の出力データを得た際の前記所定の処理における環境情報を含む前記第１の入力データを取得し、
前記抽出部は、
前記環境情報を含む前記第２の入力データを抽出し、
前記呈示部は、
前記環境情報とともに前記第２の入力データを呈示する
前記（１）～（４）のいずれかに記載の情報処理装置。
（６）
前記取得部は、
前記環境情報として温度又は湿度を取得し、
前記呈示部は、
前記第２の入力データとともに、前記第２の入力データに対して前記所定の処理が実行された場合の温度又は湿度を呈示する
前記（５）に記載の情報処理装置。
（７）
前記取得部は、
前記所定の処理における結果を示したラベルが付与された前記第１の入力データを取得し、
前記抽出部は、
前記第１の入力データに付与されたラベルが予め指定された所定の結果である場合に、当該第１の入力データと関連する第２の入力データを抽出する
前記（１）～（６）のいずれかに記載の情報処理装置。
（８）
前記取得部は、
前記所定の処理における結果を示したラベルが付与された前記第１の入力データを取得し、
前記抽出部は、
前記第１の入力データと、前記ラベルが付与された入力履歴データとの類似度に基づいて、当該ラベルが付与された前記第２の入力データを抽出し、
前記呈示部は、
前記第２の入力データとともに、当該第２の入力データに付与されたラベルを呈示する
前記（１）～（７）のいずれかに記載の情報処理装置。
（９）
前記呈示部は、
前記抽出部によって抽出された前記ラベルが付与された前記第２の入力データに基づいて、前記ラベルと、当該第２の入力データが含む変数との相関性に関する情報を呈示する
前記（８）に記載の情報処理装置。
（１０）
前記取得部は、
所定の学習モデルから前記第１の出力データを得た際に入力された前記第１の入力データを取得し、
前記抽出部は、
前記第１の入力データと、前記学習モデルの生成に用いられた学習データとの類似度に基づいて、当該学習データから前記第２の入力データを抽出する
前記（１）～（９）のいずれかに記載の情報処理装置。
（１１）
前記呈示部は、
前記抽出部によって抽出された前記第２の入力データとともに、当該第２の入力データが前記学習モデルの学習に与える影響を示す指標値を呈示する
前記（１０）に記載の情報処理装置。
（１２）
前記取得部は、
前記所定の処理における結果を示したラベルが付与された前記第１の入力データを取得し、
前記抽出部は、
前記第１の入力データと、前記ラベルが付与された学習データとの類似度に基づいて、当該ラベルが付与された前記第２の入力データを抽出する
前記（１０）又は（１１）に記載の情報処理装置。
（１３）
前記抽出部によって抽出された前記第２の入力データのうち、前記第１の入力データと反するラベルが付与されたデータを学習データから削除し、削除後の学習データを用いて前記学習モデルを更新する更新部
をさらに備えた前記（１２）に記載の情報処理装置。
（１４）
前記抽出部は、
複数の前記第２の入力データに対応付けられた変数に基づいて、当該複数の第２の入力データを統計的に分類し、
前記呈示部は、
前記抽出部によって分類された複数の前記第２の入力データを呈示する
前記（１）～（１３）のいずれかに記載の情報処理装置。
（１５）
コンピュータが、
入力データに対して出力データを得る所定の処理において、第１の出力データを得た際に入力された第１の入力データを取得し、
取得された第１の入力データと、前記所定の処理が過去に実行された際の入力データの履歴である入力履歴データの各々との類似度に基づいて、当該入力履歴データから当該第１の入力データと関連する第２の入力データを抽出し、
抽出された前記第２の入力データを呈示する
情報処理方法。
（１６）
コンピュータを、
入力データに対して出力データを得る所定の処理において、第１の出力データを得た際に入力された第１の入力データを取得する取得部と、
前記取得部によって取得された第１の入力データと、前記所定の処理が過去に実行された際の入力データの履歴である入力履歴データの各々との類似度に基づいて、当該入力履歴データから当該第１の入力データと関連する第２の入力データを抽出する抽出部と、
前記抽出部によって抽出された前記第２の入力データを呈示する呈示部と、
として機能させるための情報処理プログラム。

【符号の説明】

【0189】

１ 情報処理システム
２ 把持ロボット
１０ ユーザ端末
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 学習データ記憶部
１２２ 実行結果記憶部
１２３ 呈示情報記憶部
１２４ 文章データベース
１２５ グラフデータベース
１３０ 制御部
１３１ 学習部
１３２ 取得部
１３３ 解析部
１３４ 抽出部
１３５ 呈示部
１３６ 更新部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】