特許 7197971 情報処理装置、情報処理装置の制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-20

(45)【発行日】2022-12-28

(54)【発明の名称】情報処理装置、情報処理装置の制御方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221221BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 12

(21)【出願番号】P 2017167662

(22)【出願日】2017-08-31

(65)【公開番号】P2019046095

(43)【公開日】2019-03-22

【審査請求日】2020-08-26

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】降籏 久義

(72)【発明者】

【氏名】小林 一彦

【審査官】山田 辰美

(56)【参考文献】

【文献】国際公開第２０１７／０７３３７３（ＷＯ，Ａ１）

【文献】特開２０１７－０７６２８７（ＪＰ，Ａ）

【文献】特開平０７－０８８７９１（ＪＰ，Ａ）

【文献】特開２０１５－１６４０３５（ＪＰ，Ａ）

【文献】特開２０１６－１０３０９４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

画像中の対象物体に設定された、前記対象物体が存在する前記画像中の位置に関するラベル情報を保持する保持手段と、
前記ラベル情報が、前記対象物体が存在する前記画像中の位置に設定されているかの正確さの度合いを示す信頼度を取得する取得手段と、
前記信頼度が所定値以下である場合に、前記ラベル情報によって示される前記画像中の位置と当該ラベル情報に対応する画像とを表示装置に表示させる表示制御手段と、
前記表示装置に対するユーザの操作を受け付ける受付手段と、
前記操作に基づいて前記表示装置に表示されたラベル情報によって示される前記画像中の位置を修正する修正手段と、
を備えることを特徴とする情報処理装置。

【請求項2】

前記ラベル情報が示す前記画像中の位置に前記対象物体が存在する確率を算出することにより前記対象物体を認識する認識手段をさらに備え、
前記取得手段は、前記認識手段による認識結果に基づいて信頼度を取得することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記取得手段は、前記ラベル情報に基づいて前記対象物体の形状を表すモデルを前記画像上に投影し、投影された前記モデルと前記画像との差に基づいて信頼度を取得することを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記画像は距離画像であり、
前記取得手段は、前記距離画像の距離情報に基づいて前記ラベル情報の信頼度を取得することを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記ラベル情報は、前記画像中の任意の位置における前記対象物体の存在の有無を示す情報を含むことを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。

【請求項6】

前記ラベル情報は、前記画像中の任意の位置における前記対象物体の存在の有無を示す情報と、前記位置における前記対象物体の姿勢の情報とを含むことを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。

【請求項7】

前記表示制御手段は、前記ラベル情報に含まれる位置及び姿勢の情報に基づいて、前記画像上に前記対象物体の形状を表すモデルを表示することを特徴とする請求項６に記載の情報処理装置。

【請求項8】

前記ラベル情報は、前記対象物体のうち把持対象部分の情報であることを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。

【請求項9】

前記表示制御手段は、前記信頼度が所定値以下である場合に、前記ラベル情報によって示される前記画像中の位置と当該ラベル情報に対応し前記画像から前記位置を含むように切り出した部分画像とを表示させることを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。

【請求項10】

前記表示制御手段は、各ラベル情報に対応する画像上の各部位が１つの画像中に複数含まれる場合、１つの画像全体を表示すると共に、前記信頼度が所定値以下であるラベル情報に対応する画像上の部位を強調して表示させることを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。

【請求項11】

画像中の対象物体に設定された、前記対象物体が存在する前記画像中の位置に関するラベル情報を保持する保持手段を備える情報処理装置の制御方法であって、
前記ラベル情報が、前記対象物体が存在する前記画像中の位置に設定されているかの正確さの度合いを示す信頼度を取得する取得工程と、
前記信頼度が所定値以下である場合に、前記ラベル情報によって示される前記画像中の位置と当該ラベル情報に対応する画像とを表示装置に表示させる表示制御工程と、
前記表示装置に対するユーザの操作を受け付ける受付工程と、
前記操作に基づいて前記表示装置に表示されたラベル情報によって示される前記画像中の位置を修正する修正工程と、
を有することを特徴とする情報処理装置の制御方法。

【請求項12】

コンピュータを、請求項１乃至１０の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理装置の制御方法及びプログラムに関し、特に、画像上の物体を認識する技術に関する。

【背景技術】

【0002】

物体を撮影した画像からパターンを学習し、物体の種類や位置姿勢を認識する手法が知られている。パターンの学習を行うには、人が画像に対して正解値を示すラベルを設定する必要がある。画像とラベルのデータを学習データと呼ぶ。

【0003】

精度の高い認識器を作るためには、学習データを大量に用意する必要がある。特許文献１では、「人がラベルを付ける操作」と「認識器の精度を評価する操作」とを所望の精度に達するまで繰り返すことで、十分な精度が確保された学習データを取得する方法が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第５９５３１５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、人が設定するラベル情報には、誤りが含まれる可能性がある。特許文献１に記載の技術では、誤ったラベル情報を含む学習データを利用してパターンの学習を行うと、認識器の精度が低下するという課題がある。

【0006】

本発明は、上記の課題に鑑みてなされたものであり、対象物体に対して設定されたラベル情報を修正できるようにし、ユーザが学習データを効率的に見直すことを可能にする技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の目的を達成する本発明に係る情報処理装置は、
画像中の対象物体に設定された、前記対象物体が存在する前記画像中の位置に関するラベル情報を保持する保持手段と、
前記ラベル情報が、前記対象物体が存在する前記画像中の位置に設定されているかの正確さの度合いを示す信頼度を取得する取得手段と、
前記信頼度が所定値以下である場合に、前記ラベル情報によって示される前記画像中の位置と当該ラベル情報に対応する画像とを表示装置に表示させる表示制御手段と、
前記表示装置に対するユーザの操作を受け付ける受付手段と、
前記操作に基づいて前記表示装置に表示されたラベル情報によって示される前記画像中の位置を修正する修正手段と、
を備えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、対象物体に対して設定されたラベル情報を修正できるようになり、ユーザが学習データを効率的に見直すことが可能となる。

【図面の簡単な説明】

【0009】

【図1】第１の実施形態における、画像とラベル情報の例を示す図である。

【図2】第１の実施形態における、情報処理装置の構成を示す図である。

【図3】第１の実施形態における、情報処理装置の処理を示すフローチャートである。

【図4】第１の実施形態における、信頼度取得部の処理を示すフローチャートである。

【図5】第１の実施形態における、信頼度の低いラベル情報と画像とを表示した例を示す図である。

【図6】第２の実施形態における、画像とラベル情報の例を示す図である。

【図7】第２の実施形態における、信頼度の低いラベル情報と画像とを表示した例を示す図である。

【図8】第１の変形例における、対象物体の形状を表すモデルを表示した例を示す図である。

【図9】第２の変形例における、信頼度の低いラベル情報と画像とを表示するバリエーションの例を示す図である。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

【0011】

（第１の実施形態）
＜概要＞
本実施形態では、学習データのラベル情報に誤りが含まれる可能性を考慮し、ユーザが学習データを効率的に見直すことを可能にする例を説明する。

【0012】

本実施形態では、画像上の任意の位置における対象物体の存在に関するラベル情報を設定する。図１（ａ）は撮影した画像の例である。図１（ａ）において、符号１１０と１１１と１１２で示す直方体の物体はラベル情報を設定すべき対象物体である。一方、符号１２０で示す円柱の物体はラベル情報を設定すべきでない非対象物体である。図１（ｂ）はユーザがラベル情報を設定した例である。図１（ｂ）の１３０と１３１とは対象物体が存在する位置にラベル情報を設定した例である。ここでは、ラベル情報を設定した位置を黒点で表現している。１３２と１３３は誤って対象物体が存在しない位置にラベル情報を設定した例である。１４０は対象物体が存在するにもかかわらず、ラベル情報を設定しなかった例である。

【0013】

ユーザがラベルを設定する場合、図１（ｂ）の例のようにラベル情報の設定に誤りが発生する可能性がある。そこで、本実施形態では、ラベル情報の信頼度を算出し、その信頼度が低い場合（所定値以下である場合）に画像とラベル情報とを選択して表示する。これにより、効率的なラベル情報の見直しを可能にする。

【0014】

＜システム構成＞
まず、図２を参照して、本実施形態のシステム構成について説明する。図２の２００は本実施形態の情報処理装置であり、３００は画像を撮影する撮影装置である。４００は画像情報を表示する表示装置であり、５００はユーザが操作する操作装置である。情報処理装置２００は、画像取得部２１０と、ラベル情報保持部２２０と、信頼度取得部２３０と、表示制御部２４０と、操作受付部２５０と、ラベル情報修正部２６０とを備える。

【0015】

撮影装置３００は、画像を撮影するカメラである。本実施形態では、画像は濃淡画像であるものとするが、濃淡画像に限定されない。表示装置４００は、画像を表示するモニタである。本実施形態では、表示制御部２４０による制御下で、画像取得部２１０で取得した画像とラベル情報保持部２２０で保持するラベル情報とを表示する。操作装置５００は、ユーザが操作するデバイスである。本実施形態では、マウスとするが、キーボードでもよいし、タッチパネルでもよい。

【0016】

＜装置構成＞
続いて、情報処理装置２００の構成要素について詳述する。画像取得部２１０は、撮影装置３００により撮影された画像を取得する。本実施形態では、取得する画像の枚数は１枚または複数枚である。

【0017】

ラベル情報保持部２２０は、画像取得部２１０により取得された各画像に対して設定されたラベル情報を保持する。本実施形態におけるラベル情報は、画像中の任意の位置における対象物体の存在に関する情報であり、画像上の各位置に対象物体が存在するかどうかの情報である。具体的には、対象物体が存在する場合は１、存在しない場合は０の情報を保持する。ラベル情報は、対象物体の存在する位置にはユーザが１のラベルを設定するものとし、それ以外の位置には０のラベルが設定されているとする。また、ラベルは、位置の情報を保持する。位置は画像上での２次元座標の値とする。

【0018】

信頼度取得部２３０は、ラベル情報保持部２２０により保持される各ラベル情報について、正確さの度合いを示す信頼度を取得する。信頼度の算出方法の詳細は後述する。認識部２３５は、画像上で指定された位置に対象物体が存在するかを認識し、存在する確率を算出して出力する。本実施形態では、対象物体が存在する確率をニューラルネットワークに基づく認識器を使って計算するものとする。なお、対象物体が存在する画像と存在しない画像とを利用して学習を行うことで、画像上に対象物体が存在するかを認識する認識器を構築することができる。また、認識部２３５は情報処理装置２００の外部にあってもよい。

【0019】

表示制御部２４０は、信頼度取得部２３０により算出された信頼度に基づいて、画像取得部２１０により取得された画像と、ラベル情報保持部２２０により保持されるラベル情報とを表示装置４００に表示させる制御を行う。操作受付部２５０は、操作装置５００を用いたユーザの入力を受け付ける。ラベル情報修正部２６０は、操作受付部２５０により受け付けられたユーザの操作に従って、ラベル情報保持部２２０により保持されているラベル情報を修正する。

【0020】

＜処理＞
次に、本実施形態の処理について説明する。図３は、本実施形態に係る情報処理装置２００が実施する処理の手順を示すフローチャートである。本処理は、ユーザにより各画像に対して設定済のラベル情報に対して、修正が必要なラベル情報を提示し、ユーザから修正を受付ける処理である。

【0021】

（ステップＳ３１０）
信頼度取得部２３０は、画像取得部２１０により取得された画像に対して設定されたラベル情報保持部２２０が保持するラベル情報について、正確さの度合いを示す信頼度を取得する。ここで、図４は、信頼度取得処理の手順を示すフローチャートである。

【0022】

（ステップＳ３１０１）
まず、信頼度取得部２３０は、ラベル情報保持部２２０が保持するラベル情報を１つ選択する。選択したラベル情報をＬとする。また、画像取得部２１０により取得された画像の中から当該ラベル情報に対応する画像を選択する。選択した画像をＩとする。

【0023】

（ステップＳ３１０２）
次に、信頼度取得部２３０は、画像Ｉ及びラベルＬの情報を認識部２３５へ出力し、ラベルＬの示す画像Ｉ上の位置について、対象物体が存在するかどうかの認識結果を認識部２３５から取得する。より具体的には、認識部２３５により対象物体が存在する確率Ｐを算出し、その算出結果を認識部２３５から取得する。

【0024】

（ステップＳ３１０３）
認識部２３５により算出された確率Ｐについて、選択したラベルＬが１であるのに確率Ｐが低い場合や、ラベルＬが０である位置であるのに確率Ｐが高い場合は、ラベル情報に誤りがある可能性が高い。信頼度取得部２３０は、ラベルＬが１である場合、信頼度ＥをＥ＝Ｐとして設定する。逆に、ラベルＬが０である場合、信頼度ＥをＥ＝１－Ｐとして設定する。

【0025】

（ステップＳ３１０４）
信頼度取得部２３０は、全てのラベル情報、画像について信頼度を取得したか否かを判定する。全てのラベル情報、画像について信頼度を取得した場合、処理を終了する。一方、全てのラベル情報、画像について信頼度を取得していない場合、ステップＳ３１０１に戻る。

【0026】

このように、選択するラベル情報を変えながら、全てのラベル情報について一連の処理を行う。以上で図４の一連の処理が終了する。その後、図３のステップＳ３２０へ進む。

【0027】

（ステップＳ３２０）
表示制御部２４０は、信頼度取得部２３０により取得された信頼度に基づいて、画像取得部２１０により取得されて保持されている画像と、ラベル情報保持部２２０で保持するラベル情報とを表示装置４００に表示させる。

【0028】

対象物体が存在しない位置にラベルとして１が設定されている場合や、対象物体が存在する位置にラベルとして０が設定されている場合には、ラベル情報の信頼度が低くなる。ここでは、その傾向から信頼度の低いラベルは誤りの可能性が高いと判定し、画像と共に表示を行う。

【0029】

まず、信頼度取得部２３０が取得したラベル情報の信頼度Ｅが、所定値以下であるラベル情報を１つ選択する。選択したラベル情報をＬとする。次に、ラベルＬに対応する画像上の部位を選択する。選択した画像上の部位をＪとする。部位Ｊは、例えば、ラベルＬの座標を中心とした所定サイズの矩形領域である。

【0030】

そして、表示装置４００のモニタに対して、部位Ｊを含むウィンドウを表示する。図５は表示例である。図５の７００はモニタに表示するウィンドウである。７１０は表示する部位Ｊの一例である。７２０の黒点は、ラベルが１であることを示す情報である。例えば、ラベルが１の場合は黒点７２０を表示し、ラベルが０の場合は黒点７２０を表示しないように構成する。ここでは、部位Ｊに非対象物体である円柱の物体が含まれている。そのため、対象物体が存在しないことを示すラベル１に対応する黒点７２０が表示される。このようにして、ユーザは、モニタに表示される部位Ｊとそのラベルの有無（黒点の有無）とを確認することで、ラベル情報が正しいかどうかを判定することができる。

【0031】

例えば、図５の７１０には対象物体は存在しないにも関わらず、ラベルが１の場合（黒点７２０が有る場合）、設定したラベル情報が誤りであったと判定することができる。また、図１の１４０のように、対象物体が存在するにも関わらず、ラベルが０の場合（黒点が無い場合）も、設定したラベル情報が誤りであったと判定することができる。

【0032】

（ステップＳ３３０）
操作受付部２５０は、操作装置５００によるユーザの入力を受け付ける。ここでは、マウスの操作によって、ラベル情報を修正受付け可能である。例えば、表示装置４００が表示するウィンドウにボタンを配置して、それをマウスでクリックすることでラベル情報を修正できるようにする。ここで、図５の７３０と７３１はボタンの例である。７３０はラベル情報を修正する操作を実行する修正ボタンである。７３１は次に表示するラベル情報の候補に切り替える切替ボタンである。

【0033】

（ステップＳ３４０）
ラベル情報修正部２６０は、操作受付部２５０により受け付けられたユーザの操作に従って、ラベル情報を修正するかどうかを判定する。図５の例の場合、対象物体が存在しないにも関わらず、ラベルが１である。例えば、修正ボタン７３０が押下された場合にラベル情報を修正すると判定する。切替ボタン７３１が押下された場合にラベル情報を修正しないと判定する。ラベル情報を修正する場合、ステップＳ３５０へ進む。一方、ラベル情報を修正しない場合、ステップＳ３６０へ進む。

【0034】

（ステップＳ３５０）
ラベル情報修正部２６０は、操作受付部２５０により受け付けられたユーザ操作に従って、ラベル情報保持部２２０が保持するラベル情報を修正する。例えば、対象物体が存在するとして設定されていた１のラベルを０に修正し、対象物体が存在しないとして設定されていた０のラベルを１に修正する。この操作により、誤って設定されていたラベル情報を修正することができる。

【0035】

（ステップＳ３６０）
表示制御部２４０は、処理を終了するか否かを判定する。一連の修正作業を終了する不図示のボタンの押下や、全ての修正作業が完了した場合、処理を終了する。一方、切替ボタン７３１が押下された場合には、処理を終了せずに、ステップＳ３２０に戻る。以上で、図３の一連の処理が終了する。

【0036】

以上説明したように、本実施形態に係る情報処理装置は、対象物体について設定されたラベル情報の信頼度を算出し、その信頼度に基づいて、例えば信頼度が所定値以下である場合に、ラベル情報と当該ラベル情報に対応する画像とを選択して表示する。これにより、表示されたラベル情報及び画像を観察したユーザが誤って設定されたラベル情報を修正することが可能となるため、ユーザが学習データを効率的に見直すことが可能となる。

【0037】

（第２の実施形態）
＜概要＞
本実施形態では、画像中の対象物体の存在に関するラベル情報として、位置及び姿勢を表すパラメータを設定する例について説明する。なお、本実施形態における姿勢とは、画像上での角度を表す数値である。

【0038】

図６は、本実施形態に係るラベル情報を設定した例である。図６の８１０は対象物体の存在する位置に正しい姿勢のラベル情報が設定できた例を表す。ラベル情報は、対象物体の位置を黒点、姿勢をベクトルとして表現している。ここで、姿勢は、対象物体について予め定められた方向が、画像上ではどの方向になるかを表す。本実施形態では、対象物体の上部の面の方向に、ベクトルが設定されていることを正解としている。８１１及び８２０は、対象物体の存在する位置は正しいが、誤った姿勢のラベル情報が設定されている例である。８２１は、誤って対象物体が存在しない位置にラベル情報を設定した例である。８３０は対象物体が存在するにもかかわらず、ラベル情報を設定しなかった例である。

【0039】

本実施形態では、位置と姿勢の情報を持つラベル情報について信頼度を算出し、その信頼度に基づいて画像とラベル情報とを選択して表示する。これにより、効率的なラベル情報の見直しを可能にする。

【0040】

＜システム構成及び装置構成＞
まず、本実施形態のシステム構成について説明する。本実施形態のシステム構成は、第１の実施形態と同じである。ただし、ラベル情報に含まれる情報が増えたことで、各装置の構成要素の処理内容が異なる。

【0041】

まず、ラベル情報保持部２２０で保持するラベル情報は、画像上の各位置に対象物体が存在するかどうかを示す情報と、対象物体の姿勢の情報とを含む。具体的には、ラベル情報は、対象物体が存在する場合は１、存在しない場合は０の情報を有しており、位置と姿勢の情報も有する。位置は画像上での２次元座標の値、姿勢は画像上での角度の数値とする。

【0042】

信頼度取得部２３０は、認識部２３５により算出された、指定された位置及び姿勢で対象物体が存在する確率Ｐに基づいて、第１の実施形態と同様にして信頼度を取得する。認識部２３５は、画像上で指定された位置に指定された姿勢で対象物体が存在するかを認識する。本実施形態では、指定された位置及び姿勢で対象物体が存在する確率Ｐをニューラルネットワークに基づく認識器を使って計算するものとする。なお、対象物体の有無を変えた画像と、対象物体の姿勢を変えた画像とを利用して学習を行うことで、画像上の対象物体の有無と、対象物体がある場合はその姿勢を認識する認識器を構築することができる。

【0043】

表示制御部２４０は、信頼度取得部２３０により取得された信頼度に基づいて、画像取得部２１０により取得されて保持されている画像と、ラベル情報保持部２２０により保持されているラベル情報とを、表示装置４００に表示させる。ここで、ラベル情報は、姿勢が分かるように表示される。本実施形態ではベクトルにより姿勢を表現する。図７は表示の例である。図７の９００はモニタに表示するウィンドウである。９１０はラベル情報に対応する画像上の部位の例である。９２０の黒点及びベクトルは、対象物体が存在するかどうかを示す情報と、姿勢の情報とを表す。

【0044】

例えば、図７の９１０に示される９２０のベクトルは、予め定められた対象物体の方向（ここでは対象物体の上面に垂直な方向）にベクトルが向いていないため、設定したラベル情報が誤りであったと判定することができる。

【0045】

操作受付部２５０は、操作装置５００によるユーザの入力を受け付ける。例えば、姿勢の修正を行う場合、マウスを使って、画像上の部位を指定することで角度を入力できるように構成する。ラベルの有無の修正は第１の実施形態と同様である。ラベル情報修正部２６０は、操作受付部２５０により受け付けられたユーザの操作に従って、ラベル情報保持部２２０が保持するラベル情報を修正する。

【0046】

以上説明したように、本実施形態に係る情報処理装置は、対象物体について設定された位置及び姿勢の情報を含むラベル情報の信頼度を算出し、その信頼度に基づいて、例えば、信頼度が所定値以下である場合にラベル情報と当該ラベル情報に対応する画像とを選択して表示する。これにより、表示されたラベル情報及び画像を観察したユーザが、誤って設定されたラベル情報を修正することが可能となるため、ユーザが学習データを効率的に見直すことが可能となる。

【0047】

[第１の変形例]
第１及び第２の実施形態では、信頼度取得部２３０は、ラベル情報保持部２２０が保持するラベル情報について、正確さの度合いを示す信頼度を算出したが、その際、認識部２３５でニューラルネットワークを用いた認識結果に基づいて信頼度を算出した。

【0048】

しかしながら、信頼度を算出する方法は、画像に対して設定したラベル情報が正しいかどうかの度合いを算出できれば、他のどのような方法を用いてもよい。例えば、ラベル情報が示す位置及び姿勢に基づいて、対象物体の３次元形状モデルを画像上に投影し、投影した３次元形状モデルと画像との一致度に基づいて信頼度を設定してもよい。具体的には、３次元形状モデルを構成する線を画像上に投影し、投影された線と画像上から検出されたエッジとの一致度に基づいて信頼度を設定してもよい。

【0049】

或いは、対象物体の３次元形状モデルをテンプレートとして、画像とのテンプレートマッチングを行うことで一致度を計算し、その一致度に基づいて信頼度を設定してもよい。その場合、一致度が高い場合は信頼度を高く設定する。逆に、一致度が低い場合は信頼度を低く設定する。

【0050】

また、距離画像を用いて、距離画像の品質から信頼度を設定してもよい。例えば、隠れが発生する条件や、対象物体の角度の条件によっては、対象物体が見えづらい場合がある。この場合、誤ったラベル情報を設定する可能性が高いと推測できる。そこで、距離画像から距離情報のばらつきや面の傾きを調べて、その値に基づいて信頼度を設定してもよい。具体的には、距離値のばらつきが大きい場合や、撮影装置３００の視線方向に対して物体の面の傾きが大きいため物体を観測しにくい場合は、信頼度を低く設定してもよい。

【0051】

また、ユーザがラベル情報を設定する時に、その自信の程度に応じて信頼度もユーザが設定し、信頼度取得部２３０が、設定された信頼度を読み込むことによりラベル情報の信頼度を算出してもよい。

【0052】

[第２の変形例]
第１及び第２の実施形態で説明した表示制御部２４０は、画像とラベル情報とを表示する際に、ラベル情報に含まれる位置や姿勢の情報は黒点やベクトルを使って表示していた。

【0053】

しかしながら、ラベル情報に含まれる情報を表示する方法は、その情報が分かるように表示できれば、他のどのような方法を用いてもよい。例えば、対象物体の形状を表すモデルを画面上に表示してもよい。図８は、ラベルの位置及び姿勢の情報に基づいて、モデルを表示した例である。図８の１０００はモニタに表示するウィンドウである。１０１０はラベル情報に対応する画像上の部位の例である。１０２０の黒点とベクトルは、対象物体が存在することを示す情報と、姿勢の情報とを表す。１０３０の点線は、物体の形状を表すモデルであり、位置及び姿勢の情報に基づいて画像上に表示したものである。モデルを表示する方法は、単に位置や姿勢を黒点やベクトルで表示する方法に比べて、画像とラベル情報とが整合しているかどうかを確認しやすいという利点がある。なお、図８の１０１０は、画像とモデルとを比較した結果、両者の間にずれが確認できるので、設定したラベル情報が誤りであったと判定することができる。その他にも、位置及び姿勢の情報は文字や数字で表示してもよい。或いは、表やグラフで表示してもよい。

【0054】

[第３の変形例]
第１及び第２の実施形態で説明した表示制御部２４０では、ラベル情報に対応する画像上の部位を１つ切り出して表示していた。しかしながら、画像を表示する方法は、信頼度取得部２３０で算出する信頼度が低いラベル情報が示す部位が分かるように表示できれば、他のどのような方法を用いてもよい。

【0055】

例えば、信頼度が低い複数のラベル情報について、対応する複数の画像をまとめて表示してもよい。ここで、図９（ａ）は、複数の画像をまとめて表示した例である。図９の１１００、１１０１、１１０２は信頼度が低いラベル情報が示す部位の例である。また、複数の画像を表示する場合、信頼度に応じて画像をソートして表示してもよい。すなわち、信頼度に基づいて、ラベル情報と当該ラベル情報に対応する画像上の部位との組を複数表示させる例である。

【0056】

その他にも、画像全体を表示し、信頼度が低いラベル情報が示す部位を強調して表示してもよい。図９（ｂ）は、１つの画像全体を表示して、その中で信頼度が低いラベル情報が示す部位を枠で囲んで強調した例である。図９の１１１０、１１１１、１１１２の点線の枠は、信頼度が低いラベル情報が示す部位を表す。

【0057】

すなわち、各ラベル情報に対応する画像上の各部位が１つの画像中に複数含まれる場合、１つの画像全体を表示すると共に、信頼度が所定値以下であるラベル情報に対応する部位を強調して表示させる例である。

【0058】

その他にも、画像全体を表示して、各部位の信頼度の分布をヒートマップとして表示することで、ラベル情報と信頼度とを比較できるように構成してもよい。

【0059】

このように、複数の候補を表示する方法は、一度に確認ができるため、ユーザによるラベル情報の見直しの効率を向上させることができる。

【0060】

[第４の変形例]
第１及び第２の実施形態で説明したラベル情報は、対象物体の位置や姿勢の情報を含むものであった。しかしながら、ラベル情報は対象物体の位置や姿勢以外のパラメータであってもよく、例えば、対象物体の特定の部分（把持対象部分）についての位置や姿勢であってもよい。

【0061】

具体的には、画像から認識した対象物体をロボットがピッキングするシステムを考えた場合、必要になるのは対象物体を把持する部分の位置や角度である。この場合、対象物体を把持する部分の位置や角度をラベル情報として利用してもよい。処理の内容は、ラベル情報が表現する位置や角度が変化しただけで、第１及び第２の実施形態と同様である。また、その場合、信頼度取得部２３０は、第１の変形例で述べたように、対象物体の３次元形状モデルを画像上に投影し、投影した３次元形状モデルと画像との一致度に基づいて信頼度を設定してもよい。また、一致度を算出する際に、把持対象位置の近傍を重視して評価値を算出するようにしてもよい。

【0062】

また、さらに対象物体の色や種類を示す情報をラベル情報に加えてもよい。その場合、情報が増えた分、認識部２３５は、さらに対象物体の色や種類を認識した上で、その確率を出力する。信頼度取得部２３０は、認識部２３５が出力する確率と、設定されているラベル情報との差異に応じて信頼度を算出する。

【0063】

[第５の変形例]
第１及び第２の実施形態では、画像取得部２１０が取得する画像は濃淡画像であった。しかし、画像は対象物体を撮影した画像であれば、濃淡画像でもよいし、カラー画像でもよい。また、対象物体までの距離情報を有する距離画像でもよい。また、撮影装置３００で撮影した画像を取得する方法であれば、取得方法はどのような方法でもよい。ネットワークを介して画像を取得してもよいし、一時的にメモリ上に保存した画像を取得してもよい。

【0064】

撮影装置３００は、画像を取得する装置であればどのような装置でもよい。画像の２次元情報を取得するカメラでもよいし、距離画像を取得する距離センサでもよい。

【0065】

＜効果＞
第１の実施形態では、ラベル情報の信頼度を算出し、その信頼度が所定値以下である場合に画像とラベル情報とを選択して表示する。これにより、効率的なラベル情報の見直しが可能となる。

【0066】

第２の実施形態では、位置と姿勢の情報を持つラベル情報について信頼度を算出し、その信頼度に基づいて画像とラベル情報とを選択して表示する。これにより、効率的なラベル情報の見直しが可能となる。

【0067】

＜定義＞
本発明において、ラベル情報保持部２２０が保持するラベル情報は、対象物体の位置や姿勢を表す情報でもよいし、対象物体に設定した把持対象位置などの特定の部位の位置や角度を表す情報でも良い。さらに、物体の種類や色などの情報を加えてもよい。

【0068】

本発明において、信頼度取得部２３０が取得する信頼度は、ラベル情報の正しさの度合いを表す信頼度を算出できる方法であればどのような方法でもよい。ニューラルネットワークに基づく認識結果に従って信頼度を算出てもよいし、対象物体の３次元形状モデルを参考に画像との一致度を見て信頼度を算出してもよい。距離画像の距離情報を用いて、その傾きやばらつきから信頼度を算出してもよい。また、ユーザがラベル情報を設定する時に、その自信の程度に応じてユーザが信頼度を設定しておき、それを読み出すことにより信頼度を取得してもよい。

【0069】

本発明において、表示制御部２４０が表示する情報は、信頼度取得部２３０が取得する信頼度が所定値以下のラベル情報が示す部位が分かるように表示できれば、どのような方法で表示してもよい。信頼度が低いラベル情報に対応する画像上の部位を切り出して表示してもよいし、画像全体を表示して信頼度が低いラベル情報の部位を矩形の枠などで示すように表示してもよい。

【0070】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0071】

２００：情報処理装置、２１０：画像取得部、２２０：ラベル情報保持部、２３０：信頼度取得部、２３５：認識部、２４０：表示制御部、２５０：操作受付部、２６０：ラベル情報修正部、３００：撮影装置、４００：表示装置、５００：操作装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】