特許 7568863 ライブラリ提示装置、ライブラリ提示方法及びロボット制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-07

(45)【発行日】2024-10-16

(54)【発明の名称】ライブラリ提示装置、ライブラリ提示方法及びロボット制御システム

(51)【国際特許分類】

   B25J 9/22 20060101AFI20241008BHJP

【ＦＩ】

B25J9/22 Z

【請求項の数】 10

(21)【出願番号】P 2023540441

(86)(22)【出願日】2022-08-05

(86)【国際出願番号】 JP2022030199

(87)【国際公開番号】W WO2023013784

(87)【国際公開日】2023-02-09

【審査請求日】2024-02-01

(31)【優先権主張番号】P 2021129342

(32)【優先日】2021-08-05

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(73)【特許権者】

【識別番号】517051371

【氏名又は名称】株式会社Ｒｉｓｔ

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(74)【代理人】

【識別番号】100180655

【弁理士】

【氏名又は名称】鈴木 俊樹

(72)【発明者】

【氏名】中村 匡芳

(72)【発明者】

【氏名】堤 匡史

(72)【発明者】

【氏名】和泉 智之

(72)【発明者】

【氏名】古川 康平

(72)【発明者】

【氏名】村岡 慧

(72)【発明者】

【氏名】樺澤 達将

【審査官】牧 初

(56)【参考文献】

【文献】国際公開第２０１０／０９２９８１（ＷＯ，Ａ１）

【文献】特開２０１１－１９２０１９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０３５８２０１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１３／０３０４２４８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００－２１／０２

Ｇ０５Ｂ １９／１８－１９／４１６

Ｇ０５Ｂ １９／４２－１９／４６

(57)【特許請求の範囲】

【請求項1】

対象物を含む入力情報を取得する入力情報取得部と、
前記対象物に対するタスクを実行可能な複数のライブラリを用いて、前記対象物に対する所定のタスクを適用した結果を取得可能な結果取得部と、
前記所定のタスクを適用した結果に対する評価を取得する評価取得部と、
前記複数のライブラリのうち第１ライブラリを用いた前記所定のタスクの適用結果の評価に基づき、前記複数のライブラリのうち前記第１ライブラリと異なる第２ライブラリを用いた前記所定のタスクの適用結果の出力を判定する提示内容決定部と、を備える、ライブラリ提示装置。

【請求項2】

前記結果取得部は、前記複数のライブラリを組み合わせた場合の前記所定のタスクを適用した結果を取得し、
前記提示内容決定部は、前記第１ライブラリ及び前記第２ライブラリと異なる第３ライブラリと、前記第２ライブラリとを組み合わせて用いた前記所定のタスクの適用結果を提示させる、請求項１に記載のライブラリ提示装置。

【請求項3】

前記評価取得部は、前記所定のタスクに対する期待結果を取得した場合に、前記期待結果に基づき前記所定のタスクを適用した結果に対する評価を取得する、請求項１又は２に記載のライブラリ提示装置。

【請求項4】

前記提示内容決定部は、ライブラリの関係を定義する関連情報に基づき、前記第１ライブラリと所定の関係を有する前記第２ライブラリを用いた前記所定のタスクの適用結果を前記結果取得部に取得させる、請求項１又は２に記載のライブラリ提示装置。

【請求項5】

前記複数のライブラリは、第１分類で前記対象物を認識するための汎用ライブラリと、前記第１分類の１つの項目について細分化する第２分類で前記対象物を認識する特化ライブラリと、を含む、請求項１又は２に記載のライブラリ提示装置。

【請求項6】

前記結果取得部は、複数の前記汎用ライブラリ又は前記汎用ライブラリと前記特化ライブラリを組み合わせた場合の前記所定のタスクを適用した結果を取得する、請求項５に記載のライブラリ提示装置。

【請求項7】

前記提示内容決定部は、前記第２ライブラリを用いた前記所定のタスクの適用結果に対する評価が所定の基準未満の場合に、新たなライブラリの生成の提案を提示させる、請求項１又は２に記載のライブラリ提示装置。

【請求項8】

前記ライブラリ、前記第１ライブラリ、及び前記第２ライブラリは、前記対象物を認識する機械学習モデルとして構成され、
前記所定のタスクは、前記対象物を認識した結果に基づいて実施される、請求項１又は２に記載のライブラリ提示装置。

【請求項9】

ライブラリ提示装置が実行するライブラリ提示方法であって、
対象物を含む入力情報を取得することと、
前記対象物に対するタスクを実行可能な複数のライブラリを用いて、前記対象物に対する所定のタスクを適用した結果を取得することと、
前記所定のタスクを適用した結果に対する評価を取得することと、
前記複数のライブラリのうち第１ライブラリを用いた前記所定のタスクの適用結果の評価に基づき、前記複数のライブラリのうち前記第１ライブラリと異なる第２ライブラリを用いた前記所定のタスクの適用結果の出力を判定することと、を含む、ライブラリ提示方法。

【請求項10】

ロボットと、
前記ロボットを制御するために、ライブラリ提示装置によって提示されるライブラリをダウンロードするロボット制御装置と、を備え、
前記ライブラリ提示装置は、
対象物を含む入力情報を取得する入力情報取得部と、
前記対象物に対するタスクを実行可能な複数のライブラリを用いて、前記対象物に対する所定のタスクを適用した結果を取得可能な結果取得部と、
前記所定のタスクを適用した結果に対する評価を取得する評価取得部と、
前記複数のライブラリのうち第１ライブラリを用いた前記所定のタスクの適用結果の評価に基づき、前記複数のライブラリのうち前記第１ライブラリと異なる第２ライブラリを用いた前記所定のタスクの適用結果の出力を判定する提示内容決定部と、を備える、ロボット制御システム。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本出願は、日本国特許出願２０２１－１２９３４２号（２０２１年８月５日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。

【技術分野】

【0002】

本開示は、ライブラリ提示装置、ライブラリ提示方法及びロボット制御システムに関する。

【背景技術】

【0003】

従来、学習画像を用いた学習などによって、画像に含まれる物体を識別する装置が知られている。例えば、特許文献１は、熟練していない従事者でも利用可能な、画像から様々な物体を認識して作業を行うロボットを開示する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２１－３０４０７号公報

【発明の概要】

【0005】

本開示の一実施形態に係るライブラリ提示装置は、
対象物を含む入力情報を取得する入力情報取得部と、
前記対象物に対するタスクを実行可能な複数のライブラリを用いて、前記対象物に対する所定のタスクを適用した結果を取得可能な結果取得部と、
前記所定のタスクを適用した結果に対する評価を取得する評価取得部と、
前記複数のライブラリのうち第１ライブラリを用いた前記所定のタスクの適用結果の評価に基づき、前記複数のライブラリのうち前記第１ライブラリと異なる第２ライブラリを用いた前記所定のタスクの適用結果の出力を判定する提示内容決定部と、を備える。

【0006】

本開示の一実施形態に係るライブラリ提示方法は、
ライブラリ提示装置が実行するライブラリ提示方法であって、
対象物を含む入力情報を取得することと、
前記対象物に対するタスクを実行可能な複数のライブラリを用いて、前記対象物に対する所定のタスクを適用した結果を取得することと、
前記所定のタスクを適用した結果に対する評価を取得することと、
前記複数のライブラリのうち第１ライブラリを用いた前記所定のタスクの適用結果の評価に基づき、前記複数のライブラリのうち前記第１ライブラリと異なる第２ライブラリを用いた前記所定のタスクの適用結果の出力を判定することと、を含む。

【0007】

本開示の一実施形態に係るロボット制御システムは、
ロボットと、
前記ロボットを制御するために、ライブラリ提示装置によって提示されるライブラリをダウンロードするロボット制御装置と、を備え、
前記ライブラリ提示装置は、
対象物を含む入力情報を取得する入力情報取得部と、
前記対象物に対するタスクを実行可能な複数のライブラリを用いて、前記対象物に対する所定のタスクを適用した結果を取得可能な結果取得部と、
前記所定のタスクを適用した結果に対する評価を取得する評価取得部と、
前記複数のライブラリのうち第１ライブラリを用いた前記所定のタスクの適用結果の評価に基づき、前記複数のライブラリのうち前記第１ライブラリと異なる第２ライブラリを用いた前記所定のタスクの適用結果の出力を判定する提示内容決定部と、を備える。

【図面の簡単な説明】

【0008】

【図1】図１は、一実施形態に係るライブラリ提示装置を備えるライブラリ提示システムの構成例を示す図である。

【図2】図２は、ロボット制御システムの構成例を示す模式図である。

【図3】図３は、ライブラリ群の構成例を示す図である。

【図4】図４は、ライブラリ提示システムにおける処理の手順の一例を示すシーケンス図である。

【図5】図５は、ライブラリ提示装置の提示内容を決定する処理の例を示すフローチャートである。

【図6】図６は、ライブラリ提示システムにおける処理の手順の別の例を示すシーケンス図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して本開示の一実施形態に係るライブラリ提示装置、ライブラリ提示方法及びロボット制御システムが説明される。各図中、同一又は相当する部分には、同一符号が付されている。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。

【0010】

（ライブラリ提示システムの概要）
図１は、本実施形態に係るライブラリ提示装置１０を備えるライブラリ提示システム１の構成例を示す。ライブラリ提示装置１０は、ユーザが所定のタスクを実行する場合に、所定のタスクに適したライブラリの提示を行う装置である。所定のタスクは、例えば物体の認識、識別あるいは識別結果の表示又は物体の把持位置認識などの対象物を認識した結果に基づいて実施される処理である。ライブラリは、ユーザが利用可能な認識モデル又は認識プログラムなどである。ユーザは、例えばネットワーク４０経由でライブラリをダウンロードすることによって利用できる。本実施形態において、ライブラリは、機械学習によって上記のタスクを実施可能に生成された少なくとも１つの機械学習モデル（学習済みモデル）として構成されるが、これに限定されない。

【0011】

ライブラリ提示装置１０は、通信部１１と、記憶部１２と、制御部１３と、を備える。制御部１３は、入力情報取得部１３１と、結果取得部１３２と、評価取得部１３３と、提示内容決定部１３４と、を備える。ライブラリ提示装置１０は、ハードウェア構成として、例えばサーバなどのコンピュータであってよい。ライブラリ提示装置１０の構成要素の詳細については後述する。

【0012】

ライブラリ提示装置１０は、ネットワーク４０で接続されるライブラリ生成管理装置２０及び通信端末装置３０とともに、ライブラリ提示システム１を構成してよい。ネットワーク４０は、例えばインターネットであるが、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってよい。例えばライブラリ提示装置１０とライブラリ生成管理装置２０とがＬＡＮ経由で通信を実行し、ライブラリ提示装置１０と通信端末装置３０とがインターネット経由で通信を実行してよい。

【0013】

ライブラリ生成管理装置２０は、ライブラリを生成し、複数のライブラリで構成されるライブラリ群を管理する。ライブラリ生成管理装置２０は、学習用データを使用して、少なくとも１つの学習済みモデルを生成することによって、ライブラリを生成することができる。ライブラリ生成管理装置２０は、機械学習によって、新たなライブラリ（例えば後述するカスタムライブラリ）を生成してよい。ライブラリ生成管理装置２０は、ライブラリ群の管理として、新たな学習用データを用いたライブラリの更新（追加学習又は再学習）、ライブラリの追加及び削除を実行してよい。また、ライブラリ生成管理装置２０は、指定されたライブラリを用いて所定のタスクを実行し、実行結果を出力できる。

【0014】

本実施形態において、ライブラリ生成管理装置２０は、ライブラリ提示装置１０の記憶部１２にアクセス可能であって、記憶部１２に記憶されたライブラリ群を管理する。また、本実施形態において、ライブラリ生成管理装置２０は、ライブラリ提示装置１０と通信可能な、ライブラリ提示装置１０とは別のコンピュータであるが、このような構成に限定されない。例えば、ライブラリ生成管理装置２０は、ライブラリ提示装置１０と一体化したコンピュータで実現されてよい。なお、この場合、ライブラリ生成管理装置２０は、ライブラリ提示装置１０の構成要素を有していてもよいし、ライブラリ提示装置１０は、ライブラリ生成管理装置２０の構成要素を有していてもよい。

【0015】

通信端末装置３０は、例えばスマートフォン又はタブレット端末等の汎用の通信可能な端末装置であるが、これらに限定されない。通信端末装置３０は、別の例として、後述するロボット制御システム１００（図２参照）の一部で構成されてよい。通信端末装置３０は、入力情報（例えば識別の対象物の画像）を生成し、ライブラリ提示装置１０に入力情報を出力する。また、通信端末装置３０は、ライブラリ提示装置１０によって出力された提示内容（例えば所定のタスクに適したライブラリ）をユーザに提示する。通信端末装置３０は、通信部３１と、記憶部３２と、制御部３３と、入力情報生成部３４と、ユーザインタフェース部３５と、を備える。通信端末装置３０の構成要素の詳細については後述する。

【0016】

図２は、ロボット制御システム１００の構成例を示す模式図である。ロボット制御システム１００は、ロボット２と、ロボット制御装置１１０とを備える。ロボット２は、アーム２Ａの先にあるエンドエフェクタ２Ｂ（把持ハンド）によって、作業対象物８を作業開始地点６から作業目標地点７へ移動させる。つまり、ロボット制御装置１１０は、作業対象物８が作業開始地点６から作業目標地点７へ移動するようにロボット２を制御する。ロボット制御システム１００はカメラ４を備える。カメラ４は、ロボット２の動作に影響を及ぼす可能性がある影響範囲５にある物品等を撮影する。

【0017】

ロボット制御装置１１０は、カメラ４で撮影した画像に基づいて、ロボット２が作業を実施する空間に存在する作業対象物８を認識する。作業対象物８の認識は、上記のライブラリ群に含まれるライブラリ（作業対象物８を認識するように生成された学習済みモデル）を用いて実行される。ロボット制御装置１１０は、作業対象物８の認識を行う前に、ネットワーク４０経由でライブラリをダウンロードして、デプロイ（ｄｅｐｌｏｙ）する。

【0018】

ここで、ライブラリ群は、例えばロボット制御システム１００において多くの種類の作業対象物８を認識できるように、多くのライブラリを含むことが好ましい。しかし、多くのライブラリが存在する場合に、ユーザにとって作業対象物８の種類に適したライブラリを選択することが困難なことがある。また、ロボット制御システム１００の導入前に、ユーザが、ライブラリ群のライブラリを用いて対象物を適切に認識できるかを知りたい場合がある。また、ロボット制御システム１００の導入後であっても、新たな作業対象物８の認識が可能であるかを知りたい場合がある。

【0019】

以下に説明するように、ライブラリ提示装置１０は、通信端末装置３０からの入力情報（例えば識別する対象物を含む画像）を用いて、所定のタスク（例えば対象物の識別と識別結果の表示）に適したライブラリを出力することができる。本実施形態において、通信端末装置３０はユーザが所持するタブレット端末であるが、ユーザがロボット制御システム１００を導入している場合に、ロボット制御システム１００の一部（ロボット制御装置１１０及びカメラ４等）を通信端末装置３０として機能させることが可能である。

【0020】

（ライブラリ提示装置の構成）
以下、ライブラリ提示装置１０の構成要素の詳細が説明される。通信部１１は、ネットワーク４０に接続する１つ以上の通信モジュールを含んで構成される。通信部１１は、例えば４Ｇ（４ｔｈ Ｇｅｎｅｒａｔｉｏｎ）、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）などの移動体通信規格に対応する通信モジュールを含んでよい。通信部１１は、例えば有線のＬＡＮ規格（一例として１０００ＢＡＳＥ－Ｔ）に対応する通信モジュールを含んでよい。通信部１１は、例えば無線のＬＡＮ規格（一例としてＩＥＥＥ８０２．１１）に対応する通信モジュールを含んでよい。

【0021】

記憶部１２は、１つ以上のメモリである。メモリは、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られず任意のメモリとすることができる。記憶部１２は、例えばライブラリ提示装置１０に内蔵されるが、任意のインタフェースを介してライブラリ提示装置１０に外部からアクセスされる構成も可能である。

【0022】

記憶部１２は、制御部１３が実行する各種の算出において使用される各種のデータを記憶する。また、記憶部１２は、制御部１３が実行する各種の算出の結果及び中間データを記憶してよい。

【0023】

記憶部１２は、上記のように、ライブラリ生成管理装置２０からアクセスされる。すなわち、記憶部１２は、ライブラリ提示装置１０及びライブラリ生成管理装置２０によって共用される。本実施形態において、記憶部１２は、ライブラリ群（複数のライブラリ）を記憶する。

【0024】

制御部１３は、１つ以上のプロセッサである。プロセッサは、例えば汎用のプロセッサ、又は特定の処理に特化した専用プロセッサであるが、これらに限られず任意のプロセッサとすることができる。制御部１３は、ライブラリ提示装置１０の全体の動作を制御する。

【0025】

ここで、ライブラリ提示装置１０は、以下のようなソフトウェア構成を有してよい。ライブラリ提示装置１０の動作の制御に用いられる１つ以上のプログラムが記憶部１２に記憶される。記憶部１２に記憶されたプログラムは、制御部１３のプロセッサによって読み込まれると、制御部１３を入力情報取得部１３１、結果取得部１３２、評価取得部１３３及び提示内容決定部１３４として機能させる。

【0026】

入力情報取得部１３１は、通信端末装置３０から入力情報を取得する。上記のように、例えば、新たな対象物に対するタスクを、ライブラリ群のライブラリを用いて実行可能であるかを知りたい場合に、ユーザはライブラリ提示装置１０を使用する。入力情報は、対象物を含む情報である。具体的には、本実施形態において、入力情報は、対象物が写る画像であるが、画像に限定されない。入力情報は、例えば、ユーザの情報又は使用予定のロボット２の情報などを、通信端末装置３０又はロボット制御装置１１０などから取得してよい。

【0027】

結果取得部１３２は、入力情報に含まれる対象物に対する所定のタスクを適用した結果を取得する。より詳細に述べると、結果取得部１３２は、ライブラリ生成管理装置２０が、指定されたライブラリを用いて所定のタスクを実行した結果を取得する。本実施形態において、所定のタスクは対象物の認識と認識結果の表示である。例えば複数の対象物（工業部品など）を含む画像について所定のタスクが実行されると、複数の対象物のそれぞれについて認識（ボルト、ナット、バネ等の識別）が行われて、認識結果（ボルト、ナット、バネ等の名称）が画像にオーバーレイされて出力される。

【0028】

なお、指定されたライブラリを用いて所定のタスクを適用した結果は、実際の実行結果に限定されず、シミュレーションでの演算結果であってよい。シミュレーションは、例えば対象物の認識だけでなく、実際の実行が難しい対象物の把持などを含むことができる。例えば結果取得部１３２は、入力情報から対象物を認識した後に、その対象物に応じた３Ｄシミュレーションを行ない、把持の結果を取得することができる。また、３Ｄシミュレーション内の３Ｄモデルは、例えば対象物のＣＡＤデータ、ＲＧＢ情報又はデプス情報等から合成されてよい。

【0029】

評価取得部１３３は、所定のタスクを適用した結果に対する評価を取得する。評価は、本実施形態において適合率（ｐｒｅｃｉｓｉｏｎ）及び再現率（ｒｅｃａｌｌ）の少なくとも１つであるが、これらに限定されない。評価は、ユーザの目視による「可」又は「不可」の判定を含んでよい。評価取得部１３３は、ユーザが通信端末装置３０に入力した評価を取得してよい。別の例として、評価取得部１３３は、評価そのものでなく、ユーザが通信端末装置３０に入力した期待結果（期待される適合率及び再現率の少なくとも１つ）を取得してよい。評価取得部１３３は、所定のタスクに対する期待結果を取得した場合に、期待結果に基づき所定のタスクを適用した結果が期待結果以上か否かを判定して、その判定を評価としてよい。なお、評価取得部１３３は、例えば期待結果が予め設定されているような場合には、評価取得部１３３がユーザからの入力を受信することなく、適用した結果の判定を行ない評価としてよい。

【0030】

提示内容決定部１３４は、評価取得部１３３が取得した評価に基づいて提示内容を決定し、決定した提示内容を通信端末装置３０に送信する。提示内容決定部１３４は、評価が所定の基準未満の場合に、例えば異なるライブラリ又は異なるライブラリを含む複数のライブラリの組み合わせを指定して所定のタスクを適用させて、異なるライブラリ又は異なるライブラリを含む複数のライブラリの組み合わせと、それらに対する適用結果を提示内容としてよい。なお、提示内容には、例えば、評価が所定の基準未満であったらライブラリを含めてもよい。提示内容決定部１３４による提示内容の決定の詳細については後述する。

【0031】

（通信端末装置の構成）
以下、通信端末装置３０の構成要素の詳細が説明される。通信部３１は、ネットワーク４０に接続する１つ以上の通信モジュールを含んで構成される。通信部３１は、例えば４Ｇ、５Ｇなどの移動体通信規格に対応する通信モジュールを含んでよい。また、通信部３１は、ＬＡＮ規格に対応する通信モジュールを含んでよい。通信部３１は、通信部１１と同じ通信モジュールを含んで構成されてよいし、異なる通信モジュールを含んで構成されてよい。

【0032】

記憶部３２は、１つ以上のメモリである。メモリは、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られず任意のメモリとすることができる。記憶部３２は、制御部３３が実行する各種の算出において使用される各種のデータを記憶する。また、記憶部３２は、制御部３３が実行する各種の算出の結果及び中間データを記憶してよい。例えば記憶部３２は、入力情報生成部３４によって生成されて、ライブラリ提示装置１０に送信される（アップロードされる）入力情報を一時的に記憶してよい。また、例えば記憶部３２は、ライブラリ提示装置１０から通信部３１経由で取得した提示内容を一時的に記憶してよい。

【0033】

制御部３３は、１つ以上のプロセッサである。プロセッサは、例えば汎用のプロセッサ、又は特定の処理に特化した専用プロセッサであるが、これらに限られず任意のプロセッサとすることができる。制御部３３は、通信端末装置３０の全体の動作を制御する。

【0034】

入力情報生成部３４は入力情報を生成する。上記のように、本実施形態において入力情報は識別する対象物を含む画像である。入力情報生成部３４は、例えばカメラなどの撮像部を含んで構成されてよい。本実施形態において、入力情報生成部３４はカメラである。例えばユーザは、ライブラリ提示装置１０によって新たな対象物の認識が可能であるかを知りたい場合に、通信端末装置３０のカメラで新たな対象物を含む画像を撮影して入力情報を生成してよい。

【0035】

ユーザインタフェース部３５は、ユーザからの情報を入力し、ユーザへの情報を出力する。ユーザインタフェース部３５は、例えばタッチセンサを含んで構成される。タッチセンサは、ユーザの指又はスタイラスペン等の接触を検出して、その接触位置を特定する。タッチセンサはディスプレイと一体化されて、タッチパネルディスプレイを構成してよい。本実施形態において、ユーザインタフェース部３５はタッチパネルディスプレイである。ライブラリ提示装置１０からの提示内容はタッチパネルディスプレイに表示される。ユーザインタフェース部３５は、ユーザが所定タスクを決定する場合、ライブラリを決定する場合、評価及び期待結果などを入力する場合などにおいて、チャット画面などを表示して、入力を促してよい。

【0036】

（ライブラリ群）
本実施形態において、記憶部１２に記憶されるライブラリ群は、図３に示すように３つに大別される。ライブラリ群は、汎用ライブラリ群、特化ライブラリ群及びカスタムライブラリ群を含む。汎用ライブラリ群は、大きな分類（第１分類）で対象物を認識するための複数の汎用ライブラリを含む。特化ライブラリ群は、より小さな分類（第２分類）で対象物を認識するための複数の特化ライブラリを含む。第２分類は、第１分類の１つの項目について細分化するものである。また、カスタムライブラリ群は、ユーザが用意した学習用データによって生成された複数のカスタムライブラリを含む。

【0037】

図３の例において、第１分類は工業部品、文房具などである。また、第２分類はボルト、ナット、ペン、ハサミなどである。例えば汎用ライブラリである「工業部品」は、ボルト、ナット、バネなどを認識するためのライブラリである。また、例えば特化ライブラリである「ボルト」は、ボルトの種類であるボルトＡ、ボルトＢ、ボルトＣなどを認識するためのライブラリである。特化ライブラリである「ボルト」及び「ナット」は、汎用ライブラリである「工業部品」と関連する。このような汎用ライブラリと特化ライブラリとの関連付けは、関連情報として記憶部１２に記憶される。つまり、記憶部１２は、複数のライブラリの関係を定義する関連情報を記憶する。また、カスタムライブラリ群については、カスタムライブラリとユーザとの関連、汎用ライブラリとカスタムライブラリとの関連又は特化ライブラリとカスタムライブラリとの関連が、関連情報として記憶部１２に記憶されてよい。さらに、複数の汎用ライブラリ同士の類似、複数の特化ライブラリ同士の類似などが関連情報として記憶部１２に記憶されてよい。さらに、汎用ライブラリ、特化ライブラリ又はカスタムライブあるいは複数の汎用ライブラリ同士、複数の特化ライブラリ同士又は複数のカスタムライブラリ同士の組合せ使用の使用履歴などが関連情報として記憶部１２に記憶されてよい。

【0038】

提示内容決定部１３４は、上記の関連情報に基づき、例えばユーザから指定されたライブラリ（第１ライブラリ）と所定の関係を有する第２ライブラリを用いた所定のタスクの適用結果を結果取得部１３２に取得させてよい。例えばユーザが「ボルトＣ」の改良製品である「ボルトＣ´」を、ライブラリ群のライブラリを用いて識別できるかを確認するために、ライブラリ提示装置１０を使用することがあり得る。この場合に、ユーザは、ライブラリの種類の詳細を知るわけではないため、汎用ライブラリの「工業部品」を指定することがあり得る。このような場合に、提示内容決定部１３４は、ライブラリ生成管理装置２０に「工業部品」（汎用ライブラリ、第１ライブラリ）を用いた「ボルトＣ´」の認識を実行させるだけでなく、関連情報に基づいて「ボルト」（特化ライブラリ、第２ライブラリ）を用いた「ボルトＣ´」の認識を実行させてよい。そして、提示内容決定部１３４は、それぞれの実行結果を結果取得部１３２に取得させてよい。提示内容決定部１３４は、例えば、第１ライブラリを用いた所定のタスクの実行結果に対する評価が所定の基準未満の場合に、第２ライブラリを用いた所定のタスクの実行結果を提示させてもよい。評価が所定の基準未満の場合とは、例えば適合率及び再現率が期待結果未満であることである。提示内容決定部１３４は、関連情報を用いることによって、ユーザがライブラリの種類についてあまり知らなくても、所定のタスクの実行に適する候補のライブラリを選択できる。ここで、例えば、第１ライブラリに関連した複数の第２ライブラリを有する場合、提示内容決定部１３４は、複数の第２ライブラリのそれぞれに対して実行及び評価してよい。また、提示内容決定部１３４は、前のライブラリ（第１ライブラリ等）を用いた所定のタスクの実行結果に対する評価が所定の基準未満の場合に、順次後のライブラリ（第２ライブラリ等）を用いた所定のタスクの適用結果を結果取得部１３２に取得させてもよい。

【0039】

また、提示内容決定部１３４は、例えば、関連情報の関連度に基づいて、複数の第２ライブラリの一部を用いた所定のタスクの実行結果を結果取得部１３２に取得させてよい。なお、関連度とは、例えば、ユーザ又は使用予定のロボット２が過去に使用したライブラリの使用頻度などである。また、提示内容決定部１３４は、第１ライブラリに複数の第２ライブラリが関連している場合、複数の第２ライブラリに優先度を設定して、優先度の高い第２ライブラリを用いて所定のタスクの実行結果を結果取得部１３２に取得させてよい。さらに、この場合、提示内容決定部１３４は、順次、第２ライブラリの評価を行なってよく、所定の基準以上の評価が得られた場合に、結果取得部１３２による実行結果の取得を完了させてよい。なお、優先度とは、例えば、例えば、ユーザ又は使用予定のロボット２が過去に使用したライブラリの使用頻度などに基づいて設定されてよい。

【0040】

さらに、提示内容決定部１３４は、関連情報に基づいて、ユーザが過去に生成したカスタムライブラリ（第３ライブラリ）を用いた所定のタスクの実行結果を結果取得部１３２に取得させてよい。なお、第１ライブラリに関連した複数の第３ライブラリを有する場合、提示内容決定部１３４は、複数の第３ライブラリのそれぞれに対して実行及び評価してよい。また、提示内容決定部１３４は、例えば第３ライブラリを提示させてもよい。また、第１ライブラリは、他のライブラリ（例えば第２ライブラリ）と組み合わせて用いられてよい。また、第２ライブラリは、他のライブラリ（例えば第３ライブラリ）と組み合わせて用いられてよい。つまり、結果取得部１３２は、複数のライブラリを組み合わせた場合の所定のタスクを実行した結果を取得してよい。提示内容決定部１３４は、例えば複数のライブラリを組み合わせた場合の評価を比較して、最良の組み合わせのライブラリとそれらを用いた所定のタスクの実行結果を提示させてよい。提示内容決定部１３４は、例えば第３ライブラリと第２ライブラリとを組み合わせて用いた所定のタスクの実行結果を提示させてよい。例えば第１ライブラリの「工業部品」と第２ライブラリの「ボルト」とが組み合わされて（両方用いられて）、所定のタスクとして対象物の認識が実行されてよい。この例において、対象物が「ボルトＢ」であれば正しく「ボルトＢ」と認識する実行結果が期待されるが、対象物が「ナットＢ」であれば単にナットと認識されることがあり得る。

【0041】

提示内容決定部１３４は、第２ライブラリを用いた所定のタスクの実行結果に対する評価が所定の基準未満の場合に、新たなライブラリの生成の提案を提示させてよい。新たなライブラリは、新たなカスタムライブラリである。例えばユーザは、「ボルトＣ´」を含む画像から学習用データを作り、学習用データを用いてライブラリ生成管理装置２０に新たなライブラリを生成させることができる。

【0042】

このように、提示内容決定部１３４は、ユーザから指定されたライブラリ（第１ライブラリ）を用いた所定のタスクの実行結果を提示させるだけでなく、評価に応じて、第２ライブラリ、第３ライブラリ、これらのライブラリの組み合わせを実行結果と共に提示させる。さらに、提示内容決定部１３４は、新たなライブラリの生成の提案を提示させる。新たなライブラリの生成の提案は、上記の例の「ボルトＣ´」が認識されない場合、「ボルトＣ´」が「ボルトＡ」などに誤分類される場合、及び「ボルトＣ´」が種別による細かな分類がされない場合などに行われてよい。

【0043】

ここで、上記の例において、第１ライブラリが汎用ライブラリ、第２ライブラリが特化ライブラリ、第３ライブラリがカスタムライブラリであると説明したが、これらの対応は限定されない。例えば第２ライブラリが汎用ライブラリで、第３ライブラリが特化ライブラリであってよい。この場合は、例えば、ユーザから指定された第１ライブラリが「工業製品」であった場合、第２ライブラリとして「文房具」などが、第３ライブラリとして「ペン」などが適用され得る。また、例えば第１ライブラリが汎用ライブラリで、第２ライブラリがカスタムライブラリであってもよい。この場合、例えば、ユーザから指定された第１ライブラリが「工業製品」であった場合、第２ライブラリとして「ボルトＣ´」が適用され得る。また、第１ライブラリが特化ライブラリ又はカスタムライブラリでもよい。この場合、例えば、ユーザから指定された第１ライブラリが「ボルトＡ」であった場合、第２ライブラリとして「ボルトＢ」が、第３ライブラリとして「ボルトＣ´」が適用されてもよいし、ユーザから指定された第１ライブラリが「ボルトＣ´」であった場合、第２ライブラリとして「ボルトＣ」が、第３ライブラリとして「ボルトＤ´」が適用されてもよい。

【0044】

また、上記の例においては、第３ライブラリは、第１ライブラリとの関連情報に基づいて設定されていたが、第３ライブラリは、第２ライブラリとの関連情報に基づいて設定されていてもよいし、第１ライブラリおよび第２ライブラリの双方の関連情報に基づいて設定されてもよい。この場合、例えば、第１ライブラリが「工業製品」であった場合、第２ライブラリとして「文房具」などで、第３ライブラリとして「ペン」などが適用されたり、第１ライブラリが「工業製品」であり、第２ライブラリが「ボルトＣ」である場合、第３ライブラリとして「ボルトＣ´」などが適用されたりしてもよい。

【0045】

また、ライブラリの組み合わせは、特に制限されない。上記の例において、結果取得部１３２は、例えば複数の汎用ライブラリ又は汎用ライブラリと特化ライブラリを組み合わせた場合の所定のタスクを実行した結果を取得する。結果取得部１３２は、例えば複数の特化ライブラリ、複数のカスタムライブラリ、特化ライブラリとカスタムライブラリ又は汎用ライブラリとカスタムライブラリを組み合わせた場合の所定のタスクを実行した結果を取得してよい。

【0046】

（ライブラリ提示方法）
図４は、ライブラリ提示システム１における処理の手順の一例を示すシーケンス図である。また、図５は、ライブラリ提示装置１０の提示内容を決定する処理の例を示すフローチャートである。図４及び図５を参照して、本実施形態に係るライブラリ提示装置１０が実行するライブラリ提示方法の処理が説明される。

【0047】

ライブラリ提示装置１０を使用するユーザは、所定のタスクを決定して、通信端末装置３０に入力する（ステップＳ１）。ここで、所定のタスクは、上記の例と同様に、「ボルトＣ´」及び他の工業部品を含む画像における対象物の認識と認識結果の表示であるとして説明する。

【0048】

ユーザは、通信端末装置３０のカメラを使って「ボルトＣ´」及び他の工業部品を撮像し、入力情報である撮像画像を生成する（ステップＳ２）。

【0049】

通信端末装置３０は、入力情報（撮像画像）をライブラリ提示装置１０に送信する（ステップＳ３）。ライブラリ提示装置１０の入力情報取得部１３１は、入力情報を取得する。

【0050】

ユーザは、ライブラリを選択して、通信端末装置３０に入力する（ステップＳ４）。ここで、ユーザは、ライブラリの種類の詳細を知るわけではないため、汎用ライブラリの「工業部品」を指定したとして説明する。

【0051】

通信端末装置３０は、ユーザ選択ライブラリをライブラリ提示装置１０に送信する（ステップＳ５）。つまり、通信端末装置３０は、ユーザによって選択されたライブラリが汎用ライブラリの「工業部品」であるという情報をライブラリ提示装置１０に送信する。

【0052】

ライブラリ提示装置１０の提示内容決定部１３４は、入力情報取得部１３１を介して得た入力情報と、指定されたライブラリ（汎用ライブラリの「工業部品」）の情報を、ライブラリ生成管理装置２０に送信し、所定のタスクを実行させる（ステップＳ６）。

【0053】

ライブラリ生成管理装置２０は、所定のタスクを実行する（ステップＳ７）。

【0054】

ライブラリ生成管理装置２０は、所定のタスクの実行結果をライブラリ提示装置１０に送信する（ステップＳ８）。ライブラリ提示装置１０の結果取得部１３２は、所定のタスクの実行結果を取得する。

【0055】

ライブラリ提示装置１０の提示内容決定部１３４は、所定のタスクの実行結果を通信端末装置３０に送信する（ステップＳ９）。通信端末装置３０のユーザインタフェース部３５（タッチパネルディスプレイ）に所定のタスクの実行結果が表示される。

【0056】

ユーザは、所定のタスクの実行結果に対して評価を行い、通信端末装置３０に入力する（ステップＳ１０）。評価は、適合率及び再現率であってよい。ユーザは、評価として、さらに期待結果（期待される適合率及び再現率など）を通信端末装置３０に入力してよい。

【0057】

通信端末装置３０は、ユーザによって入力された評価をライブラリ提示装置１０に送信する（ステップＳ１１）。ライブラリ提示装置１０の評価取得部１３３は評価を取得する。ここで、上記の期待結果が予め設定されているような場合には、評価取得部１３３がユーザからの評価を受信することなく、ステップＳ１２の処理に進んでよい。

【0058】

ライブラリ提示装置１０の提示内容決定部１３４は、評価取得部１３３を介して得た評価に基づいて、提示内容の決定処理を実行する（ステップＳ１２）。提示内容の決定処理は、後述するように図５のフローチャートに従って実行される。

【0059】

ライブラリ提示装置１０の提示内容決定部１３４は、提示内容を通信端末装置３０に送信して、ユーザインタフェース部３５（タッチパネルディスプレイ）に表示させる（ステップＳ１３）。ユーザは、提示内容に基づいて、ライブラリ群のライブラリを用いて対象物が識別されるかを確認することができる。

【0060】

ライブラリ提示装置１０は、例えば、以下のように提示内容の決定処理を実行する。提示内容決定部１３４は、評価取得部１３３による評価が所定の基準未満の場合に（ステップＳ２１のＹｅｓ）、ユーザ選択ライブラリ以外のライブラリを用いた所定のタスクの実行指示を行う（ステップＳ２２）。提示内容決定部１３４は、ライブラリ生成管理装置２０に、ユーザによって選択されたライブラリに関連するライブラリを用いて所定のタスクの実行するように指示する。上記のように、提示内容決定部１３４は、記憶部１２に記憶された関連情報に基づいてライブラリを選ぶ。例えば、ユーザによって選択されたライブラリが汎用ライブラリの「工業部品」である場合に、特化ライブラリの「ボルト」及び同じユーザのカスタムライブラリなどが選ばれる。また、提示内容決定部１３４は、複数のライブラリを組み合わせて所定のタスクの実行するように指示してよい。ここで、所定の基準は予め決定されていてよいし、例えばステップＳ１０で入力された期待結果に基づいて決定されてよい。

【0061】

結果取得部１３２は、ユーザ選択ライブラリ以外のライブラリ（以下「非ユーザ選択ライブラリ」とも称される）を用いた所定のタスクの実行結果を取得する（ステップＳ２３）。

【0062】

提示内容決定部１３４は、非ユーザ選択ライブラリを用いた所定のタスクの実行結果を提示内容に設定する（ステップＳ２４）。非ユーザ選択ライブラリは、例えばユーザが知らなかった特化ライブラリを含む。特化ライブラリは、例えば汎用ライブラリより小さな分類で対象物を認識するため、ユーザの要求を満たす可能性が高い。このように、提示内容決定部１３４は、ユーザ選択ライブラリを用いた所定のタスクの評価が低い場合であっても、より適するライブラリを提示することができる。ここで、提示内容決定部１３４は、評価取得部１３３を介して得た期待結果（期待される適合率及び再現率など）に基づいて非ユーザ選択ライブラリを用いた所定のタスクの実行結果を評価してよい。この場合に、提示内容決定部１３４は、非ユーザ選択ライブラリを用いた所定のタスクの実行結果を評価した後に提示内容に設定してよい。

【0063】

また、提示内容決定部１３４は、評価が所定の基準以上の場合に（ステップＳ２１のＮｏ）、ユーザ選択ライブラリを所定のタスクと紐づけたことを提示内容に設定する（ステップＳ２５）。例えば所定の基準は、適合率が９０％以上といった正解率についての基準であってよい。この例において、提示内容決定部１３４は、評価が所定の基準以上であれば、ユーザ選択ライブラリでの正解率が高く、誤分類が少ないとして、ユーザ選択ライブラリについての提示を行う。また、提示内容決定部１３４は、評価が所定の基準未満であれば、ユーザ選択ライブラリでの正解率が低いとして、より適するライブラリ（非ユーザ選択ライブラリ）を提示することができる。

【0064】

ここで、図４の例において、ライブラリ提示装置１０はユーザの評価を待って非ユーザ選択ライブラリを用いた所定のタスクを実行させたが、ユーザの評価を待たずに実行することも可能である。図６は、ライブラリ提示システム１における処理の手順の別の例を示すシーケンス図である。

【0065】

図６のステップＳ１０１からＳ１０５は、図４のステップＳ１からＳ５と同じであるため、説明を省略する。

【0066】

ユーザは、期待結果を通信端末装置３０に入力する（ステップＳ１０６）。期待結果は、上記のように、例えば期待される適合率及び再現率などである。

【0067】

通信端末装置３０は、ユーザによって入力された期待結果をライブラリ提示装置１０に送信する（ステップＳ１０７）。ライブラリ提示装置１０の評価取得部１３３は期待結果を取得する。

【0068】

ライブラリ提示装置１０の提示内容決定部１３４は、ライブラリを拡張した所定のタスクの実行指示を行う（ステップＳ１０８）。ライブラリの拡張は、ユーザ選択ライブラリに加えて、非ユーザ選択ライブラリを用いるように指定することを意味する。非ユーザ選択ライブラリは、関連情報に基づいて選ばれてよい。

【0069】

ライブラリ生成管理装置２０は、所定のタスクを実行する（ステップＳ１０９）。ライブラリ生成管理装置２０は、複数のライブラリを用いて、複数の所定のタスクを実行する。

【0070】

ライブラリ生成管理装置２０は、所定のタスクの複数の実行結果をライブラリ提示装置１０に送信する（ステップＳ１１０）。ライブラリ提示装置１０の結果取得部１３２は、複数の実行結果を取得する。

【0071】

ライブラリ提示装置１０の評価取得部１３３は、ユーザの評価を待たずに非ユーザ選択ライブラリを用いた所定のタスクが実行される場合には受信の処理を実行しない。例えば、評価取得部１３３は、予め設定された期待結果と複数の実行結果に基づいて、それぞれの実行結果について期待結果以上か否かを判定して、その判定をもって評価を取得したとする。

【0072】

提示内容決定部１３４は、複数の実行結果についての評価（期待結果以上か否かの判定）に基づいて、提示内容を決定する（ステップＳ１１１）。提示内容決定部１３４は、例えば複数の実行結果の評価を比較して、最も評価が良いライブラリとそれを用いた所定のタスクの実行結果を提示内容としてよい。

【0073】

ライブラリ提示装置１０の提示内容決定部１３４は、提示内容を通信端末装置３０に送信して、ユーザインタフェース部３５（タッチパネルディスプレイ）に表示させる（ステップＳ１１２）。

【0074】

以上のように、本実施形態に係るライブラリ提示装置１０及びライブラリ提示方法は、対象物に適したライブラリを提示することができる。ユーザは、ライブラリをデプロイして稼働するロボット制御システム１００などの導入前であっても、また、新たな対象物の認識が必要になった場合でも、ライブラリ群に適するライブラリが用意されているか否かを知ることができる。

【0075】

以上、ライブラリ提示装置１０、ライブラリ提示方法及びロボット制御システムの実施形態を説明してきたが、本開示の実施形態としては、システム、プログラム、プログラムが記録された記憶媒体としての実施態様をとることも可能である。記憶媒体は、一例として、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク、又はメモリカード等である。

【0076】

また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であってよい。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてよい。

【0077】

本開示に係る実施形態について説明する図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。

【0078】

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。

【0079】

本開示に記載された構成要件、処理のステップについては、これらの特徴が相互に排他的である組合せを除き、任意に組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的又は類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。

【0080】

さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。

【0081】

本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１分類は、第２分類と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。例えば、第１ライブラリと第２ライブラリなど、請求項の記載において「第１」と「第２」の識別子を交換したものも本発明の範囲に含まれる。

【符号の説明】

【0082】

１ ライブラリ提示システム
２ ロボット
２Ａ アーム
２Ｂ エンドエフェクタ
４ カメラ
５ 影響範囲
６ 作業開始地点
７ 作業目標地点
８ 作業対象物
１０ ライブラリ提示装置
１１ 通信部
１２ 記憶部
１３ 制御部
２０ ライブラリ生成管理装置
３０ 通信端末装置
３１ 通信部
３２ 記憶部
３３ 制御部
３４ 入力情報生成部
３５ ユーザインタフェース部
４０ ネットワーク
１００ ロボット制御システム
１１０ ロボット制御装置
１３１ 入力情報取得部
１３２ 結果取得部
１３３ 評価取得部
１３４ 提示内容決定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】