特開 2024-53352 情報処理方法、プログラム及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024053352

(43)【公開日】2024-04-15

(54)【発明の名称】情報処理方法、プログラム及び情報処理装置

(51)【国際特許分類】

   G01N 35/04 20060101AFI20240408BHJP

   G06N 20/00 20190101ALI20240408BHJP

   G06V 10/70 20220101ALI20240408BHJP

   G06T 7/00 20170101ALI20240408BHJP

   B25J 13/00 20060101ALI20240408BHJP

【ＦＩ】

G01N35/04 G

G06N20/00

G06V10/70

G06T7/00 350B

B25J13/00 A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022159563

(22)【出願日】2022-10-03

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和 ４年 ６月３０日に、生物試料分析，第４５巻，第３号，第１２０～１２９頁，生物試料分析科学会にて公開 令和 ４年 ６月３０日に、生物試料分析科学会のウェブサイトにて公開（ｈｔｔｐ：／／ｊ－ｊａｂｓ．ｕｍｉｎ．ｊｐ／２０２２－４５．ｈｔｍｌ） 令和 ４年 ９月 ７日に、第４０回日本ロボット学会学術講演会にて公開 令和 ４年 ９月 ４日に、第４０回日本ロボット学会学術講演会のウェブサイトで公開（ｈｔｔｐｓ：／／ａｃ．ｒｓｊ－ｗｅｂ．ｏｒｇ／２０２２／）

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和 ４年 ６月３０日に、生物試料分析，第４５巻，第３号，第１２０～１２９頁，生物試料分析科学会にて公開 令和 ４年 ６月３０日に、生物試料分析科学会のウェブサイトにて公開（ｈｔｔｐ：／／ｊ－ｊａｂｓ．ｕｍｉｎ．ｊｐ／２０２２－４５．ｈｔｍｌ） 令和 ４年 ９月 ７日に、第４０回日本ロボット学会学術講演会にて公開 令和 ４年 ９月 ４日に、第４０回日本ロボット学会学術講演会のウェブサイトで公開（ｈｔｔｐｓ：／／ａｃ．ｒｓｊ－ｗｅｂ．ｏｒｇ／２０２２／）

(71)【出願人】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(71)【出願人】

【識別番号】517448489

【氏名又は名称】合同会社Ｈ．Ｕ．グループ中央研究所

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】万 偉偉

(72)【発明者】

【氏名】原田 研介

(72)【発明者】

【氏名】陳 昊

(72)【発明者】

【氏名】松下 雅季

(72)【発明者】

【氏名】小▲高▼ 健之

【テーマコード（参考）】

2G058

3C707

5L096

【Ｆターム（参考）】

2G058CA02

2G058CB16

2G058CF06

2G058CF16

3C707AS09

3C707JS03

3C707KS03

3C707KS04

3C707KT03

3C707KT06

3C707LW12

5L096BA05

5L096DA02

5L096HA11

5L096KA04

(57)【要約】

【課題】検体ラックに挿入されたチューブを好適に別の検体ラックへ移し替える、または同じ検体ラック内で好適に並び替えることができる情報処理方法等を提供する。
【解決手段】情報処理方法は、複数のチューブが挿入されたチューブラックを撮像した画像を取得し、前記画像から現在のチューブの配置を認識し、現在のチューブの配置を入力した場合に、次に移動すべきチューブの位置を出力するよう学習済みの強化学習モデルに、認識したチューブの配置を入力することで次のチューブの位置を出力し、移動後のチューブの位置に基づき、前記強化学習モデルを更新する処理をコンピュータが実行する。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数のチューブが挿入されたチューブラックを撮像した画像を取得し、
前記画像から現在のチューブの配置を認識し、
現在のチューブの配置を入力した場合に、次に移動すべきチューブの位置を出力するよう学習済みの強化学習モデルに、認識したチューブの配置を入力することで次のチューブの位置を出力し、
移動後のチューブの位置に基づき、前記強化学習モデルを更新する
処理をコンピュータが実行する情報処理方法。

【請求項2】

前記強化学習モデルは、深層強化学習モデルである
請求項１に記載の情報処理方法。

【請求項3】

前記チューブの種類に応じて、チューブラックに一又は複数のチューブ収容領域を設定し、
現在のチューブの配置と、前記チューブ収容領域とを前記強化学習モデルに入力することで、次に移動させるべきチューブの位置を出力する
請求項１に記載の情報処理方法。

【請求項4】

移動後のチューブの位置が前記チューブ収容領域内である場合、前記強化学習モデルにプラスの報酬を付与し、
移動後のチューブの位置が前記チューブ収容領域から離れた場合、前記強化学習モデルにマイナスの報酬を付与する
請求項３に記載の情報処理方法。

【請求項5】

前記チューブラックに挿入されたチューブの本数を徐々に増やした複数の前記画像を取得し、
チューブの本数が少ない前記画像から順番に学習を開始し、前記強化学習モデルを更新する
請求項１に記載の情報処理方法。

【請求項6】

前記強化学習モデルからの出力に基づくチューブの移動シーケンスから、余分動作を削除する
請求項１に記載の情報処理方法。

【請求項7】

チューブを把持したロボットアームの画像と、チューブが挿入されていない空のチューブラックの画像とを取得し、
前記ロボットアームの画像からチューブの画像部分を抽出して前記空のチューブラックの画像に重畳することで合成画像を生成し、
前記合成画像に基づき、チューブラックの画像を入力した場合にチューブラック内のチューブを認識する認識モデルを生成し、
前記認識モデルを用いて、現在のチューブの配置を認識する
請求項１に記載の情報処理方法。

【請求項8】

複数のチューブが挿入されたチューブラックを撮像した画像を取得し、
前記画像から現在のチューブの配置を認識し、
現在のチューブの配置を入力した場合に、次に移動すべきチューブの位置を出力するよう学習済みの強化学習モデルに、認識したチューブの配置を入力することで次のチューブの位置を出力し、
移動後のチューブの位置に基づき、前記強化学習モデルを更新する
処理をコンピュータに実行させるプログラム。

【請求項9】

制御部を備えた情報処理装置であって、
前記制御部が、
複数のチューブが挿入されたチューブラックを撮像した画像を取得し、
前記画像から現在のチューブの配置を認識し、
現在のチューブの配置を入力した場合に、次に移動すべきチューブの位置を出力するよう学習済みの強化学習モデルに、認識したチューブの配置を入力することで次のチューブの位置を出力し、
移動後のチューブの位置に基づき、前記強化学習モデルを更新する
情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、プログラム及び情報処理装置に関する。

【背景技術】

【0002】

近年、人間が行っていた作業をロボットが行うことで省人化を図ることが行われている。例えば特許文献１では、検体容器（試験管等のチューブ）の状態が規格外の検体容器をロボットが把持し、検体ラックから空の別の検体ラックへ移し替える検体自動仕分システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－８８１９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一方で、チューブをチューブラック内で仕分ける場合に、検体容器の移動経路を計画するのに膨大な計算時間が必要になるという問題がある。

【0005】

一つの側面では、検体ラックに挿入されたチューブを好適に別の検体ラックへ移し替える、または同じ検体ラック内で好適に並び替えることができる情報処理方法等を提供することを目的とする。

【課題を解決するための手段】

【0006】

一つの側面では、情報処理方法は、複数のチューブが挿入されたチューブラックを撮像した画像を取得し、前記画像から現在のチューブの配置を認識し、現在のチューブの配置を入力した場合に、次に移動すべきチューブの位置を出力するよう学習済みの強化学習モデルに、認識したチューブの配置を入力することで次のチューブの位置を出力し、移動後のチューブの位置に基づき、前記強化学習モデルを更新する処理をコンピュータが実行する。

【発明の効果】

【0007】

一つの側面では、チューブラックに挿入されたチューブを好適に並び替えることができる。

【図面の簡単な説明】

【0008】

【図1】自動仕分システムの構成例を示す説明図である。

【図2】サーバの構成例を示すブロック図である。

【図3】端末の構成例を示すブロック図である。

【図4】強化学習モデルの概要を示す説明図である。

【図5】状態と動作の定義を示す説明図である。

【図6】報酬に関する説明図である。

【図7】学習難易度とチューブの数との関係を示す説明図である。

【図8】余分動作例を示す説明図である。

【図9】第１パターンの余分動作の削除例を示す説明図である。

【図10】第２パターンの余分動作の削除例を示す説明図である。

【図11】強化学習モデルの生成処理の手順を示すフローチャートである。

【図12】並び替え計画処理の手順を示すフローチャートである。

【図13】実施の形態２の概要を示す説明図である。

【図14】自動アノテーションに関する説明図である。

【図15】認識モデルの生成処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、自動仕分システムの構成例を示す説明図である。本実施の形態では、チューブラックに挿入された複数種類のチューブを、チューブの種類毎に自動的に並び替える自動仕分システムについて説明する。自動仕分システムは、情報処理装置１、端末２、ロボット３、３Ｄカメラ４を含む。情報処理装置１及び端末２は、ネットワークＮを介して通信接続されている。

【0010】

なお、本明細書では、チューブラックに挿入されたチューブには、検体が収容されたチューブ、検体が収容されていない空のダミーチューブ、チューブ以外の棒状物（遠心分離器のバランス用のウェイトなど）を含む。また、本明細書において「検体」とは、検査装置などの対象試料のことを指し、生体成分を含む試料や試薬環境サンプルなどを意味する。生体成分としては、生体から取り出された血液（血清、血漿）、尿、唾液、脳脊髄液等がある。

【0011】

情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバコンピュータであるものとし、以下では簡潔のためサーバ１と読み替える。後述するように、サーバ１は、チューブラックにおける現在のチューブの配置を入力した場合に、次に移動すべきチューブの位置を出力する強化学習モデル５２（図４参照）を生成する。

【0012】

端末２は、種々の情報処理が可能な端末装置であり、例えばパーソナルコンピュータ等である。端末２は、チューブラックの撮像画像からチューブを認識し、上述の強化学習モデル５２を利用して、チューブを並び替える順序を計画する。

【0013】

ロボット３は、チューブを把持可能なアームを備えたロボットである。端末２は、上述の如くチューブの並び替え計画を作成すると、作成した計画をロボット３に出力し、チューブの並び替え動作を実行させる。

【0014】

３Ｄカメラ４は、ラックを載置する机の上やロボット３に設置された３Ｄカメラであり、点群データ、２次元の画像データ、及び距離画像を取得可能なカメラである。端末２は、３Ｄカメラ４で撮像された画像からチューブのキャップを認識し、ロボット３に当該チューブを移動させるよう指示する。

【0015】

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰ１を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。

【0016】

補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ１（プログラム製品）、その他のデータを記憶している。また、補助記憶部１４は、認識モデル５１を記憶している。認識モデル５１は、所定の訓練データを学習済みの機械学習モデルであり、チューブラックの画像を入力した場合にチューブを認識するよう学習済みのモデルである。認識モデル５１は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。

【0017】

なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

【0018】

また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰ１を読み取って実行するようにしても良い。

【0019】

図３は、端末２の構成例を示すブロック図である。端末２は、制御部２１、主記憶部２２、通信部２３、表示部２４、入力部２５、及び補助記憶部２６を備える。
制御部２１は、一又は複数のＣＰＵ等のプロセッサを有し、補助記憶部２６に記憶されたプログラムＰ２を読み出して実行することにより、種々の情報処理を行う。主記憶部２２は、ＲＡＭ等の一時記憶領域であり、制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。通信部２３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。表示部２４は、液晶ディスプレイ等の表示画面であり、画像を表示する。入力部２５は、キーボード、マウス等の操作インターフェイスであり、ユーザから操作入力を受け付ける。

【0020】

補助記憶部２６は、ハードディスク、大容量メモリ等の不揮発性記憶領域であり、制御部２１が処理を実行するために必要なプログラムＰ２、その他のデータを記憶している。また、補助記憶部２６は、認識モデル５１、強化学習モデル５２を記憶している。強化学習モデル５２は、所定の訓練データを学習済みの機械学習モデルであり、現在のチューブの配置を入力した場合に、次に移動すべきチューブの位置を出力するモデルである。強化学習モデル５２は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。

【0021】

なお、端末２は、ＣＤ－ＲＯＭ等の可搬型記憶媒体２ａを読み取る読取部を備え、可搬型記憶媒体２ａからプログラムＰ２を読み取って実行するようにしても良い。

【0022】

図４は、強化学習モデル５２の概要を示す説明図である。図４では、チューブラックの状態（チューブの配置）と、最終的にチューブを収容すべきゴール領域（チューブ収容領域）のパターンとを強化学習モデル５２に入力した場合に、チューブの移動シーケンスを出力する様子を図示している。以下では、本実施の形態の概要を説明する。

【0023】

なお、図４ではチューブが元々挿入されているチューブラック内でチューブを移動させる様子を図示しているが、本実施の形態はこれに限定されるものではなく、チューブを別のチューブラックに移し替える場合も本実施の形態に含まれる。

【0024】

強化学習モデル５２は、チューブラックにおける現在のチューブの配置を入力した場合に、次に移動すべきチューブの位置を出力するモデルであり、例えば深層強化学習モデル（例えばDeep Q-Network）である。強化学習モデル５２として深層強化学習モデルを採用することで、従前の並び替え計画のアルゴリズム（例えばＡ^＊アルゴリズム）を使う場合と比べて、チューブの並び替えを計画するにあたっての計算時間を大幅に削減することができる。

【0025】

図５は、状態ｓ（state）と動作ａ（action）の定義を示す説明図である。本実施の形態では、以下の様にエージェントの状態ｓと動作ａとを定義する。まずサーバ１は、図５左側に示すように、チューブラック上のチューブの種類に応じて、最終的にチューブを収容すべきゴール領域を設定する。図５の例ではチューブの種類が２種類であるため、２つのゴール領域が設定される。状態ｓは、チューブラック上の各チューブの位置と、ゴール領域とで規定される。

【0026】

また、図５右側に示すように、一のチューブをチューブラックから取り出して別の位置に移動させることから、チューブが元々あった位置と、新たにチューブが移動された位置とで、動作ａが規定される。

【0027】

図４に戻って説明を続ける。上述の如く状態ｓと動作ａとを定義した上で、サーバ１は、強化学習モデル５２の学習を行う。具体的には、サーバ１は、所定の訓練用の画像群を用いて学習を行う。当該画像は、複数のチューブが挿入されたチューブラックの画像である。

【0028】

まずサーバ１は、当該画像からチューブの配置を認識する。本実施の形態では、認識モデル５１を用いてチューブを認識する。認識モデル５１は、チューブラックの画像を入力した場合にチューブラック上のチューブを認識するモデルであり、例えばＹＯＬＯ（You Look Only Once）である。

【0029】

なお、本実施の形態では認識モデル５１がＹＯＬＯであるものとするが、ＹＯＬＯ以外の深層学習モデル、あるいは深層学習モデル以外の機械学習モデルであってもよい。

【0030】

サーバ１は、訓練用の画像を認識モデル５１に入力することで、現在のチューブの配置を認識する。そしてサーバ１は、認識したチューブの配置と、ゴール領域のパターンとを強化学習モデル５２に入力することで、次に移動すべきチューブの位置を出力する。

【0031】

図６は、報酬に関する説明図である。サーバ１は、移動後のチューブの位置に応じて強化学習モデル５２に報酬を付与する。図６では、当該報酬をテーブルにしてまとめてある。図６に示すように、サーバ１は、移動後のチューブの位置が目標のゴール領域内にある場合はプラスＸＸ点（ＸＸは定数）の報酬を付与する。一方で、サーバ１は、移動後のチューブの位置がゴール領域から離れた場合はマイナスの報酬を付与する。以下同様にして、ただの移動である場合はマイナスの報酬を、全てのチューブが目標のゴール領域に入った場合はプラスの報酬を、閾値回数以上移動を繰り返しても全てのチューブがゴール領域に入らない場合はマイナスの報酬を付与する。

【0032】

なお、上記の報酬の与え方は一例であって、本実施の形態はこれに限定されるものではない。例えば、移動回数が閾値以下であればプラスの報酬を付与するなどしてもよい。

【0033】

上述の如く、サーバ１は、移動後のチューブの位置に応じて強化学習モデル５２に報酬を付与する。そしてサーバ１は、付与した報酬に基づいて強化学習モデル５２を更新する。サーバ１は上記の処理を繰り返し、強化学習モデル５２を更新していく。サーバ１は、所定の学習終了条件（例えばＱ値の収束）を満たすまで処理を繰り返し、最終的にニューロン間の重み等のパラメータを最適化した強化学習モデル５２を生成する。

【0034】

図７は、学習難易度とチューブの数との関係を示す説明図である。図７では、チューブの本数が増えるほど学習難易度が上がっていく様子を概念的に図示している。

【0035】

図７に示すように、強化学習モデル５２に係る学習を行う場合、チューブの本数が増えるほど学習難易度が上がり、学習成果が収束しにくくなる。そこで本実施の形態では、チューブの本数が少ない画像から順番に学習を行う。すなわち、サーバ１は、訓練用の画像群としてチューブの本数を徐々に増やした複数の画像を用意しておき、チューブの本数が少ない画像から順番にチューブの配置を認識して、強化学習モデル５２を更新していく。こうすることで学習成果が収束しやすくなる。

【0036】

上述の如く、サーバ１は強化学習モデル５２を生成する。端末２には当該強化学習モデル５２のデータが予めインストールされており、端末２は強化学習モデル５２を用いてチューブの並び替え計画を行う。すなわち、端末２は、３Ｄカメラ４からチューブラックを撮像した画像を取得し、認識モデル５１に入力することでチューブの配置を認識し、強化学習モデル５２に入力することで次に移動すべきチューブの位置を出力する。端末２は当該処理を繰り返し、図４右側に示したように、チューブの移動シーケンスを作成する。そして端末２は、作成したチューブの移動シーケンスをロボット３に出力し、チューブを移動させる。

【0037】

ここで、強化学習モデル５２から出力された移動シーケンスに従ってチューブを移動させた場合、余分な動作（移動）を行う場合がある。

【0038】

図８は、余分動作例を示す説明図である。図８では、強化学習モデル５２からの出力に従ってチューブを移動させた場合に、余分な動作を行う様子を図示している。

【0039】

既に述べたように、強化学習モデル５２を用いることで、他のアルゴリズム（例えばＡ^＊アルゴリズム）を用いる場合と比較して並び替え計画の計算時間を大幅に削減することができる。一方で、強化学習モデル５２を用いた場合、他のアルゴリズムと比べて、図８で例示するような余分動作が発生しやすい。そこで本実施の形態では、このような余分動作を削除する。

【0040】

本実施の形態では余分動作を２パターンで定義する。第１のパターンは、図８上側に示すように、余分動作を一つ削除すれば済むパターン（Immediately redundant action）である。第２のパターンは、図８下側に示すように、正しい動作の間に余分動作が紛れているパターン（Eventually redundant action）である。

【0041】

図９は、第１パターンの余分動作の削除例を示す説明図である。第１パターンの余分動作を検出した場合、端末２は、当該余分動作（図９中では２番目の動作）を削除する。これにより、動作の最適化を行う。

【0042】

図１０は、第２パターンの余分動作の削除例を示す説明図である。第２パターンの余分動作を検出した場合、端末２は、部分的に他のアルゴリズムを適用することで、余分動作を削除する。他のアルゴリズムとは、例えばＡ^＊アルゴリズムである。図１０の例では、太線で囲んだ動作に対し、Ａ^＊アルゴリズムを適用する。これにより端末２は、動作の最適化を行う。

【0043】

図８～図１０で例示したように、端末２は、強化学習モデル５２が出力した移動シーケンスから余分動作を削除する。端末２は、余分動作を削除後の移動シーケンスをロボット３に出力し、チューブを移動させる。ロボット３は、端末２から出力された移動シーケンスに従ってチューブを移動させ、最終的にゴール領域に全てのチューブを収容する。

【0044】

図１１は、強化学習モデル５２の生成処理の手順を示すフローチャートである。図１１に基づき、強化学習モデル５２を生成する際の処理内容について説明する。
サーバ１の制御部１１は、訓練用の画像群を取得する（ステップＳ１１）。当該画像は、複数のチューブが挿入されたチューブラックの画像である。制御部１１は、当該画像を認識モデル５１に入力することで、現在のチューブの配置を認識する（ステップＳ１２）。

【0045】

制御部１１は、認識したチューブの配置を強化学習モデル５２に入力することで、次に移動すべきチューブの位置を出力する（ステップＳ１３）。制御部１１は、移動後のチューブの位置に基づき、強化学習モデル５２に報酬を付与する（ステップＳ１４）。具体的には上述の如く、制御部１１は、移動後のチューブの位置がゴール領域内にある場合はプラスの報酬を、ゴール領域から離れた場合はマイナスの報酬を付与する。制御部１１は、付与された報酬に基づき強化学習モデル５２を更新する（ステップＳ１５）。

【0046】

制御部１１は、全てのチューブがゴール領域に移動したか否かを判定する（ステップＳ１６）。全てのチューブがゴール領域に移動していないと判定した場合（Ｓ１６：ＮＯ）、制御部１１は処理をステップＳ１３に戻す。

【0047】

全てのチューブがゴール領域に移動したと判定した場合（Ｓ１６：ＹＥＳ）、制御部１１は、強化学習モデル５２の学習を終了するか否かを判定する（ステップＳ１７）。学習を終了しないと判定した場合（Ｓ１７：ＮＯ）、制御部１１は処理をステップＳ１１に戻す。この場合、制御部１１はチューブの数を増やした画像を取得して学習を行う。学習を終了すると判定した場合（Ｓ１７：ＹＥＳ）、制御部１１は一連の処理を終了する。

【0048】

図１２は、並び替え計画処理の手順を示すフローチャートである。図１２に基づき、チューブの並び替えを計画する際の処理内容について説明する。
端末２の制御部２１は、チューブラックを撮像した画像を３Ｄカメラ４から取得する（ステップＳ３１）。制御部２１は、取得した画像を認識モデル５１に入力することで、現在のチューブの配置を認識する（ステップＳ３２）。

【0049】

制御部２１は、認識したチューブの配置を強化学習モデル５２に入力することで、次に移動すべきチューブの位置を出力する（ステップＳ３３）。制御部１１は、全てのチューブがゴール領域に移動したか否かを判定する（ステップＳ３４）。全てのチューブがゴール領域に移動していないと判定した場合（Ｓ３４：ＮＯ）、制御部２１は処理をステップＳ３３に戻す。全てのチューブがゴール領域に移動したと判定した場合（Ｓ３４：ＹＥＳ）、制御部２１は、強化学習モデル５２からの出力に基づくチューブの移動シーケンスから、余分動作を削除する（ステップＳ３５）。そして制御部２１は、チューブの移動指示をロボット３に出力し（ステップＳ３６）、一連の処理を終了する。

【0050】

以上より、本実施の形態１によれば、強化学習モデル５２を利用してチューブの並び替え計画を行うことで、計算時間を大幅に削減し、チューブを好適に並び替えることができる。

【0051】

（実施の形態２）
本実施の形態では、３Ｄカメラ４で撮像した画像に対し、チューブであることを示すアノテーションを自動的に付与する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。

【0052】

図１３は、実施の形態２の概要を示す説明図である。図１３では、チューブが挿入されていない空のチューブラックの画像上に、ロボットアームに把持されているチューブキャップの画像から抽出したチューブキャップを重畳する様子を図示している。図１３に基づき、本実施の形態の概要を説明する。

【0053】

実施の形態１で説明したように、端末２は、機械学習モデル（例えばＹＯＬＯ）である認識モデル５１を用いてチューブを認識する。認識モデル５１を構築するためには、チューブラックの画像に対し、正解のチューブの位置を示すアノテーションを付した訓練データが必要になる。本実施の形態ではアノテーションを付す作業を半自動化し、省人化を図る。

【0054】

アノテーション作業の手法としては、２つの手法が考えられる。第１の手法は、ロボット３にチューブを持たせて撮像し、撮像画像からチューブを抽出して学習することである。ロボットアームの位置が既知であるため、画像中のどこにチューブがあるかがわかる。

【0055】

第２の手法は、チューブを挿入したチューブラックを机に配置し、上から撮像した画像からチューブを抽出して学習することである。この場合、チューブラックより少し高い位置にある、チューブ先端が存在する高さの点群データだけを抽出し、点群のまとまり毎にチューブとして捉える。

【0056】

本願発明者は上記の手法でアノテーションの自動化を試みたが、チューブの分類精度が悪かった。そこで別手法と組み合わせたところ、実用的な分類精度を得た。

【0057】

具体的には、サーバ１は、図１３左側に示すように、チューブを把持したロボットアームを撮像した画像からチューブキャップを抽出し、抽出したチューブキャップの画像を、空のチューブラックの画像に重畳することで合成画像を生成する。これにより、疑似的にチューブが挿入されたチューブラックの画像を生成する。

【0058】

更にサーバ１は、図１３右側に示すように、２種類のチューブを組み合わせる場合、同様にチューブを把持したロボットアームを撮像した画像からチューブキャップを抽出して空のチューブラックの画像に重畳する。ここでサーバ１は、チューブキャップ同士が重なり合う部分を、欠けた状態にする。これにより、チューブの長さの違いから生じるチューブ同士が重なって見える状態を疑似的に再現する。

【0059】

図１４は、自動アノテーションに関する説明図である。図１４では、上記の合成画像の生成処理の具体的な処理工程を図示している。図１４に示すように、まずサーバ１は背景となる空のチューブラック画像を選択し、チューブを把持したロボットアームの画像からチューブキャップを矩形状に切り抜く。

【0060】

次にサーバ１は、矩形状に切り抜いたチューブキャップの画像から余分な部分を排除するため、点群データに基づき、チューブキャップ抽出用のマスクを生成する。サーバ１は、当該マスクを用いてチューブキャップの画像を抽出し、空のチューブラック画像に重畳することで合成画像を生成する。この場合にサーバ１は、以下の式（１）に示すＩｏＵ（Intersection over Union）という値が規定の最大値以下となるようにチューブキャップを配置することで、キャップ同士の重なりを小さくする。
ＩｏＵ＝（キャップ同士が重なり合う部分の面積）／（キャップの総面積）…（１）

【0061】

サーバ１は、上記のようにして生成された合成画像を学習することで、認識モデル５１を生成する。すなわち、サーバ１は、訓練用の合成画像を認識モデル５１に入力することでチューブを認識し、認識したチューブの位置及び種類が、正解のチューブの位置及び種類（アノテーション）と一致するようにニューロン間の重み等のパラメータを最適化する。上記のように合成画像を生成することで、認識モデル５１の訓練用の画像に係るアノテーションを自動的に行うことができる。

【0062】

図１５は、認識モデル５１の生成処理の手順を示すフローチャートである。図１５に基づき、認識モデル５１を生成する際の処理内容について説明する。
サーバ１の制御部１１は、チューブが挿入されていないチューブラックの画像と、チューブを把持したロボットアームの画像とを取得する（ステップＳ２０１）。制御部１１は、ロボットアームの画像からチューブキャップの画像部分を抽出する（ステップＳ２０２）。

【0063】

制御部１１は点群データに基づき、チューブキャップ抽出用のマスクを生成する（ステップＳ２０３）。制御部１１は、生成したマスクを用いてチューブキャップの画像を抽出し、空のチューブラックの画像に重畳することで合成画像を生成する（ステップＳ２０４）。制御部１１は、生成した合成画像に基づき、チューブラックの画像を入力した場合にチューブラック上のチューブを認識する認識モデル５１を生成する（ステップＳ２０５）。制御部１１は一連の処理を終了する。

【0064】

以上より、本実施の形態２によれば、アノテーション作業を半自動化することができる。

【0065】

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【0066】

各実施の形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載しても良い。

【符号の説明】

【0067】

１ サーバ（情報処理装置）
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｐ１ プログラム
２ 端末
２１ 制御部
２２ 主記憶部
２３ 通信部
２４ 表示部
２５ 入力部
２６ 補助記憶部
Ｐ２ プログラム
３ ロボット
４ ３Ｄカメラ
５１ 認識モデル
５２ 強化学習モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】