特開 2024-166107 システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024166107

(43)【公開日】2024-11-28

(54)【発明の名称】システム

(51)【国際特許分類】

   B25J 13/00 20060101AFI20241121BHJP

【ＦＩ】

B25J13/00 Z

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2024074900

(22)【出願日】2024-05-02

(31)【優先権主張番号】P 2023081712

(32)【優先日】2023-05-17

(33)【優先権主張国・地域又は機関】JP

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＹＯＬＯ

２．ＣＨＡＴＧＰＴ

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人科学技術振興機構、事業名：未来社会創造事業（探索加速型）、領域：「共通基盤」領域、テーマ名：革新的な知や製品を創出する共通基盤システム・装置の実現、研究課題名：ロボティックバイオロジーによる生命科学の加速、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】503359821

【氏名又は名称】国立研究開発法人理化学研究所

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100152272

【弁理士】

【氏名又は名称】川越 雄一郎

(74)【代理人】

【識別番号】100181722

【弁理士】

【氏名又は名称】春田 洋孝

(72)【発明者】

【氏名】落合 幸治

(72)【発明者】

【氏名】海津 一成

(72)【発明者】

【氏名】高橋 恒一

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS34

3C707BS27

3C707CS08

3C707HS27

3C707JS07

3C707KS10

3C707KS21

3C707KT01

3C707KT05

3C707KV11

3C707LW12

3C707WA17

(57)【要約】

【課題】自己保守能力を有するシステムを提供する。
【解決手段】管理サーバと、ロボットと、前記ロボットの行動範囲の空間を含む環境を計測するセンサとを備えるシステムであって、前記管理サーバは、ミッションを受け付ける受付部と、前記ミッションに基づいて命令を生成し、前記ロボットに命令を送信する命令部と、を備え、前記命令は、前記ミッションを実行した後の状態を表す第一命令を含み、前記ロボットは、前記センサの計測データに基づいて、前記ロボットが取り扱う物品の状態を含む前記ロボットの環境状態を特定する状態特定部と、前記命令を受信し、特定した前記状態と前記命令が表す状態との差に基づいて、前記ロボットの状態が前記命令が表す状態に近づくように前記ロボットを駆動する指示部と、を備えるシステム。
【選択図】図１

【特許請求の範囲】

【請求項1】

管理サーバと、ロボットと、前記ロボットの行動範囲の空間を含む環境を計測するセンサとを備えるシステムであって、
前記管理サーバは、
ミッションを受け付ける受付部と、
前記ミッションに基づいて命令を生成し、前記ロボットに命令を送信する命令部と、
を備え、
前記命令は、前記ミッションを実行した後の状態を表す第一命令を含み、
前記ロボットは、
前記センサの計測データに基づいて、前記ロボットが取り扱う物品の状態を含む前記ロボットの環境状態を特定する状態特定部と、
前記命令を受信し、特定した前記状態と前記命令が表す状態との差に基づいて、前記ロボットの状態が前記命令が表す状態に近づくように前記ロボットを駆動する指示部と、
を備えるシステム。

【請求項2】

前記指示部は、前記ロボットの状態と前記第一命令が表す状態との差が所定の要件を満たすように前記ロボットを駆動し、
前記第一命令を受信していない場合、前記ロボットの状態と前記ロボットの理想状態との差が所定の要件を満たすように前記ロボットを駆動する、
請求項１に記載のシステム。

【請求項3】

前記ロボットは、前記管理サーバから前記ロボットの理想状態を表す第二命令を受信する、
請求項２に記載のシステム。

【請求項4】

前記ロボットは、前記ロボットの状態と前記命令が表す状態との差に基づく報酬を用いた強化学習アルゴリズムによって、駆動量を決定する制御量計算部と、
を備える請求項１に記載のシステム。

【請求項5】

前記管理サーバは、前記命令が示す状態に対して、前記ロボットの状態において不足する物品の補充を発注する発注部を備える、
請求項１に記載のシステム。

【請求項6】

前記状態特定部は、前記センサによって計測された前記発注により届いた物品のデータと、前記発注部による発注内容とを照合し、前記物品を管理する、
請求項５に記載のシステム。

【請求項7】

前記管理サーバは、過去に実行した前記ミッションに基づいて、将来発生するミッションが実行可能な状態を前記理想状態として推定する理想状態推定部を備える、
請求項２に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、システムに関する。

【背景技術】

【0002】

科学実験などの作業を自動化する研究開発が進められている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許出願公開第２０１５／２４２３９５号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

自動化するシステムは、メンテナンスや維持管理が難しい。
本発明の目的は、上述した課題を解決し、自己保守能力を有するシステムを提供することにある。

【課題を解決するための手段】

【0005】

本発明の一態様は、管理サーバと、ロボットと、前記ロボットの行動範囲の空間を含む環境を計測するセンサとを備えるシステムであって、前記管理サーバは、ミッションを受け付ける受付部と、前記ミッションに基づいて命令を生成し、前記ロボットに命令を送信する命令部と、を備え、前記命令は、前記ミッションを実行した後の状態を表す第一命令を含み、前記ロボットは、前記センサの計測データに基づいて、前記ロボットが取り扱う物品の状態を含む前記ロボットの環境状態を特定する状態特定部と、前記命令を受信し、特定した前記状態と前記命令が表す状態との差に基づいて、前記ロボットの状態が前記命令が表す状態に近づくように前記ロボットを駆動する指示部と、を備えるシステムである。

【発明の効果】

【0006】

本発明によれば、自己保守能力を有するシステムを提供することができる。

【図面の簡単な説明】

【0007】

【図1】第１の実施形態に係るシステム１の構成を示す図である。

【図2】ロボット２１の構成を示す図である。

【図3】制御部２５の構成の一例を示す図である。

【図4】管理サーバ１１の構成を示す図である。

【図5】管理サーバ１１の動作を示すフローチャートである。

【図6】ステップＳ１２における管理サーバ１１の動作とそのときのロボット２１の動作を示すフローチャートである。

【図7】ステップＳ１３における管理サーバ１１の動作とそのときのロボット２１の動作を示すフローチャートである。

【図8】システム１の実現した例を示す図である。

【図9】カメラ、コンピュータ、アクチュエータ、設置スペースの関係を示す図である。

【発明を実施するための形態】

【0008】

以下、図面を参照しながら本発明の実施形態について詳しく説明する。
〈第１の実施形態〉
図１は、第１の実施形態に係るシステム１の構成を示す図である。システム１は、管理サーバ１１、ロボット２１を備える。
管理サーバ１１は、利用者Ｕからミッションを受け付ける。ミッションは例えばロボット２１が行う実験内容を含む。管理サーバ１１は、ロボット２１から、ロボット２１の所定の行動範囲２に関するデータを取得する。所定の行動範囲２とは、例えばロボット２１が実験作業を行う実験室である。管理サーバ１１は、命令を生成し、ロボット２１に指示を行う。ロボット２１は、所定の行動範囲２において管理サーバ１１からの命令にしたがい駆動する。

【0009】

図２は、ロボット２１の構成を示す図である。ロボット２１は、走行装置２２、マニピュレータ２３、センサ２４、制御部２５、通信部２６を備える。
走行装置２２は、ロボット２１の下部に設けられ、ロボット２１全体を支える。走行装置２２は、例えば無限軌道であって、回転することでロボット２１を行動範囲２内で移動させる。
マニピュレータ２３は、行動範囲２内の備品を把持する。マニピュレータ２３は、例えば各関節にサーボモータが設けられ、関節角度が制御される。マニピュレータ２３は、関節角度や把持しているか否かに関する情報を制御部２５にフィードバックする。マニピュレータ２３は、把持する部分にセンサを備え、物体を把持しているか否かを判定しフィードバックしてもよい。

【0010】

センサ２４は、ロボット２１の周囲をセンシングし、センシングデータを取得する。センサ２４は、例えばカメラであって、ロボット２１の少なくとも前方の画像を撮像する。センシングデータはカメラにより撮像される画像を含む。センサ２４は、例えばＬｉＤＡＲであって、三次元空間を計測する。センシングデータはＬｉＤＡＲにより計測される三次元空間のデータを含む。

【0011】

制御部２５は、センサ２４によるセンシングデータと管理サーバ１１から受信する命令に基づいて、走行装置２２及びマニピュレータ２３を制御する。図３は、制御部２５の構成の一例を示す図である。
制御部２５は、状態特定部２５１、制御量計算部２５２、指示部２５３を備える。
状態特定部２５１は、センサ２４による計測データに基づいて、ロボット２１の自己状態及び環境状態を特定する。ロボット２１の自己状態は、ロボット２１の状態を示す。ロボット２１の環境状態は、ロボット２１の周辺環境の状態やロボット２１が使用する備品の状態を示す。

【0012】

状態特定部２５１は、画像の解析によって試験管などの備品を認識する。画像解析は、例えば機械学習の物体認識モデルによって実現される。状態特定部２５１は、ＬｉＤＡＲによる計測データに基づいてＳＬＡＭでマップを生成する。状態特定部２５１は、ＳＬＡＭによるマップに基づいて、備品の三次元位置および三次元姿勢を特定する。
状態特定部２５１は、マニピュレータからのフィードバックによって物体を把持しているか否かの情報を取得する。
画像解析による備品の認識において、備品の個数は物体認識モデルによって特定されてよい。また、液体のような備品の体積は、専用の学習済みモデルを用いて検出される。備品の体積を検出するモデルは、例えば液体が収容された容器が写る画像と、その液体の体積との組み合わせからなる学習用データセットを用いて、画像から体積を求めるように学習されたものである。

【0013】

制御量計算部２５２は、状態特定部２５１により特定されたロボット２１の自己状態及び環境状態と管理サーバ１１からの命令が表す状態との差に基づいて、走行装置２２及びマニピュレータ２３の制御量を計算する。走行装置２２の制御量は、例えば走行距離や回転数や走行方向である。マニピュレータ２３の制御量は、例えば関節角度である。
制御量計算部２５２による計算は、強化学習により実現される。より具体的には、状態特定部２５１により特定されたロボット２１の自己状態及び環境状態と管理サーバ１１からの命令が表す状態との差を報酬として、状態特定部２５１により特定されたロボット２１の自己状態及び環境状態における行動を計算する。ここで、行動は走行装置２２及びマニピュレータ２３の制御量である。
以上のように、制御量計算部は、その時点におけるロボット２１の自己状態及び環境状態と命令が示す状態との差を小さくするように走行装置２２及びマニピュレータ２３を制御するため、外乱が生じた場合であっても調整することができる。

【0014】

指示部２５３は、走行装置２２及びマニピュレータ２３に制御量を指示する。走行装置２２及びマニピュレータ２３は指示を受けて移動や回転運動などを行う。

【0015】

制御量計算部２５２は、管理サーバ１１からの命令がない場合にも走行装置２２及びマニピュレータ２３の制御量を計算してもよい。このとき、制御量計算部２５２は、理想状態に基づいて走行装置２２及びマニピュレータ２３の制御量を計算する。理想状態とは、備品が標準的な位置にあり、標準的な残量である状態である。これにより、ロボット２１は、ロボット２１の自己状態及び環境状態を自律的に理想状態に維持することができる。

【0016】

通信部２６は、管理サーバ１１から命令を受信する。通信部２６は、ロボット２１の自己状態及び環境状態を、管理サーバ１１に通知する。

【0017】

図４は、管理サーバ１１の構成を示す図である。管理サーバ１１は、受付部１１１、通信部１１２、計算部１１３を備える。受付部１１１は、利用者Ｕからミッションを受け付ける。ミッションは、ロボット２１に行わせる実験指示である。実験指示は、システム１の状態の変化として表現される。実験指示は、試験管に含まれる物質（例：試験管Ｘに試薬Ａが１ｍｇ入った状態にする）、試験管の位置（例：試験管ＸがラックＹの上に存在する状態にする）、試験管に加える処理（例：試験管Ｘが１００秒間加熱された状態にする、試験管Ｘの内容物をＺ手法で解析された状態にする）に関する情報が含まれる。
受付部１１１は、例えばキーボードなどの入力装置を介して又は後述する通信部１１２による無線通信を介してミッションを受け付ける。
また、ミッションは、ロボット２１に実験の成果物を送らせる成果物送付指示を含む。

【0018】

通信部１１２は、ロボット２１とデータを送受信する。通信部１１２は、各ロボット２１から各ロボット２１の自己状態及び環境状態を受信する。ロボット２１の自己状態は、例えばロボット２１の位置や作業状態を含む。ロボット２１の環境状態は、例えばロボット２１の周囲の備品の位置や残量を含む。
また、通信部１１２は、他の通信装置からミッションの情報を含むデータを受信してもよい。

【0019】

計算部１１３は、状態認識部１１４、発注部１１５、理想状態推定部１１６、命令部１１７を備える。
状態認識部１１４は、各ロボット２１から取得したロボット２１の自己状態及び環境状態に基づいてシステム１の状態を認識する。なお、状態認識部１１４は、ロボット２１の自己状態及び環境状態として画像解析などの結果を受信することでシステム１の状態を認識するが、ロボット２１から画像などの生データを取得し、画像解析することでロボット２１の環境状態を取得してもよい。このとき、ロボット２１の状態特定部２５１は、画像解析などの処理をしなくてもよい。

【0020】

状態認識部１１４は、ロボット２１に命令を送信した後のシステム１の状態に基づいて、命令が完了されたか否かを判定してもよい。

【0021】

発注部１１５は、状態認識部１１４により認識されたシステム１の状態に基づいて、備品を発注する。例えば、認識されたシステム１の状態における備品の残量が少ない場合に備品を発注する。また、発注部１１５は、ロボット２１の修理を発注する。発注部１１５は、例えばロボット２１が命令を完了する割合が所定値以下であるときに、ロボット２１に修理が必要であると判定し、修理を発注する。発注部１１５は、例えばロボット２１の自己状態及び環境状態と命令が示す状態との差が小さくならず、所定値以上であるとき、ロボット２１に修理が必要であると判定し、修理を発注する。

【0022】

理想状態推定部１１６は、過去のミッションの履歴に基づいて、行動範囲２におけるロボット２１の理想状態を推定する。理想状態推定部１１６は、例えば過去のミッションの履歴に基づいて将来行うであろうミッションを予測し、複数の異なる状態において予測した将来行うであろうミッションを行った場合のシミュレーションを行い、複数の異なる状態から最適な状態を推定する。理想状態推定部１１６は、将来行うであろうミッションを例えば過去のミッションのパターン認識により予測する。

【0023】

命令部１１７は、ロボット２１を制御するための命令を生成する。命令はミッションを実行した後の状態を表す第一命令及びシステム１の理想状態を表す第二命令とを含む。命令部１１７は、生成した命令を各ロボット２１に送信する。
命令部１１７は、受付部１１１が受け付けたミッション及び状態認識部１１４により認識されたシステム１の状態に基づき、第一命令を生成する。命令部１１７は、ミッションに含まれる各実験指示を実現できるロボット２１を特定し、特定されたロボット２１に各実験指示を割り当てる。複数のロボット２１によりミッションが行われる場合、ミッションにロボットが備品を受け渡す指示が含まれていてもよい。
命令部１１７は、理想状態推定部１１６により推定された理想状態及び状態認識部１１４により認識されたシステム１の状態に基づき、第二命令を生成する。第二命令は、例えばロボット２１に備品が置かれた在庫置き場から所定の位置に移動させる命令を含む。

【0024】

図５は、管理サーバ１１の動作を示すフローチャートである。管理サーバ１１は、受付部１１１が受け付けたミッションがある場合（ステップＳ１１：ＹＥＳ）、ミッションを完了させるための動作を行う（ステップＳ１２）。管理サーバ１１は、受付部１１１が受け付けたミッションがない場合（ステップＳ１１：ＮＯ）、理想状態を維持するための動作を行う（ステップＳ１３）。

【0025】

図６は、ステップＳ１２における管理サーバ１１の動作とそのときのロボット２１の動作を示すフローチャートである。命令部１１７は、ミッションを実行した後の状態を表す第一命令を生成する（ステップＳ１２１）。その後、命令部１１７は、命令をロボット２１に出力する（ステップＳ１２２）。ロボット２１は、命令を受信すると、制御量計算部２５２が走行装置２２及びマニピュレータ２３の制御量を計算し、指示部２５３が走行装置２２及びマニピュレータ２３に制御量を指示することで、命令に従って制御を行う（ステップＳ２２１）。命令完了後、ロボット２１の通信部２６は、命令完了後のロボット２１の自己状態及び環境状態を管理サーバ１１に通知する（ステップＳ２２２）。管理サーバ１１において、状態認識部１１４が、命令完了後のロボット２１の状態を認識し、実験の成果物を出力する（ステップＳ１２３）。

【0026】

なお、図５及び図６に示すフローチャートにおいては、逐一ステップＳ１１においてミッションがあるか否かを判定しているが、ミッションがある場合にまとめてステップＳ１２において完了させてもよい。このとき、最終的な実験結果の出力は、ミッションまとめて行われてもよい。

【0027】

図７は、ステップＳ１３における管理サーバ１１の動作とそのときのロボット２１の動作を示すフローチャートである。理想状態推定部１１６は、ロボット２１の理想状態を推定する（ステップＳ１３１）。命令部１１７は、第二命令を生成し、ロボット２１に出力する（ステップＳ１３２）。ロボット２１は命令を受信し、制御量計算部２５２は、理想状態に基づいて走行装置２２及びマニピュレータ２３の制御量を計算し、指示部２５３は、走行装置２２及びマニピュレータ２３に制御量を指示する（ステップＳ２３１）。管理サーバ１１の発注部１１５は、システム１の状態に基づいて、必要な場合には備品を発注する（ステップＳ１３３）。

【0028】

このように、本実施形態によれば管理サーバ１１がミッションを受け付け、ミッションに基づいて命令を生成し、ロボット２１に送信する。ロボット２１は、ロボット２１の環境状態を特定し、命令を受信し、命令が表す状態にロボットの状態が近づくように駆動する。これにより、ロボット２１が環境の変化や外乱があった場合でもミッションを完了することができる。

【0029】

また、ロボット２１は、ミッションを実行した後の状態を表す第一命令を受信していない場合に、ロボット２１の状態とロボット２１の理想状態の差が所定の要件を満たすように駆動する。これにより、ロボット２１を理想状態に保つことができる。

【0030】

また、理想状態を表す第二命令を管理サーバ１１からロボット２１に送信することで、理想状態を管理サーバ１１側から適宜変更することができる。これにより、システム１のアベイラビリティを高めることができる。

【0031】

また、ロボットはロボット２１の状態と命令が表す状態との差に基づく報酬を用いた強化学習アルゴリズムにより駆動量を決定することで、ロボット２１は最適な駆動を行うことができる。

【0032】

また、管理サーバ１１は命令が示す状態に対して、前記ロボットの状態において不足する物品の補充を発注することで、物品が欠けることを防ぐことができ、アベイラビリティを高めることができる。また、ロボット２１は、発注により届いた物品のデータと発注内容を照合し、物品を管理することで、物品の補充を自動的に行うことができ、アベイラビリティを高めることができる。

【0033】

また、管理サーバ１１は、過去に実行したミッションに基づいて、将来発生するミッションが実行可能な状態を理想状態として推定することで、理想状態を自動的に最適な状態に近づけることができる。

【0034】

図８は、システム１の実現した例を示す図である。図８に示す例において、システム１は、カメラ、アクチュエータ、コンピュータを備える。カメラは、実施形態におけるセンサ２４に対応する。アクチュエータは、実施形態における走行装置２２及びマニピュレータ２３に対応する。コンピュータは、実施形態における制御部２５及び管理サーバ１１に対応する。

【0035】

図９は、カメラ、コンピュータ、アクチュエータ、設置スペースの関係を示す図である。カメラは、器具の設置スペースを撮影する。器具の設置スペースは、実施形態における行動範囲２に対応する。器具の設置スペースには、外乱として、器具の補充や器具の破棄がされる。設置スペースが他のシステムと共有している共有空間である場合には、特に他のシステムからの外乱も加わる。

【0036】

カメラにより撮像された画像は、コンピュータに送信される。コンピュータは、物体検出モデルを用いて器具の設置スペースに置かれている器具を検出する。物体検出モデルは、YOLOv5モデルを用いた。この検出する手段は、状態特定部２５１の動作に対応する。

【0037】

コンピュータに、器具の設置位置についての質問を入力すると、コンピュータは器具の設置位置を返す。図８に示す例において、コンピュータは、RESTのAPIを用いて、YOLOv5モデルは器具の設置位置を返した。

【0038】

コンピュータに、アクチュエータの指示を入力すると、コンピュータは指示に沿ってアクチュエータを制御する。図８に示す例において、コンピュータはChatGPTのAPIを使用して、入力されたプロンプトに基づきアクチュエータを制御する。

【0039】

アクチュエータは、コンピュータにより制御されると、設置スペースに置かれている器具を移動する。これにより、設置スペースに置かれている器具を動かすことができた。

【0040】

〈他の実施形態〉
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0041】

１ システム、１１ 管理サーバ、１１１ 受付部、１１２ 通信部、１１３ 計算部、１１４ 状態認識部、１１５ 発注部、１１６ 理想状態推定部、１１７ 命令部、２１ ロボット、２２ 走行装置、２３ マニピュレータ、２４ センサ、２５ 制御部、２５１ 状態特定部、２５２ 制御量計算部、２５３ 指示部、２６ 通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】