IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日立ハイテクノロジーズの特許一覧

<>
  • 特開-情報処理システム、情報処理方法 図1
  • 特開-情報処理システム、情報処理方法 図2
  • 特開-情報処理システム、情報処理方法 図3
  • 特開-情報処理システム、情報処理方法 図4
  • 特開-情報処理システム、情報処理方法 図5
  • 特開-情報処理システム、情報処理方法 図6
  • 特開-情報処理システム、情報処理方法 図7
  • 特開-情報処理システム、情報処理方法 図8
  • 特開-情報処理システム、情報処理方法 図9
  • 特開-情報処理システム、情報処理方法 図10
  • 特開-情報処理システム、情報処理方法 図11
  • 特開-情報処理システム、情報処理方法 図12
  • 特開-情報処理システム、情報処理方法 図13
  • 特開-情報処理システム、情報処理方法 図14
  • 特開-情報処理システム、情報処理方法 図15
  • 特開-情報処理システム、情報処理方法 図16
  • 特開-情報処理システム、情報処理方法 図17
  • 特開-情報処理システム、情報処理方法 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024139055
(43)【公開日】2024-10-09
(54)【発明の名称】情報処理システム、情報処理方法
(51)【国際特許分類】
   B25J 13/08 20060101AFI20241002BHJP
   G06F 3/0488 20220101ALI20241002BHJP
   C12M 1/00 20060101ALI20241002BHJP
【FI】
B25J13/08 A
G06F3/0488
C12M1/00 A
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2023049840
(22)【出願日】2023-03-27
(71)【出願人】
【識別番号】501387839
【氏名又は名称】株式会社日立ハイテク
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】小坂 淳也
(72)【発明者】
【氏名】堀内 智広
【テーマコード(参考)】
3C707
4B029
5E555
【Fターム(参考)】
3C707AS09
3C707AS25
3C707BS09
3C707DS02
3C707EW01
3C707JS03
3C707JU02
3C707JU12
3C707JU14
3C707JU17
3C707KT01
3C707KT06
3C707LS14
3C707LU05
3C707LV13
3C707MT01
4B029AA27
4B029BB11
4B029DG10
4B029GB10
4B029HA09
5E555BA90
5E555BB02
5E555BC13
5E555CA12
5E555CA42
5E555CB12
5E555CB16
5E555CB56
5E555DB53
5E555FA00
(57)【要約】
【課題】機械の動作を、ユーザの操作により補正可能にし、ユーザが所望する機械の動作を実現する。
【解決手段】操作対象の装置と、前記装置を撮影するカメラを含む検出装置と、前記装置が移動する速度、軌道、位置のパラメータを含む前記装置の動作を規定するタスクプログラムを格納する記憶部と、前記タスクプログラムに基づいて前記装置を動作させる制御部を備える制御装置と、前記カメラで撮影された画像を表示する表示部と、ユーザによる入力を受け付ける入力部とを備える端末装置と、を備え、前記制御部は、前記タスクプログラムに基づいて前記装置を動作させている際に、前記入力部に対する前記ユーザによる入力に基づいて、前記タスクプログラムに基づく前記装置の動作を停止させる指示をし、前記タスクプログラムに規定される前記装置の動作の補正を行う、情報処理システムとする。
【選択図】図1
【特許請求の範囲】
【請求項1】
操作対象の装置と、
前記装置を撮影するカメラを含む検出装置と、
前記装置が移動する速度、軌道、位置のパラメータを含む前記装置の動作を規定するタスクプログラムを格納する記憶部と、前記タスクプログラムに基づいて前記装置を動作させる制御部を備える制御装置と、
前記カメラで撮影された画像を表示する表示部と、ユーザによる入力を受け付ける入力部とを備える端末装置と、を備え、
前記制御部は、前記タスクプログラムに基づいて前記装置を動作させている際に、前記入力部に対する前記ユーザによる入力に基づいて、前記タスクプログラムに基づく前記装置の動作を停止させる指示をし、前記タスクプログラムに規定される前記装置の動作の補正を行う、
情報処理システム。
【請求項2】
前記タスクプログラムに基づく前記装置の動作を停止させる指示をした後、停止の指示前の前記装置の動作の速度未満かつ所定値以上の速度で前記装置の動作を再開する、
請求項1に記載の情報処理システム。
【請求項3】
前記タスクプログラムに基づく前記装置の動作を停止させる指示をした後、停止の指示前の前記装置の動作の40%以上60%未満の速度で前記装置の動作を再開する、
請求項1に記載の情報処理システム。
【請求項4】
前記入力部は、接触による入力を受け付けるタッチパネルであり、
前記制御部は、前記タスクプログラムに基づいて前記装置を動作させている際に、前記入力部に対する所定時間以上の接触による入力を受け付けた場合、前記タスクプログラムに基づく前記装置の動作の速度を減速する、
請求項1から3のいずれか1項に記載の情報処理システム。
【請求項5】
前記制御部は、前記表示部に前記タスクプログラムにおいて変更可能な前記パラメータを表示し、前記入力部により前記表示部に表示される前記パラメータの入力を受け付ける、
請求項1から3のいずれか1項に記載の情報処理システム。
【請求項6】
前記制御部は、前記タスクプログラムに規定される前記装置の動作の補正を行う際、前記表示部に前記タスクプログラムに規定される前記装置の軌道及び前記装置の変更可能な軌道を表示し、前記入力部により前記変更可能な軌道への変更の入力を受け付けた場合、前記タスクプログラムに規定される前記装置の軌道を前記変更可能な軌道に補正する、
請求項1から3のいずれか1項に記載の情報処理システム。
【請求項7】
前記入力部は、接触による入力を受け付けるタッチパネルであり、
前記制御部は、前記タスクプログラムに規定される前記装置の動作の補正を行う際、前記表示部に前記タスクプログラムに規定される前記装置の軌道及び前記装置の変更可能な軌道を表示し、前記入力部により前記装置の軌道から前記変更可能な軌道へのスワイプ操作の入力を受け付けた場合、前記タスクプログラムに規定される前記装置の軌道を前記変更可能な軌道に補正する、
請求項1から3のいずれか1項に記載の情報処理システム。
【請求項8】
前記制御部は、前記タスクプログラムに規定される前記装置の動作の補正を行う際、前記表示部に前記装置の動作の変更可能な速度を表示し、前記入力部により前記装置の前記
変更可能な速度の入力を受け付けた場合、前記タスクプログラムに規定される前記装置の速度を前記変更可能な速度に補正する、
請求項1から3のいずれか1項に記載の情報処理システム。
【請求項9】
前記制御部は、前記タスクプログラムに規定される前記装置の動作の補正を行う際、前記表示部に前記タスクプログラムに規定される前記装置の動作の開始点である始点位置及び終了点である終点位置を表示し、前記入力部により前記始点位置または前記終点位置の変更後の位置の入力を受け付けた場合、前記タスクプログラムに規定される前記始点位置または前記終点位置を前記変更後の位置に補正する、
請求項1から3のいずれか1項に記載の情報処理システム。
【請求項10】
前記入力部は、接触による入力を受け付けるタッチパネルであり、
前記制御部は、前記タスクプログラムに規定される前記装置の動作の補正を行う際、前記表示部に前記タスクプログラムに規定される前記装置の動作の開始点である始点位置及び終了点である終点位置を表示し、前記入力部により前記始点位置または前記終点位置から前記始点位置または前記終点位置と異なる位置へのスワイプ操作の入力を受け付けた場合、前記タスクプログラムに規定される前記始点位置または前記終点位置を前記異なる位置に補正する、
請求項1から3のいずれか1項に記載の情報処理システム。
【請求項11】
前記入力部は、接触による入力を受け付けるタッチパネルであり、
前記制御部は、前記タスクプログラムに規定される前記装置の動作の補正を行う際、前記表示部に前記タスクプログラムに規定される前記装置の動作の変更可能なタイミングを示す表示をし、前記入力部により前記変更可能なタイミングの入力を受け付けた場合、前記タスクプログラムに規定される前記装置の動作の前記変更可能なタイミングを変更する、
請求項1から3のいずれか1項に記載の情報処理システム。
【請求項12】
前記制御部は、前記タスクプログラムに規定される前記装置の動作の変更である前記補正を分析し、所定回数以上行われている前記装置の動作の変更である前記補正を頻繁補正として抽出し、前記表示部に前記頻繁補正を示す表示をし、前記入力部により前記頻繁補正の入力がされた場合に、前記装置の動作が前記頻繁補正によって補正済みの動作となるように前記タスクプログラムを変更する、
請求項1から3のいずれか1項に記載の情報処理システム。
【請求項13】
操作対象の装置と、前記装置を撮影するカメラを含む検出装置と、前記装置が移動する速度、軌道、位置のパラメータを含む前記装置の動作を規定するタスクプログラムを格納する記憶部と、前記タスクプログラムに基づいて前記装置を動作させる制御部を備える制御装置と、前記カメラで撮影された画像を表示する表示部と、ユーザによる入力を受け付ける入力部とを備える端末装置とを備える情報処理システムにおいて、
前記制御部が、前記タスクプログラムに基づいて前記装置を動作させている際に、前記入力部に対する前記ユーザによる入力に基づいて、前記タスクプログラムに基づく前記装置の動作を停止させる指示をし、前記タスクプログラムに規定される前記装置の動作を補正する、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理方法に関する。
【背景技術】
【0002】
従来から、製造現場等では所定の繰り返し作業が、産業用ロボット等の機械により自動で行われている。ライフサイエンス業界においても、再生医療、細胞製造等の際の機械による自動化がすすめられている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2022-119943号公報
【特許文献2】特開2021-24025号公報
【特許文献3】国際公開第2012/029227号
【発明の概要】
【発明が解決しようとする課題】
【0004】
産業用ロボット等による自動化は、例えば、事前に設計された通りに繰り返し動作して、同じ製品を製造することに適している。しかし、ライフサイエンスにおける細胞製造等の際には、細胞製造上の擾乱などの発生により、繰り返し動作によって同じものを製造することができない場合がある。細胞製造上の擾乱は、例えば、培地環境からの乱れ(細胞周りの環境に起因する変質)、操作による乱れ(動作、操作を起因とする細胞特性の変質)、細胞自身からの乱れ(細胞寿命を起因とする細胞特性の変質)等である。細胞製造上の擾乱は、細胞製造における機械による自動化を、困難にする。
【0005】
本開示の技術は、自動化された機械の動作への影響を低減した上で、機械の動作をユーザにより補正可能にすることを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、以下の手段を採用する。
【0007】
即ち、第1の態様は、
操作対象の装置と、
前記装置を撮影するカメラを含む検出装置と、
前記装置が移動する速度、軌道、位置のパラメータを含む前記装置の動作を規定するタスクプログラムを格納する記憶部と、前記タスクプログラムに基づいて前記装置を動作させる制御部を備える制御装置と、
前記カメラで撮影された画像を表示する表示部と、ユーザによる入力を受け付ける入力部とを備える端末装置と、を備え、
前記制御部は、前記タスクプログラムに基づいて前記装置を動作させている際に、前記入力部に対する前記ユーザによる入力に基づいて、前記タスクプログラムに基づく前記装置の動作を停止させる指示をし、前記タスクプログラムに規定される前記装置の動作の補正を行う、
情報処理システムとする。
【0008】
開示の態様は、プログラムが情報処理装置によって実行されることによって実現されてもよい。即ち、開示の構成は、上記した態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した情報処理装
置が読み取り可能な記録媒体として特定することができる。また、開示の構成は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されてもよい。開示の構成は、上記した各手段が実行する処理を行う情報処理装置を含むシステムとして特定されてもよい。なお、情報処理装置は、例えば、コンピュータである。コンピュータは、パソコンやサーバと呼ばれることもある。
【発明の効果】
【0009】
開示の技術によれば、自動化された機械の動作への影響を低減した上で、機械の動作をユーザにより補正可能にすることができる。
【図面の簡単な説明】
【0010】
図1図1は、実施形態の情報処理システムの構成例を示す図である。
図2図2は、実施形態の情報処理システムの構成例を示す図である。
図3図3は、情報処理装置のハードウェア構成例を示す図である。
図4図4は、制御装置100によるシナリオの作成の動作フローの例を示す図である。
図5図5は、制御装置100によるシナリオの実行、補正の全体の動作フローの例を示す図である。
図6図6は、S203の手動操作モード切替判定の動作フローの例を示す図である。
図7図7は、S205の手動操作モードの動作フローの例を示す図である。
図8図8は、表示部204に表示される画面の例を示す図である。
図9図9は、S403の離れ判定の動作フローの例を示す図である。
図10図10は、S406の速度補正処理の動作フローの例を示す図である。
図11図11は、S408の軌道補正処理の動作フローの例を示す図である。
図12図12は、軌道補正処理において表示される画面の例を示す図である。
図13図13は、軌道補正処理において表示される画面の例を示す図である。
図14図14は、S409の位置補正処理の動作フローの例を示す図である。
図15図15は、表示部204に表示される画面の例を示す図である。
図16図16は、S803の位置補正の動作フローの例を示す図である。
図17図17は、S410のタイミング補正処理の動作フローの例を示す図である。
図18図18は、表示部204に表示される画面の例を示す図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、発明の構成は、開示の実施形態の具体的構成に限定されない。発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
【0012】
〔実施形態〕
(構成例)
図1は、本実施形態の情報処理システムの構成例を示す図である。情報処理システム10は、制御装置100、端末装置200、ロボット装置300、検出装置400を含む。制御装置100は、制御部102、記憶部104、通信部106を含む。端末装置200は、入力部202、表示部204を含む。制御装置100は、端末装置200、ロボット装置300、検出装置400と通信可能に接続される。
【0013】
情報処理システム10は、制御装置100において、端末装置200等に対するユーザによる入力等により、処理の対象の器具に対して作用を加えるロボット装置300で実行するシナリオ(タスクプログラム)を作成する。シナリオは、ロボット装置300による
動作の手順を示すタスクプログラムである。制御装置100は、作成したシナリオに基づいて、ロボット装置300を動作させる。検出装置400は、ロボット装置300による動作を監視し、端末装置200よりユーザに向けて出力する。制御装置100は、シナリオに基づいてロボット装置300が動作している際に、端末装置200に対するユーザによる動作の補正の入力を受け付け、シナリオの修正を行う。制御装置100で作成されるシナリオに基づいてロボット装置300が行う処理は、例えば、ライフサイエンスにおける細胞製造(細胞培養)などである。ロボット装置300は、例えば、処理対象の器具を用いて、試料である液体を吸引し、移動して、当該液体を所定の位置に吐出する動作を行う。試料は、例えば、化学物質、菌、細胞などの生物などを含む。
【0014】
制御装置100は、制御部102、記憶部104、通信部106を含む。制御部102は、端末装置200、ロボット装置300、検出装置400等の動作を制御する。記憶部104は、制御装置100で使用される各種データ、ブログラム等を格納する。通信部106は、端末装置200、ロボット装置300、検出装置400等とデータ槽の送受信を行う通信インタフェースである。
【0015】
端末装置200は、入力部202、表示部204を備える。端末装置200は、例えば、タブレット端末、パーソナルコンピュータなどによって実現される。端末装置200は、入出力手段である。
【0016】
入力部202は、ユーザによる情報の入力を受け付ける入力手段である。入力部202は、例えば、キーボード、ポインティングデバイス、ワイヤレスリモコン、タッチパネル、カメラ、マイク等である。ここでは、入力部202は、タッチパネルであるとする。タッチパネルは、ユーザによるタッチ(タップ)、スワイプ等の操作(身体の接触による入力操作)を受け付け得る。タッチは、タッチパネルに指などを接触して離す操作である。スワイプは、タッチパネル上に指などを接触したまま移動する操作である。タッチパネルにおけるタッチ、スワイプは、ポインティングデバイスにおけるクリック、ドラッグで代用され得る。また、タッチパネルにおけるタッチ、スワイプは、他の入力手段における他の入力操作で代用されてもよい。
【0017】
表示部204は、ユーザ等に対して情報等を出力する表示画面を有する表示手段である。表示部204は、文字情報、画像等を表示するディスプレイである。表示部204の表示画面には、例えば、入力部202のタッチパネルが設けられ得る。表示部204は、音響を出力するスピーカを含んでもよい。
【0018】
ロボット装置300は、制御装置100からの指示に基づいて、所定の動作を行う装置である。ロボット装置300は、処理対象の器具の把持、移動、解放等の動作を行う。処理対象の器具は、例えば、ウェルプレート、シャーレ、試験管、ビーカー、フラスコ、容器、ピペットなどである。処理対象の器具はこれらに限定されるものではない。ロボット装置300は、処理対象の器具を動作させて、処理対象の試料に所定の処理を施す。ロボット装置300は、例えば、処理対象のピペットを操作して、ウェルプレートの1つのウェルから試料などの液体を吸引し、ウェルプレートの他のウェルに吐出を行うことができる。
【0019】
検出装置400は、ロボット装置300による動作を視覚的手段などにより検出するセンサである。検出装置400は、例えば、ロボット装置300及びロボット装置300によって操作される処理対象の器具などを含む領域を撮影するカメラを含む。また、検出装置400は、処理対象の試料の状態などを検出するセンサを含んでもよい。
【0020】
図2は、本実施形態の情報処理システムの構成例を示す図である。図2の情報処理シス
テム10は、制御装置100、端末装置200、ロボット装置300、検出装置400を含む。また、テーブル620が設けられ、テーブル620の上には、ロボット装置300によって操作される処理対象の複数の器具610が置かれている。器具610には、試験管611、ピペット612、容器613、ウェルプレート614、フラスコ615などが含まれる。また、器具610に含まれる試験管611、ピペット612、容器613は、それぞれ、ロボット装置300によって操作されている。ロボット装置300、複数の器具610等は、カメラである検出装置400によって、撮影されている。
【0021】
図2のロボット装置300は、床に配置される基台を有する。また、ロボット装置300は、当該基台に接続される回動可能な関節部、関節部に接続されるアームを含む。当該アームの先には、さらに関節部、アームが接続されている。また、アームの先端には、器具610を把持する把持部が接続される。ロボット装置300は、関節部、アーム、把持部などにより、器具610の移動、操作などをする。検出装置400(カメラ)で撮影された映像は、例えば、制御装置100を介して、端末装置200の表示部204に表示される。また、ロボット装置300、テーブル620、器具610等は、無菌操作等区域に配置される。器具610等が無菌操作等区域に配置されることで、試料等に異物等が混入することを抑制することができる。無菌操作等区域には、器具610等を搬送する装置などの他の装置が配置されていてもよい。端末装置200は、無菌操作等区域外に配置され、ユーザによって操作され得る。情報処理システム10により、無菌操作等区域は人が入らなくて良い清浄度管理区域として実現され得る。
【0022】
制御装置100は、PC(Personal Computer)、ワークステーション(WS、Work Station)のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電
子機器を使用して実現可能である。または、端末装置200は、PC、スマートフォン、携帯電話、タブレット型端末、PDA(Personal Digital Assistant)のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。
【0023】
図3は、情報処理装置のハードウェア構成例を示す図である。図3に示す情報処理装置は、一般的なコンピュータの構成を有している。制御装置100、端末装置200は、図3に示すような情報処理装置90によって実現される。図3の情報処理装置90は、プロセッサ91、メモリ92、記憶部93、入力部94、出力部95、通信制御部96を有する。これらは、互いにバスによって接続される。メモリ92及び記憶部93は、コンピュータ読み取り可能な記録媒体である。コンピュータのハードウェア構成は、図3に示される例に限らず、適宜構成要素の省略、置換、追加が行われてもよい。
【0024】
情報処理装置90は、プロセッサ91が記録媒体に記憶されたプログラムをメモリ92の作業領域にロードして実行し、プログラムの実行を通じて各構成部等が制御されることによって、所定の目的に合致した機能を実現することができる。
【0025】
プロセッサ91は、例えば、CPU(Central Processing Unit)やDSP(Digital Signal Processor)である。
【0026】
メモリ92は、例えば、RAM(Random Access Memory)やROM(Read Only Memory)を含む。メモリ92は、主記憶装置とも呼ばれる。
【0027】
記憶部93は、例えば、EPROM(Erasable Programmable ROM)、ハードディスク
ドライブ(HDD、Hard Disk Drive)、ソリッドステートドライブ(SSD、Solid State Drive)である。また、記憶部93は、リムーバブルメディア、即ち可搬記録媒体を含むことができる。リムーバブルメディアは、例えば、USB(Universal Serial Bus)メ
モリ、あるいは、CD(Compact Disc)やDVD(Digital Versatile Disc)のようなディスク記録媒体である。記憶部93は、二次記憶装置とも呼ばれる。
【0028】
記憶部93には、オペレーティングシステム(Operating System :OS)、各種プログラム、各種テーブル、各種データ等が格納される。記憶部93に格納される情報は、メモリ92に格納されてもよい。また、メモリ92に格納される情報は、記憶部93に格納されてもよい。
【0029】
オペレーティングシステムは、ソフトウェアとハードウェアとの仲介、メモリ空間の管理、ファイル管理、プロセスやタスクの管理等を行うソフトウェアである。オペレーティングシステムは、通信インタフェースを含む。通信インタフェースは、通信制御部96を介して接続される他の外部装置等とデータのやり取りを行うプログラムである。外部装置等には、例えば、他のコンピュータ、外部記憶装置等が含まれる。
【0030】
入力部94は、キーボード、ポインティングデバイス、ワイヤレスリモコン、タッチパネル等を含む。また、入力部94は、カメラのような映像や画像の入力装置や、マイクロフォンのような音声の入力装置を含むことができる。
【0031】
出力部95は、LCD(Liquid Crystal Display)、EL(Electroluminescence)パ
ネル、CRT(Cathode Ray Tube)ディスプレイ、PDP(Plasma Display Panel)等の表示装置、プリンタ等の出力装置を含む。また、出力部95は、スピーカのような音声の出力装置を含むことができる。
【0032】
通信制御部96は、他の装置と接続し、情報処理装置90と他の装置との間の通信を制御する。通信制御部96は、例えば、LAN(Local Area Network)インタフェースボード、無線通信のための無線通信回路、有線通信のための通信回路である。LANインタフェースボードや無線通信回路は、インターネット等のネットワークに接続される。
【0033】
制御装置100を実現するコンピュータは、プロセッサが補助記憶装置に記憶されているプログラムを主記憶装置にロードして実行することによって、制御部102、通信部106としての機能を実現する。一方、記憶部104は、主記憶装置または補助記憶装置の記憶領域に設けられる。
【0034】
(動作例)
情報処理システム10の動作例について説明する。情報処理システム10の制御装置100は、端末装置200等に対するユーザによる入力等により、処理の対象に対して作用を加えるロボット装置300で実行するシナリオを作成する。シナリオは、操作対象のロボット装置300等の装置による動作の手順を示すタスクプログラムである。制御装置100で作成されるシナリオ(タスクプログラム)は、操作対象の装置の移動する位置、軌道、速度などのパラメータを含む操作対象の装置の動作を規定する。シナリオは、例えば、細胞製造における処理などである。また、情報処理システム10の制御装置100は、作成したシナリオに基づいてロボット装置300が動作している際に、端末装置200に対するユーザによる動作の補正の入力を受け付け、シナリオの修正を行う。シナリオは、後に変更することのない、操作対象の装置の全体の動作を規定する。動作の詳細な設定は、シナリオの動作中に手動操作モードによって変更され得る。変更可能な設定を限定することで、制御装置100は、手動操作モードに関するタスクを軽減することができる。
【0035】
〈シナリオ作成〉
ここでは、制御装置100によるシナリオの作成について説明する。シナリオが作成されると、制御装置100は、当該シナリオに従って、ロボット装置300を動作させるこ
とができる。
【0036】
図4は、制御装置100によるシナリオの作成の動作フローの例を示す図である。例えば、シナリオは、制御装置100は、ウェルプレートをロボット装置300によりを所定位置に移動させ、ウェルプレート614のウェルに収容される液体をピペット612で吸引し、ピペットを移動して、液体をピペットから吐出するものである。
【0037】
S101では、制御装置100の制御部102は、シナリオ実行時に動作させる装置(デバイス)の入力を受け付ける。シナリオ実行時に動作させる装置は、例えば、ロボット装置300、ピペット612である。シナリオ実行時に動作させる装置は、アクチュエータ等であってもよい。制御部102は、端末装置200の表示部204に、シナリオ実行時に動作させる装置の入力を受け付ける画面を表示する。当該画面には、例えば、シナリオ実行時に動作させることができる装置を示すアイコンが表示される。また、端末装置200の入力部202は、ユーザによる、シナリオ実行時に動作させる装置の入力(装置を示すアイコンの選択)を受け付ける。ユーザは、端末装置200の表示部204に表示される画面を見て、動作させる装置を示すアイコンをタッチすることにより、入力する。ユーザは、シナリオ実行時に動作させるすべての装置について、動作させる順番に入力する。1つのシナリオにおいて、1つの装置を複数回動作させる場合は、当該1つの装置が複数回選択されて入力されてもよい。制御部102は、端末装置200の入力部202で入力された装置の情報を端末装置200から受け付ける。制御部102は、入力された装置の情報を記憶部104に格納する。また、制御部102は、入力された装置を、入力された順番に、端末装置200の表示部204に表示される画面に表示する。ユーザは、当該画面を見ることで、入力した装置と動作させる順番とを確認することができる。
【0038】
S102では、制御部102は、グリッド調整処理を行う。グリッドは、動作の始点位置、終点位置などを指定する際の目印となる枠線である。グリッドの幅(隣接する縦線の間隔)、高さ(隣接する横線の間隔)は、調整され得る。制御部102は、端末装置200の表示部204に、操作対象の装置などと共に、グリッドを表示する。制御部102は、端末装置200の表示部204に、グリッドの幅、高さの入力を受け付ける画面を表示する。グリッドの幅、高さは、例えば、数値によって指定され得る。また、制御部102は、グリッドの幅、高さについて、入力バー(スライドバー)を当該画面に表示し、入力バーを操作することにより入力させてもよい。また、制御部102は、端末装置200の表示部204に、例えば、グリッドの幅及び高さを調整するアイコンを表示してもよい。当該アイコンは、例えば、幅拡大アイコン、幅縮小アイコン、高さ拡大アイコン、高さ縮小アイコンである。制御部102は、入力部202を介して、どのアイコンが選択されたかを判定する。制御部102は、幅拡大アイコンが選択された場合、表示されるグリッドの幅を、所定値だけ拡大することを確定する。制御部102は、幅縮小アイコンが選択された場合、表示されるグリッドの幅を、所定値だけ縮小することを確定する。制御部102は、高さ拡大アイコンが選択された場合、表示されるグリッドの高さを、所定値だけ拡大することを確定する。制御部102は、高さ縮小アイコンが選択された場合、表示されるグリッドの幅を、所定値だけ縮小することを確定する。また、制御部102は、他の入力等がされた場合、入力に基づくグリッドの幅、高さに変更することを確定してもよい。制御部102は、確定したグリッドの幅、高さで、表示部204の画面に表示されるグリッドを更新する。動作の始点位置、終点位置などは、グリッドの枠の中心位置で指定される。始点位置等を細かく設定したい場合には、グリッドの枠の間隔を小さくすることで、所望の始点位置等を設定することができる。また、始点位置等を細かく設定しなくてもよい場合には、グリッドの枠の間隔を大きくすることにより、始点位置等の設定をしやすくすることができる。
【0039】
S103では、制御装置100の制御部102は、S101で入力された装置の移動経
路の入力を受け付ける。制御部102は、端末装置200の表示部204に、装置の移動経路の入力を受け付ける画面を表示する。移動経路は、例えば、移動する装置の始点位置(当該装置の動作の開始点)、終点位置(当該装置の動作の終了点)によって指定され得る。移動経路には、始点位置と終点位置との間の中間位置が含まれてもよい。当該画面には、例えば、各位置の座標を入力させる入力欄が表示される。入力部202は、入力欄に対する座標の入力を受け付ける。また、制御部102は、検出装置400のカメラに、動作させる装置の周囲を撮影させ、撮影された画像を、当該画面に表示してもよい。入力部202は、当該画面に対するタッチ入力を座標の入力として受け付ける。また、入力部202は、始点位置から終点位置までをなぞるスワイプ操作によって、移動経路の入力を受け付けてもよい。制御部102は、入力部202で受け付けたタッチ入力を、実際の座標に変換する。また、移動経路には、各装置における特有の動作が含まれる。例えば、対象の装置がピペットである場合、吸引する液体の量、吐出する液体の量が含まれる。入力部202は、これらの各装置の特有の動作の情報の入力を移動経路の入力として受け付ける。制御部102は、移動させるすべての装置について、移動経路の入力を受け付ける。制御部102は、入力された移動経路の情報を記憶部104に格納する。また、制御部102は、各装置の入力された移動経路を、端末装置200の表示部204に表示される画面に表示する。ユーザは、当該画面を見ることで、入力した各装置の移動経路を確認することができる。
【0040】
S104では、制御装置100の制御部102は、S103で入力された移動経路の速度、加速度、待ち時間の入力を受け付ける。制御部102は、端末装置200の表示部204に、移動経路、速度、加速度、待ち時間の入力を受け付ける画面を表示する。速度、加速度、待ち時間は、例えば、数値によって指定され得る。また、制御部102は、速度、加速度、待ち時間について、それぞれ、複数の選択肢をアイコンとして当該画面に表示して、いずれかのアイコンを選択させるようにしてもよい。また、制御部102は、速度、加速度、待ち時間について、入力バー(スライドバー)を当該画面に表示し、入力バーを操作することにより入力させてもよい。入力部202は、ユーザによる速度、加速度、待ち時間の入力を受け付ける。制御部102は、移動させるすべての装置について、速度、加速度、待ち時間の入力を受け付ける。制御部102は、入力された速度、加速度、待ち時間の情報を記憶部104に格納する。制御部102は、速度、加速度、待ち時間の入力がない場合、あらかじめ決められたデフォルトの値を、速度、加速度、待ち時間として記憶部104に格納してもよい。また、制御部102は、各装置の入力された速度、加速度、待ち時間を、端末装置200の表示部204に表示される画面に表示する。ユーザは、当該画面を見ることで、入力した各装置の速度、加速度、待ち時間を確認することができる。
【0041】
S105では、制御装置100の制御部102は、繰り返し動作の入力を受け付ける。繰り返し動作の入力とは、S101-S104で入力された装置の動作を繰り返す場合の繰り返す回数の入力である。制御部102は、端末装置200の表示部204に、繰り返し動作の入力を受け付ける画面を表示する。繰り返す動作の入力は、どの装置の動作からどの装置の動作までを何回繰り返すかによって指定される。入力部202は、ユーザによる繰り返し動作の入力を受け付ける。制御部102は、入力された繰り返し動作の情報を記憶部104に格納する。繰り返し動作の入力を受け付けることで、同じ装置の同じ動作の入力を複数回行うことを抑制することができる。また、制御部102は、入力された繰り返し動作を、端末装置200の表示部204に表示される画面に表示する。ユーザは、当該画面を見ることで、入力した繰り返し動作を確認することができる。
【0042】
S106では、制御部102は、S101-S105で入力され、記憶部104に格納された各装置の動作を1つのシナリオとして、記憶部104に格納する。このとき、制御部102は、入力部202でシナリオ名の入力を受け付けてもよい。制御部102は、入
力さえたシナリオ名を、当該シナリオに対応付けて、記憶部104に格納する。これにより、シナリオが作成される。
【0043】
〈シナリオ実行、補正〉
ここでは、制御装置100による作成されたシナリオの実行、補正について説明する。シナリオが作成されると、制御装置100は、記憶部104に格納される当該シナリオに従って、ロボット装置300を動作させることができる。また、制御装置100は、シナリオの実行中に、シナリオの補正を受け付けることができる。ここでは、制御装置100は、速度補正、経路補正、位置補正を受け付けられるものとする。
【0044】
《全体の動作フロー》
図5は、制御装置100によるシナリオの実行、補正の全体の動作フローの例を示す図である。ここでは、図4の動作フローにより作成されたシナリオを実行する。
【0045】
S201では、制御装置100の制御部102は、記憶部104に格納される実行対象のシナリオを抽出し、当該シナリオに従って、ロボット装置300等を動作させる。即ち、このとき、自動操作モードでシナリオが実行されている。また、制御部102は、シナリオに従って動作するロボット装置300の周囲を、検出装置400のカメラで撮影する。制御部102は、検出装置400のカメラで撮影した画像を、端末装置200の表示部204に表示する。ユーザは、表示部204に表示される画像により、ロボット装置300等の動作を確認することができる。
【0046】
S202では、制御部102は、端末装置200の入力部202でタッチ入力を検出したか否かを判定する。タッチ入力は、入力部202のタッチパネルにユーザの指などが接触することにより検出される。ユーザが入力部202のタッチパネルに指などを接触させることは、ユーザが実行されているシナリオの補正を希望していることの合図である。即ち、ユーザが、実行中の装置の動作に対してシナリオの補正を希望する場合、入力部202のタッチパネルに指などを接触させる。ここでユーザによるタッチ入力を検出する位置は、入力部202のタッチパネルのどの位置であってもよい。また、ユーザによるタッチ入力を検出する位置は、タッチパネルの特定の領域に限定されてもよい。タッチ入力を検出した場合(S202;YES)、処理がS203に進む。タッチ入力を検出しない場合(S202;NO)、処理がS208に進む。
【0047】
S203では、制御部102は、手動操作モードに切り替えるか否かの判定を行う。手動操作モードは、シナリオを補正するためのモードである。S203の詳細については、図6の動作フローで説明する。
【0048】
S204では、制御部102は、S203での判定結果に基づいて、手動操作モードへの切り替えを行うか否かを判定する。S203での判定結果が切り替え要である場合(S204;YES)、処理がS205に進む。S203での判定結果が切り替え不要である場合(S204;NO)、処理がS208に進む。
【0049】
S205では、制御部102は、手動操作モードに切り替え、所定の処理を行う。S205の詳細については、図7の動作フローで説明する。
【0050】
S206では、制御部102は、S205で、シナリオの変更が行われたか否かを判定する。シナリオの変更が行われた場合(S206;YES)、処理がS207に進む。シナリオの変更が行われなかった場合(S206;NO)、処理がS208に進む。
【0051】
S207では、制御部102は、ロボット装置300等の位置を初期位置(シナリオ開
始時)に戻す。制御部102は、記憶部104に格納される変更後のシナリオに基づいて、ロボット装置300等を動作させる。その後、処理がS201に戻る。その後においても、制御部102は、変更後のシナリオに基づいて、ロボット装置300等を動作させる。
【0052】
S208では、制御部102は、実行しているシナリオによる動作が終了したか否かを判定する。実行しているシナリオによる動作が終了した場合(S208;YES)、図5の動作フローの処理が終了する。実行しているシナリオによる動作が終了していない場合(S208;NO)、処理がS201に戻る。
【0053】
これにより、シナリオ実行中に、ユーザは、シナリオの補正を行うことができる。
【0054】
《手動操作モード切替判定の動作フロー》
図6は、S203の手動操作モード切替判定の動作フローの例を示す図である。
【0055】
S301では、制御部102は、端末装置200の入力部202におけるタッチ入力を監視する。即ち、制御部102は、入力部202において、タッチ入力が行われているか否かを監視する。
【0056】
S302では、制御部102は、S202でタッチ入力が検出されてから、所定時間(例えば、100ms)経過したか否かを判定する。当該所定時間は、ユーザによるタッチ入力が、手動操作モードへ切り替えを意図したものであるか否かを判定する閾値である。所定時間を経過した場合(S302;YES)、処理がS304に進む。所定時間を経過していない場合(S302;NO)、処理がS303に進む。
【0057】
S303では、制御部102は、S301における監視で、タッチ入力が行われているか否かを判定する。タッチ入力が行われていない場合、ユーザは、手動操作モードへ切り替えを希望していないと判断する。入力部202にタッチしている時間が短い(所定時間未満)からである。タッチ入力が行われている場合(S303;NO)、処理がS301に戻る。タッチ入力が行われていない場合(S303;YES)、処理がS305に進む。
【0058】
S304では、制御部102は、手動操作モードに切替要であると判定する。所定時間以上、タッチ入力が検出されたため、ユーザが手動操作モードへの切り替えを希望しているとみなされる。
【0059】
S305では、制御部102は、手動操作モードに切替不要であると判定する。所定時間経過する前に、タッチ入力が検出さなくなったため、ユーザが手動操作モードへの切り替えを希望していないとみなされる。これにより、ユーザが誤って入力部202のタッチパネルに接触した場合などに、手動操作モードに移行することを抑制することができる。
【0060】
《手動操作モードの動作フロー》
図7は、S205の手動操作モードの動作フローの例を示す図である。
【0061】
S401では、制御部102は、端末装置200の表示部204に、現在のシナリオ実行におけるモードが、手動操作モードであることを示す表示をする。例えば、制御部102は、表示部204に、「手動操作モード」の文字情報を表示する。ユーザは、当該表示を見ることにより、現在のモードが「手動操作モード」であることを確認することができる。
【0062】
S402では、制御部102は、実行中のロボット装置300等の動作の停止を指示する。これにより、実行中のロボット装置300等の動作は、減速する。例えば、ロボット装置300が動作の停止前に別の指示を受けた場合、ロボット装置300は、動作の停止前に当該別の指示に従って動作してもよい。
【0063】
S403では、制御部102は、離れ判定を行う。離れ判定は、ユーザが入力部202のタッチパネルを操作しているか否かの判定である。ユーザがタッチパネルを操作していない場合、手動操作モードを終了させる。S403の詳細については、図9の動作フローで説明する。
【0064】
S404では、制御部102は、S403での判定結果に基づいて、手動操作モードを継続するか否かを判定する。S403での判定結果が離れなしである場合(S404;NO)、処理がS405に進む。S403での判定結果が離れである場合(S404;YES)、処理が終了する。この場合、ユーザは、手動操作を継続する(シナリオの補正を継続する)意思がないとみなされる。S407で操作対象の装置の速度を減速した場合、制御部102は、操作対象の装置の速度を、S402の停止の指示まで実行されていた動作の速度に戻してもよい。制御部102は、速度を戻す際、最大限の加速度で戻しても、徐々に戻してもよい。
【0065】
S405では、制御部102は、入力部202でイベントを検出したか否かを判定する。ここで、イベントとは、現時点で、補正(変更)可能なパラメータ(例えば、速度、軌道(経路)、位置、タイミング)の選択である。制御部102は、現時点で補正可能なパラメータを示すアイコンを、表示部204に表示する。制御部102は、入力部202により、いずれかのアイコンの選択を検出すると、イベントを検出したと判定する。イベントの検出は、アイコンの選択に限定されるものではなく、他の方法(文字の入力、所定の操作など)によって行われてもよい。ここでは、補正可能なパラメータとして、「速度」、「軌道」、「位置」、「タイミング」があるとする。補正可能なパラメータは、他のものであってもよい。補正可能なパラメータは、操作対象の装置毎にあらかじめ設定されていてもよい。イベント「速度」を検出した場合(S405;YES)、処理がS406に進む。イベント「軌道」を検出した場合(S405;YES)、処理がS407に進んだ後、S408に進む。イベント「位置」を検出した場合(S405;YES)、処理がS407に進んだ後、S409に進む。イベント「タイミング」を検出した場合(S405;YES)、処理がS407に進んだ後、S410に進む。いずれかのイベントが検出されない場合(S405;NO)、処理が終了する。S407で操作対象の装置の速度を減速した場合、制御部102は、操作対象の装置の速度を、S402の停止の指示まで実行されていた動作の速度に戻してもよい。制御部102は、速度を戻す際、最大限の加速度で戻しても、徐々に戻してもよい。
【0066】
図8は、表示部204に表示される画面の例を示す図である。図8の画面には、速度補正が可能であることを示す速度補正アイコン30、軌道補正が可能であることを示す軌道補正アイコン40、位置補正が可能であることを示す位置補正アイコン50、タイミング補正が可能であることを示すタイミング補正アイコン60が表示されている。速度補正アイコン30には、装置の速度を50%にする50%アイコン31、装置の速度を100%にする100%アイコン32、装置の速度を200%にする200%アイコン33が含まれる。速度補正アイコン30の50%アイコン31、100%アイコン32、200%アイコン33が選択された場合、イベント「速度」が検出されたと判定される。軌道補正アイコン40が選択された場合、イベント「軌道」が検出されたと判定される。位置補正アイコン50が選択された場合、イベント「位置」が検出されたと判定される。タイミング補正アイコン60が選択された場合、イベント「タイミング」が検出されたと判定される。また、図8の画面には、検出装置400のカメラで撮影された操作対象のピペット61
2、ウェルプレート614のウェル631、ウェル631に収容される液体650が表示されている。また、図8の画面には、手動動作モードであることを示す「手動操作モード」の文字情報が表示されている。
【0067】
S406では、制御部102は、速度補正処理を行う。S406の詳細については、図10の動作フローで説明する。その後、処理がS403に進む。
【0068】
S407では、制御部102は、S402で停止を指示したロボット装置300等の動作を、S402の停止の指示まで実行されていた動作の速度未満の速度であって所定値以上の速度で、再開する。例えば、制御部102は、S402の停止の指示まで実行されていた動作の速度(元の速度)の40%以上60%未満の速度で再開する。即ち、操作対象の装置等の動作速度が減速される。操作対象の装置等の動作速度が減速されることで、ユーザは、シナリオの補正をしやすくなる。このとき、操作対象の装置等は、最大限の加速度で指定の速度にすることが望ましい。操作対象の装置等が最大限の加速度で指定の速度にすることで、制御装置100は、ユーザにモードの切り替わりを意識させることなく、円滑に手動操作モードに移行することができる。
【0069】
S408では、制御部102は、軌道補正処理を行う。S408の詳細については、図11の動作フローで説明する。その後、処理がS403に進む。
【0070】
S409では、制御部102は、位置補正処理を行う。S409の詳細については、図14の動作フローで説明する。その後、処理がS403に進む。
【0071】
S410では、制御部102は、タイミング補正処理を行う。S410の詳細については、図17の動作フローで説明する。その後、処理がS403に進む。
【0072】
《離れ判定の動作フロー》
図9は、S403の離れ判定の動作フローの例を示す図である。
【0073】
S501では、制御部102は、入力部202において、タッチ離れであるか否かを判定する。タッチ離れは、ユーザの指等が入力部202のタッチパネルに触れていないことである。ユーザの指等がタッチパネルに触れている場合、タッチ離れではない。タッチ離れでない(ユーザの指等が入力部202のタッチパネルに触れている)場合(S501;NO)、処理がS502に進む。タッチ離れである場合(S501;YES)、処理がS503に進む。
【0074】
S502では、制御部102は、離れなしと判定する。タッチ入力が検出されたため、ユーザが手動操作モードの継続を希望しているとみなされる。
【0075】
S503では、制御部102は、端末装置200の入力部202におけるタッチ入力を監視する。即ち、制御部102は、入力部202において、タッチ入力が行われているか否かを監視する。
【0076】
S504では、制御部102は、S501でタッチ離れが検出されてから、所定時間(例えば、100ms)経過したか否かを判定する。当該所定時間は、ユーザによるタッチ離れが、手動操作モードの継続を意図したものであるか否かを判定する閾値である。所定時間を経過した場合(S504;YES)、処理がS505に進む。所定時間を経過していない場合(S504;NO)、処理がS506に進む。
【0077】
S505では、制御部102は、タッチ離れと判定する。所定時間以上、タッチ入力が
検出されないため、ユーザが手動操作モードの継続を希望していないとみなされる。
【0078】
S506では、制御部102は、タッチ入力が行われたか否かを判定する。タッチ入力が行われた場合、ユーザは、手動操作モードの継続を希望していると判断する。入力部202のタッチパネルからユーザが指等を離していた時間(タッチ離れの時間)が短い(所定時間未満)からである。タッチ入力が行われた場合(S506;YES)、処理がS507に進む。タッチ入力が行われていない場合(S506;NO)、処理がS503に進む。
【0079】
S507では、制御部102は、離れなしと判定する。タッチ入力が検出されたため、ユーザが手動操作モードの継続を希望しているとみなされる。
【0080】
《速度補正処理の動作フロー》
図10は、S406の速度補正処理の動作フローの例を示す図である。
【0081】
S601では、制御部102は、選択された速度を判定する。制御部102は、入力部202を介して、イベント「速度」において、どの速度が選択されたかを判定する。例えば、図8のように、50%アイコン31、100%アイコン32、200%アイコン33が表示部204に表示されている場合、制御部102は、入力部202に、どのアイコンが選択されて入力されたのかを判定する。制御部102は、50%アイコン31が選択された場合、S402で停止を指示された装置(例えば、ロボット装置300、ピペット612)の速度を、停止の指示前の速度の50%にすることを確定する。また、制御部102は、100%アイコン32が選択された場合、S402で停止を指示された装置の速度を、停止の指示前の速度の100%にすることを確定する。即ち、制御部102は、速度を変更しないことを確定する。また、制御部102は、200%アイコン33が選択された場合、S402で停止を指示された装置の速度を、停止の指示前の速度の200%にすることを確定する。停止の指示前の速度の50%、停止の指示前の200%の速度は、変更可能な速度の例である。また、制御部102は、他の速度を示すアイコン等が選択された場合、選択されたアイコン等に基づく速度に変更することを確定する。制御部102が変更可能な速度を示すアイコン等を表示部204に表示して、入力部202から入力させることにより、速度の変更を容易に行うことができる。
【0082】
S602では、制御部102は、S601で確定された装置の速度が、停止の指示前の速度から変更されているか否かを判定する。速度が変更されていない場合(S602;NO)、処理が終了する。速度が変更された場合(S602;YES)、処理がS603に進む。
【0083】
S603では、制御部102は、表示部204に変更後の速度を表示する。ユーザは、表示部204の表示により、変更後の速度を認識することができる。
【0084】
S604では、制御部102は、現在のシナリオを、記憶部104に、バックアップとして格納する。制御部102は、例えば、現在のシナリオのシナリオ名を、バックアップである旨を認識できるように変更して、記憶部104に格納する。
【0085】
S605では、制御部102は、現在のシナリオに変更された速度を反映した新しいシナリオを作成し、記憶部104に格納する。これにより、変更されたシナリオが作成される。
【0086】
《軌道補正処理の動作フロー》
図11は、S408の軌道補正処理の動作フローの例を示す図である。
【0087】
S701では、制御部102は、入力部202において、タッチ離れであるか否かを判定する。タッチ離れは、ユーザの指等が入力部202のタッチパネルに触れていないことである。ユーザの指等がタッチパネルに触れている場合、タッチ離れではない。タッチ離れでない(ユーザの指等が入力部202のタッチパネルに触れている)場合(S701;YES)、処理がS702に進む。この場合、軌道補正を継続するとみなされる。タッチ離れである場合(S701;NO)、処理がS707に進む。この場合、軌道補正が終了したとみなされる。
【0088】
図12は、軌道補正処理において表示される画面の例を示す図である。図12の画面は、軌道補正処理の際に、端末装置200の表示部204に表示される。図12の画面では、図8と同様に、検出装置400のカメラで撮影された操作対象のピペット612、ウェルプレート614のウェル631、ウェル631に収容される液体650が表示されている。また、当該画面には、操作対象のピペット612の現在、選択されている軌道(経路線)である第1経路線661が実線の矢印で示されている。補正前の現在選択されている軌道(経路線)は、操作対象のピペット612の現在の軌道(経路線)である。当該矢印の根元が操作対象のピペット612の移動経路の始点位置を示し、矢印の先端が操作対象のピペット612の移動経路の終点位置を示す。また、ピペット612の移動経路は、矢印に沿っている。他の矢印についても同様である。第2経路線662、第3経路線663は、補正可能な軌道(経路線)を示す。補正可能な軌道(経路線)である第2経路線662、第3経路線663は、点線で示されている。
【0089】
S702では、制御部102は、表示部204に表示される、現在、選択されている経路線を、点滅表示させる。現在、選択されている軌道線が点滅表示されることで、ユーザは、現在表示されている経路線を認識しやすくなる。
【0090】
S703では、制御部102は、表示部204に表示される、現在、選択されている経路線の周囲に、補正可能な経路線を表示する。補正可能な経路線は、変更可能な経路線の候補である。
【0091】
図12は、軌道補正処理において表示される画面の例を示す図である。図12の画面は、軌道補正処理の際に、端末装置200の表示部204に表示される。図12の画面では、図8と同様に、検出装置400のカメラで撮影された操作対象のピペット612、ウェルプレート614のウェル631、ウェル631に収容される液体650が表示されている。また、当該画面には、操作対象のピペット612の現在、選択されている軌道(経路線)である第1経路線661が実線の矢印で示されている。現在、選択されている軌道(経路線)である第1経路線661は、例えば、黒色で表示される。補正前の現在選択されている軌道(経路線)は、操作対象のピペット612の現在の軌道(経路線)である。当該矢印の根元が操作対象のピペット612の始点を示し、矢印の先端が操作対象のピペット612の終点を示す。また、ピペットの軌道は、矢印に沿っている。他の矢印についても同様である。第2経路線662、第3経路線663は、補正可能な軌道(経路線)を示す。補正可能な軌道(経路線)である第2経路線662、第3経路線663は、点線で示されている。補正可能な軌道(経路線)である第2経路線662、第3経路線663は、例えば、赤色で表示される。選択されている経路線と、補正可能な経路線とが異なる色で表示されることで、これらの経路線を区別しやすくなる。
【0092】
S704では、制御部102は、入力部202において、表示部204に表示される現在選択されている経路線(例えば、第1経路線661)の位置から、補正可能な経路線(例えば、第2経路線662)への位置へのスワイプ操作が検出されたか否かを判定する。当該操作は、操作対象の装置(例えば、ピペット612)の経路線の変更(例えば、第1
経路線661から第2経路線662への変更)を示す操作である。当該スワイプ操作が検出された場合(S704;YES)、処理がS705に進む。当該スワイプ操作が検出されない場合(S704;NO)、処理がS701に進む。
【0093】
S705では、制御部102は、表示部204において、S704で検出されたスワイプ操作の終点の位置における補正可能な経路線(例えば、第2経路線662)を、実線にして点滅表示をする。ここでは、当該経路線が、現在、選択されている経路線となる。スワイプ操作で変更を受け付けることで、ユーザは操作対象の装置の軌道を容易に変更することができる。
【0094】
S706では、制御部102は、表示部204に表示される、現在、選択されている経路線の周囲に、補正可能な経路線を表示する。補正可能な経路線は、変更可能な経路線の候補である。
【0095】
図13は、軌道補正処理において表示される画面の例を示す図である。図13の画面は、軌道補正処理の際に、端末装置200の表示部204に表示される。図13の画面では、図12と同様に、検出装置400のカメラで撮影された操作対象のピペット612、ウェルプレート614のウェル631、ウェル631に収容される液体650が表示されている。また、当該画面には、操作対象のピペット612の現在、選択されている軌道(経路線)である第2経路線662が実線の矢印で示されている。現在、選択されている軌道(経路線)である第2経路線662は、例えば、黒色で表示される。第1経路線661、第4経路線664は、補正可能な軌道(経路線)を示す。ここでは、第3経路線663は表示されていない。補正可能な軌道(経路線)である第1経路線661、第4経路線664は、点線で示されている。補正可能な軌道(経路線)である第1経路線661、第4経路線664は、例えば、赤色で表示される。選択されている経路線と、補正可能な経路線とが異なる色で表示されることで、これらの経路線を区別しやすくなる。また、補正可能な軌道が現在選択されている軌道とともに表示されることで、ユーザは、現在選択されている軌道と変更後の軌道との違いを認識しやすくなる。
【0096】
S707では、制御部102は、表示部204に表示される、補正可能な経路線を非表示にする。即ち、表示部204に表示される画面では、経路線のうち、現在、選択されている経路線のみが表示される。
【0097】
S708では、制御部102は、表示部204に表示される、現在選択されている経路線の点滅表示を中止する。即ち、表示部204に表示される画面では、選択されている経路線が通常表示される。当該経路線が変更後の経路線となる。即ち、制御部102は、現在選択されている経路線を変更後(補正後)の経路線として確定する。
【0098】
S709では、制御部102は、現在のシナリオを、記憶部104に、バックアップとして格納する。制御部102は、例えば、現在のシナリオのシナリオ名を、バックアップである旨を認識できるように変更して、記憶部104に格納する。
【0099】
S710では、制御部102は、現在のシナリオに変更された軌道(経路線)を反映した新しいシナリオを作成し、記憶部104に格納する。これにより、変更されたシナリオが作成される。
【0100】
《位置補正処理の動作フロー》
図14は、S409の位置補正処理の動作フローの例を示す図である。
【0101】
S801では、制御部102は、表示部204に、操作対象の装置の始点位置、終点位
置、グリッドを表示する。グリッドは、始点位置、終点位置を指定する際の目印となる枠線である。グリッドの幅(隣接する縦線の間隔)、高さ(隣接する横線の間隔)は、シナリオの作成段階において、変更され得る。
【0102】
図15は、表示部204に表示される画面の例を示す図である。図15の画面には、検出装置400のカメラで撮影された操作対象のピペット612、ウェルプレート614のウェル631、ウェル631に収容される液体650が表示されている。さらに、図15の画面には、操作対象のピペット612の始点位置671、終点位置672、複数の縦線及び複数の横線によるグリッド670が表示されている。グリッド670は、検出装置400のカメラで撮影された画像から、ピペット612、ウェルプレート614等の位置を検出し、当該位置に合わせて表示される。また、ピペット612、ウェルプレート614等がイラストで表示され、当該イラストに合わせて、グリッド670が表示されてもよい。
【0103】
S802では、制御部102は、入力部202でイベントを検出したか否かを判定する。ここで、イベントとは、補正可能なパラメータ(始点位置、終点位置)の選択である。制御部102は、現時点で補正可能なパラメータを示すアイコンを、表示部204に表示する。制御部102は、入力部202により、いずれかのアイコンの選択を検出すると、イベントを検出したと判定する。ここでは、補正可能なパラメータとして、「位置」があるとする。イベント「位置」を検出した場合(S802;YES)、処理がS803に進む。図15の例では、始点位置671、終点位置672が選択された場合、イベント「位置」が検出されたとする。イベントが検出されない場合(S802;NO)、処理がS804に進む。
【0104】
S803では、制御部102は、位置補正処理を行う。S803の詳細については、図16の動作フローで説明する。その後、処理がS804に進む。
【0105】
S804では、制御部102は、入力部202において、タッチ離れであるか否かを判定する。タッチ離れは、ユーザの指等が入力部202のタッチパネルに触れていないことである。ユーザの指等がタッチパネルに触れている場合、タッチ離れではない。タッチ離れでない(ユーザの指等が入力部202のタッチパネルに触れている)場合(S804;NO)、処理がS801に進む。タッチ離れである場合(S804;YES)、処理がS805に進む。
【0106】
S805では、制御部102は、表示部204に表示される、グリッドを非表示にする。即ち、表示部204に表示される画面では、操作対象の装置の始点位置、終点位置が表示される。
【0107】
S806では、制御部102は、表示部204に表示される、現在選択されている始点位置、または終点位置の点滅表示を中止する。即ち、表示部204に表示される画面では、始点位置及び終点位置が通常表示される。当該始点位置、終点位置が変更後の始点位置、終点位置となる。即ち、制御部102は、現在表示されている始点位置、終点位置を変更後(補正後)の始点位置、終点位置として確定する。
【0108】
S807では、制御部102は、現在のシナリオを、記憶部104に、バックアップとして格納する。制御部102は、例えば、現在のシナリオのシナリオ名を、バックアップである旨を認識できるように変更して、記憶部104に格納する。
【0109】
S808では、制御部102は、現在のシナリオに変更された始点位置、終点位置を反映した新しいシナリオを作成し、記憶部104に格納する。これにより、変更されたシナ
リオが作成される。
【0110】
《位置補正の動作フロー》
図16は、S803の位置補正の動作フローの例を示す図である。
【0111】
S901では、選択された補正対象の点を判定する。制御部102は、入力部202を介して、イベント「位置」において、どの点(始点位置671または終点位置672)が選択されたかを判定する。例えば、図15のように、始点位置671、終点位置672が表示部204に表示されている場合、制御部102は、入力部202に、どちらの位置が選択されて入力されたのかを判定する。制御部102は、始点位置671が選択された場合、始点位置671を、表示部204において点滅表示する。制御部102は、終点位置672が選択された場合、終点位置672を、表示部204において点滅表示する。点滅表示されている点(始点位置671または終点位置672)は、補正対象の点である。
【0112】
S902では、制御部102は、入力部202において、表示部204に表示される補正対象の点(始点位置671または終点位置672)の位置(グリッドの枠の中心)から、他のグリッドの枠の中心の位置へのスワイプ操作が検出されたか否かを判定する。当該スワイプ操作において、当該補正対象の点が当該スワイプ操作の始点の位置であり、当該他のグリッドの枠の中心の位置が当該スワイプ操作の終点の位置である。当該他のグリッドの枠の中心の位置は、始点位置671及び終点位置672と異なる位置である。当該操作は、操作対象の装置(例えば、ピペット612)の位置(始点位置671または終点位置672)の変更を示す操作である。当該スワイプ操作が検出された場合(S902;YES)、処理がS903に進む。当該スワイプ操作が検出されない場合(S902;NO)、処理が終了する。
【0113】
S903では、制御部102は、表示部204において、S902で検出されたスワイプ操作の終点の位置が、所定の範囲内であるか否かを判定する。始点位置671または終点位置672として設定することができる領域は、所定の範囲として、あらかじめ決められている。よって、移動先の位置(点)が、所定の範囲内でない場合、始点位置671または終点位置672を変更しない。S902で検出されたスワイプ操作の終点の位置が所定の範囲内である場合(S903;YES)、処理がS904に進む。S902で検出されたスワイプ操作の終点の位置が所定の範囲内でない場合、処理がS905に進む。
【0114】
S904では、制御部102は、補正対象の点の表示位置を、S902で検出されたスワイプ操作の終点の位置に変更する。制御部102は、当該位置を、補正対象の点の変更後の位置とする。表示部204に、始点位置、終点位置が表示されることで、ユーザは、始点位置、終点位置を容易に認識できる。また、スワイプ操作で始点位置または終点位置の変更を受け付けることで、ユーザは操作対象の装置の始点位置または終点位置を容易に変更することができる。
【0115】
S905では、制御部102は、表示部204に、補正対象の点を変更しようとした位置が所定の範囲外であることを表示する。ユーザは、当該表示により、変更しようとした位置が、所定の範囲(始点位置671または終点位置672として設定することができる領域)外であることを認識する。
【0116】
《タイミング補正処理の動作フロー》
図17は、S410のタイミング補正処理の動作フローの例を示す図である。
【0117】
S1001では、制御部102は、表示部204に、操作対象の装置の動作において、タイミングの補正を可能な動作について、タイミングの補正を受け付ける画面を表示する
。タイミングの補正を可能な動作は、あらかじめ、動作ごとに設定されている。例えば、ピペットの612の吐出開始タイミング、移動開始タイミング、吐出終了タイミングを変更できる場合、制御部102は、表示部204に、例えば、それぞれのタイミング調整用のアイコンを表示する。
【0118】
図18は、表示部204に表示される画面の例を示す図である。図18は、タイミングの補正を受け付ける画面の例である。ここでは、ピペットの612の吐出開始タイミング、移動開始タイミング、吐出終了タイミングが変更可能であるとする。図18の画面には、タイミング調整用のアイコンが表示されている。タイミング調整用のアイコンには、第1吐出開始アイコン681、第2吐出開始アイコン682、第1移動アイコン683、第2移動アイコン684、第1吐出終了アイコン685、第2吐出終了アイコン686が含まれる。第1吐出開始アイコン681は、ピペット612による吐出開始のタイミングを所定時間早くすることを指示するアイコンである。第2吐出開始アイコン682は、ピペット612による吐出開始のタイミングを所定時間遅くすることを指示するアイコンである。第1移動アイコン683は、ピペット612の移動開始のタイミングを所定時間早くすることを指示するアイコンである。第2移動アイコン684は、ピペット612の移動開始のタイミングを所定時間遅くすることを指示するアイコンである。第1吐出終了アイコン685は、ピペット612による吐出終了のタイミングを所定時間早くすることを指示するアイコンである。第2吐出終了アイコン686は、ピペット612による吐出終了のタイミングを所定時間遅くすることを指示するアイコンである。図18の画面には、検出装置400のカメラで撮影された動作対象のピペット612、ウェルプレート614のウェル631、ウェル631に収容される液体650が表示されている。さらに、図18の画面には、動作対象のピペット612の経路線665が表示されている。
【0119】
S1002では、制御部102は、入力部202でタイミング補正の入力を検出したか否かを判定する。例えば、図18のような画面が表示されている場合、タイミング補正の入力の検出は、各アイコンが選択されることによって行われる。タイミング補正の入力を検出した場合(S1002;YES)、処理がS1003に進む。タイミング補正の入力を検出しない場合(S1002;NO)、処理が終了する。
【0120】
S1003では、制御部102は、S1002で検出された内容に基づいて、操作対象装置の動作のタイミングを変更する。第1吐出開始アイコン681の選択が検出された場合、ピペット612による吐出開始のタイミングを所定時間早くする。第2吐出開始アイコン682の選択が検出された場合、ピペット612による吐出開始のタイミングを所定時間遅くする。第1移動アイコン683の選択が検出された場合、ピペット612の移動開始のタイミングを所定時間早くする。第2移動アイコン684の選択が検出された場合、ピペット612の移動開始のタイミングを所定時間遅くする。第1吐出終了アイコン685の選択が検出された場合、ピペット612による吐出終了のタイミングを所定時間早くする。第2吐出終了アイコン686の選択が検出された場合、ピペット612による吐出終了のタイミングを所定時間遅くする。
【0121】
S1004では、制御部102は、現在のシナリオを、記憶部104に、バックアップとして格納する。制御部102は、例えば、現在のシナリオのシナリオ名を、バックアップである旨を認識できるように変更して、記憶部104に格納する。
【0122】
S1005では、制御部102は、現在のシナリオに変更されたタイミングを反映した新しいシナリオを作成し、記憶部104に格納する。これにより、変更されたシナリオが作成される。
【0123】
制御装置100は、タイミングを修正することで、各動作を円滑につないでいくことが
できる。また、制御装置100は、ピペット612の吐出開始、移動開始、吐出終了などの動作ごとにタイミングを修正できることで、シナリオに基づく操作対象の装置等の動作を、人による動作(ユーザが所望する動作)により近づけることができる。
【0124】
〈アイコン作成〉
制御装置100の制御部102は、手動操作モードにおいて、各補正(速度補正、軌道補正、位置補正)が行われた回数を計数する。例えば、制御部102は、シナリオのバックアップを記憶部104に格納する(S604、S709、S807、S1004)毎に、各補正が行われた回数を計数する。制御部102は、いずれかの補正について、補正が行われた回数が所定回数を以上となった場合、当該補正について、傾向の分析を行う。当該所定回数は、例えば、20回である。例えば、位置補正が行われた回数が所定回数以上となった場合について、説明する。このとき、制御部102は、位置補正が行われた際に記憶部104に格納されたすべてのシナリオを、記憶部104から抽出する。制御部102は、抽出したシナリオから、ユーザによる補正の傾向をAI(Artificial Intelligence)分析などにより分析する。例えば、分析の結果、始点位置を右に5cmに移動する位
置補正が多い(例えば、所定回数以上)とされるとする。当該所定回数は、例えば5回である。また、所定回数以上ではなく、所定割合(全体の補正の回数に対する当該補正の回数の割合)以上であってもよい。当該位置補正は、頻繁補正の例である。このとき、制御部102は、当該位置補正を実行する新アイコンを生成し、表示部204に、図8等の速度補正アイコン30、軌道補正アイコン40、位置補正アイコン50、タイミング補正アイコン60とともに、表示する。制御部102は、手動操作モードにおいて、イベントとして当該新アイコンが選択された場合(図7のS405)、当該位置補正を反映した(補正済みの動作となるように変更した)シナリオを生成し、記憶部104に格納する。他の補正(速度補正、軌道補正)についても同様である。これにより、ユーザは、頻繁に行われる補正処理を容易に実行できるようになる。
【0125】
(実施形態の作用、効果)
情報処理システム10の制御装置100は、端末装置200等に対するユーザによる入力等により、処理の対象に対して作用を加えるロボット装置300で実行するシナリオを作成する。シナリオは、操作対象のロボット装置300等の装置による動作の手順を示すタスクプログラムである。制御装置100で作成されるシナリオ(タスクプログラム)は、操作対象の装置の移動する位置、軌道、速度などのパラメータを含む操作対象の装置の動作を規定する。また、情報処理システム10の制御装置100は、作成したシナリオに基づいてロボット装置300が動作している際に、端末装置200に対するユーザによる動作の補正の入力を受け付け、シナリオの補正(変更)を行う。制御装置100は、シナリオの実行中に、入力部202によりタッチ入力を受け付けると、手動操作モードに移行し、シナリオに基づく操作対象の装置の動作の停止を指示し、パラメータの補正の入力を受け付ける。操作対象の装置の動作を減速することで、ユーザはシナリオのパラメータの補正を行い易くなる。このとき、操作対象の装置は、最大限の加速度で、速度を変更する。これにより、制御装置100は、ユーザがモードの移行を意識することを抑制して、手動操作モードへの移行を円滑にできる。また、制御装置100は、シナリオの実行中に、常時、シナリオの補正を行うことができる。また、制御装置100は、手動操作モードに移行した際、実行中の装置の動作において変更可能なパラメータを表示部204に表示する。ユーザは、変更可能なパラメータを選択して入力部202に入力することで、適切に、シナリオ(タスクプログラム)のパラメータの変更を行うことができる。制御装置100は、ユーザに、シナリオの実行中にシナリオのパラメータの補正(変更)を行わせることで、シナリオをユーザが所望する動作を行うシナリオに容易に変更することができる。ユーザは、シナリオに基づく装置の動作を、表示部204に表示される検出装置400で撮影されたカメラの映像で見ながら、シナリオのパラメータの補正を行うことができる。シナリオの実行中にシナリオのパラメータの補正(変更)ができることで、シナリオの補
正の効率をよくすることができる。制御部102は、いずれかの補正について、補正が行われた回数が所定回数以上となった場合、当該補正について、傾向の分析を行う。制御部102は、分析の結果、頻繁に行われている補正について、当該補正を実行する新アイコンを生成し、表示部204に、速度補正アイコン30等とともに、表示する。制御部102は、手動操作モードにおいて、イベントとして当該新アイコンが選択された場合、当該補正を実行したシナリオを生成し、記憶部104に格納する。これにより、ユーザは、頻繁に行われる補正処理を容易に実行できるようになる。
【0126】
〈コンピュータ読み取り可能な記録媒体〉
コンピュータその他の機械、装置(以下、コンピュータ等)に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
【0127】
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体内には、CPU、メモリ等のコンピュータを構成する要素を設け、そのCPUにプログラムを実行させてもよい。
【0128】
また、このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD-ROM、CD-R/W、DVD、DAT、8mmテープ、メモリカード等がある。
【0129】
また、コンピュータ等に固定された記録媒体としてハードディスクやROM等がある。
【0130】
以上の各実施形態は、可能な限りこれらを組み合わせて実施され得る。
【符号の説明】
【0131】
10 :情報処理システム
30 :速度補正アイコン
31 :50%アイコン
32 :100%アイコン
33 :200%アイコン
40 :軌道補正アイコン
50 :位置補正アイコン
60 :タイミング補正アイコン
90 :情報処理装置
91 :プロセッサ
92 :メモリ
93 :記憶部
94 :入力部
95 :出力部
96 :通信制御部
100 :制御装置
102 :制御部
104 :記憶部
106 :通信部
200 :端末装置
202 :入力部
204 :表示部
300 :ロボット装置
400 :検出装置
610 :器具
611 :試験管
612 :ピペット
613 :容器
614 :ウェルプレート
615 :フラスコ
620 :テーブル
631 :ウェル
650 :液体
661 :第1経路線
662 :第2経路線
663 :第3経路線
664 :第4経路線
670 :グリッド
671 :始点位置
672 :終点位置
681 :第1吐出開始アイコン
682 :第2吐出開始アイコン
683 :第1移動アイコン
684 :第2移動アイコン
685 :第1吐出終了アイコン
686 :第2吐出終了アイコン
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18