(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-23
(45)【発行日】2025-01-07
(54)【発明の名称】命題設定装置、命題設定方法及びプログラム
(51)【国際特許分類】
G05D 1/43 20240101AFI20241224BHJP
B25J 13/08 20060101ALI20241224BHJP
【FI】
G05D1/43
B25J13/08 A
(21)【出願番号】P 2022555231
(86)(22)【出願日】2020-10-09
(86)【国際出願番号】 JP2020038312
(87)【国際公開番号】W WO2022074827
(87)【国際公開日】2022-04-14
【審査請求日】2023-04-05
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100107331
【氏名又は名称】中村 聡延
(74)【代理人】
【識別番号】100104765
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100131015
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】大山 博之
(72)【発明者】
【氏名】高野 凜
【審査官】稲垣 浩司
(56)【参考文献】
【文献】特開2005-32196(JP,A)
【文献】特開平6-337709(JP,A)
【文献】国際公開第2020/161880(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G05D 1/00 - 1/87
B25J 1/00 - 21/02
(57)【特許請求の範囲】
【請求項1】
ロボットが作業を行う作業空間内の計測結果に基づき、前記作業空間における物体の抽象的な状態である抽象状態を設定する抽象状態設定手段と、
前記抽象状態と、前記物体の相対的な領域に関する情報である相対領域情報とに基づき、前記物体に関する命題を領域により表した命題領域を設定する命題設定手段と、
を有し、
前記命題設定手段は、
前記命題領域に基づき特定される前記ロボットの動作可能領域を分割する動作可能領域分割手段と、
分割された前記動作可能領域の各々に対する命題領域を設定する分割領域命題設定手段と、
を有する命題設定装置。
【請求項2】
前記命題設定手段は、
前記抽象状態と、前記相対領域情報とに基づき、前記命題領域を設定する命題領域設定手段と、
複数の前記命題領域の統合の要否を判定する統合判定手段と、
前記統合を要すると判定された前記複数の命題領域に基づき、統合した命題領域を設定する命題統合手段と、
を有する請求項1に記載の命題設定装置。
【請求項3】
前記命題設定手段は、前記抽象状態と、前記相対領域情報とに基づき、前記物体が障害物である場合の前記命題領域である禁止命題領域を設定する、請求項2に記載の命題設定装置。
【請求項4】
前記統合判定手段は、複数の前記禁止命題領域の統合の要否を、当該複数の禁止命題領域を統合した場合の命題領域の面積又は体積の増加割合に基づき判定する、請求項3に記載の命題設定装置。
【請求項5】
前記命題設定手段は、前記抽象状態として設定された前記物体の位置及び姿勢を基準として前記相対領域情報が表す相対領域を前記作業空間において定めた領域を、前記命題領域として設定する、請求項1~
4のいずれか一項に記載の命題設定装置。
【請求項6】
前記命題設定手段は、物体の種類毎に当該物体の種類に応じた相対領域を表す相対領域情報を関連付けたデータベースから、前記計測結果において特定される前記物体に対応する前記相対領域情報を抽出し、抽出した前記相対領域情報に基づき前記命題領域を設定する、請求項1~
5のいずれか一項に記載の命題設定装置。
【請求項7】
前記抽象状態と、前記命題領域とに基づき、前記ロボットの動作シーケンスを生成する動作シーケンス生成手段をさらに有する、請求項1~
6のいずれか一項に記載の命題設定装置。
【請求項8】
前記動作シーケンス生成手段は、
前記ロボットが実行すべきタスクを時相論理に基づく論理式に変換する論理式変換手段と、
前記論理式から、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成するタイムステップ論理式生成手段と、
前記抽象状態と、前記命題領域とに基づき、前記作業空間におけるダイナミクスを抽象化した抽象モデルを生成する抽象モデル生成手段と、
前記抽象モデルと、前記タイムステップ論理式とを制約条件とする最適化により前記ロボットの時系列の制御入力を生成する制御入力生成手段と、
を有する、請求項7に記載の命題設定装置。
【請求項9】
コンピュータが、
ロボットが作業を行う作業空間内の計測結果に基づき、前記作業空間における物体の抽象的な状態である抽象状態を設定し、
前記抽象状態と、前記物体の相対的な領域に関する情報である相対領域情報とに基づき、前記物体に関する命題を領域により表した命題領域を設定
し、前記命題領域に基づき特定される前記ロボットの動作可能領域を分割し、分割された前記動作可能領域の各々に対する命題領域を設定する、
命題設定方法。
【請求項10】
ロボットが作業を行う作業空間内の計測結果に基づき、前記作業空間における物体の抽象的な状態である抽象状態を設定し、
前記抽象状態と、前記物体の相対的な領域に関する情報である相対領域情報とに基づき、前記物体に関する命題を領域により表した命題領域を設定
し、前記命題領域に基づき特定される前記ロボットの動作可能領域を分割し、分割された前記動作可能領域の各々に対する命題領域を設定する処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ロボットの動作計画に用いる命題の設定に関する処理を行う命題設定装置、命題設定方法及び記憶媒体の技術分野に関する。
【背景技術】
【0002】
ロボットに作業させるタスクが与えられた場合に、当該タスクを実行するために必要なロボットの制御を行う制御手法が提案されている。例えば、特許文献1には、外部環境の情報を変換した制約形式のリストを充足する動作制御論理及び制御論理を生成し、生成した動作制御論理及び制御論理の実現可能性を検証する自律動作制御装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
与えられたタスクに関する命題を定めて時相論理に基づき動作計画を行う場合、命題をどのように定義するかが問題となる。例えば、ロボットの動作禁止領域などを表現する場合には、当該領域の広がり(大きさ)を考慮した命題の設定が必要となる。一方、センサによる計測では計測位置などによって計測できない部分が存在し、このような領域を適切に定めることが困難な場合がある。
【0005】
本開示の目的の1つは、上述した課題を鑑み、ロボットの動作計画に必要な命題に関する設定を好適に実行することが可能な命題設定装置、命題設定方法及び記憶媒体を提供することである。
【課題を解決するための手段】
【0006】
命題設定装置の一の態様は、
ロボットが作業を行う作業空間内の計測結果に基づき、前記作業空間における物体の抽象的な状態である抽象状態を設定する抽象状態設定手段と、
前記抽象状態と、前記物体の相対的な領域に関する情報である相対領域情報とに基づき、前記物体に関する命題を領域により表した命題領域を設定する命題設定手段と、を有し、
前記命題設定手段は、
前記命題領域に基づき特定される前記ロボットの動作可能領域を分割する動作可能領域分割手段と、
分割された前記動作可能領域の各々に対する命題領域を設定する分割領域命題設定手段と、
を有する命題設定装置である。
【0007】
命題設定方法の一の態様は、
コンピュータが、
ロボットが作業を行う作業空間内の計測結果に基づき、前記作業空間における物体の抽象的な状態である抽象状態を設定し、
前記抽象状態と、前記物体の相対的な領域に関する情報である相対領域情報とに基づき、前記物体に関する命題を領域により表した命題領域を設定し、前記命題領域に基づき特定される前記ロボットの動作可能領域を分割し、分割された前記動作可能領域の各々に対する命題領域を設定する、
命題設定方法である。
【0008】
プログラムの一の態様は、
ロボットが作業を行う作業空間内の計測結果に基づき、前記作業空間における物体の抽象的な状態である抽象状態を設定し、
前記抽象状態と、前記物体の相対的な領域に関する情報である相対領域情報とに基づき、前記物体に関する命題を領域により表した命題領域を設定し、前記命題領域に基づき特定される前記ロボットの動作可能領域を分割し、分割された前記動作可能領域の各々に対する命題領域を設定する処理をコンピュータに実行させる。
【発明の効果】
【0009】
ロボットの動作計画に必要な命題に関する設定を好適に実行することができる。
【図面の簡単な説明】
【0010】
【
図1】第1実施形態におけるロボット制御システムの構成を示す。
【
図2】ロボットコントローラのハードウェア構成を示す。
【
図3】アプリケーション情報のデータ構造の一例を示す。
【
図4】ロボットコントローラの機能ブロックの一例である。
【
図5】ピックアンドプレイスを目的タスクとした場合の作業空間の俯瞰図を示す。
【
図6】ロボットが移動体である場合のロボットの作業空間の俯瞰図を示す。
【
図7】命題設定部の機能的な構成を表す機能ブロック図の一例である。
【
図8】(A)統合禁止命題領域の第1設定例を示す。(B)統合禁止命題領域の第2設定例を示す。(C)統合禁止命題領域の第3設定例を示す。
【
図9】分割動作可能領域を明示した作業空間の俯瞰図を示す。
【
図10】(A)空間が離散化された場合の禁止命題領域である禁止領域を明示したロボット
の作業空間の俯瞰図を示す。(B)(A)によりも大きい禁止領域が設定された場合のロボットの作業空間の俯瞰図を示す。
【
図11】第1実施形態においてロボットコントローラが実行するロボット制御処理の概要を示すフローチャートの一例である。
【
図12】
図11のステップS12の命題設定処理の詳細を表すフローチャートの一例である。
【
図13】第2実施形態における
命題設定装置の概略構成図を示す。
【
図14】第2実施形態において
命題設定装置が実行するフローチャートの一例である。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら、命題設定装置、命題設定方法及び記憶媒体の実施形態について説明する。
【0012】
<第1実施形態>
(1)
システム構成
図1は、第1実施形態に係るロボット制御システム100の構成を示す。ロボット制御システム100は、主に、ロボットコントローラ1と、指示装置2と、記憶装置4と、ロボット5と、計測装置7と、を備える。
【0013】
ロボットコントローラ1は、ロボット5に実行させるタスク(「目的タスク」とも呼ぶ。)が指定された場合に、ロボット5が受付可能な単純なタスクのタイムステップ(時間刻み)毎のシーケンスに目的タスクを変換し、生成したシーケンスに基づきロボット5を制御する。
【0014】
また、ロボットコントローラ1は、指示装置2、記憶装置4、ロボット5、及び計測装置7と、通信網を介し、又は、無線若しくは有線による直接通信により、データ通信を行う。例えば、ロボットコントローラ1は、指示装置2から、目的タスクの指定、アプリケーション情報の生成又は更新等に関する入力信号を受信する。また、ロボットコントローラ1は、指示装置2に対し、所定の出力制御信号を送信することで、指示装置2に所定の表示又は音出力を実行させる。さらに、ロボットコントローラ1は、ロボット5の制御に関する制御信号「S1」をロボット5に送信する。また、ロボットコントローラ1は、計測装置7から計測信号「S2」を受信する。
【0015】
指示装置2は、作業者によるロボット5に対する指示を受け付ける装置である。指示装置2は、ロボットコントローラ1から供給される出力制御信号に基づき所定の表示又は音出力を行ったり、作業者の入力に基づき生成した入力信号をロボットコントローラ1へ供給したりする。指示装置2は、入力部と表示部とを備えるタブレット端末であってもよく、据置型のパーソナルコンピュータであってもよい。
【0016】
記憶装置4は、アプリケーション情報記憶部41を有する。アプリケーション情報記憶部41は、ロボット5が実行すべきシーケンスである動作シーケンスを目的タスクから生成するために必要なアプリケーション情報を記憶する。アプリケーション情報の詳細は、
図3を参照しながら後述する。記憶装置4は、ロボットコントローラ1に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶装置4は、ロボットコントローラ1と通信網を介してデータ通信を行うサーバ装置であってもよい。この場合、記憶装置4は、複数のサーバ装置から構成されてもよい。
【0017】
ロボット5は、ロボットコントローラ1から供給される制御信号S1に基づき目的タスクに関する作業を行う。ロボット5は、例えば、組み立て工場、食品工場などの各種工場、又は、物流の現場などで動作を行うロボットである。ロボット5は、垂直多関節型ロボット、水平多関節型ロボット、又はその他の任意の種類のロボットであってもよい。ロボット5は、ロボット5の状態を示す状態信号をロボットコントローラ1に供給してもよい。この状態信号は、ロボット5全体又は関節などの特定部位の状態(位置、角度等)を検出するセンサ(内界センサ)の出力信号であってもよく、制御信号S1が表すロボット5の動作シーケンスの進捗状態を示す信号であってもよい。
【0018】
計測装置7は、目的タスクが実行される作業空間内の状態を検出するカメラ、測域センサ、ソナーまたはこれらの組み合わせとなる1又は複数のセンサ(外界センサ)である。計測装置7は、ロボット5に備えられたセンサを含んでもよく、作業空間内に設けられたセンサを含んでもよい。前者の場合、計測装置7は、ロボット5に設けられたカメラなどの外界センサを含んでおり、ロボット5の動作に応じて計測範囲が変化するものであってもよい。他の例では、計測装置7は、ロボット5の作業空間内で移動する自走式又は飛行式のセンサ(ドローンを含む)を含んでもよい。また、計測装置7は、作業空間内の音又は物体の触覚を検出するセンサを含んでもよい。このように、計測装置7は、作業空間内の状態を検出する種々のセンサであって、任意の場所に設けられたセンサを含んでもよい。
【0019】
なお、
図1に示すロボット制御システム100の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、ロボット5は、複数台存在してもよく、ロボットアームなどの夫々が独立して動作する制御対象物を複数有してもよい。これらの場合であっても、ロボットコントローラ1は、目的タスクに基づき、ロボット5毎又は制御対象物毎の動作を規定するシーケンスを表す制御信号S1を、対象のロボット5に送信する。また、ロボット5は、作業空間内で動作する他のロボット、作業者又は工作機械と協働作業を行うものであってもよい。また、計測装置7は、ロボット5の一部であってもよい。また、指示装置2は、ロボットコントローラ1と同一の装置として構成されてもよい。また、ロボットコントローラ1は、複数の装置から構成されてもよい。この場合、ロボットコントローラ1を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、これらの複数の装置間において行う。また、ロボットコントローラ1とロボット5とは、一体に構成されてもよい。
【0020】
(2)
ハードウェア構成
図2(A)は、ロボットコントローラ1のハードウェア構成を示す。ロボットコントローラ1は、ハードウェアとして、プロセッサ11と、メモリ12と、インターフェース13とを含む。プロセッサ11、メモリ12及びインターフェース13は、データバス10を介して接続されている。
【0021】
プロセッサ11は、メモリ12に記憶されているプログラムを実行することにより、ロボットコントローラ1の全体の制御を行うコントローラ(演算装置)として機能する。プロセッサ11は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、TPU(Tensor Processing Unit)などのプロセッサである。プロセッサ11は、複数のプロセッサから構成されてもよい。プロセッサ11は、コンピュータの一例である。
【0022】
メモリ12は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ12には、ロボットコントローラ1が実行する処理を実行するためのプログラムが記憶される。なお、メモリ12が記憶する情報の一部は、ロボットコントローラ1と通信可能な1又は複数の外部記憶装置(例えば記憶装置4)により記憶されてもよく、ロボットコントローラ1に対して着脱自在な記憶媒体により記憶されてもよい。
【0023】
インターフェース13は、ロボットコントローラ1と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。
【0024】
なお、ロボットコントローラ1のハードウェア構成は、
図2(A)に示す構成に限定されない。例えば、ロボットコントローラ1は、表示装置、入力装置又は音出力装置の少なくともいずれかと接続又は内蔵してもよい。また、ロボットコントローラ1は、指示装置2又は記憶装置4の少なくとも一方を含んで構成されてもよい。
【0025】
図2(B)は、指示装置2のハードウェア構成を示す。指示装置2は、ハードウェアとして、プロセッサ21と、メモリ22と、インターフェース23と、入力部24aと、表示部24bと、音出力部24cと、を含む。プロセッサ21、メモリ22及びインターフェース23は、データバス20を介して接続されている。また、インターフェース23には、入力部24aと表示部24bと音出力部24cとが接続されている。
【0026】
プロセッサ21は、メモリ22に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ21は、CPU、GPUなどのプロセッサである。プロセッサ21は、インターフェース23を介して入力部24aが生成した信号を受信することで、入力信号を生成し、インターフェース23を介してロボットコントローラ1に当該入力信号を送信する。また、プロセッサ21は、インターフェース23を介してロボットコントローラ1から受信した出力制御信号に基づき、表示部24b又は音出力部24cの少なくとも一方を、インターフェース23を介して制御する。
【0027】
メモリ22は、RAM、ROM、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ22には、指示装置2が実行する処理を実行するためのプログラムが記憶される。
【0028】
インターフェース23は、指示装置2と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。また、インターフェース23は、入力部24a、表示部24b及び音出力部24cのインターフェース動作を行う。入力部24aは、ユーザの入力を受け付けるインターフェースであり、例えば、タッチパネル、ボタン、キーボード、音声入力装置などが該当する。表示部24bは、例えば、ディスプレイ、プロジェクタ等であり、プロセッサ21の制御に基づき表示を行う。また、音出力部24cは、例えば、スピーカであり、プロセッサ21の制御に基づき音出力を行う。
【0029】
なお、指示装置2のハードウェア構成は、
図2(B)に示す構成に限定されない。例えば、入力部24a、表示部24b又は音出力部24cの少なくともいずれかは、指示装置2と電気的に接続する別体の装置として構成されてもよい。また、指示装置2は、カメラなどの種々の装置と接続してもよく、これらを内蔵してもよい。
【0030】
(3)アプリケーション情報
次に、アプリケーション情報記憶部41が記憶するアプリケーション情報のデータ構造について説明する。
【0031】
図3は、アプリケーション情報のデータ構造の一例を示す。
図3に示すように、アプリケーション情報は、抽象状態指定情報I1と、制約条件情報I2と、動作限界情報I3と、サブタスク情報I4と、抽象モデル情報I5と、物体モデル情報I6と、相対領域データベースI7とを含む。
【0032】
抽象状態指定情報I1は、動作シーケンスの生成にあたり定義する必要がある抽象状態を指定する情報である。この抽象状態は、作業空間内における物体の抽象的な状態であって、後述する目標論理式において使用する命題として定められる。例えば、抽象状態指定情報I1は、目的タスクの種類毎に、定義する必要がある抽象状態を指定する。
【0033】
制約条件情報I2は、目的タスクを実行する際の制約条件を示す情報である。制約条件情報I2は、例えば、目的タスクがピックアンドプレイスの場合、障害物にロボット5(ロボットアーム)が接触してはいけないという制約条件、ロボット5(ロボットアーム)同士が接触してはいけないという制約条件などを示す。なお、制約条件情報I2は、目的タスクの種類毎に夫々適した制約条件を記録した情報であってもよい。
【0034】
動作限界情報I3は、ロボットコントローラ1により制御が行われるロボット5の動作限界に関する情報を示す。動作限界情報I3は、例えば、ロボット5の速度、加速度、又は角速度の上限を規定する情報である。なお、動作限界情報I3は、ロボット5の可動部位又は関節ごとに動作限界を規定する情報であってもよい。
【0035】
サブタスク情報I4は、動作シーケンスの構成要素となるサブタスクの情報を示す。「サブタスク」は、ロボット5が受付可能な単位により目的タスクを分解したタスクであって、細分化されたロボット5の動作を指す。例えば、目的タスクがピックアンドプレイスの場合には、サブタスク情報I4は、ロボット5のロボットアームの移動であるリーチングと、ロボットアームによる把持であるグラスピングとをサブタスクとして規定する。サブタスク情報I4は、目的タスクの種類毎に使用可能なサブタスクの情報を示すものであってもよい。
【0036】
抽象モデル情報I5は、作業空間におけるダイナミクスを抽象化したモデルに関する情報である。抽象モデル情報I5が表すモデルは、例えば、現実のダイナミクスをハイブリッドシステムにより抽象化したモデルであってもよい。この場合、抽象モデル情報I5は、上述のハイブリッドシステムにおけるダイナミクスの切り替わりの条件を示す情報を含む。切り替わりの条件は、例えば、ロボット5により作業対象となる物(「対象物」とも呼ぶ。)をロボット5が掴んで所定位置に移動させるピックアンドプレイスの場合、対象物はロボット5により把持されなければ移動できないという条件などが該当する。抽象モデル情報I5は、例えば、目的タスクの種類毎に抽象化したモデルに関する情報を有している。
【0037】
物体モデル情報I6は、計測装置7が生成した計測信号S2から認識すべき作業空間内の各物体の物体モデルに関する情報である。上述の各物体は、例えば、ロボット5、障害物、ロボット5が扱う工具その他の対象物、ロボット5以外の作業体などが該当する。物体モデル情報I6は、例えば、上述した各物体の種類、位置、姿勢、現在実行中の動作などをロボットコントローラ1が認識するために必要な情報と、各物体の3次元形状を認識するためのCAD(Computer Aided Design)データなどの3次元形状情報とを含んでいる。前者の情報は、ニューラルネットワークなどの機械学習における学習モデルを学習することで得られた推論器のパラメータを含む。この推論器は、例えば、画像が入力された場合に、当該画像において被写体となる物体の種類、位置、姿勢等を出力するように予め学習される。また、対象物などの主要な物体に画像認識用のARマーカが付されている場合には、ARマーカにより物体を認識するために必要な情報が物体モデル情報I6として記憶されてもよい。
【0038】
相対領域データベースI7は、作業空間に存在し得る物体(ゴール地点などの2次元領域も含む)の相対領域を表す情報(「相対領域情報」とも呼ぶ。)のデータベースである。相対領域情報は、対象となる物体を近似した領域であり、多角形又は円形などの2次元領域を表す情報であってもよく、凸多面体又は球体(楕円体)などの3次元領域を表す情報であってもよい。相対領域情報が表す相対領域は、対象となる物体の位置及び姿勢に依存しないように定義された相対座標系での領域であり、対象となる物体の実際の大きさ及び形状を勘案して予め設定される。上記の相対座標系は、例えば、物体の中心位置を原点とし、物体の正面方向をある座標軸の正方向に合わせた座標系であってもよい。相対領域情報は、CADデータであってもよく、メッシュデータであってもよい。
【0039】
相対領域情報は、物体の種類毎に設けられ、対応する物体の種類と関連付けられて相対領域データベースI7に登録されている。この場合、相対領域情報は、例えば、作業空間内に存在し得る物体の形状及び大きさの組み合わせのバリエーション毎に予め生成される。即ち、形状又は大きさのいずれか一方が異なる物体については、物体の種類が異なるとみなし、夫々に対する相対領域情報が相対領域データベースI7に登録される。好適な例では、相対領域情報は、計測信号S2に基づきロボットコントローラ1が認識する物体の識別情報と関連付けられて相対領域データベースI7に登録されている。相対領域情報は、領域の概念が存在する命題の領域(「命題領域」とも呼ぶ。)の決定に使用される。
【0040】
なお、アプリケーション情報記憶部41は、上述した情報の他、ロボットコントローラ1が制御信号S1を生成するために必要な種々の情報を記憶してもよい。例えば、アプリケーション情報記憶部41は、ロボット5の作業空間を特定する情報を記憶してもよい。他の例では、アプリケーション情報記憶部41は、命題領域の統合又は分割において使用する種々のパラメータの情報を記憶してもよい。
【0041】
(4)処理概要
次に、ロボットコントローラ1の処理概要について説明する。概略的には、ロボットコントローラ1は、作業空間内に存在する物体に関連する命題を設定する場合、当該物体と相対領域データベースI7において関連付けられた相対領域情報に基づき命題領域を設定する。また、ロボットコントローラ1は、設定した命題領域の統合又は分割を行う。これにより、ロボットコントローラ1は、物体の大きさ(即ち空間的な広がり)を好適に考慮して時相論理に基づくロボット5の動作計画を行い、目的タスクを完了するように好適にロボット5の制御を行う。
【0042】
図4は、ロボットコントローラ1の処理の概要を示す機能ブロックの一例である。ロボットコントローラ1のプロセッサ11は、機能的には、抽象状態設定部31と、命題設定部32と、目標論理式生成部33と、タイムステップ論理式生成部34と、抽象モデル生成部35と、制御入力生成部36と、ロボット制御部37とを有する。なお、
図4では、各ブロック間で授受が行われるデータの一例が示されているが、これに限定されない。後述する他の機能ブロックの図においても同様である。
【0043】
抽象状態設定部31は、計測装置7から供給される計測信号S2と、抽象状態指定情報I1と、物体モデル情報I6と、に基づき、作業空間内の抽象状態を設定する。この場合、抽象状態設定部31は、計測信号S2を受信した場合に、物体モデル情報I6等を参照し、目的タスクを実行する際に考慮する必要がある作業空間内の各物体の種類等の属性と位置及び姿勢などの状態とを認識する。状態の認識結果は、例えば、状態ベクトルとして表される。そして、抽象状態設定部31は、各物体に対する認識結果に基づいて、目的タスクを実行する際に考慮する必要がある各抽象状態に対し、論理式で表すための命題を定義する。抽象状態設定部31は、設定した抽象状態を表す情報(「抽象状態設定情報IS」とも呼ぶ。)を、命題設定部32に供給する。
【0044】
命題設定部32は、相対領域データベースI7を参照し、命題に対して設定すべき領域である命題領域を設定する。さらに、命題設定部32は、ロボット5の動作禁止領域に相当する近接した命題領域同士の統合、及びロボット5の動作可能領域に対応する命題領域の分割を行い、関連する命題の再定義を行う。そして、命題設定部32は、再定義した命題及び設定した命題領域等に関する情報を含んだ抽象状態の設定情報(「抽象状態再設定情報ISa」とも呼ぶ。)を、抽象モデル生成部35へ供給する。抽象状態再設定情報ISaは、抽象状態設定情報ISを命題設定部32の処理結果に基づき更新した情報に相当する。
【0045】
目標論理式生成部33は、抽象状態再設定情報ISaに基づき、指定された目的タスクを、最終的な達成状態を表す時相論理の論理式(「目標論理式Ltag」とも呼ぶ。)に変換する。この場合、目標論理式生成部33は、アプリケーション情報記憶部41から制約条件情報I2を参照することで、目的タスクの実行において満たすべき制約条件を、目標論理式Ltagに付加する。そして、目標論理式生成部33は、生成した目標論理式Ltagを、タイムステップ論理式生成部34に供給する。
【0046】
タイムステップ論理式生成部34は、目標論理式生成部33から供給された目標論理式Ltagを、各タイムステップでの状態を表した論理式(「タイムステップ論理式Lts」とも呼ぶ。)に変換する。そして、タイムステップ論理式生成部34は、生成したタイムステップ論理式Ltsを、制御入力生成部36に供給する。
【0047】
抽象モデル生成部35は、抽象モデル情報I5と、抽象状態再設定情報ISaとに基づき、作業空間における現実のダイナミクスを抽象化したモデルである抽象モデル「Σ」を生成する。抽象モデルΣの生成方法については後述する。抽象モデル生成部35は、生成した抽象モデルΣを、制御入力生成部36へ供給する。
【0048】
制御入力生成部36は、タイムステップ論理式生成部34から供給されるタイムステップ論理式Ltsと、抽象モデル生成部35から供給される抽象モデルΣとを満たし、評価関数を最適化するタイムステップ毎のロボット5への制御入力を決定する。そして、制御入力生成部36は、ロボット5へのタイムステップ毎の制御入力に関する情報(「制御入力情報Icn」とも呼ぶ。)を、ロボット制御部37へ供給する。
【0049】
ロボット制御部37は、制御入力生成部36から供給される制御入力情報Icnと、アプリケーション情報記憶部41が記憶するサブタスク情報I4とに基づき、ロボット5が解釈可能なサブタスクのシーケンスを表す制御信号S1を生成する。そして、ロボット制御部37は、インターフェース13を介して制御信号S1をロボット5へ供給する。なお、ロボット制御部37に相当する機能を、ロボットコントローラ1に代えてロボット5が有してもよい。この場合、ロボット5は、ロボットコントローラ1から供給される制御入力情報Icnに基づき、計画されたタイムステップ毎の動作を実行する。
【0050】
以上のように、目標論理式生成部33、タイムステップ論理式生成部34、抽象モデル生成部35、制御入力生成部36及びロボット制御部37は、抽象状態設定部31及び命題設定部32が設定した抽象状態(状態ベクトル、命題及び命題領域を含む)に基づき、時相論理を用いてロボット5の動作シーケンスを生成する。目標論理式生成部33、タイムステップ論理式生成部34、抽象モデル生成部35、制御入力生成部36及びロボット制御部37は、動作シーケンス生成手段の一例である。
【0051】
ここで、抽象状態設定部31、命題設定部32、目標論理式生成部33、タイムステップ論理式生成部34、抽象モデル生成部35、制御入力生成部36及びロボット制御部37の各構成要素は、例えば、プロセッサ11がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばFPGA(Field-Programmable Gate Array)又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ASSP(Application Specific Standard Produce)、ASIC(Application Specific Integrated Circuit)又は量子コンピュータ制御チップにより構成されてもよい。このように、各構成要素は、種々のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は,例えば,クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。
【0052】
(5)
各処理部の詳細
次に、
図4において説明した各処理部が実行する処理の詳細について順に説明する。
【0053】
(5-1)抽象状態設定部
まず、抽象状態設定部31は、物体モデル情報I6を参照し、作業空間の環境を認識する技術(画像処理技術、画像認識技術、音声認識技術、RFID(Radio Frequency Identifier)を用いる技術等)により計測信号S2を解析することで、作業空間に存在する物体の状態及び属性(種類等)を認識する。上述の画像認識技術には、深層学習に基づくセマンティックセグメンテーション、モデルマッチング、又はARマーカ等を用いた認識などが含まれる。上記の認識結果には、作業空間内の物体の種類、位置、及び姿勢などの情報が含まれている。また、作業空間内の物体は、例えば、ロボット5、ロボット5が取り扱う工具又は部品などの対象物、障害物及び他作業体(ロボット5以外に作業を行う人又はその他の物体)などである。
【0054】
次に、抽象状態設定部31は、計測信号S2等による物体の認識結果と、アプリケーション情報記憶部41から取得した抽象状態指定情報I1とに基づき、作業空間内の抽象状態を設定する。この場合、まず、抽象状態設定部31は、抽象状態指定情報I1を参照し、作業空間内において設定すべき抽象状態を認識する。なお、作業空間内において設定すべき抽象状態は、目的タスクの種類によって異なる。よって、目的タスクの種類毎に設定すべき抽象状態が抽象状態指定情報I1に規定されている場合には、抽象状態設定部31は、指定された目的タスクに対応する抽象状態指定情報I1を参照し、設定すべき抽象状態を認識する。
【0055】
図5は、ピックアンドプレイスを目的タスクとした場合の作業空間の俯瞰図を示す。
図5に示す作業空間には、2つのロボットアーム52a、52bと、4つの対象物61(61a~61d)と、障害物62a、62bと、対象物61の目的地である領域Gとが存在している。
【0056】
この場合、まず、抽象状態設定部31は、作業空間内の各物体の状態を認識する。具体的には、抽象状態設定部31は、対象物61の状態、障害物62a、62bの状態(ここでは存在範囲等)、ロボット5の状態、領域Gの状態(ここでは存在範囲等)などを夫々認識する。
【0057】
ここでは、抽象状態設定部31は、対象物61a~61dの各々の中心の位置ベクトル「x1」~「x4」を、対象物61a~61dの位置として認識する。また、抽象状態設定部31は、対象物を把持するロボットハンド53aの位置ベクトル「xr1」と、ロボットハンド53bの位置ベクトル「xr2」とを、ロボットアーム52aとロボットアーム52bの位置として認識する。なお、これらの位置ベクトルx1~x4,xr1,xr2は、対応する物体の姿勢(角度)に関する要素、速度に関する要素などの、状態に関する種々の要素を含んだ状態ベクトルとして定義されてもよい。
【0058】
同様に、抽象状態設定部31は、障害物62a、62bの存在範囲、領域Gの存在範囲等を認識する。例えば、抽象状態設定部31は、障害物62a、62b及び領域Gの中心位置又はこれに相当する基準位置を表す位置ベクトルを認識する。この位置ベクトルは、例えば、相対領域データベースI7を用いた命題領域の設定に用いられる。
【0059】
また、抽象状態設定部31は、抽象状態指定情報I1を参照することで、目的タスクにおいて定義すべき抽象状態を決定する。この場合、抽象状態設定部31は、作業空間内に存在する物体に関する認識結果(例えば物体の種類毎の個数)と、抽象状態指定情報I1とに基づき、抽象状態を示す命題を定める。
【0060】
図5の例では、抽象状態設定部31は、計測信号S2等に基づき認識した対象物61a~61dに対し、夫々識別ラベル「1」~「4」を付す。また、抽象状態設定部31は、対象物「i」(i=1~4)が最終的に載置されるべき目標地点である領域G内に存在するという命題「g
i」を定義する。また、抽象状態設定部31は、障害物62a、62bに対して夫々識別ラベル「O1」、「O2」を付し、対象物iが障害物O1に干渉しているという命題「o
1i」、及び、対象物iが障害物O2に干渉しているという命題「o
2i」を定義する。さらに、抽象状態設定部31は、ロボットアーム52同士が干渉するという命題「h」を定義する。なお、後述するように、障害物O1及び障害物O2は、統合された命題領域である禁止領域「O」として命題設定部32により再定義される。
【0061】
このように、抽象状態設定部31は、定義すべき抽象状態を認識し、当該抽象状態を表す命題(上述の例ではgi、o1i、o2i、h等)を、対象物61の数、ロボットアーム52の数、障害物62の数、ロボット5の数等に応じてそれぞれ定義する。そして、抽象状態設定部31は、設定した抽象状態(抽象状態を表す命題及び状態ベクトルを含む)を表す情報を、抽象状態設定情報ISとして命題設定部32に供給する。
【0062】
図6は、ロボット5が移動体である場合のロボット5の作業空間(動作範囲)の俯瞰図を示す。
図6に示す作業空間には、2体のロボット5A、5Bと、障害物72と、ロボット5A、5Bの目的地である領域Gとが存在している。
【0063】
この場合、まず、抽象状態設定部31は、作業空間内の各物体の状態を認識する。具体的には、抽象状態設定部31は、ロボット5A、5Bの位置、姿勢及び移動速度、障害物72及び領域Gの存在範囲等を認識する。そして、抽象状態設定部31は、ロボット5Aの位置、姿勢(及び移動速度)を表す状態ベクトル「x1」と、ロボット5Bの位置、姿勢(及び移動速度)を表す状態ベクトル「x2」とを夫々設定する。また、抽象状態設定部31は、ロボット5A、5Bをロボット「i」(i=1~2)により表し、ロボットiが最終的に載置されるべき目標地点である領域G内に存在するという命題「gi」を定義する。また、抽象状態設定部31は、障害物72a、72bに対して識別ラベル「O1」、「O2」を付し、ロボットiが障害物O1に干渉しているという命題「o1i」を定義し、ロボットiが障害物O2に干渉しているという命題「o2i」を定義する。さらに、抽象状態設定部31は、ロボットi同士が干渉するという命題「h」を定義する。なお、後述するように、障害物O1及び障害物O2は、統合された命題領域である禁止領域「O」として命題設定部32により定義される。
【0064】
このように、抽象状態設定部31は、ロボット5が移動体である場合においても、定義すべき抽象状態を認識し、かつ、当該抽象状態を表す命題を好適に設定することができる。そして、抽象状態設定部31は、抽象状態を表す命題を示す情報を、抽象状態設定情報ISとして命題設定部32に供給する。
【0065】
なお、設定されるタスクは、ロボット5が移動を行い、かつ、ピックアンドプレイスを行うもの(即ち
図5及び
図6の例の組み合わせに相当するもの)であってもよい。この場合においても、抽象状態設定部31は、
図5及び
図6の例の両方を包括する抽象状態を表す抽象状態設定情報ISを生成する。
【0066】
(5-2)
命題設定部
図7は、命題設定部32の機能的な構成を表す機能ブロック図の一例である。命題設定部32は、機能的には、禁止命題領域設定部321と、統合判定部322と、命題統合部323と、動作可能領域分割部324と、分割領域命題設定部325とを有する。以後では、命題設定部32が実行する処理である、ロボット5の動作が禁止される領域を表す命題領域(「禁止命題領域」とも呼ぶ。)の設定、禁止命題領域の統合、及びロボット5の動作可能領域の分割について順に説明する。
【0067】
(5-2-1)禁止命題領域の設定
禁止命題領域設定部321は、抽象状態設定情報IS及び相対領域データベースI7等に基づき、ロボット5の動作が禁止される領域を表す禁止命題領域を設定する。この場合、例えば、禁止命題領域設定部321は、抽象状態設定部31において障害物であると認識された物体の各々に対し、これらの物体に対応する相対領域情報を相対領域データベースI7から抽出し、これらの禁止命題領域を設定する。
【0068】
ここで、具体例として、
図5及び
図6の例において定義された命題o
1i、o
2iに関する禁止命題領域を設定する処理について説明する。この場合、まず、禁止命題領域設定部321は、障害物O1及び障害物O2に夫々対応する物体の種類と相対領域データベースI7において紐付けられた相対領域情報を抽出する。そして、禁止命題領域設定部321は、障害物O1及び障害物O2の位置及び姿勢を基準とし、相対領域データベースI7から夫々抽出した相対領域情報が示す各相対領域を、作業空間内において定める。そして、禁止命題領域設定部321は、障害物O1及び障害物O2の位置及び姿勢を基準として設定した障害物O1及び障害物O2の各相対領域を、禁止命題領域として設定する。
【0069】
ここで、相対領域情報が示す各相対領域は、障害物O1及び障害物O2を予めモデリングした仮想的な領域となる。よって、禁止命題領域設定部321は、障害物O1及び障害物O2の位置及び姿勢を基準として各相対領域を作業空間内に設定することで、実在する障害物O1及び障害物O2を好適に抽象化して表した禁止命題領域を設定することができる。
【0070】
(5-2-2)禁止命題領域の統合
次に、統合判定部322及び命題統合部323が実行する、禁止命題領域の統合に関する処理について説明する。
【0071】
統合判定部322は、禁止命題領域設定部321が設定した禁止命題領域の統合の要否を判定する。この場合、例えば、統合判定部322は、例えば、禁止命題領域設定部321が設定した禁止命題領域の2個以上の任意の組み合わせについて、統合した場合の面積(禁止命題領域が2次元領域の場合)又は体積(禁止命題領域が3次元領域の場合)の増加割合(「統合増加割合Pu」とも呼ぶ。)を算出する。そして、統合判定部322は、統合増加割合Puが所定の閾値(「閾値Puth」とも呼ぶ。)以下となる禁止命題領域の組が存在する場合、当該禁止命題領域の組を統合すべきと判定する。ここで、統合増加割合Puは、詳しくは、「対象の禁止命題領域が夫々占有する面積又は体積の和」に対する、「対象の禁止命題領域の組を統合させた領域の面積又は体積」の割合を指す。また、閾値Puthは、例えば、記憶装置4又はメモリ12等に予め記憶されている。なお、統合増加割合Puは、禁止命題領域の統合前後での面積又は体積の比較に基づき算出されるものに限定されない。例えば、統合増加割合Puは、禁止命題領域の統合前後での周囲の長さの合計の比較に基づき算出されるものであってもよい。
【0072】
例えば、
図5又は
図6の例では、統合判定部322は、障害物O1と障害物O2に対する禁止命題領域の組に対する統合増加割合Puが閾値Puth以下であることから、これらの禁止命題領域を統合すべきと判定する。
【0073】
命題統合部323は、統合判定部322が統合すべきと判定した禁止命題領域の組を統合した禁止命題領域(「統合禁止命題領域」とも呼ぶ。)を新たに設定し、設定した統合禁止命題領域に対応する命題の再定義を行う。例えば、
図5又は
図6の例では、命題統合部323は、統合判定部322が統合すべきと判定した障害物O1と障害物O2の禁止命題領域に基づき、破線枠により示される統合禁止命題領域である「禁止領域O」を設定する。さらに、命題統合部323は、禁止領域Oに対し、
図5の場合には、「対象物iが禁止領域Oに干渉している」という命題o
iを設定し、
図6の場合には、「ロボットiが禁止領域Oに干渉している」という命題o
iを設定する。
【0074】
ここで、禁止命題領域の統合に関する具体的態様について説明する。
図8(A)は、禁止命題領域R1、R2に対する統合禁止命題領域R3の第1設定例を示す。また、
図8(B)は、禁止命題領域R1、R2に対する統合禁止命題領域R3の第2設定例を示し、
図8(C)は、禁止命題領域R1、R2に対する統合禁止命題領域R3の第3設定例を示す。説明便宜上、一例として、禁止命題領域R1、R2は2次元領域であり、
図8(A)~(C)は、2次元領域の統合禁止命題領域R3が設定される例を示すものとする。
【0075】
図8(A)に示される第1設定例では、命題統合部323は、禁止命題領域R1、R2を囲む最小面積の多角形(ここでは6角形)を、統合禁止命題領域R3として設定している。また、
図8(B)に示される第2設定例では、命題統合部323は、禁止命題領域R1、R2を囲む最小の矩形を統合禁止命題領域R3として設定している。また、
図8(C)に示される第3設定例では、命題統合部323は、禁止命題領域R1、R2を囲む最小の円又は楕円を、統合禁止命題領域R3として設定している。これらのいずれの場合においても、命題統合部323は、禁止命題領域R1、R2を包含した統合禁止命題領域R3を好適に設定することができる。
【0076】
また、命題統合部323は、禁止命題領域が3次元領域である場合にも同様に、対象の禁止命題領域を包括する最小の凸多面体、球体若しくは楕円体を、統合禁止命題領域として設定すればよい。
【0077】
なお、統合判定部322が統合増加割合Puを算出するために想定する統合禁止命題領域と、命題統合部323が設定する統合禁止命題領域とは異なってもよい。例えば、統合判定部322は、
図8(A)の第1設定例に基づく統合禁止命題領域を対象として統合増加割合Puを算出して統合の要否を判定し、命題統合部323は、当該統合が必要と統合判定部322が判定した場合に、
図8(B)の第2設定例に基づく統合禁止命題領域を設定してもよい。
【0078】
(5-2-3)動作可能領域の分割
再び
図7を参照し、動作可能領域分割部324及び分割領域命題設定部325が実行する、ロボット5の動作可能領域の分割に関する処理について説明する。
【0079】
動作可能領域分割部324は、ロボット5の動作可能領域を分割する。この場合、動作可能領域分割部324は、禁止命題領域設定部321が設定した禁止命題領域と命題統合部323が設定した統合禁止命題領域とを除く作業空間を動作可能領域とみなし、当該動作可能領域を所定の幾何学的手法に基づき分割する。この場合の幾何学的手法は、例えば、バイナリ空間分割、四分木、八分木、ボロノイ図、又はドロネー図などが該当する。この場合、動作可能領域分割部324は、動作可能領域を2次元領域とみなして2次元の分割領域を生成してもよく、動作可能領域を3次元領域とみなして3次元の分割領域を生成してもよい。他の例では、動作可能領域分割部324は、多様体による表現を用いた位相幾何学的手法により、ロボット5の動作可能領域を分割してもよい。この場合、例えば、動作可能領域分割部324は、ロボット5の動作可能領域を局所座標系毎に分割する。
【0080】
分割領域命題設定部325は、動作可能領域分割部324により分割されたロボット5の動作可能領域(「分割動作可能領域」とも呼ぶ。)の各々を、命題領域として定義する。
【0081】
図9は、
図5又は
図6の例における分割動作可能領域の俯瞰図を示す。ここでは、動作可能領域分割部324は、一例として、禁止領域O以外の作業空間を禁止領域Oに接する線分又は面に基づき分割した4個の分割動作可能領域を生成している。なお、分割動作可能領域は、夫々矩形又は直方体となっている。そして、分割領域命題設定部325は、動作可能領域分割部324が生成した分割動作可能領域の各々に対して、命題領域「θ1」~「θ4」を設定する。
【0082】
ここで、分割動作可能領域を命題として定義する効果について補足説明する。命題領域として定義された分割動作可能領域は、その後の動作計画の処理において好適に用いられる。例えば、ロボットコントローラ1は、複数の分割動作可能領域に渡ってロボット5又はロボットハンドを移動させる必要がある場合、ロボット5又はロボットハンドの動作を、動作可能領域の遷移により簡易的に表すことが可能となる。また、この場合、ロボットコントローラ1は、対象の分割動作可能領域ごとにロボット5の動作計画を行うことが可能となる。例えば、ロボットコントローラ1は、目的タスクの完了状態(ゴール)に至るまでの1又は複数の中間状態(サブゴール)を分割動作可能領域に基づき設定し、目的タスクの開始から完了までに必要な複数のロボット5の動作シーケンスを逐次的に生成する。このように、目的タスクを分割動作可能領域に基づき複数の動作計画に分けて実行することで、制御入力生成部36での最適化処理の高速化等を好適に実現し、ロボット5に目的タスクを好適に実行させることができる。
【0083】
そして、命題設定部32は、禁止命題領域設定部321が設定した禁止命題領域と、命題統合部323が設定した統合禁止命題領域及び対応する命題と、分割領域命題設定部325が設定した分割動作可能領域に対応する命題領域とを表す情報を出力する。具体的には、命題設定部32は、これらの情報を抽象状態設定情報ISに反映した抽象状態再設定情報ISaを出力する。
【0084】
(5-3)目標論理式生成部
次に、目標論理式生成部33が実行する処理について具体的に説明する。
【0085】
例えば、
図5に示すピックアンドプレイスの例において、「最終的に全ての対象物が領域Gに存在する」という目的タスクが与えられたとする。この場合、目標論理式生成部33は、線形論理式(LTL:Linear Temporal Logic)の「eventually」に相当する演算子「◇」と、「always」に相当する演算子「□」、抽象状態設定部31により定義された命題「g
i」とを用いて、目的タスクのゴール状態を表す以下の論理式を生成する。
∧
i◇□g
i
【0086】
なお、目標論理式生成部33は、演算子「◇」と「□」以外の任意の時相論理の演算子(論理積「∧」、論理和「∨」、否定「¬」、論理包含「⇒」、next「○」、until「U」等)を用いて論理式を表現してもよい。また、線形時相論理に限らず、MTL(Metric Temporal Logic)やSTL(Signal Temporal Logic)などの任意の時相論理を用いて目的タスクに対応する論理式を表現してもよい。
【0087】
次に、目標論理式生成部33は、制約条件情報I2が示す制約条件を、目的タスクを表す論理式に付加することで、目標論理式Ltagを生成する。
【0088】
例えば、
図5に示すピックアンドプレイスに対応する制約条件として、「ロボットアーム52同士が常に干渉しない」、「対象物iは禁止領域Oに常に干渉しない」の2つが制約条件情報I2に含まれていた場合、目標論理式生成部33は、これらの制約条件を論理式に変換する。具体的には、目標論理式生成部33は、命題設定部32により定義された命題「o
i」及び抽象状態設定部31により定義された命題「h」を用いて、上述の2つの制約条件を、夫々以下の論理式に変換する。
□¬h
∧
i□¬o
i
【0089】
よって、この場合、目標論理式生成部33は、「最終的に全ての対象物が領域Gに存在する」という目的タスクに対応する論理式「∧i◇□gi」に、これらの制約条件の論理式を付加することで、以下の目標論理式Ltagを生成する。
(∧i◇□gi)∧(□¬h)∧(∧i□¬oi)
【0090】
なお、実際には、ピックアンドプレイスに対応する制約条件は、上述した2つに限られず、「ロボットアーム52が禁止領域Oに干渉しない」、「複数のロボットアーム52が同じ対象物を掴まない」、「対象物同士が接触しない」などの制約条件が存在する。このような制約条件についても同様に、制約条件情報I2に記憶され、目標論理式Ltagに反映される。
【0091】
次に、ロボット5が移動体である
図6に示す例について説明する。この場合、目標論理式生成部33は、目的タスクを表す論理式として、「最終的に全てのロボットが領域Gに存在する」を表す以下の論理命題を設定する。
∧
i◇□g
i
【0092】
また、目標論理式生成部33は、制約条件として、「ロボット同士が干渉しない」、「ロボットiは禁止領域Oに常に干渉しない」の2つが制約条件情報I2に含まれていた場合、これらの制約条件を論理式に変換する。具体的には、目標論理式生成部33は、命題設定部32により定義された命題「oi」及び抽象状態設定部31により定義された命題「h」を用いて、上述の2つの制約条件を、夫々以下の論理式に変換する。
□¬h
∧i□¬oi
【0093】
よって、この場合、目標論理式生成部33は、「最終的に全てのロボットが領域Gに存在する」という目的タスクに対応する論理式「∧i◇□gi」に、これらの制約条件の論理式を付加することで、以下の目標論理式Ltagを生成する。
(∧i◇□gi)∧(□¬h)∧(∧i□¬oi)
【0094】
このように、目標論理式生成部33は、ロボット5が移動体である場合においても、抽象状態設定部31の処理結果に基づき、目標論理式Ltagを好適に生成することができる。
【0095】
(5-4)タイムステップ論理式生成部
タイムステップ論理式生成部34は、目的タスクを完了するタイムステップ数(「目標タイムステップ数」とも呼ぶ。)を定め、目標タイムステップ数で目標論理式Ltagを満たすような各タイムステップでの状態を表す命題の組み合わせを定める。この組み合わせは、通常複数存在するため、タイムステップ論理式生成部34は、これらの組み合わせを論理和により結合した論理式を、タイムステップ論理式Ltsとして生成する。上述の組み合わせは、ロボット5に命令する動作のシーケンスを表す論理式の候補となり、以後では「候補φ」とも呼ぶ。
【0096】
ここで、
図5に示すピックアンドプレイスの説明におけるタイムステップ論理式生成部34の処理の具体例について説明する。
【0097】
ここでは、説明の簡略化のため、「最終的に対象物(i=2)が領域Gに存在する」という目的タスクが設定されたものとし、この目的タスクに対応する以下の目標論理式Ltagが目標論理式生成部33からタイムステップ論理式生成部34へ供給されたものとする。
(◇□g2)∧(□¬h)∧(∧i□¬oi)
この場合、タイムステップ論理式生成部34は、命題「gi」をタイムステップの概念を含むように拡張した命題「gi,k」を用いる。命題「gi,k」は、「タイムステップkで対象物iが領域Gに存在する」という命題である。
【0098】
ここで、目標タイムステップ数を「3」とした場合、目標論理式Ltagは、以下のように書き換えられる。
(◇□g2,3)∧(∧k=1,2,3□¬hk)∧(∧i,k=1,2,3□¬oi,k)
また、◇□g2,3は、以下の式(1)に示すように書き換えることが可能である。
【0099】
【0100】
このとき、上述した目標論理式Ltagは、以下の式(2)~式(5)に示される4つの候補「φ1」~「φ4」の論理和(φ1∨φ2∨φ3∨φ4)により表される。
【0101】
【0102】
よって、タイムステップ論理式生成部34は、4つの候補φ1~φ4の論理和をタイムステップ論理式Ltsとして定める。この場合、タイムステップ論理式Ltsは、4つの候補φ1~φ4の少なくともいずれかが真となる場合に真となる。なお、各候補φ1~φ4の制約条件に相当する部分「(∧k=1,2,3□¬hk)∧(∧i,k=1,2,3□¬oi,k)」については、候補φ1~φ4に組み込む代わりに、制御入力生成部36による最適化処理において候補φ1~φ4と論理積により結合させてもよい。
【0103】
次に、
図6に示すロボット5が移動体である例の場合について説明する。ここでは、説明の簡略化のため、「最終的にロボット(i=2)が領域Gに存在する」という目的タスクが設定されたものとし、この目的タスクに対応する以下の目標論理式Ltagが目標論理式生成部33からタイムステップ論理式生成部34へ供給されたものとする。この場合、以下の目標論理式Ltagが目標論理式生成部33からタイムステップ論理式生成部34へ供給される。
(
◇□g
2)∧(□¬h)∧(∧
i□¬o
i)
【0104】
この場合、タイムステップ論理式生成部34は、命題「gi」をタイムステップの概念を含むように拡張した命題「gi,k」を用いる。ここで、命題「gi,k」は、「タイムステップkでロボットiが領域Gに存在する」という命題である。ここで、目標タイムステップ数を「3」とした場合、目標論理式Ltagは、以下のように書き換えられる。
(◇□g2,3)∧(∧k=1,2,3□¬hk)∧(∧i,k=1,2,3□¬oi,k)
【0105】
また、◇□g2,3は、ピックアンドプレイスの例と同様、式(1)に書き換えることが可能である。そして、目標論理式Ltagは、ピックアンドプレイスの例と同様、式(2)~式(5)に示される4つの候補「φ1」~「φ4」の論理和(φ1∨φ2∨φ3∨φ4)により表される。よって、タイムステップ論理式生成部34は、4つの候補φ1~φ4の論理和をタイムステップ論理式Ltsとして定める。この場合、タイムステップ論理式Ltsは、4つの候補φ1~φ4の少なくともいずれかが真となる場合に真となる。
【0106】
次に、目標タイムステップ数の設定方法について補足説明する。
【0107】
タイムステップ論理式生成部34は、例えば、指示装置2から供給される入力信号により指定された作業の見込み時間に基づき、目標タイムステップ数を決定する。この場合、タイムステップ論理式生成部34は、メモリ12又は記憶装置4に記憶された、1タイムステップ当たりの時間幅の情報に基づき、上述の見込み時間から目標タイムステップ数を算出する。他の例では、タイムステップ論理式生成部34は、目的タスクの種類毎に適した目標タイムステップ数を対応付けた情報を予めメモリ12又は記憶装置4に記憶しておき、当該情報を参照することで、実行すべき目的タスクの種類に応じた目標タイムステップ数を決定する。
【0108】
好適には、タイムステップ論理式生成部34は、目標タイムステップ数を所定の初期値に設定する。そして、タイムステップ論理式生成部34は、制御入力生成部36が制御入力を決定できるタイムステップ論理式Ltsが生成されるまで、目標タイムステップ数を徐々に増加させる。この場合、タイムステップ論理式生成部34は、設定した目標タイムステップ数により制御入力生成部36が最適化処理を行った結果、最適解を導くことができなかった場合、目標タイムステップ数を所定数(1以上の整数)だけ加算する。
【0109】
このとき、タイムステップ論理式生成部34は、目標タイムステップ数の初期値を、ユーザが見込む目的タスクの作業時間に相当するタイムステップ数よりも小さい値に設定するとよい。これにより、タイムステップ論理式生成部34は、不必要に大きな目標タイムステップ数を設定することを好適に抑制する。
【0110】
(5-5)抽象モデル生成部
抽象モデル生成部35は、抽象モデル情報I5と、抽象状態再設定情報ISaとに基づき、抽象モデルΣを生成する。
【0111】
例えば、目的タスクがピックアンドプレイスの場合の抽象モデルΣについて説明する。この場合、対象物の位置や数、対象物を置く領域の位置、ロボット5の台数(又はロボットアーム52の数)等を特定しない汎用的な形式の抽象モデルが抽象モデル情報I5に記録されている。そして、抽象モデル生成部35は、抽象モデル情報I5に記録された、ロボット5のダイナミクスを含む汎用的な形式のモデルに対し、抽象状態再設定情報ISaが表す抽象状態及び命題領域等を反映することで、抽象モデルΣを生成する。これにより、抽象モデルΣは、作業空間内の物体の状態と、ロボット5のダイナミクスとが抽象的に表されたモデルとなる。作業空間内の物体の状態は、ピックアンドプレイスの場合には、対象物の位置及び数、対象物を置く領域の位置、ロボット5の台数、及び障害物の位置及び大きさ等を示す。
【0112】
ここで、ピックアンドプレイスを伴う目的タスクの作業時においては、作業空間内のダイナミクスが頻繁に切り替わる。例えば、
図5に示されるピックアンドプレイスの例では、ロボットアーム52が対象物iを掴んでいる場合には、当該対象物iを動かすことができるが、ロボットアーム52が対象物iを掴んでない場合には、当該対象物iを動かすことができない。
【0113】
以上を勘案し、本実施形態においては、ピックアンドプレイスの場合、対象物iを掴むという動作を論理変数「δ
i」により抽象表現する。この場合、例えば、抽象モデル生成部35は、
図5のピックアンドプレイスの例における作業空間に対して設定すべき抽象モデルΣのダイナミクスモデルを、以下の式(6)により定めることができる。
【0114】
【0115】
ここで、「uj」は、ロボットハンドj(「j=1」はロボットハンド53a、「j=2」はロボットハンド53b)を制御するための制御入力を示し、「I」は単位行列を示し、「0」は零行例を示す。なお、制御入力は、ここでは、一例として速度を想定しているが、加速度であってもよい。また、「δj,i」は、ロボットハンドjが対象物iを掴んでいる場合に「1」であり、その他の場合に「0」である論理変数である。また、「xr1」、「xr2」は、ロボットハンドj(j=1、2)の位置ベクトル、「x1」~「x4」は、対象物i(i=1~4)の位置ベクトルを示す。また、「h(x)」は、対象物を掴める程度に対象物の近傍にロボットハンドが存在する場合に「h(x)≧0」となる変数であり、論理変数δとの間で以下の関係を満たす。
δ=1 ⇔ h(x)≧0
この式では、対象物を掴める程度に対象物の近傍にロボットハンドが存在する場合には、ロボットハンドが対象物を掴んでいるとみなし、論理変数δを1に設定している。
【0116】
ここで、式(6)は、タイムステップkでの物体の状態とタイムステップk+1での物体の状態との関係を示した差分方程式である。そして、上記の式(6)では、把持の状態が離散値である論理変数により表わされ、物体の移動は連続値により表わされているため、式(6)はハイブリッドシステムを示している。
【0117】
また、式(6)では、ロボット5全体の詳細なダイナミクスではなく、対象物を実際に把持するロボット5の手先であるロボットハンドのダイナミクスのみを考慮している。これにより、制御入力生成部36による最適化処理の計算量を好適に削減することができる。
【0118】
また、抽象モデル情報I5には、ダイナミクスが切り替わる動作(ピックアンドプレイスの場合には対象物iを掴むという動作)に対応する論理変数、及び、計測信号S2等に基づく物体の認識結果から式(6)の差分方程式を導出するための情報が記録されている。よって、抽象モデル生成部35は、対象物の位置や数、対象物を置く領域(
図5では領域G)、ロボット5の台数等が変動する場合であっても、抽象モデル情報I5と物体の認識結果とに基づき、対象の作業空間の環境に即した抽象モデルΣを決定することができる。
【0119】
なお、他作業体が存在する場合、他作業体の抽象化されたダイナミクスに関する情報が抽象モデル情報I5に含まれてもよい。この場合、抽象モデルΣのダイナミクスモデルは、作業空間内の物体の状態と、ロボット5のダイナミクスと、他作業体のダイナミクスとが抽象的に表されたモデルとなる。また、抽象モデル生成部35は、式(6)に示されるモデルに代えて、混合論理動的(MLD:Mixed Logical Dynamical)システムまたはペトリネットやオートマトンなどを組み合わせたハイブリッドシステムのモデルを生成してもよい。
【0120】
次に、
図6に示すロボット5が移動体である場合の抽象モデルΣのダイナミクスモデルについて説明する。この場合、抽象モデル生成部35は、例えば、
図6に示される作業空間に対して設定すべき抽象モデルΣを、ロボット(i=1)に対する状態ベクトルx1及びロボット(i=2)に対する状態ベクトルx2を用いて、以下の式(7)により定める。
【0121】
【0122】
ここで、「u1」は、ロボット(i=1)に対する入力ベクトルを表し、「u2」は、ロボット(i=2)に対する入力ベクトルを表す。また、「A1」、「A2」、「B1」、「B2」は行列であり、抽象モデル情報I5に基づき定められる。
【0123】
他の例では、抽象モデル生成部35は、ロボットiの動作モードが複数存在する場合には、
図6に示される作業空間に対して設定すべき抽象モデルΣを、ロボットiの動作モードに応じてダイナミクスが切り替わるハイブリッドシステムにより表してもよい。この場合、抽象モデル生成部35は、ロボットiの動作モードを「mi」とすると、
図6に示される作業空間に対して設定すべき抽象モデルΣを、以下の式(8)により定める。
【0124】
【0125】
このように、抽象モデル生成部35は、ロボット5が移動体である場合においても、抽象モデルΣのダイナミクスモデルを好適に定めることができる。なお、抽象モデル生成部35は、式(7)又は式(8)に示されるモデルに代えて、MLDシステムまたはペトリネットやオートマトンなどを組み合わせたハイブリッドシステムのモデルを生成してもよい。
【0126】
なお、式(6)~式(8)等に示される抽象モデルΣにおける対象物やロボット5の状態を表すベクトルxi及び入力uiは、離散値であってもよい。ベクトルxi及び入力uiを離散的に表した場合であっても、抽象モデル生成部35は、現実のダイナミクスを好適に抽象化した抽象モデルΣを設定することができる。また、ロボット5が移動を行い、かつ、ピックアンドプレイスを行う目的タスクが設定されていた場合には、抽象モデル生成部35は、例えば、式(8)に示されるような動作モードの切り替えを想定したダイナミクスモデルを設定する。
【0127】
また、式(6)~式(8)において使用される対象物やロボット5の状態を表すベクトルxi及び入力uiは、特に離散値で考えた場合は、命題設定部32が設定した禁止命題領域及び分割動作可能領域に適した形で定義される。従って、この場合、命題設定部32が設定した禁止命題領域が考慮された抽象モデルΣが生成される。
【0128】
ここで、空間を離散化し、それを状態として表現(最も単純にはグリッド表現)する場合について考察する。この場合、例えば、禁止命題領域が大きいほど、グリッド(即ち離散化された単位空間)の一辺の長さを長くし、禁止命題領域が小さいほど、グリッドの一辺の長さを短くする。
【0129】
図10(A)は、
図6に示す例において、空間が離散化された場合の禁止命題領域である禁止領域Oを明示したロボット5A、5Bの作業空間の俯瞰図を示す。また、
図10(B)は、
図10(A)によりも大きい禁止領域Oが設定された場合のロボット5A、5Bの作業空間の俯瞰図を示す。
図10(A)、(B)では、説明便宜上、ロボット5A、5Bの目的地である領域Gについては図示していない。
図10(A)、(B)では、一例として、禁止領域Oの大きさに応じてグリッドの縦及び横の一辺の長さが決定されており、具体的には、いずれの例においても、禁止領域Oの縦及び横の長さのおよそ1/3となるようにグリッドの縦及び横の一辺の長さが夫々定められている。
【0130】
ここで、
図10(A)の場合と
図10(B)の場合とでは離散化の態様が異なるため、夫々の場合においてロボット5A、5Bの状態ベクトルの表現が異なる。言い換えると、
図10(A)におけるロボット5A、5Bの状態ベクトル「x1」、「x2」と、
図10(A)と同一状態のロボット5A、5Bの状態を表す
図10(B)での状態ベクトル「x
~1」、「x
~2」とは異なるものとなる。その結果、
図10(A)、(B)に対し夫々生成される抽象モデルΣも異なる。このように、命題設定部32が設定した禁止命題領域及び分割動作可能領域に応じて抽象モデルΣが変化する。
【0131】
なお、具体的なグリッドの一辺の長さは、実際には入力uiも勘案して決定される。例えば、1タイムステップでのロボットの移動量(動作量)が多いほど一辺の長さを大きくし、上記移動量が少ないほど一辺の長さは小さくする。
【0132】
(5-6)制御入力生成部
制御入力生成部36は、タイムステップ論理式生成部34から供給されるタイムステップ論理式Ltsと、抽象モデル生成部35から供給される抽象モデルΣとに基づき、最適となるタイムステップ毎のロボット5に対する制御入力を決定する。この場合、制御入力生成部36は、目的タスクに対する評価関数を定義し、抽象モデルΣ及びタイムステップ論理式Ltsを制約条件として評価関数を最小化する最適化問題を解く。評価関数は、例えば、目的タスクの種類毎に予め定められ、メモリ12又は記憶装置4に記憶されている。
【0133】
例えば、制御入力生成部36は、制御入力「uk」に基づき、評価関数を設定する。この場合、制御入力生成部36は、制御入力ukが小さい(即ちロボット5が費やすエネルギーが小さい)ほど小さくなるような評価関数の最小化を行う。具体的には、制御入力生成部36は、抽象モデルΣと、タイムステップ論理式Lts(即ち候補φiの論理和)に基づく論理式とを制約条件とする以下の式(9)に示す制約付き混合整数最適化問題を解く。
【0134】
【数6】
「T」は、最適化の対象となるタイムステップ数であり、目標タイムステップ数であってもよく、目標タイムステップ数よりも小さい所定数であってもよい。この場合、好適には、制御入力生成部36は、論理変数を連続値に近似する(連続緩和問題とする)とよい。これにより、制御入力生成部36は、計算量を好適に低減することができる。なお、線形論理式(LTL)に代えてSTLを採用した場合には、非線形最適化問題として記述することが可能である。
【0135】
また、制御入力生成部36は、目標タイムステップ数が長い場合(例えば所定の閾値より大きい場合)、最適化に用いるタイムステップ数を、目標タイムステップ数より小さい値(例えば上述の閾値)に設定してもよい。この場合、制御入力生成部36は、例えば、所定のタイムステップ数が経過する毎に、上述の最適化問題を解くことで、逐次的に制御入力ukを決定する。この場合、制御入力生成部36は、目的タスクの達成状態に対する中間状態に相当する所定のイベント毎に、上述の最適化問題を解き、制御入力ukを決定してもよい。この場合、制御入力生成部36は、次のイベント発生までのタイムステップ数を、最適化に用いるタイムステップ数に設定する。上述のイベントは、例えば、作業空間におけるダイナミクスが切り替わる事象である。例えば、ピックアンドプレイスを目的タスクとした場合には、ロボット5が対象物を掴む、ロボット5が運ぶべき複数の対象物のうちの1つの対象物を目的地点へ運び終える、などがイベントとして定められる。イベントは、例えば、目的タスクの種類毎に予め定められており、目的タスクの種類毎にイベントを特定する情報が記憶装置4に記憶されている。
【0136】
(5-7)ロボット制御部
ロボット制御部37は、制御入力生成部36から供給される制御入力情報Icnと、アプリケーション情報記憶部41が記憶するサブタスク情報I4とに基づき、サブタスクのシーケンス(サブタスクシーケンス)を生成する。この場合、ロボット制御部37は、サブタスク情報I4を参照することで、ロボット5が受け付け可能なサブタスクを認識し、制御入力情報Icnが示すタイムステップ毎の制御入力をサブタスクに変換する。
【0137】
例えば、サブタスク情報I4には、ピックアンドプレイスを目的タスクとする場合にロボット5が受け付け可能なサブタスクとして、ロボットハンドの移動(リーチング)とロボットハンドの把持(グラスピング)の2つのサブタスクを示す関数が定義されている。この場合、リーチングを表す関数「Move」は、例えば、当該関数実行前のロボット5の初期状態、当該関数実行後のロボット5の最終状態、及び当該関数の実行に要する所要時間をそれぞれ引数とする関数である。また、グラスピングを表す関数「Grasp」は、例えば、当該関数実行前のロボット5の状態、及び当該関数実行前の把持対象の対象物の状態、論理変数δをそれぞれ引数とする関数である。ここで、関数「Grasp」は、論理変数δが「1」のときに掴む動作を行うこと表し、論理変数δが「0」のときに放す動作を行うこと表す。この場合、ロボット制御部37は、関数「Move」を、制御入力情報Icnが示すタイムステップ毎の制御入力により定まるロボットハンドの軌道に基づき決定し、関数「Grasp」を、制御入力情報Icnが示すタイムステップ毎の論理変数δの遷移に基づき決定する。
【0138】
そして、ロボット制御部37は、関数「Move」と関数「Grasp」とにより構成されるシーケンスを生成し、当該シーケンスを表す制御信号S1をロボット5に供給する。例えば、目的タスクが「最終的に対象物(i=2)が領域Gに存在する」の場合、ロボット制御部37は、対象物(i=2)に最も近いロボットハンドに対し、関数「Move」、関数「Grasp」、関数「Move」、関数「Grasp」のシーケンスを生成する。この場合、対象物(i=2)に最も近いロボットハンドは、1回目の関数「Move」により対象物(i=2)の位置まで移動し、1回目の関数「Grasp」により対象物(i=2)を把持し、2回目の関数「Move」により領域Gまで移動し、2回目の関数「Grasp」により対象物(i=2)を領域Gに載置する。
【0139】
(6)
処理フロー
図11は、第1実施形態においてロボットコントローラ1が実行するロボット制御処理の概要を示すフローチャートの一例である。
【0140】
まず、ロボットコントローラ1の抽象状態設定部31は、作業空間に存在する物体の抽象状態を設定する(ステップS11)。ここで、抽象状態設定部31は、例えば、所定の目的タスクの実行を指示する外部入力を指示装置2等から受信した場合に、ステップS11を実行する。ステップS11では、抽象状態設定部31は、例えば、抽象状態指定情報I1、物体モデル情報I6及び計測信号S2に基づき、目的タスクに関連する物体に関する命題及び位置・姿勢等の状態ベクトルを設定する。
【0141】
次に、命題設定部32は、相対領域データベースI7を参照し、抽象状態設定情報ISから抽象状態再設定情報ISaを生成する処理である命題設定処理を実行する(ステップS12)。これにより、命題設定部32は、禁止命題領域の設定、統合禁止命題領域の設定、及び分割動作可能領域の設定などを行う。
【0142】
次に、目標論理式生成部33は、ステップS12の命題設定処理により生成された抽象状態再設定情報ISaに基づき、目標論理式Ltagを決定する(ステップS13)。この場合、目標論理式生成部33は、制約条件情報I2を参照することで、目的タスクの実行における制約条件を、目標論理式Ltagに付加する。
【0143】
そして、タイムステップ論理式生成部34は、目標論理式Ltagを、各タイムステップでの状態を表すタイムステップ論理式Ltsに変換する(ステップS14)。この場合、タイムステップ論理式生成部34は、目標タイムステップ数を定め、目標タイムステップ数で目標論理式Ltagを満たすような各タイムステップでの状態を表す候補φの論理和を、タイムステップ論理式Ltsとして生成する。この場合、好適には、タイムステップ論理式生成部34は、動作限界情報I3を参照することで、各候補φの実行可能性を判定し、実行不可能と判定される候補φを、タイムステップ論理式Ltsから除外するとよい。
【0144】
次に、抽象モデル生成部35は、抽象モデルΣを生成する(ステップS15)。この場合、抽象モデル生成部35は、抽象状態再設定情報ISa及び抽象モデル情報I5等に基づき、抽象モデルΣを生成する。
【0145】
そして、制御入力生成部36は、ステップS11~ステップS15の処理結果に基づき最適化問題を構築し、構築した最適化問題を解くことで制御入力を決定する(ステップS16)。この場合、例えば、制御入力生成部36は、式(9)に示されるような最適化問題を構築し、制御入力に基づき設定された評価関数を最小化するような制御入力を決定する。
【0146】
そして、ロボット制御部37は、ステップS16で決定された制御入力に基づき、ロボット5の制御を行う(ステップS17)。この場合、例えば、ロボット制御部37は、ステップS16で決定された制御入力を、サブタスク情報I4を参照してロボット5が解釈可能なサブタスクのシーケンスに変換し、当該シーケンスを表す制御信号S1をロボット5に供給する。これにより、ロボットコントローラ1は、目的タスクを実行するために必要な動作をロボット5に好適に実行させることができる。
【0147】
図12は、
図11のステップS12において命題設定部32が実行する命題設定処理の手順を示すフローチャートの一例である。
【0148】
まず、命題設定部32は、相対領域データベースI7に含まれる相対領域情報に基づき、禁止命題領域を設定する(ステップS21)。この場合、命題設定部32の禁止命題領域設定部321は、禁止命題領域を設定すべき命題に対応する障害物などの所定の物体に対応する相対領域情報を相対領域データベースI7から抽出する。そして、禁止命題領域設定部321は、抽出した相対領域情報が示す相対領域を、該当する物体の位置及び姿勢を基準として作業空間において定めた領域を、禁止命題領域として設定する。
【0149】
次に、統合判定部322は、統合増加割合Puが閾値Puth以下となる禁止命題領域の組が存在するか否か判定する(ステップS22)。そして、統合増加割合Puが閾値Puth以下となる禁止命題領域の組が存在すると統合判定部322が判定した場合(ステップS22;Yes)、命題統合部323は、統合増加割合Puが閾値Puth以下となる禁止命題領域の組を統合した統合禁止命題領域を設定する(ステップS23)。また、命題統合部323は、関連する命題の再定義を行う。一方、統合増加割合Puが閾値Puth以下となる禁止命題領域の組が存在しないと統合判定部322が判定した場合(ステップS22;No)、命題設定部32はステップS24へ処理を進める。
【0150】
次に、動作可能領域分割部324は、ロボット5の動作可能領域を分割する(ステップS24)。この場合、動作可能領域分割部324は、例えば、禁止命題領域設定部321が設定した禁止命題領域と命題統合部323が設定した統合禁止命題領域とを除く作業空間を動作可能領域とみなし、当該動作可能領域を分割した分割動作可能領域を生成する。そして、分割領域命題設定部325は、ステップS24で生成された分割動作可能領域の各々を命題領域として設定する(ステップS25)。
【0151】
(7)
変形例
次に、上述した実施形態の変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施形態に適用してもよい。
(第1変形例)
命題設定部32は、
図7に示される機能ブロック構成に代えて、統合判定部322及び命題統合部323による禁止命題領域の統合に関する処理と、動作可能領域分割部324及び分割領域命題設定部325による分割動作可能領域の設定に関する処理とのいずれか一方のみを実行してもよい。なお、統合判定部322及び命題統合部323による禁止命題領域の統合に関する処理を実行しない場合には、動作可能領域分割部324は、禁止命題領域設定部321が設定した禁止命題領域以外の作業空間をロボット5の動作可能領域とみなし、分割動作可能領域を生成する。
【0152】
本変形例においても、ロボットコントローラ1は、禁止命題領域の統合に関する処理を実行する命題設定部32の構成においては、複数の障害物等に対応する統合禁止命題領域を設定して効率的な動作計画が可能となるように抽象状態を好適に表現することができる。一方、ロボットコントローラ1は、分割動作可能領域の設定に関する処理を実行する命題設定部32の構成においては、分割動作可能領域を設定し、その後の動作計画において好適に活用することが可能となる。
【0153】
また、さらに別の例では、命題設定部32は、禁止命題領域設定部321に相当する機能のみを有してもよい。この場合においても、ロボットコントローラ1は、障害物等の物体の大きさを勘案した動作計画を好適に策定することができる。
【0154】
(第2変形例)
禁止命題領域設定部321は、ロボット5の動作可能領域を規制する物体(障害物)以外の物体の命題領域を設定してもよい。例えば、禁止命題領域設定部321は、
図5及び
図6の例における領域Gに相当するゴール地点、対象物、又はロボットハンド等に対し、相対領域データベースI7から対応する相対領域情報を抽出して参照することで、命題領域を設定してもよい。この場合、命題統合部323は、禁止命題領域以外の同一種類の命題領域の統合を行ってもよい。
【0155】
また、命題統合部323は、対応する命題に応じて、命題領域の統合の態様を異ならせてもよい。例えば、命題統合部323は、対象物又はロボット5のゴール地点に関する命題において、ゴール地点が複数領域の重複部分として定義される場合、当該複数領域に対して夫々設定された命題領域の重複部分を、ゴール地点を表す命題領域として定める。
【0156】
(第3変形例)
図4に示すプロセッサ11の機能ブロック構成は一例であり、種々の変更がなされてもよい。
【0157】
例えば、アプリケーション情報には、目的タスクに対応する制御入力又はサブタスクシーケンスを設計するためのフローチャートなどの設計情報が予め含まれており、ロボットコントローラ1は、当該設計情報を参照することで、制御入力又はサブタスクシーケンスを生成してもよい。なお、予め設計されたタスクシーケンスに基づきタスクを実行する具体例については、例えば特開2017-39170号に開示されている。
【0158】
<第2実施形態>
図13は、第2実施形態における命題設定装置1Xの概略構成図を示す。命題設定装置1Xは、主に、抽象状態設定手段31Xと、命題設定手段32Xとを有する。なお、命題設定装置1Xは、複数の装置から構成されてもよい。命題設定装置1Xは、例えば、第1実施形態におけるロボットコントローラ1とすることができる。
【0159】
抽象状態設定手段31Xは、ロボットが作業を行う作業空間内の計測結果に基づき、作業空間における物体の抽象的な状態である抽象状態を設定する。抽象状態設定手段31Xは、例えば、第1実施形態における抽象状態設定部31とすることができる。
【0160】
命題設定手段32Xは、抽象状態と、物体の相対的な領域に関する情報である相対領域情報とに基づき、前記物体に関する命題を領域により表した命題領域を設定する。命題設定手段32Xは、例えば、第1実施形態における命題設定部32とすることができる。なお、命題設定装置1Xは、抽象状態設定手段31X及び命題設定手段32Xの処理結果に基づき、ロボットの動作シーケンスを生成する処理を行ってもよく、ロボットの動作シーケンスを生成する処理を行う他の装置に、抽象状態設定手段31X及び命題設定手段32Xの処理結果を供給してもよい。
【0161】
図14は、第2実施形態において命題設定装置1Xが実行するフローチャートの一例である。まず、抽象状態設定手段31Xは、ロボットが作業を行う作業空間内の計測結果に基づき、作業空間における物体の抽象的な状態である抽象状態を設定する(ステップS31)。命題設定手段32Xは、抽象状態と、物体の相対的な領域に関する情報である相対領域情報とに基づき、前記物体に関する命題を領域により表した命題領域を設定する(ステップS32)。
【0162】
第2実施形態によれば、命題設定装置1Xは、時相論理を用いたロボットの動作計画において使用する命題領域を好適に設定することができる。
【0163】
なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(Non-Transitory Computer Readable Medium)を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体(Tangible Storage Medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記憶媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(Transitory Computer Readable Medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0164】
その他、上記の各実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
【0165】
[付記1]
ロボットが作業を行う作業空間内の計測結果に基づき、前記作業空間における物体の抽象的な状態である抽象状態を設定する抽象状態設定手段と、
前記抽象状態と、前記物体の相対的な領域に関する情報である相対領域情報とに基づき、前記物体に関する命題を領域により表した命題領域を設定する命題設定手段と、
を有する命題設定装置。
[付記2]
前記命題設定手段は、
前記抽象状態と、前記相対領域情報とに基づき、前記命題領域を設定する命題領域設定手段と、
複数の前記命題領域の統合の要否を判定する統合判定手段と、
前記統合を要すると判定された前記複数の命題領域に基づき、統合した命題領域を設定する命題統合手段と、
を有する付記1に記載の命題設定装置。
[付記3]
前記命題領域設定手段は、前記抽象状態と、前記相対領域情報とに基づき、前記物体が障害物である場合の前記命題領域である禁止命題領域を設定する、付記2に記載の命題設定装置。
[付記4]
前記統合判定手段は、複数の前記禁止命題領域の統合の要否を、当該複数の禁止命題領域を統合した場合の命題領域の面積又は体積の増加割合に基づき判定する、付記3に記載の命題設定装置。
[付記5]
前記命題設定手段は、
前記命題領域に基づき特定される前記ロボットの動作可能領域を分割する動作可能領域分割手段と、
分割された前記動作可能領域の各々に対する命題領域を設定する分割領域命題設定手段と、
を有する付記1~4のいずれか一項に記載の命題設定装置。
[付記6]
前記命題設定手段は、前記抽象状態として設定された前記物体の位置及び姿勢を基準として前記相対領域情報が表す相対領域を前記作業空間において定めた領域を、前記命題領域として設定する、付記1~5のいずれか一項に記載の命題設定装置。
[付記7]
前記命題設定手段は、物体の種類毎に当該物体の種類に応じた相対領域を表す相対領域情報を関連付けたデータベースから、前記計測結果において特定される前記物体に対応する前記相対領域情報を抽出し、抽出した前記相対領域情報に基づき前記命題領域を設定する、付記1~6のいずれか一項に記載の命題設定装置。
[付記8]
前記抽象状態と、前記命題領域とに基づき、前記ロボットの動作シーケンスを生成する動作シーケンス生成手段をさらに有する、付記1~7のいずれか一項に記載の命題設定装置。
[付記9]
前記動作シーケンス生成手段は、
前記ロボットが実行すべきタスクを時相論理に基づく論理式に変換する論理式変換手段と、
前記論理式から、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成するタイムステップ論理式生成手段と、
前記抽象状態と、前記命題領域とに基づき、前記作業空間におけるダイナミクスを抽象化した抽象モデルを生成する抽象モデル生成手段と、
前記抽象モデルと、前記タイムステップ論理式とを制約条件とする最適化により前記ロボットの時系列の制御入力を生成する制御入力生成手段と、
を有する、付記8に記載の命題設定装置。
[付記10]
コンピュータが、
ロボットが作業を行う作業空間内の計測結果に基づき、前記作業空間における物体の抽象的な状態である抽象状態を設定し、
前記抽象状態と、前記物体の相対的な領域に関する情報である相対領域情報とに基づき、前記物体に関する命題を領域により表した命題領域を設定する、
命題設定方法。
[付記11]
ロボットが作業を行う作業空間内の計測結果に基づき、前記作業空間における物体の抽象的な状態である抽象状態を設定し、
前記抽象状態と、前記物体の相対的な領域に関する情報である相対領域情報とに基づき、前記物体に関する命題を領域により表した命題領域を設定する処理をコンピュータに実行させるプログラムが格納された記憶媒体。
【0166】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
【符号の説明】
【0167】
1 ロボットコントローラ
1X 命題設定装置
2 指示装置
4 記憶装置
5 ロボット
7 計測装置
41 アプリケーション情報記憶部
100 ロボット制御システム