知財求人 - 知財ポータルサイト「IP Force」
特表2017-506169ロボット調理キッチン内の食品調製のための方法及びシステム
この文献は図面が300枚以上あるため,図面を表示できません.
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2017-506169(P2017-506169A)
(43)【公表日】2017年3月2日
(54)【発明の名称】ロボット調理キッチン内の食品調製のための方法及びシステム
(51)【国際特許分類】
B25J 13/08 20060101AFI20170210BHJP
B25J 13/00 20060101ALI20170210BHJP
【ＦＩ】
B25J13/08 A
B25J13/00 Z
【審査請求】未請求
【予備審査請求】未請求
【全頁数】276
(21)【出願番号】特願2016-570195(P2016-570195)
(86)(22)【出願日】2015年2月20日
(85)【翻訳文提出日】2016年8月19日
(86)【国際出願番号】IB2015000379
(87)【国際公開番号】WO2015125017
(87)【国際公開日】20150827
(31)【優先権主張番号】62/090,310
(32)【優先日】2014年12月10日
(33)【優先権主張国】US
(31)【優先権主張番号】62/013,502
(32)【優先日】2014年6月17日
(33)【優先権主張国】US
(31)【優先権主張番号】62/104,680
(32)【優先日】2015年1月16日
(33)【優先権主張国】US
(31)【優先権主張番号】61/942,559
(32)【優先日】2014年2月20日
(33)【優先権主張国】US
(31)【優先権主張番号】62/073,846
(32)【優先日】2014年10月31日
(33)【優先権主張国】US
(31)【優先権主張番号】62/013,691
(32)【優先日】2014年6月18日
(33)【優先権主張国】US
(31)【優先権主張番号】61/990,431
(32)【優先日】2014年5月8日
(33)【優先権主張国】US
(31)【優先権主張番号】62/044,677
(32)【優先日】2014年9月2日
(33)【優先権主張国】US
(31)【優先権主張番号】62/013,190
(32)【優先日】2014年6月17日
(33)【優先権主張国】US
(31)【優先権主張番号】62/024,948
(32)【優先日】2014年7月15日
(33)【優先権主張国】US
(31)【優先権主張番号】61/953,930
(32)【優先日】2014年3月16日
(33)【優先権主張国】US
(31)【優先権主張番号】62/116,563
(32)【優先日】2015年2月16日
(33)【優先権主張国】US
(31)【優先権主張番号】61/987,406
(32)【優先日】2014年5月1日
(33)【優先権主張国】US
(31)【優先権主張番号】62/113,516
(32)【優先日】2015年2月8日
(33)【優先権主張国】US
(31)【優先権主張番号】62/083,195
(32)【優先日】2014年11月22日
(33)【優先権主張国】US
(31)【優先権主張番号】62/109,051
(32)【優先日】2015年1月28日
(33)【優先権主張国】US
(31)【優先権主張番号】62/055,799
(32)【優先日】2014年9月26日
(33)【優先権主張国】US
(81)【指定国】
AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US
(71)【出願人】
【識別番号】516249975
【氏名又は名称】オレイニク マーク
(74)【代理人】
【識別番号】100086771
【弁理士】
【氏名又は名称】西島 孝喜
(74)【代理人】
【識別番号】100088694
【弁理士】
【氏名又は名称】弟子丸 健
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100109335
【弁理士】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100164530
【弁理士】
【氏名又は名称】岸 慶憲
(72)【発明者】
【氏名】オレイニク マーク
【テーマコード（参考）】
3C707
【Ｆターム（参考）】
3C707AS34
3C707BS12
3C707BS26
3C707CS05
3C707DS01
3C707ES06
3C707KS11
3C707KS31
3C707KS35
3C707KS36
3C707KT03
3C707KT04
3C707KV08
3C707KV11
3C707KX07
3C707LV14
3C707LW12
3C707MT06
(57)【要約】
本開示は、人間シェフの動き及び動作を置き換えることによって食品料理を調製するようにロボットに命令するための方法、コンピュータプログラム製品、及びコンピュータシステムに関する。人間シェフを監視する段階は、計装された用途特定の環境、この事例では標準化ロボットキッチン内で実施され、かつロボットキッチン内のロボット又は自動化システムに人間シェフによって調製される料理と規格及び品質に関して同じ料理を調製させることができる環境内の変動及び変化に対してロバストなロボット実行可能コマンドセットを開発するためにセンサとコンピュータとを用いて人間シェフのモーション及び動作を注視、監視、記録、及び解釈する段階を伴う。【選択図】図１
[この文献は図面を表示できません]
【特許請求の範囲】
【請求項1】
ロボット装置上で作動するコンピュータ実装式方法であって、
シェフによる食材から各食品料理を作るためのレシピを含む１又は２以上の食品料理の電子記述と、
各食品料理に関して、前記シェフが食材及びキッチン機材を用いて該食品料理の調製する時に複数のロボットセンサによってシェフの動きの観察シーケンスを感知する段階と、
特定の食品料理を調製する各段において実施される動きシーケンスに対応する小規模操作を前記観察シーケンス内で検出する段階と、
前記感知観察シーケンスを前記小規模操作シーケンスを実施することができるロボット装置を制御するためのコンピュータ可読命令に変換する段階と、
少なくとも前記小規模操作に対する命令シーケンスを各食品料理に関する電子媒体に格納する段階であって、各食品料理に関する該小規模操作シーケンスが、それぞれの電子記録として格納される前記格納する段階と、
食品料理に関する前記それぞれの電子記録を前記シェフのオリジナル動作に対応する前記格納小規模操作シーケンスを再現することができるロボット装置に送信する段階と、
特定の食品料理に関する小規模操作に対する命令シーケンスを前記ロボット装置によって実行し、それによって前記シェフによって調製されたオリジナル食品料理と実質的に同じ結果を取得する段階であって、該命令を実行する段階が、該食品料理を調製するのに使用される前記食材の性質を感知する段階を含む前記取得する段階と、
を含むことを特徴とする方法。
シェフによる食材から各食品料理を作るためのレシピを含む１又は２以上の食品料理の電子記述と、
各食品料理に関して、前記シェフが食材及びキッチン機材を用いて該食品料理の調製する時に複数のロボットセンサによってシェフの動きの観察シーケンスを感知する段階と、
特定の食品料理を調製する各段において実施される動きシーケンスに対応する小規模操作を前記観察シーケンス内で検出する段階と、
前記感知観察シーケンスを前記小規模操作シーケンスを実施することができるロボット装置を制御するためのコンピュータ可読命令に変換する段階と、
少なくとも前記小規模操作に対する命令シーケンスを各食品料理に関する電子媒体に格納する段階であって、各食品料理に関する該小規模操作シーケンスが、それぞれの電子記録として格納される前記格納する段階と、
食品料理に関する前記それぞれの電子記録を前記シェフのオリジナル動作に対応する前記格納小規模操作シーケンスを再現することができるロボット装置に送信する段階と、
特定の食品料理に関する小規模操作に対する命令シーケンスを前記ロボット装置によって実行し、それによって前記シェフによって調製されたオリジナル食品料理と実質的に同じ結果を取得する段階であって、該命令を実行する段階が、該食品料理を調製するのに使用される前記食材の性質を感知する段階を含む前記取得する段階と、
を含むことを特徴とする方法。
【請求項2】
各小規模操作段階をロボットセンサ動作、ロボット操作動作、及びロボット調節動作のシーケンスに事前プログラムする段階を更に含み、
前記事前プログラムされたロボット動作シーケンスは、電子ストレージから取り出され、かつ前記ロボット命令シーケンス内に挿入される、
ことを特徴とする請求項１に記載の方法。
前記事前プログラムされたロボット動作シーケンスは、電子ストレージから取り出され、かつ前記ロボット命令シーケンス内に挿入される、
ことを特徴とする請求項１に記載の方法。
【請求項3】
前記感知する段階及び格納する段階の間に、前記食品調製段に対応する複数のセンサからの前記感知データを前記ロボット装置を制御するためのコンピュータ可読命令セットに変換する段階を更に含み、
前記命令は、前記食品料理を調製する際の前記ロボット装置による一連の動きの実行を決定する、
ことを特徴とする請求項１に記載の方法。
前記命令は、前記食品料理を調製する際の前記ロボット装置による一連の動きの実行を決定する、
ことを特徴とする請求項１に記載の方法。
【請求項4】
前記コンピュータ可読命令セットは、前記特定の食品料理に関する前記食品調製に関連付けられた食材の性質に依存して１又は２以上のパラメータを調節する段階を含むことを特徴とする請求項３に記載の方法。
【請求項5】
前記１又は２以上のパラメータは、数値又は数値の範囲を取ることができる変数を含むことを特徴とする請求項４に記載の方法。
【請求項6】
前記１又は２以上のパラメータは、特定の食材に関する命令を調節するための１又は２以上の変数を含むことを特徴とする請求項５に記載の方法。
【請求項7】
前記１又は２以上のパラメータは、特定の小規模操作に関する命令を調節するための１又は２以上の変数を含むことを特徴とする請求項５に記載の方法。
【請求項8】
前記１又は２以上のパラメータは、特定の調理段に関する命令を調節するための１又は２以上の変数を含むことを特徴とする請求項５に記載の方法。
【請求項9】
前記１又は２以上のパラメータは、動作プリミティブに関する命令を調節するための１又は２以上の変数を含むことを特徴とする請求項５に記載の方法。
【請求項10】
前記１又は２以上のパラメータは、ロボットデバイスへの命令を含む前記ロボット装置に命令するための命令パラメータを含むことを特徴とする請求項５に記載の方法。
【請求項11】
前記１又は２以上のパラメータは、複数のシェフ定義パラメータを含むことを特徴とする請求項５に記載の方法。
【請求項12】
前記１又は２以上のパラメータは、複数のユーザ設定可能パラメータを含むことを特徴とする請求項５に記載の方法。
【請求項13】
前記ロボット動作に対する前記パラメータ調節は、前記食品料理を調製するプロセスにおいて前記ロボット装置によって決定された前記食材のセンサ値に基づいて動的に調節されることを特徴とする請求項４に記載の方法。
【請求項14】
前記機材に対する前記パラメータ調節は、前記食品料理のオリジナル調製において前記シェフによって設定された該機材に対するパラメータ値に基づく前記ロボット装置によるものであることを特徴とする請求項４に記載の方法。
【請求項15】
前記実行する段階は、前記シェフが前記オリジナル食品料理を調製するのと実質的に同じ時間量で同じ食品料理を前記ロボット装置が調製する段階を含むことを特徴とする請求項１に記載の方法。
【請求項16】
前記実行する段階は、前記ロボット装置によって実行される前記食品料理における各対応する食品調製段を含み、前記シェフによる前記オリジナル食品調製における対応する段階と実質的に同じ持続時間を有することを特徴とする請求項１に記載の方法。
【請求項17】
各段が、前記食品調製における１又は２以上の特定の小規模操作を含み、
前記小規模操作は、標準化事前プログラムロボット装置動作プリミティブのシーケンスとして認識され、
前記動作プリミティブシーケンスは、前記ロボット装置を制御するためのコンピュータ可読命令の全体的シーケンス内に挿入される、
ことを特徴とする請求項３に記載の方法。
前記小規模操作は、標準化事前プログラムロボット装置動作プリミティブのシーケンスとして認識され、
前記動作プリミティブシーケンスは、前記ロボット装置を制御するためのコンピュータ可読命令の全体的シーケンス内に挿入される、
ことを特徴とする請求項３に記載の方法。
【請求項18】
前記食品調製プロセスにおける前記特定小規模操作の全てが、標準化事前プログラムロボット装置動作プリミティブのシーケンスとして認識され、
前記動作プリミティブシーケンスは、前記ロボット装置を制御するためのコンピュータ可読命令の全体的シーケンス内に挿入される、
ことを特徴とする請求項３に記載の方法。
前記動作プリミティブシーケンスは、前記ロボット装置を制御するためのコンピュータ可読命令の全体的シーケンス内に挿入される、
ことを特徴とする請求項３に記載の方法。
【請求項19】
前記ロボット装置は、
各アームが事前決定自由度を有する第１及び第２のロボットアームと、
各ハンドがそれぞれの前記ロボットアームに結合された手首を有し、各手首が事前決定自由度を有する第１及び第２のロボットハンドと、
各ハンドが複数の指を含み、各対応するハンドの各指が、事前決定自由度を有し、かつ少なくとも１つの触覚センサを有する第１及び第２のロボットハンドと、
を含む、
ことを特徴とする請求項１に記載の方法。
各アームが事前決定自由度を有する第１及び第２のロボットアームと、
各ハンドがそれぞれの前記ロボットアームに結合された手首を有し、各手首が事前決定自由度を有する第１及び第２のロボットハンドと、
各ハンドが複数の指を含み、各対応するハンドの各指が、事前決定自由度を有し、かつ少なくとも１つの触覚センサを有する第１及び第２のロボットハンドと、
を含む、
ことを特徴とする請求項１に記載の方法。
【請求項20】
各アームにおける前記事前決定自由度は、少なくとも６つの自由度で構成されることを特徴とする請求項１９に記載の方法。
【請求項21】
各手首における前記事前決定自由度は、少なくとも２つの自由度で構成されることを特徴とする請求項１９に記載の方法。
【請求項22】
各指に対する前記事前決定自由度は、各指に対して少なくとも４つの自由度を含み、各指が、３つまでの関節を有することを特徴とする請求項１９に記載の方法。
【請求項23】
前記ロボットセンサは、少なくとも１つのビデオカメラを含むことを特徴とする請求項１に記載の方法。
【請求項24】
前記ロボットセンサは、少なくとも１つの距離センサを含むことを特徴とする請求項１に記載の方法。
【請求項25】
前記ロボットセンサは、少なくとも１つの触覚センサを含むことを特徴とする請求項１に記載の方法。
【請求項26】
前記１又は２以上の触覚センサは、各食品料理を調製する間に前記シェフによって着用されるグローブ内に埋め込まれることを特徴とする請求項２５に記載の方法。
【請求項27】
前記シェフによって着用されるグローブが、該シェフの食品調製プロセス中に各グローブ上の手掌面の変形を示す埋め込み表面マークを有することを特徴とする請求項１に記載の方法。
【請求項28】
前記シェフによって着用される前記グローブは、該シェフの食品調製プロセス中に各グローブ上の手掌面の変形を測定する埋め込み磁気センサを有することを特徴とする請求項１に記載の方法。
【請求項29】
前記ロボットセンサは、食品料理を調製する少なくとも１つの段に使用される物体の向き、距離、形状、及びサイズを検出するためのレーザベースのセンサを含むことを特徴とする請求項１に記載の方法。
【請求項30】
前記グローブ内の前記触覚センサは、前記ロボットハンドの指先にかつその前記手掌上に位置付けられることを特徴とする請求項２５に記載の方法。
【請求項31】
ロボット装置上で作動するコンピュータ実装式方法であって、
食品料理の名称と、該食品料理の食材と、該食品料理を食材から作るためのレシピとを含む１又は２以上の食品料理の電子記述のライブラリを与える段階と、
各小規模操作が少なくとも１つの食品料理を調製する段において少なくとも１つの識別可能な結果を生じる標準化小規模操作に対する事前プログラムされた命令のシーケンスを与える段階と、
前記シェフが食材及びキッチン機材を用いて前記食品料理を調製する時に複数のロボットセンサによってシェフの動きに対応する観察のシーケンスを感知する段階と、
前記観察のシーケンス内で標準化小規模操作を検出する段階であって、小規模操作が１又は２以上の観察に対応し、小規模操作のシーケンスが食品料理の調製に対応する前記検出する段階と、
シェフモーションの前記感知シーケンスに基づいて事前プログラムされた標準化小規模操作のシーケンスを認識するためのソフトウェア実装式方法に基づいて前記観察のシーケンスをロボット命令に変換する段階であって、該小規模操作の各々が、ロボット命令のシーケンスを含み、該ロボット命令が、動的感知作動とロボット動作作動を含む前記変換する段階と、
前記小規模操作のシーケンスとそれらの対応するロボット命令とを電子媒体に格納する段階であって、各食品料理に関する該命令のシーケンスと対応する該小規模操作とが各食品料理を調製するためのそれぞれの電子記録として格納される前記格納する段階と、
前記ロボット命令のシーケンスを再現かつ実行することができるロボット装置に食品料理に関するそれぞれの前記電子記録を送信する段階と、
前記ロボット装置によって各特定の食品料理に関する前記ロボット命令を実行し、それによって前記シェフによって調製されたオリジナル食品料理と実質的に同じ結果を取得する段階と、
を含むことを特徴とする方法。
食品料理の名称と、該食品料理の食材と、該食品料理を食材から作るためのレシピとを含む１又は２以上の食品料理の電子記述のライブラリを与える段階と、
各小規模操作が少なくとも１つの食品料理を調製する段において少なくとも１つの識別可能な結果を生じる標準化小規模操作に対する事前プログラムされた命令のシーケンスを与える段階と、
前記シェフが食材及びキッチン機材を用いて前記食品料理を調製する時に複数のロボットセンサによってシェフの動きに対応する観察のシーケンスを感知する段階と、
前記観察のシーケンス内で標準化小規模操作を検出する段階であって、小規模操作が１又は２以上の観察に対応し、小規模操作のシーケンスが食品料理の調製に対応する前記検出する段階と、
シェフモーションの前記感知シーケンスに基づいて事前プログラムされた標準化小規模操作のシーケンスを認識するためのソフトウェア実装式方法に基づいて前記観察のシーケンスをロボット命令に変換する段階であって、該小規模操作の各々が、ロボット命令のシーケンスを含み、該ロボット命令が、動的感知作動とロボット動作作動を含む前記変換する段階と、
前記小規模操作のシーケンスとそれらの対応するロボット命令とを電子媒体に格納する段階であって、各食品料理に関する該命令のシーケンスと対応する該小規模操作とが各食品料理を調製するためのそれぞれの電子記録として格納される前記格納する段階と、
前記ロボット命令のシーケンスを再現かつ実行することができるロボット装置に食品料理に関するそれぞれの前記電子記録を送信する段階と、
前記ロボット装置によって各特定の食品料理に関する前記ロボット命令を実行し、それによって前記シェフによって調製されたオリジナル食品料理と実質的に同じ結果を取得する段階と、
を含むことを特徴とする方法。
【請求項32】
前記シェフによって与えられたデフォルト値に基づいて前記ロボット命令に対するパラメータを設定する段階を更に含むことを特徴とする請求項３１に記載の方法。
【請求項33】
ユーザによって与えられた嗜好に基づいて前記ロボット命令に対するパラメータを設定する段階を更に含むことを特徴とする請求項３１に記載の方法。
【請求項34】
前記ロボット装置がその命令シーケンスを実行する時に前記ロボット命令内に記録され、かつ調節済みパラメータに変換された動的センサ観察に基づいて該ロボット命令に対するパラメータを調節する段階を更に含むことを特徴とする請求項３１に記載の方法。
【請求項35】
前記パラメータの調節は、前記食品料理を調製する際に本質的に同じ結果を取得するために前記食材の変動性を補償する段階を含むことを特徴とする請求項３１に記載の方法。
【請求項36】
前記パラメータの調節は、予測精度を最大化するために成果における予測エラーを最小化することを特徴とする請求項３５に記載の方法。
【請求項37】
最小化すべき累積エラーが、
[この文献は図面を表示できません]
によって推定され、前記予測される得られる精度は、[この文献は図面を表示できません]
によって推定されることを特徴とする請求項３６に記載の方法。
【請求項38】
最小化すべき累積エラーが、
[この文献は図面を表示できません]
によって推定され、前記得られる精度は、[この文献は図面を表示できません]
によって推定されることを特徴とする請求項３５に記載の方法。
【請求項39】
ソフトウェアに実装された１又は２以上の機械学習機構を更に含み、
前記学習機構は、特定の食品料理を調製するための前記ロボット命令シーケンスを一般化する、
ことを特徴とする請求項３１に記載の方法。
前記学習機構は、特定の食品料理を調製するための前記ロボット命令シーケンスを一般化する、
ことを特徴とする請求項３１に記載の方法。
【請求項40】
ロボット命令の前記一般化は、パラメータ値をある範囲のパラメータ値で置き換える段階を含むことを特徴とする請求項３１に記載の方法。
【請求項41】
ロボット命令の前記一般化は、前記食品調製小規模操作のうちの少なくとも１つに対して複数の代替命令を更に与えることを特徴とする請求項３１に記載の方法。
【請求項42】
好ましい小規模操作を決定するために少なくとも１つの小規模操作に対する前記代替ロボット命令を評価する段階を更に含むことを特徴とする請求項４１に記載の方法。
【請求項43】
前記機械学習機構は、ロボット事例ベースの学習を含むことを特徴とする請求項３１に記載の方法。
【請求項44】
前記機械学習機構は、ロボット強化学習を含むことを特徴とする請求項３１に記載の方法。
【請求項45】
第１の計装環境内で人間モーションを観察し、かつ人間モーションデータを生成することができるマルチモード感知システムと、
前記マルチモード感知システムから受け取った前記人間モーションデータを記録し、かつ該人間モーションデータを処理してモーションプリミティブを抽出するために該マルチモード感知システムに通信的に結合されたコンピュータと、
前記マルチモード感知システムに通信的に結合され、前記人間モーションデータを用いて第２の計装環境内で前記観察人間モーションを再現することができるロボット装置と、
を含むことを特徴とするロボットシステム。
前記マルチモード感知システムから受け取った前記人間モーションデータを記録し、かつ該人間モーションデータを処理してモーションプリミティブを抽出するために該マルチモード感知システムに通信的に結合されたコンピュータと、
前記マルチモード感知システムに通信的に結合され、前記人間モーションデータを用いて第２の計装環境内で前記観察人間モーションを再現することができるロボット装置と、
を含むことを特徴とするロボットシステム。
【請求項46】
前記再現することは、前記抽出モーションプリミティブを再生することを含むことを特徴とする請求項４５に記載のシステム。
【請求項47】
前記抽出モーションプリミティブは、高レベルモーションプリミティブから低レベルモーションプリミティブまでの範囲の複数のモーションプリミティブを含むことを特徴とする請求項４５に記載のシステム。
【請求項48】
前記抽出モーションプリミティブは、１又は２以上の高レベルモーションプリミティブと１又は２以上の低レベルモーションプリミティブとを含むことを特徴とする請求項４５に記載のシステム。
【請求項49】
第１及び第２のロボットアームと、
各ハンドがそれぞれのアームに結合された手首を有し、各ハンドが複数の多関節指と手掌とを有する第１及び第２のロボットハンドと、
各アクチュエータが単一自由度又は自由度の組合せを制御する複数のアクチュエータであって、各自由度が、回転要素、直線要素の相対運動、又はそのいずれかの組合せを含む前記複数のアクチュエータと、
を含むことを特徴とする請求項４５に記載のシステム。
各ハンドがそれぞれのアームに結合された手首を有し、各ハンドが複数の多関節指と手掌とを有する第１及び第２のロボットハンドと、
各アクチュエータが単一自由度又は自由度の組合せを制御する複数のアクチュエータであって、各自由度が、回転要素、直線要素の相対運動、又はそのいずれかの組合せを含む前記複数のアクチュエータと、
を含むことを特徴とする請求項４５に記載のシステム。
【請求項50】
第１及び第２のロボットアームと、
各ハンドがそれぞれのアームに結合された手首を有し、各ハンドが複数の多関節指と手掌とを有する第１及び第２のロボットハンドと、
各アクチュエータが前記ロボットアーム、ロボットハンド、指、又は手首内の可動関節の個々又はその組合せを制御する複数のアクチュエータと、
を含むことを特徴とする請求項４５に記載のシステム。
各ハンドがそれぞれのアームに結合された手首を有し、各ハンドが複数の多関節指と手掌とを有する第１及び第２のロボットハンドと、
各アクチュエータが前記ロボットアーム、ロボットハンド、指、又は手首内の可動関節の個々又はその組合せを制御する複数のアクチュエータと、
を含むことを特徴とする請求項４５に記載のシステム。
【請求項51】
前記第１の計装環境は、前記第２の計装環境と同じであることを特徴とする請求項４５に記載のシステム。
【請求項52】
前記第１の計装環境は、前記第２の計装環境とは異なっていることを特徴とする請求項４５に記載のシステム。
【請求項53】
前記第２の計装環境は、複数対のロボットアームと複数対のロボットハンドとを含み、複数対のロボットアーム及びハンドの組合せが、複数の人間によって調製されるものと同等な食品調製を実施することを特徴とする請求項４５に記載のシステム。
【請求項54】
前記人間モーションデータは、食品料理を調製する人間シェフの観察からのデータを含み、前記抽出モーションプリミティブは、食品調製段階のシーケンスを含むことを特徴とする請求項４５に記載のシステム。
【請求項55】
前記人間モーションデータは、キャンバス上に芸術作品を描く画家の観察からのデータを含み、前記抽出モーションプリミティブは、描く段階のシーケンスを含むことを特徴とする請求項４５に記載のシステム。
【請求項56】
前記人間モーションデータは、楽器を演奏する音楽家の観察からのデータを含み、前記抽出モーションプリミティブは、楽器演奏段階のシーケンスを含むことを特徴とする請求項４５に記載のシステム。
【請求項57】
前記コンピュータは、調理レシピを実施するための高レベルモーションコマンドのシーケンスを含有するレシピスクリプトを作成することを特徴とする請求項４５に記載のシステム。
【請求項58】
第１及び第２のロボットアームと、
各ハンドがそれぞれのアームに結合された手首を有し、各ハンドが手掌と複数の多関節指とを有し、それぞれの該ハンド上の各多関節指が少なくとも１つのセンサを有する第１及び第２のロボットハンドと、
複数の埋め込みセンサを有する前記それぞれのハンドを各グローブが覆う第１及び第２のグローブと、
を含むことを特徴とするロボットキッチンシステム。
各ハンドがそれぞれのアームに結合された手首を有し、各ハンドが手掌と複数の多関節指とを有し、それぞれの該ハンド上の各多関節指が少なくとも１つのセンサを有する第１及び第２のロボットハンドと、
複数の埋め込みセンサを有する前記それぞれのハンドを各グローブが覆う第１及び第２のグローブと、
を含むことを特徴とするロボットキッチンシステム。
【請求項59】
複数の標準化キッチン機材と、標準化キッチンツールと、標準化容器とを有する標準化ロボットキッチンを更に含むことを特徴とする請求項５８に記載のシステム。
【請求項60】
同じ食材の間で起こり得る変動を示す１又は２以上の性質を各食材が有する複数の標準化食材を有する標準化ロボットキッチンを更に含むことを特徴とする請求項５８に記載のシステム。
【請求項61】
特定の食材の前記１又は２以上の性質は、サイズ、寸法、及び重量を含むことを特徴とする請求項５８に記載のシステム。
【請求項62】
同じ標準化ロボットキッチンが、シェフが食品料理を調製し、かつロボットキッチンが同じ該食品料理を再現するために使用されることを特徴とする請求項５８に記載のシステム。
【請求項63】
前記ハンド上の前記複数の前記センサは、距離、圧力、温度、場所、力の分布及び量を測定し、かつ画像を取り込むことができることを特徴とする請求項５８に記載のシステム。
【請求項64】
前記それぞれのハンドの各指上の前記少なくとも１つの前記センサは、距離、圧力、温度、場所、力の分布及び量を測定し、かつ画像を取り込むことができることを特徴とする請求項５８に記載のシステム。
【請求項65】
前記複数のセンサは、触覚センサ、圧力センサ、カメラセンサ、奥行きセンサ、触覚センサ、及び歪みセンサを含むことを特徴とする請求項５８に記載のシステム。
【請求項66】
前記複数のセンサは、各ハンドの表面を取り囲んでその内側に位置付けられることを特徴とする請求項５８に記載のシステム。
【請求項67】
各ロボットアームが、該ロボットアーム上の各関節の位置及び速度を測定するための複数の関節エンコーダ及びレゾルバと、該ロボットアーム上の各関節でのトルクを測定するための複数の関節トルクセンサとを含むことを特徴とする請求項５８に記載のシステム。
【請求項68】
各手首が、該手首でのトルク及び力を測定するための６軸力及びトルクセンサを有することを特徴とする請求項５８に記載のシステム。
【請求項69】
前記第１及び第２のアーム及び前記第１及び第２のハンドは、該第１及び第２のアーム及び該第１及び第２のハンドの間の同期モーションのあらゆる組合せが可能であることを特徴とする請求項５８に記載のシステム。
【請求項70】
前記第１のアームは、前記食品調製機能を実施するのにより大きい力を必要とする前記シェフの動きに対応する第１の食品調製機能を実施することを特徴とする請求項５８に記載のシステム。
【請求項71】
前記第１のハンドは、前記第１のアームが第２のキッチンツールに取り付けられるのと実質的に同時に第１のキッチンツールに取り付けられることを特徴とする請求項５８に記載のシステム。
【請求項72】
前記第１のハンドは、前記第１のアームが第２の食品調製機能を実施するのと同時に第１の食品調製機能を実施し、それによってその段のタイミングが、前記ロボット再現と前記シェフの動きとの間の後続の１対１対応に適合する再現プロセスにおける点に調節されることを特徴とする請求項５８に記載のシステム。
【請求項73】
前記第１のハンドは、食品調製機能を前記第１のアームが同じ該食品調製機能を実施するのと同時に実施することを特徴とする請求項５８に記載のシステム。
【請求項74】
前記第１のハンドは、第１のキッチンツールに取り付けられ、前記第１のアームは、第２のキッチンツールに取り付けられることを特徴とする請求項５８に記載のシステム。
【請求項75】
前記第１及び第２のロボットアーム、前記第１及び第２のロボットハンド、及び前記複数のセンサは、防水性、広範囲温度耐性、化学的不活性及び安全性、及び食品安全性を有する材料で作られることを特徴とする請求項５８に記載のシステム。
【請求項76】
システムであって、
標準化キッチンモジュールと、
人間に物理的に結合された第１のタイプのセンサと該人間から離間した第２のタイプのセンサとを有する複数のマルチモードセンサと、
を含み、
前記第１のタイプのセンサは、人間外肢の姿勢を測定し、かつ該人間外肢のモーションデータを感知するためのものであり、
前記第２のタイプのセンサは、人間外肢の環境、物体、動き、及び場所の３次元構成の空間位置合わせを決定するためのものであり、該第２のタイプのセンサは、活動データを感知するように構成され、前記標準化キッチンモジュールは、該第２のタイプのセンサとインターフェース接続するためのコネクタを有し、
前記第１のタイプのセンサ及び前記第２のタイプのセンサは、前記モーションデータ及び前記活動データを測定し、かつ該モーションデータ及び該活動データの両方を食品調製のためのストレージ及びプロセスのためにコンピュータに送る、
ことを特徴とするシステム。
標準化キッチンモジュールと、
人間に物理的に結合された第１のタイプのセンサと該人間から離間した第２のタイプのセンサとを有する複数のマルチモードセンサと、
を含み、
前記第１のタイプのセンサは、人間外肢の姿勢を測定し、かつ該人間外肢のモーションデータを感知するためのものであり、
前記第２のタイプのセンサは、人間外肢の環境、物体、動き、及び場所の３次元構成の空間位置合わせを決定するためのものであり、該第２のタイプのセンサは、活動データを感知するように構成され、前記標準化キッチンモジュールは、該第２のタイプのセンサとインターフェース接続するためのコネクタを有し、
前記第１のタイプのセンサ及び前記第２のタイプのセンサは、前記モーションデータ及び前記活動データを測定し、かつ該モーションデータ及び該活動データの両方を食品調製のためのストレージ及びプロセスのためにコンピュータに送る、
ことを特徴とするシステム。
【請求項77】
前記第１のタイプのセンサは、人間外肢上の多関節関節の速さを測定するための位置センサ及び速度センサを含むことを特徴とする請求項７６に記載のシステム。
【請求項78】
前記第１のタイプのセンサは、距離センサ、タッチセンサ、接触場所センサ、分布センサ、及び力センサを含むことを特徴とする請求項７６に記載のシステム。
【請求項79】
前記第２のタイプのセンサは、カメラセンサ、レーザセンサ、超音波センサ、容量センサ、及び赤外線センサを含むことを特徴とする請求項７６に記載のシステム。
【請求項80】
前記第２のタイプのセンサは、ホール効果センサを含むことを特徴とする請求項７６に記載のシステム。
【請求項81】
前記人間外肢は、頭、腕、手、及び指を含むことを特徴とする請求項７６に記載のシステム。
【請求項82】
前記第２のタイプのセンサは、人間外肢の前記環境、物体、動き、及び場所の前記３次元構成の前記空間位置合わせを継続的に決定することを特徴とする請求項７６に記載のシステム。
【請求項83】
前記モーションデータは、該モーションデータをストレージ及びプロセスのためにコンピュータに送る前に事前処理されることを特徴とする請求項７６に記載のシステム。
【請求項84】
前記活動データは、該活動データをストレージ及びプロセスのためにコンピュータに送る前に事前処理されることを特徴とする請求項７６に記載のシステム。
【請求項85】
ロボット装置による食品調製のための方法であって、
前記ロボット装置を通じて食品料理を調製することによってレシピを再現する段階であって、該レシピが、１又は２以上の食品調製段に分解され、各食品調製段が、小規模操作及び能動プリミティブのシーケンスに分解され、各小規模操作が、動作プリミティブのシーケンスに分解される前記再現する段階、
を含み、
各小規模操作が、適用可能な物体の位置、向き、形状の変動及び１又は２以上の適用可能な食材に鑑みて該小規模操作に対して最適な結果を生じるように首尾良く試験済みである、
ことを特徴とする方法。
前記ロボット装置を通じて食品料理を調製することによってレシピを再現する段階であって、該レシピが、１又は２以上の食品調製段に分解され、各食品調製段が、小規模操作及び能動プリミティブのシーケンスに分解され、各小規模操作が、動作プリミティブのシーケンスに分解される前記再現する段階、
を含み、
各小規模操作が、適用可能な物体の位置、向き、形状の変動及び１又は２以上の適用可能な食材に鑑みて該小規模操作に対して最適な結果を生じるように首尾良く試験済みである、
ことを特徴とする方法。
【請求項86】
前記再現する段階の前に、前記標準化キッチンモジュール内のシェフのモーション、１又は２以上の物体の位置及び向きと、該シェフのモーションと有向物体との間のあらゆる相互作用力とを取り込む段階を更に含むことを特徴とする請求項８５に記載の方法。
【請求項87】
前記取り込む段階と前記再現する段階の間に、前記取り込んだデータをロボット命令に変換する段階を更に含むことを特徴とする請求項８６に記載の方法。
【請求項88】
各小規模操作が、食品調製において特定の結果を取得する際に基本機能単位を達成する動作プリミティブのシーケンスを含むことを特徴とする請求項８６に記載の方法。
【請求項89】
各動作プリミティブが、機能結果なしの食品調製に関する不可分の構築ブロックを含むことを特徴とする請求項８６に記載の方法。
【請求項90】
各食品調製段が、小規模操作及び動作プリミティブのシーケンスを含み、該動作プリミティブは、機能結果なしの食品調製のためのものであることを特徴とする請求項８６に記載の方法。
【請求項91】
前記ロボット装置は、１又は２以上のロボットアーム及び１又は２以上のロボットハンドを含むことを特徴とする請求項８６に記載の方法。
【請求項92】
前記ロボット装置は、独立ロボットプラットフォームを含むことを特徴とする請求項８６に記載の方法。
【請求項93】
感知グローブで被覆されたロボットハンドであって、
５つの指と、
前記５つの指に接続された手掌であって、該手掌が、
前記手掌の橈骨側で親指の基部の近くに配置された第１の変形可能領域、
前記手掌の尺骨側で前記橈骨側から離隔して配置された第２の変形可能領域、及び、
前記手掌上に配置されて前記指の基部を横切って延びる第３の変形可能領域、
である３つの領域に内部関節及び変形可能面材料を有する前記手掌と、
を含み、
前記第１の変形可能領域、前記第２の変形可能領域、前記第３の変形可能領域、及び前記内部関節の組合せが、食品調製のための小規模操作を実施するように集合的に作動する、
ことを特徴とするロボットハンド。
５つの指と、
前記５つの指に接続された手掌であって、該手掌が、
前記手掌の橈骨側で親指の基部の近くに配置された第１の変形可能領域、
前記手掌の尺骨側で前記橈骨側から離隔して配置された第２の変形可能領域、及び、
前記手掌上に配置されて前記指の基部を横切って延びる第３の変形可能領域、
である３つの領域に内部関節及び変形可能面材料を有する前記手掌と、
を含み、
前記第１の変形可能領域、前記第２の変形可能領域、前記第３の変形可能領域、及び前記内部関節の組合せが、食品調製のための小規模操作を実施するように集合的に作動する、
ことを特徴とするロボットハンド。
【請求項94】
前記集合的に作動する機能は、前記手掌の形状を形成する段階と、食品料理を調製する際のシェフの手のモーションの形状及び力に適合するように該手掌を通じて力を作用する段階とを含むことを特徴とする請求項９３に記載のロボットハンド。
【請求項95】
前記集合的に作動する機能は、キッチンツールを把持するために前記手掌に斜方手掌溝を形成する段階を含むことを特徴とする請求項８８に記載のロボットハンド。
【請求項96】
前記集合的に作動する機能は、食品調製操作のための椀形手掌形状を形成する段階を含むことを特徴とする請求項９３に記載のロボットハンド。
【請求項97】
前記第１の変形可能材料は、母指球隆起を含むことを特徴とする請求項９３に記載のロボットハンド。
【請求項98】
前記第２の変形可能材料は、小指球隆起を含むことを特徴とする請求項９３に記載のロボットハンド。
【請求項99】
前記第１の変形可能領域、前記第２の変形可能領域、及び前記第３の変形可能領域は、材料の形状を変更する際に力が印加された時に成形することができる変形可能材料を含むことを特徴とする請求項９３に記載のロボットハンド。
【請求項100】
前記第１、第２、及び第３の変形可能領域は、シリコン材料を含む軟質人間皮膚タイプ材料を含むことを特徴とする請求項９３に記載のロボットハンド。
【請求項101】
前記第１、第２、及び第３の変形可能領域は、圧力の印加時に変形する材料を含むことを特徴とする請求項９３に記載のロボットハンド。
【請求項102】
前記手掌の本体が、小規模操作を達成するための手掌面を構成するために１又は２以上のアクチュエータによって駆動される複数の内部関節を含むことを特徴とする請求項９３に記載のロボットハンド。
【請求項103】
前記手掌の本体が、小規模操作を実行するための事前定義手掌構造に従って手掌面を構成するために１又は２以上のアクチュエータによって駆動される複数の内部関節を含むことを特徴とする請求項９３に記載のロボットハンド。
【請求項104】
前記手掌の本体が、測定物体幾何学形状に適合する手掌面を構成するために１又は２以上のアクチュエータによって駆動される複数の内部関節を含むことを特徴とする請求項９３に記載のロボットハンド。
【請求項105】
前記手掌面の前記構成は、１又は２以上の圧力センサによって検出される圧力センサ信号によって決定されることを特徴とする請求項９３に記載のロボットハンド。
【請求項106】
前記手掌面の構成が、測定物体幾何学形状に適合する複数の形状特徴点によって決定されることを特徴とする請求項９３に記載のロボットハンド。
【請求項107】
前記形状特徴点を感知するための表面マークを有するセンサグローブを更に含むことを特徴とする請求項１０６に記載のロボットハンド。
【請求項108】
前記手掌面上の複数の領域に配分された複数の表面マークを有するセンサグローブを更に含むことを特徴とする請求項１０７に記載のロボットハンド。
【請求項109】
前記手掌面上の複数の領域に結合された複数の表面マークを有するセンサグローブを更に含み、
前記複数の表面マークは、前記手掌面の前記母指球隆起に配置された第１の表面マークグループ、該手掌面の前記小指球隆起に配置された第２の表面マークグループ、及び該手掌面上の前記指の前記基部を横切って配置された第３の表面マークグループである３つの表面マークグループを構成する、
ことを特徴とする請求項１０７に記載の装置。
前記複数の表面マークは、前記手掌面の前記母指球隆起に配置された第１の表面マークグループ、該手掌面の前記小指球隆起に配置された第２の表面マークグループ、及び該手掌面上の前記指の前記基部を横切って配置された第３の表面マークグループである３つの表面マークグループを構成する、
ことを特徴とする請求項１０７に記載の装置。
【請求項110】
前記表面マークの各々が、それぞれの前記特徴点の場所を識別するための凸面又は凹面コーナを有することを特徴とする請求項１０７に記載の装置。
【請求項111】
前記マークを検出し、かつ前記形状特徴点の３次元位置決めを計算するための１又は２以上のカメラセンサを更に含むことを特徴とする請求項１１０に記載の装置。
【請求項112】
手掌本体に対する形状特徴点を測定するための１又は２以上の磁気センサを更に含むことを特徴とする請求項９３に記載の装置。
【請求項113】
前記手掌面上の複数の領域に結合された複数の磁気センサが埋め込まれたセンサグローブを更に含み、
前記複数の磁気センサは、前記手掌面の前記母指球隆起に配置された第１の磁気センサグループ、該手掌面の前記小指球隆起に配置された第２の磁気センサグループ、及び該手掌面上の前記指の前記基部を横切って配置された第３の磁気センサグループである３つの磁気センサグループを構成する、
ことを特徴とする請求項９３に記載の装置。
前記複数の磁気センサは、前記手掌面の前記母指球隆起に配置された第１の磁気センサグループ、該手掌面の前記小指球隆起に配置された第２の磁気センサグループ、及び該手掌面上の前記指の前記基部を横切って配置された第３の磁気センサグループである３つの磁気センサグループを構成する、
ことを特徴とする請求項９３に記載の装置。
【請求項114】
前記手掌面に結合され、かつ前記複数の磁気センサのｘｙｚ座標位置に対する基準フレームとして機能する１又は２以上の磁石を更に含むことを特徴とする請求項９３に記載の装置。
【請求項115】
前記手掌面上の前記形状特徴点は、事前定義変形可能モデルを含有するデータベースライブラリから計算されることを特徴とする請求項９３に記載の装置。
【請求項116】
手掌本体が、形状特徴点を該手掌本体上の固定点に対して識別するための構造を与える基準フレームを作成するための複数の識別マークを有することを特徴とする請求項９３に記載の装置。
【請求項117】
各形状特徴点が、基準フレームに対するｘｙｚ座標位置のベクトルとして定義されることを特徴とする請求項９３に記載の装置。
【請求項118】
ロボット装置上のコンピュータ実装式方法であって、
複数の食品調製の動きを有する食品レシピを再現するためのロボット調理スクリプトを実行する段階と、
プロセッサ及びメモリを有し、各食品調製の動きが、標準化キッチンツール又は標準化物体、標準化ハンド操作動作又は物体、又は非標準化物体の標準化把持動作として識別されるかを決定するコンピュータシステムと、
を含み、
各食品調製の動きに対して、前記コンピュータシステムは、前記食品調製の動きが標準化把持動作又は標準化物体を伴う場合に、第１のデータベースライブラリにアクセスするようにロボット調理デバイスに命令し、該コンピュータシステムは、該食品調製の動きが標準化ハンド操作動作又は物体を伴う場合に、第２のデータベースライブラリにアクセスするように該ロボット調理デバイスに命令し、該コンピュータシステムは、該食品調製の動きが非標準化物体を伴う場合に、該非標準物体の３次元モデルを作成するように該ロボット調理デバイスに命令する、
ことを特徴とする方法。
複数の食品調製の動きを有する食品レシピを再現するためのロボット調理スクリプトを実行する段階と、
プロセッサ及びメモリを有し、各食品調製の動きが、標準化キッチンツール又は標準化物体、標準化ハンド操作動作又は物体、又は非標準化物体の標準化把持動作として識別されるかを決定するコンピュータシステムと、
を含み、
各食品調製の動きに対して、前記コンピュータシステムは、前記食品調製の動きが標準化把持動作又は標準化物体を伴う場合に、第１のデータベースライブラリにアクセスするようにロボット調理デバイスに命令し、該コンピュータシステムは、該食品調製の動きが標準化ハンド操作動作又は物体を伴う場合に、第２のデータベースライブラリにアクセスするように該ロボット調理デバイスに命令し、該コンピュータシステムは、該食品調製の動きが非標準化物体を伴う場合に、該非標準物体の３次元モデルを作成するように該ロボット調理デバイスに命令する、
ことを特徴とする方法。
【請求項119】
前記第１のデータベースライブラリは、複数の事前定義キッチンツールを含み、各キッチンツールが、該キッチンツールのためのコードと、該キッチンツールの以前に格納された３次元モデルと、該キッチンツールの性質とを含むソフトウェアファイルに関連付けられることを特徴とする請求項１１８に記載の方法。
【請求項120】
前記第２のデータベースライブラリは、特定の食品調製タスクに関連付けられた複数の事前定義小規模ハンド操作を含むことを特徴とする請求項１１８に記載の方法。
【請求項121】
前記非標準化物体に対して、前記コンピュータシステムは、前記ロボットデバイスが該非標準化物体を把持するのに最適な方法を決定するために、キッチンモジュール上の複数のセンサを起動させて該非標準化物体の３次元モデルを構築することを特徴とする請求項１１８に記載の方法。
【請求項122】
レシピスクリプト生成のための方法であって、
標準化キッチンモジュールの周囲にあるセンサから濾過生データを受信する段階と、
前記濾過生データからスクリプトデータのシーケンスを生成する段階と、
前記スクリプトデータのシーケンスを食品料理を調製するための機械可読かつ機械実行可能コマンドに変換する段階であって、該機械可読かつ機械実行可能コマンドが、１又は２以上の食品調製段、１又は２以上の小規模操作、及び１又は２以上の動作プリミティブで構成されるグループからの機能を実施するように１対のロボットアーム及びハンドを制御するためのコマンドを含む前記変換する段階と、
を含むことを特徴とする方法。
標準化キッチンモジュールの周囲にあるセンサから濾過生データを受信する段階と、
前記濾過生データからスクリプトデータのシーケンスを生成する段階と、
前記スクリプトデータのシーケンスを食品料理を調製するための機械可読かつ機械実行可能コマンドに変換する段階であって、該機械可読かつ機械実行可能コマンドが、１又は２以上の食品調製段、１又は２以上の小規模操作、及び１又は２以上の動作プリミティブで構成されるグループからの機能を実施するように１対のロボットアーム及びハンドを制御するためのコマンドを含む前記変換する段階と、
を含むことを特徴とする方法。
【請求項123】
前記変換する段階の後に、前記食品料理の１又は２以上の段を調製するための小規模操作を実施する際に前記ロボットアーム及びハンドに命令するための前記スクリプトデータのシーケンスを実行する段階を更に含むことを特徴とする請求項１２２に記載の方法。
【請求項124】
前記実行する段階は、実質的に同じ食品料理の取得を最適化するための実時間小規模操作適応化のために前記ロボットアーム、前記ロボットハンド、該食品料理を監視する段階を含むことを特徴とする請求項１２２に記載の方法。
【請求項125】
前記受信する段階は、複数のグループに編成される前記生データを収集する段階を含むことを特徴とする請求項１２２に記載の方法。
【請求項126】
前記複数のグループ内の第１のグループが、１又は２以上のセンサから感知された２次元生データ及び３次元生データを含むことを特徴とする請求項１２５に記載の方法。
【請求項127】
前記複数のグループ内の第２のグループが、１又は２以上のセンサから感知されたロボット装置生データを含むことを特徴とする請求項１２５に記載の方法。
【請求項128】
前記ロボット装置生データは、前記ロボット装置の内部位置、速度、関節、及びトルクに関連するデータを含むことを特徴とする請求項１２７に記載の方法。
【請求項129】
前記複数のグループ内の第３のグループが、１又は２以上のセンサから感知されたキッチンステータス生データを含み、該キッチンステータス生データは、アナログデータ及びバイナリデータを含むことを特徴とする請求項１２７に記載の方法。
【請求項130】
前記生成する段階は、データプロセスマッピングモジュール、データ抽出モジュール、及びデータ整理及び抽象化モジュールからの処理済みデータを併合する段階を含むことを特徴とする請求項１２２に記載の方法。
【請求項131】
前記併合する段階は、タイムスタンプと、対応する食材、使用機材、主要調理方法、及び監視かつ追跡される主要変数を有するプロセス段階とに従って処理済みデータを整える段階を含むことを特徴とする請求項１３０に記載の方法。
【請求項132】
前記データプロセスマッピングモジュールは、特定の食品料理の調製の一部として選択された食品調製段、選択された機材、選択されたキッチンツール、選択された食材、及び作動場所を識別するために前記標準化ロボットキッチンの作動環境を評価するように構成されることを特徴とする請求項１３０に記載の方法。
【請求項133】
前記データ抽出及びマッピングモジュールは、２次元画像データを抽出して該画像内の物体のエッジを抽出し、該画像内の周辺区域内の該物体の色及び質感を抽出し、該画像内のタイプ及び場所を識別し、該画像に可視の食材及び機材を識別し、かつ特定の食品調製段に関連付けるために２次元生データを処理するように構成されることを特徴とする請求項１３０に記載の方法。
【請求項134】
前記データ抽出及びマッピングモジュールは、物体性質情報、物体寸法、及び前記標準化ロボットキッチン内での該物体の相対的な３次元場所及び向きを含む処理済みデータを前記データ整理及び抽象化モジュールから受信することを特徴とする請求項１３３に記載の方法。
【請求項135】
前記データ整理及び抽象化モジュールは、３次元生データを受信し、かつ特定の食品調製段階に関連のある該３次元データの一部分を抽出するように構成されることを特徴とする請求項１３２に記載の方法。
【請求項136】
前記データ整理及び抽象化モジュールは、前記抽出３次元データを処理し、かつ前記生３次元データセット内の特定の物体の識別及び照合を可能にするための幾何学情報の抽出を含む計算段階を実施するように構成されることを特徴とする請求項１３５に記載の方法。
【請求項137】
前記データ整理及び抽象化モジュールは、前記３次元標準化ロボットキッチン内の前記物体のサイズ、タイプ、場所、及び向きを識別する段階を含むことを特徴とする請求項１３１に記載の方法。
【請求項138】
前記併合する段階は、スマート家電から情報を受信する段階を含むことを特徴とする請求項１２５に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
〔関連出願への相互参照〕本出願は、２０１５年２月１６日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｆｏｏｄ Ｐｒｅｐａｒａｔｉｏｎ ｉｎ ａ Ｒｏｂｏｔｉｃ Ｃｏｏｋｉｎｇ Ｋｉｔｃｈｅｎ（ロボット調理キッチン内における食品調製のための方法及びシステム）」という名称の米国仮特許出願第６２／１１６，５６３号、２０１５年２月８日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｆｏｏｄ Ｐｒｅｐａｒａｔｉｏｎ ｉｎ ａ Ｒｏｂｏｔｉｃ Ｃｏｏｋｉｎｇ Ｋｉｔｃｈｅｎ（ロボット調理キッチン内における食品調製のための方法及びシステム）」という名称の米国仮特許出願第６２／１１３，５１６号、２０１５年１月２８日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｆｏｏｄ Ｐｒｅｐａｒａｔｉｏｎ ｉｎ ａ Ｒｏｂｏｔｉｃ Ｃｏｏｋｉｎｇ Ｋｉｔｃｈｅｎ（ロボット調理キッチン内における食品調製のための方法及びシステム）」という名称の米国仮特許出願第６２／１０９，０５１号、２０１５年１月１６日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｒｏｂｏｔｉｃ Ｃｏｏｋｉｎｇ Ｋｉｔｃｈｅｎ（ロボット調理キッチンのための方法及びシステム）」という名称の米国仮特許出願第６２／１０４，６８０号、２０１４年１２月１０日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｒｏｂｏｔｉｃ Ｃｏｏｋｉｎｇ Ｋｉｔｃｈｅｎ（ロボット調理キッチンのための方法及びシステム）」という名称の米国仮特許出願第６２／０９０，３１０号、２０１４年１１月２２日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｒｏｂｏｔｉｃ Ｃｏｏｋｉｎｇ Ｋｉｔｃｈｅｎ（ロボット調理キッチンのための方法及びシステム）」という名称の米国仮特許出願第６２／０８３，１９５号、２０１４年１０月３１日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｒｏｂｏｔｉｃ Ｃｏｏｋｉｎｇ Ｋｉｔｃｈｅｎ（ロボット調理キッチンのための方法及びシステム）」という名称の米国仮特許出願第６２／０７３，８４６号、２０１４年９月２６日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｒｏｂｏｔｉｃ Ｃｏｏｋｉｎｇ Ｋｉｔｃｈｅｎ（ロボット調理キッチンのための方法及びシステム）」という名称の米国仮特許出願第６２／０５５，７９９号、２０１４年９月２日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｒｏｂｏｔｉｃ Ｃｏｏｋｉｎｇ Ｋｉｔｃｈｅｎ（ロボット調理キッチンのための方法及びシステム）」という名称の米国仮特許出願第６２／０４４，６７７号、２０１４年７月１５日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｒｏｂｏｔｉｃ Ｃｏｏｋｉｎｇ Ｋｉｔｃｈｅｎ（ロボット調理キッチンのための方法及びシステム）」という名称の米国仮特許出願第６２／０２４，９４８号、２０１４年６月１８日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｒｏｂｏｔｉｃ Ｃｏｏｋｉｎｇ Ｋｉｔｃｈｅｎ（ロボット調理キッチンのための方法及びシステム）」という名称の米国仮特許出願第６２／０１３，６９１号、２０１４年６月１７日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｒｏｂｏｔｉｃ Ｃｏｏｋｉｎｇ Ｋｉｔｃｈｅｎ（ロボット調理キッチンのための方法及びシステム）」という名称の米国仮特許出願第６２／０１３，５０２号、２０１４年６月１７日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｒｏｂｏｔｉｃ Ｃｏｏｋｉｎｇ Ｋｉｔｃｈｅｎ（ロボット調理キッチンのための方法及びシステム）」という名称の米国仮特許出願第６２／０１３，１９０号、２０１４年５月８日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｒｏｂｏｔｉｃ Ｃｏｏｋｉｎｇ Ｋｉｔｃｈｅｎ（ロボット調理キッチンのための方法及びシステム）」という名称の米国仮特許出願第６１／９９０，４３１号、２０１４年５月１日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｒｏｂｏｔｉｃ Ｃｏｏｋｉｎｇ Ｋｉｔｃｈｅｎ（ロボット調理キッチンのための方法及びシステム）」という名称の米国仮特許出願第６１／９８７，４０６号、２０１４年３月１６日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｒｏｂｏｔｉｃ Ｃｏｏｋｉｎｇ Ｋｉｔｃｈｅｎ（ロボット調理キッチンのための方法及びシステム）」という名称の米国仮特許出願第６１／９５３，９３０号、２０１４年２月２０日に出願された「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｒｏｂｏｔｉｃ Ｃｏｏｋｉｎｇ Ｋｉｔｃｈｅｎ（ロボット調理キッチンのための方法及びシステム）」という名称の米国仮特許出願第６１／９４２，５５９号に対して優先権を主張し、これらの出願の開示内容は、その全文が引用によって本明細書に組み込まれている。
【0002】
本発明は、一般的にロボット工学と人工知能との学際的分野に関し、より具体的には専門的及び非専門的なシェフの料理の食品調製プロセスをデジタル化し、次に、シェフの調理の動き、プロセス、及び技術を実時間電子調節を加えて再現することによる食品調製のためのコンピュータ式ロボット食品調製システムに関する。
【背景技術】
【0003】
ロボット工学における研究開発は数十年にわたって行われてきたが、その進歩は、大部分が自動車製造オートメーション又は軍事用途のような重工業用途におけるものであった。消費者市場のために簡易的なロボットシステムが設計されはしたが、これまでのところ家庭消費者ロボット空間における幅広い用途はほとんど見られていない。技術の進歩と高収入人口とがあいまって、この市場は、人々の生活を改善するための技術進歩の機会を創出するのに熟していると考えられる。ロボット工学は、高度な人工知能と、多くの形態にある人間の技能及び作業の模倣とによってオートメーション技術を改善し続けてきた。
【0004】
ロボットが最初に１９７０年代に開発されて以来、ロボットがある一定の分野において人間に入れ替わり、一般的に人間が実施することになる作業を実行するという概念は、継続的に発展する観念形態である。製造部門は、ロボットが休止又はオフライン中の固定軌道の生成及びダウンロードによってどのモーションを変更又は逸脱なしに継続的に複写すべきかを教示される教示再生モードでロボットを長い間用いてきた。企業は、コンピュータが教示する軌道の事前プログラムされた軌道実行及びロボットモーション再生を飲料の混合、溶接、又は自動車塗装等のような用途ドメインに取り入れてきた。しかし、これらの従来の用途の全ては、ロボットにモーションコマンドを忠実に実行させることだけを目論み、ほぼ常にロボットが教示／事前計算された軌道を逸脱せずに辿る１：１のコンピュータからロボットへの原理又は教示再生原理を用いている。
【0005】
美食法は、美食レシピが、高品質の食材及び全ての人間の感覚に訴える風味を巧妙に混ぜ合わせる良食技術である。美食調理は、非常に精巧なものである場合があり、専門技術及び技術を必要とし、幾つかの場合には長々とした訓練を必要とする技術に基づくルールに従う。ここ数年間、急激に増加する収入と料理の意識の世代間シフトとに起因して、美食食品に対する要求が極端に高まってきた。しかし、食事をする人々は、お気に入りのシェフによって作られた美食料理のためのある一定のレストラン又は会場を依然として訪ねる必要がある。それとは逆に、自分の好みの料理をシェフが実演調製するのを見ること、又は自分の祖母が作った子供時代の料理を思い出しながら料理の調製を経験することは有利であると考えられる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】米国仮特許出願第６２／１１６，５６３号公報
【特許文献2】米国仮特許出願第６２／１１３，５１６号公報
【特許文献3】米国仮特許出願第６２／１０９，０５１号公報
【特許文献4】米国仮特許出願第６２／１０４，６８０号公報
【特許文献5】米国仮特許出願第６２／０９０，３１０号公報
【特許文献6】米国仮特許出願第６２／０８３，１９５号公報
【特許文献7】米国仮特許出願第６２／０７３，８４６号公報
【特許文献8】米国仮特許出願第６２／０５５，７９９号公報
【特許文献9】米国仮特許出願第６２／０４４，６７７号公報
【特許文献10】米国仮特許出願第６２／０２４，９４８号公報
【特許文献11】米国仮特許出願第６２／０１３，６９１号公報
【特許文献12】米国仮特許出願第６２／０１３，５０２号公報
【特許文献13】米国仮特許出願第６２／０１３，１９０号公報
【特許文献14】米国仮特許出願第６１／９９０，４３１号公報
【特許文献15】米国仮特許出願第６１／９８７，４０６号公報
【特許文献16】米国仮特許出願第６１／９５３，９３０号公報
【特許文献17】米国仮特許出願第６１／９４２，５５９号公報
【非特許文献】
【0007】
【非特許文献1】Ｇａｒａｇｎａｎｉ，Ｍ．著（１９９９年）「Ｉｍｐｒｏｖｉｎｇ ｔｈｅ Ｅｆｆｉｃｉｅｎｃｙ ｏｆ Ｐｒｏｃｅｓｓｅｄ Ｄｏｍａｉｎ−ａｘｉｏｍｓ Ｐｌａｎｎｉｎｇ（処理対象ドメイン公理設計の効率の改善）」、ＰＬＡＮＳＩＧ−９９会報、英国マンチェスター、１９０〜１９２ページ
【非特許文献2】Ｌｅａｋｅ著資料（１９９６年書籍）「Ｃａｓｅ−Ｂａｓｅｄ Ｒｅａｓｏｎｉｎｇ：Ｅｘｐｅｒｉｅｎｃｅｓ，Ｌｅｓｓｏｎｓ ａｎｄ Ｆｕｔｕｒｅ Ｄｉｒｅｃｔｉｏｎｓ（事例に基づく推論：経験、レッスン、及び将来の方向性）」、ｈｔｔｐ：／／ｊｏｕｒｎａｌｓ．ｃａｍｂｒｉｄｇｅ．ｏｒｇ／ａｃｔｉｏｎ／ｄｉｓｐｌａｙＡｂｓｔｒａｃｔ？ｆｒｏｍＰａｇｅ＝ｏｎｌｉｎｅ＆ａｉｄ＝４０６８３２４＆ｆｉｌｅＩｄ＝Ｓ0２６９８８８９００００６５８５ｄｌ．ａｃｍ．ｏｒｇ／ｃｉｔａｔｉｏｎ．ｃｆｍ？ｉｄ＝５２４６８０
【非特許文献3】Ｃａｒｂｏｎｅｌｌ著資料（１９８３年）「Ｌｅａｒｎｉｎｇ ｂｙ Ａｎａｌｏｇｙ：Ｆｏｒｍｕｌａｔｉｎｇ ａｎｄ Ｇｅｎｅｒａｌｉｚｉｎｇ Ｐｌａｎｓ ｆｒｏｍ Ｐａｓｔ Ｅｘｐｅｒｉｅｎｃｅ（類推による学習：過去の経験からの計画の策定及び一般化）」、ｈｔｔｐ：／／ｌｉｎｋ．ｓｐｒｉｎｇｅｒ．ｃｏｍ／ｃｈａｐｔｅｒ／１０．１００７／９７８−３−６６２−１２４０５−５＿５
【非特許文献4】Ｋａｍａｋｕｒａ、Ｎｏｒｉｋｏ、Ｍｉｃｈｉｋｏ Ｍａｔｓｕｏ、Ｈａｒｕｍｉ Ｉｓｈｉｉ、Ｆｕｍｉｋｏ Ｍｉｔｓｕｂｏｓｈｉ、及びＹｏｒｉｋｏ Ｍｉｕｒａ著資料「Ｐａｔｔｅｒｎｓ ｏｆ ｓｔａｔｉｃ ｐｒｅｈｅｎｓｉｏｎ ｉｎ ｎｏｒｍａｌ ｈａｎｄｓ（通常のハンドにおける静的捕捉パターン）」、Ａｍｅｒｉｃａｎ Ｊｏｕｒｎａｌ ｏｆ Ｏｃｃｕｐａｔｉｏｎａｌ Ｔｈｅｒａｐｙ ３４（米国作業療法ジャーナル３４）、第７号（１９８０年）：４３７〜４４５ページ
【非特許文献5】Ａ．Ｋａｐａｎｄｊｉ著資料「Ｔｈｅ Ｐｈｙｓｉｏｌｏｇｙ ｏｆ ｔｈｅ Ｊｏｉｎｔｓ，Ｖｏｌｕｍｅ １：Ｕｐｐｅｒ Ｌｉｍｂ、６ｅ（関節生理学、第１巻：上肢、６ｅ）」、Ｃｈｕｒｃｈｉｌｌ Ｌｉｖｉｎｇｓｔｏｎｅ、第６版、２００７年
【発明の概要】
【発明が解決しようとする課題】
【0008】
従って、特定の美食料理を楽しむために世界中にある各レストランを訪ね歩く必要なしに、消費者の自宅で都合良くシェフの美食料理を作って消費者に配膳するためのシステム及び方法を有することが望ましいと考えられる。
【課題を解決するための手段】
【0009】
本開示の実施形態は、シェフが食品料理を調製した場合と実質的に同じ結果を伴う食品料理を再現するロボット命令を用いるロボット装置の方法、コンピュータプログラム製品、及びコンピュータシステムに関する。第１の実施形態において、標準化ロボットキッチン内のロボット装置は、食品料理を調製するシェフの詳細な動きを同じ食品料理を調製する際のシェフの詳細な動きの過去に記録されたソフトウェアファイル（レシピスクリプト）に基づいて同じシーケンス（又は実質的に同じシーケンス）及び同じタイミング（又は実質的に同じタイミング）で再現する２つのロボットアーム及びハンドを含む。第２の実施形態において、センサが備え付けられた調理装置上でシェフが食品料理を調製する時にコンピュータが経時的にセンサ値を記録するセンサを有する調理装置を用いて、過去にシェフが食品料理を調製した際にソフトウェアファイル内に記録された経時的温度等の感知曲線に基づいてコンピュータ制御式調理装置が同じ食品料理を調製する。第３の実施形態において、キッチン装置は、料理を調製するために第１の実施形態におけるロボットアームと、第２の実施形態におけるセンサを有する調理装置とを含み、それによってロボットアームと１又は２以上の感知曲線との両方が組み合わせられて、ロボットアームは、調理プロセス中に味、匂い、及び外観等の特性について品質チェックを行うことができ、食品料理の調製段階に対するあらゆる調理の調節が可能になる。第４の実施形態において、キッチン装置は、ユーザがシェフの調理指示に従うことによって食品料理を調製するために食材を保管及び供給するためのコンピュータ制御式容器と容器識別子とを用いる食品ストレージシステムを含む。第５の実施形態において、ロボット調理キッチンは、アームを有するロボットとキッチン装置とを含み、ロボットは、キッチン装置の周りを動き回り、レシピスクリプト内に定義された調製プロセスへの可能な実時間修正／適応化を含むシェフの詳細な調理の動きを模倣することによって食品料理を調製する。
【0010】
ロボット調理エンジンは、検出、記録、シェフ模倣調理の動き、温度及び時間等の重要なパラメータの制御、並びに指定された器具、機材、及びツールを用いる実行の処理を含み、それによってシェフによって調製される同じ料理と同一な味の美食料理が再現され、特定の好適な時間に配膳される。一実施形態では、ロボット調理エンジンは、同一な味の料理を生成するために同じ食材及び技術を用いてシェフの同一な動きを再現するためのロボットアームを提供する。
【0011】
本開示の根底に流れる動機は、人間をその活動の自然な実行中にセンサを用いて監視し、続いて１又は２以上のロボットシステム及び／又は自動化システムを用いて人間の活動を再現するための情報及びコマンドを生成するために監視センサ、取り込みセンサ、コンピュータ、及びソフトウェアを用いることができるということを基軸とする。複数のそのような活動（例えば、調理、描絵、楽器演奏等）を想像することができるが、本開示の一態様は、食物を調理すること、基本的にロボット食物調製用途に関する。計装された用途特定環境（この事例では標準化ロボットキッチン）内で人間シェフを監視する段階が実施され、この段階は、ロボットキッチン内のロボットシステム又は自動化システムが人間シェフによって調製される料理と規格及び品質に関して同じ料理を調製することを可能にすることができる環境内の変動及び変化に対してロバストなロボット実行可能コマンドセットを開発するために、センサとコンピュータとを用いて人間シェフのモーション及び動作を注視、監視、記録、及び解釈する段階を含む。
【0012】
マルチモード感知システムの使用は、必要な生データを収集する手段である。そのようなデータを収集して供給することができるセンサは、２次元センサ（カメラ等）及び３次元センサ（レーザ、ソナー等）、人間モーション取り込みシステム（人間が着用するカメラ−ターゲット、計装スーツ／外骨格、計装グローブ等）、並びにレシピの作成及び実行中に使用される計装機材（センサ）及び動力付き機材（アクチュエータ）（計装された器具、調理機材、ツール、食材取り出し器等）等の環境センサ及び幾何学センサを含む。これら全てのデータは、１又は２以上の分散／中央コンピュータによって収集されて、様々なソフトウェアプロセスによって処理される。アルゴリズムは、人間とコンピュータ制御式ロボットキッチンとが特定のシェフの重要な技能の再現を含む人間によって採られる活動、作業、動作、機材、食材、方法、及びプロセスを理解することができる点に達するまで、これらのデータを処理及び抽象化することになる。生データは、１又は２以上のソフトウェア抽象化エンジンにより、人間が解読可能であり、それと共に更なる処理を通じて機械理解可能かつ機械実行可能であり、ロボットキッチンが実行することが必要となる特定のレシピの全ての段階に関する全ての動作及びモーションを明記するレシピスクリプトを作成するように処理される。これらのコマンドは、複雑度において、レシピ内の特定の段階に関連して個々の関節を制御することから特定の経時的関節モーションプロファイルに至るまで、更に内部に低レベルモーション実行コマンドが埋め込まれた抽象化コマンドレベルに至るまでの範囲にわたる。抽象化モーションコマンド（例えば、「卵を平鍋の中に割り入れる」、「両面が黄金色になるまで表面を焼く」等）は生データから生成して、実時間及び／又はオフラインで実施される多数の反復学習プロセスを通じて精度を上げ、最適化することができ、それによってロボットキッチンシステムが、測定の不確実性、食材の変化等に首尾良く対処することが可能になり、かなり抽象化された／高レベルのコマンド（例えば、「ハンドルによって深鍋を掴め」、「中身を注ぎ出せ」、「カウンター台からスプーンを掴み取ってスープを撹拌せよ」等）に基づいて、ロボットアームに装着された指付きハンドと手首とを用いた複合的（適応的）小規模操作モーションが可能になる。
【0013】
この時点でデジタルファイルの内部に含まれる機械実行可能コマンドシーケンスを作成する能力は、共有／送信することができ、それによっていずれかのロボットキッチンがこれらのシーケンスを実行することが可能になり、いずれかの場所でいずれかの時間に料理調製を実行する選択肢が開かれる。従ってレシピをオンラインで購入／販売する選択肢が与えられ、それによってユーザが、使用毎又は購読ベースでレシピにアクセスし、配信することが可能になる。
【0014】
人間によって調製される料理の再現は、人間の動作が、ここではロボットアームセットによって実施され、コンピュータ監視されるコンピュータ制御可能な器具、機材、ツール、取り出し器等によって取り扱われることを除いて、基本的に料理の作成中に人間シェフによって使用される計装キッチンの標準化複製物であるロボットキッチンによって実施される。従って料理再現忠実度は、ロボットキッチンが、人間シェフが料理の調製中に観察されるキッチン（及びその全ての要素及び食材）の複製物であるその程度に密に結び付けられる。
【0015】
広義に述べると、シェフが食材から各食品料理を作るためのレシピを含む１又は２以上の食品料理の電子記述と、各食品料理に関して、シェフが食材及びキッチン機材を用いて食品料理を調製する時にシェフの動きの観察シーケンスを複数のロボットセンサによって感知する段階と、特定の食品料理を調製する各段において実施される動きシーケンスに対応する小規模操作を観察シーケンス内で検出する段階と、感知観察シーケンスを小規模操作シーケンスを実施することができるロボット装置を制御するためのコンピュータ可読命令に変換する段階と、各食品料理に関する小規模操作シーケンスがそれぞれの電子記録として格納される各食品料理に関する少なくとも小規模操作に対する命令シーケンスを電子媒体上に格納する段階と、食品料理に関するそれぞれの電子記録をシェフのオリジナル動作に対応する格納小規模操作シーケンスを再現することができるロボット装置に送信する段階と、特定の食品料理に関する小規模操作に対する命令シーケンスをロボット装置によって実行し、それによってシェフによって調製されたオリジナル食品料理と実質的に同じ結果を取得する段階であって、命令を実行する段階が、食品料理を調製するのに使用される食材の性質を感知する段階を含む上記取得する段階とを含むロボット装置上で作動するコンピュータ実装式方法を提供することができる。
【0016】
有利なことに、標準化ロボットキッチン内のロボット装置は、一種類の食事様式に特化している可能性があるシェフと比較して、世界的ネットワーク及びデータベースアクセスを通じて世界中からの多彩な食事様式を調製する能力を有する。標準化ロボットキッチンは、同じ料理を何度も繰り返し調製するのに苦労する繰り返しプロセスなしに、自分の好みの食品料理のうちの１つを楽しみたいと思った時のロボット装置による再現に向けてこの食品料理を取り込んで記録することもできる。
【0017】
本発明の構造及び方法を下記の詳細説明において開示する。本要約は本発明を定義することを意図したものではない。本発明は特許請求の範囲によって定義される。本発明の上記及びその他の実施形態、特徴、態様、及び利点は、以下に続く説明、添付の特許請求の範囲、及び添付図面を精査することによってより明快に理解されることになるであろう。
【0018】
本発明をその特定の実施形態に関して以下に説明し、以下に続く図面を参照する。
【図面の簡単な説明】
【0019】
【図1】本発明によるハードウェア及びソフトウェアを用いる全体的ロボット食品調製キッチンを例示するシステム図である。
【図2】本発明によるシェフスタジオシステムと家庭用ロボットキッチンシステムとを含む食品ロボット調理システムの第１の実施形態を例示するシステム図である。
【図3】本発明によるシェフのレシピプロセス、技術、及び動きを再現することによって料理を調製するための標準化ロボットキッチンの一実施形態を例示するシステム図である。
【図4】本発明によるシェフスタジオシステム及び家庭用ロボットキッチンシステム内でのコンピュータとの併用のためのロボット食品調製エンジンの一実施形態を例示するシステム図である。
【図5A】本発明によるシェフスタジオレシピ作成プロセスを例示するブロック図である。
【図5B】本発明による標準化教示／再生ロボットキッチンの一実施形態を例示するブロック図である。
【図5C】本発明によるレシピスクリプト生成抽象化エンジンの一実施形態を例示するブロック図である。
【図5D】本発明による標準化ロボットキッチン内での物体操作のためのソフトウェア要素を例示するブロック図である。
【図6】本発明によるマルチモード感知及びソフトウェアエンジン構造を例示するブロック図である。
【図7A】本発明によるシェフによって使用される標準化ロボットキッチンモジュールを例示するブロック図である。
【図7B】本発明による１対のロボットのアーム及びハンドを有する標準化ロボットキッチンモジュールを例示するブロック図である。
【図7C】本発明によるシェフによって使用される標準化ロボットキッチンモジュールの物理的レイアウトの一実施形態を例示するブロック図である。
【図7D】本発明による１対のロボットのアーム及びハンドによって使用される標準化ロボットキッチンモジュールの物理的レイアウトの一実施形態を例示するブロック図である。
【図7E】本発明による標準化ロボットキッチンによって実行される場合のレシピスクリプトに基づくレシピ再現プロセス中に制御点又は検証点が存在することを確実にする段階的フロー及び方法を描示するブロック図である。
【図8A】本発明によるシェフの動きとロボットの忠実に模倣する動きとの間の変換アルゴリズムモジュールの一実施形態を例示するブロック図である。
【図8B】シェフの動きを取り込んで送信するためにシェフ４９によって着用される１対のセンサ付きグローブを例示するブロック図である。
【図8C】本発明によるシェフのグローブから取り込まれた感知データに基づくロボット調理実行を例示するブロック図である。
【図8D】平衡に対する動的安定曲線と動的不安定曲線とを例示するグラフ図である。
【図8E】本発明による段と呼ぶ段階シーケンスを必要とする食品調製プロセスを例示するシーケンス図である。
【図8F】本発明による全体的成功確率を食品料理を調製するための段の個数の関数として例示するグラフ図である。
【図8G】小規模操作及び動作プリミティブを用いた多段ロボット食品調製におけるレシピ実行を例示するブロック図である。
【図9A】本発明によるキッチンツール、物体、又はキッチン機材を検出して動かすために触覚振動センサ、ソナーセンサ、及びカメラセンサを有するロボットハンド及びロボット手首の例を示すブロック図である。
【図9B】本発明による標準化ロボットキッチン内での操作に向けて１対のロボットのアーム及びハンドに結合されたセンサカメラを有するパン−チルトヘッドを例示するブロック図である。
【図9C】本発明による標準化ロボットキッチン内での作動のためのロボット手首上のセンサカメラを例示するブロック図である。
【図9D】本発明による標準化ロボットキッチン内での作動のためのロボットハンド上のハンド内単眼カメラを例示するブロック図である。
【図9E】本発明によるロボットハンド内の変形可能手掌の態様を例示する絵画図である。
【図9F】本発明によるロボットハンド内の変形可能手掌の態様を例示する絵画図である。
【図9G】本発明によるロボットハンド内の変形可能手掌の態様を例示する絵画図である。
【図9H】本発明によるロボットハンド内の変形可能手掌の態様を例示する絵画図である。
【図9I】本発明によるロボットハンド内の変形可能手掌の態様を例示する絵画図である。
【図10A】特定のレシピに対する食品調製プロセス中にシェフの動きを記録して取り込むためにロボットキッチン環境内でシェフが着用するシェフ記録デバイスの例を示すブロック図である。
【図10B】本発明によるロボットの姿勢、モーション、及び力によってシェフのモーションの取り込みを評価するプロセスの一実施形態を例示する流れ図である。
【図11】本発明による家庭用ロボットキッチンシステム内での使用のためのロボットアーム実施形態の側面図を例示するブロック図である。
【図12A】本発明による手掌を有するロボットハンドとの併用のためのキッチンハンドルの一実施形態を例示するブロック図である。
【図12B】本発明による手掌を有するロボットハンドとの併用のためのキッチンハンドルの一実施形態を例示するブロック図である。
【図12C】本発明による手掌を有するロボットハンドとの併用のためのキッチンハンドルの一実施形態を例示するブロック図である。
【図13】本発明による触覚センサと分布圧力センサとを有する例示的ロボットハンドを示す絵画図である。
【図14】本発明によるロボット調理スタジオにおいてシェフが着用するための感知衣装の例を示す絵画図である。
【図15A】本発明によるシェフによる食品調製のためのセンサ付き三指触覚グローブの一実施形態と例示的センサ付き三指ロボットハンドとを示す絵画図である。
【図15B】本発明によるシェフによる食品調製のためのセンサ付き三指触覚グローブの一実施形態と例示的センサ付き三指ロボットハンドとを示す絵画図である。
【図16】本発明による小規模操作ライブラリデータベースの作成モジュールと小規模操作ライブラリデータベースの実行モジュールとを例示するブロック図である。
【図17A】本発明による標準化作動の動きを実行する上でシェフによって使用される感知グローブを例示するブロック図である。
【図17B】本発明によるロボットキッチンモジュール内での標準化作動の動きのデータベースを例示するブロック図である。
【図18A】本発明によるロボットハンドの各々が人工的な人間様の軟質皮膚グローブで被覆されることを例示するグラフ図である。
【図18B】本発明による事前定義されて内部に格納された小規模操作を有するライブラリデータベースに基づいて高レベル小規模操作を実行するために人工的な人間様の皮膚グローブで被覆されたロボットハンドを例示するブロック図である。
【図18C】本発明による食品調製のための操作動作分類の３つの種類を例示するグラフ図である。
【図18D】本発明による食品調製のための操作動作分類についての一実施形態を例示する流れ図である。
【図18E】本発明によるロボットアームとロボットハンドとの間の相互機能及び相互作用の一例を示すブロック図である。
【図18F】本発明による調理用具ヘッドに着接可能な標準化キッチンハンドルを用いるロボットハンドとキッチン用具に着接可能なロボットアームとを例示するブロック図である。
【図19】本発明による卵をナイフで割る結果を生じる小規模操作の作成を例示するブロック図である。
【図20】本発明による実時間調節を伴う小規模操作に関するレシピ実行の例を示すブロック図である。
【図21】標準化キッチンモジュール内でのシェフの食品調製の動きを取り込むソフトウェアプロセスを例示する流れ図である。
【図22】本発明によるロボット標準化キッチンモジュール内でのロボット装置による食品調製のためのソフトウェアプロセスを例示する流れ図である。
【図23】本発明による小規模操作システムに関して様々なパラメータ組合せを作成し、試験し、検証し、格納するためのソフトウェアプロセスの一実施形態を例示する流れ図である。
【図24】本発明による小規模操作システムに対する作業を作成するためのソフトウェアプロセスの一実施形態を例示する流れ図である。
【図25】本発明による標準化ロボットキッチン内の標準化キッチンツール、標準化物体、及び標準化機材のライブラリを割り当てて利用するプロセスを例示する流れ図である。
【図26】本発明による３次元モデル化を用いて非標準化物体を識別するプロセスを例示する流れ図である。
【図27】本発明による小規模操作の試験及び学習のための工程を例示する流れ図である。
【図28】本発明によるロボットアームの品質制御のためのプロセス及び整列機能プロセスを例示する流れ図である。
【図29】本発明による標準化ロボットキッチン内での使用のための小規模操作物体のデータベースライブラリ構造を例示する表である。
【図30】本発明による標準化ロボットキッチン内での使用のための標準化物体のデータベースライブラリ構造を例示する表である。
【図31】本発明による魚の品質チェックを実施するためのロボットハンドを例示する絵画図である。
【図32】本発明によるボール内で品質チェックを実施するためのロボットセンサヘッドを例示する絵画図である。
【図33】本発明による食品の鮮度及び品質を決定するためのセンサを有する検出デバイス又は容器を例示する絵画図である。
【図34】本発明による食品の鮮度及び品質を決定するためのオンライン解析システムを例示するシステム図である。
【図35】本発明によるプログラマブル取り出し器制御を用いる事前詰入容器を例示するブロック図である。
【図36】本発明による標準化ロボットキッチン内での使用のためのレシピシステム構造を例示するブロック図である。
【図37A】本発明による標準化ロボットキッチン内での使用のためのレシピ検索メニューを例示するブロック図である。
【図37B】本発明による標準化ロボットキッチン内での使用のためのレシピ検索メニューを例示するブロック図である。
【図37C】本発明による標準化ロボットキッチン内での使用のためのレシピ検索メニューを例示するブロック図である。
【図37D】本発明によるレシピを作成して提出するための選択肢を有するメニューのスクリーンショットである。
【図37E】本発明によるレシピフィルタと、食材フィルタと、機材フィルタと、アカウント及びソーシャルネットワークアクセスと、個人的提携者ページと、ショッピングカートページと、購入済みレシピ、登録設定、レシピ作成についての情報とを含む機能的能力を有する食品調製ユーザインターフェースの一実施形態を例示する流れ図である。
【図37F】本発明によるレシピフィルタと、食材フィルタと、機材フィルタと、アカウント及びソーシャルネットワークアクセスと、個人的提携者ページと、ショッピングカートページと、購入済みレシピ、登録設定、レシピ作成についての情報とを含む機能的能力を有する食品調製ユーザインターフェースの一実施形態を例示する流れ図である。
【図37G】本発明によるレシピフィルタと、食材フィルタと、機材フィルタと、アカウント及びソーシャルネットワークアクセスと、個人的提携者ページと、ショッピングカートページと、購入済みレシピ、登録設定、レシピ作成についての情報とを含む機能的能力を有する食品調製ユーザインターフェースの一実施形態を例示する流れ図である。
【図37H】本発明によるレシピフィルタと、食材フィルタと、機材フィルタと、アカウント及びソーシャルネットワークアクセスと、個人的提携者ページと、ショッピングカートページと、購入済みレシピ、登録設定、レシピ作成についての情報とを含む機能的能力を有する食品調製ユーザインターフェースの一実施形態を例示する流れ図である。
【図37I】本発明によるレシピフィルタと、食材フィルタと、機材フィルタと、アカウント及びソーシャルネットワークアクセスと、個人的提携者ページと、ショッピングカートページと、購入済みレシピ、登録設定、レシピ作成についての情報とを含む機能的能力を有する食品調製ユーザインターフェースの一実施形態を例示する流れ図である。
【図37J】本発明によるレシピフィルタと、食材フィルタと、機材フィルタと、アカウント及びソーシャルネットワークアクセスと、個人的提携者ページと、ショッピングカートページと、購入済みレシピ、登録設定、レシピ作成についての情報とを含む機能的能力を有する食品調製ユーザインターフェースの一実施形態を例示する流れ図である。
【図37K】本発明によるレシピフィルタと、食材フィルタと、機材フィルタと、アカウント及びソーシャルネットワークアクセスと、個人的提携者ページと、ショッピングカートページと、購入済みレシピ、登録設定、レシピ作成についての情報とを含む機能的能力を有する食品調製ユーザインターフェースの一実施形態を例示する流れ図である。
【図37L】本発明によるレシピフィルタと、食材フィルタと、機材フィルタと、アカウント及びソーシャルネットワークアクセスと、個人的提携者ページと、ショッピングカートページと、購入済みレシピ、登録設定、レシピ作成についての情報とを含む機能的能力を有する食品調製ユーザインターフェースの一実施形態を例示する流れ図である。
【図37M】本発明によるレシピフィルタと、食材フィルタと、機材フィルタと、アカウント及びソーシャルネットワークアクセスと、個人的提携者ページと、ショッピングカートページと、購入済みレシピ、登録設定、レシピ作成についての情報とを含む機能的能力を有する食品調製ユーザインターフェースの一実施形態を例示する流れ図である。
【図37N】本発明による様々なグラフィカルユーザインターフェース及びメニュー選択肢のうちの１つのスクリーンショットである。
【図37O】本発明による様々なグラフィカルユーザインターフェース及びメニュー選択肢のうちの１つのスクリーンショットである。
【図37P】本発明による様々なグラフィカルユーザインターフェース及びメニュー選択肢のうちの１つのスクリーンショットである。
【図37Q】本発明による様々なグラフィカルユーザインターフェース及びメニュー選択肢のうちの１つのスクリーンショットである。
【図37R】本発明による様々なグラフィカルユーザインターフェース及びメニュー選択肢のうちの１つのスクリーンショットである。
【図37S】本発明による様々なグラフィカルユーザインターフェース及びメニュー選択肢のうちの１つのスクリーンショットである。
【図37T】本発明による様々なグラフィカルユーザインターフェース及びメニュー選択肢のうちの１つのスクリーンショットである。
【図37U】本発明による様々なグラフィカルユーザインターフェース及びメニュー選択肢のうちの１つのスクリーンショットである。
【図37V】本発明による様々なグラフィカルユーザインターフェース及びメニュー選択肢のうちの１つのスクリーンショットである。
【図38】本発明による標準化ロボットキッチン内での使用のためのフィールドを選択することによるレシピ検索メニューを例示するブロック図である。
【図39】３次元追跡及び基準データ生成に向けて拡張されたセンサを用いる標準化ロボットキッチンを例示するブロック図である。
【図40】本発明による実時間３次元モデルを作成するために複数のセンサを用いる標準化キッチンモジュールを例示するブロック図である。
【図41A】本発明による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。
【図41B】本発明による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。
【図41C】本発明による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。
【図41D】本発明による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。
【図41E】本発明による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。
【図41F】本発明による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。
【図41G】本発明による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。
【図41H】本発明による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。
【図41I】本発明による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。
【図41J】本発明による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。
【図41K】本発明による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。
【図41L】本発明による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。
【図42A】本発明による標準化ロボットキッチンの上面図を例示するブロック図である。
【図42B】本発明による標準化ロボットキッチンの配景図を例示するブロック図である。
【図43A】本発明による標準化ロボットキッチン内に自動透明ドアを有するキッチンモジュールフレームの第１の実施形態を例示するブロック図である。
【図43B】本発明による標準化ロボットキッチン内に自動透明ドアを有するキッチンモジュールフレームの第１の実施形態を例示するブロック図である。
【図43C】本発明による標準化ロボットキッチンにおけるスクリーンショットを例示するブロック図である。
【図43D】本発明による標準化ロボットキッチンにおけるスクリーンショットを例示するブロック図である。
【図43E】本発明による標準化ロボットキッチンにおけるスクリーンショットを例示するブロック図である。
【図43F】本発明によるキッチンモジュールにおけるサンプルキッチンモジュール仕様を例示するブロック図である。
【図44A】本発明による標準化ロボットキッチン内に自動透明ドアを有するキッチンモジュールフレームの第２の実施形態を例示するブロック図である。
【図44B】本発明による標準化ロボットキッチン内に自動透明ドアを有するキッチンモジュールフレームの第２の実施形態を例示するブロック図である。
【図45】本発明による伸縮自在アクチュエータを有する標準化ロボットキッチンを例示するブロック図である。
【図46A】本発明による移動レールを持たない１対の固定ロボットアームを有する標準化ロボットキッチンの正面図を例示するブロック図である。
【図46B】本発明による移動レールを持たない１対の固定ロボットアームを有する標準化ロボットキッチンの斜視図を例示するブロック図である。
【図46C】移動レールを持たない１対の固定ロボットアームを有する標準化ロボットキッチンにおける様々な寸法のうちの１つを例示するブロック図である。
【図46D】移動レールを持たない１対の固定ロボットアームを有する標準化ロボットキッチンにおける様々な寸法のうちの１つを例示するブロック図である。
【図46E】移動レールを持たない１対の固定ロボットアームを有する標準化ロボットキッチンにおける様々な寸法のうちの１つを例示するブロック図である。
【図46F】移動レールを持たない１対の固定ロボットアームを有する標準化ロボットキッチンにおける様々な寸法のうちの１つを例示するブロック図である。
【図46G】移動レールを持たない１対の固定ロボットアームを有する標準化ロボットキッチンにおける様々な寸法のうちの１つを例示するブロック図である。
【図47】本発明による標準化ロボットキッチンとの併用のためのプログラミングストレージシステムを例示するブロック図である。
【図48】本発明による標準化ロボットキッチンとの併用のためのプログラミングストレージシステムの立面図を例示するブロック図である。
【図49】本発明による標準化ロボットキッチンとの併用のための食材アクセス容器の立面図を例示するブロック図である。
【図50】本発明による標準化ロボットキッチンとの併用のための食材アクセス容器に付属する食材品質監視ダッシュボードを例示するブロック図である。
【図51】本発明によるレシピパラメータのデータベースライブラリを例示する表である。
【図52】本発明によるシェフの食品調製プロセスを記録する段階の一実施形態のプロセスを例示する流れ図である。
【図53】本発明による食品料理を調製するロボット装置の一実施形態のプロセスを例示する流れ図である。
【図54】本発明によるロボットによる食品料理調製においてシェフに対して同じ又は実質的に同じ結果を取得する際の品質及び機能の調節における一実施形態のプロセスを例示する流れ図である。
【図55】本発明による記録されたソフトウェアファイルからシェフの動きをロボットキッチン内で再現することによって料理を調製するロボットキッチンのプロセスにおける第１の実施形態を例示する流れ図である。
【図56】本発明によるロボットキッチン内でのストレージ容器の入庫及び識別のプロセスを例示する流れ図である。
【図57】本発明によるロボットキッチン内でのストレージ出庫及び調理準備のプロセスを例示する流れ図である。
【図58】本発明によるロボットキッチン内での自動化調理前準備プロセスの一実施形態を例示する流れ図である。
【図59】本発明によるロボットキッチン内でのレシピ設計及びスクリプト作成プロセスの一実施形態を例示する流れ図である。
【図60】本発明によるユーザがロボット食品調製レシピを購入するための購読モデルを例示する流れ図である。
【図61A】本発明によるポータルからのレシピ商取引プラットフォームに関するレシピの検索及び購入購読のプロセスを例示する流れ図である。
【図61B】本発明によるポータルからのレシピ商取引プラットフォームに関するレシピの検索及び購入購読のプロセスを例示する流れ図である。
【図62】本発明によるアプリプラットフォーム上でのロボット調理レシピアプリの作成を例示する流れ図である。
【図63】本発明による調理レシピに関するユーザの検索、購入、及び購読のプロセスを例示する流れ図である。
【図64A】本発明による事前定義レシピ検索基準の例を示すブロック図である。
【図64B】本発明による事前定義レシピ検索基準の例を示すブロック図である。
【図65】本発明によるロボットキッチン内の幾つかの事前定義容器を例示するブロック図である。
【図66】本発明による同時食品調製処理に向けて複数対のロボットハンドを用いる長方形レイアウトで構成されたロボットレストランキッチンモジュールの第１の実施形態を例示するブロック図である。
【図67】本発明による同時食品調製処理に向けて複数対のロボットハンドを用いるＵ字形レイアウトで構成されたロボットレストランキッチンモジュールの第２の実施形態を例示するブロック図である。
【図68】本発明による感知調理用具及び感知曲線を有するロボット食品調製システムの第２の実施形態を例示するブロック図である。
【図69】本発明による第２の実施形態におけるロボット食品調製システムの幾つかの物理的要素を例示するブロック図である。
【図70】本発明による第２の実施形態における使用のための実時間温度センサを有する（スマート）平鍋のための感知調理用具を例示するブロック図である。
【図71】本発明によるシェフスタジオ内の感知調理用具の異なるセンサから記録された複数のデータ点を有する温度曲線を例示するグラフ図である。
【図72】本発明による作動制御ユニットへの送信に向けてシェフスタジオ内の感知調理用具から記録された温度曲線及び湿度曲線を例示するグラフ図である。
【図73】本発明による平鍋上の異なるゾーンに関する温度曲線からのデータに基づいて調理するための感知調理用具を例示するブロック図である。
【図74】本発明による第２の実施形態における使用に向けて実時間の温度センサ及び湿度センサを用いる（スマート）オーブンの感知調理用具を例示するブロック図である。
【図75】本発明による第２の実施形態における使用に向けて実時間温度センサを用いる（スマート）炭火グリルのための感知調理用具を例示するブロック図である。
【図76】本発明による第２の実施形態における使用に向けて速さ、温度、及び勢いの制御を用いる（スマート）水栓のための感知調理用具を例示するブロック図である。
【図77】本発明による第２の実施形態における感知調理用具を有するロボットキッチンの上面図を例示するブロック図である。
【図78】本発明による第２の実施形態における感知調理用具を有するロボットキッチンの斜視図を例示するブロック図である。
【図79】本発明によるロボットキッチン内で記録された１又は２以上の過去のパラメータ曲線から料理を調製するロボットキッチンのプロセスにおける第２の実施形態を例示する流れ図である。
【図80】本発明による感知調理用具を用いてシェフの調理プロセスを取り込むことによるロボット食品調製システムの第２の実施形態を例示する流れ図である。
【図81】本発明による感知調理用具を用いてシェフの調理プロセスを再現することによるロボット食品調製システムの第２の実施形態を例示する流れ図である。
【図82】本発明による調理作動制御モジュールとコマンド及び視覚的監視モジュールとを有するロボット食品調製キッチンの第３の実施形態を例示するブロック図である。
【図83】本発明によるロボットのアーム及びハンドのモーションを用いるロボット食品調製キッチンの第３の実施形態における上面図を例示するブロック図である。
【図84】本発明によるロボットのアーム及びハンドのモーションを用いるロボット食品調製キッチンの第３の実施形態における平面図を例示するブロック図である。
【図85】本発明によるコマンド及び視覚的監視デバイスを用いるロボット食品調製キッチンの第３の実施形態における平面図を例示するブロック図である。
【図86】本発明によるコマンド及び視覚的監視デバイスを用いるロボット食品調製キッチンの第３の実施形態における斜視図を例示するブロック図である。
【図87A】本発明によるロボットを用いるロボット食品調製キッチンの第４の実施形態を例示するブロック図である。
【図87B】本発明による人間型ロボットを用いるロボット食品調製キッチンの第４の実施形態における上面図を例示するブロック図である。
【図87C】本発明による人間型ロボットを用いるロボット食品調製キッチンの第４の実施形態における配景図を例示するブロック図である。
【図88】本発明によるロボット人間エミュレータ電子知的財産（ＩＰ）ライブラリを例示するブロック図である。
【図89】本発明によるロボット人間感情認識エンジンを例示するブロック図である。
【図90】本発明によるロボット人間感情エンジンのプロセスを例示する流れ図である。
【図91A】本発明によるホルモン、フェロモン、及びその他のパラメータを有する感情プロファイルの母集団に対して個人の感情プロファイルを比較するプロセスを例示する流れ図である。
【図91B】本発明によるホルモン、フェロモン、及びその他のパラメータを有する感情プロファイルの母集団に対して個人の感情プロファイルを比較するプロセスを例示する流れ図である。
【図91C】本発明によるホルモン、フェロモン、及びその他のパラメータを有する感情プロファイルの母集団に対して個人の感情プロファイルを比較するプロセスを例示する流れ図である。
【図92A】本発明によるホルモンセット、フェロモンセット、及びその他の主要パラメータを監視することによる個人の感情状態の感情検出及び解析を例示するブロック図である。
【図92B】本発明による個人の感情挙動について評価及び学習するロボットを例示するブロック図である。
【図93】本発明による個人の感情プロファイルを検出して記録するために個人の中に植え込まれるポートデバイスを例示するブロック図である。
【図94A】本発明によるロボット人間知能エンジンを例示するブロック図である。
【図94B】本発明によるロボット人間知能エンジンのプロセスを例示する流れ図である。
【図95A】本発明によるロボット描絵システムを例示するブロック図である。
【図95B】本発明によるロボット描絵システムの様々な構成要素を例示するブロック図である。
【図95C】本発明によるロボット人間描絵技能再現エンジンを例示するブロック図である。
【図96A】本発明による描絵スタジオにおける画家の記録プロセスを例示する流れ図である。
【図96B】本発明によるロボット描絵システムによる再現プロセスを例示する流れ図である。
【図97A】本発明による音楽家再現エンジンのある実施形態を例示するブロック図である。
【図97B】本発明による音楽家再現エンジンプロセスを例示するブロック図である。
【図98】本発明による看護再現エンジンのある実施形態を例示するブロック図である。
【図99A】本発明による看護再現エンジンプロセスを例示する流れ図である。
【図99B】本発明による看護再現エンジンプロセスを例示する流れ図である。
【図100】本明細書で解説するロボット方法論を実施するためのコンピュータ実行可能命令をインストールして実行することができるコンピュータデバイスの例を示すブロック図である。
【発明を実施するための形態】
【0020】
本発明の構造実施形態及び方法の説明を図１〜図１００を参照しながら提示する。特定的に開示する実施形態に本発明を限定する意図はなく、本発明は、他の特徴、要素、方法、及び実施形態を用いて実施することができることを理解されたい。様々な実施形態における同様の要素は、共通して同様の参照番号を用いて指し示す。
【0021】
以下の定義が、本明細書で説明する要素及び段階に当てはまる。これらの用語を更に詳述する場合もある。
【0022】
抽象化データ−機械が、適正な実行及び複製に向けて把握する必要がある多くの他のデータ要素を有する機械実行に向けて抽象化された実用のレシピを指す。調理プロセスにおける特定の段階に対応するこのいわゆるメタデータ又は追加データは、それが直接的なセンサデータ（時計の時間、水温、カメラ画像、使用道具、又は使用食材等）であるか、又は大きいデータセットの解釈又は抽象化によって生成されたデータ（画像内で物体の場所及び種類を抽出するために使用されるレーザからの３次元範囲クラウドに、カメラ画像からの質感地図及び色地図を重ね合わせたもの等）であるかに関わらず、タイムスタンプが印加され、ロボットキッチンがレシピ内の段階シーケンスを経て行く中で全ての時点で必要とされる全てのプロセス並びに関連の方法及び機材を設定、制御、及び監視するためにロボットキッチンによって使用される。
【0023】
抽象化レシピ−プロセス及び方法のシーケンス並びに人間シェフの技能を通じてある一定のシーケンスで調製され、組み合わせられるある一定の食材の使用によって表されるものとして人間が把握するシェフのレシピの表現を指す。自動化方式での実行に向けて機械によって使用される抽象化レシピは、様々な種類の分類及びシーケンスを必要とする。全体的実施段階は人間シェフのものに同一であるが、ロボットキッチンに対する抽象化実用レシピは、追加メタデータがレシピ内の全ての段階の一部であることを必要とする。そのようなメタデータは、調理時間、温度（及びその経時変化）、オーブン設定、使用ツール／機材等のような変数を含む。基本的に、機械実行可能レシピスクリプトは、調理プロセスにとって重要な全ての可能な測定変数（全てが、人間シェフがシェフスタジオ内でレシピの調製中に測定されて格納されたものである）を時間に全体として相関付け、それと共に調理シーケンスの各処理段階の範囲内で相関付けることを必要とする。従って抽象化レシピは、必要なプロセスを人間のドメインから論理抽象化段階セットを通じて機械理解可能かつ機械実行可能なドメインへと移す機械可読な表現又はドメインへとマッピングされた調理段階の表現である。
【0024】
加速−ロボットアームが軸の回りに又は短距離にわたる空間軌道に沿って加速することができる最大速度変化率を指す。
【0025】
精度−ロボットが、命令された位置にどの程度近づくことができるかを指す。精度は、ロボットの絶対位置を命令された位置と比較した場合のこれらの間の差によって決定される。精度は、ロボットハンド上のセンサ等の外部感知によって、又は複数の（マルチモード）センサを用いる実時間３次元モデルによって改善、調節、又は較正することができる。
【0026】
動作プリミティブ−一実施形態において、ロボット装置を場所Ｘ１から場所Ｘ２へと動かすこと、又は必ずしも機能成果を取得するわけではなく食品調製に向けて物体からの距離を感知すること等の不可分のロボット動作を指す。別の実施形態では、この用語は、小規模操作を達成するための１又は２以上のそのような単位のシーケンス内の不可分ロボット動作を指す。これらは、同じ定義の２つの態様である。
【0027】
自動投与システム−適用時に特定のサイズの食品化合物（塩、砂糖、胡椒、香辛料等、水、油、エキス、ケチャップ等のあらゆるタイプの液等）が放出される標準化キッチンモジュール内の投与容器を指す。
【0028】
自動化ストレージ及び送達システム−標準化キッチンモジュール内で食品を保管するために特定の温度及び湿度を維持するストレージ容器であって、特定のストレージ容器が、その中に保管された食品内容物を送達する場所をロボットキッチンが識別して取得するためのコード（例えばバーコード）が各々に割り当てられたストレージ容器を指す。
【0029】
データクラウド−ある一定の間隔で収集され、時間、場所等のような多数の関係に基づいて集計される特定の空間からのセンサ又はデータに基づく数値測定値（３次元レーザ／音響距離測定値、カメラ画像からのＲＧＢ値等）の集合を指す。
【0030】
自由度（ＤＯＦ）−機械デバイス又はシステムが動くことができる定義されたモード及び／又は方向を指す。自由度数は、独立した変位又はモーション態様の総数と同一である。総自由度数は、２つのロボットアームでは２倍される。
【0031】
エッジ検出−物体の識別並びに把持及び取扱の計画を支援するために、２次元カメラ画像内では重なり合っている可能性がある複数の物体であっても、これらの物体の境界を首尾良く識別する複数の物体のエッジを識別することができるソフトウェアベースのコンピュータプログラムを指す。
【0032】
平衡値−ロボットアーム等のロボット外肢のターゲット位置であって、外肢に対して作用する力が平衡状態にあり、すなわち、差し引きの力が存在せず、従って正味の動きがない位置を指す。
【0033】
実行シーケンスプランナー−アーム、取り出し器、器具等のコンピュータ制御可能な１又は２以上の要素又はシステムに対する実行スクリプト又はコマンドのシーケンスを作成することができるソフトウェアベースのコンピュータプログラムを指す。
【0034】
食品実行忠実度−人間シェフの段階、変数、方法、及びプロセスを注視、測定、及び理解することによってシェフスタジオ内で生成されたレシピスクリプトを再現し、それによってこのシェフの技術及び技能を模擬しようと試みることが目論まれたロボットキッチンを指す。料理調製の実行が人間シェフのものにどれ程近づくかという忠実度は、ロボットによって調製された料理が、人間によって調製された料理にどれ程近いかを濃度、色、味等の様々な主観的要素によって測定することによって測定される。その概念は、ロボットキッチンによって調製される料理が人間シェフによって調製されるものに近い程、再現プロセスの忠実度は高いということである。
【0035】
食品調製段（「調理段」とも呼ぶ）−動作プリミティブを含む１又は２以上の小規模操作と、標準化キッチンモジュール内の様々なキッチン機材及びキッチン器具を制御するためのコンピュータ命令との逐次又は並列のどちらかにおける組合せを指し、１又は２以上の食品調製段がまとまって特定のレシピに対する全体の食品調製プロセスを表す。
【0036】
幾何学的推論−２次元（２Ｄ）／３次元（３Ｄ）の表面データ及び／又は体積測定データを用いて特定の空間領域の実際の形状及びサイズに関して推論することができるソフトウェアベースのコンピュータプログラムを指し、境界情報を特定して利用する能力は、特定の幾何学的要素の開始端部と存在する（画像又はモデル内に）個数とに関する推測も可能にする。
【0037】
把持推論−３次元空間内で物体を操作するために、この物体に首尾良く安定して接触し、それを把持及び保持するように、幾何学的推論及び物理的推論を拠り所としてロボットエンドエフェクタ（把持器、連結器等）、又は更にはエンドエフェクタによって保持されるツール／道具とこの物体との間の多重接触（点／区域／空間領域）による接触相互作用を計画することができるソフトウェアベースのコンピュータプログラムを指す。
【0038】
ハードウェアオートメーションデバイス−事前プログラムされた段階をこれらの段階のうちのいずれかを修正する能力を伴わずに連続実行することができる固定処理デバイスであり、そのようなデバイスは、いかなる調整も必要としない繰り返しモーションに向けて使用される。
【0039】
食材の管理及び操作−各食材を詳細に定義すること（サイズ、形状、重量、寸法、特性、及び性質を含む）と、以前に格納された食材詳細項目（魚切身のサイズ、卵の寸法等）とは異なる可能性がある一定の食材に関連する変数の１又は２以上の実時間調節と、食材に対する操作の動きに関して様々な段を実行するプロセスとを指す。
【0040】
キッチンモジュール（又はキッチン空間領域）−標準化キッチン機材セットと、標準化キッチンツールセットと、標準化キッチンハンドルセットと、標準化キッチン容器セットとを有し、各キッチン要素を保管し、それにアクセスし、それを操作するための事前定義された空間及び寸法を内部に有する標準化完備キッチンモジュールである。キッチンモジュールの１つの目的は、ロボットのアーム及びハンドの動きのための比較的固定されたキッチンプラットフォームを与えるために、キッチンの機材、ツール、ハンドル、容器等のうちの可能な限り多くのものを事前定義することである。キッチンハードウェアの予測性能を最大化し、その一方でシェフキッチンスタジオと家庭ロボットキッチンとの間の分化、変動、及び偏倚の危険性を最小化するために、シェフキッチンスタジオ内のシェフと、ロボットキッチンがある家庭にいる個人（又はレストランにいる個人）との両方が、この標準化キッチンモジュールを用いる。スタンドアローンキッチンモジュール及び統合キッチンモジュールを含むキッチンモジュールの様々な実施形態が可能である。統合キッチンモジュールは、典型的な家屋の従来のキッチン区域内に収められる。キッチンモジュールは、ロボットモードと通常（手動）モードとの少なくとも２つのモードで作動する。
【0041】
機械学習−ソフトウェアコンポーネント又はソフトウェアプログラムが経験及びフィードバックに基づいて自らの性能を改善する技術を指す。機械学習の１つの種類は、望ましい動作に報酬が与えられ、望ましくない動作に罰が与えられるロボット工学において頻用される強化学習である。もう１つの種類は、過去の解、例えば、人間の教師又はロボット自体による動作シーケンスが、これらの解に対するあらゆる制約条件又は理由と一緒に格納され、その後、新しい設定において適用又は再使用される事例に基づく学習である。更に、帰納法及びトランスダクティブ法等の更なる種類の機械学習も存在する。
【0042】
小規模操作−最高レベルの確率の閾値（閾値の例は、最適値の０．１、０．００１、又は０．００１の範囲内にある）で基本的な機能成果を取得する１又は２以上の段階の組合せ（又はシーケンス）を指す。各段階は、基本的なコード化段階で構成されるコンピュータプログラム及びスタンドアローンとすることができる又はサブルーチンとしての役割を果たすことができるその他のコンピュータプログラムと同様の動作プリミティブ又は別の（小さめの）小規模操作とすることができる。例えば、小規模操作は、卵を把持する段階とすることができ、この操作は、ロボットアームを伸ばしてロボット指を正しい構成へと動かす段階と、把持に向けて正しい微妙な力量を印加する段階とに必要とされるモータ動作で構成され、これらの全てがプリミティブ動作である。もう１つの小規模操作は、卵をナイフで叩く段階とすることができ、この操作は、一方のロボットハンドによる把持小規模操作と、それに続くもう一方のハンドによるナイフ把持小規模操作と、それに続く事前決定された力を用いてナイフで卵を叩くプリミティブ動作とを含む。
【0043】
モデル要素及び分類−シーン内の要素を作業の様々な部分に使用される又は必要とされる、例えば混合するためのボール及び撹拌するためのスプーン等の品目として理解することができる１又は２以上のソフトウェアベースのコンピュータプログラムを指す。シーン又は世界モデル内の複数の要素をグループへと分類することができ、迅速な計画及び作業実行が可能になる。
【0044】
モーションプリミティブ−詳細動作段階の様々なレベル／ドメインを定義するモーション動作を指し、例えば、高レベルモーションプリミティブは、カップを把持することとなり、低レベルモーションプリミティブは、手首を５度だけ回転させることとなる。
【0045】
マルチモード感知ユニット−複数のモード又は電磁帯域又は電磁スペクトルにおいて感知及び検出が可能であり、特に３次元の位置及び／又はモーションの情報を取り込むことができる複数のセンサで構成された感知ユニットを指し、電磁スペクトルは、低周波数から高周波数までの範囲にわたるものとすることができ、人間によって知覚可能なものに限定する必要はない。更なるモードは、触感、匂い等の他の肉体的感覚を含むことができるが、これらに限定されない。
【0046】
軸の数−空間内のあらゆる点に達するためには３軸の軸数が必要とされる。アームの端部（すなわち手首）の向きを完全に制御するためには３つの更なる回転軸（ヨー、ピッチ、及びロール）が必要とされる。
【0047】
パラメータ−数値又は数値範囲を取ることができる変数を指す。３種類のパラメータ、すなわち、ロボットデバイスに対する命令におけるパラメータ（例えば、アームの動きにおける力又は距離）、ユーザ設定可能パラメータ（例えば、ミディアム対ウェルダンの肉の好み）、及びシェフが定義するパラメータ（例えば、オーブン温度を３５０Ｆに設定すること）が、特に関連がある。
【0048】
パラメータ調節−入力に基づいてパラメータ値を変更するプロセスを指す。例えば、ロボットデバイスに対する命令のパラメータの変更は、食材の性質（例えば、サイズ、形状、向き）、キッチンツール、機材、器具の位置／向き、小規模操作の速さ及び持続時間に基づくものとすることができるが、これらに限定されない。
【0049】
ペイロード又は担持容量−ロボットアームの端点の場所の関数としてロボットアームが重力に抗してどの程度の重量を担持及び保持することが（又は加速することさえも）できるかということを指す。
【0050】
物理的推論−推測エンジン（プログラム）が物体をより的確にモデル化し、更に、特に把持及び／又は操作／取り扱われる時に実世界内でのこの物体の挙動を予測するのを支援するために幾何学的に推論したデータを拠り所とし、物理的情報（密度、質感、一般的な幾何学形状及び形状）を用いることができるソフトウェアベースのコンピュータプログラムを指す。
【0051】
生データ−人間シェフが料理を調製するのを注視／監視しながらシェフスタジオレシピ生成プロセスの一部として収集される全ての測定及び推測による感知データ並びに表現情報を指す。生データは、時計の時刻等の簡単なデータ点からオーブン温度（経時的な）、カメラ画像、３次元レーザ生成シーン表現データ、使用器具／機材、採用ツール、取り出される食材（種類及び量）、更にタイミング等に至るまでの範囲にわたるものとすることができる。スタジオキッチンがその組み込みセンサから収集し、生のタイムスタンプ付き形態で格納する全ての情報は、生データと見なされる。生データは、後に他のソフトウェアプロセスによって、より一層高いレベルの理解及びレシピプロセスの理解を生成して生データをタイムスタンプ付きの更なる処理済み／解釈済みデータに変換するために使用される。
【0052】
ロボット装置−ロボットセンサとロボットエフェクタとのセットを指す。エフェクタは、標準化ロボットキッチン内での操作のための１又は２以上のロボットアームと１又は２以上のロボットハンドとを含む。センサは、自らの情報をエフェクタを制御するプロセッサ又はプロセッサセットに送信するカメラ、距離センサ、力センサ（触覚センサ）を含む。
【0053】
レシピ調理プロセス−コンピュータ制御可能デバイスが、その環境（例えば、食材、ツール、道具、及び器具を完備したキッチン）内で順序付けられた操作を実行することを可能にするためのプログラマブルなハードオートメーションデバイスの集合に対する要約レベル及び詳細レベルの命令を含むロボットスクリプトを指す。
【0054】
レシピスクリプト−ロボットキッチン要素（ロボットアーム、自動化機材、器具、ツール等）によって所与のシーケンスで実行された場合に、スタジオキッチン内で人間シェフによって調製されるものと同じ料理の適正な再現及び作成を生じることになるコマンド及び実行プリミティブ（簡単なコマンドソフトウェアから複合的コマンドソフトウェアまで）からなる構造及びリストを含む時間シーケンスとしてのレシピスクリプトを指す。そのようなスクリプトは時間シーケンスのものであり、ロボットキッチン内のコンピュータ制御式要素に適切であり、それによって理解可能な表現ではあるものの、料理を作成するために人間シェフによって採用されるシーケンスと同等である。
【0055】
レシピ速さ実行−シェフの動きを再現することによって食品料理を調製する際にレシピ段階の実行におけるタイムラインを管理することを指し、この場合、レシピ段階は、標準化食品調製操作（例えば、標準化調理用具、標準化機材、キッチンプロセッサ等）と、小規模操作と、非標準化物体の調理とを含む。
【0056】
繰り返し精度−ロボットアーム／ハンドが、プログラムされた位置にどの程度正確に繰り返し戻ることができるかにおける許容事前設定余裕幅を指す。制御メモリ内の技術仕様が、ロボットハンドがある一定のＸ−Ｙ−Ｚ位置に、この位置の±０．１ｍｍの範囲内で動くことを必要とする場合には、繰り返し精度は、教示される要望／命令位置の±０．１ｍｍの範囲内に戻ることに関して測定される。
【0057】
ロボットレシピスクリプト−シェフによって調理された場合と同じ最終生成物に到達するのに必要とされるレシピ内の調理段階を忠実に模倣する段階のロボット／ハードオートメーション実行の適正なシーケンスに関連する機械理解可能命令のコンピュータ生成シーケンスを指す。
【0058】
ロボット衣装−シェフスタジオ内でレシピ調理プロセスの全ての態様中にシェフの動き及び活動を監視して追跡するために使用されるカメラ追跡可能マーカ、有関節外骨格等を有するグローブ、衣服等の外部計装デバイス又は衣服である。
【0059】
シーンモデル化−シーンを１又は２以上のカメラ視野内で見ることができ、特定の作業にとって重要な物体を検出して識別することができるソフトウェアベースのコンピュータプログラムを指す。これらの物体は、事前教示することができ、及び／又は既知の物理的属性及び用法用途を有するコンピュータライブラリの一部とすることができる。
【0060】
スマートキッチン調理用具／機材−１又は２以上のグラフ曲線（例えば、温度曲線、湿度曲線等）に基づいて食品料理を調製する１又は２以上のセンサを有するキッチン調理用具の品目（例えば深鍋又は平鍋）又はキッチン機材（例えば、オーブン、グリル、又は水栓）の品目を指す。
【0061】
ソフトウェア抽象化食品エンジン−連動して動作して入力データを処理し、他のソフトウェアエンジンによって又はいずれかの形態のテキスト又はグラフィックの出力インターフェースを通じてエンドユーザによって使用されることになるある一定の望ましい出力データセットを作成するソフトウェアループ又はプログラムの集合として定義されるソフトウェアエンジンを指す。抽象化ソフトウェアエンジンは、３次元空間内の物体（例えばテーブル台、調理深鍋等）に付随するデータ示度を識別、検出、及び分類するために、特定のドメイン内にある既知の供給源から大量の入力データ（１又は２以上のセンサによって捉えられた３次元測定値のデータクラウドを形成する３次元距離測定値等）を取得し、続いて異なるドメインにおけるデータの解釈に達するようにこれらのデータを処理すること（同じ垂直データ値等を有するデータに基づいてデータクラウド内でテーブル表面を検出及び認識すること等）に主眼が置かれたソフトウェアプログラムである。基本的に抽象化プロセスは、１つのドメインから大きいデータセットを取得し、より高い空間レベルにおける構造（幾何学形状等）を推測し（データ点を抽象化し）、続いて推測値を更に一層抽象化し、抽象化されたデータセットから物体（深鍋等）を識別して、後に更なる決定（主要物体に対する取扱／操作決定等）を行うために他のソフトウェアエンジンが用いることができる実世界要素を画像内で識別することとして定義される。本出願における「ソフトウェア抽象化エンジン」に対する同義語は、「ソフトウェア解釈エンジン」とすることもでき、又は更に「コンピュータソフトウェア処理及び解釈アルゴリズム」とすることもできる。
【0062】
作業推論−作業記述内に定義された特定の最終結果を取得するために作業記述を解析して、それを複数の機械実行可能（ロボット又はハードオートメーションシステム）段階のシーケンスに分解することができるソフトウェアベースのコンピュータプログラムを指す。
【0063】
３次元世界物体のモデル化及び理解−全ての表面及び空間領域の範囲内にある物体を検出、識別、及び分類し、これらの物体の用法及び用途を理解することができるように、感知データを用いてこれらの表面及び空間領域の時変３次元モデルを作成することができるソフトウェアベースのコンピュータプログラムを指す。
【0064】
トルクベクトル−方向と大きさを含むロボット外肢に対するねじり力を指す。
【0065】
体積測定物体推測（エンジン）−物体の識別プロセス及び分類プロセスを支援するために、幾何学データ及びエッジ情報並びにその他の感知データ（色、形状、質感等）を用いて１又は２以上の物体の３次元特性の識別を可能にすることができるソフトウェアベースのコンピュータプログラムを指す。
【0066】
図１は、ロボットハードウェア１２とロボットソフトウェア１４とを有する全体的ロボット食品調製キッチン１０を例示するシステム図である。全体的ロボット食品調製キッチン１０は、一緒に作動して食品調製のためのロボット機能を実施するロボット食品調製ハードウェア１２とロボット食品調製ソフトウェア１４とを含む。ロボット食品調製ハードウェア１２は、標準化キッチンモジュール１８（一般的に、１又は２以上のセンサを有する計装環境内で作動する）の様々な操作及び動きを制御するコンピュータ１６と、マルチモード３次元センサ２０と、ロボットアーム２２と、ロボットハンド２４と、取り込みグローブ２６とを含む。食品料理が人間シェフによって調製された場合と同じ又は実質的に同じ味がすることになる同じ又は実質的に同じ食品料理結果（例えば、同じ味がする、同じ匂いがする等）を取得するために、ロボット食品調製ソフトウェア１４は、ロボット食品調製ハードウェア１２と共に作動して、食品料理を調製する際のシェフの動きを取り込み、ロボットのアーム及びハンドを介してシェフの動きを再現する。
【0067】
ロボット食品調製ソフトウェア１４は、マルチモード３次元センサ２０と、取り込みモジュール２８と、較正モジュール３０と、変換アルゴリズムモジュール３２と、再現モジュール３４と、３次元視覚システムを有する品質チェックモジュール３６と、同結果モジュール３８と、学習モジュール４０とを含む。取り込みモジュール２８は、シェフが食品料理を調製する際のシェフの動きを取り込む。較正モジュール３０は、調理プロセスの前、最中、及び後にロボットアーム２２及びロボットハンド２４を較正する。変換アルゴリズムモジュール３２は、シェフスタジオ内で収集されたシェフの動きから記録されたデータをロボットハンドがシェフの料理の食品調製を再現するロボットキッチン内での使用に向けてレシピを修正したデータ（又は改変データ）に変換するように構成される。再現モジュール３４は、シェフの動きをロボットキッチン内で再現するように構成される。品質チェックモジュール３６は、食品調製プロセスの最中、前、又は後にロボットキッチンによって調製される食品料理の品質チェック機能を実施するように構成される。同結果モジュール３８は、ロボットキッチン内でロボットアームとロボットハンドとの対によって調製された食品料理が、シェフによって調製された場合と同じ又は実質的に同じ味がすることになるか否かを決定するように構成される。学習モジュール４０は、ロボットのアーム及びハンドを操縦するコンピュータ１６に学習能力を与えるように構成される。
【0068】
図２は、シェフスタジオシステムと、シェフのレシピのプロセス及び動きを再現することによって料理を調製するための家庭用ロボットキッチンシステムとを含む食品ロボット調理システムの第１の実施形態を例示するシステム図である。ロボットキッチン調理システム４２は、１又は２以上のソフトウェア記録レシピファイル４６をロボットキッチン４８（「家庭用ロボットキッチン」とも呼ぶ）に転送するスタジオキッチン４４（「シェフスタジオキッチン」とも呼ぶ）を含む。一実施形態では、食品料理を調製する段階の再現の詳細さを最大化し、それによって、シェフキッチン４４において調製される食品料理とロボットキッチン４６によって調製されるものとの間の偏倚に寄与する可能性がある変数を低減するために、シェフキッチン４４とロボットキッチン４８との両方が同じ標準化ロボットキッチンモジュール５０（「ロボットキッチンモジュール」、「ロボットキッチン空間領域」、「キッチンモジュール」、又は「キッチン空間領域」とも呼ぶ）を用いる。シェフ５２は、自分自身の調理の動きを取り込んで記録するための外部感知デバイスを有するロボットグローブ又はロボット衣装を着用する。標準化ロボットキッチン５０は、様々なコンピューティング機能を制御するためのコンピュータ１６を含み、コンピュータ１６は、シェフの動きを取り込むためのグローブ又は衣装５４のセンサからの１又は２以上のソフトウェアレシピファイルを格納するためのメモリ５２と、ロボット調理エンジン（ソフトウェア）５６とを含む。ロボット調理エンジン５６は、動き解析及びレシピ抽象化及び順序付けモジュール５８を含む。一般的にロボットキッチン４８は、ロボットアームとロボットハンドとの対を用いて作動し、任意選択的なユーザ６０が、ロボットキッチン４６を起動する又はプログラムすることになる。ロボットキッチン４８内のコンピュータ１６は、ロボットのアーム及びハンドを操縦するためのハードオートメーションモジュール６２と、ソフトウェアレシピ（食材、シーケンス、プロセス等）ファイルからシェフの動きを再現するためのレシピ再現モジュール６４とを含む。
【0069】
標準化ロボットキッチン５０は、シェフの調理の動きを検出、記録、及び模擬し、経時的温度等の重要なパラメータ、並びに指定された器具、機材、及びツールを用いたロボットキッチンにおけるプロセス実行を制御するように設計される。シェフキッチン４４は、特定のレシピについての食品調製におけるシェフの５０の動きを記録し、取り込むためのセンサ付きグローブ又はセンサ付き衣装を有するコンピューティングキッチン環境１６を与える。特定の料理についてシェフ４９の動き及びレシピプロセスがメモリ５２内のソフトウェアレシピファイル内に記録されると、このソフトウェアレシピファイルは、シェフキッチン４４からロボットキッチン４８に通信ネットワーク４６を介して転送され、それによってユーザ（任意選択的）６０は、１又は２以上のソフトウェアレシピファイルを購入することができるか、又は新しいソフトウェアレシピファイルを受信するか、又は既存のソフトウェアレシピファイルの定期的な更新を受ける会員としてユーザをシェフキッチン４４に購読登録することができる。家庭用ロボットキッチンシステム４８は、住居家庭、レストラン、及びユーザ６０が食品を調製するために内部にキッチンが建てられたその他の場所においてロボットコンピューティングキッチン環境としての役割を果たす。家庭用ロボットキッチンシステム４８は、シェフスタジオシステム４４から受け取ったソフトウェアレシピファイルに基づいてシェフの調理の動作、プロセス、及び動きを再現するために１又は２以上のロボットアーム及びハードオートメーションデバイスを有するロボット調理エンジン５６を含む。
【0070】
シェフスタジオ４４及びロボットキッチン４８は、複数レベルの実行忠実度を有する複雑にリンクされた教示再生システムを表している。シェフスタジオ４４が、専門家によって調理される料理をどのようにして調製するかについての高忠実度プロセスモデルを生成するのに対して、ロボットキッチン４８は、シェフがシェフスタジオ内で作業することを通じて作成されたレシピスクリプトに対する実行／再現エンジン／プロセスである。ロボットキッチンモジュールの標準化は、実施忠実度と成功／保証を高めるための手段である。
【0071】
レシピ実行に関する様々なレベルの忠実度は、シェフスタジオ４４におけるものとロボットキッチン４８におけるものとの間のセンサ及び機材の相関性に依存する（当然ながら食材に依存するが、それに加えて）。忠実度は、スペクトルの端点のうちの一方（完全な再現／実行）において人間シェフによって調製されるものと同一の（区別不能に同一の）味を有する料理として定義することができ、それに対して反対の端点では、料理は、品質（過度に調理された肉又はパスタ）、味（焦げ気味）、可食性（不適切な濃度）との関わりを有するか、又は健康との関わり（サルモネラ菌暴露を伴う鶏肉／豚肉等の肉の調理不足等）さえも有する１又は２以上の実質的又は致命的な欠陥を有するものとすることができる。
【0072】
シェフスタジオ調理プロセス中に記録されたシェフによるものに類似する動き及びプロセスを再現することができる同一のハードウェア、センサ、及び動きシステムを有するロボットキッチンは、高い忠実度の成果を生じる可能性が高い。この場合の意味合いは、構成が同一であることを必要とすることであり、この構成は、コスト的及び空間領域的な関わりを有する。しかし、ロボットキッチン４８は、コンピュータ制御又はコンピュータ監視されるより標準化された要素（センサ付き深鍋、ネットワーク接続されたオーブン等の器具等）を用いてなおも実施することができ、それによって、より複合的実行監視を可能にするためにより大幅にセンサに基づく理解が必要とされる。この場合、主要な要素（正しい食材量、調理温度等）及びプロセス（混合器の場合の撹拌器／つぶし器の使用は、ロボット家庭キッチンでは利用可能ではない）に関して不確実性が高まることから、シェフからのものと同一の成果を有することの保証は間違いなく低くなる。
【0073】
本開示における重点は、ロボットキッチンと結合されたシェフスタジオ４４という概念が一般的な設計構想である点である。ロボットキッチン４８のレベルは、アームセンサ及び環境センサのセットが装備された家庭キッチンから、アーム及び関節モーションと、ツール及び器具と、食材供給とのセットが、シェフのレシピをほぼ同一の様式で再現することができるスタジオキッチンの同一の複製物に至るまで様々に可変である。張り合う変数は、品質、見栄え、味、可食性、及び健康に関する最終結果又は料理の品質度だけとなる。
【0074】
ロボットキッチン内でのレシピ成果と入力変数との間の上記の相関性を数学的に記述する上で可能な方法は、次式によって最適に記述することができる。Ｆrecipe-outcome＝Ｆstudio（Ｉ，Ｅ，Ｐ，Ｍ，Ｖ）＋ＦRobKit（Ｅf，Ｉ，Ｒe，Ｐmf）
式中、Ｆstudio＝シェフスタジオのレシピスクリプト忠実度であり、
ＦRobKit＝ロボットキッチンによるレシピスクリプト実行であり、
Ｉ＝食材であり、
Ｅ＝機材であり、
Ｐ＝プロセスであり、
Ｍ＝方法であり、
Ｖ＝変数（温度、時間、圧力等）であり、
Ｅf＝機材忠実度であり、
Ｒe＝再現忠実度であり、
Ｐmf＝プロセス監視忠実度である。
【0075】
上記の式は、ロボット調製レシピの成果が、人間シェフが調製して配膳することになるもの（Ｆrecipe-outcome）に適合する程度を使用される食材（Ｉ）と、シェフのプロセス（Ｐ）を実行するのに利用可能な機材（Ｅ）と、調理プロセス中に全ての主要変数（Ｖ）を適正に取り込むことによる方法（Ｍ）とに基づいて、レシピが適正に取り込まれ、シェフスタジオ４４によって表されたレベル（Ｆstudio）に関連付け、更に主に適正食材（Ｉ）の使用と、シェフスタジオ内のものに比較したロボットキッチン内の機材忠実度レベル（Ｅf）と、レシピスクリプトをロボットキッチン内で再現することができるレベル（Ｒe）と、可能な最も高いプロセス監視忠実度（Ｐmf）を取得するために監視して補正動作を実行する能力及び必要性がどの程度存在するかということとによって駆動される関数（ＦRobKit）によってロボットキッチンがロボットレシピスクリプトの再現／実行プロセスをどの程度表すことができるかということに関連付ける。
【0076】
関数（Ｆstudio）及び（ＦRobKit）は、定数、変数、及びあらゆる形態のアルゴリズム関係を有する線形又は非線形の関数式のあらゆる組合せとすることができる。両方の関数に対するそのような代数表現についての例を以下に続く式とすることができる。
【0077】
Ｆstudio＝Ｉ（ｆｃｔ．ｓｉｎ（温度））＋Ｅ（ｆｃｔ．調理台１*５）＋Ｐ（ｆｃｔ．円（スプーン）＋Ｖ（ｆｃｔ．０．５*時間）
【0078】
上式は、調製プロセスの忠実度が、冷蔵庫内で正弦関数として経時変化する食材温度と、特定のステーション上の調理台上で食材を特定の倍率で加熱することができる速さと、スプーンをある一定の振幅及び周期の円形経路でどの程度上手に動かすことができるかということとに関連付けられること、及び調製プロセスの忠実度を維持するために、このプロセスを人間シェフの速さの１／２よりも遅く実施しないことが必要であることを描述している。
【0079】
ＦRobKit＝Ｅｆ，（調理台２，サイズ）＋Ｉ（１．２５*サイズ＋線形（温度））＋Ｒe（モーション推移）＋Ｐmf（センサの組の対応性）
【0080】
上式は、ロボットキッチンにおける再現プロセスの忠実度が、特定の調理区域に対する器具の種類及びレイアウト及び加熱要素のサイズと、表面焼き又はムースのかき混ぜのような特定の段階のいずれかの撹拌モーション及び浸漬モーションのモーション推移も維持しながら表面焼きされて調理される食材のサイズ及び温度推移と、監視センサデータがレシピ内の全ての段階の間にロボットキッチン内での調理プロセスの適正な監視忠実度を与えるのに十分に正確で詳細であると信用する程十分にロボットキッチン内のセンサとシェフスタジオ内のセンサとの間の対応性が高いか否かということとに関連付けられることを描述している。
【0081】
レシピの成果は、人間シェフの調理の段階／方法／プロセス／技能がシェフスタジオによってどの程度の忠実度で取り込まれたかということの関数だけではなく、これらの段階／方法／プロセス／技能をロボットキッチンがどの程度の忠実度で実行することができるかということの関数でもあり、この場合、これらの関数の各々が、それぞれの部分システム性能に影響を与える主要要素を有する。
【0082】
図３は、食品料理を調製する際のシェフの動きを記録し、ロボットのアーム及びハンドによって食品料理を再現することによる食品調製のための標準化ロボットキッチンの一実施形態５０を例示するシステム図である。この状況では、「標準化」（又は「標準」）という用語は、構成要素又は特徴の仕様が、下記で説明することになるように事前設定のものであることを意味する。コンピュータ１６は、３次元視覚センサ６６と、収縮可能安全スクリーン（例えば、ガラス、プラスチック、又はその他の種類の保護材料）６８と、ロボットアーム７０と、ロボットハンド７２と、標準化調理器具／機材７４と、センサ付き標準化調理用具７６と、標準化調理用具７８と、標準化ハンドル及び標準化道具８０と、標準化ハードオートメーション取り出し器８２（「ロボットハードオートメーションモジュール」とも呼ぶ）と、標準化キッチンプロセッサ８４と、標準化容器８６と、冷蔵庫内の標準化食品ストレージ８８とを含む標準化ロボットキッチン５０内の複数のキッチン要素に通信的に結合される。
【0083】
標準化ハードオートメーション取り出し器８２は、調理プロセスに向けて事前パッケージ化された（既知の）量又は特化された供給量の主要材料、例えば香辛料（塩、胡椒等）、液（水、油等）、又はその他の乾燥材料（小麦粉、砂糖等）を供給又は付与するように調理コンピュータ１６によってプログラマブル及び／又は制御可能であるデバイス又は一連のデバイスである。標準化ハードオートメーション取り出し器８２は、特定のステーションに設置することができるか、又はレシピシーケンスに従って取り出しを行うためにロボットによってアクセスし、トリガすることができる。他の実施形態では、ロボットハードオートメーションモジュールは、他のそのようなモジュール、ロボットアーム、又は調理道具と組み合わせるか、又は直列又は並列で順序付けすることができる。この実施形態では、標準化ロボットキッチン５０は、ロボットアーム７０とロボットハンド７２とを含み、ロボットハンドは、料理を調製する際にシェフの詳細な動きを再現してシェフが自分自身で調製した場合と同じ味の料理を生成するために、メモリ５２内に格納されたソフトウェアレシピファイルに従ってロボット食品調製エンジン５６によって制御される。３次元視覚センサ６６は、キッチン活動の視覚３次元モデルを生成し、標準化ロボットキッチン５０の内部の寸法及び物体を評価するためにキッチン空間領域を走査する物体の３次元モデル化を可能にする能力を与える。収縮可能安全ガラス６８は、透明材料をロボットキッチン５０上に備え、オン状態で安全ガラスをロボットキッチンの周囲に延ばし、周りにいる人間をロボットアーム７０及びロボットハンド７２の動き、熱湯及びその他の液、蒸気、炎、並びにその他の危険な影響要素から保護する。ロボット食品調製エンジン５６は、シェフスタジオシステム４４から過去に送られたソフトウェアレシピファイルを取得するために電子メモリ５２に通信的に結合され、このソフトウェアレシピファイルに対して、ロボット食品調製エンジン５６は、それに示されているとおりに調製プロセスを実行し、シェフの調理方法及び調理プロセスを再現するように構成される。ロボットアーム７０とロボットハンド７２との組合せは、結果として生じる食品料理が、シェフによって調製される同じ食品料理と同一の（又は実質的に同一の）味がすることになるように料理を調製する際にシェフの詳細な動きを再現するための役割を果たす。標準化調理機材７４は、コンロ／電磁調理器／調理台（電気調理台、ガス調理台、電磁調理台）、オーブン、グリル、調理蒸し器、及び電子レンジを含むが、これらに限定されない、ロボットキッチン５０の一部として組み込まれた数種類の調理器具４６を含む。標準化調理用具及びセンサ７６は、調理用具上のセンサに基づく食品調製段階の記録と、センサ付き深鍋、センサ付き平鍋、センサ付きオーブン、及びセンサ付き炭火グリルを含むセンサ付き調理用具に基づいて食品料理を調理する段階とのための実施形態として使用される。標準化調理用具７８は、フライパン、ソテーパン、グリルパン、マルチポット、ロースター、中華鍋、及び蒸し煮器を含む。ロボットアーム７０及びロボットハンド７２は、調理プロセスにおいて標準化ハンドル及び標準化道具８０を操作する。一実施形態では、ロボットハンド７２には、必要に応じた選択に向けてフォークの刃先、ナイフの刃先、及びスプーンの刃先に取り付けられる標準化ハンドルが備え付けられる。標準化ハードオートメーション取り出し器８２は、好適な主要食材及び共通／反復食材を供与するためにロボットキッチン５０内に組み込まれ、これらの食材は、容易に測定／分取／又は事前パッケージ化される。標準化容器８６は、食品を室温で保管するストレージ場所である。標準化冷蔵庫容器８８は、魚、肉、野菜、果物、牛乳、及びその他の生鮮品目を保管するための識別子付き容器を有する冷蔵庫に関するが、それに限定されない。標準化容器８６又は標準化ストレージ８８内の容器は、容器識別子を用いてコード化することができ、そこからロボット食品調製エンジン５６は、この容器識別子に基づいて容器内の食品の種類を確認することができる。標準化容器８６は、塩、胡椒、砂糖、油、及び他の香辛料等の非生鮮食品品目に対するストレージ空間を与える。センサ付き標準化調理用具７６及び調理用具７８は、料理を調製するために調理ツールを選択するためのロボットアーム７０による使用に向けて棚又は収納庫に保管することができる。一般的に生魚、生肉、及び野菜は事前にカットされて、識別子付き標準化ストレージ８８内に保管することができる。キッチンカウンター台９０は、ロボットアーム７０が、カット動作又は細切り動作を含む場合も含まない場合もある肉又は野菜を必要に応じて取り扱う段階を行うためのプラットフォームを与える。キッチン水栓９２は、料理のための調製において食品を洗浄又は清掃するためのキッチンシンク空間を与える。ロボットアーム７０が料理を調製するためのレシピプロセスを終了し、配膳に向けて料理の準備が整うと、料理は、道具、ワイングラス、及び食物に合うように選定されたワインの配置等の周辺設定をロボットアーム７０によって調節することによって食事環境を向上させることを更に可能にする配膳カウンター９０上に置かれる。標準化ロボットキッチンモジュール５０内の機材の一実施形態は、様々な種類の料理を調製するための普遍的な訴求力を高めるために業務用セットである。
【0084】
標準化ロボットキッチンモジュール５０は、レシピ再現の詳細度を最大化し、それと同時にシェフキッチン４４とロボットキッチン４８との間のレシピ料理の詳細再現からの偏倚の危険性を最小化するようにシェフキッチン４４とロボットキッチン４８との両方における整合性を確実にするために、キッチンモジュール５０及びそれ自体に伴う様々な構成要素の標準化を１つの目的として有する。キッチンモジュール５０の標準化を有する１つの主な目的は、シェフによって調製される第１の食品料理とロボットキッチンによる同じレシピプロセスの後続の再現との間で同じ調理プロセス結果（又は同じ料理）を取得することである。シェフキッチン４４とロボットキッチン４８との間で標準化ロボットキッチンモジュール５０における標準化プラットフォームを考えることは、同じタイムライン、同じプログラム又はモード、及び品質チェックといった幾つかの重要な要件を有する。シェフがシェフキッチン４４において食品料理を調製し、ロボットハンドによる再現プロセスがロボットキッチン４８内で行われる標準化ロボットキッチン５０における同じタイムラインは、同じ操作シーケンス、各操作の同じ開始時間及び終了時間、並びに取扱操作の間に物体を動かす同じ速さに関する。標準化ロボットキッチン５０における同じプログラム又はモードは、各操作の記録及び実行段階の間の標準化機材の使用及び操作に関する。品質チェックは、食品調製プロセス中にあらゆる偏倚を補正し、欠陥のある結果を回避するために各操作動作を監視して実時間で調節する標準化ロボットキッチン５０内の３次元視覚センサに関する。標準化ロボットキッチンモジュール５０の採用は、シェフが調製する食品料理とロボットのアーム及びハンドを用いてロボットキッチンによって調製される食品料理との間で同じ結果が得られないという危険性を低減し、最小限に抑える。ロボットキッチンモジュール及びロボットキッチンモジュール内部の構成要素の標準化を持たない場合には、シェフキッチン４４とロボットキッチン４８との間で異なるキッチンモジュール、異なるキッチン機材、異なるキッチン用具、異なるキッチンツール、及び異なる食材に伴ってより精巧で複合的調節アルゴリズムが必要とされることになることから、シェフキッチン４４とロボットキッチン４８との間で増幅された変動が、シェフが調製する食品料理とロボットキッチンによって調製される食品料理との間で同じ結果を取得することができないという危険性を高める。
【0085】
標準化ロボットキッチンモジュール５０は、多くの態様の標準化を含む。第１に、標準化ロボットキッチンモジュール５０は、あらゆる種類のキッチン用具、キッチン容器、キッチンツール、及びキッチン機材の標準化された位置及び向き（ＸＹＺ座標平面内）を含む（キッチンモジュール及びデバイスの位置にある標準化された固定孔と共に）。第２に、標準ロボットキッチンモジュール５０は、調理空間領域の標準化された寸法及び構造を含む。第３に、標準ロボットキッチンモジュール５０は、オーブン、コンロ、皿洗い機、水栓等の標準化機材セットを含む。第４に、標準ロボットキッチンモジュール５０は、形状、寸法、構造、材料、能力等に関して標準化されたキッチン用具、調理ツール、調理デバイス、容器、及び冷蔵庫内の食品ストレージを含む。第５に、一実施形態において標準ロボットキッチンモジュール５０は、あらゆるキッチン用具、ツール、器械、容器、及び機材を取り扱うためのハンドルであって、それをロボットハンドが、あらゆる不適切な把持又は不正な向きを回避しながら唯一の正しい位置に保持することを可能にする標準化ユニバーサルハンドルを含む。第６に、標準ロボットキッチンモジュール５０は、多彩な操作を行う標準化ロボットアーム及び標準化ロボットハンドを含む。第７に、標準ロボットキッチンモジュール５０は、標準化食材操作に向けて標準化キッチンプロセッサを含む。第８に、標準ロボットキッチンモジュール５０は、動的な３次元視覚データを作成するための標準化３次元視覚デバイス、並びにレシピ記録、実行追跡、及び品質チェックの機能のための他の可能な標準センサを含む。第９に、標準ロボットキッチンモジュール５０は、特定のレシピ実行中に各食材に関して標準化された種類、体積、サイズ、及び重量を含む。
【0086】
図４は、シェフスタジオシステム４４及び家庭用ロボットキッチンシステム４８内のコンピュータ１６との併用のためのロボット調理エンジン（「ロボット食品調製エンジン」とも呼ぶ）の一実施形態５６を例示するシステム図である。他の実施形態は、シェフキッチン４４及びロボットキッチン４８内のロボット調理エンジン１６内のモジュールの修正、追加、又は変更を有することができる。ロボット調理エンジン５６は、入力モジュール５０と、較正モジュール９４と、品質チェックモジュール９６と、シェフ動き記録モジュール９８と、調理用具センサデータ記録モジュール１００と、ソフトウェアレシピファイルを格納するためのメモリモジュール１０２と、記録済みセンサデータを用いて機械モジュール特定の順序付けされた作動プロファイルを生成するためのレシピ抽象化モジュール１０４と、シェフ動き再現ソフトウェアモジュール１０６と、１又は２以上の感知曲線を用いる調理用具感知再現モジュール１０８と、ロボット調理モジュール１１０（標準化作動、小規模操作、及び非標準化物体を実施するようにコンピュータ制御式）と、実時間調節モジュール１１２と、学習モジュール１１４と、小規模操作ライブラリデータベースモジュール１１６と、標準化キッチン操作ライブラリデータベースモジュール１１７と、これらのモジュールがバス１２０を通じて通信的に結合される出力モジュール１１８とを含む。
【0087】
入力モジュール５０は、別のコンピューティングデバイスから送られるソフトウェアレシピファイル等のあらゆるタイプの入力情報を受信するように構成される。較正モジュール９４は、それ自体をロボットアーム７０、ロボットハンド７２、及び標準化ロボットキッチンモジュール５０の内部にある他のキッチン用具及び機材で較正するように構成される。品質チェックモジュール９６は、調理に向けて生食品が取得される時に、生肉、生野菜、牛乳関連の食材の品質及び鮮度を決定し、それに加えて、これらの食品を標準化食品ストレージ８８内に受け入れる時に生食品の品質をチェックするように構成される。品質チェックモジュール９６は、食品の匂い、食品の色、食品の味、及び食品の外観又は見栄え等の感覚に基づく物体の品質検査を行うように構成することもできる。シェフ動き記録モジュール９８は、シェフが食品料理を調製する時のシェフのシーケンス及び詳細な動きを記録するように構成される。調理用具センサデータ記録モジュール１００は、内部の様々なゾーン内に配置されたセンサを装備する調理用具（センサ付き平鍋、センサ付きグリル、又はセンサ付きオーブン等）からの感知データを記録し、それによって１又は２以上の感覚曲線を生成するように構成される。結果は、特定の料理に関する調理器具の経時的温度変動を反映する温度（及び／又は湿度）曲線等の感知曲線の生成である。メモリモジュール１０２は、シェフレシピの動きの再現のためのソフトウェアレシピファイル又は感知データ曲線を含むその他の種類のソフトウェアレシピファイルのどちらかを格納するための格納場所として構成される。レシピ抽象化モジュール１０４は、記録済みセンサデータを用いて機械モジュール特定の順序付けられた作動プロファイルを生成するように構成される。シェフ動き再現モジュール１０６は、料理を調製する際のシェフの詳細な動きをメモリ５２内に格納されているソフトウェアレシピファイルに基づいて再現するように構成される。調理用具感知再現モジュール１０８は、シェフ４９が料理を調製した時に、センサ付き標準化調理用具７６を用いて生成された１又は２以上の記録済み感知曲線の特性を辿ることによって食品料理調製を再現するように構成される。ロボット調理モジュール１１０は、標準化キッチン操作、小規模操作、非標準化物体、並びに標準化ロボットキッチン５０内の様々なキッチンツール及び機材を制御して操作するように構成される。実時間調節モジュール１１２は、シェフの動きの詳細な再現又は感知曲線の詳細な再現である結果的なプロセスを生成するように特定のキッチン操作又は小規模操作に関連する変数に実時間調節を加えるように構成される。学習モジュール１１４は、ロボットアーム７０及びロボットハンド７２によって食品料理を調製する際に、事例に基づく（ロボット）学習等の方法を用いて、食品料理がシェフによって調製されたかのように詳細な再現を最適化するために、ロボット調理エンジン５６に学習能力を与えるように構成される。小規模操作ライブラリデータベースモジュール１１６は、小規模操作についての第１のデータベースライブラリを格納するように構成される。標準化キッチン操作ライブラリデータベースモジュール１１７は、標準化キッチン用具と、この標準化キッチン用具をどのように操作するかということとについての第２のデータベースライブラリを格納するように構成される。出力モジュール１１８は、ロボット調理エンジンの外部に出力コンピュータファイル又は制御信号を送るように構成される。
【0088】
図５Ａは、拡張マルチモード感知の使用に対応してロボットキッチンに対するレシピ命令スクリプトを作成する幾つかの主機能ブロックを示すシェフスタジオレシピ作成プロセスを例示するブロック図である。センサインターフェースモジュール１４８を通じてデータを収集するために、匂い１２４、ビデオカメラ１２６、赤外線スキャナ及び距離計１２８、ステレオ（又は更に三眼の）カメラ１３０、触覚グローブ１３２、多関節レーザスキャナ１３４、仮想世界ゴーグル１３６、マイクロフォン１３８、又は外骨格モーションスーツ１４０等の（しかし、これらに限定されない）多数のセンサからのセンサデータ、人間音声１４２、接触センサ１４４、及び更に別の形態のユーザ入力１４６が使用される。可能性のある人間のユーザの入力（例えばシェフの画面タッチ及び音声入力）を含むこれらのデータは、取得されてフィルタ処理され１５０、その後、多数の（並列）ソフトウェア処理が、時間データ及び空間データを利用して機械特定のレシピ作成プロセスにデータ投入するために使用されるデータを生成する。センサは、人間の位置及び／又はモーションを取り込むことに限定されないことが可能であり、標準化ロボットキッチン５０内の他の物体の位置、向き、及び／又はモーションを取り込むこともできる。
【0089】
これらの個別ソフトウェアモジュールは、（ｉ）場所及び構成のモジュール１５２を介してのシェフの場所及び調理ステーションＩＤ、（ii）アームの構成（胴体を介しての）、（iii）取り扱われるツール及びいつどのように取り扱われるか、（iv）ハードウェア及び変数の抽象化モジュール１５４を通じての使用道具及びステーション上での場所、（ｖ）これらの道具を用いて実行されるプロセス、（vi）処理モジュールＢ１５６を通じて監視する必要がある変数（温度、蓋のある／なし、撹拌等）、（vii）時間（開始／完成、種類）分布、（viii）適用されているプロセスの種類（撹拌、折り畳み等）、（ix）調理シーケンス及び調理プロセスの抽象化モジュール１５８を通じての追加食材（種類、量、準備状態等）等の情報を生成する（しかし、それによってこれらのモジュールのみに限定されることはない）。
【0090】
続いて全てのこれらの情報は、実行及び監視すべき逐次／並列重複作業のスクリプトとして編成される機械特定のレシピ命令セット（ロボットアームに対するものだけではなく、食材取り出し器、ツール、及び道具等にも対する）をスタンドアローンモジュール１６０を通じて作成するために使用される。このレシピスクリプト（１６２）は、全体の生データセット（１６４）と共にデータ格納モジュール１６６内に格納され、ロボットキッチンインターフェースモジュール１６８を通じて遠隔ロボット調理ステーションに対してアクセス可能にされるか、又はグラフィカルユーザインターフェース（ＧＵＩ）１７２を介して人間のユーザ１７０に対してアクセス可能にされるかのどちらかである。
【0091】
図５Ｂは、教示／再生プロセス１７６を有する標準化されたシェフスタジオ４４ロボットキッチン５０の一実施形態を例示するブロック図である。教示／再生プロセス１７６は、シェフがシェフスタジオ標準化機材７４と料理を作成する上でレシピによって必要とされる食材１７８とのセットを用いて、記録及び監視されている間にレシピ実行１８０を実施するシェフスタジオ４４内でシェフのレシピ実施プロセス／方法／技能４９を取り込む段階を説明する。生センサデータは１８２において記録され（再生に向けて）、更に様々な抽象化レベル（使用ツール／機材、採用技術、開始／終了時の時間／温度等）における情報を生成するように処理され、続いてロボットキッチン４８による実行に向けてレシピスクリプトを作成するために使用される１８４。
【0092】
ロボットキッチン４８は、プロセス１８６によってチェックされるキッチンが標準化又は非標準化のどちらの種類のものであるかに依存するプロファイルを有するレシピ再現プロセス１０６に携わる。
【0093】
ロボットキッチンの実行は、ユーザにとって利用可能なキッチンの種類に依存する。ロボットキッチンが、シェフスタジオ内で使用されるものと同じ／同一の（少なくとも機能的に）機材を用いる場合には、レシピ再現プロセスは主に生データを用いてレシピスクリプト実行プロセスの一部としてそれを再生するものである。しかし、キッチンが（理想的な）標準化キッチンとは異なる場合には、実行エンジンは、同様の段階的結果を得ようと試みる上でキッチン特定の実行シーケンスを生成するために、抽象化データを拠り所としなければならなくなる。
【0094】
公知のスタジオ機材１９６又は混在／異型の非シェフスタジオ機材１９８のどちらが使用されているかに関わらず、調理プロセスは監視プロセス１９４を介してロボットキッチン内の全てのセンサユニットによって継続的に監視されることから、システムは、レシピ進行チェック２００に依存して必要に応じて修正を加えることができる。標準化キッチンの一実施形態では、一般的に生データは、シェフスタジオ型機材を用いて実行モジュール１８８を通じて再生され、教示データセットと再生データセットとの間には１対一の対応性が存在することから、予測される調節は、スクリプト実行における調整２０２（ある一定の段階を繰り返す、ある一定の段階に戻る、実行を遅くする等）だけである。しかし、非標準化キッチンの場合には、システムは、シェフスタジオ４４内のものとは異なる利用可能ツール／器具１９２又は測定されたレシピスクリプトからの偏倚（肉が過度に緩慢に調理されていること、深鍋内の熱点がルーを焦がしていること等）に合わせるために、実際のレシピ自体及びその実行をレシピスクリプト修正モジュール２０４によって修正及び調整しなければならなくなる可能性が非常に高い。全体的レシピスクリプトの進行は、シェフスタジオ機材２０８又は混在／キッチン機材２１０のどちらが使用されているかに依存して異なる同様のプロセス２０６を用いて監視される。
【0095】
非標準化キッチンは、スタジオキッチン内で使用されるものを反映する機材及び能力を有する標準化ロボットキッチンを用いる場合と比較して、人間シェフが調理したものに近い料理を生じる可能性が低い。最終的な主観的判断は、当然ながら、（主観的）品質判断２１４を生じる品質評価２１２である人間（又はシェフ）の味見によるものである。
【0096】
図５Ｃは、人間シェフによるシェフスタジオレシピリハーサルの一部としてのレシピスクリプト生成プロセスの構造及びフローに関係するレシピスクリプト生成及び抽象化エンジンの一実施形態２１６を例示するブロック図である。第１の段階は、シェフスタジオ４４内で測定することができる全ての入手可能データに関して、中央コンピュータシステムによって入力されてフィルタ処理され、更に主プロセス２１８によってタイムスタンプが印加されることになるのは、シェフからの人間工学データ（アーム／ハンドの位置及び速度、触覚指データ等）、調理器具（オーブン、冷蔵庫、取り出し器等）のステータス、特定の変数（調理台温度、食材温度等）、使用されている器具又はツール（深鍋／平鍋、へら等）、又はマルチスペクトル感知機材（カメラ、レーザ、構造化光システム等を含む）のどれであるかということである。
【0097】
データ処理−マッピングアルゴリズム２２０は、簡単な（一般的に単一の単位の）変数を用いて、プロセスの動作が何処で（調理台及び／又はオーブン、冷蔵庫等）発生しているかを特定し、断続的又は継続的のどちらであるかに関わらず使用されているいずれかの物品／器具／機材に使用タグを割り当てる。このアルゴリズムは、調理段階（オーブン焼き、網焼き、食材追加等）を特定の時間間隔に関連付け、どの食材がいつ何処でどれ程の量追加されたかを追跡する。続いてこの（タイムスタンプが印加された）情報データセットは、レシピスクリプト生成プロセス２２２の最中にデータ併合プロセスに対して利用可能にされる。
【0098】
データ抽出及びマッピングプロセス２２４は、主に２次元情報（一眼／単レンズカメラからのもの等）に主眼が置かれ、この情報から重要な情報を抽出する。各連続画像から重要でより抽象化された記述情報を抽出するためには、当該データセットに幾つかのアルゴリズム処理を適用しなければならない。そのような処理段階は、エッジ検出、色及び質感のマッピングを含むことができ（しかし、これらに限定はされない）、続いて画像内のドメイン知識をデータ整理及び抽象化プロセス２２６から抽出された物体照合情報（種類及びサイズ）と併せて用いて、同じくデータ整理及び抽象化プロセス２２６から抽出された物体（機材品目であるか、又は食材品目であるか等）の識別及び定位を可能にし、画像内の状態（及びこの状態を記述する全ての関連変数）及び品目を特定の処理段階（揚げ、沸騰、カット等）に関連付けることを可能にする。このデータが抽出されて、特定の時点における特定の画像と関連付けられると、レシピの内部のシーケンス及び段階を策定するために、このデータをレシピスクリプト生成プロセス２２２に渡すことができる。
【0099】
データ整理及び抽象化エンジン（ソフトウェアルーチンセット）２２６は、大きめの３次元データセットを削減して、そこから重要な幾何学情報及び関連付け情報を抽出することのためのものである。第１の段階は、大きい３次元データ点クラウドから該当する特定の時点においてレシピにとって重要な特定の作業空間区域だけを抽出する段階である。データセットがトリミングされると、テンプレート照合として公知のプロセスによって重要な幾何学的特徴が識別されることになり、それによって、水平なテーブル台、円柱形の深鍋及び平鍋、アーム及びハンドの場所等の品目の識別が可能になる。典型的な既知の（テンプレート）幾何学的エンティティがデータセット内で決定されると、物体の識別及び照合のプロセスは、全ての品目を区別する段階（深鍋対平鍋等）に進み、これらの品目の寸法（深鍋又は平鍋のサイズ等）及び向きを関連付けて、コンピュータによって組み立て中の３次元世界モデルの内部にこれらの品目を配置する。これら全ての抽象化／抽出情報は、続いてデータ抽出及びマッピングエンジン２２４とも共有され、その後、全てがレシピスクリプト生成エンジン２２２に供給される。
【0100】
レシピスクリプト生成エンジンプロセス２２２は、全ての入手可能なデータ及びセットを明確なプロセス識別子（準備、湯通し、揚げ、洗浄、盛り付け等）と、各プロセスの内部のプロセス特定の段階とを有する構造化された逐次調理スクリプトへと併合する（一体化する／組み合わせる）役割を受け持ち、続いてこのスクリプトをプロセス終了、総調理時間、及び調理進行に基づいて同期されるロボットキッチン機械実行可能コマンドスクリプトへと解釈することができる。データ併合は、少なくとも、各（調理）処理段階を取得して、適正に関連付けられた要素（食材、機材等）を実行すべき段階シーケンスにデータ投入する能力と、処理段階の間に用いるべき方法及びプロセスと、適正な進行及び実行を検証するために維持及びチェックすべき関連の重要な制御変数（設定されたオーブン／調理台温度／設定）及び監視変数（水温又は肉の温度等）とを必要とすることになるが、これらだけに限定されることにはならない。併合されたデータは、続いて、最小記述段階（雑誌にあるレシピに類似の）のセットに似ることになるが、手順内のいずれかの１つの点における調理プロセスの各要素（機材、食材、プロセス、方法、変数等）に関連付けられるかなり大きい変数セットを有する構造化逐次調理スクリプトへと組み合わせられる。最終段階は、この逐次調理スクリプトを取得して、それをロボットキッチン４８の内部の機械／ロボット／機材のセットによって解釈可能な等しく構造化された逐次スクリプトへと改変することになる。ロボットキッチン４８が、自動レシピ実行及び監視段階を実行する上で用いるのはこのスクリプトである。
【0101】
全ての生（未処理）データ及び処理済みデータ並びに関連のスクリプト（構造逐次調理シーケンススクリプトと機械実行可能調理シーケンススクリプトとの両方）が、データプロファイル格納ユニット／プロセス２２８内に格納され、タイムスタンプが印加される。ユーザが、ＧＵＩを通じて望ましいレシピを選択し、それを自動化実行及び監視エンジン２３０を通じてロボットキッチンに実行させることができるのはこのデータベースからであり、完全に盛り付けられて配膳される料理に到達するために、この実行は、このエンジン自体の内部自動調理プロセスによって継続的に監視され、このスクリプトに対して必要な調整及び修正がこのエンジンによって生成され、ロボットキッチン要素によって実施される。
【0102】
図５Ｄは、小規模操作段階と結合された／この段階を用いたモーション再現の概念を用いたロボットスクリプトのロボットキッチン実行の物体操作部分の構造及びフロー２５０を示す標準化ロボットキッチン内における物体操作のためのソフトウェア要素を例示するブロック図である。自動ロボットアーム／ハンドに基づく調理が実施可能であるためには、アーム及び手／指内の一つ一つの関節を全て監視するだけでは不十分である。多くの場合、手／手首の位置及び向きだけが把握される（更に再現することができる）が、この場合、物体を操作する段階（場所、向き、姿勢、把持場所、把持策、及び作業実行を識別する）は、局所感知、学習済み挙動、並びに手及び指に関する方策を用いて把持段階／作業を操作する段階を首尾良く終了することを必要とする。これらのモーションプロファイル（センサに基づく／センサ駆動の）挙動及びシーケンスは、ロボットキッチンシステム内の小規模ハンド操作ライブラリソフトウェアレポジトリの内部に格納される。人間シェフは、アーム外骨格又は計装／ターゲット備え付けモーションベストを着用することができ、コンピュータが組み込みセンサ又はカメラ追跡を介して手及び手首の正確な３Ｄ位置を特定することを可能にする。両方の手にある１０本の指の全ての関節が計装された場合（両方の手で３０を上回るＤｏＦ［自由度］であり、着用して用いるのが非常に不便であり、従って使用される可能性は低い）であっても、全ての関節位置のモーションに基づく簡単な再生は、良好な結果を導く（対話的）物体操作を保証することにはならなない。
【0103】
小規模操作ライブラリは、特定の抽象的作業（ナイフを把持してスライス、スプーンを把持して撹拌、片手で深鍋を把持してもう一方の手を使ってへらを把持し、肉の下に入れて平鍋の中でそれを裏返しにする等）を首尾良く終了するためのアーム／手首／指のモーション及びシーケンスであるモーションの挙動及びプロセスが、オフライン学習プロセスに基づいて格納されたコマンドソフトウェアリポジトリである。このリポジトリは、例えば、「ナイフを把持して野菜をスライスする」、「卵を割ってボールの中に入れる」、「平鍋の中で肉を裏返す」等のより抽象的な言語で記述された物体（器具、機材、ツール）及び食材の操作の上首尾の終了を確実にするために、センサ駆動の好結果のモーションプロファイルの学習済みシーケンス及び手／手首に関する順序付き挙動を含むように（場合によって更にアーム位置の補正を含む）構築されたものである。学習プロセスは反復的であり、シェフスタジオからのシェフ教示モーションプロファイルの複数の試行に基づき、更にこのモーションプロファイルは、容認することができる実行シーケンスに到達したことを示すことができるまで、オフライン学習アルゴリズムモジュールによって実行されて、反復的に修正される。小規模操作ライブラリ（コマンドソフトウェアリポジトリ）は、ロボットキッチンシステムが、調理プロセス中に処理（単なる取り出しを超える段階）を必要とする全ての機材（器具、ツール等）及び主食材と首尾良く対話的処理を行うことを可能にするために必要な全ての要素がデータ投入済み（事前にオフラインで）のものであることが目論まれる。人間シェフは、指及び手掌に対して埋め込み触覚センサ（近接度、接触、接触場所／力）を有するグローブを着用したが、ロボットハンドには、モーションプロファイルを作成し、修正し、調整して望ましいモーションプロファイル及び取扱コマンドを首尾良く実行するためにこれらのセンサデータを用いることを可能にする場所に同様の種類のセンサが装備される。
【0104】
下記では、ロボットキッチン調理プロセスの物体操作部分（キッチン環境内での物体の対話的な操作及び取扱のためのロボットレシピスクリプト実行ソフトウェアモジュール）２５２を更に詳述する。ロボットレシピスクリプトデータベース２５４（生の抽象化された調理シーケンス機械実行可能スクリプト形式でデータを含む）を用いて、レシピスクリプト実行モジュール２５６は、特定のレシピ実行段階を順番に処理してゆく。構成再生モジュール２５８は、構成コマンドを選択し、それをロボットアームシステム（胴体、アーム、手首、及びハンド）コントローラ２７０に渡し、続いてコントローラ２７０は、必要な構成（関節の位置／速度／トルク等）値を模擬するように物理的システムを制御する。
【0105】
適正な環境相互作用の操作及び取扱の作業を忠実に実施することができるという概念は、（ｉ）３Ｄ世界モデル化、並びに（ii）小規模操作を用いた実時間プロセス検証を通じて可能になる。検証段階と操作段階との両方が、ロボット手首及びロボットハンド構成修正器２６０の追加を通じて実施される。このソフトウェアモジュールは、ロボットキッチンのシステム及びプロセスの構成が、レシピスクリプト（データベース）によって必要とされているものに一致していることを確認し、一致していない場合には、コマンドシステム構成値に対する修正を実施して作業が首尾良く終了されることを確実にするために、マルチモードセンサユニットによって供給される感知データからの全てのサンプリング段階において新しい３Ｄ世界モデルを作成する３Ｄ世界構成モデラ２６２からのデータを用いる。更に、ロボット手首及びロボットハンド構成修正器２６０は、小規模操作モーションプロファイル実行器２６４からの構成修正入力コマンドも用いる。構成修正器２６０に供給されるハンド／手首（及び場合によっては更にアームの）構成修正データは、２５８から望ましい構成再生が何であるべきかを把握するが、それと同時に３Ｄ物体モデルライブラリ２６６と、構成及び順序付けライブラリ２６８（全ての主要物体の取扱段階及び処理段階に対する複数の反復学習段階に基づいて構築された）からの事前学習済み（かつ格納済み）データとに基づいてこの構成再生を修正する小規模操作モーションプロファイル実行器２６４に基づく。
【0106】
構成修正器２６０は、修正済みコマンド構成データをロボットアームシステムコントローラ２７０に継続的に供給する一方で、操作が適正に進んでいることだけではなく継続的な操作／取扱が必要であるか否かということも検証するために、取扱／操作検証ソフトウェアモジュール２７２を拠り所とする。継続的な操作／取扱が必要である（決定に対する回答が「Ｎ」である）場合には、構成修正器２６０は、世界モデラ２６２と小規模作動プロファイル実行器２６４との両方に構成修正（手首、ハンド／指、及び場合によってはアーム及び可能性として更に胴体に関する）の更新を再要求する。目標は簡単であり、好結果の操作／取扱の段階又はシーケンスが首尾良く終了したかを検証することである。取扱／操作検証ソフトウェアモジュール２７２は、このチェックをレシピスクリプトデータベースＦ２の知識と、３Ｄ世界構成モデラ２６２とを用いることによって実施し、レシピスクリプト実行器２５６によって現時点で命令されている調理段階における適切な進行を検証する。進行が上首尾のものであると見なされると、レシピスクリプトインデックス増分プロセス２７４が、レシピスクリプト実行における次の段階に進むようにレシピスクリプト実行器２５６に通知する。
【0107】
図６は、本発明によるマルチモード感知及びソフトウェアエンジン構造３００を例示するブロック図である。ロボット調理スクリプトの計画、実行、及び監視を可能にする自律調理の主な特徴のうちの１つは、全段階が継続的／反復的な閉ループ方式で発生する、（ｉ）世界を理解する段階、（ii）シーン及び材料をモデル化する段階、（iii）ロボット調理シーケンス内の次の段階を計画する段階、（iv）生成された計画を実行する段階、（ｖ）適正な操作を検証するために実行を監視する段階に必要とされるデータを生成するために複数のソフトウェアモジュールによって使用されるマルチモード感知入力３０２の使用を必要とする。
【0108】
ビデオカメラ３０４と、ＩＲカメラ及び距離計３０６と、ステレオ（又は更に三眼の）カメラ３０８と、多次元走査レーザ３１０とをこれらに限定されることなく備えるマルチモードセンサユニット３０２は、マルチスペクトル感知データを主ソフトウェア抽象化エンジン３１２に与える（データ取得及びフィルタ処理モジュール３１４内に取得され、フィルタ処理された後に）。このデータは、シーン理解モジュール３１６内で、重畳される視覚スペクトル及びＩＲスペクトルの色及び質感のビデオ情報を有するシーンの高解像度及び低解像度（レーザ：高解像度、ステレオカメラ：低解像度）の３次元表面空間領域を構築する段階、エッジ検出及び体積測定物体検出アルゴリズムがシーン内にどんな要素が存在するのかを推測することを可能にする段階、形状／色／質感のマッピング及び整合性マッピングのアルゴリズムの使用が処理済みデータに基づいて進み、キッチン調理プロセス機材取扱モジュール３１８に処理済み情報を供給することを可能にする段階等（しかし、限定はされない）の複数の段階を実施するために使用される。モジュール３１８内では、特定の時点における完全なシーンをコンピュータに構築させて理解させ、このシーンが次の段階の計画及びプロセス監視に使用されるように、キッチンツール及びキッチン道具の位置及び向きを識別して３次元的に定位し、識別可能な食品要素（肉、人参、ソース、液等）を識別してタグ付けする目的でソフトウェアベースのエンジンが使用される。そのようなデータ及び情報の抽象化を果たすのに必要とされるエンジンは、把持推論エンジン、幾何学形状推論エンジン、物理的推測エンジン、及び作業推論エンジンを含むが、これらに限定されない。両方のエンジン３１６及び３１８からの出力データは、続いてシーンモデラ及び内容分類器３２０に供給するために使用され、そこで、ロボット調理スクリプト実行器を実行するために必要とされる全ての重要な内容を有する３Ｄ世界モデルが作成される。完全にデータ投入された世界モデルが理解されると、それをアーム及び取り付けられたエンドエフェクタ（把持器、多指ハンド）に対してモーション及び軌道を計画することを可能にするためのモーション及び取扱プランナー３２２に供給するために用いることができる（ロボットアームの把持及び取扱が必要な場合には、同じデータを必要な把持及び配置に依存して、食品品目とキッチン品目とを区別して、それを握って操作する段階を計画するために用いることができる）。後続の実行シーケンスプランナー３２４は、全ての個別ロボットキッチン要素／自動キッチン要素に対する作業に基づくコマンドの適正なシーケンスを作成し、このシーケンスは、続いてロボットキッチン作動システム３２６によって使用される。ロボットレシピスクリプト実行及び監視局面の間に、上記のシーケンス全体が継続的閉ループで繰り返される。
【0109】
図７Ａは、この場合、レシピスクリプトの作成を可能にするためにマルチモードセンサシステム６６によって監視されている間に、人間シェフ４９がレシピの作成及び実行を実施するシェフスタジオの役割を果たす標準化キッチン５０を描示している。標準化キッチンの内部には、道具３６０と、調理台３６２と、キッチンシンク３５８と、皿洗い機３５６と、テーブル台ミキサー及び混合器（「キッチン混合器」とも呼ぶ）３５２と、オーブン３５４と、冷蔵庫／冷凍庫組合せユニット３５３とを含む主調理モジュール３５０を含むレシピの実行に必要な複数の要素が含まれる。
【0110】
図７Ｂは、この場合、垂直伸縮自在回転胴体関節３６０を有し、２つのアーム７０と２つの手首関節付き指付きハンド７２とが装備された双アームロボットシステムが、レシピスクリプト内に定義されたレシピ再現プロセスを実施する標準化ロボットキッチンとして構成された標準化キッチン５０を描示している。マルチモードセンサシステム６６は、レシピ再現プロセスの複数の段においてロボットによって実行される調理段階を継続的に監視する。
【0111】
図７Ｃは、レシピ実行プロセス全体の間に人間シェフ４９を監視することによるレシピスクリプトの作成に関与するシステムを描示している。同じ標準化キッチン５０がシェフスタジオモードで使用され、この場合、シェフは作業モジュールのどちら側からもキッチンを操作することができる。マルチモードセンサ６６が監視を行ってデータを収集し、それに加えてデータは、シェフによって着用されたグローブ３７０及び計装された調理用具３７２及び機材を通じても監視収集され、収集された全ての生データは、処理及び格納に向けて処理コンピュータ１６に無線で伝送される。
【0112】
図７Ｄは、伸縮自在回転胴体３７４を有し、２つのアーム７２と、２つのロボット手首７１と、埋め込み感知皮膚及び先端センサを有する２つの多指ハンド７２とで構成される双アームシステムの使用によるレシピスクリプト１９の再現のための標準化キッチン５０内に含まれるシステムを描示している。ロボット双アームシステムは、レシピ再現プロセスにおける特定の段階を実行する間に、計装されたアーム及びハンドを調理道具並びに計装された器具及び調理用具（この画像では平鍋）と共に調理台１２上で用い、この間に、この再現プロセスが人間シェフによって作成されるものに可能な限り忠実に実施されることを確実にするために、マルチモードセンサユニット６６によって継続的に監視される。レシピの再現プロセスを比較して追跡し、過去に作成され、媒体１８内に格納されたレシピスクリプト１９内に定義された基準及び段階を可能な限り忠実に辿るように、マルチモードセンサ６６、胴体７４と、アーム７２と、手首７１と、多指ハンド７２とで構成される双アームロボットシステム、道具、調理用具、及び器具からの全てのデータは、コンピュータ１６に無線送信され、そこでオンボード処理ユニット１６によって処理される。
【0113】
図７Ｅは、人間シェフ４９によって調製される料理と比較した場合に、標準化ロボットキッチン５０によって実行される特定の料理に対する調理結果が可能な限り同一のものに近づくことを確実にする制御点又は検証点が、標準化ロボットキッチン５０によって実行される場合のレシピスクリプトに基づくレシピ再現プロセス中に存在することを確実にするための段階的フロー及び方法３７６を描示するブロック図である。レシピスクリプトによって記述され、調理プロセス３８０において逐次段階で実行されるレシピ３７８を用いる場合に、ロボットキッチン５０によるレシピの実行忠実度は、以下に続く主要制御項目を検討することに大きく依存することになる。重要な制御項目は、標準化された部分量及び形状の高品質下処理済み食材を選択して利用するプロセス３８１と、既知の向きでの適正で確実な把持を確実にするための標準化されたツール及び道具、標準化ハンドルを有する調理用具の使用３８３と、人間シェフ４９が料理を調製するシェフスタジオキッチンと標準化ロボットキッチン５０とを比較した場合に可能な限り同一の標準化キッチン内の標準化機材３８５（オーブン、混合器、冷蔵庫、冷蔵庫等）と、レシピ内で食材を用いるべき場所及び配置３８４と、最終的に、特定の料理に対するレシピスクリプトの再現プロセスの全ての段において各段階の上首尾の実行を確実にするために、コンピュータ制御式動作を有するセンサによって継続的に監視されるキッチンモジュール３８２内の１対のロボットアーム、ロボット手首、及びロボット多指ハンドとを含む。つまり、同一の結果３８６を確実にする作業が、標準化ロボットキッチン５０にとっての最終目標である。
【0114】
図８Ａは、シェフの動きとロボットの再現の動きとの間のレシピ変換アルゴリズムモジュール４００の一実施形態を例示するブロック図である。レシピアルゴリズム変換モジュール４０４は、シェフスタジオ４４内でのシェフの動きからの取り込みデータをシェフの動きによって調製される食品料理をロボットキッチン４８内で再現するようにロボットアーム７０及びロボットハンド７２に命令するための機械可読かつ機械実行可能な言語４０６に変換する。シェフスタジオ４４内において、コンピュータ１６は、テーブル４０８に垂直列にある複数のセンサＳ0、Ｓ1、Ｓ2、Ｓ3、Ｓ4、Ｓ5、Ｓ6…Ｓnと、水平行にある時間増分ｔ0、ｔ1、ｔ2、ｔ3、ｔ4、ｔ5、ｔ6…ｔendとによって表している、シェフが着用するグローブ２６上のセンサに基づくシェフの動きを取り込んで記録する。時間ｔ0において、コンピュータ１６は、複数のセンサＳ0、Ｓ1、Ｓ2、Ｓ3、Ｓ4、Ｓ5、Ｓ6…Ｓnから受け取られるセンサデータからｘｙｚ座標位置を記録する。時間ｔ1において、コンピュータ１６は、複数のセンサＳ0、Ｓ1、Ｓ2、Ｓ3、Ｓ4、Ｓ5、Ｓ6…Ｓnから受け取られるセンサデータからｘｙｚ座標位置を記録する。時間ｔ2において、コンピュータ１６は、複数のセンサＳ0、Ｓ1、Ｓ2、Ｓ3、Ｓ4、Ｓ5、Ｓ6…Ｓnから受け取られるセンサデータからｘｙｚ座標位置を記録する。このプロセスは、食品調製全体が時間ｔendにおいて終了するまで続く。各時間単位ｔ0、ｔ1、ｔ2、ｔ3、ｔ4、ｔ5、ｔ6…ｔendに対する経過時間は同じである。取り込まれて記録されたセンサデータの結果として、テーブル４０８は、グローブ２６内のセンサＳ0、Ｓ1、Ｓ2、Ｓ3、Ｓ4、Ｓ5、Ｓ6…Ｓnから、１つの特定の時間におけるｘｙｚ座標位置から次の特定の時間におけるｘｙｚ座標位置までの間の差分を示すことになるいずれかの動きをｘｙｚ座標で示している。テーブル４０８は、シェフの動きが、開始時間ｔ0から終了時間ｔendまでの全体の食品調製プロセスにわたってどのように変化するかを効果的に記録している。この実施形態における例示を食品料理を調製する間の動きを取り込むためにシェフ４９が着用する２つのセンサ付きグローブ２６に拡張することができる。ロボットキッチン４８内において、ロボットアーム７０及びロボットハンド７２は、シェフスタジオ４４から記録され、続いてロボット命令に変換されるレシピを再現し、この場合、ロボットアーム７０及びロボットハンド７２は、タイムライン４１６に従ってシェフ４９の食品調製を再現する。ロボットアーム７０及びロボットハンド７２は、タイムライン４１６に示しているように、食品調製を同じｘｙｚ座標位置において、開始時間ｔ0から終了時間ｔendまで同じ時間増分による同じ速さで実施する。
【0115】
幾つかの実施形態では、シェフは、同じ食品調製操作を複数回実施し、対応するロボット命令において１つの時間から次の時間までに幾分変化するセンサ示度値及びパラメータを生じる。同じ食品料理の調製の複数回の繰り返しにわたる各センサに関するセンサ示度セットは、平均、標準偏差、並びに最小値及び最大値を有する分布を与える。シェフによる同じ食品料理の複数回の実行にわたるロボット命令（エフェクタパラメータとも呼ぶ）上での対応する変化も、平均、標準偏差、最小値、及び最大値を有する分布を定義する。これらの分布は、後続のロボット食品調製の忠実度（又は精度）を特定する上で用いることができる。
【0116】
一実施形態では、ロボット食品調製操作の推定平均精度は次式によって与えられる。[この文献は図面を表示できません]
【0117】
上式中のＣは、シェフパラメータのセット（１番目からｎ番目まで）を表し、Ｒは、ロボット装置パラメータのセット（相応して１番目からｎ番目まで）を表す。総和内の分子は、ロボットパラメータとシェフパラメータとの間の差（すなわち誤差）を表し、分母は、最大差に対して正規化を行う。総和は、総正規化累積誤差（すなわち、[この文献は図面を表示できません]
）を与え、それに１／ｎを乗じることによって平均誤差が与えられる。平均誤差の補完は、平均精度に対応する。
【0118】
別形式の精度の算出は、重要度に関してこれらのパラメータに重み付けし、この場合、各係数（各々αi）は、ｉ番目のパラメータの重要度を表し、正規化累積誤差は、[この文献は図面を表示できません]
であり、推定平均精度は次式によって与えられる。[この文献は図面を表示できません]
【0119】
図８Ｂは、シェフの動きを取り込んで送信するためにシェフ４９によって着用されるセンサ付きグローブ２６ａ及び２６ｂの対を例示するブロック図である。限定効果なしに一例を示すことを意図したこの具体例では、右手グローブ２６ａは、任意選択的な電子回路及び機械回路４２０を有することができるグローブ２６ａ上の様々なセンサデー点Ｄ1、Ｄ2、Ｄ3、Ｄ4、Ｄ5、Ｄ6、Ｄ7、Ｄ8、Ｄ9、Ｄ10、Ｄ11、Ｄ12、Ｄ13、Ｄ14、Ｄ15、Ｄ16、Ｄ17、Ｄ18、Ｄ19、Ｄ20、Ｄ21、Ｄ22、Ｄ23、Ｄ24、及びＤ25を取り込むために２５個のセンサを含む。左手グローブ２６ｂは、任意選択的な電子回路及び機械回路４２２を有することができるグローブ２６ｂ上の様々なセンサデー点Ｄ26、Ｄ27、Ｄ28、Ｄ29、Ｄ30、Ｄ31、Ｄ32、Ｄ33、Ｄ34、Ｄ35、Ｄ36、Ｄ37、Ｄ38、Ｄ39、Ｄ40、Ｄ41、Ｄ42、Ｄ43、Ｄ44、Ｄ45、Ｄ46、Ｄ47、Ｄ48、Ｄ49、Ｄ50を取り込するために２５個のセンサを含む。
【0120】
図８Ｃは、シェフのグローブ２６ａ及び２６ｂから取り込まれた感知データに基づくロボット調理実行段階を例示するブロック図である。シェフスタジオ４４内においてシェフ４９は、食品調製プロセスを取り込むためにセンサ付きグローブ２６ａ及び２６ｂを着用し、センサデータはテーブル４３０内に記録される。この例では、シェフ４９は、ナイフを用いて人参をカットしており、この場合、キャロットの各スライスは、厚みが約１センチメートルである。グローブ２６ａ、２６ｂによって記録されるシェフ４９によるこれらの動作プリミティブは、時間スロット１、２、３、及び４にわたって発生する小規模操作４３２を構成することができる。レシピアルゴリズム変換モジュール４０４は、シェフスタジオ４４から記録されたレシピファイルをロボットキッチン２８内でソフトウェアテーブル４３４に従ってロボットアーム７０及びロボットハンド７２を操作するためのロボット命令に変換するように構成される。ロボットアーム７０及びロボットハンド７２は、小規模操作ライブラリ１１６内に事前定義されているナイフを用いて人参をカットする小規模操作であって、人参の各スライスの厚みが約１センチメートルである小規模操作に関する制御信号４３６を用いて食品料理を調製する。回転Ｒ場７０及びロボットハンド７２は、同じｘｙｚ座標４３８において、実時間調節デバイス１１２から人参の一時的３次元モデル４４０を作成することによって特定の人参のサイズ及び形状に対する可能な実時間調節を伴って作動する。
【0121】
本発明の実施形態において説明するもの等の機械ロボット機構を操作するためには、多くの機械問題及び制御問題に対処する必要があり、ロボット工学における文献が、それを行うための方法しか説明していないことを当業者は認識している。ロボットシステムにおける静的及び／又は動的な安定性の確立は重要な要件である。特にロボット操作では、偶発的な破損又は望ましいもの又はプログラムされたものを越える動きを防止するために、動的安定性は非常に望ましい性質である。図８Ｄに、平衡に対する動的安定性を例示している。この場合、「平衡値」はアームの望ましい状態である（すなわち、アームは、それが動くようにプログラムされた場所に正確に動き、例えば、慣性、求心力又は遠心力、調波振動等のいずれかの個数の因子によって偏倚が引き起こされる）。動的に安定したシステムは、曲線４５０で表しているように変化が小さく、時間と共に弱まるものである。動的に不安定なシステムは、曲線４５２で描示しているように、変化が弱まり損ねて時間と共に強まる恐れがあるものである。更に最悪の状況は、アームが静的に不安定であり（例えば、把持しているものが何であるかに関わらず、その重量を保持することができない）、落下させるか、又は曲線４５４で例示しているように、プログラムされた位置及び／又は経路からのいかなる偏倚からも復帰し損ねる場合である。計画（小規模操作シーケンスを形成する段階、又は何かが狂った場合に復帰する段階）についての追加の情報は、Ｇａｒａｇｎａｎｉ，Ｍ．著（１９９９年）「Ｉｍｐｒｏｖｉｎｇ ｔｈｅ Ｅｆｆｉｃｉｅｎｃｙ ｏｆ Ｐｒｏｃｅｓｓｅｄ Ｄｏｍａｉｎ−ａｘｉｏｍｓ Ｐｌａｎｎｉｎｇ（処理対象ドメイン公理設計の効率の改善）」、ＰＬＡＮＳＩＧ−９９会報、英国マンチェスター、１９０〜１９２ページであり、この参考文献は、その全文が引用によって本明細書に組み込まれている。
【0122】
上述の文献は、ロボットアームの適正な機能を可能にするために本発明に引用によって取り入れた動的安定性に対する条件に言及している。これらの条件は、ロボットアームの関節に対するトルクを算出するための次式の基本原理を含む。[この文献は図面を表示できません]
【0123】
上式中のＴは、トルクベクトルであり（Ｔは、各々がロボットアームの自由度に対応するｎ個の成分を有する）、Ｍは、システムの慣性行列であり（Ｍは、ｎ×ｎ半正定値行列である）、Ｃは、求心力と遠心力との組合せであり、同様にｎ×ｎ行列であり、Ｇ（ｑ）は重力ベクトルであり、ｑは位置ベクトルである。更にこれらの条件は、ロボット位置（ｘ’）を２回微分可能な関数（ｙ’）によって記述することができる場合に、例えばラグランジュ方程式によって安定点及び最小点を見出す段階を含む。[この文献は図面を表示できません]
[この文献は図面を表示できません]
【0124】
ロボットアームとハンド／把持器とで構成されるシステムが安定するためには、このシステムを適正に設計して構築し、このシステムが、許容性能境界の範囲内で作動する適切な感知制御システムを有することが重要である。このことが重要である理由は、物理的システムと、そのコントローラがこのシステムに何を行うことを求めているかということとを前提として、可能な最良の性能を（最高の速さを位置／速度及び力／トルクの最良の追跡と共に全てが安定した条件下で）取得することが求められるからである。
【0125】
適正設計が議論される場合には、その概念は、システムの適正な可観察性及び可制御性に関するものである。可観察性は、システムの重要な変数（関節／指の位置及び速度、力、及びトルク）がシステムによって測定可能であることを意味し、このことは、これらの変数を感知する能力を有する必要があることを意味し、更にこのことは、適正な感知デバイスの存在及び使用（内部又は外部）を意味する。可制御性は、主体（この場合にはコンピュータ）が、内部／外部のセンサから観察されるパラメータに基づいてシステムの主軸を成形又は制御する能力を有することを意味し、通常このことは、モータ又はその他のコンピュータ制御式作動システムを用いたある一定のパラメータに関するアクチュエータ又は直接的／間接的な制御を意味する。システムをその応答において可能な限り線形にし、それによって有害な非線形性効果（静摩擦、反動、ヒステリシス等）を打ち消す能力は、ＰＩＤ利得計画のような制御体系及びスライディングモード制御のような非線形コントローラが、システムモデル化の不確実性（質量／慣性推定における誤差、寸法の幾何学的離散化、センサ／トルクの離散化異常等）を踏まえたとしても、いかなる高性能制御システムにおいても必ず存在するシステムの安定性及び性能を保証することを可能にする。
【0126】
更に、ある一定の最大周波数成分を有する素早いモーションに追従するシステムの能力は、システム全体がどの程度の制御帯域幅（コンピュータ制御システムの閉ループサンプリングレート）を取得することができるかということ、従ってシステムが示すことができる周波数応答（ある一定の速さ及びモーション周波数成分のモーションを追跡する能力）に明らかに関連することから、適正なコンピューティング及びサンプリングのシステムの使用は重要である。
【0127】
上記の全ての特性は、非常に冗長なシステムが、人間シェフが上首尾のレシピスクリプト実行に必要とする複雑で巧妙な作業を動的な方式と安定した方式との両方で実際に実施することができることを確実にすることに関して重要である。
【0128】
本発明に関係するロボット操作の状況における機械学習は、強化学習等のパラメータ調節のための公知の方法を含むことができる。本発明に対する別の好ましい実施形態は、時間を掛けて複数の段階を経て食物を調製及び調理する段階等の反復的で複合的動作のための学習技術、すなわち、事例に基づく学習である。類推的推論としても公知の事例に基づく推論は、長い時間を掛けて開発されてきた。
【0129】
一般的な概要として、事例に基づく推論は、以下に続く段階を含む。Ａ．事例を構築して格納する段階。事例は、目的を果たすために首尾良く実施される、パラメータを有する動作シーケンスである。パラメータは、作業（例えば調理操作）を首尾良く実施するために必要とされる値を有する力、方向、位置、及びその他の物理的又は電子的な尺度を含む。最初に、
１．直前に解かれた問題の態様を以下のものと一緒に格納する段階、
２．問題を解くための方法及び任意選択的に中間的な段階及びそのパラメータ値、及び
３．最終成果を（典型的に）格納する段階。
Ｂ．事例を適用する段階（後の時点において）
４．新しい問題との強い類似性を帯びた問題を有する１又は２以上の格納済みの事例を取得する段階、
５．任意選択的に、現在の事例に対して適用する上で取得事例からのパラメータを調節する段階（例えば、ある物品が幾分重めである可能性があり、従ってそれを持ち上げるには幾分強めの力が必要とされる）、
６．新しい問題を少なくとも部分的に解くために、事例からの同じ方法及び段階を調節済みパラメータと共に（必要に応じて）用いる段階。
従って、事例に基づく推論は、過去の問題に対する解を格納する段階と、これらの解を非常に似通った新しい問題に対して取り得るパラメータ修正を加えて適用する段階とで構成される。しかし、ロボット操作課題に対して事例に基づく推論を適用するためには、更なる何かが必要とされる。解決計画の１つのパラメータの変化は、つながりのある１又は２以上のパラメータの変化を引き起こすことになる。それによって、適用だけではなく、問題の解の改変が必要とされる。この新しいプロセスは、解を同系の近接解（入力食材の正確な重量、形状、及び場所等の入力パラメータの小さい変化に対応するもの）へと一般化することから、このプロセスを事例に基づくロボット学習と呼ぶ。事例に基づくロボット学習は以下のとおりに作動する。
Ｃ．ロボット操作事例を構築、格納、及び改変する段階
１．直前に解かれた問題の態様を以下のものと一緒に格納する段階、
２．パラメータの値（例えば、式１からの慣性行列、力等）、
３．どの程度のパラメータ値が変化して、なおも望ましい結果を取得することができるかを把握するために、ドメインに関連するパラメータを変更する（例えば、調理において材料の重量又はその正確な開始位置を変更する）ことによって摂動解析を実施する、
４．モデルに対する摂動解析を介して、他のどのパラメータ値（例えば力）が変化することになるか、及びどの程度変化することになるかを記録する、かつ
５．変化がロボット装置の作動仕様の範囲内にある場合に、改変された解決計画（パラメータ間の依存性及びこれらの値についての予測変化の算出を伴う）を格納する。
段階Ｄ．事例を適用する段階（後の時点において）
６．改変された正確な値（入力パラメータの値に依存する新しい値についての新しい範囲又は算出）を有するが、パラメータ値及び値範囲を含み、新しい問題との強い類似性を帯びた初期問題を有する１又は２以上の格納済み事例を取り出す、かつ
７．新しい問題を少なくとも部分的に解くために、事例からの方法及び段階を改変したものを用いる。
シェフが、ロボット（２つのアーム、並びに指からの触覚フィードバック、関節からの力フィードバック、及び１又は２以上の観察カメラ等の感知デバイス）に教示するにつれて、ロボットは、観察可能な入力パラメータの軽微な変化に関わらず、同じ料理を調製することができるように、特定の動きシーケンス及び時間相関性だけではなく、シェフの動きの周囲の同系の小さい変化も学習し、従って一般化され、改変された計画を学習し、丸暗記よりもはるかに高い有用性を与える。事例に基づく推論及び学習についての追加の情報に関しては、全文が引用によって本明細書に組み込まれているＬｅａｋｅ著資料（１９９６年書籍）「Ｃａｓｅ−Ｂａｓｅｄ Ｒｅａｓｏｎｉｎｇ：Ｅｘｐｅｒｉｅｎｃｅｓ，Ｌｅｓｓｏｎｓ ａｎｄ Ｆｕｔｕｒｅ Ｄｉｒｅｃｔｉｏｎｓ（事例に基づく推論：経験、レッスン、及び将来の方向性）」、ｈｔｔｐ：／／ｊｏｕｒｎａｌｓ．ｃａｍｂｒｉｄｇｅ．ｏｒｇ／ａｃｔｉｏｎ／ｄｉｓｐｌａｙＡｂｓｔｒａｃｔ？ｆｒｏｍＰａｇｅ＝ｏｎｌｉｎｅ＆ａｉｄ＝４０６８３２４＆ｆｉｌｅＩｄ＝Ｓ0２６９８８８９００００６５８５ｄｌ．ａｃｍ．ｏｒｇ／ｃｉｔａｔｉｏｎ．ｃｆｍ？ｉｄ＝５２４６８０、Ｃａｒｂｏｎｅｌｌ著資料（１９８３年）「Ｌｅａｒｎｉｎｇ ｂｙ Ａｎａｌｏｇｙ：Ｆｏｒｍｕｌａｔｉｎｇ ａｎｄ Ｇｅｎｅｒａｌｉｚｉｎｇ Ｐｌａｎｓ ｆｒｏｍ Ｐａｓｔ Ｅｘｐｅｒｉｅｎｃｅ（類推による学習：過去の経験からの計画の策定及び一般化）」、ｈｔｔｐ：／／ｌｉｎｋ．ｓｐｒｉｎｇｅｒ．ｃｏｍ／ｃｈａｐｔｅｒ／１０．１００７／９７８−３−６６２−１２４０５−５＿５を参照されたい。
【0130】
図８Ｅに描示しているように、調理プロセスは、タイムライン４５６に示している食品調製の複数の段Ｓ1、Ｓ2、Ｓ3…Ｓj…と記す段階シーケンスを必要とする。これらの段階は、厳密な線形／逐次的順番付けを必要とする場合があり、又は幾つかのものは並列で実施することができ、どちらによっても、全体的成功を果たすために全てを首尾良く終了しなければならない段セット｛Ｓ1，Ｓ2，…，Ｓi，…，Ｓn｝を有する。各段に対する成功確率がＰ（ｓi）であり、ｎ個の段が存在する場合には、全体的成功確率は、各段における成功確率の積によって次式として推定される。[この文献は図面を表示できません]
【0131】
当業者は、個別段の成功確率が比較的高い場合であっても、全体的成功確率が低い可能性があることを認めるであろう。例えば、１０個の段と、９０％である各段の成功確率とを仮定すると、全体的成功確率は、（．９）10＝．２８又は２８％である。
【0132】
食品料理を調製する際のある段は、各々が非常に明確な中間結果を生じる１又は２以上のロボット動作を含む１又は２以上の小規模操作を含む。例えば、野菜をスライスする段階は、片方の手で野菜をもう一方の手でナイフを握り、野菜が薄く切られるまで繰り返しナイフの動きを印加することで構成される小規模操作とすることができる。料理を調製する際のある段は、１回又は複数回のスライス小規模操作を含むことができる。
【0133】
この成功確率式は、各小規模操作が他の小規模操作に比較的依存しない限り、段レベルと小規模操作レベルとに等しく当てはまる。
【0134】
一実施形態では、潜在的な複合誤差に起因する低い成功確実性の問題を軽減するために、段の全てにおける小規模操作の大部分又は全てに対して標準化された方法が推奨される。標準化作動は、最も高い成功確率を有する操作シーケンスを選択するように事前プログラムし、事前検査し、必要に応じて事前調節することができるものである。従って、段の範囲内での小規模操作による標準化方法の確率が非常に高い場合には、段階の全てが仕上がり、検査されるまでの前の作業に起因して、食品料理調製の全体的成功確率も非常に高くなる。例えば上記の例に戻ると、先と同様に１０個の段が存在すると仮定して、各段が信頼性の高い標準化方法を利用し、その成功確率が９９％である（先の例の場合の９０％ではなく）場合には、全体的成功確率は（．９９）10＝９０．４％となる。これは、全体的補正成果の２８％の確率よりも明らかに良好である。
【0135】
別の実施形態では、各段に対して１つよりも多くの選択肢の方法が与えられ、１つの選択肢が失敗した場合には別の選択肢が試みられる。この実施形態は、各段の成功又は失敗を決定するための動的監視と、選択的計画を有する能力とを必要とする。当該段に対する成功確率は、選択肢の全てに対する失敗確率の補数であり、数学的には次式のように書かれる。[この文献は図面を表示できません]
【0136】
上式の表現において、ｓiは段であり、Ａ（ｓi）は、ｓiを達成するための選択肢セットである。所与の選択肢に対する失敗確率は、その選択肢に対する成功確率の補数、すなわち１−Ｐ（ｓi｜ａj）であり、失敗する全ての選択肢の確率は、上式中の積である。従って、全てが失敗することになるわけではない確率は、この積の補数である。選択肢方法を用いると、全体的成功確率は、選択肢を有する各段の積、すなわち次式として推定することができる。[この文献は図面を表示できません]
【0137】
この選択肢方法を用いると、１０個の段の各々が４つの選択肢を有し、各段に対する各選択肢の成功期待値が９０％であった場合に、全体的成功確率は、選択肢なしの場合の僅か２８％に対して（１−（１−（．９））4）10＝．９９又は９９％となる。選択肢方法は、いずれか所与の段が失敗するためには全ての選択肢が失敗する必要があることになることから、当初の問題を複数の失敗単点を有する（いずれかの段が失敗した場合に）一連の段から、失敗単点を持たないものへと改変し、よりロバストな成果を与える。
【0138】
別の実施形態では、標準化小規模操作を含む標準化段と、食品料理調製段の選択的手段とが組み合わせられて、更に一層ロバストな挙動を生じる。そのような場合には、選択肢が、段又は小規模操作のうちの幾つかのものに対してしか存在しない場合であっても、対応する成功確率を非常に高くすることができる。
【0139】
別の実施形態では、非常に信頼性の高い標準化方法が存在しない段、又は例えば特殊な形の材料に依存して潜在的な変動性が存在する段等の低めの成功確率を有する段のみに、失敗の場合の選択肢が与えられる。この実施形態は、全ての段に選択肢を与える負荷を軽減する。
【0140】
図８Ｆは、食品料理を調理するのに必要とされる段の個数（ｘ軸）の関数として全体的成功確率（ｙ軸）を非標準化キッチン４５８を例示する第１の曲線４５８と標準化キッチン５０を例示する第２の曲線４５９とに関して示すグラフ図である。この例では、食品調製段毎の個別成功確率が、非標準化作動では９０％、標準化事前プログラムされた段では９９％であったという仮定を行った。曲線４５８に曲線４５９と比較して示しているように、非標準化作動の場合には複合誤差がかなり悪い。
【0141】
図８Ｇは、小規模操作及び動作プリミティブを用いた多段ロボット食品調製におけるレシピ４６０の実行を例示するブロック図である。各食品レシピ４６０は、ロボットアーム７０及びロボットハンド７２によって実行される第１の食品調製段Ｓ1 ４７０、第２の食品調製段Ｓ2…第ｎの段である食品調製段Ｓn ４９０という複数の食品調製段へと分割することができる。第１の食品調製段Ｓ1 ４７０は、１又は２以上の小規模操作ＭＭ1 ４７１、ＭＭ2 ４７２、及びＭＭ3 ４７３を含む。各小規模操作は、機能結果を取得する１又は２以上の動作プリミティブを含む。例えば、第１の小規模操作ＭＭ1 ４７１は、第１の動作プリミティブＡＰ１ ４７４と、第２の動作プリミティブＡＰ２ ４７５と、第３の動作プリミティブＡＰ３ ４７５とを含み、続いて機能結果４７７を取得する。第１の段Ｓ1 ４７０内の１又は２以上の小規模操作ＭＭ1 ４７１、ＭＭ2 ４７２、ＭＭ3 ４７３は、続いて段結果４７９を達成する。１又は２以上の食品調製段Ｓ1 ４７０と第２の食品調製段Ｓ2と第ｎの段である食品調製段Ｓn ４９０との組合せは、シェフ４９の食品調製プロセスを再現することによってシェフスタジオ４４内で記録されるものと実質的に同じ又は同じ結果を生じる。
【0142】
各機能結果（例えば卵が割られる）を取得する上で事前定義された小規模操作が利用可能である。各小規模操作は、機能結果を達成するためにまとまって作用する動作プリミティブ集合で構成される。例えば、ロボットは、卵に向かってそのハンドを動かすことで始めることができ、卵の位置を定位してそのサイズを検証するために卵に触り、卵を握って持ち上げて既知の事前決定構成に置くために必要な動き及び感知動作を実行する。
【0143】
複数の小規模操作は、レシピを理解して編成する際の利便性に向けてソースを作る等の段へと集めることができる。段の全てを終了するために小規模操作の全てを実行することの最終結果は、食品料理が毎回一貫した結果を伴って再現されることである。
【0144】
図９Ａは、キッチンツール、物体、又はキッチン機材品目を検出して動かすためにＲＧＢ−Ｄセンサ能力、カメラセンサ能力、及びソナーセンサ能力を有する５つの指と手首とを有するロボットハンド７２の例を示すブロック図である。ロボットハンド７２の手掌は、ＲＧＢ Ｄセンサ５００、カメラセンサ又はソナーセンサ５０４ｆを含む。又は、ロボットハンド４５０の手掌は、カメラセンサとソナーセンサとの両方を含む。ＲＧＢ−Ｄセンサ５００又はソナーセンサ５０４ｆは、物体の場所、寸法、及び形状を検出して物体の３次元モデルを作成することができる。例えば、ＲＧＢ−Ｄセンサ５００は、構造化光を用いて物体の形状を取り込んで、３次元マッピング及び定位、経路計画、ナビゲーション、物体認識、及び人間追跡を行う。ソナーセンサ５０４ｆは、音響波を用いて物体の形状を取り込む。カメラセンサ４５２及び／又はソナーセンサ４５４との併用で、ロボットキッチン内の手すり等いずれかの場所、又はロボット上に配置されたビデオカメラ６６が、図７Ａに例示しているように、シェフ４９によって使用されるキッチンツールの動きを取り込むか、追従するか、又は導く手法を与える。ビデオカメラ６６は、ロボットハンド７２からある角度である程度の距離離れたところに位置決めされ、従ってロボットハンド７２の物体把持、及びロボットハンドが物体を把持したか又は放棄／解放したかの高水準視野を与える。ＲＧＢ−Ｄ（赤色光ビーム、緑色光ビーム、青色光ビーム、及び深度）センサの適切な例は、ＭｉｃｒｏｓｏｆｔによるＫｉｎｅｃｔシステムであり、このシステムは、全身の３Ｄモーション取り込み能力、顔認識能力、及び音声認識能力を与えるソフトウェア上で作動するＲＧＢカメラ、深度センサ、及び多アレイマイクロフォンを特徴として備える。
【0145】
ロボットハンド７２は、物体の距離及び形状、並びに物体の距離を検出するため、更にキッチンツールを取り扱うために、手掌の中央又はその近くに配置されたＲＧＢ−Ｄセンサ５００を有する。ＲＧＢ−Ｄセンサ５００は、ロボットハンド７２を物体の方向に向かって動かし、物体を把持するために必要な調節を加えるための誘導をロボットハンド７２に与える。物体の距離及び形状、並びに後続の接触を検出するために、第２のソナーセンサ５０２ｆ及び／又は触圧センサが、ロボットハンド７２の手掌の近くに配置される。ソナーセンサ５０２ｆも、ロボットハンド７２が物体に向かって動くように誘導することができる。ハンド内の更なる種類のセンサは、超音波センサ、レーザ、無線周波数識別（ＲＦＩＤ）センサ、及びその他の適切なセンサを含むことができる。それに加えて、触圧センサは、ロボットハンド７２が、物体を安全に持ち上げるのに十分な圧力が存在するような点において物体を把持するための更なる圧力を作用し続けるか否かを決定するためのフィードバック機構としての役割を果たす。それに加えて、ロボットハンド７２の手掌内のソナーセンサ５０２ｆは、キッチンツールを把持して取り扱うための触覚感知機能を与える。例えば、ロボットハンド７２が牛肉を切るためにナイフを把持する時、ナイフが牛肉をスライスし終える時、すなわち、ナイフが抵抗を持たない時、又は物体を持つ時に、ロボットハンドがナイフに対して発揮し、牛肉に印加する圧力量を触覚センサによって検出することができる。分配される圧力は、物体を固定するためだけではなく、この物体（例えば卵）を壊さないためのものでもある。
【0146】
更に、ロボットハンド７２上の各指は、親指の指先上の第１の触覚振動センサ５０２ａ及び第１のソナーセンサ５０４ａと、人差し指の指先上の第２の触覚振動センサ５０２ｂ及び第２のソナーセンサ５０４ｂと、中指の指先上の第３の触覚振動センサ５０２ｃ及び第３のソナーセンサ５０４ｃと、薬指の指先上の第４の触覚振動センサ５０２ｄ及び第４のソナーセンサ５０４ｄと、小指の指先上の第５の触覚振動センサ５０２ｅ及び第５のソナーセンサ５０４ｅとによって示しているように、それぞれの指先上に触覚振動センサ５０２ａ〜５０２ｅとソナーセンサ５０４ａ〜５０４ｅとを有する。触覚振動センサ５０２ａ、５０２ｂ、５０２ｃ、５０２ｄ、及び５０２ｅの各々は、振動の形状、周波数、振幅、持続時間、及び方向を変更することによって様々な表面及び効果をシミュレーションすることができる。ソナーセンサ５０４ａ、５０４ｂ、５０４ｃ、５０４ｄ、及び５０４ｅの各々は、物体の距離及び形状に対する感知能力、温度又は湿気に関する感知能力、加えてフィードバック能力を与える。ロボットハンド７２の手首上に更なるソナーセンサ５０４ｇ及び５０４ｈが配置される。
【0147】
図９Ｂは、標準化ロボットキッチン内での操作のための１対のロボットのアーム及びハンドに結合されたセンサカメラ５１２を有するパン−チルトヘッド５１０の一実施形態を例示するブロック図である。パン−チルトヘッド５１０は、標準化ロボットキッチン５０の内部の情報及び３次元画像を監視する、取り込む、又は処理するためにＲＧＢ−Ｄセンサ５１２を有する。パン−チルトヘッド５１０は、アーム及びセンサのモーションに依存しない良好な状況認識を与える。パン−チルトヘッド５１０は、食品調製プロセスを実行するために１対のロボットアーム７０及びロボットハンド７２に結合されるが、１対のロボットアーム７０及びロボットハンド７２が遮蔽を引き起こす可能性がある。
【0148】
図９Ｃは、標準化ロボットキッチン５０内での作動のためのロボット手首７３上のセンサカメラ５１４を例示するブロック図である。センサカメラ５１４の一実施形態は、それぞれのハンド７２の手首７３に装着された有色画像及び深度の知覚を与えるＲＧＢ−Ｄセンサである。それぞれの手首７３上のカメラセンサ５１４の各々は、アームによる限られた遮蔽を生じるが、ロボットハンド７２が物体を把持する時には一般的に遮蔽されない。しかし、ＲＧＢ−Ｄセンサ５１４は、それぞれのロボットハンド７２によって遮蔽される可能性がある。
【0149】
図９Ｄは、標準化ロボットキッチン５０内での作動のためのロボットハンド７２上のハンド内単眼カメラ５１８を例示するブロック図である。各ハンド７２は、標準化ロボットキッチン５０内でロボットハンド７２によってハンド内単眼カメラ機能を与えるためにＲＧＢ−Ｄセンサ等のセンサを有する。各ハンド内のＲＧＢ−Ｄセンサ付きハンド内単眼カメラ５１８は、それぞれのロボットアーム７０及びそれぞれのロボットハンド７２による限られた遮蔽しか伴わずに高画像詳細を生じる。しかし、ハンド内単眼カメラ５１８付きロボットハンド７２は、物体を把持する時に遮蔽に遭遇する可能性がある。
【0150】
図９Ｅ〜図９Ｇは、ロボットハンド７２内の変形可能手掌５２０の態様を例示する絵画図である。五指ハンドの指は、親指を第１の指Ｆ１ ５２２として、人差し指を第２の指Ｆ２ ５２４として、中指を第３の指Ｆ３ ５２６として、薬指を第４の指Ｆ４ ５２８として、小指を第５の指Ｆ５ ５３０として標記している。母指球隆起５３２は、ハンドの橈骨（第１の指Ｆ１ ５２２）側の変形可能材料の凸空間領域である。小指球隆起５３４は、ハンドの尺骨（第５の指Ｆ５ ５３０）側の変形可能材料の凸空間領域である。中手指節パッド（ＭＣＰパッド）５３６は、第２、第３、第４、及び第５の指Ｆ２ ５２４、Ｆ３ ５２６、Ｆ４ ５２８、Ｆ５ ５３０の中手指節関節（指関節）の腹（手掌）側の凸変形可能空間領域である。変形可能手掌５２０を有するロボットハンド７２は、軟質の人間様皮膚を有する外側にグローブを着用する。
【0151】
母指球隆起５３２と小指球隆起５３４とは合わさって、作業空間内でロボットアームから物体への大きい力の印加をこれらの力の印加がロボットハンド関節上に極小の外圧しか加えないように補助する（例えば転がっているピンの状況）。手掌を変形するために、手掌５２０の内部の追加の関節が利用可能である。手掌５２０は、シェフと同様の手法でのツール把持（典型的なハンドル把持）に向けて斜方手掌溝の形成を可能にするように変形しなければならない。手掌５２０は、図９Ｇに椀形状態５４２によって示しているように、シェフと同様の方式で皿及び食品材料等の凸物体の共形的把持のための椀形形成を可能するように変形しなければならない。
【0152】
これらのモーションを補助することができる手掌５２０の内部の関節は、２つの明確なモーション方向（屈曲／伸展及び外転／内転）を有することができる、手首の近くの手掌の橈骨側に位置する親指手根中手関節（ＣＭＣ）を含む。これらのモーションを補助するのに必要とされる更なる関節は、小指球隆起５３４における椀形形成モーションと手掌溝の形成とを補助する斜角での屈曲を可能にする、手首の近くの手掌の尺骨側の関節（第４の指Ｆ４ ５２８及び第５の指Ｆ５ ５３０のＣＭＣ関節）を含むことができる。
【0153】
ロボット手掌５２０は、人間の調理モーションにおいて観察される手掌形状を再現するのに必要とされる更なる／異なる関節、例えば、図９Ｆに例示しているように、親指Ｆ１ ５２２が小指Ｆ５ ５３０に接触する時等の手掌５２０を変形するための母指球隆起５３２と小指球隆起５３４との間におけるアーチ形５４０の形成を補助する結合された一連の屈曲関節を含むことができる。
【0154】
手掌が椀形状態にある時には、母指球隆起５３２、小指球隆起５３４、及びＭＣＰパッド５３６は、手掌が小さい球形物体（例えば２ｃｍ）の周囲で閉じることを可能にする手掌の谷部の周囲の稜部を形式する。
【0155】
変形可能手掌の形状を図９Ｈ及び図９Ｉに示しているように、固定基準フレームに対する特徴点の場所を用いて説明することにする。各特徴点を経時的なｘ、ｙ、及びｚ座標位置のベクトルとして表している。特徴点の場所をシェフによって着用される感知グローブ上と、ロボットによって着用される感知グローブ上とに印している。図９Ｈ及び図９Ｉに例示しているように、グローブ上に基準フレームを更に印している。特徴点は、グローブ上で基準フレームの位置に対して定義される。
【0156】
特徴点は、シェフが調理作業を実施する間に作業空間内に装着された較正済みカメラによって測定される。変形可能手掌の形状の照合を含むシェフのモーションとロボットモーションとの照合を行うために、特徴点の経時的軌道が使用される。シェフのモーションからの特徴点の軌道は、変形可能手掌面の形状及び配置、並びにロボットハンドの関節のモーション範囲を含む変形可能手掌設計をロボットに通知するために用いることもできる。
【0157】
図９Ｈに描示している実施形態では、特徴点は小指球隆起５３４内、母指球隆起５３２内にあり、ＭＣＰパッド５３６は、手掌の各領域内の特徴点を示すマークを有する市松模様である。手首区域内の基準フレームは、基準フレームとして識別可能な４つの長方形を有する。特徴点（又はマーカ）は、基準フレームに対するそのそれぞれの場所において識別される。この実施形態における特徴点及び基準フレームは、食品安全性の理由からグローブの下に実施することができるが、検出に向けてグローブを透かして見ることができる。
【0158】
図９Ｈは、３次元形状特徴点５５０の場所を特定するために用いることができる視覚パターンを有するロボットハンドを示している。これらの形状特徴点の場所は、手掌関節が動く時、及び手掌面が印加力に応じて変形する時の手掌面の形状についての情報を供給する。
【0159】
視覚パターンは、ロボットハンド上又はシェフによって着用されるグローブ上の表面マーク５５２で構成される。これらの表面マークは、食品安全性透明グローブ５５４によって覆うことができるが、表面マーク５５２は、グローブを通して目視可能なままに留まる。
【0160】
表面マーク５５２がカメラ画像内で目視可能である場合には、視覚パターンの内部の凸コーナ又は凹コーナを定位することによってこのカメラ画像の内部で２次元特徴点を識別することができる。単一のカメラ画像内の各そのようなコーナは２次元特徴点である。
【0161】
同じ特徴点が複数のカメラ画像内で識別される場合には、この点の３次元的な場所を標準化ロボットキッチン５０に対して固定された座標フレーム内で特定することができる。この算出は、各画像内の点の２次元的な場所と既知のカメラパラメータ（位置、向き、視野等）とに基づいて実施される。
【0162】
ロボットハンド７２に固定された基準フレーム５５６は、基準フレーム視覚パターンを用いて取得することができる。一実施形態では、ロボットハンド７２に固定された基準フレーム５５６は、原点と３つの直交座標軸とで構成される。基準フレームは、複数のカメラ内の基準フレームの視覚パターンの特徴を定位し、基準フレーム視覚パターンの既知のパラメータと、カメラの既知のパラメータとを用いて原点と座標軸とを抽出することによって識別される。
【0163】
食品調製ステーションの座標フレーム内で表現される３次元形状特徴点は、ロボットハンドの基準フレームが観察されると、ロボットハンドの基準フレーム内に変換される。
【0164】
変形可能手掌の形状は、全てが、ロボット又はシェフの手に固定された基準座標フレーム内で表現される３次元形状特徴点のベクトルで構成される。
【0165】
図９Ｉに例示しているように、これらの実施形態における特徴点５６０は、手掌の異なる領域（小指球隆起５３４、母指球隆起５３２、及びＭＣＰパッド５３６）内のホール効果センサ等のセンサによって表される。特徴点は、この実装では磁石である基準フレームに対するそのそれぞれの場所において識別可能である。磁石は、センサにいよって可読な磁場を生成する。この実施形態のセンサは、グローブの下に埋め込まれる。
【0166】
図９Ｉは、３次元形状特徴点の場所を特定する上で選択的機構として用いることができる埋め込みセンサと１又は２以上の磁石５６２とを有するロボットハンド７２を示している。１つの形状特徴点は、各埋め込みセンサと関連付けられる。これらの形状特徴点５６０の場所は、手掌関節が動く時、及び手掌面が印加力に応じて変形する時の手掌面の形状についての情報を供給する。
【0167】
形状特徴点の場所は、センサ信号に基づいて決定される。センサは、ロボット又はシェフの手に取り付けられた磁気に取り付けられた基準フレーム内での距離の算出を可能にする出力を供給する。
【0168】
各形状特徴点の３次元的な場所は、センサ測定値と、センサ較正から取得される既知のパラメータとに基づいて算出される。変形可能手掌の形状は、全てがロボット又はシェフの手に固定された基準座標フレーム内で表現される３次元形状特徴点のベクトルで構成される。人間のハンド上の共通接触領域及び把持における機能についての追加の情報に関しては、全文が引用によって本明細書に組み込まれているＫａｍａｋｕｒａ、Ｎｏｒｉｋｏ、Ｍｉｃｈｉｋｏ Ｍａｔｓｕｏ、Ｈａｒｕｍｉ Ｉｓｈｉｉ、Ｆｕｍｉｋｏ Ｍｉｔｓｕｂｏｓｈｉ、及びＹｏｒｉｋｏ Ｍｉｕｒａ著資料「Ｐａｔｔｅｒｎｓ ｏｆ ｓｔａｔｉｃ ｐｒｅｈｅｎｓｉｏｎ ｉｎ ｎｏｒｍａｌ ｈａｎｄｓ（通常のハンドにおける静的捕捉パターン）」、Ａｍｅｒｉｃａｎ Ｊｏｕｒｎａｌ ｏｆ Ｏｃｃｕｐａｔｉｏｎａｌ Ｔｈｅｒａｐｙ ３４（米国作業療法ジャーナル３４）、第７号（１９８０年）：４３７〜４４５ページを参照されたい。
【0169】
図１０Ａは、特定のレシピに対する食品調製プロセス中にシェフの動きを記録し、取り込むために標準化ロボットキッチン環境５０内でシェフ４９が着用する記録デバイス５５０の例を示すブロック図である。シェフ記録デバイス５５０は、１又は２以上のロボットグローブ（又はロボット衣服）２６と、マルチモードセンサユニット２０と、１対のロボット眼鏡５５２とを含むが、これらに限定されない。シェフスタジオシステム４４内で、シェフ４９は、調理を行い、シェフの調理の動きを記録し、取り込むためにロボットグローブ２６を着用する。又はシェフ４９は、ロボットグローブ２６だけではなく、ロボットグローブを有するロボット衣装を着用することができる。一実施形態では、埋め込みセンサを有するロボットグローブ２６は、ｘｙｚ座標系内でのシェフのアーム、ハンド、及び指のモーションの位置、圧力、及びその他のパラメータをタイムスタンプ付きで取り込み、記録し、保存する。ロボットグローブ２６は、特定の食品料理を調製する際に開始時間から終了時間までの持続時間にわたって３次元座標フレーム内のシェフ１８のアーム及び指の位置及び圧力を保存する。シェフ４９がロボットグローブ２６を着用した場合には、シェフスタジオシステム４４内で食品料理を調製する際の動き、ハンドの位置、把持モーション、及び発揮圧力量の全てが、ｔ秒毎等の定期的な時間間隔で精確に記録される。マルチモードセンサユニット２０は、ビデオカメラと、ＩＲカメラ及び距離計３０６と、ステレオ（又は更に三眼の）カメラ３０８と、多次元走査レーザ３１０とを含み、マルチスペクトル感知データを主ソフトウェア抽象化エンジン３１２に供給する（データ取得及びフィルタ処理モジュール３１４内に取得されてフィルタ処理された後に）。マルチモードセンサユニット２０は、３次元の表面又は質感を生成し、抽象化モデルデータを処理する。このデータは、シーン理解モジュール３１６内で、重畳される視覚スペクトル及びＩＲスペクトルの色及び質感のビデオ情報を有するシーンの高解像度及び低解像度（レーザ：高解像度、ステレオカメラ：低解像度）の３次元表面空間領域を構築する段階、エッジ検出及び体積測定物体検出アルゴリズムがシーン内にどんな要素が存在するのかを推測することを可能にする段階、形状／色／質感のマッピング及び整合性マッピングのアルゴリズムの使用が処理済みデータに基づいて進み、キッチン調理プロセス機材取扱モジュール３１８に処理済み情報を供給することを可能にする段階等（しかし、限定はされない）の複数の段階を実施するために使用される。任意選択的に、ロボットグローブ７６に加えて、シェフ４９は、ロボットイヤホン５５６及びマイクロフォン５５８を有するフレームの周囲に１又は２以上のロボットセンサ５５４を有する１つのロボット眼鏡５５２を着用することができる。ロボット眼鏡５５２は、ビデオを取り込み、シェフ４９が食物を調理する間に見る像を記録するためのカメラ等の更なる視覚及び取り込み能力を与える。１又は２以上のロボットセンサ５５４は、調製中の食物の温度及び匂いを取り込んで記録する。イヤフォン５５６及びマイクロフォン５５８は、人間の音声、揚げ、網焼き、挽き等の音特性を含むことができる、シェフ４９が調理中に聞く音を取り込んで記録する。シェフ４９は、イヤフォン及びマイクロフォン８２を用いて同時の音声命令と食品調製の実時間調理段階とを記録することもできる。この点に関して、シェフロボットレコーダデバイス５５０は、特定の食品料理に対する食品調製プロセス中にシェフの動きパラメータ、速さパラメータ、温度パラメータ、及び音パラメータを記録する。
【0170】
図１０Ｂは、取り込まれたシェフのモーションをロボットの姿勢、モーション、及び力を用いて評価するプロセスの一実施形態５６０を例示する流れ図である。データベース５６１は、ロボットアーム７２及びロボットハンド７２による事前定義（又は事前決定）把持姿勢５６２及び事前定義ハンドモーションを格納し、これらは、重要度５６４によって重み付けされ、接触点５６５を用いてラベル付けされ、接触力５６５が格納される。操作５６７において、シェフ動き記録モジュール９８が、事前定義把持姿勢５６２と事前定義ハンドモーション５６３とに部分的に基づいて、食品料理を調製する際のシェフのモーションを取り込むように構成される。操作５６８において、ロボット食品調製エンジン５６は、姿勢、モーション、及び力を獲得し、小規模操作を達成する能力に関してロボット装置構成を評価するように構成される。続いて、ロボット装置構成は、ロボット設計パラメータを評価する段階５７０、評点及び性能５７１を改善するために設計パラメータを調節する段階５７１、及びロボット装置構成を修正する段階５７２における反復プロセス５６９を行う。
【0171】
図１１は、家庭用ロボットキッチン４８内の標準化ロボットキッチンシステム５０との併用のためのロボットアーム７０の側面図の一実施形態を例示するブロック図である。他の実施形態では、１つのアーム、２つのアーム、３つのアーム、４つのアーム、又はそれよりも多くのアーム等のロボットアーム７０のうちの１又は２以上を標準化ロボットキッチン内での操作に向けて設計することができる。食品調製中のシェフのアーム、ハンド、及び指の動きを格納するシェフスタジオシステム４４からの１又は２以上のソフトウェアレシピファイル４６は、アップロードし、シェフが調製した食品料理を調製するためのシェフの動きを模擬するように１又は２以上のロボットアーム７０及び１又は２以上のロボットハンド７２を制御するためのロボット命令に変換することができる。ロボット命令は、同じ食品料理を調製するシェフの詳細な動きを再現するようにロボット装置を制御する。ロボットアーム７０の各々及びロボットハンド７２の各々は、食品調製プロセスを達成するために、ナイフ、フォーク、スプーン、へら、その他の種類の道具、又は食品調製器械等の更なる特徴及びツールを含むこともできる。
【0172】
図１２Ａ〜図１２Ｃは、手掌５２０を有するロボットハンド７２による使用のためのキッチンハンドル５８０の一実施形態を例示するブロック図である。キッチンハンドル５８０の設計は、同じキッチンハンドル５８０が、あらゆる種類のキッチン道具又はキッチンツール、例えば、ナイフ、へら、網じゃくし、水切りスプーン、返しべら等に取り付けられることができるようなユニバーサルなもの（又は標準化されたもの）であることが目論まれる。図１２Ａ〜図１２Ｂには、キッチンハンドル５８０の異なる斜視図を示している。ロボットハンド７２は、図１２Ｃに示しているようにキッチンハンドル５８０を把持する。本発明の創意から逸脱することなく、他の種類の標準化（又はユニバーサル）キッチンハンドルを設計することができる。
【0173】
図１３は、触覚センサ６０２と分布圧力センサ６０４とを有する例示的ロボットハンド６００を示す絵画図である。食品調製プロセス中に、ロボット装置は、ロボットハンドの指先及び手掌内のセンサによって生成された接触信号を用いて、ロボットが段階的動きを再現し、感知値をシェフのスタジオ調理プログラムの触覚プロファイルと比較する時に力、温度、湿度、及び毒性を検出する。視覚センサは、ロボットが周辺を識別し、適切な調理動作を取ることに役立つ。同一の結果を取得するために適切な動きが取られるように、ロボット装置は、視覚センサからの直近環境の画像を解析し、それをシェフのスタジオ調理プログラムの保存画像と比較する。ロボット装置は、シェフの命令発声音を食品調製プロセスからの背景雑音に対して比較して調理中の認識性能を改善するために、異なるマイクロフォンを更に用いる。任意選択的に、ロボットは、臭気又は風味並びに周辺温度を検出するために、電子鼻（図示していない）を有することができる。例えば、ロボットハンド６００は、指及び手掌内の触覚センサによって生成される表面質感信号、温度信号、及び重量信号によって本物の卵を区別することができ、それによって卵を割ることなく保持するための適正な力量を印加することができ、それに加えて卵を振ってその液体揺動音、亀裂音を聞くことによって品質チェックを行い、卵黄及び卵白を観察し、その匂いを嗅いで鮮度を決定することができる。続いてロボットハンド６００は、傷んだ卵を廃棄するか、又は新鮮な卵を選択するという動作を取ることができる。ハンド、アーム、及び頭の上のセンサ６０２及び６０４は、ロボットが、外部フィードバックを用いて食品調製プロセスを実行するために動き、接触し、見聞きすること、及び食品料理調製においてシェフのスタジオ調理結果と同一の結果を取得することを可能にする。
【0174】
図１４は、標準化ロボットキッチン５０においてシェフ４９が着用するための感知衣装の例を示す絵画図である。ソフトウェアファイル４６によって記録される、食品料理の食品調製中に、シェフ４９は、実時間のシェフの食品調製の動きを時間シーケンスで取り込むために感知衣装６２０を着用する。感知衣装６２０は、触覚スーツ６２２（１つの全長のアーム及びハンドの衣装で示している）［前と同様にそこにはそのような番号はない］と、触覚グローブ６２４と、マルチモードセンサ６２６［そのような番号はない］と、頭部衣装６２８とを含むことができるが、これらに限定されない。センサ付き触覚スーツ６２２は、人間のアーム７０及びハンド／指７２のｘｙｚ座標位置及び圧力をＸＹＺ座標系においてタイムスタンプ付きで記録するために、シェフの動きからデータを取り込んで、取り込みデータをコンピュータ１６に送信することができる。感知衣装６２０も、幾何学センサ（レーザセンサ、３Ｄステレオセンサ、又はビデオセンサ）を有する標準化ロボットキッチン５０内の相対位置と相関付けるために、人間のアーム７０及びハンド／指７２の位置、速度、及び力／トルク、並びに端点接触挙動をロボット座標フレームにおいてシステムタイムスタンプ付きで記録し、このタイムスタンプに関連付ける。センサ付き触覚グローブ６２４は、グローブ６２４内の触覚センサによって検出される力信号、温度信号、湿度信号、及び毒性信号を取り込み、記録し、保存するために使用される。頭部衣装６２８は、視覚カメラ、ソナー、レーザ、又は無線周波数識別（ＲＦＩＤ）を有するフィードバックデバイスと、食品調製プロセス中にシェフ４８が見る像を記録し、格納するために、取り込みデータを感知し、取り込み、コンピュータ１６に送信するために使用されるカスタム眼鏡とを含む。それに加えて、頭部衣装６２８は、標準化ロボットキッチン５０内の周辺温度及び匂いシグネチャを検出するためのセンサも含む。更に、頭部衣装６２８は、揚げ、挽き、細切り等の音特性等のシェフ４９が聞く音声を取り込むためのオーディオセンサも含む。
【0175】
図１５Ａ〜図１５Ｂは、シェフ４９による食品調製のためのセンサ付き三指触覚グローブ６３０の一実施形態と、センサ付き三指ロボットハンドの例６４０とを示す絵画図である。本明細書で例示する実施形態は、食品調製に向けて５本よりも少ない本数の指を有する簡易ロボットハンド６４０を示す。相応して、簡易ロボットハンド６４０の設計の複雑さは、簡易ロボットハンド６４０を製造するためのコストと共に大幅に低減されることになる。対峙する親指を有する又は持たない二指把持器又は四指ロボットハンドも、可能な選択的実装である。この実施形態では、シェフの手の動きは、力、温度、湿度、毒性、又は触感に関するシェフの動きのデータを感知するためのセンサ６３２を各々が有する親指、人差し指、及び中指という３つの指の機能によって制限される。三指触覚グローブ６３０は、その手掌区域内にポイントセンサ又は分布圧力センサを更に含む。三指触覚グローブ６３０を着用し、親指、人差し指、及び中指を用いながら食品料理を調製するシェフの動きは、ソフトウェアファイル内に記録される。続いて三指ロボットハンド６４０は、ロボットハンド６４０の指上のセンサ６４２ｂ及び手掌上のセンサ６４４を監視しながら、ロボットハンド６４０の親指、人差し指、及び中指を制御するためのロボット命令に変換されたソフトウェアレシピファイルからシェフの動きを再現する。センサ６４４は、ポイントセンサ又は分布圧力センサを用いて実施することができるのに対して、センサ６４２は、力センサ、温度センサ、湿度センサ、毒性センサ、又は触覚センサを含む。
【0176】
図１６は、小規模操作ライブラリデータベースの作成モジュール６５０と、小規模操作ライブラリデータベースの実行モジュールとを例示するブロック図である。小規模操作データベースライブラリの作成モジュール６０は、種々の可能な組合せを作成して検査し、特定の機能結果を取得するのに最適な小規模操作を選択するプロセスである。作成モジュール６０の１つの目的は、特定の小規模操作を実施する上で可能な全ての異なる組合せを調査し、食品料理を調製する際のロボットアーム７０及びロボットハンド７２による後続の実行に向けて最適な小規模操作のライブラリを事前定義することである。小規模操作ライブラリの作成モジュール６５０は、ロボットアーム７０及びロボットハンド７２が小規模操作ライブラリデータベースから異なる食品調製機能について学習するための教示法として用いることもできる。小規模操作ライブラリデータベースの実行モジュール６６０は、ロボット装置が、食品料理を調製するプロセス中に、第１の機能成果６６２を伴う第１の小規模操作ＭＭ1と、第２の機能成果６６４を伴う第２の小規模操作ＭＭ2と、第３の機能成果６６６を伴う第３の小規模操作ＭＭ3と、第４の機能成果６６８を伴う第４の小規模操作ＭＭ4と、第５の機能成果６７０を伴う第５の小規模操作ＭＭ5とを含む小規模操作ライブラリデータベースにアクセスし、そこから実行することができる小規模操作機能の範囲を与えるように構成される。
【0177】
図１７Ａは、食品料理を調製する間のシェフの動きを感知し、取り込むためにシェフ４９によって使用される感知グローブ６８０を例示するブロック図である。感知グローブ６８０は、感知グローブ６８０の指の各々の上の複数のセンサ６８２ａ、６８２ｂ、６８２ｃ、６８２ｄ、６８２ｅと、手掌区域内の複数のセンサ６８２ｆ、６８２ｇとを有する。他の実施形態では、全てのハンド操作の間のシェフの動きを取り込んで解析するために、軟質グローブの内側にある少なくとも５つの圧力センサ６８２ａ、６８２ｂ、６８２ｃ、６８２ｄ、６８２ｅが使用される。この実施形態における複数のセンサ６８２ａ、６８２ｂ、６８２ｃ、６８２ｄ、６８２ｅ、６８２ｆ、及び６８２ｇは、感知グローブ６８０内に埋め込まれるが、外部感知に向けて感知グローブ６８０の材料を透かして見ることができる。感知グローブ６８０は、そこにおける様々な高点及び低点のハンドの湾曲（又は凹凸）を反映する複数のセンサ６８２ａ、６８２ｂ、６８２ｃ、６８２ｄ、６８２ｅ、６８２ｆ、６８２ｇに関連付けられる特徴点を有することができる。ロボットハンド７２を覆って配置される感知グローブ６８０は、人間の皮膚の柔軟性及び形状を模擬する軟質材料で作られる。ロボットハンド７２について詳述する更なる説明は、図９Ａに見出すことができる。
【0178】
ロボットハンド７２は、物体の距離及び形状並びに物体の距離を検出し、キッチンツールを取り扱うために、手掌の中央又はその近くに配置されたＲＧＢ−Ｄセンサ、撮像センサ、又は視覚感知デバイス等のカメラセンサ６８４を含む。撮像センサ６８２ｆは、ロボットハンド７２を物体の方向に向かって動かして物体を把持するために必要な調節を加える上でロボットハンド７２に誘導を与える。それに加えて、物体の距離及び形状を検出するために、触圧センサ等のソナーセンサをロボットハンド７２の手掌の近くに配置することができる。ソナーセンサ６８２ｆも、物体に向かって動くようにロボットハンド７２を誘導することができる。ソナーセンサ６８２ａ、６８２ｂ、６８２ｃ、６８２ｄ、６８２ｅ、６８２ｆ、６８２ｇの各々は、超音波センサ、レーザ、無線周波数識別（ＲＦＩＤ）、及びその他の適切なセンサを含む。それに加えて、ソナーセンサ６８２ａ、６８２ｂ、６８２ｃ、６８２ｄ、６８２ｅ、６８２ｆ、６８２ｇの各々は、ロボットハンド７２が、物体を把持して持ち上げるのに十分な圧力が存在するような点において物体を把持するための更なる圧力を作用し続けるか否かを決定するためのフィードバック機構としての役割を果たす。それに加えて、ロボットハンド７２の手掌内のソナーセンサ６８２ｆは、キッチンツールを取り扱うための触覚感知機能を与える。例えば、ロボットハンド７２がナイフを把持して牛肉をカットする場合には、ロボットハンド７２がナイフに対して発揮し、牛肉に印加する圧力量によって、触覚センサが、ナイフが牛肉をスライスし終える時、すなわち、ナイフが抵抗を持たない時を検出することを可能にする。分布圧力は、物体を固定するためだけではなく、例えば卵を割らないように、過度の圧力を作用しないようにするためのものでもある。更に、ロボットハンド７２上の各指は、親指の指先上の第１のセンサ６８２ａと、人差し指の指先上の第２のセンサ６８２ｂと、中指の指先上の第３のセンサ６８２ｃと、薬指の指先上の第４のセンサ６８２ｄと、小指の指先上の第５のセンサ６８２ｆとによって示しているように、指先上にセンサを有する。センサ６８２ａ、６８２ｂ、６８２ｃ、６８２ｄ、６８２ｅの各々は、物体の距離及び形状についての感知能力、温度又は湿気に対する感知能力、並びに触覚フィードバック能力を与える。
【0179】
手掌内のＲＧＢ−Ｄセンサ６８４及びソナーセンサ６８２ｆに加えて、各指の指先内のソナーセンサ６８２ａ、６８２ｂ、６８２ｃ、６８２ｄ、６８２ｅは、非標準化物体又は非標準化キッチンツールを把持する手段としてのロボットハンド７２に対してフィードバック機構を与える。ロボットハンド７２は、非標準化物体を把持するのに十分な程度に圧力を調節することができる。特定の時間間隔に従う把持機能サンプル６９２、６９４、６９６を格納し、それに関して特定の把持機能を実施する上でロボットハンド７２が引き出すことができるプログラムライブラリ６９０を図１７Ｂに例示している。図１７Ｂは、標準化ロボットキッチンモジュール５０内での標準化作動の動きのライブラリデータベース６９０を例示するブロック図である。事前定義されてライブラリデータベース６９０内に格納される標準化作動の動きは、キッチンツール又はキッチン機材を把持、配置、及び操作する段階を含む。
【0180】
図１８Ａは、ロボットハンド７２の各々が、人工的な人間様の軟質皮膚グローブ７００で被覆されることを例示するグラフ図である。人工的な人間様の軟質皮膚グローブ７００は、透かして見ることができ、ロボットハンド７２が高レベル小規模操作を実施するのに十分な複数の埋め込みセンサを含む。一実施形態では、軟質皮膚グローブ７００は、シェフの手の動きを再現するために１０又はそれよりも多くのセンサを含む。
【0181】
図１８Ｂは、事前定義されて内部に格納された小規模操作を有するライブラリデータベース７２０に基づいて高レベル小規模操作を実行するために人工的な人間様の皮膚グローブで被覆されたロボットハンドを例示するブロック図である。高レベル小規模操作は、実質的な量の相互作用の動き及び相互作用力、並びにこれらに対する制御を必要とする動作プリミティブシーケンスに関する。データベースライブラリ７２０内に格納された小規模操作の３つの例を提示する。小規模操作の第１の例は、１対のロボットハンド７２を用いて生地をこねる段階７２２である。小規模操作の第２の例は、１対のロボットハンド７２を用いてラヴィオリを作る段階７２４である。小規模操作の第３の例は、１対のロボットハンド７２を用いて寿司を作る段階である。小規模操作の３つの例の各々は、持続時間と、コンピュータ１６によって追跡される速さ曲線とを有する。
【0182】
図１８Ｃは、望ましい目標状態を生じるロボットアーム７０及びロボットハンド７２のモーション及び力の連続軌道を有する食品調製のための操作動作分類の３つの種類を例示するグラフ図である。ロボットアーム７０及びロボットハンド７２は、不動の把持によって物体を取り上げ、それを目標の場所まで強い力による相互作用の必要なしに輸送するためのロバストな把持及び輸送の動き７３０を実行する。ロバストな把持及び輸送の例は、平鍋をコンロの上に置く段階、塩入れを取り上げる段階、料理に塩を振り入れる段階、食材をボールの中に落とし入れる段階、容器から中身を注ぎ出す段階、サラダをかき混ぜる段階、及びパンケーキを裏返す段階を含む。ロボットアーム７０及びロボットハンド７２は、強い力による相互作用によってロバストな把持７３２を実行し、この場合、２つの表面又は物体の間には強い力による接触が存在する。強い力による相互作用によるロバストな把持の例は、深鍋を撹拌する段階、箱を開ける段階、平鍋を回す段階、素材をまな板から平鍋の中に掃き入れる段階を含む。ロボットアーム７０及びロボットハンド７２は、変形による強い力による相互作用７３４を実行し、この場合、人参をカットする段階、卵を割る段階、又は生地を転がす段階等の２つの表面の一方の変形を生じる２つの表面又は物体の間の強い力による接触が存在する。人間のハンドの機能、人間の手掌の変形、及び把持におけるその機能についての追加の情報に関しては、全文が引用によって本明細書に組み込まれているＩ．Ａ．Ｋａｐａｎｄｊｉ著資料「Ｔｈｅ Ｐｈｙｓｉｏｌｏｇｙ ｏｆ ｔｈｅ Ｊｏｉｎｔｓ，Ｖｏｌｕｍｅ １：Ｕｐｐｅｒ Ｌｉｍｂ、６ｅ（関節生理学、第１巻：上肢、６ｅ）」、Ｃｈｕｒｃｈｉｌｌ Ｌｉｖｉｎｇｓｔｏｎｅ、第６版、２００７年を参照されたい。
【0183】
図１８Ｄは、生地をこねる段階における食品調製のための操作動作分類についての一実施形態を例示する簡単な流れ図である。生地をこねる段階７４０は、過去に小規模操作ライブラリデータベース内に事前定義された小規模操作とすることができる。生地をこねるプロセス７４０は、生地を把持する段階７４２と、生地を表面上に置く段階７４４と、望ましい形状を取得するまでこね動作を繰り返す段階７４６とを含む動作（又は短い小規模操作）シーケンスを含む。
【0184】
図１８Ｅは、ロボットアーム７０とロボットハンド７２との間の相互機能及び相互作用の一例を示すブロック図である。柔軟性ロボットアーム７５０は、小さいペイロード、高い安全性、穏やかな動作を与えるが、低い精度しか与えない。人間型ロボットハンド７５２は、人間のツールを取り扱うことができる高い機敏性を与え、人間のハンドモーションに対して再標的化するのが容易であり、柔軟性が高いが、その設計は、高い複雑度、重量増加、及び高い生産コストを必要とする。簡易ロボットハンド７５４は軽量であり、それ程高価ではなく、機敏性が低く、人間のツールを直接的に用いることができない。産業用ロボットアーム７５６精度が高く、高いペイロード容量を有するが、一般的に人間の周囲で安全であるとは考えられず、場合によっては大量の力を作用して害を引き起こす可能性がある。標準化ロボットキッチン５０の一実施形態は、柔軟アーム７５０と人間型ハンド７５２との第１の組合せを利用するものである。他の３つの組合せは、一般的に本発明の実装にはそれ程望ましくない。
【0185】
図１８Ｆは、カスタム調理用具ヘッドに取り付けられる標準化キッチンハンドル５８０と、キッチン用具に添着可能なロボットアーム７０を用いるロボットハンド７２とを例示するブロック図である。キッチン用具を把持するための１つの技術では、ロボットハンド７２が、例示している７６０ａ、７６０ｂ、７６０ｃ、７６０ｄ、７６０ｅという選択肢、及びその他の選択肢からのカスタム調理用具ヘッドのうちのいずれかの１つに取り付けられるための標準化キッチンツール５８０を把持する。例えば、標準化キッチンハンドル５８０は、食材を平鍋の中でかき揚げにするための使用のためのカスタムへらヘッド７６０ｅに着接される。一実施形態では、標準化キッチンハンドル５８０をロボットハンド７２によって、標準化キッチンハンドル５８０を保持するための様々な手法における潜在的な混同を最小限に抑えるただ１つの位置に保持することができる。キッチン用具を把持するための別の技術では、ロボットアームが、キッチン用具７６２に添着可能な１又は２以上のホルダ７６２を有し、この場合、ロボットアーム７０は、ロボットハンドモーションの間にキッチン用具７６２を押える上で必要に応じてより大きい力を作用することができる。
【0186】
図１９は、「卵をナイフで割る」結果を生じる小規模操作のデータベースライブラリ構造７７０の例を示すブロック図である。卵を割る小規模操作７７０は、卵を正しい位置に如何にして持つか７７２、ナイフを卵に対して如何にして持つか７７４、卵をナイフで叩くのに最良の角度は何度であるか７７６、割れた卵を如何にして開くか７７８を含む。特定の動きを実行するのに最良の手法を見出すために、各７７２、７７４、７７６、及び７７８に対する種々の可能なパラメータが試験される。例えば、卵７７２を持つ場合には、卵を持つのに最適な手法を見出すために、卵を持つ様々な位置、向き、及び手法が試験される。第２に、ロボットハンド７２は、事前決定場所からナイフを取り上げる。ナイフを持つ段階７７４は、ナイフを取り扱うのに最適な手法を見出すために、ナイフを持つ様々な位置、向き、及び手法に関して調査される。第３に、卵をナイフで叩く段階７７６は、卵をナイフで叩くのに最良の手法を見出すために、ナイフを卵上に叩きつける段階の様々な組合せに関しても試験される。その結果、卵をナイフで割る小規模操作７７０を実行するのに最適な手法が、小規模操作のライブラリデータベース内に格納される。保存された卵をナイフで割る小規模操作７７０は、卵を持つのに最良の手法７７２と、ナイフを持つのに最良の手法と、ナイフを卵で叩くのに最良の手法７７６とを含むことになる。
【0187】
卵をナイフで割る結果を生じる小規模操作を作成するためには、卵が割られるという望ましい機能結果が得られることを確実にするパラメータセットを識別するために、複数のパラメータ組合せを試験しなければならない。この例では、卵を潰さないように如何に掴って持つかを決定するためのパラメータが識別される。試験を通じて適切なナイフが選択され、叩く段階に向けてそれを持つことができるような指及び手掌に関する適切な配置が見出される。卵を首尾良く割ることになる叩きモーションが識別される。割れた卵を首尾良く開くことを可能にする開きのモーション及び／又は力が識別される。
【0188】
ロボット装置に対する教示／学習プロセスは、望ましい最終機能結果を取得するのに必要なパラメータを識別するための複数の反復的な試験を含む。
【0189】
これらの試験は、様々なシナリオにわたって実施することができる。例えば、卵のサイズが異なる可能性がある。卵を割るべき場所が異なる可能性がある。ナイフが異なる場所にある可能性がある。小規模操作は、これらの可変状況の全てにおいて上首尾のものでなければならない。
【0190】
学習プロセスが終了すると、結果は、合わさって望ましい機能結果を取得することが既知である動作プリミティブの集合として格納される。
【0191】
図２０は、実時間調節伴う小規模操作に関するレシピ実行の例８００を示すブロック図である。レシピ実行８００において、ロボットハンド７２は、卵をナイフで割る小規模操作７７０を実行し、この場合、卵をナイフで割る操作７７２、ナイフを持つ操作７７４、卵をナイフで叩く操作７７６、及び割れた卵を開く操作７７８における各動きを実行するのに最適な手法が、小規模操作ライブラリデータベースから選択される。動き７７２、７７４、７７６、７７８の各々を実施するのに最適な手法を実行するプロセスは、小規模操作７７０が、この特定の小規模操作に対して同じ結果（又はその保証）又は実質的に同じ成果を取得することになることを確実にする。マルチモード３次元センサ２０は、卵の寸法及び重量等の１又は２以上の食材において起こり得る変化に関する実時間調節能力１１２を与える。
【0192】
図１９の小規模操作の作成と図２０の小規模操作の実行との間の操作関係の例として、「卵をナイフで割る」小規模操作に関連する特定の変数は、卵の初期ｘｙｚ座標と、卵の初期の向きと、卵のサイズと、卵の形状と、ナイフの初期ｘｙｚ座標と、ナイフの初期の向きと、卵を割る場所のｘｙｚ座標と、小規模操作の速さ及び持続時間とを含む。こうして識別された「卵をナイフで割る」小規模操作変数は、作成局面の間に定義され、この場合、これらの識別可能変数は、関連する小規模操作の実行局面の間にロボット食品調製エンジン５６によって調節することができる。
【0193】
図２１は、標準化キッチンモジュール内でのシェフの食品調製の動きを取り込んでシェフスタジオ４４からソフトウェアレシピファイル４６を生成するソフトウェアプロセス８１０を例示する流れ図である。段階８１２において、シェフスタジオ４４内で、シェフ４９が、食品レシピの様々な構成要素を設計する。段階８１４において、ロボット調理エンジン５６が、シェフ４９が選択したレシピ設計に関する名称、ＩＤ食材、及び測定値の入力を受信するように構成される。段階８１６において、シェフ４９が、食品／食材を指定の標準化調理用具／器具内及び指定位置に移す。例えば、シェフ４９は、２つの中サイズのシャロット及び２つの中サイズのにんにく片を取り上げ、８つのクリミニマッシュルームをまな板台の上に置き、冷凍庫Ｆ０２から解凍した２つの２０ｃｍ×３０ｃｍのパフペストリーユニットを冷蔵庫（フリッジ）に移す。段階８１８において、シェフ４９は、コンピュータ１６への送信に向けてシェフの動きデータを取り込むセンサを有する取り込みグローブ２６又は触覚衣装６２２を着用する。段階８２０において、シェフ４９は、段階１２２からの自ら選択したレシピに取り組み始める。段階８２２において、シェフ動き記録モジュール９８が、標準化ロボットキッチン５０内でシェフのアーム及び指の力、圧力、並びにＸＹＺ位置及び向きを含むシェフの詳細な動きを実時間で取り込んで記録するように構成される。シェフの動き、圧力、及び位置を取り込むのに加えて、シェフ動き記録モジュール９８は、特定レシピに対する食品調製プロセス全体の間のビデオ（料理、食材、プロセス、及び対話的操作の映像）及び音（人間の音声、揚げる際の蒸発音等）を記録するように構成される。段階８２４において、ロボット調理エンジン５６が、取り込みグローブ２６上のセンサ及びマルチモード３次元センサ３０からのシェフの動きを含む段階８２２からの取り込みデータを格納するように構成される。段階８２６において、レシピ抽象化ソフトウェアモジュール１０４が、機械実施に適するレシピスクリプトを生成するように構成される。レシピデータが生成され、保存された後に、段階８２８において、ソフトウェアレシピファイル４６が、家庭又はレストラン内にあるユーザのコンピュータに対するアプリストア又はマーケットプレイスを通じて、更にモバイルデバイス上のロボット調理受信アプリも組み入れてユーザへの販売又は購読に向けて利用可能にされる。
【0194】
図２２は、シェフスタジオシステム４４から受け取ったソフトウェアレシピファイル２２のうちの１又は２以上に基づくロボット装置によるロボット標準化キッチン内での食品調製のためのソフトウェアプロセスを例示する流れ図８３０である。段階８３２において、ユーザ２４が、コンピュータ１５を通じて、シェフスタジオ４４から購入した又は購読するレシピを選択する。段階８３４において、家庭用ロボットキッチン４８内のロボット食品調製エンジン５６が、調製するように選択されたレシピに関する入力を入力モジュール５０から受信するように構成される。段階８３６において、家庭用ロボットキッチン４８内のロボット食品調製エンジン５６は、ソフトウェアレシピファイル４６を有するメモリモジュール１０２内に選択レシピをアップロードするように構成される。段階８３８において、家庭用ロボットキッチン４８内のロボット食品調製エンジン５６は、選択レシピを完成させるための食材入手可能性と、料理を仕上げるのに必要とされるおおよその調理時間とを算出するように構成される。段階８４０において、家庭用ロボットキッチン４８内のロボット食品調製エンジン５６は、選択レシピに対する前提条件を解析して、食材のいずれかの不足又は欠如が存在するか否か、又は選択レシピ及び配膳スケジュールに従って料理を配膳する時間が不十分であるか否かを決定するように構成される。前提条件が満たされていない場合には、段階８４２において、家庭用ロボットキッチン４８内のロボット食品調製エンジン５６は、食材を買い物リストに追加しなければならないことを示す警報を送るか、又は別のレシピ又は配膳スケジュールを提案する。しかし、前提条件が満たされている場合には、ロボット食品調製エンジン５６は、段階８４４においてレシピ選択を確認するように構成される。レシピ選択が確認された後に、段階８４６において、ユーザ６０が、コンピュータ１６を通じて、食品／食材を特定の標準化容器及び必要な位置に移す。食材が、識別された指定の容器及び位置に置かれた後に、段階８４８において、家庭用ロボットキッチン４８内のロボット食品調製エンジン５６が、開始時間がトリガされたかどうかをチェックするように構成される。この分岐点において、家庭用ロボット食品調製エンジン５６は、全ての前提条件が満たされていることを確実にするための２回目のプロセスチェックを行う。家庭用ロボットキッチン４８内のロボット食品調製エンジン５６に調理プロセスを開始する準備が整っていない場合には、家庭用ロボット食品調製エンジン５６は、開始時間がトリガされるまで段階８５０において前提条件をチェックし続ける。ロボット食品調製エンジン５６に調理プロセスを開始する準備が整った場合には、段階８５２において、ロボット食品調製エンジン５６内の生食品品質チェックモジュール９６が、選択レシピに対する前提条件を処理し、レシピの記述内容（例えば１つのセンターカット牛肉テンダーロイン炙り焼き）及び条件（例えば、消費期限／購入日、臭気、色、質感等）に対して各食材品目を検査する。段階８５４において、ロボット食品調製エンジン５６が、時間を「０」段に設定し、シェフの調理の動きを再現して選択料理をソフトウェアレシピファイル４６に従って生成するために、１又は２以上のロボットアーム７０及びロボットハンド７２にソフトウェアレシピファイル４６をアップロードする。段階８５６において、１又は２以上のロボットアーム７２及びロボットハンド７４が食材を処理し、シェフの動きから取り込まれて記録されたものと同じ時間増分で正確な圧力、精密な力、及び同じＸＹＺ位置を伴うシェフ４９のアーム、ハンド、及び指のものと同一の動きによる調理方法／技術を実行する。この時間中に、１又は２以上のロボットアーム７０及びロボットハンド７２は、段階８５８に例示しているように、調理結果を対照データ（例えば、温度、重量、損失等）及びメディアデータ（例えば、色、外観、匂い、部分サイズ等）に対して比較する。データが比較された後に、ロボット装置（ロボットアーム７０及びロボットハンド７２を含む）が、段階８６０において結果を位置合わせして調節する。段階８６２において、ロボット食品調製エンジン５６が、完成した料理を指定の配膳皿に移し、それをカウンターの上に置くようにロボット装置に命令するように構成される。
【0195】
図２３は、小規模操作ライブラリデータベース８７０に関して、様々なパラメータ組合せを作成し、試験し、検証し、格納するためのソフトウェアプロセスの一実施形態を例示する流れ図である。小規模操作ライブラリデータベース８７０は、一時的ライブラリ内に格納される１回成功試験プロセス８７０（例えば、卵を持つ段階）と、小規模操作データベースライブラリ内の１回試験結果の組合せを試験する段階８９０（例えば、卵を割る動き全体）とを含む。段階８７２において、コンピュータ１６は、複数の動作プリミティブ（又は複数の離散レシピ動作）を有する新しい小規模操作（例えば卵を割る段階）を作成する。段階８７４において、新しい小規模操作に関連する物体（例えば卵及びナイフ）の個数が識別される。段階８７６において、コンピュータ１６は幾つかの離散した動作又は動きを識別する。段階８７８において、コンピュータは、特定の新しい小規模操作に関連する主要パラメータ（物体の位置、物体の向き、圧力、及び速さ等）の取り得る最大範囲を選択する。段階８８０において、各主要パラメータに関して、コンピュータ１６は、他の主要パラメータとの取り得る全ての組合せを用いて主要パラメータの各値を試験し、検証する（例えば、卵を１つの位置に持つが、他の向きを試験する）。段階８８２において、コンピュータ１６は、特定の主要パラメータセット組合せが信頼性の高い結果を生じるかどうかを決定する。結果の検証は、コンピュータ１６又は人間が行うことができる。決定が偽であった場合には、コンピュータ１６は段階８８６に進んで、まだ試験されていない他の主要パラメータ組合せが存在するかどうかを割り出す。段階８８８において、コンピュータ１６は、次のパラメータ組合せについての更なる検査及び評価に向けて次のパラメータ組合せを策定する上で主要パラメータを１だけ増分する。段階８８２における決定が真であった場合には、コンピュータ１６は、好結果の主要パラメータ組合せセットを一時格納場所ライブラリ内に格納する。一時格納場所ライブラリは、１又は２以上の好結果の主要パラメータ組合せセット（最も好結果の試験を有するか、最も失敗の少なかった結果を有するかのどちらかの）を格納する。
【0196】
段階８９２において、コンピュータ１６は、特定の好結果パラメータ組合せをＸ回（百回等）試験し、検証する。段階８９４において、コンピュータ１６は、特定の好結果パラメータ組合せの繰り返し試験中に失敗した結果の個数を計算する。段階８９６において、コンピュータ１６は、一時的ライブラリから次の１回好結果パラメータ組合せを選択し、このパラメータ組合せをＸ回試験するために、段階８９２にプロセスを戻す。更なる１回好結果パラメータ組合せが残っていない場合には、段階８９８において、コンピュータ１６は、信頼性の高い（又は保証された）結果を生じる１又は２以上のパラメータ組合せセットの試験結果を格納する。１つよりも多くの信頼性の高いパラメータ組合せセットが存在する場合には、段階８９９において、コンピュータ１６は、最良又は最適なパラメータ組合せセットを決定し、特定の小規模操作に関連するこの最適パラメータ組合せセットをレシピの食品調製段の間の標準化ロボットキッチン５０内でのロボット装置による使用に向けて小規模操作ライブラリデータベース内に格納する。
【0197】
図２４は、小規模操作に対する作業を作成するためのソフトウェアプロセスの一実施形態９００を例示する流れ図である。段階９０２において、コンピュータ１６は、データベースライブラリ内に格納すべきロボット小規模ハンドマニピュレータによる特定のロボット作業（例えば卵をナイフで割る段階）を定義する。コンピュータは、段階９０４において、各小規模段階において取り得る全ての異なる物体の向き（例えば、卵を持つ時の卵の向き）を識別し、段階９０６において、物体に対してキッチンツールを保持する（例えば卵に対してナイフを持つ）全ての異なる位置点を識別する。段階９０８において、コンピュータは、正しい（カット）動きプロファイル、圧力、及び速さで卵を持ってそれをナイフで割るために取り得る全ての手法を経験的に識別する。段階９１０において、コンピュータ１６は、卵を持ち、卵に対してナイフを位置決めする上で、卵を適正に割るための様々な組合せを定義する。例えば、物体の向き、位置、圧力、速さ等の最適なパラメータの組合せを見出す。段階９１２において、コンピュータ１６は、全ての変化、相違点を試験する段階等の様々な組合せの信頼性を検証するための訓練及び試験プロセスを実施し、各小規模操作に対する信頼性が確実になるまでこのプロセスをＸ回繰り返す。段階９１４において、シェフ４９がある一定の食品調製タスク（例えば、卵をナイフで割る段階）を実施している時に、この作業は、その一部として実施する小規模ハンド操作の幾つかの段階／作業へと解釈される。段階９１６において、コンピュータ１６は、該当する特定の作業に対する小規模操作の様々な組合せをデータベースライブラリ内に格納する。段階９１８において、コンピュータ１６は、いずれかの小規模操作に対して定義し、実施すべき更なる作業が存在するか否かを決定する。定義すべきいずれかの更なる作業が存在する場合には、プロセスは段階９０２に戻る。スタンドアローンキッチンモジュール及び統合キッチンモジュールを含むキッチンモジュールの様々な実施形態が可能である。統合キッチンモジュールは、典型的な家屋の従来のキッチン区域内に収められる。このキッチンモジュールは、ロボットモード及び通常（手動）モードの少なくとも２つのモードで作動する。卵を割る段階は、小規模操作の一例である。更に小規模操作ライブラリデータベースは、フォークを用いて一枚の牛肉を正しい圧力を正しい方向に、形状に対する適正な深さ、及び肉の深さまで印加することによって把持する段階等の様々な作業に適用される。段階９１９において、コンピュータは、１又は２以上の小規模操作を各々が含む事前定義キッチン作業のデータベースライブラリを組み合わせる。
【0198】
図２５は、標準化ロボットキッチン内の標準化キッチンツール、標準化物体、標準化機材のライブラリを割り当てて利用するプロセス９２０を例示する流れ図である。段階９２２において、コンピュータ１６は、各キッチンツール、物体、又は機材／道具にその３次元の位置座標及び向き等のツール、物体、又は機材のパラメータを事前定義するコード（又はバーコード）を割り当てる。このプロセスは、標準化ロボットキッチン５０内の様々な要素を標準化し、これらの標準化要素は、標準化キッチン機材、標準化キッチンツール、標準化ナイフ、標準化フォーク、標準化容器、標準化平鍋、標準化器具、標準化作業空間、標準化取り付け具、及びその他の標準化要素を含むが、これらに限定されない。段階９２４において、調理レシピにおけるプロセス段階を実行する場合に、特定のレシピに対する食品調製プロセスに従って特定のキッチンツール、物体、機材、道具、又は器具にアクセスするように促された時に、ロボット調理エンジンは、該当するキッチンツール、物体、機材、道具、又は器具を取得するように１又は２以上のロボットハンドに指示するように構成される。
【0199】
図２６は、３次元モデル化及び推論によって非標準物体を識別するプロセス９２６を例示する流れ図である。段階９２８において、コンピュータ１６は、異なるサイズ、異なる寸法、及び／又は異なる重量を有する可能性がある食材等の非標準物体をセンサによって検出する。段階９３０において、コンピュータ１６は、形状、寸法、向き、及び位置の情報を取り込むための３次元モデル化センサ６６を用いて非標準物体を識別し、ロボットハンド７２は、適切な食品調製タスクを実施するために実時間調節を加える（例えば、ステーキをカットする又は取り上げる）。
【0200】
図２７は、小規模操作の試験及び学習のための工程９３２を例示する流れ図である。段階９３４において、コンピュータは、各調理操作（例えば、卵をナイフで割る段階）が解析され、分解され、動作プリミティブ又は小規模操作のシーケンスへと構築される食品調製タスク組成解析を実施する。一実施形態では、小規模操作は、食品料理を調製する際に特定の結果に向かって進む基本機能成果（例えば、卵が割られた又は野菜がスライスされた）を達成する１又は２以上の動作プリミティブのシーケンスに関する。この実施形態では、小規模操作を極小の相互作用力しか必要とせず、ほぼロボット装置の使用のみを拠り所とする動作プリミティブシーケンスに関する低レベル小規模操作、又はかなりの量の相互作用及び相互作用力並びにその制御を必要とする動作プリミティブシーケンスに関する高レベル小規模操作として更に記述することができる。プロセスループ９３６は、小規模操作及び学習段階に主眼を置き、小規模操作の信頼性を確実にするために多数回（例えば１００回）繰り返される試験で構成される。段階９３８において、ロボット食品調製エンジン５６が、食品調製段又は小規模操作を実施する全ての可能性の知識を評価するように構成され、この場合、各小規模操作は、向き、位置／速度、角度、力、圧力、及び特定の小規模操作との速さに関して試験される。小規模操作又は動作プリミティブは、ロボットハンド７２と標準物体とを含む又はロボットハンド７２と非標準物体とを含むことができる。段階９４０において、ロボット食品調製エンジン５６は、小規模操作を実行し、成果を上首尾と見なすことができるか、又は失敗と見なすことができるかを決定する。段階９４２において、コンピュータ１６は、小規模操作の失敗について自動解析及び推論を実施する。例えば、マルチモードセンサが、小規模操作の成功又は失敗についての感知フィードバックデータを供給することができる。段階９４４において、コンピュータ１６は、実時間調節を加えるように構成され、小規模操作実行プロセスのパラメータを調節する。段階９４６において、コンピュータ１６は、ロボット食品調製エンジン５６に対する学習機構としてパラメータ調節の成功又は失敗についての新しい情報を小規模操作ライブラリに追加する。
【0201】
図２８は、ロボットアームに対する品質制御及び整列機能のための工程９５０を例示する食品料理である。段階９５２において、ロボット食品調製エンジン５６は、入力モジュール５０を介して人間シェフ再現ソフトウェアレシピファイル４６をロードする。例えば、ソフトウェアレシピファイル４６は、ミシュランの星を獲得したシェフＡｒｎｄ Ｂｅｕｃｈｅｌの「Ｗｉｅｎｅｒ Ｓｃｈｎｉｔｚｅｌ」からの食品調製を再現するものである。段階９５４において、ロボット装置は、標準化機材を有する標準化キッチンモジュール内で同じレシピを調製する人間シェフの動作に基づいて格納された記録レシピデータと同一のペースにおける同一の圧力、力、及びｘｙｚ位置による胴体、ハンド、指に関するもの等の同一の動きを有する作業を全ての動き／モーション再現データを含む格納済みレシピスクリプトに基づいて実行する。段階９５６において、コンピュータ１６は、抽象化ソフトウェアに供給される生データを生成するマルチモードセンサを介して食品調製プロセスを監視し、この場合、ロボット装置は、実世界出力を対照データに対してマルチモード感知データ（視覚、オーディオ、及びいずれかその他の感知フィードバック）に基づいて比較する。段階９５８において、コンピュータ１６は、対照データとマルチモード感知データとの間にいずれかの差が存在するかどうかを決定する。段階９６０において、コンピュータ１６は、マルチモード感知データが対照データから偏倚しているか否かを解析する。偏倚が存在する場合には、段階９６２において、コンピュータ１６は、ロボットアーム７０、ロボットハンド７２、又はその他の要素を再較正するように調節を加える。段階９６４において、ロボット食品調製エンジン１６は、１又は２以上のパラメータ値に加えられた調節を知識データベースに追加することによってプロセス９６４において学習するように構成される。段階９６８において、コンピュータ１６は、補正されたプロセス、条件、及びパラメータに関係する更新済み改訂情報を知識データベースに格納する。段階９５８からの偏倚差が存在しない場合には、プロセス９５０は、段階９６９に直接進み、実行を終了する。
【0202】
図２９は、標準化ロボットキッチン内での使用のための小規模操作物体のデータベースライブラリ構造の一実施形態９７０を例示する表である。データベースライブラリ構造９７０は、（１）小規模操作の名称、（２）小規模操作の割り当てコード、（３）小規模操作の実施に関連する標準化機材及び標準化ツールのコード、（４）操作対象（標準又は非標準）物体（食材及びツール）の初期の位置及び向き、（５）ユーザによって定義される（又は実行中に記録済みレシピから抽出される）パラメータ／変数、（６）タイムライン上のロボットハンド動きシーケンス（全てのサーボに対する制御信号）及び小規模操作の接続フィードバックパラメータ（いずれかのセンサ又はビデオ監視システムからの）を含む特定の小規模操作についての情報を入力し、格納するための幾つかのフィールドを示している。特定の小規模操作に対するパラメータは、複雑度と小規模操作を実施する必要がある物体とに依存して異なる可能性がある。この例では、標準化キッチンモジュールの空間領域内での開始ＸＹＺ位置座標、速度、物体サイズ、及び物体形状という４つのパラメータが識別される。物体サイズと物体形状との両方を非標準パラメータによって定義又は記述することができる。
【0203】
図３０は、標準化ロボットキッチン内での使用のための標準化物体のデータベースライブラリ構造９７２を例示する表である。標準物体データベースライブラリ構造９７２は、（１）物体の名称、（２）物体の画像、（３）物体に対する割り当てコード、（４）事前定義された好ましい分解能のＸＹＺ座標行列で物体の完全寸法を有する仮想３Ｄモデル、（５）物体の仮想ベクトルモデル（入手可能な場合）、（６）物体の作業要素（操作に向けてハンド及びその他の物体と接触することができる要素）の定義及びマーク、（７）各特定の操作に対する物体の初期の標準の向きを含む標準物体に関係する情報を格納するための幾つかのフィールドを示している。
【0204】
図３２は、標準化ロボットキッチンによるレシピ再現プロセスの一部として、用いるべき食材の品質をチェックするために使用されるプロセス１０００の実行を描示している。起こり得る腐敗を示す変色を検出するために色検出及びスペクトル解析を用いるマルチモードセンサシステムビデオ感知要素がプロセスを実施することができる１００６。キッチン内に埋め込まれたものか、又はロボットハンドによって取り扱われる動きプローブの一部であるかに関わらず、アンモニア感応性センサシステムを同様に用いることで、腐敗に関する更なる可能性を検出することができる。ロボットハンド及びロボット指内の更なる触覚センサは、堅さ及び接触力に対する抵抗が測定される（偏位の量及び速度が圧縮距離の関数として）接触感知プロセス１００４を通じて食材の鮮度を検証することを可能にすることになる。例として魚では、えらの色（紅色）及び含水量が、透き通っていなければならない（曇っていない）目と同様に鮮度の指標であり、適正に解凍された魚の身の適正温度は４０°Ｆを超えてはならない。指先上の更なる接触センサは、食材の温度、質感、及び総重量に関連する更なる品質チェック１００２を触るモーション、擦るモーション、持つ／取り上げるモーションを通じて実施することができる。これらの触覚センサ及びビデオ画像を通じて収集された全てのデータは、処理アルゴリズム内で食材の鮮度について決定を行い、それを使用するか、又は廃棄するかについての決定を行うために用いることができる。
【0205】
図３２は、マルチモードセンサが装備されたヘッド２０と、食材及び道具を持つ多指ハンド７２を有する双アームとが調理用具１０１２と対対話的操作を行うロボットレシピスクリプト再現プロセス１０１０を描示している。マルチモードセンサユニットを有するロボットセンサヘッド２０は、両方のロボットアームによって作業されている３次元作業空間を継続的にモデル化及び監視するために使用され、それと同時にツール及び道具、器具並びにその内容及び変数を識別して、これらを調理プロセスシーケンスが生成するレシピ段階と比較し、実行が、コンピュータに格納されたレシピに対するシーケンスデータに沿って進んでいることを確実にすることを可能にするために、作業抽象化モジュールにデータも供給する。ロボットセンサヘッド２０内の更なるセンサは、可聴ドメインに使用されて、調理プロセスの重要な部分の間に音を聞き、匂いを嗅ぐ。ロボットハンド７２及びその触覚センサは、例えばこの場合には卵であるそれぞれの食材を適正に取り扱うために使用され、指及び手掌内のセンサは、例えば、表面の質感並びに重量及びその分布によって使用可能な卵を検出し、それを割ることなく持ってその向きを定めることができる。多指ロボットハンド７２は、例えばこの場合にはボールである一定の調理用具を取り出して取り扱うこともでき、レシピスクリプト内に指定されているとおりに食品食材を適正に処理するために（例えば、卵を割って卵黄を分離し、粘り成分が得られるまで卵白をかき混ぜる）、適正なモーション及び力印加によって調理道具（この場合には泡立て器）を把持して取り扱う。
【0206】
図３３は、必要な調理食材（例えば、肉、魚、鳥肉、貝、野菜等）のうちのいずれかを保管することができる食品ストレージ容器１０２２に、それぞれの食材の鮮度を測定して監視するためのセンサが装備された食材ストレージシステムの概念１０２０を描示している。食品ストレージ容器１０２２内に埋め込まれる監視センサは、アンモニアセンサ１０３０と、揮発性有機化合物センサ１０３２、内部容器温度センサ１０２６と、湿度センサ１０２８とを含むが、これらに限定されない。それに加えて、大きめの食材の空間領域の内部での主要測定（温度等）（例えば肉の内部温度）を可能にするために、人間シェフ又はロボットのアーム及びハンドのどちらによって使用されるかに関わらず、手動プローブを用いることができる。
【0207】
図３４は、センサ及び検出デバイス（例えば温度プローブ／針）を含む食品ストレージ容器１０４２内に入れられた食材に関する鮮度及び品質のチェックの一部として実施される測定及び解析プロセス１０４０を描示している。容器は、容器ＩＤを指定するメタデータタグ１０４４を用いて、温度データ１０４６、湿度データ１０４８、アンモニア濃度データ１０５０、揮発性有機化合物データ１０５２を含むデータセットを無線データネットワークを介しての通信段階１０５６を通じて主サーバに送り、主サーバにおいて食品品質制御エンジンが容器データを処理する。処理段階１０６０は、容器特定のデータ１０４４を用い、それをデータ取得及び格納プロセス１０５４によって媒体１０５８に格納され、そこから取得される受け入れ可能と考えられるデータの値及び範囲と比較する。続いてアルゴリズムセットが、食材の適合性に関して決定を行い、実時間食品品質解析結果をデータネットワークを介しての別個の通信プロセス１０６２によって供給する。続いて品質解析結果は、別のプロセス１０６４において利用され、そこでこれらの結果は、更なる動作に向けてロボットアームに送られるか、又はユーザが、この食材を後の消費のための調理プロセスにおいて用いるべきか、又は腐敗物として廃棄すべきかを決定するように、画面（スマート電話又はその他のディスプレイ）上に遠隔表示することもできる。
【0208】
図３５は、標準化ロボットキッチンであるか、又はシェフスタジオであるかに関わらず、標準化キッチン内で使用される場合に事前詰入食材容器１０７０の機能及びプロセス段階を描示している。食材容器１０７０は、様々なサイズ１０８２で種々の使用を念頭に置いて設計され、特定のストレージ温度範囲を取得するための冷蔵、冷凍、チルド等を用いて生鮮品目を収容する適正ストレージ環境１０８０に適する。それに加えて、食材ストレージ容器１０７０は、固体（塩、小麦粉、米等）食材、粘性／練物（マスタード、マヨネーズ、マジパン、ジャム等）食材、又は液体（水、油、牛乳、ジュース等）食材でラベル付け及び詰入が事前に終了済みである容器を用いて様々な種類の食材１０７２に適合するようにも設計され、この場合、取り出しプロセス１０７４は、食材のタイプに依存して種々の異なる付加デバイス（スポイト、シュート、蠕動投与ポンプ等）を利用し、投与量制御プロセス１０７６を実行する投与量制御エンジン１０８４を用いた正確なコンピュータ制御可能取り出しが、適正な食材量が正しい時間に取り出されることを確実にする。レシピ指定投与量は、メニューインターフェースを通じて、又は更に遠隔電話アプリケーションを通じて個人の好みの味又はダイエット（低ナトリウム等）に適合するように調節可能であることに注意されたい。投与量決定プロセス１０７８は、レシピ内に指定された量に基づいて投与量制御エンジン１０８４によって実施され、取り出し段階は、手動放出コマンド又は取り出し器の出口点にある一定の取り出し容器の検出に基づく遠隔コンピュータ制御のどちらかによって行われる。
【0209】
図３６は、標準化ロボットキッチン５０内での使用のためのレシピシステム構造１０００を例示するブロック図である。食品調製プロセス１１００を調理タイムラインに沿う複数の段へと分割して示しており、各段は、各々の段１１０２、段１００４、段１１０６、及び段１１０８に対する１又は２以上の生データブロックを有する。データブロックは、ビデオ画像、オーディオ録音、テキスト記述、並びに制御プログラムの一部を形式する機械可読かつ機械理解可能な命令セット及びコマンド等の要素を含むことができる。生データセットは、レシピ構造の内部に含まれ、レシピ再現プロセスの開始から調理プロセスの終了に至るまでの全プロセス、又はその中のいずれかの部分プロセスにおいて様々な時間間隔レベル及び時間シーケンスレベルを有する多くの時間順序付き段へと分割されたタイムラインに沿った各調理段を表す。
【0210】
図３７Ａ〜図３７Ｃは、標準化ロボットキッチン内での使用のためのレシピ検索メニューを例示するブロック図である。図３７Ａに示しているように、レシピ検索メニュー１１２０は、食事様式のタイプ（例えば、イタリア料理、フランス料理、中華料理）、料理の食材のベース（例えば、魚、豚肉、牛肉、パスタ）等の最も人気のカテゴリ、又は調理時間範囲（例えば、６０分よりも書短い、２０分と４０分との間）等の基準及び範囲、並びにキーワード検索実施（例えば、ｒｉｃｏｔｔａ ｃａｖａｔｅｌｌｉ、ｍｉｇｌｉａｃｃｉｏ ｃａｋｅ）を提示する。選択された個人特化レシピは、ユーザが、自分が控えることができるアレルギー性食材を個人的ユーザプロファイル内に示すことができるアレルギー性食材を有するレシピを除外することができる。図３７Ｂでは、ユーザは、調理時間が４４分よりも短いこと、７人に十分な分量を配膳すること、ベジタリアン料理の選択肢を提示すること、４５２１又はそれ未満の合計カロリーしか持たないことからなる要件を含む検索基準を選択することができる。図３７Ｃでは、様々な種類の料理１１２２が示されており、この場合、メニュー１１２０は、ユーザが、カテゴリ（例えば料理のタイプ）を選択することができ、続いて選択を絞り込むために、このカテゴリが次の下位カテゴリ（例えば、アペタイザー、サラダ、アントレー…）へと拡張するような階層レベルを有する。実施されるレシピ作成及び提出のスクリーンショットを図３７Ｄに例示している。様々なグラフィカルユーザインターフェース及びメニュー選択肢の更なるスクリーンショットを図３７Ｎ〜図３７Ｖに例示している。
【0211】
レシピフィルタ、食材フィルタ、機材フィルタ、アカウント及びソーシャルネットワークアクセス、個人的提携者ページ、ショッピングカートページ、及び購入済みレシピ、登録設定、レシピ作成についての情報として機能する流れ図の一実施形態をロボット食品調製ソフトウェア１４が、データベースのフィルタ処理に基づいて実施し、情報をユーザに提示することができる様々な機能を例示する図３７Ｅから図３７Ｍに例示している。図３７Ｅに明示しているように、プラットフォームユーザは、レシピセクションにアクセスし、自動ロボット調理に向けて望ましいレシピフィルタ１１３０を選定することができる。最も一般的なフィルタ種類は、食事様式のタイプ（例えば、中華料理、フランス料理、イタリア料理）、調理のタイプ（例えば、オーブン焼き、蒸し、揚げ）、ベジタリアン料理、及び糖尿病食を含む。ユーザは、フィルタ処理された検索結果から、説明、写真、食材、価格、及び評価等のレシピ詳細内容を閲覧することができることになる。図３７Ｆでは、ユーザは、自分用に、有機、食材のタイプ、又は食材のブランド等の望ましい食材フィルタ１１３２を選ぶことができる。図３７Ｇでは、ユーザは、自動ロボットキッチンモジュールに対して、機材のタイプ、ブランド、及び製造者等の機材フィルタ１１３４を適用することができる。選択を行った後に、ユーザは、レシピ、食材、又は機材を関連の販売者からのシステムポータルを通じて直接購入することができることになる。このプラットフォームは、ユーザが自分用の更なるフィルタ及びパラメータを作成することを可能にし、それによってシステム全体がカスタム化可能で常時更新されるものになる。ユーザ追加フィルタ及びパラメータは、調整者による承認の後にシステムフィルタとして現れることになる。
【0212】
図３７Ｈでは、ユーザは、他のユーザ及び販売者にプラットフォームのソーシャル専門家ネットワークを通じてユーザアカウント１１３６にログインすることによって接続することができる。ネットワークユーザの身元は、場合によってクレジットカード及び住所の詳細を通じて検証される。アカウントポータルは、ユーザが自分のレシピを共有又は販売する、並びに他のユーザに広告するための取引プラットフォームとしての役割も果たす。ユーザは、自分のアカウント財源及び機材を同様にアカウントポータルを通じて管理することができる。
【0213】
プラットフォームのユーザ間の提携の例を図３７Ｉに明示している。１人のユーザは、食材に関する全ての情報及び詳細を提供することができ、別のユーザは、同じことを自分の機材に関せ行う。全ての情報は、プラットフォーム／ウェブサイトデータベースに追加される前に調整者を通じてフィルタ処理されなければならない。図３７Ｊでは、ユーザは、ショッピングカート１１４０内の自分の購入品についての情報を確認することができる。配達及び支払い方法等の他の選択肢を変更することもできる。ユーザは、自分のショッピングカート内のレシピに基づいて更なる食材又は機材を購入することもできる。
【0214】
図３７Ｋは、レシピページ１５６０からアクセスすることができる購入済みレシピについての他の情報を示している。ユーザは、どのように調理するのかを読み、聞き、見ることができ、それに加えて自動ロボット調理を実行することができる。レシピに関する販売者又は技術サポートとの通信もレシピページから可能である。
【0215】
図３７Ｌは、「マイアカウント」ページ１１３６からと設定ページ１１３８からとの異なるプラットフォーム層を例示するブロック図である。「マイアカウント」ページからは、ユーザは、専門家の調理ニュース又はブログを読むことができることになり、記事を書いて公開することができる。図３７Ｍに示しているように、「マイアカウント」下のレシピページを通じて、ユーザが独自のレシピ１５７０作成することができる複数の手法が存在する。ユーザは、シェフ調理の動きを取り込むこと、又はソフトウェアライブラリから操作シーケンスを選ぶことのどちらかによって自動ロボット調理スクリプトを作成することによってレシピを作成することができる。ユーザは、単純に食材／機材を列挙し、続いてオーディオ、ビデオ、又は画像を追加することによってレシピを作成することもできる。ユーザは、レシピページからの全てのレシピを編集することができる。
【0216】
図３８は、標準化ロボットキッチン内での使用のためのフィールドを選択することによるレシピ検索メニュー１１５０を例示するブロック図である。検索基準又は範囲によってカテゴリを選択することによって、ユーザ６０は、様々なレシピ結果を列記する戻りページを受信する。ユーザ６０は、これらの結果をソートすることができ、このソートをユーザの評価（例えば高いから低い）、専門家の評価（例えば高から低い）、又は食品調製の所要時間（例えば短いから長い）等の基準によって行うことができる。コンピュータディスプレイは、レシピの写真／メディア、題名、説明、評価、及び価格情報、更にレシピについての追加の情報を閲覧するための完全なレシピページを表示する「続きを読む」ボタンの任意選択的タブを含むことができる。
【0217】
図３９の標準化ロボットキッチン５０は、拡張センサシステム１８５４の使用に向けて取り得る構成を描示している。拡張センサシステム１８５４は、標準化キッチンの完全な目視可能３次元作業空間を効果的に網羅する目論みでキッチン軸の長さを移動する可動コンピュータ制御可能直線レール上に配置された単一の拡張センサシステム１８５４を示している。
【0218】
コンピュータ制御可能レール上、又はアームとハンドとを有するロボットの胴体上等のロボットキッチン内のいずれかの場所に配置された拡張センサシステム１８５４の適正な配置に基づいて、機械特定のレシピスクリプト生成のためのシェフ監視の最中と、標準化ロボットキッチン５０内での料理再現段においてロボット実行段階の進行及び上首尾の終了を監視する最中との両方において３Ｄ追跡と生データ生成とが可能になる。
【0219】
図３９の標準化ロボットキッチン５０は、拡張センサシステム２０の使用に向けて取り得る構成を描示している。標準化ロボットキッチン５０は、その完全な目視可能３次元作業空間を効果的に網羅する目論みでキッチン軸の長さを移動する可動コンピュータ制御可能直線レール上に配置された単一の拡張センサシステム２０を示している。
【0220】
図４０は、食品調製環境の実時間３次元モデル化１１６０に向けて複数のカメラセンサ及び／又はレーザ２０を有する標準化キッチンモジュール５０を例示するブロック図である。ロボットキッチン調理システム４８は、コンピュータがキッチン作動環境の３次元モデルを作成するための実時間生データを供給することができる３次元電子センサを含む。実時間３次元モデル化の１つの可能な実装は、３次元レーザ走査の使用を含む。実時間３次元モデル化の別の実装は、１又は２以上のビデオカメラを用いることである。更なる第３の方法は、カメラによって観察される投影光パターンの使用、いわゆる構造光撮像を含む。３次元電子センサは、キッチン作動環境を実時間で走査して、キッチンモジュール内の作業空間の視覚表現（形状及び寸法のデータ）１１６２を与える。例えば、３次元電子センサは、ロボットアーム／ハンドが肉又は魚を取り上げたか否かの３次元画像を実時間で取り込む。幾つかの物体は非標準の寸法を有する可能性があることから、キッチンの３次元モデルは、物体を把持する上で調節を行うための一種の「人間の目」としての役割も果たす。コンピュータ処理システム１６は、作業空間内の３次元の幾何学形状及び物体のコンピュータモデルを生成し、標準化ロボットキッチン５０に制御信号１１６４を供給し返す。例えば、キッチンの３次元モデル化は、格子点の間に１センチメートル間隔等の望ましい間隔を有する３次元解像度格子を与えることができる。
【0221】
標準化ロボットキッチン５０は、１又は２以上の拡張センサシステム２０の使用に向けて取り得る別の構成を描示している。標準化ロボットキッチン５０は、その完全な目視可能３次元作業空間を効果的に網羅する目論みでキッチン軸の長さに沿ってキッチン作業面の上方のコーナに配置された複数の拡張センサシステム２０を示している。
【0222】
ロボットアーム、ロボットハンド、ツール、機材、及び器具は、標準化ロボットキッチン５０内での料理再現の複数の逐次段において様々な段階に関連することから、標準化ロボットキッチン５０内における拡張センサシステム２０の適正配置によって、ビデオカメラ、レーザ、ソナー、並びにその他の２次元及び３次元のセンサシステムを用いた３次元感知が、ロボットアーム、ロボットハンド、ツール、機材、及び器具に関する形状、場所、向き、及び活動の実時間動的モデルに関する処理済みデータの作成に生データ集合が役立つことができるようにすることが可能になる。
【0223】
生データは、段階１１６２において、標準化ロボットキッチン５０内での料理再現の複数の逐次段における様々な段階にとって重要な全ての物体の形状、寸法、場所、及び向きを抽出することができるように生データを処理することを可能にする各時点において収集される。処理済みデータは、標準化ロボットキッチンのコントローラが、ロボットスクリプトによって定義された制御信号を修正することによってロボットのアーム及びハンドの軌道及び小規模操作を調節することを可能にするようにコンピュータシステムによって更に解析される。多くの変数（食材、温度等）における変動性の可能性を考慮すると、レシピスクリプト実行、従って制御信号に対する調整は、特定の料理に対する各再現段を首尾良く終了する上で極めて重要である。主要な測定可能変数に基づくレシピスクリプト実行プロセスは、標準化ロボットキッチン５０内での特定の料理に対する再現段階の実行中の拡張（マルチモードとも表現する）センサシステム２０の使用の極めて重要な部分である。
【0224】
図４１Ａは、ロボットキッチンプロトタイプを例示する図である。プロトタイプキッチンは、３つのレベルで構成され、上段レベルは、調理時に２つのアームが沿って移動するためのレールシステムと、２つのロボットアームを充電ドックに戻し、調理に使用されない時又はキッチンが手動調理モードに設定された時にこれらのロボットアームを保管することを可能にする引き出し可能フードとを含む。中段レベルは、シンクと、コンロと、網焼き器と、オーブンと、食材ストレージへのアクセスを有する作業カウンター台とを含む。更に中段レベルは、機材を作動させ、レシピを選び、ビデオ及びテキスト命令を見て、オーディオ命令を聞くためのコンピュータモニタを有する。下段レベルは、レシピによって必要とされる食材を調理空間領域に自動的に送達する実施可能性を有する食品／食材をその最良の状態で保管するための自動容器システムを含む。更にキッチンプロトタイプは、オーブンと、皿洗い機と、調理ツールと、補助用品と、調理用具整理具と、引き出し、及びリサイクルビンを含む。
【0225】
図４１Ｂは、ロボット調理プロセスが発生している間に周囲の人間に潜在的な傷害を引き起こすことを防止するために、保護機構としての役割を果たす透明材料の囲いを有するロボットキッチンプロトタイプを例示する図である。透明材料の囲いは、ガラス、繊維ガラス、プラスチック、又はいずれかその他の適切な材料等の様々な透明材料から作製することができる。一例では、透明材料の囲いは、１つの自動ガラスドア（又は複数のドア）を含む。この実施形態に示しているように、自動ガラスドアは、ロボットアームの使用を伴う調理プロセス中に安全性の理由から上から下へ、又は下から上へと（底面区分から）スライドして閉まるように位置決めされる。垂直にスライドして下がる、垂直にスライドして上がる、水平に左から右へ、水平に右から左へ、又は透明材料の囲いがキッチン内で保護機構としての役割を果たすことを可能にするいずれかその他の方法等の透明材料の囲いの設計の変化形態が可能である。
【0226】
図４１Ｃは、カウンター台面とフードの下側とによって規定される空間領域が、キッチンの近くに立っているいずれかの人間を守るか、キッチン作業区域の内／外への汚染を制限するか、又は更に囲まれた空間領域の内部でより良好な空調を可能にするといった目的でロボットアーム／ハンドの作業空間をその周囲から分離するために、手動で又はコンピュータ制御下で左又は右に動かすことができる水平スライドガラスドア１１９０を有する標準化ロボットキッチンの実施形態を描示している。自動スライドガラスドアは、ロボットアームの使用を伴う調理プロセス中に安全性の理由から左右にスライドして閉まる。
【0227】
図４１Ｄは、カウンター台又は作業面が、ロボットキッチンカウンター底面収納庫空間領域内の食材ストレージ空間領域へのスライドドア１２００によるアクセスを有する区域を含む標準化ロボットキッチンの実施形態を描示している。これらのドアは、手動で又はコンピュータ制御下でスライドさせて開けることができ、その中の食材容器へのアクセスを可能にする。手動又はコンピュータ制御下のどちらかで、１又は２以上の特定の容器を食材ストレージ及び供給ユニットによってカウンター台レベルに供給することができ、それによって容器、その蓋、従って容器の中身への手動アクセス（この描示ではロボットアーム／ハンドによるアクセス）が可能になる。続いてロボットアーム／ハンドは、蓋を開け、必要に応じて食材を取得し、この食材を適切な場所（プレート、平鍋、深鍋等）に置くことができ、その後、容器を密閉して食材ストレージ及び供給ユニット上、又はその中に置き戻す。続いて食材ストレージ及び供給ユニットは、後の再使用、清掃、又は再保存に向けて容器をユニットの内部の適切な場所に置き戻す。ロボットアーム／ハンドによるアクセスに向けて食材容器を供給し、再度積み重ねるこのプロセスは、レシピ再現プロセスの内部のある一定の段階が、標準化ロボットキッチン５０が係わる可能性があるレシピスクリプト実行の段に基づいてある一定の種類の１又は２以上の食材を要請することから、レシピスクリプトの一部を形成する一体的かつ反復的なプロセスである。
【0228】
食材ストレージ及び供給ユニットにアクセスするために、カウンター台のうちでスライドドアを有する部分を開けることができ、この場合、レシピソフトウェアがドアを制御し、ロボットアームが指定の容器を取り上げ、蓋を開け、容器から食材を指定の場所に取り出し、蓋を閉め直し、容器をストレージ内に移し戻すことができるアクセス場所へとこの容器を移す。容器は、アクセス場所からストレージユニット内のデフォルトの場所へと移し戻され、続いて新しい／次の容器品目が、取り上げられるアクセス場所へと積み出される。
【0229】
食材ストレージ及び供給ユニットの別の実施形態１２１０を図４１Ｅに描示している。特定の食材又は繰り返し使用される食材（塩、砂糖、小麦粉、油等）をコンピュータ制御式供給機構を用いて取り出すことができるか、又は人間又はロボットのどちらのハンド又は指であるかに関わらず、ハンドトリガによる指定量の特定の食材の放出が可能にされる。取り出すべき食材量は、タッチパネル上で人間又はロボットのハンドが手動で入力することができるか、又はコンピュータ制御によって与えることができる。取り出された食材は、続いて集めることができるか、又はレシピ再現プロセスの間のいずれかの時点でキッチン機材（ボール、平鍋、深鍋等）に供給することができる。食材供給及び取り出しシステムのこの実施形態は、よりコスト効率的かつ空間効率的な手法と考えることができ、それと同時に容器取扱の複雑さ並びにロボットアーム／ハンドによる無駄なモーション時間も低減する。
【0230】
図４１Ｆでは、標準化ロボットキッチンの実施形態は、手動モードでキッチンを操作する人間がロボットキッチン及びその要素と対話的操作を行うことを可能にするためにタッチ画面区域を有する仮想モニタ／ディスプレイが装着された油はね防止板区域を含む。コンピュータ投影画像及びこの投影区域を監視する別個のカメラ監視は、特定の選定を行う時に人間のハンド及びその指が何処に定位されるかを投影画像内の場所に基づいて通知することができ、それを受けてシステムは、この通知に従って動作する。仮想タッチ画面は、レシピの取得及び格納、人間シェフによる完全又は部分的なレシピ実行段階の格納済みビデオを見直すこと、並びに特定のレシピにおける特定の段階又は操作に関連する説明及び指示を発話する人間シェフの可聴再生を聞くことといった標準化ロボットキッチン５０の内部の機材の全ての態様に関する全ての制御機能及び監視機能へのアクセスを可能にする。
【0231】
図４１Ｇは、標準化ロボットキッチン内に組み込まれた単一又は一連のロボットハードオートメーションデバイス１２３０を描示している。この単一又は複数のデバイスは、コンピュータによって遠隔プログラマブル及び遠隔制御可能であり、レシピ再現プロセスにおいて必要とされる、香辛料（塩、胡椒等）、液体（水、油等）、又はその他の乾燥食材（小麦粉、砂糖、ベーキングパウダー等）等の特化された食材要素を事前パッケージ化又は事前測定された量だけ供給又は付与するように設計される。これらのロボットオートメーションデバイス１２３０は、ロボットアーム／ハンド又は人間シェフのアーム／ハンドによって使用されて、レシピスクリプト内に指定されている必要性に基づいて選定された食材の決まった量の放出を設定及び／又はトリガすることを可能にするように、ロボットアーム／ハンドに対して容易にアクセス可能であるように位置付けられる。
【0232】
図４１Ｈは、標準化ロボットキッチン内に組み込まれた単一又は一連のロボットハードオートメーションデバイス１３４０を描示している。この単一又は複数のデバイスは、コンピュータによって遠隔プログラマブル及び遠隔制御可能であり、レシピ再現プロセスにおいて必要とされる繰り返し使用される共通の食材要素を事前パッケージ化又は事前測定された量だけ供給又は付与するように設計され、この場合、投与量制御エンジン／システムは、ボール、深鍋、又は平鍋等の特定の機材に厳密に適正な量を付与するように設計される。これらのロボットオートメーションデバイス１３４０は、ロボットアーム／ハンド又は人間シェフのアーム／ハンドによって使用されて、レシピスクリプト内に指定されている必要性に基づく選定食材の投与量エンジン制御量の放出を設定及び／又はトリガすることを可能にするように、ロボットアーム／ハンドに対して容易にアクセス可能であるように位置付けられる。食材供給及び取り出しシステムのこの実施形態は、よりコスト効率的かつ空間効率的な手法と考えることができ、それと同時に容器取扱の複雑さ並びにロボットアーム／ハンドによる無駄なモーション時間も低減する。
【0233】
図４１Ｉは、自動化調理プロセス中に煙霧及び蒸気を抽出するための換気システム１２５０と、有害な煙及び危険な災のいずれかの発生源を消失させ、更にスライドドアの安全ガラスが標準化ロボットキッチン５０を囲んで影響を受ける空間を封じ込めることを可能にする自動煙／炎検出及び抑制システム１２５２との両方が装備された標準化ロボットキッチンを描示している。
【0234】
図４１Ｊは、臭気が標準化ロボットキッチン５０内に漏れ出るのを抑えるための気密封止を可能にする封止要素（ガスケット、ｏ環等）を含む着脱可能蓋付きごみ容器セットを用いて、リサイクル可能品目（ガラス、アルミニウム等）及びリサイクル不能品目（残飯等）の容易で迅速な廃棄を可能にするように、下の収納庫内の場所に位置付けられた廃棄物管理システム１２６０を有する標準化ロボットキッチン５０を描示している。
【0235】
図４１Ｋは、ロボットによる装荷及び装脱のし易さに向けてキッチン内のある一定の場所に位置付けられた上部装荷皿洗い機１２７０を有する標準化ロボットキッチン５０を描示している。この皿洗い機は、自動化レシピ再現段階実行中に、組み込み排水溝付きのまな板又は作業空間として用いることもできる封止蓋を含む。
【0236】
図４１Ｌは、センサ及び食品プローブを有する計装パネルで構成された計装食材品質チェックシステム１２８０を有する標準化キッチンを描示している。この区域は、その内部に置かれた食材の複数の物理特性及び化学特性を検出することができるセンサを油はね防止板上に含み、これらの特性は、腐敗（アンモニアセンサ）、温度（熱電対）、揮発性有機化合物（バイオマス分解時に放出される）、並びに湿気／湿度（湿度計）成分を含むが、これらに限定されない。特定の調理食材又は調理要素の内部の性質（赤肉、鳥肉等の内部温度）を調べるために、ロボットアーム／ハンドによって使用される温度センサ（熱電対）検出デバイスを用いる食品プローブを存在させることもできる。
【0237】
図４２Ａは、標準化ロボットキッチンの実施形態を平面図５０に描示しており、その中にある要素は、異なる様式で配列することができることを理解されたい。標準化ロボットキッチンは、３つのレベル、すなわち、上段レベル１２９２−１と、カウンターレベル１２９２−２と、下段レベル１２９２−３とに分割される。
【0238】
上段レベル１２９２−１は、組み込み器具及び機材を用いて特定のキッチン機能を実施するために様々なユニットを有する複数の収納庫型モジュールを含む。最も簡単なレベルでは、棚／収納庫ストレージ区域１２９４には、調理ツール、道具、及びその他の調理用具及配膳用具（調理、オーブン焼き、盛り付け等）を保管してこれらにアクセスするために使用される収納庫空間領域１２９６と、特定の食材（例えば、果物、野菜等）のためのストレージ熟成収納庫空間領域１２９８と、レタス及び玉葱等の品目のためのチルドストレージゾーン１３００と、深冷凍結品目のための冷凍ストレージ収納庫空間領域１３０２と、その他の食材及び滅多に用いない香辛料等のための別のパントリーゾーン１３０４とが含まれる。
【0239】
カウンターレベル１２９２−２は、ロボットアーム７０を収容するだけでなく、配膳カウンター１３０６と、シンクを有するカウンター区域１３０８と、着脱可能作業面（まな板等）を有する別のカウンター区域１３１０と、炭火利用のスラット付きグリル１３１２と、コンロ、調理器、蒸し器、及び蒸し鍋を含む他の調理器具のための多目的区域１３１４とを含む。
【0240】
下段レベル１２９２−３は、対流オーブンと電子レンジとの組合せ１３１６と、皿洗い機１３１８と、更なる頻用調理用具及びオーブン焼き用具、並びに食卓用具、梱包材料、及び刃物類を維持及び保管する大きめの収納庫空間領域１３２０とを収容する。
【0241】
図４２Ｂは、標準化ロボットキッチンの内部におけるロボットアーム３４の位置決めに関する適正な幾何学的基準参照を可能にするためにｘ軸１３２２、ｙ軸１３２４、ｚ軸１３２６を有するｘｙｚ座標フレームの内部に上段レベル１２９２−１、カウンターレベル１２９２−２、及び下段レベル１２９４−３の場所を描示する標準化ロボットキッチンの斜視図５０を描示している。
【0242】
ロボットキッチンの斜視図５０は、上段レベル（ストレージパントリー１３０４、標準化調理ツール及び標準化調理用具１３２０、ストレージ熟成ゾーン１２９８、チルドストレージゾーン１３００、及び冷凍ストレージゾーン１３０２）と、カウンターレベル１２９２−２（ロボットアーム７０、シンク１３０８、まな板区域１３１０、炭火グリル１３１２、調理器具１３１４、及び配膳カウンター１３０６）と、下段レベル（皿洗い機１３１８並びにオーブン及び電子レンジ１３１６）とを含む３つ全てのレベルにおいて考えられる機材に関する多くのレイアウト及び場所のうちの１つを明確に示している。
【0243】
図４３Ａは、ユーザが機材を作動させ、レシピを選び、ビデオを見て、録音されたシェフの指示を聞くための組み込みモニタ１３２８、並びにロボットアームの作動中に標準化ロボット調理空間領域の開放面を囲むための自動コンピュータ制御式左／右可動透明ドア１３３０を描示するかなり直線的で実質的に長方形の水平レイアウト内にキッチンが組み込まれた標準化ロボットキッチンレイアウトの１つの可能な物理的実施形態の平面図を描示している。
【0244】
図４３Ｂは、ユーザが機材を作動させ、レシピを選び、ビデオを見て、録音されたシェフの指示を聞くための組み込みモニタ１３３２、並びにロボットアームの作動中に標準化ロボット調理空間領域の開放面を囲むための自動コンピュータ制御式左／右可動透明ドア１３３４を描示するかなり直線的で実質的に長方形の水平レイアウト内にキッチンが組み込まれた標準化ロボットキッチンレイアウトの１つの可能な物理的実施形態の斜視図を描示している。標準化ロボットキッチンにおけるサンプルスクリーンショットを図４３Ｃ〜図４３Ｅに示しており、図４３Ｆは、サンプルキッチンモジュール仕様を描示している。
【0245】
図４４Ａは、ユーザが機材を作動させ、レシピを選び、ビデオを見て、録音されたシェフの指示を聞くための組み込みモニタ１３３６、並びにロボットアームの作動中に標準化ロボット調理空間領域の開放面を囲むための自動コンピュータ制御式上／下可動透明ドア１３３８を描示するかなり直線的で実質的に長方形の水平レイアウト内にキッチンが組み込まれた標準化ロボットキッチンレイアウトの別の可能な物理的実施形態の平面図を描示している。
【0246】
図４４Ｂは、ユーザが機材を作動させ、レシピを選び、ビデオを見て、録音されたシェフの指示を聞くための組み込みモニタ１３４０、並びにロボットアームの作動中に標準化ロボット調理空間領域の開放面を囲むための自動コンピュータ制御式上／下可動透明ドア１３４２を描示するかなり直線的で実質的に長方形の水平レイアウト内にキッチンが組み込まれた標準化ロボットキッチンレイアウトの１つの可能な物理的実施形態の斜視図を描示している。
【0247】
図４５は、１対のロボットアーム、ロボット手首、及びロボット多指ハンドが、直動的（直線的な段階的延長で）かつ伸縮自在に作動される胴体上の単一体として垂直ｙ軸１３５２と水平ｘ軸１３５４に沿って移動し、それに加えて自体の胴体の中心線を通って延びる垂直ｙ軸の回りで回転移動する標準化ロボットキッチン５０内の伸縮自在ライフ（ｌｉｆｅ）１３５０の斜視レイアウト図を描示している。レシピスクリプト内に明記されているレシピ再現の全ての部分の間にロボットアームを標準化ロボットキッチン内の様々な場所に動かすことを可能にするために、これらの直線モーション及び回転モーションを可能にするアクチュエータが、胴体内の上位レベルに埋め込まれる。人間シェフによって調理される場合の料理の作成中にシェフスタジオキッチン環境内で観察される人間シェフ４９のモーションを適正に再現することができるためには、これらの複数のモーションが必要である。
【0248】
図４６Ａは、キッチンが、手首と多指ハンドとの有する双ロボットアームセットを描示するかなり直線的で実質的に長方形の水平レイアウト内に組み込まれ、アームベースの各々が可動レールセット上にも回転可能胴体上にも装着されず、代わりにロボットキッチンの垂直表面のうちの１つの同じものの上に移動不能に装着され、それによってロボット胴体の場所及び寸法が定義されて固定されるが、なおも両方のロボットアームが共同して作業し、調理表面及び機材の全ての区域に到達することが可能になる標準化ロボットキッチンレイアウトの１つの物理的実施形態１３５６の平面図を描示している。
【0249】
図４６Ｂは、キッチンが、手首と多指ハンドとの有する双ロボットアームセットを描示するかなり直線的で実質的に長方形の水平レイアウト内に組み込まれ、アームベースの各々が可動レールセット上にも回転可能胴体上にも装着されず、代わりにロボットキッチンの垂直表面のうちの１つの同じものの上に移動不能に装着され、それによってロボット胴体の場所及び寸法が定義されて固定されるが、なおも両方のロボットアームが共同して作業し、調理表面及び機材（後壁上のオーブン、ロボットアームの下にある調理台、及びロボットアームの片側にあるシンク）の全ての区域に到達することが可能になる標準化ロボットキッチンレイアウトの１つの物理的実施形態１３５８の斜視図を描示している。
【0250】
図４６Ｃは、標準化ロボットキッチンのｙ軸に沿う高さ及びｘ軸に沿う幅が全体として２２８４ｍｍであることを示す標準化ロボットキッチンの１つの可能な物理的実施形態１３６０の寸法付き正面図を描示している。
【0251】
図４６Ｄは、標準化ロボットキッチンのｙ軸に沿う高さがそれぞれ２１６４ｍｍ及び３４１５ｍｍであることを示す標準化ロボットキッチンの１つの可能な物理的実施形態１３６２の寸法付き側断面図を描示している。
【0252】
図４６Ｅは、標準化ロボットキッチンのｙ軸に沿う高さ及びｚ軸に沿う奥行きがそれぞれ２２８４ｍｍ及び１５０４ｍｍであることを示す標準化ロボットキッチンの１つの物理的実施形態１３６４の寸法付き側面図を描示している。
【0253】
図４６Ｆは、ｚ軸に沿う全体のロボットキッチンモジュール奥行きが全体として１５０４ｍｍであることを示す１対のロボットアーム１３６８を含む標準化ロボットキッチンの１つの物理的実施形態１３６６の寸法付き上断面図を描示している。
【0254】
図４６Ｇは、ｘ軸に沿う全長が３４１５ｍｍであり、ｙ軸に沿う全高が２１６４ｍｍであり、ｚ軸に沿う全奥行きが１５０４ｍｍであり、側断面図における全高が２２８４ｍｍのｚ軸全高を示している、標準化ロボットキッチンの１つの物理的実施形態の３つの図に断面図を付け加えたものを描示している。
【0255】
図４７は、標準化ロボットキッチン５０との併用のためのプログラマブルストレージシステム８８を例示するブロック図である。プログラマブルストレージシステム８８は、標準化ロボットキッチン５０内において、ストレージシステム８８の内部の相対ｘｙ位置座標に基づいて構造化される。この例では、プログラマブルストレージシステム８８は、９つの列と３つの行とを有する２７カ所（９×３行列で配列された２７カ所）のストレージ場所を有する。プログラマブルストレージシステム８８は、冷凍場所又は冷蔵場所としての役割を果たすことができる。この実施形態では、２７カ所のプログラマブルストレージ場所の各々は、圧力センサ１３７０、湿度センサ１３７２、温度センサ１３７４、及び匂い（嗅覚）センサ１３７６という４種類のセンサを含む。各ストレージ場所がｘｙ座標によって認識可能であることで、ロボット装置は、選択されたプログラマブルストレージ場所にアクセスして、この場所で料理を調製するために必要な食品品目を取得することができる。コンピュータ１６は、適正な温度プロファイル、適正な湿度プロファイル、適正な圧力プロファイル、及び適正な匂いプロファイルに関して各プログラマブルストレージ場所を監視することもでき、特定の食品品目又は食材に対して最適なストレージ状態が監視されて維持されることを確実にする。
【0256】
図４８は、温度、湿度、及び相対酸素含有量（並びに他の部屋の状態）をコンピュータによって監視して制御することができる容器ストレージステーション８６の立面図を描示している。このストレージ容器ユニット内には、パントリー／乾燥ストレージ区域１３０４、別個に制御可能な温度と湿度（果物／野菜のための）とを有するワインにとって重要な熟成区域１２９８、農産物／果物／肉のための有効保存寿命を最適化するような低めの温度ストレージのためのチルドユニット１３００、その他の品目（肉、焼成製品、海産食品、アイスクリーム等）の長期ストレージのための冷凍ユニット１３０２を含むことができるが、これらに限定されない。
【0257】
図４９は、人間シェフ並びにロボットアーム及び多指ハンドによってアクセスされることになる食材容器１３００の立面図を描示している。標準化ロボットキッチンのこの区分は、食材品質監視ダッシュボード（ディスプレイ）１３８２と、バーコードスキャナ、カメラ、及び計量器を含むコンピュータ処理測定ユニット１３８４と、食材の入庫及び出庫に関する自動のラック−棚を有する別個のカウンター台１３８６と、リサイクル可能な金物（ガラス、アルミニウム、金属等）及びリサイクルに適する軟質の物（食べ残し及び残飯）の廃棄のためのリサイクルユニット１３８８とを含む複数のユニットを含むが、必ずしもこれらに限定されない。
【0258】
図５０は、人間シェフによる使用のためのコンピュータ制御式ディスプレイである食材品質監視ダッシュボード１３９０を描示している。このディスプレイは、ユーザが人間及びロボットの調理の食材供給及び食材品質の態様にとって重要な複数の項目を閲覧することを可能にする。これらの項目は、どのようなものが利用可能であるかを略示する食材在庫概況１３９２と、選択された個別食材、その栄養成分、及び相対的分布１３９４と、ストレージカテゴリ（肉、野菜等）の関数としての量及び専用ストレージ１３９６と、迫り来る消費期限、補充／補填日、及び項目を描示するスケジュール１３９８と、あらゆるタイプの警報（感知された腐敗、異常温度、又は機能不良等）のための区域１４００と、人間のユーザがダッシュボード１３９０を通じてコンピュータ処理在庫システムと対話的操作を行うことを可能にするための音声解釈コマンド入力の選択肢１４０２とのディスプレイを含む。
【0259】
図５１は、レシピパラメータのライブラリデータベースの一例１４１０を例示する表である。レシピパラメータのライブラリデータベース１４１０は、食物グループプロファイル１４０２、食事様式のタイプ１４０４、メディアライブラリ１４０６、レシピデータ１４０８、ロボットキッチンのツール及び機材１４１０、食材グループ１４１２、食材データ１４１４、及び調理技術１４１６という多くのカテゴリを含む。これらのカテゴリの各々は、レシピを選択する際に利用可能な詳細選択肢のリストを与える。食物グループプロファイルは、年齢、性別、体重、アレルギー、薬物使用、及び生活様式のようなパラメータを含む。食事様式グループ種類プロファイル１４０４は、地域、文化、又は宗教による食事様式種類を含み、調理機材グループ種類プロファイル１４１０は、平鍋、グリル、又はオーブン、及び調理所要時間等の項目を含む。レシピデータグループプロファイル１４０８は、レシピの名称、バージョン、調理及び調製の時間、必要なツール及び器具等の項目を含む。食材グループプロファイル１４１２は、乳製品、果物及び野菜、穀物及びその他の炭水化物、様々な種類の流体、及び様々な種類の蛋白質（肉、豆）等の項目へとグループ編成された食材を含む。食材データグループプロファイル１４１４は、名称、説明、栄養情報、ストレージ及び取扱の指示等の食材記述子データを含む。調理技術グループプロファイル１４１６は、機械的技術（たれ付け、細切り、おろし、刻み等）及び化学処理技術（マリネ、酢漬け、発酵、燻製等）等のフィールドへとグループ編成された特定の調理技術についての情報を含む。
【0260】
図５２は、シェフの食品調製プロセスを記録する段階の一実施形態のプロセスの一実施形態１４２０を例示する流れ図である。段階１４２２において、シェフスタジオ４４内で、マルチモード３次元センサ２０は、標準化キッチン機材と、静的であるか又は動的であるかに関わらずその内部の全ての物体のｘｙｚ座標位置及び向きとを定義するためにキッチンモジュール空間領域を走査する。段階１４２４３において、マルチモード３次元センサ２０は、食材等の非標準化物体のｘｙｚ座標位置を見出すためにキッチンモジュールの空間領域を走査する。段階１４２６において、コンピュータ１６は、全ての非標準化物体に対する３次元モデルを作成し、これらの物体の種類及び属性（サイズ、寸法、用法等）をコンピューティングデバイス上又はクラウドコンピューティング環境上のコンピュータのシステムメモリ内に格納し、これらの非標準化物体の形状、サイズ、及び種類を定義する。段階１４２８において、シェフ動き記録モジュール９８が、シェフのアーム、手首、及びハンドの動き（シェフの手の動きは、好ましくは標準小規模操作に従って識別され、分類される）をシェフのグローブを介して連続する時間間隔内で感知して取り込む。段階１４３０において、コンピュータ１６は、食品料理を調製する際のシェフの動きの感知取り込みデータをコンピュータのメモリストレージデバイス内に格納する。
【0261】
図５３は、食品料理を調製するロボット装置の一実施形態のプロセスの一実施形態１４４０を例示する流れ図である。段階１４４２において、ロボットキッチン４８内のマルチモード３次元センサ２０は、非標準化物体（食材等）のｘｙｚ位置座標を見出すためにキッチンモジュールの空間領域を走査する。段階１４４４において、ロボットキッチン４８内のマルチモード３次元センサ２０は、標準化ロボットキッチン５０内で検出された非標準化物体に対する３次元モデルを作成し、これらの非標準化物体の形状、サイズ、及び種類をコンピュータのメモリ内に格納する。段階１４４６において、ロボット調理モジュール１１０が、変換済みレシピファイルに従って、シェフの食品調製プロセスを同じペース、同じ動き、及び同様の持続時間で再現することによるレシピ実行を開始する。段階１４４８において、ロボット装置は、１又は２以上の小規模操作及び動作プリミティブの組合せを有する変換済みレシピファイルのロボット命令を実行し、それによってロボット標準化キッチン内のロボット装置が、シェフ４９が自分で食品料理を調製した場合と同じ結果又は実質的に同じ結果を伴う食品料理を調製するという結果を生じる。
【0262】
図５４は、ロボットによる食品料理調製においてシェフに対して同じ又は実質的に同じ結果を取得する際の品質及び機能の調節における一実施形態のプロセス１４５０を例示する流れ図である。段階１４５２において、品質チェックモジュール５６は、ロボット装置によるレシピ再現プロセスを１又は２以上のマルチモードセンサ、ロボット装置上のセンサによって監視及び検証し、抽象化ソフトウェアを用いて、ロボット装置からの出力データを標準化ロボットキッチンのシェフスタジオバージョン内で人間シェフによって同じレシピを実行する間に実施される調理プロセスを監視し、抽象化することによって作成されたソフトウェアレシピファイルからの対照データに対して比較することによって品質チェックを実施するように構成される。段階１４５４において、ロボット食品調製エンジン５６は、ロボット装置が食品調製プロセスに対して調節を行うことを必要とすることになるいずれかの差を検出して特定する、例えば、少なくとも食材のサイズ、形状、又は向きにおける差を監視するように構成される。差が存在する場合には、ロボット食品調製エンジン５６は、生感知入力データと処理済み感知入力データとに基づいてこの特定の食品料理処理段階に対する１又は２以上のパラメータを調節することによって食品調製プロセスを修正するように構成される。段階１４５４において、感知され、抽象化されたプロセス進行をレシピスクリプト内の格納済みプロセス変数と比較した場合のこれらの間の潜在的な差に対して影響を与えることに関する決定が行われる。標準化ロボットキッチン内での調理プロセスのプロセス結果が、このプロセス段階に関してレシピスクリプト内に明記されているものと同一の場合には、食品調製プロセスは、レシピスクリプト内に記述されているとおりに続く。生感知入力データと処理済み感知入力データとに基づいてプロセスに対する修正又は調整が必要とされる場合には、プロセス変数がこのプロセス段階に関してレシピスクリプト内に規定されているものに準拠する状態に導かれることを確実にするために必要とされるいずれかのパラメータを調節することによって、調整プロセス１５５６が実施される。調整プロセス１４５６の上首尾の結果を受けて、食品調製プロセス１４５８は、レシピスクリプトシーケンス内に指定されているとおりに再開する。
【0263】
図５５は、ロボットキッチン内で記録されたソフトウェアファイルからシェフの動きを再現することによって料理を調製するロボットキッチンのプロセスにおける第１の実施形態１４６０を例示する流れ図である。段階１４６２において、ユーザは、ロボット装置が食品料理を調製するための特定のレシピをコンピュータを通じて選択する。段階１４６４において、ロボット食品調製エンジン５６は、食品調製に向けて選択されたレシピに対する抽象化レシピを取得するように構成される。段階１４６８において、ロボット食品調製エンジン５６は、選択レシピスクリプトをコンピュータのメモリ内にアップロードするように構成される。段階１４７０において、ロボット食品調製エンジン５６は、食材入手可能性及び必要調理時間を算出する。段階１４７２において、ロボット食品調製エンジン５６は、選択レシピ及び配膳スケジュールに従って料理を調製するための食材が不足しているか、又は時間が不十分である場合に、警報又は通知を発するように構成される。段階１４７２において、ロボット食品調製エンジン５６は、欠損している又は不十分な食材を買い物リストに入れるか、又は別のレシピを選択するように警報を送る。段階１４７４において、ユーザによるレシピの選択が確認される。段階１４７６において、ロボット食品調製エンジン１４７６は、レシピを調製し始める時であるか否かをチェックするように構成される。プロセス１４６０は、段階１４７６において開始時間が来るまで一時停止する。段階１４６０において、ロボット装置は、各食材を鮮度及び状態（例えば、購入日、消費期限、臭気、色）に関して検査する。段階１４６２において、ロボット食品調製エンジン５６は、食品又は食材を標準化容器から食品調製位置へと移す命令をロボット装置に送るように構成される。段階１４６４において、ロボット食品調製エンジン５６は、開始時間「０」において、ソフトウェアレシピスクリプトファイルから食品料理を再現することによって食品調製を開始するようにロボット装置に命令するように構成される。段階１４６６において、標準化キッチン５０内のロボット装置は、シェフのアーム及び指と同じ動き、同じ食材、同じペースで、同じ標準化キッチンの機材及びツールを用いて食品料理を再現する。段階１４６８において、ロボット装置は、食品調製プロセス中に品質チェックを実施して、いずれか必要なパラメータ調節を行う。段階１４７０において、ロボット装置は、食品料理の再現及び調製を終了し、従って食品料理を盛り付けて配膳する準備が整う。
【0264】
図５６は、ストレージ容器の入庫及び識別のプロセス１４８０を描示している。段階１４８２において、品質監視ダッシュボードを用いて、ユーザが食材を入庫することを選択する。続いて段階１４８４において、ユーザは、入庫ステーション又は入庫カウンターにおいて食材パッケージを精査する。段階１４８６において、バーコードスキャナ、計量器、カメラ、及びレーザスキャナからの追加データを用いて、ロボット調理エンジンが、食材特定のデータを処理し、それをその食材及びレシピライブラリにマッピングし、潜在的なアレルギーの影響に関してこのデータを解析する。段階１４８８に基づいてアレルギー潜在性が存在する場合には、システムは、段階１４９０においてユーザに通知し、安全性の理由から食材を廃棄することを決定する。食材が受け入れ可能であると見なされた場合には、段階１４９２において、システムによってこの食材が記録され、確認される。段階１４９４において、ユーザが開梱して（既に開梱されていない場合に）物品を取り出す。続く段階１４９６において、物品は梱包され（フォイル、真空バッグ等）、全ての必要な食材データが印刷されたコンピュータ印刷ラベルを用いてラベル付けされ、識別の結果に基づいてストレージ容器及び／又はストレージ場所に移される。続いて段階１４９８において、ロボット調理エンジンが内部データベースを更新し、利用可能食材を品質監視ダッシュボード内に表示する。
【0265】
図５７は、ストレージからの食材の出庫及び調理調製プロセス１５００を描示している。最初の段階１５０２において、ユーザは、食材を出庫することを品質監視ダッシュボードを用いて選択する。段階１５０４において、ユーザは、１又は２以上のレシピにとって必要な単一の物品に基づいて、物品を出庫することを選択する。続いて段階１５０６において、コンピュータ処理キッチンは、選択品を含む特定の容器をそのストレージ場所からカウンター区域へと移すように機能する。段階１５０８においてユーザが物品を取り上げると、ユーザは、段階１５１０において多くの取り得る手法（調理、廃棄、リサイクル等）のうちの１又は２以上で物品を処理し、段階１５１２において残ったいずれかの物品がシステムに入庫し戻され、それによってシステム１５１４とのユーザの対話的操作が完結する。標準化ロボットキッチン内のロボットアームが取得済み食材品目を受信すると、アーム及びハンドが、容器内の各食材品目をその識別データ（種類等）及び状態（消費期限、色、臭気等）に対して検査する段階１５１６が実行される。品質チェック段階１５１８において、ロボット調理エンジンは、潜在的な品目の不一致又は検出された品質状態についての決定を行う。品目が適切でなかった場合には、段階１５２０は、適切な動作で事後対応するように調理エンジンに警報を発する。食材が受け入れ可能な種類及び品質のものであった場合には、段階１５２２においてロボットアームは、次の調理プロセス段階において用いるべき品目を移す。
【0266】
図５８は、自動化調理前準備プロセス１５２４を描示している。段階１５３０において、ロボット調理エンジンは、特定のレシピに基づいて余剰食材及び／又は廃棄食材の材料を算出する。続いて段階１５３２において、ロボット調理エンジンは、各食材を用いるレシピの実行に向けて取り得る全ての技術及び方法を検索する。段階１５３４において、ロボット調理エンジンは、時間及びエネルギーの消費に関して、特に並列多重作業プロセスを必要とする料理に関して食材使用を算出し、最適化する。続いてロボット調理エンジンは、予定された料理に対する多レベル調理平面を作成し、１５３６、ロボットキッチンシステムに調理実行の要求を送る。次の段階１５３８において、ロボットキッチンシステムは、調理プロセスに必要とされる食材、調理用具／オーブン焼き用具をその自動化棚システムから移し、段階１５４０においてツール及び機材を組み立てて様々な作業ステーションを構成する。
【0267】
図５９は、レシピ設計及びスクリプト作成プロセス１５４２を描示している。最初の段階１５４４において、シェフは、特定のレシピを選択し、続いて段階１５４６において、シェフは、このレシピに関して名称及びその他のメタデータ（背景、技術等）を含むが、これらに限定されないレシピデータを入力又は編集する。段階１５４８において、シェフは、データベース及び関連ライブラリに基づいて必要な食材を入力又は編集し、レシピに必要とされる重量／体積／単位によってそれぞれの量を入力する。段階１５５０において、レシピの調製において利用される必要な技術の選択が、シェフによってデータベース及び関連ライブラリ内で入手可能なものに基づいて行われる。段階１５５２において、シェフは、同様の選択であるが、今回はこの料理に関するレシピを実行するのに必要とされる調理方法及び調製法の選定に主眼を置く。続いて完結段階１５５４は、システムが、後のデータベースにおける格納及び取得に有用となるレシピＩＤを作成することを可能にする。
【0268】
図６０は、ユーザがレシピを選択することができる手法のプロセス１５５６を描示している。最初の段階１５５８は、ユーザが、コンピュータ又はモバイルアプリケーションを通じてオンラインマーケットプレイスストアからレシピを購入するか、又はレシピ購入プランを購読する段階を伴い、それによって、再現することができるレシピスクリプトのダウンロードを可能にする。段階１５６０において、ユーザはオンラインデータベースを検索し、これらの購入物の中から、又は購読の一部として利用可能な特定のレシピを個人の嗜好及び現場での食材入手可能性に基づいて選択する。最後の段階１５６２として、ユーザは、配膳に向けて料理の準備を整えて欲しい日時を入力する。
【0269】
図６１Ａは、オンラインサービスポータル、又はいわゆるレシピ商取引プラットフォームのレシピの検索及び購入、並びに／又は購読のプロセスに関するプロセス１５７０を描示している。最初の段階として、ユーザが、ハンドヘルドデバイス上のアプリを介して、又はＴＶ及び／又はロボットキッチンモジュールを用いてレシピをダウンロードすることによってこれらのレシピを検索及び閲覧することができる前に、新規ユーザは、段階１５７２においてシステムに登録しなければならない（年齢、性別、食事の嗜好性等を選択し、続いて全体的に好きな調理又はキッチン様式を選択する）。段階１５７４において、ユーザは、レシピの様式（手動調理レシピを含む）等の基準を用いて１５７６、又は特定のキッチン又は機材の様式（中華鍋、蒸し器、燻製器等）に基づいて１５７８、検索を行うことを選ぶことができる。ユーザは、段階１５８０において事前定義基準を用い、更に検索空間及び続いて生じる結果を絞り込むためにフィルタ処理段階１５８２を用いるように検索を選択又は設定することができる。段階１５８４において、ユーザは、与えられた検索結果、情報、及び推薦からレシピ選択する。続いて段階１５８６において、ユーザは、調理友達及びオンラインコミュニティとこの選定について次の段階で共有、共同作業、又は協議することを選ぶことができる。
【0270】
図６１Ｂは、図６１Ａからの続きを描示している。段階１５９２において、ユーザは、ロボット調理手法又はレシピのパラメータ制御バージョンのどちらかに基づいて特定のレシピを選択するように促される。パラメータ制御に基づくレシピの場合には、段階１５９４において、システムは、全ての調理用具及び器具並びにロボットアーム要件等の項目に関する必要な機材の詳細を提供し、段階１６０２において、詳細な注文指示に向けて食材に関する供給元及び機材供給者への外部リンク選択を提示する。続いてポータルシステムは、レシピ種類チェック１５９６を実行し、そこでシステムは、遠隔デバイス上へのレシピプログラムファイルの直接ダウンロード及びインストール１５９８を可能にするか、又は段階１６００において一度限りの支払い又は購読ベースの支払いに基づき、多くの可能な支払い形態（ペイパル、ビットコイン、クレジットカード等）のうちの１つを用いる支払いの情報をユーザが入力することを必要とする。
【0271】
図６２は、ロボットレシピ調理アプリケーション（「アプリ」）の作成に使用されるプロセス１６１０を描示している。最初の段階１６１２において、Ａｐｐ Ｓｔｏｒｅ、Ｇｏｏｇｌｅ Ｐｌａｙ、又はＷｉｎｄｏｗｓ Ｍｏｂｉｌｅ、又は銀行取引及び会社情報の提供を含むその他のそのようなマーケットプレイス等の場所において、開発者のアカウントを作成する必要がある。続いて段階１６１４において、ユーザは、各アプリストアに特定の最新のアプリケーションプログラミングインターフェース（ＡＰＩ）ドキュメンテーションを取得及びダウンロードするように促される。続いて段階１６１８において、開発者は、明記されたＡＰＩ要件に従ってＡＰＩドキュメント要件を満たすレシピプログラムを作成しなければならない。段階１６２０において、開発者は、レシピに関して、様々なサイト（Ａｐｐｌｅ、Ｇｏｏｇｌｅ、Ｓａｍｓｕｎｇ等）に適し、これらのサイトによって規定される名称及びその他のメタデータを提供する必要がある。段階１６２２は、開発者が、承認を取得するためにレシピプログラム及びメタデータファイルをアップロードすることを必要とする。段階１６２４において、それぞれのマーケットプレイスサイトが、レシピプログラムを精査、試験、及び承認し、その後、段階１６２６において、それぞれのサイトが、オンライン検索、閲覧、及びこれらのサイトの購入インターフェースを介しての購入に向けてこのレシピプログラムをリストに載せて利用可能にする。
【0272】
図６３は、特定のレシピを購入するか、又はレシピ配信プランを購読するプロセス１６２８を描示している。最初の段階１６３０において、ユーザは、注文するための特定のレシピを求めて検索する。ユーザは、キーワードによって閲覧することを選ぶことができ（段階１６３２）、嗜好フィルタを用いて結果を絞り込むことができる（段階１６３４）、その他の事前定義基準を用いて閲覧することを選ぶことができる（段階１６３６）、又は販売促進対象レシピ、新たにリリースされたレシピ、若しくは事前予約注文ベースのレシピに基づいて、又は実演シェフ調理イベントに基づいて閲覧することさえも選ぶことができる（段階１６３８）。レシピに対する検索結果は、段階１６４０においてユーザに表示される。続いて段階１６４２の一部として、ユーザが、これらのレシピ結果を閲覧し、オーディオ又は短いビデオクリップで各レシピを試写することができる。続いて段階１６４４において、ユーザは、デバイス及びオペレーティングシステムを選び、特定のオンラインマーケットプレイスアプリケーションサイトへのリンクを受信する。ユーザが、段階において作業１６４８で新しいプロバイダサイトに接続することを選んだ場合には、このサイトは、新しいユーザが認証及び同意段階１６５０を終了することを必要とし、続いて作業１６５２において、サイトが、サイト特定のインターフェースソフトウェアをダウンロードしてインストールすることを可能にし、レシピ配信プロセスを続けることを可能にする。プロバイダサイトは、段階１６４６においてロボット調理買い物リストを作成するか否かをユーザに問い合わせることになり、ユーザがこれに同意した場合には、ユーザは、段階１６５４において単発又は購読ベースで特定のレシピを選択し、料理を配膳すべき特定の日時を選び出す。段階１６５６において、最も早い供給者及びその場所、食材及び機器の入手可能性、及び関連の配送準備期間及び価格を含む必要な食材及び機器についての買い物リストがユーザに提供及び表示される。段階１６５８において、ユーザに、品目の説明及びそのデフォルト又は推奨の供給元及びブランドの各々を精査する機会が提供される。続いて段階１６６０において、ユーザは、全ての関連の系列品目のコスト（輸送、税金等）を含む食材及び機材のリスト上の全ての品目の関連コストを閲覧することができる。段階１６６２において、ユーザ又はバイヤーが提案された買い物リスト品目とは別のものを閲覧することを望む場合には、ユーザ又はバイヤーが別の購入及び注文の選択肢に接続して閲覧することを可能にするために、ユーザ又はバイヤーに別の供給元を提示する段階１６６４が実行される。ユーザ又はバイヤーが提案された買い物リストを受け入れた場合には、システムは、これらの選択を将来の購入に向けて個人特化選択肢として保存し、現在の買い物リストを更新する（段階１６６８）だけではなく、続いて段階１６７０に移り、そこでシステムは、地域／最も近いプロバイダ、時期及び成熟段に基づく品目の入手可能性、又は更に効果的に同じ性能を有するが、ユーザ又はバイヤーへの配送コストにおいて大幅に異なる、異なる供給者からの機材に対する価格等の更なる基準に基づいて買い物リストから別のものを選択する。
【0273】
図６４Ａ〜図６４Ｂは、事前定義レシピ検索基準の例１６７２を例示するブロック図である。この例における事前定義レシピ検索基準は、主要食材、調理の所要時間、地理的な範囲及び種類による食事様式、シェフの名前検索、名物料理、食品料理を調製する際の推定食材コストといったカテゴリを含む。考えられる他のレシピ検索フィールドは、食物のタイプ、特別食、除外食材、料理のタイプ及び調理方法、行事及び季節、レビュー及び提案、並びに評価順位を含む。
【0274】
図６６は、ロボット標準化キッチン５０内の幾つかの事前定義容器を例示するブロック図である。標準化ロボットキッチン５０内の容器の各々は、当該容器内に保管された特定の内容に関連する容器番号又はバーコードを有する。例えば、第１の容器は、白キャベツ、赤キャベツ、チリメンキャベツ、カブ、及びカリフラワー等の大きく嵩張る産物を保管する。第６の容器は、皮むきアーモンド、種（ヒマワリ、カボチャ、ホワイト）、種抜き乾燥アプリコット、乾燥パパイヤ、及び乾燥アプリコットを含む大分量の固体を個体毎に保管する。図６６は、同時食品調製処理に向けて複数対のロボットハンドを有する長方形レイアウトで構成されたロボットレストランキッチンモジュールの第１の実施形態を例示するブロック図である。本発明の別の実施形態は、図６６に示している業務用又はレストランのキッチン構成における複数の連続又は並列のロボットのアーム及びハンドステーションに関する多段構成を中心主題とする。あらゆる幾何学配列を用いることができるが、この実施形態は、各々が特定の要素、料理、又はレシピスクリプト段階を作成することに集中する複数のロボットアーム／ハンドモジュールを示す（例えば、６対のロボットアーム／ハンドが、商用キッチン内で、副シェフ、焼き担当コック、揚げ／ソテー担当コック、パントリー担当コック、ペストリー担当シェフ、スープ及びソース担当コック等の異なる役割を果たす）かなり直線的な構成を描示している。ロボットキッチンレイアウトは、いずれかの人間との又は隣り合うアーム／ハンドモジュール間のアクセス／対話的操作が、単一の前向きの面に沿うようなものである。この構成は、コンピュータ制御することができ、それによって、アーム／ハンドロボットモジュールが単一のレシピを逐次実行するか（１つのステーションからの最終生成物が、レシピスクリプト内の次の段階に対する次のステーションに供給される）、又は複数のレシピ／段階を並列で実行するか（混雑時の繁忙に対処するための料理再現仕上げ段階におけるその後の使用のための食物の事前食品／食材半調製等）に関わらず、キッチン多アーム／ハンドロボットキッチン構成全体が、再現調理作業をそれぞれ実施することが可能になる。
【0275】
図６７は、同時食品調製処理に向けて複数対のロボットハンドを有するＵ字形レイアウトで構成されたロボットレストランキッチンモジュールの第２の実施形態を例示するブロック図である。本発明のなおも別の実施形態は、図６７に示している業務用又はレストランのキッチン構成における複数の連続又は並列のロボットのアーム及びハンドステーションに関する別の多段構成を中心主題とする。あらゆる幾何学配列を用いることができるが、この実施形態は、各々が特定の要素、料理、又はレシピスクリプト段階を作成することに集中する複数のロボットアーム／ハンドモジュールを示す直線的な構成を描示している。このロボットキッチンレイアウトは、いずれかの人間との又は隣り合うアーム／ハンドモジュール間のアクセス／対話的操作が、Ｕ字形の外向き面セットと、Ｕ字形の中心部分との両方に沿うようなものであり、それによって、アーム／ハンドモジュールが、対峙する作業区域にわたって通過／到達し、レシピ再現段の間に対峙するアーム／ハンドモジュールと対話的操作を行うことが可能になる。この構成は、コンピュータ制御することができ、それによってアーム／ハンドロボットモジュールが単一のレシピを逐次実行するか（１つのステーションからの最終生成物が、レシピスクリプト内の次の段階に対するＵ字形経路に沿う次のステーションに供給される）、又は複数のレシピ／段階を並列で実行するか（混雑時の繁忙に対処するための料理再現仕上げ段階における後の使用のための食物の事前食品／食材半調製等であり、この場合、可能であれば調製済みの食材は、Ｕ字形キッチンのベースの内部に収容された容器又は器具（冷蔵庫等）内に保管される）に関わらず、キッチン多アーム／ハンドロボットキッチン構成全体が再現調理作業をそれぞれ実施することが可能になる。
【0276】
図６８は、ロボット食品調製システムの第２の実施形態１６８０を描示している。標準化ロボットキッチンシステム１６８２を有するシェフスタジオは、調理用具１６８２上のセンサが、重要な変数（温度等）を経時的に記録し、これらをレシピスクリプト生データファイルの一部を形成するセンサ曲線及びパラメータとしてコンピュータのメモリ１６８４内に格納する間に、レシピを調製又は実行する人間シェフ４９を含む。シェフスタジオ１６８２から格納されたこれらの感知曲線及びパラメータデータファイルは、購入ベース又は購読ベースで標準化（遠隔）ロボットキッチンに配信される。家庭内に位置付けられた標準化ロボットキッチン１６８８は、測定された感知曲線及びパラメータデータファイルに対応する受信生データに基づいて自動化キッチン機材及び／又はロボットキッチン機材を操作するためのコンピュータ制御システム１６９０との両方を含む。
【0277】
図６９は、標準化ロボットキッチンの別の実施形態４８を描示している。レシピスクリプトから記録され、解析され、抽象化された感知データを処理する調理作動制御モジュール１６９２を含むロボット調理（ソフトウェア）エンジン５６と、感知曲線及びパラメータデータで構成されるソフトウェアファイルを格納するための関連のストレージ媒体及びメモリ１６９４とを作動させるコンピュータ１６は、複数の外部デバイスとインターフェース接続される。これらの外部デバイスは、収縮可能安全ガラス６８と、コンピュータ監視及びコンピュータ制御可能ストレージユニット８８と、生食品の品質及び供給のプロセスについて報告する複数のセンサ１９８と、食材を取り出すためのハードオートメーションモジュール８２と、食材を有する標準化容器８６と、センサが備え付けられたインテリジェント調理用具１７００とを含むが、これらに限定されない。
【0278】
図７１は、調理用具ユニットの底面全体にわたって同心円状に配列されたゾーン１ １７０２、ゾーン２ １７０４、及びゾーン３ １７０６を含む少なくとも３つの平面ゾーンであるが、これらに限定されないゾーンにわたってユニットの底面にわたる温度プロファイルを生成して無線送信することができる組み込み実時間温度センサを含むインテリジェント調理用具１７００（この画像ではソース鍋）を描示している。これら３つのゾーンの各々は、結合されたセンサ１７１６−１、１７１６−２、１７１６−３、１７１６−４、及び１７１６−５に基づくそれぞれのデータ１ １７０８、データ２ １７１０及びデータ３ １７１２を無線送信することができる。
【0279】
図７１は、各々が調理用具ユニットの特定の区域の底面にある３つのゾーンの各々における温度に対応するデータ１ １７２０、データ２ １７２２、及びデータ３ １７２４に関する記録温度プロファイルを有する典型的な感知曲線セット２２０を描示している。時間に対する測定単位は、開始から終了までの調理時間（独立変数）として分を単位として反映したものであり、それに対して温度は、セ氏度で測定したものである（依存変数）。
【0280】
図７２は、記録された温度１７３２及び湿度１７３４のプロファイルを有する複数の感知曲線セット１７３０を描示しており、各センサからのデータをデータ１ １７３６、データ２ １７３８からデータＮ １７４０として全て表している。生データのストリームは、作動制御ユニット２７４に送られ、それよって処理される。時間に対する測定単位は、開始から終了までの調理時間（独立変数）として分を単位として反映したものであり、それに対して温度値及び湿度値は、それぞれセ氏度及び相対湿度で測定したものである（依存変数）。
【0281】
図７３は、スマート（揚げ）平鍋を用いた実時間温度制御１７００に関するプロセス構成を描示している。電源１７５０は、誘導コイルセットを能動的に加熱するために制御ユニット１ １７５２、制御ユニット２ １７５４、及び制御ユニット３ １７５６を含む３つの別個の制御ユニットを用いるが、そのように限定する必要はない。実際の制御は、（揚げ）平鍋の（３つの）ゾーン１７５８（ゾーン１）、１７６０ （ゾーン２）、及び１７６２ （ゾーン３）の各々の内部で測定される温度値の関数であり、この場合、温度センサ１７７０（センサ１）、１７７２ （センサ２）、及び１７７４ （センサ３）は、温度データをデータストリーム１７７６（データ１）、１７７８（データ２）、及び１７８０（データ３）を介して作動制御ユニット２７４に無線で供給し戻し、作動制御ユニット２７４の方は、別個のゾーン加熱制御ユニット１７５２、１７５４、及び１７５６を独立して制御するように電源１７５０を導く。目標は、料理の調製中の人間シェフのある一定の（揚げ）段階の間に記録される感知曲線データと同じ望ましい温度曲線を経時的に得て再現することである。
【0282】
図７４は、以前に格納された感知（温度）曲線に基づいてオーブン器具１７９２に対する温度プロファイルを実時間で実行することを可能にする作動制御ユニット１７９０に結合されたスマートオーブン及びコンピュータ制御システムを描示している。作動制御ユニット１７９０は、オーブンのドア（開／閉）を制御し、感知曲線によってオーブンに与えられる温度プロファイルを追跡し、調理後に自己清掃することができる。オーブンの内側の温度及び湿度は、様々な場所でデータストリーム２６８（データ１）を生成する組み込み温度センサ１７９４と、調理温度を監視して調理完成度を推測するために調理すべき食材（肉、鳥肉等）の中に挿入されるプローブの形態にある温度センサと、データストリームを作成する更なる湿度センサ１７９６とを通じて監視される。作動制御ユニット１７９０は、これら全ての感知データを取り込んで、以前に格納され、ダウンロードされた両方の（依存）変数に関する感知曲線セット内に記述されている感知曲線を適正に追跡することを可能にするようにオーブンパラメータを調節する。
【0283】
図７５は、炭火グリルの内側に内部分散された１又は２以上の温度センサ及び湿度センサに関する感知曲線を適正に追跡するように炭火グリルへの電力１８５８を変調する制御ユニットのためのコンピュータ制御式着火及び制御システムの構成１７９８を描示している。火力制御ユニット１８００は、電子制御信号１８０２を用いてグリルを始動し、信号１８０４及び１８０６を用いて炭火までのグリル面距離、及び炭火１８１０上に懸かる水霧１８０８の射出を調節する。制御ユニット１８００は、その出力信号１８０４、１８０６の基礎を炭火グリルの内側に分散された湿度センサ（１から５まで）１８２６、１８２８、１８３０、１８３２、及び１８３４のセットからの湿度測定値１８１６、１８１８、１８２０、１８２２、１８２４に関するデータストリームセット１８１４（この図では５つを示している）と、分散温度センサ（１から５まで）１８４８、１８５０、１８５２、１８５４、及び１８５６からの温度測定値１８４０、１８４２、１８４４、１８４６、及び１８４６に関するデータストリーム１８３６とに置く。
【0284】
図７６は、コンピュータが水栓によってシンク（又は調理用具）内に供給される水の流量、温度、及び圧力を制御することを可能にするコンピュータ制御式水栓１８６０を描示している。この水栓は、データ１の感知データを供給する水流量センサ１８６８、データ２の感知データを供給する温度センサ１８７０、及びデータ３の感知データを供給する水圧センサ１８７２に対応する別個のデータストリーム１８６２（データ１）、１８６４（データ２）、及び１８６６（データ３）を受信する制御ユニット１８６２によって制御される。この場合、制御ユニット１８６２は、蛇口において存在する水の望ましい圧力、流量、及び温度を取得するために、ディスプレイ１８７６上にデジタル表示される適切な冷水温度及び冷水圧力で冷水の供給１８７４を制御し、ディスプレイ１８８０上にデジタル表示される適切な熱水温度及び熱水圧力で熱水の供給１８７８を制御する。
【0285】
図７７は、完全に計装されたロボットキッチンの実施形態１８８２を上面図に描示している。この標準化ロボットキッチンは、各々がセンサ１８８４及びコンピュータ制御ユニット１８８６を一体的に装着した機材及び器具を含む３つのレベル、すなわち、上段レベル、カウンターレベル、及び下段レベルへと分割される。
【0286】
上段レベルは、組み込み器具及び機器を用いて特定のキッチン機能を実施するための様々なユニットを有する複数の収納庫型のモジュールを含む。最も簡単なレベルでは、棚／収納庫ストレージ区域８２には、調理ツール及び道具並びにその他の調理用具及び配膳用具（調理、オーブン焼き、盛り付け等）を保管してこれらにアクセスするために使用される収納庫空間領域１３２０と、特定の食材（例えば果物及び野菜等）のためのストレージ熟成収納庫空間領域１２９８と、レタス及び玉葱等の品目のためのチルドストレージゾーン８８と、深冷凍結品目のための冷凍ストレージ空間領域１３０２と、その他の食材及び滅多に使用されない香辛料等のための別のストレージパントリーゾーン１３０４とが含まれる。上段レベルの内部にあるモジュールの各々は、１又は２以上の制御ユニット１８８６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４を含む。
【0287】
カウンターレベルは、監視センサ１８８４及び制御ユニット１８８６を収容するだけでなく、配膳カウンター１３０６と、シンクを有するカウンター区域１３０８と、着脱可能作業面（まな板等）を有する別のカウンター区域１３１０と、炭火利用のスラット付きグリル１３１２と、コンロ、調理器、蒸し器、及び蒸し鍋を含む他の調理器具のための多目的区域１３１４とを含む。カウンターレベルの内部にあるモジュールの各々は、１又は２以上の制御ユニット１８８６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４を含む。
【0288】
下段レベルは、対流オーブンと電子レンジとの組合せに加えて、蒸し器、蒸し鍋、及びグリル１３１６と、皿洗い機１３１８と、ハードオートメーション制御食材取り出し器８２と、頻繁に使用される更なる調理用具及びオーブン焼き用具、並びに食卓用具、平皿類、道具（泡立て器、ナイフ等）、及び刃物類を維持及び保管する大きめの収納庫空間領域１３２０とを収容する。下段レベルの内部にあるモジュールの各々は、１又は２以上の制御ユニット１８８６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４を含む。
【0289】
図７８は、各々に複数の分散されたセンサユニット１８９２が備え付けられた上段から下段まで配列された３つの異なるレベルを有し、これらのセンサユニット１８９２が、１又は２以上の制御ユニット１８９４にデータを直接供給するか、又は感知データを処理し、続いてこれらのコンピュータのコマンドに応じて機能するように１又は２以上の制御ユニット３７６に命令する１又は２以上の中央コンピュータにデータを供給するロボットキッチン調理システムの一実施形態１８９０の斜視図を描示している。
【0290】
上段レベルは、組み込み器具及び機材を用いて特定のキッチン機能を実施するために様々なユニットを有する複数の収納庫型モジュールを含む。最も簡単なレベルでは、棚／収納庫ストレージパントリー空間領域１２９４には、調理ツール及び道具並びにその他の調理用具及び配膳用具（調理、オーブン焼き、盛り付け等）を保管してこれらにアクセスするために使用される収納庫空間領域１２９６と、特定の食材（例えば果物及び野菜等）のためのストレージ熟成収納庫空間領域１２９８と、レタス及び玉葱等の品目のためのチルドストレージゾーン８８と、深冷凍結品目のための冷凍ストレージ空間領域１３０２と、その他の食材及び滅多に使用されない香辛料等のための別のストレージパントリーゾーン１２９４とが含まれる。上段レベルの内部にあるモジュールの各々は、１又は２以上の制御ユニット１８９４に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８９２を含む。
【0291】
カウンターレベルは、監視センサ１８９２及び制御ユニット１８９４を収容するだけでなく、シンク及び電子的に制御可能な水栓を有するカウンター区域１３０８と、まな板上でのカット／細切り等のための着脱可能作業面を有する別のカウンター区域１３１０と、炭火利用のスラット付きグリル１３１２と、コンロ、調理器、蒸し器、及び蒸し鍋を含む他の調理器具のための多目的区域１３１４とを含む。カウンターレベルの内部にあるモジュールの各々は、１又は２以上の制御ユニット１８９４に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８９２を含む。
【0292】
下段レベルは、対流オーブンと電子レンジとの組合せに加えて、蒸し器、蒸し鍋、及びグリル１３１６と、皿洗い機１３１８と、ハードオートメーション制御食材取り出し器８２と、頻繁に使用される更なる調理用具及びオーブン焼き用具、並びに食卓用具、平皿類、道具（泡立て器、ナイフ等）、及び刃物類を維持及び保管する大きめの収納庫空間領域１３１０とを収容する。下段レベルの内部にあるモジュールの各々は、１又は２以上の制御ユニット１８９６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８９２を含む。
【0293】
図７９は、標準化ロボットキッチン内で過去に記録された１又は２以上のパラメータ曲線から料理を調製するロボットキッチンのプロセスにおける第２の実施形態１９００を例示する流れ図である。段階１９０２において、ユーザは、ロボット装置が食品料理を調製するための特定のレシピをコンピュータを通じて選択する。段階１９０４において、ロボット食品調製エンジンは、食品調製に向けて選択されたレシピに対する抽象化レシピを取得するように構成される。段階１９０６において、ロボット食品調製エンジンは、選択レシピスクリプトをコンピュータのメモリ内にアップロードするように構成される。段階１９０８において、ロボット食品調製エンジンは、食材入手可能性を算出する。段階１９１０において、ロボット食品調製エンジンは、選択レシピ及び配膳スケジュールに従って料理を調製するための食材が不足している又は不在であるか否かを評価するように構成される。段階１９１２において、ロボット食品調製エンジンは、欠損している又は不十分な食材を買い物リストに入れるか、又は別のレシピを選択するように警報を送る。段階１９１４において、ユーザによるレシピの選択が確認される。段階１９１６において、ロボット食品調製エンジンは、食品又は食材を標準化容器内に入れて適正な食品調製位置に移すロボット指示をユーザに送るように構成される。段階１９１８において、ユーザに、この事例の再生に向けて記録されている間にシェフによって実行される全ての動き及びプロセスに基づくレシピ再現プロセスの各全ての段階を視覚的に確認するために、専用モニタ又はホログラフィレーザ利用の投影のどちらであるかに関わらず、実時間ビデオ監視投影を選択する選択肢が与えられる。段階１９２０において、ロボット食品調製エンジンは、ユーザが、自分の選択の開始時間「０」において食品調製を開始し、標準化ロボットキッチンに対するコンピュータ制御システムに起動することを可能にするように構成される。段階１９２２において、ユーザは、人間シェフによるレシピ作成プロセス全体のモニタ／投影スクリーン上での再生に基づいて全てのシェフの動作の再現を実行し、それによって半完成品は、指定された調理用具及び器具に移されるか、又は後の使用に向けて中間ストレージ容器に移される。段階１９２４において、標準化キッチン内のロボット装置は、シェフが自分のスタジオの標準化ロボットキッチン内でレシピ調製プロセスにおける同じ段階を実行した時に記録された感知データ曲線に従って、又は調理パラメータに基づいて個々の処理段階を実行する。段階１９２６において、ロボット食品調製のコンピュータは、シェフが自分の標準化ロボットキッチン内でレシピの調製中に取り込まれて保存されたデータに基づいて調理時間全体にわたって必要とされるデータ曲線を再現するように、温度、圧力、及び湿度に関して全ての調理用具及び器具の設定を制御する。段階１９２８において、ユーザは、全ての単純な動きをモニタ又は投影スクリーンを介してユーザに中継されたオーディオ及びビデオの指示を通じて明示されたシェフの段階及びプロセスの動きを再現するように行う。段階１９３０において、ロボットキッチンの調理エンジンは、感知曲線又はパラメータセットに基づく特定の調理段階が終了した時にユーザに警報する。ユーザとコンピュータコントローラとの対話的操作がレシピ内の全ての調理段階の終了を生じると、ロボット調理エンジンは、段階１９３２において再現プロセスのコンピュータ制御式部分を終了する要求を送る。段階１９３４において、ユーザは、完成したレシピ料理、プレートを取り出し、それを配膳するか、又はいずれか残りの調理段階又は調理プロセスを手動で続ける。
【0294】
図８０は、シェフスタジオ内での感知データ取り込みプロセス１９３６を描示している。最初の段階１９３８は、シェフがレシピを作成又は設計することのためのものである。次の段階１９４０は、シェフが、レシピに関して名前、食材、測定値、及びプロセスの説明をロボット調理エンジン内に入力することを必要とする。段階１９４２において、シェフは、必要な全ての食材を指定された標準化ストレージ容器内に装荷し、適切な調理用具を選択することによって開始する。次の段階１９４４は、全ての感知生データを記録し、その処理を可能にするために、シェフが開始時間を設定し、感知及び処理システムを起動する段階を含む。段階１９４６においてシェフが調理を開始すると、全ての埋め込み監視センサユニット及び器具が中央コンピュータシステムに報告を行って生データを送り、コンピュータシステムが、調理プロセス全体の間に全ての関連データを実時間で記録することが可能になる１９４８。段階１９５０において、補足的な調理パラメータ及び聴取可能なシェフのコメントが更に記録されて生データとして格納される。段階１９５２の一部として、ロボット調理モジュール抽象化（ソフトウェア）エンジンが、２次元及び３次元の幾何学モーション及び物体認識データを含む全ての生データを機械可読かつ機械実行可能なレシピスクリプトを生成するように処理する。シェフスタジオレシピ作成及びシェフによる調理プロセスの完成を受けて、ロボット調理エンジンは、動きを再現するシミュレーション可視化プログラム及び遠隔標準化ロボットキッチンシステムによる後のレシピ再現のために使用されるメディアデータを生成する１９５４。段階１９５６において、生データ及び処理済みデータ、並びにシェフによるシミュレーションレシピ実行視覚化映像の確認に基づいて、異なる（モバイル）オペレーティングシステムに向けてハードウェア特定のアプリケーションが開発されて統合され、単一レシピのユーザ直接購入又は購読モデルを通じての多レシピ購入に向けてオンラインのソフトウェアアプリケーションストア及び又はマーケットプレイスに提出される。
【0295】
図８１は、家庭用ロボット調理プロセス１９６０のプロセス及びフローを描示している。最初の段階１９６２は、ユーザがレシピを選択してレシピのデジタル形態を取得する段階を含む。段階１９６４において、ロボット調理エンジンは、選択されたレシピを調理するための機械可読コマンドを含むレシピスクリプトを受信する。段階１９６６において、レシピは、ロボット調理エンジンにアップロードされ、スクリプトはメモリ内に入れられる。格納されると、段階１９６８が、必要な食材を算出し、これらの食材の入手可能性を決定する。論理チェック１９７０において、システムは、ユーザに欠損品目を買い物リストに追加することを促すか、又は入手可能な食材に適合する別のレシピを提案するように段階１９７２で警報する又は提案を送るか、又は十分な食材が入手可能であればそのまま進めるかを決定する。段階１９７４で食材入手可能性が検証されると、システムはレシピを確認し、ユーザは、段階１９７６において必要な食材をシェフが当初レシピ作成プロセスを開始した（シェフスタジオ内で）位置にある指定された標準化容器内に入れるように尋ねられる。段階１９７８において、ユーザは、調理プロセスの開始時間を設定し、調理システムが着手するように設定する。始動を受けて、ロボット調理システムは、レシピスクリプトデータファイル内に与えられた感知曲線及び調理パラメータデータに従って実時間で調理プロセス１９８０の実行を開始する。調理プロセス１９８２の間に、コンピュータが、シェフスタジオレシピ作成プロセス中に当初取り込まれて保存された感知曲線及びパラメータデータファイルを再現するように、全ての器具及び機材を制御する。調理プロセスの終了を受けて、段階１９８４において、ロボット調理エンジンは、調理プロセスが完成したと決定したことに基づいて通知を送る。続いてロボット調理エンジンは、調理プロセス全体を終了するために、コンピュータ制御システムに終了要求を送り１９８６、段階１９８８において、ユーザは、配膳に向けて料理をカウンターから取り出す、又はいずれか残りの調理段階を手動で続ける。
【0296】
図８２は、標準化ロボット食品調製キッチンシステムの別の実施形態４８を描示している。レシピスクリプトから記録され、解析され、抽象化された感知データを処理する調理作動制御モジュール１９９０、及び視覚的コマンド監視モジュール１９９２を含むロボット調理（ソフトウェア）エンジン５６と、感知曲線及びパラメータデータで構成されるソフトウェアファイルを格納するための関連のストレージ媒体及びメモリ１９９４とを作動させるコンピュータ１６は、複数の外部デバイスとインターフェース接続される。これらの外部デバイスは、計装されたキッチン作業カウンター９０と、収縮可能安全ガラス６８と、計装された水栓９２と、埋め込みセンサを有する調理器具７４と、埋め込みセンサを有する調理用具１７００（棚又は収納庫内に保管された）と、標準化容器及び食材ストレージユニット７８と、コンピュータ監視及びコンピュータ制御可能ストレージユニット８８と、生食品の品質及び供給のプロセスについて報告する複数のセンサ１９９６と、食材を取り出すためのハードオートメーションモジュール８２と、作動制御ユニット１９９８とを含むが、これらに限定されない。
【0297】
図８３は、完全に計装されたロボットキッチン２０００の実施形態を上面図に描示している。この標準化ロボットキッチンは、一体的に装着されたセンサ１８８４とコンピュータ制御ユニット１８８６とを有する機材及び器具を各々が含む３つのレベル、すなわち、上段レベルと、カウンターレベルと、下段レベルとに分割される。
【0298】
上段レベルは、組み込み器具及び機材を用いて特定のキッチン機能を実施するために様々なユニットを有する複数の収納庫型モジュールを含む。最も簡単なレベルでは、上段レベルは、調理ツール及び道具並びにその他の調理用具及び配膳用具（調理、オーブン焼き、盛り付け等）を保管してこれらにアクセスするために使用される収納庫空間領域１２９６と、特定の食材（例えば果物及び野菜等）のためのストレージ熟成収納庫空間領域１２９８と、レタス及び玉葱等の品目のためのチルドストレージゾーン１３００と、深冷凍結品目のための冷凍ストレージ空間領域１３０２と、その他の食材及び滅多に使用されない香辛料等のための別のストレージパントリーゾーン１３０４とを含む。上段レベルの内部にあるモジュールの各々は、１又は２以上の制御ユニット１８８６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４を含む。
【0299】
カウンターレベルは、監視センサ１８８４及び制御ユニット１８８６を収容するだけでなく、１又は２以上のロボットアーム、ロボット手首、及びロボット多指ハンド７２と、配膳カウンター１３０６と、シンクを有するカウンター区域１３０８と、着脱可能作業面（まな板等）を有する別のカウンター区域１３１０と、炭火利用のスラット付きグリル１３１２と、コンロ、調理器、蒸し器、及び蒸し鍋を含む他の調理器具のための多目的区域１３１４とを含む。カウンターレベルの内部にあるモジュールの各々は、１又は２以上の制御ユニット１８８６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４を含む。
【0300】
下段レベルは、対流オーブンと電子レンジとの組合せに加えて、蒸し器、蒸し鍋、及びグリル１３１６と、皿洗い機１３１８と、ハードオートメーション制御食材取り出し器８２と、頻繁に使用される更なる調理用具及びオーブン焼き用具、並びに食卓用具、平皿類、道具（泡立て器、ナイフ等）、及び刃物類を維持及び保管する大きめの収納庫空間領域３＝３７８とを収容する。下段レベルの内部にあるモジュールの各々は、１又は２以上の制御ユニット１８８６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４を含む。
【0301】
図８４は、完全に計装されたロボットキッチン２０００の実施形態をｘ軸１３２２と、ｙ軸１３２４と、ｚ軸１３２６とを定め、内部における全ての動き及び場所が、原点（０，０，０）に対して定義され、参照されることになる重ね合わせた座標フレームと共に斜視図に描示している。この標準化ロボットキッチンは、各々がセンサ１８８４及びコンピュータ制御ユニット１８８６を一体的に装着した機材及び器具を含む３つのレベル、すなわち、上段レベル、カウンターレベル、及び下段レベルへと分割される。
【0302】
上段レベルは、組み込み器具及び機材を用いて特定のキッチン機能を実施するために様々なユニットを有する複数の収納庫型モジュールを含む。
【0303】
最も簡単なレベルでは、上段レベルは、標準化された調理ツール及び道具並びにその他の調理用具及び配膳用具（調理、オーブン焼き、盛り付け等）を保管してこれらにアクセスするために使用される収納庫空間領域１２９４と、特定の食材（例えば果物及び野菜等）のためのストレージ熟成収納庫空間領域１２９８と、レタス及び玉葱等の品目のためのチルドストレージゾーン１３００と、深冷凍結品目のための冷凍ストレージ空間領域８６と、その他の食材及び滅多に使用されない香辛料等のための別のストレージパントリーゾーン１２９４とを含む。上段レベルの内部にあるモジュールの各々は、１又は２以上の制御ユニット１８８６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４を含む。
【0304】
カウンターレベルは、監視センサ１８８４及び制御ユニット１８８６を収容するだけでなく、１又は２以上のロボットアーム、ロボット手首、及びロボット多指ハンド７２と、シンクと電子水栓とを有するカウンター区域１３０８と、着脱可能作業面（まな板等）を有する別のカウンター区域１３１０と、炭火利用のスラット付きグリル１３１２と、コンロ、調理器、蒸し器、及び蒸し鍋を含む他の調理器具のための多目的区域１３１４とを含む。カウンターレベルの内部にあるモジュールの各々は、１又は２以上の制御ユニット１８８６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４を含む。
【0305】
下段レベルは、対流オーブンと電子レンジとの組合せに加えて、蒸し器、蒸し鍋、及びグリル１３１５と、皿洗い機１３１８と、ハードオートメーション制御食材取り出し器８２（図示していない）と、頻繁に使用される更なる調理用具及びオーブン焼き用具、並びに食卓用具、平皿類、道具（泡立て器、ナイフ等）、及び刃物類を維持及び保管する大きめの収納庫空間領域１３１０とを収容する。下段レベルの内部にあるモジュールの各々は、１又は２以上の制御ユニット１８８６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４を含む。
【0306】
図８５は、完全に計装されたロボットキッチン２０２０の実施形態を上面図に描示している。この標準化ロボットキッチンは、３つのレベル、すなわち、上段レベルと、カウンターレベルと、下段レベルとに分割され、この場合、上段及び下段のレベルは、一体的に装着されたセンサ１８８４とコンピュータ制御ユニット１８８６とを有する機材及び器具を含み、カウンターレベルには、１又は２以上のコマンド及び視覚的監視デバイス２０２２が備え付けられる。
【0307】
上段レベルは、組み込み器具及び機材を用いて特定のキッチン機能を実施するために様々なユニットを有する複数の収納庫型モジュールを含む。最も簡単なレベルでは、上段レベルは、標準化された調理ツール及び道具並びにその他の調理用具及び配膳用具（調理、オーブン焼き、盛り付け等）を保管してこれらにアクセスするために使用される収納庫空間領域１２９６と、特定の食材（例えば果物及び野菜等）のためのストレージ熟成収納庫空間領域１２９８と、レタス及び玉葱等の品目のためのチルドストレージゾーン１３００と、深冷凍結品目のための冷凍ストレージ空間領域１３０２と、その他の食材及び滅多に使用されない香辛料等のための別のストレージパントリーゾーン１３０４とを含む。上段レベルの内部にあるモジュールの各々は、１又は２以上の制御ユニット１８８６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４を含む。
【0308】
カウンターレベルは、監視センサ１８８４及び制御ユニット１８８６だけではなく、視覚的コマンド監視デバイス２０２０も収容し、それと同時に配膳カウンター１３０６と、シンクを有するカウンター区域１３０８と、着脱可能作業面（まな板等）を有する別のカウンター区域１３１０と、炭火利用のスラット付きグリル１３１２と、コンロ、調理器、蒸し器、及び蒸し鍋を含む他の調理器具のための多目的区域１３１４とを更に含む。カウンターレベルの内部にあるモジュールの各々は、１又は２以上の制御ユニット１８８６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４を含む。それに加えてカウンターレベル内には、スタジオキッチン内での人間シェフの視覚的操作、並びに標準化ロボットキッチン内でのロボットアーム又は人間のユーザの視覚的操作を監視する目的で１又は２以上の視覚的コマンド監視デバイス２０２２が更に設けられ、この場合、データは、処理段階に向けて、又はそれに続く補正的又は補助的なフィードバック又はコマンドを表示又はスクリプト追従実行に向けてロボットキッチンに送り返す段階に向けて、１又は２以上の中央コンピュータ又は分散コンピュータに供給される。
【0309】
下段レベルは、対流オーブンと電子レンジとの組合せに加えて、蒸し器、蒸し鍋、及びグリル１３１６と、皿洗い機１３１８と、ハードオートメーション制御食材取り出し器８６（図示していない）と、頻繁に使用される更なる調理用具及びオーブン焼き用具、並びに食卓用具、平皿類、道具（泡立て器、ナイフ等）、及び刃物類を維持及び保管する大きめの収納庫空間領域１３２０とを収容する。下段レベルの内部にあるモジュールの各々は、１又は２以上の制御ユニット１８８６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４を含む。
【0310】
図８６は、完全に計装されたロボットキッチン２０２０の実施形態を斜視図に描示している。この標準化ロボットキッチンは、３つのレベル、すなわち、上段レベルと、カウンターレベルと、下段レベルとに分割され、この場合、上段及び下段のレベルは、一体的に装着されたセンサ１８８４とコンピュータ制御ユニット１８８６とを有する機材及び器具を含み、カウンターレベルには、１又は２以上のコマンド及び視覚的監視デバイス２０２２が備え付けられる。
【0311】
上段レベルは、組み込み器具及び機材を用いて特定のキッチン機能を実施するために様々なユニットを有する複数の収納庫型モジュールを含む。最も簡単なレベルでは、上段レベルは、標準化された調理ツール及び道具並びにその他の調理用具及び配膳用具（調理、オーブン焼き、盛り付け等）を保管してこれらにアクセスするために使用される収納庫空間領域１２９６と、特定の食材（例えば果物及び野菜等）のためのストレージ熟成収納庫空間領域１２９８と、レタス及び玉葱等の品目のためのチルドストレージゾーン１３００と、深冷凍結品目のための冷凍ストレージ空間領域８６と、その他の食材及び滅多に使用されない香辛料等のための別のストレージパントリーゾーン１２９４とを含む。上段レベルの内部にあるモジュールの各々は、１又は２以上の制御ユニット１８８６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４を含む。
【0312】
カウンターレベルは、監視センサ１８８４及び制御ユニット１８８６だけではなく、視覚的コマンド監視デバイス１３１６も収容し、それと同時にシンク及び電子水栓を有するカウンター区域１３０８と、着脱可能作業面（まな板等）を有する別のカウンター区域１３１０と、炭火利用のスラット付き（スマート）グリル１３１２と、コンロ、調理器、蒸し器、及び蒸し鍋を含む他の調理器具のための多目的区域１３１４とを更に含む。カウンターレベルの内部にあるモジュールの各々は、１又は２以上の制御ユニット１１８６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１１８４を含む。それに加えてカウンターレベル内には、スタジオキッチン内での人間シェフの視覚的操作、並びに標準化ロボットキッチン内でのロボットアーム又は人間のユーザの視覚的操作を監視する目的で１又は２以上の視覚的コマンド監視デバイス（図示していない）が更に設けられ、この場合、データは、処理段階に向けて、又はそれに続く補正的又は補助的なフィードバック又はコマンドを表示又はスクリプト追従実行に向けてロボットキッチンに送り返す段階に向けて、１又は２以上の中央コンピュータ又は分散コンピュータに供給される。
【0313】
下段レベルは、対流オーブンと電子レンジとの組合せに加えて、蒸し器、蒸し鍋、及びグリル１３１６と、皿洗い機１３１８と、ハードオートメーション制御食材取り出し器８６（図示していない）と、頻繁に使用される更なる調理用具及びオーブン焼き用具、並びに食卓用具、平皿類、道具（泡立て器、ナイフ等）、及び刃物類を維持及び保管する大きめの収納庫空間領域１３０９とを収容する。下段レベルの内部にあるモジュールの各々は、１又は２以上の制御ユニット３７６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１３０７を含む。
【0314】
図８７Ａは、標準化ロボットキッチンシステムの別の実施形態４８を描示している。ロボット調理（ソフトウェア）エンジン５６と、レシピスクリプトデータ、感知曲線、及びパラメータデータファイルを格納するためのメモリモジュール１０２とを作動させるコンピュータ１６は、複数の外部デバイスとインターフェース接続される。外部デバイスは、計装されたロボットキッチンステーション２０３０と、計装された配膳ステーション２０３２と、計装された洗浄及び清掃ステーション２０３４と、計装された調理用具２０３６と、コンピュータ監視及びコンピュータ制御可能調理器具２０３８と、専用のツール及び道具２０４０と、自動化棚ステーション２０４２と、計装されたストレージステーション２０４４と、食材回収ステーション２０４６と、ユーザコンソールインターフェース２０４８と、双ロボットアーム７０と、食材を取り出すためのハードオートメーションモジュール８２と、シェフ記録デバイス２０５０とを含むが、これらに限定されない。
【0315】
図８７Ｂは、シェフ４９又は家庭調理ユーザ６０が、様々な調理ステーションに複数（この図には４つを示している）の側からアクセスすることができるロボットキッチン調理システムの一実施形態２０６０を平面図に描示している。中央ストレージステーション２０６２は、様々な温度（チルド／冷凍）に維持され、全ての側からのアクセスを可能にする、様々な食品品目に対する様々なストレージ区域を含む。この実施形態の正方形配列の外周に沿って、シェフ４９又はユーザ６０は、レシピをレイアウトしてプロセスを監督するためのユーザ／シェフコンソール２０６４と、スキャナ、カメラ、及びその他の食材特徴付けシステムを含む食材アクセスステーション２０６６と、調理用具／オーブン焼き用具、食卓用具のための自動棚ステーション２０６８と、少なくともシンクと皿洗い機ユニットとで構成される洗浄及び清掃ステーション２０７０と、食品又は食材の調製に使用される特定の技術に必要とされる専用のツールのための専用のツール及び道具ステーション２０７２と、温製料理又は冷製料理のための加温ステーション２０７４と、オーブン、コンロ、グリル、蒸し器、揚げ鍋、電子レンジ、混合器、乾燥機等を含むが、これらに限定されない複数の器具で構成される調理器具ステーション２０７６とを含むが、これらに限定されないモジュールを有する様々な調理区域にアクセスすることができる。
【0316】
図８７Ｃは、シェフ４９又はユーザ６０が、複数の調理ステーション及び調理機材への少なくとも４つの異なる側からのアクセスを取得することを可能にするロボットキッチン４８の同じ実施形態４８の斜視図を描示している。中央ストレージステーション２０６２は、様々な温度（チルド／冷凍）に維持され、全ての側からのアクセスを可能にする、様々な食品品目に対する様々なストレージ区域を含み、高いレベルに位置付けられる。調理用具／オーブン焼き用具／食卓用具のための自動棚ステーション２０６８は、中央ストレージステーション２０６２の下の中段レベルに位置付けられる。下段レベルには、レシピをレイアウトしてプロセスを監督するためのユーザ／シェフコンソール２０６４と、スキャナ、カメラ、及びその他の食材特徴付けシステムを含む食材アクセスステーション２０６０と、調理用具／オーブン焼き用具、食卓用具のための自動棚ステーション２０６８と、少なくともシンクと皿洗い機ユニットとで構成される洗浄及び清掃ステーション２０７０と、食品又は食材の調製に使用される特定の技術に必要とされる専用のツールのための専用のツール及び道具ステーション２０７２と、温製料理又は冷製料理のための加温ステーション２０７６と、オーブン、コンロ、グリル、蒸し器、揚げ鍋、電子レンジ、混合器、乾燥機等を含むが、これらに限定されない複数の器具で構成される調理器具ステーション２０７６とを含むが、これらに限定されない調理ステーション及び機材の配列が位置付けられる。
【0317】
図８８は、ロボット人間エミュレータ電子知的財産（ＩＰ）ライブラリ２１００を例示するブロック図である。ロボット人間エミュレータ電子ＩＰライブラリ２１００は、ロボット装置が人間の特定の技能セットを再現するための手段として使用される様々な概念を網羅する。より具体的には、１対のロボットハンド７０及びロボットアーム７２を含むロボット装置は、特定の人間の技能のセットを再現する役割を果たす。いずれかの手法で、人間からの知能への転送を人間のハンドの使用を通じて取り込むことができ、続いてロボット装置は、記録された動きの詳細な動きを同じ結果を取得する上で再現することができる。ロボット人間エミュレータ電子ＩＰライブラリ２１００は、ロボット人間台所技能再現エンジン５６と、ロボット人間描絵技能再現エンジン２１０２と、ロボット人間楽器技能再現エンジン２１０２と、ロボット人間看護技能再現エンジン２１０４と、ロボット人間感情認識エンジン２１０６と、ロボット人間知能再現エンジン２１０８と、入力／出力モジュール２１１０と、通信モジュール２１１２とを含む。ロボット人間感情認識エンジン１３５８について、図９０、図９１、図９２、及び図９２に関して更に説明する。
【0318】
図８９は、バス２１２０を通じて適用ブロックに結合された訓練ブロックを含むロボット人間感情認識（又は応答）エンジン２１０６である。訓練ブロックは、人間入力刺激モジュール２１２２と、センサモジュール２１２４と、人間感情応答モジュール（入力刺激に対する）２１２６と、感情応答記録モジュール２１２８と、品質チェックモジュール２１３０と、学習機械モジュール２１３２とを含む。適用ブロックは、入力解析モジュール２１３４と、センサモジュール２２３６と、応答生成モジュール２１３８と、フィードバック調節モジュール２１４０とを含む。
【0319】
図９０は、ロボット人間感情システム２１５０のプロセス及び論理フローを例示する流れ図である。プロセス及び論理フローの最初の段階２１５１において、（ソフトウェア）エンジンは、周囲環境からの視覚、可聴フィードバック、触覚及び嗅覚のセンサデータを含む人間の感覚に類似する様々な供給源からの感知入力を受信する。決定段階２１５２において、モーション反射を作成するか否かの決定が行われ、反射モーション２１５３が生じるか、又は反射モーションが必要とされない場合には、段階２１５４が実行され、特定の入力情報又はパターン又はこれらの組合せが、メモリ内に格納された情報又はパターンに基づいて認識され、続いて抽象的又は象徴的な表現に解釈される。抽象的及び／又は象徴的な情報は、経験に基づくものとすることができる知能ループシーケンスを通じて処理される。もう１つの決定段階２１５６は、モーション反応２１５７を連係させるべきか否かを事前定義挙動モデルに基づいて決定し、この決定が否定的であった場合には段階１２５８が達成される。続いて段階２１５８において、抽象的及び／又は象徴的な情報は、学習を通じて形成することができる内部メモリから入力が供給される感情反応及び気分反応の挙動ループの別の層を通じて処理される。感情は、記述することができる機構と、測定及び解析することができる量とを用いて数式に分解され、ロボット内にプログラムされる（例えば、純粋な微笑みと儀礼的な微笑みとを区別するために、微笑みがどの程度急速に形態されるか及びどれ程長く続くかについて顔の表情を取り込むことによって、又は話者の音声品質に基づいて感情を検出することによってプログラムされ、後者の場合、コンピュータは、音声の高さ、エネルギー、及び音量、並びに１つの時点から次の時点までの音量及び高さにおける変動を測定する）。従って感情的な表情に対してある一定の識別可能かつ測定可能な物理指標が存在することになり、この場合、動物の挙動又は人間の発話又は歌声の音におけるこれらの物理指標は、識別可能かつ測定可能な関連の感情属性を有することになる。これらの識別可能かつ測定可能な物理指標に基づいて、感情エンジンは、どの挙動が連係するか、事前学習済みのもの又は新たに学習されるもののどちらであるかに関して決定２１５９を行う。連係する又は実行された挙動及びその実効的な結果は、メモリ内で更新され、経験個性及び自然挙動データベースに追加される２１６０。続く段階２１６１において、経験個性データは、より人間特定の情報へと解釈され、続いてロボットが、規定のモーション又は結果として生じるモーション２１６２を実行することが可能になる。
【0320】
図９１Ａ〜図９１Ｃは、ホルモン、フェロモン、及びその他を有する感情プロファイルの母集団に対して個人の感情プロファイルを比較するプロセスを例示する流れ図である。図９１Ａは、感情プロファイルアプリケーションのプロセスを説明しており、この場合、個人の感情パラメータが監視されて、２１８２においてユーザの一般プロファイル２１８４から、刺激入力、セグメント分割されたタイムラインから導出されるベースライン値からのパラメータ値変化に基づいて抽出され、取得されて、同様の条件下にある現存のより大きいグループに関するものと比較される。段階１８０４において、１又は２以上の基準パラメータに基づいて第１のレベルのグループ離脱が行われる（例えば、同じ感情パラメータを有する人々の変化の速さに基づくグループ離脱）。プロセスは、フェロモンセット１８０８、微小表情セット１８０９、個人の心拍数及び発汗１８１０、瞳孔拡張１８１１、観察される反射的な動き１８１２、全身体温の自覚１８１３、及び知覚される状況的圧力１８１４によって表される継続的レベルを含むことができる更なる感情パラメータ比較段階への感情パラメータのグループ離脱及び分離を続ける。続いてグループ離脱された感情パラメータは、比較目的で同様のパラメータグループ１８１５を決定するために使用される。
【0321】
図９１Ｂは、怒り等の現在感情１８２０、恐れ等の二次感情１８２１からＮ次に上る幅広い実感情等の全ての個別感情グループ編成を描示している。続いて次の段階１８２３は、関連の感情プロファイルデータに従って各グループ内の関連の感情を計算し、それによって、感情状態の強度レベルの評価１８２４が生じ、それによって更にエンジンが適切な動作を決定することが可能になる。
【0322】
図９１Ｃは、大規模グループの感情プロファイルの発達及び学習の自動化プロセス１８３０を描示している。プロセスは、プロファイル／パラメータデータ変化の関連の品質チェックを伴う様々な供給源からの新しい多供給源感情プロファイル及び条件入力を受信する段階１８３１を含む。段階１８３３において複数の感情プロファイルデータが格納され、複数の機械学習技術１８３５を用いて、各プロファイル及びデータセットを解析して、中央データベース内の適合する（サブ）セットを有する様々なグループへと分類する反復ループ１８３４が実施される。
【0323】
図９２Ａは、ホルモンセット、フェロモンセット、及びその他の主要パラメータを監視することによる個人の感情状態の感情検出及び解析２２２０を例示するブロック図である。個人の感情状態は、内部及び／又は外部の刺激を有する定義された条件の下で個人の生理学的兆候を監視して解析し、これらの生理学的兆候がある一定のタイムラインにわたってどのように変化するかを評価することによって検出することができる。グループ離脱プロセスの一実施形態は、１又は２以上の基準パラメータに基づいている（例えば、同じ感情パラメータを有する人々の変化の速さに基づくグループ離脱）。
【0324】
一実施形態では、感情プロファイルは、入力がフェロモン、ホルモン、又は視覚的又は聴覚的な手掛かり等の他の特徴のいずれかの測定レベルである統計分類子に基づく機械学習法によって検出することができる。特徴セットが、ベクトルとして表される｛ｘ１，ｘ２，ｘ３，…，ｘｎ｝であり、ｙが感情状態を表す場合には、感情検出統計分類子は次式となる。[この文献は図面を表示できません]
式中の関数ｆは、決定木、ニューラルネットワーク、ロジスティック回帰子、又は機械学習の文献に説明されている他の統計分類子である。最初の項は、経験誤差（分類子を訓練する間に検出される誤差）を最小化し、複雑度、例えオッカムの剃刀を最小化し、望ましい結果を生じる最も単純な関数と、この関数に対するパラメータセットｐとが見出される。
【0325】
それに加えて、フェロモン又はその他の特徴のどれが感情状態を予測するのに最も大きい差（及び最も大きい値）を生じるかを特定するために、一般的に次式として表現される能動学習基準を追加することができる。[この文献は図面を表示できません]
式中のＬは「損失関数」であり、ｆは、前式におけるものと同じ統計分類子であり、ｙハットが公知の成果である。新しい特徴を追加することによって統計分類子がより良好に機能する（より小さい損失関数）か否かを測定し、機能する場合にはこれらの特徴を保持し、さもなければ保持しない。
【0326】
１つの時点から次の時点までの変化又は変質を検出することによって人間の感情プロファイルを作成するために、時間と共に推移するパラメータ、値、及び量を評価することができる。感情表現には識別可能な特質が存在する。環境に応じる感情を有するロボットは、例えば、ロボットが、恐れ、喜び、又は望みによって動機付けされた時に、より素早くかつより効果的な決定を行うことができ、より良好な決定を行い、目標をより効果的かつより効率的に達成することができる。
【0327】
ロボット感情エンジンは、人間のホルモン感情とフェロモン感情とを個別又は組合せのどちらかで再現する。ホルモン感情は、ホルモンが個人の体内でどのように変化するか、及びそれが個人の感情にどのように影響を与えるかということに関する。フェロモン感情は、匂い等の個人の体外にあるフェロモンが個人の感情に影響を与えることに関する。個人の感情プロファイルは、ホルモン感情及びフェロモン感情を理解して解析することによって構築することができる。ロボット感情エンジンは、怒り及び恐れ等の個人の感情を個人のホルモンプロファイル及びフェロモンプロファイルを検出するためのセンサを用いることによって理解しようと試る。
【0328】
個人の感情プロファイルを構築するために、測定すべき９つの主要な生理学的兆候パラメータ、すなわち、（１）体内で分泌され、ある一定の効果を引き起こす様々な生化学経路をトリガする例えばアドレナリン及びインスリンといったホルモンのセット２２２１、（２）体外で分泌され、別の個人に同様な具合の効果を有する例えばアンドロステロール、アンドロステノン、及びアンドロスタジエノンといったフェロモンのセット２２２２、（３）人間が経験した感情に従って示す短い無意識の顔の表情である微小表情２２２３、（４）例えば個人の心拍数が高まる時の心拍数２２２４又は心臓の鼓動、（５）汗２２２５（例えば鳥肌）、例えば、赤面、手掌が汗をかくこと、興奮状態又は神経質な状態、（６）瞳孔拡張２２２６（及び虹彩括約筋、毛様筋）、例えば恐れの感情に応じての短時間にわたる瞳孔拡張、（７）外部刺激への反応として主に脊髄反射弓によって制御される動き／動作である反射の動きｖ７、例えば下顎反射、（８）体温２２２８、（９）圧力２２２９がある。これらのパラメータがある一定の時間２２３１にわたってどのように変化するかについての解析２２３０は、個人の感情の状態及びプロファイルを明らかにすることができる。
【0329】
図９２Ｂは、個人の感情挙動について評価及び学習するロボット１５９０を例示するブロック図である。内部刺激２２４２及び／又は外部刺激２２４４によるパラメータ示度が解析され２２４０、感情及び／又は非感情反応へと分割され、例えば、個人が怒っているか、痛がっているか、又は恋愛中である時には瞳孔光反射は脊髄レベルにしか存在せず、瞳孔サイズが変化する可能性があり、それに対して無意識の反応は、一般的に脳も関与する。中枢神経系刺激薬及び幾つかの幻覚誘発性薬は、瞳孔の拡張を引き起こすことができる。
【0330】
図９３は、個人の感情プロファイルを検出して記録するために個人の中に植え込まれるポートデバイス２２３０を例示するブロック図である。生理学的兆候の変化を測定する時には、個人が、ある時間間隔にわたる感情プロファイルを監視し、感情変化が開始する時間に第１のタグを有するボタンを押下し、感情変化が完結する時に第２のタグを有するボタンを再度タッチすることによってこの感情プロファイルを記録することができる。このプロセスは、コンピュータが、感情パラメータの変化に基づいて個人の感情プロファイルを評価し、それについて学習することを可能にする。大量のユーザから収集されたデータ／情報を用いて、コンピュータは、各感情に関連する全ての変化を分類し、特定の感情特性に帰することができる有意な特定のパラメータ変化を数学的に見出す。
【0331】
ユーザが感情又は気分の揺動を経験すると、ホルモン、心拍数、汗、フェロモン等の生理学的パラメータをこの人の身体の皮膚上及び直接静脈に接続するポートを用いて検出して記録することができる。個人は、自分の感情状態変化として自分で気分変化の開始時間及び終了時間を決定することができる。例えば、ある個人が、一週間の範囲内に４つの手動感情サイクルを開始して４つのタイムラインを作成し、この人によって決定されたものでは、最初のタイムラインは、自分がタグ付けした開始時間から終了時間まで２．８時間続く。２番目のサイクルは２時間続き、３番目のものは０．８時間、４番目のものは１．６時間続く。
【0332】
図９４Ａは、ロボット人間知能エンジン２２５０を描示している。再現エンジン１３６０内には、共通のモジュール間通信バス７２を介して全てが互いに相互接続された複数の追加モジュールを両方共に含む訓練ブロックと適用ブロックとを含む２つの主要ブロックが存在する。人間知能エンジンの訓練ブロックは、センサ入力モジュール１４０４と、人間入力刺激モジュール１４０２と、入力刺激に反応する人間知能反応モジュール１４２０と、知能反応記録モジュール１４２２と、品質チェックモジュール１４１０と、学習機械モジュールとを含むが、これらに限定されない更なるモジュールを含む。人間知能エンジンの適用ブロックは、入力解析モジュール１４１４と、センサ入力モジュール１４０４と、反応生成モジュール１４１６と、フィードバック調節モジュール１４１８とを含むが、これらに限定されない更なるモジュールを含む。
【0333】
図９４Ｂは、ロボット人間知能システム１１３６のアーキテクチャを描示している。システムは、認知ロボットエージェントと人間技能実行モジュールとの両方に分割される。両方のモジュールは、感覚フィードバックデータ１４８２並びに感知モーションデータ１５３８及びモデル化モーションデータ１５３９を共有する。認知ロボットエージェントモジュールは、両方共に学習モジュール１５３５を通じて更新される調節及び改正モジュール１５３４に相互接続された知識データベース１５３１を表すモジュールを含むが、必ずしもこれらに限定されない。現存の知識１５３２が実行監視モジュール１５３６に供給され、それに加えて現存の知識１５３３が自動化解析及び推論モジュール１５３７に供給され、これらのモジュールの両方が、人間技能実行モジュールから感知フィードバックデータ１４８２を受信し、更に両方共に学習モジュール１５３５に情報を供給する。人間技能実行モジュールは、収集及び処理を行う複数のフィードバック（視覚及び聴覚）供給源に制御信号の基礎を置く制御モジュール１１３８、並びに標準化された機材、ツール、及び補助用品を利用するロボットを有するモジュール１５４１の両方で構成される。
【0334】
図９５Ａは、ロボット描絵システム１４４０に関するアーキテクチャを描示している。このシステム内には、スタジオロボット描絵システム１４４１と商用ロボット描絵システム１４４５との両方が含まれ、これらのシステムは、単発の購入又は購読ベースの支払いに基づいてロボット描絵のためのソフトウェアプログラムファイル又はアプリケーションをスタジオロボット描絵システム１４４１から商用ロボット描絵システム１４４５に配信することを可能するために通信可能に接続される１４４４。スタジオロボット描絵システム１４４１は、（人間の）画家１４４２と、この画家の動き及びプロセスを取り込んで記録するモーション及び動作感知デバイスと描絵フレーム取り込センサとにインターフェース接続され、関連のソフトウェア描絵ファイルをメモリ１３８０内に格納するコンピュータ１４４３とで構成される。商用ロボット描絵システム１４４５は、ユーザ１４４６と、ソフトウェア描絵ファイル又はアプリケーションに従い、更にシミュレーションモデルを較正する目的で視覚フィードバックに従って画家１４４２の動きを再現するようにロボットアームとインターフェース接続されてそれを制御することができるロボット描絵エンジンを有するコンピュータ１４４７とで構成される。
【0335】
図９５Ｂは、ロボット描絵システムアーキテクチャ１４３０を描示している。このアーキテクチャは、モーション感知入力デバイス及びタッチフレーム１４２４と、イーゼル１４２６、すすぎ洗浄シンク１４２７、四脚画架１４２８、ストレージ収納庫１４２９、及び画材容器１４３０（絵の具、溶剤等）を含む標準化作業場１４２５と、標準化されたツール及び補助用品（筆、絵の具等）１４３１と、視覚入力デバイス（カメラ等）１４３２と、１又は２以上のロボットアーム１４３３とを含むが、これらに限定されいな複数の外部デバイスに／とインターフェース接続されたコンピュータ１４２０を含む。
【0336】
コンピュータモジュール１４２０は、描絵動きエミュレータ１４２２にインターフェース接続されたロボット描絵エンジン１３５２と、描絵実行プロセスの視覚フィードバックに基づいて機能する描絵制御モジュール１４２１と、描絵実行プログラムファイルを格納するためのメモリモジュール１３８０と、適切な描画ツールの選択及び使用を学習するためのアルゴリズム１４２３と、拡張シミュレーション検証及び較正モジュール１３７８とを含むが、これらに限定されないモジュールを含む。
【0337】
図９５Ｃは、ロボット人間描絵技能再現エンジン１３５２を描示している。再現エンジン１３５２内には、全てが共通のモジュール間通信バス７２を介して互いに相互接続された複数の追加モジュールが存在する。この再現エンジンは、全てがソフトウェア保守モジュール１３８６によって監督される、入力モジュール１３７０と、描絵動き記録モジュール１３７２と、補助／追加感知データ記録モジュール１３７６と、描絵動きプログラミングモジュール１３７４と、ソフトウェア実行手順プログラムファイルを含むメモリモジュール１３８０と、記録済みセンサデータに基づいて実行コマンドを生成する実行手順モジュール１３８２と、標準化描絵パラメータを含むモジュール１４００と、出力モジュール１３８８と、（出力）品質チェックモジュール１３７８とを含むが、これらに限定されない更なるモジュールを含む。
【0338】
美術プラットフォームの標準化の一実施形態を以下のとおりに定義する。第１に、美術プラットフォーム内にあるあらゆるタイプの美術ツール（筆、絵の具、キャンバス等）の標準化された位置及び向き（ｘｙｚ）。第２に、各美術プラットフォーム内の標準化作動空間領域の寸法及びアーキテクチャ。第３に、各美術プラットフォーム内にある標準化美術ツールセット。第４に、各美術プラットフォーム内にある操作ライブラリを有する標準化ロボットのアーム及びハンド。第５に、各美術プラットフォーム内において描絵記録機能、実行追跡機能、及び品質チェック機能に対する動的３次元視覚データを作成するための標準化３次元視覚デバイス。第６に、特定の描絵実行中の全ての使用絵の具の標準化された種類／製造者／マーク。第７に、特定の描絵実行中のキャンバスの標準化された種類／製造者／マーク／サイズ。
【0339】
標準化美術プラットフォームを有することの１つの主な目的は、元の画家によって実行された描絵プロセスと、後にロボット美術プラットフォームによって複製される描絵プロセスとで同じ結果（すなわち同じ絵画）を取得することである。標準化美術プラットフォームを用いる上で強調すべき幾つかの主な点は、（１）画家と自動ロボット実行とで同じタイムライン（同じ操作シーケンス、各操作の同じ開始時間及び終了時間、操作の間で動く物体の同じ速さ）を有すること、（２）描絵プロセス中の各操作の後にいずれかの失敗結果を回避するために品質チェック（３Ｄ視覚、センサ）があることである。従って、描絵が標準化美術プラットフォームにおいて行われる場合には、同じ結果を有ない危険性が低減される。非標準化美術プラットフォームが使用される場合には、描絵が、画家のスタジオ内でロボット美術プラットフォーム内のものと同じ空間領域、同じ美術ツール、同じ絵の具、又は同じキャンバスを用いて実行されない時に調節アルゴリズムが必要とされる可能性があることから、この場合は同じ結果を持たない（すなわち同じ絵画ではない）危険性を高めることになる。
【0340】
図９６Ａは、スタジオ描絵システムとプログラム商業化プロセス１４５０とを描示している。最初の段階１４５１は、人間の画家が、主題、構成、メディア、ツール、及び機材等の項目について決定を行う段階を含むスタジオロボット描絵システム内で作成すべき作品に関係する決定を行うためのものである。段階１４５２において、これら全てのデータをロボット描絵エンジンに入力し、その後、段階１４５３において、標準化された作業場、ツール、機材、補助用品、及び画材、並びにモーション及び視覚の入力デバイスを必要とされ、設定手順内に明記されたとおりに設定する。画家は、段階１４５４においてプロセスの開始点を設定してスタジオ描絵システムを起動し、その後、実際の描く段階１４５５を開始する。段階１４５６において、スタジオ描絵システムが、描絵プロセス全体の間に既知のｘｙｚ座標フレーム内における画家の動きのモーション及びビデオを実時間で記録する。描絵スタジオ内で収集されたデータは、続いて段階１４５７において格納され、ロボット描絵エンジンが、格納済みの動き及びメディアのデータに基づいてシミュレーションプログラムを生成することが可能になる１４５８。様々なオペレーティングシステム及びモバイルシステムによる使用に向けて、制作された絵画に対するロボット描絵プログラム実行ファイル又はアプリケーションが開発されて統合され、単発購入又は購読ベースの販売に向けてアプリストア又はその他のマーケットプレイスに提出される。
【0341】
図９６Ｂは、ロボット描絵エンジンに関する論理実行フロー１４６０を描示している。最初の段階として、段階１４６１においてユーザが絵画の題名を選択し、段階１４６２において入力がロボット描絵エンジンによって受け取られる。段階１４６３においてロボット描絵エンジンは、描絵実行プログラムファイルをオンボードメモリ内にアップロードし、続いて段階１４６４に進み、必要なツール及び補助用品を算出する。入庫段階１４６５が、ツール又は補助用品の不足があるか否かに関する回答を与え、不足がある場合には、システムは、注文リスト又は別の絵画に関する警報又は提案を送る１４６６。不足の場合には、エンジンは、段階１４６７において選択を確認し、ユーザが、描絵実行プログラムファイルの内部に含まれる段階毎の指示を用いて標準化作業場、モーション、及び視覚入力デバイスを設定する段階で構成される段階１４６８に進むことを可能にする。終了すると、ロボット描絵エンジンは、適正な設定を検証する点検段階１４６９を実施し、段階１４７０を通じてエラーを検出した場合には、システムエンジンは、エラー警報１４７２をユーザに送り、ユーザに設定をチェックし直して検出されたいずれかの不備を修正するように促すことになる。エラーが検出されずにチェックが通った場合には、段階１４７１において設定がエンジンによって確認されることになり、段階１４７３においてエンジンがユーザに開始点を設定して再現システム、視覚フィードバックシステム、及び制御システムを起動するように促すことが可能になる。段階１４７４において、ロボットアームが、動き、ツール及び機材の使用を含む描絵プログラム実行ファイル内に指定された段階を描絵プログラム実行ファイルによって指定されたものに同一のペースで実行することになる。視覚フィードバック段階１４７５は、描絵プロセスの上首尾の実行及びその成果を定義する被制御パラメータデータに対して描絵再現プロセスの実行を監視する。ロボット描絵エンジンは、再現プロセス全体がスタジオ描絵システムによって取り込まれて保存されたものに同一の最終状態に到達するという目標で再現プロセスの忠実度を高めるために更にシミュレーションモデルの検証段階１４７６を取る。描絵が終了すると、適用された画材（絵の具、ペースト等）に関する乾燥時間及び硬化時間を含む通知１４７７がユーザに送られる。
【0342】
図９７Ａは、人間楽器技能再現エンジン１３５４を描示している。再現エンジン１３５４内には、全てが共通のモジュール間通信バス７２を介して互いに相互接続された複数の追加モジュールが存在する。この再現エンジンは、全てがソフトウェア保守モジュール１３８６によって監督される可聴（デジタル）オーディオ入力モジュール１３７０と、人間の楽器演奏の動き記録モジュール１３９０と、補助／追加感知データ記録モジュール１３７６と、楽器演奏動きプログラミングモジュール１３９２と、ソフトウェア実行手順プログラムファイルを含むメモリモジュール１３８０と、記録済みセンサデータに基づいて実行コマンドを生成する実行手順モジュール１３８２と、標準化楽器演奏パラメータ（例えば、ペース、圧力、角度等）を含むモジュール１３９４と、出力モジュール１３８８と、（出力）品質チェックモジュール１３７８とを含むが、これらに限定されない更なるモジュールを含む。
【0343】
図９６Ｂは、音楽家再現エンジン１４８０に対して実施されるプロセス及び論理フローを描示している。最初に段階１４８１において、ユーザは、楽曲名及び／又は作曲家を選択し、続いて段階１４８２において、この選択をロボットエンジンによって行うべきか、又は人間との対話的操作を通じて行うべきかがユーザに問い合わせられる。
【0344】
段階１４８２においてロボットエンジンが題名／作曲家を選択することをユーザが選択した場合には、エンジンは、段階１４９２において独自の創造性解釈を用いて、段階１４９３において人間のユーザに選択プロセスに入力を供給することを提案する。人間が入力を供給することを断った場合には、ロボット音楽家エンジンは、段階１４９９において調性、高さ、及び楽器法、並びに旋律変化への手動入力等の設定を用い、段階１１３０において必要な入力を収集し、選択された楽器演奏実行プログラムファイルを段階１５０１において生成してアップロードし、段階１５０２においてロボット音楽家エンジンが選択を確認した後に、段階１５０３においてユーザが好ましいものを選択することを可能にする。人間によって行われた選出は、続いて段階１５０４において個人的プロファイルデータベース内に個人的選出として格納される。段階１４９３において人間が問い合わせに対する入力を供給することを決定した場合には、ユーザは、段階１４９３において追加の感情入力（顔の表情、写真、新しい記事等）を選択プロセスに供給することができることになる。段階１９４からの入力は、段階１４９５においてロボット音楽家エンジンによって受け取られ、エンジンが段階１４９６に進むことが可能になり、この段階においてエンジンは全ての利用可能な入力データに関連する情緒解析を実施し、人間からの感情入力データにとって適切な気分及び様式に基づく楽曲選択をアップロードする。段階１４９７におけるアップロードされた楽曲選択についてのロボット音楽家エンジンによる選択確認を受けて、ユーザは、段階１４９８においてこの選択に対するプログラムファイルを演奏するための「開始」ボタンを選択することができる。
【0345】
人間が題名／作曲家の選択に密接に関与したいと望む場合に、システムは、選択された題名に対する演奏者のリストを段階１４８３において人間に対してディスプレイ上に提示する。段階１４８４において、ユーザは、システムが段階１４８５において受信する選定入力である望みの演奏者を選択する。段階１４８６において、ロボット音楽家エンジンは、楽器演奏実行プログラムファイルを生成してアップロードし、段階１４８７に進んで特定の楽器上での人間の演奏実施とロボット音楽家の演奏実施との間で潜在的な制約を比較する。チェック段階１４８８は、格差が存在するか否かを決定する。格差が存在する場合には、段階１４８９において、システムは、ユーザの嗜好プロファイルに基づいて他の選択を提案することになる。実施格差が存在しない場合には、ロボット音楽家エンジンは、段階１４９０において選択を確認することになり、ユーザが段階１４９１に進むことを可能にし、この段階でユーザは、この選択に対するプログラムファイルを演奏するための「開始」ボタンを選択することができる。
【0346】
図９８は、人間看護技能再現エンジン１３５６を描示している。再現エンジン１３５６内には、共通のモジュール間通信バス７２を介して全てが互いに相互接続された複数の追加モジュールが存在する。この再現エンジンは、全てがソフトウェア保守モジュール１３８６によって監督される入力モジュール１３７０と、看護動き記録モジュール１３９６と、補助／追加感知データ記録モジュール１３７６と、看護動きプログラミングモジュール１３９８と、ソフトウェア実行手順プログラムファイルを含むメモリモジュール１３８０と、記録済みセンサデータに基づいて実行コマンドを生成する実行手順モジュール１３８２と、標準化看護パラメータを含むモジュール１４００と、出力モジュール１３８８と、（出力）品質チェックモジュール１３７８とを含むが、これらに限定されない更なるモジュールを含む。
【0347】
図９９Ａは、ロボット人間看護システムプロセス１１３２を描示している。第１の段階１５１１は、ユーザ（被看護者又は家族／友人）が、被看護者に対するアカウントを作成し、個人データ（名前、年齢、ＩＤ等）を提供する段階を含む。生体計測データ収集段階１５１２は、顔画像、指紋、音声サンプル等を含む個人データの収集を含む。続いて段階１５１３において、ユーザは、緊急連絡先に関する連絡先情報を入力する。段階１５１４において、ロボットエンジンは、ユーザのアカウント及びプロファイルを構築するためにこれら全ての入力データを受信する。段階１５１５においてユーザが遠隔健康監視プログラムの下にないと決定された場合には、ロボットエンジンは、段階１５２１の一部として、将来のタッチ画面目的又は音声ベースのコマンドインターフェース目的で、アカウント作成確認メッセージ及び自己ダウンロード手動ファイル／アプリをユーザのタブレット、ＴＶ、スマート電話、又はその他のデバイスに送る。ユーザが遠隔健康監視プログラムの一部である場合には、ロボットエンジンは、段階１５１６において医療記録にアクセスするための許可を要求することになる。段階１５１７の一部として、ロボットエンジンは、ユーザの病院及び診察室、実験室、並びに医療保険のデータベースと接続し、ユーザについての医療履歴、処方箋、治療、及び適切なデータを受信し、ユーザに特定のファイル内への格納に向けて診療実行プログラムを生成する。次の段階１５１８として、ロボットエンジンは、連続監視を可能にするために、ユーザの着用可能医療デバイス（血圧モニタ、脈センサ、及び血中酸素センサ等）又は更には電子制御可能投薬システム（経口又は注射に関わらず）のうちのいずれか及び全てと接続する。続く段階として、ロボットエンジンは、医療データファイル及び感知入力を受信し、それによって段階１５１９においてロボットエンジンがユーザのアカウントに対して１又は２以上の診療実行プログラムファイルを生成することが可能になる。次の段階１１３４は、ユーザの情報、日常活動、関連のパラメータ、及び過去又は将来のいずれかの医療イベント又は予約のためのセキュアクラウド格納データ空間の作成を含む。前と同様に段階１５２１において、ロボットエンジンは、将来のタッチ画面目的又は音声ベースのコマンドインターフェース目的で、アカウント作成確認メッセージ及び自己ダウンロード手動ファイル／アプリをユーザのタブレット、ＴＶ、スマート電話、又はその他のデバイスに送る。
【0348】
図９９Ｂは、最初に図９９Ａで開始したロボット看護システムプロセス１１３２の続きであるが、今度はユーザの環境における物理的に存在するロボットに関連するものを描示している。最初の段階１５２２として、ユーザは、デフォルトの構成及び場所（例えば充電ステーション）にあるロボットを起動する。作業１５２３において、ロボットはユーザの音声ベース又はタッチ画面ベースのコマンドを受信し、１つの特定のコマンド又は動作又はコマンド又は動作のグループを実行する。段階１５２４において、ロボットは、音声コマンド及び顔認識コマンドを用いたユーザとの連係、ユーザの反応又は挙動に基づいて特定の作業及び活動を実施し、特定的又は全体的な状況の知識に基づいて作業緊急度及び作業優先度等の因子を決定する。作業１５２５において、ロボットは、障害物のない経路に沿う動きを最適化すため、場合によっては更にオーディオ／ビデオ遠距離会議能力を与えるためにユーザに代わるアバターとしての役割を果たすため、又はいずれかの制御可能家庭器具とインターフェース接続するために、物体認識及び環境感知のアルゴリズム、定位及びマッピングのアルゴリズムを用いて１又は２以上の物品の一般的な取り出し、把持、移動を実施して作業を終了する。ロボットは、センサ入力及びユーザのプロファイルデータに基づいてユーザの医療状態を継続的に監視しており、潜在的な医療的に危険な潜在的病態の起こり得る兆候について監視し、第一応答者又は家族メンバの即時対応を必要とするいずれかの潜在的状況についてこれらの者に通知する能力を有する。段階１５２６において、ロボットは、いずれかの未決作業又は残存作業について継続的にチェックし、段階１５２２からのいずれかのユーザ入力に反応するように常時準備が整った状態に留まる。
【0349】
図１００は、２２４に示しているように、本明細書で解説した方法論を実施するためのコンピュータ実行可能命令をインストールして作動させることができるコンピュータデバイスの例を示すブロック図である。上記に言及したように、本発明に関連して解説した様々なコンピュータベースのデバイスは、同様の属性を共有することができる。２４におけるコンピュータデバイスの各々は、当該コンピュータデバイスに本明細書で解説した方法論のうちのいずれか１つ又は２以上を実施させるための命令セットを実行することができる。コンピュータデバイス１２は、２４、サーバ１０、又はいずれかのニューラルネットワーク中継デバイスのいずれか又は全てを表すものとすることができる。更に、単一の機械だけしか例示していないが、「機械」という用語は、本明細書で解説した方法論のうちのいずれか１つ又は２以上を実施するための単一のセット（又は複数のセット）の命令を個々に又は一緒に実行する機械のいずれかの集合を含むとも理解されたい。例示的コンピュータシステム２２４は、プロセッサ２２６（例えば中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、又はこれらの両方）と、バス２３２を通じて互いと通信する主メモリ２２８及び静的メモリ２３０とを含む。コンピュータシステム２２４は、ビデオ表示ユニット２３４（例えば、液晶ディスプレイ（ＬＣＤ））を更に含むことができる。更にコンピュータシステム２２４は、英数字入力デバイス２３６（例えばキーボード）と、カーソル制御デバイス２３８（例えばマウス）と、ディスクドライブユニット２４０と、信号生成デバイス２４２（例えばスピーカ）と、ネットワークインターフェースデバイス２４８とを含む。
【0350】
ディスクドライブユニット２２４０は、本明細書で説明した方法論又は機能のうちのいずれか１つ又は２以上を具現化する１又は２以上の命令セット（例えばソフトウェア２４６）が格納された機械可読媒体２４４を含む。ソフトウェア２４６は、コンピュータシステム２２４におけるその実行中に主メモリ２４４及び／又はプロセッサ２２６の内部に完全に又は少なくとも部分的に存在することもでき、プロセッサ２２６の命令格納部分は機械可読媒体を構成する。更に、ソフトウェア２４６は、ネットワークインターフェースデバイス２４８を通じてニューラルネットワーク１８を介して送信又は受信することができる。
【0351】
例示的実施形態では機械可読媒体２４４を単一の媒体として示しているが、「機械可読媒体」という用語は、１又は２以上の命令セットを格納する単一の媒体又は複数の媒体（例えば、中央集中データベース又は分散データベース、並びに／又は関連のキャッシュ及びサーバ）を含むと認められる。「機械可読媒体」という用語は、本発明の方法論のうちのいずれか１つ又は２以上を機械に実施させる機械による実行のための命令セットを格納することができるいずれかの有形媒体を含むとも理解されたい。従って「機械可読媒体」という用語は、固体メモリ並びに光媒体及び磁気媒体を含むが、これらに限定されないと認められる。
【0352】
一般論として、個人が作業機材を用いて生成物を調製する時に複数のロボットセンサによって個人の動きの観察シーケンスを感知する段階と、生成物を調製する各段において実施される動きシーケンスに対応する小規模操作を観察シーケンス内で検出する段階と、感知された観察シーケンスを小規模操作シーケンスを実施することができるロボット装置を制御するためのコンピュータ可読命令に変換する段階と、生成物に関して、少なくとも小規模操作に対する命令シーケンスを電子媒体に格納する段階とを含むロボットシステムのためのモーションの取り込み及び解析の方法を考案することができる。この方法は、複数の生成物に対して繰り返すことができる。生成物に対する小規模操作シーケンスは、好ましくは電子記録として格納される。小規模操作は、物体をカットする段階、物体を加熱する（オーブン内で、又は油又は水を用いてコンロ上で）段階、又は同様の段階等の多段プロセスの抽象化部分とすることができる。続いて方法は、生成物に関する電子記録を個人のオリジナル動作に対応する格納小規模操作のシーケンスを再現することができるロボット装置に送信する段階を更に含むことができる。それに加えて、方法は、生成物に関する小規模操作に対する命令シーケンスをロボット装置によって実行し、それによって個人によって調製された元の生成物と実質的に同じ結果を取得する段階を更に含むことができる。
【0353】
別の一般的な態様では、各小規模操作が生成物を調製する段において少なくとも１つの識別可能な結果を生じる標準小規模操作に対する事前プログラムされた命令のシーケンスを与える段階と、個人が機材を用いて生成物を調製する時に、複数のロボットセンサによって個人の動きに対応する観察シーケンスを感知する段階と、小規模操作が１又は２以上の観察に対応し、小規模操作シーケンスが生成物の調製に対応する場合に、１又は２以上の観察に対応する小規模操作を生成物の調製に対応する観察シーケンス内で検出する段階と、小規模操作が各々ロボット命令シーケンスを含み、ロボット命令が動的感知作動とロボット動作作動とを含む感知された個人モーションシーケンスに基づいて事前プログラムされた標準小規模操作のシーケンスを認識するためのソフトウェア実装式方法に基づいて、観察シーケンスをロボット命令に変換する段階と、小規模操作シーケンスとそれに対応するロボット命令とを電子媒体内に格納する段階とを含むロボット装置を操作する方法を考案することができる。好ましくは、生成物に関する命令シーケンスと、それに対応する小規模操作とは、生成物を調製するための電子記録として格納される。この方法は、複数の生成物に対して繰り返すことができる。方法は、ロボット命令シーケンスを再現及び実行することができるロボット装置に命令シーケンスを送信する（好ましくは電子記録形態で）段階を更に含むことができる。方法は、生成物に関するロボット命令をロボット装置によって実行し、それによって人間によって調製された元の生成物と実質的に同じ結果を取得する段階を更に含むことができる。方法が複数の生成物に対して繰り返される場合には、上記に加えて、方法は、生成物の名称、生成物の原材料、及び原材料から生成物を作製するための方法（レシピ等）を含む１又は２以上の生成物の電子記述ライブラリを与える段階を含むことができる。
【0354】
別の一般化的された態様は、各指示がロボット命令シーケンスを含み、ロボット命令が動的感知作動とロボット動作作動とを含む個人のオリジナル動作に対応する小規模操作の一連の指示で構成される生成物を作製するための命令セットを受信する段階と、小規模操作シーケンスを再現することができるロボット装置に命令セットを供給する段階と、生成物に関する小規模操作に対する命令シーケンスをロボット装置によって実行し、それによって個人によって調製された元の生成物と実質的に同じ結果を取得する段階とを含むロボット装置を操作する方法を提供する。
【0355】
異なる態様において、複数の生成物調製の動きを有するレシピを複製するためのロボット命令スクリプトを実行する段階と、各調製の動きが、標準ツール又は標準物体の標準把持動作として識別されるか、標準ハンド操作動作又は標準物体として識別されるか、又は非標準物体として識別されるかを決定する段階と、各調製の動きに関して、調製の動きが標準物体の標準把持動作を含む場合に、ロボット調理デバイスに第１のデータベースライブラリにアクセスするように命令する段階、食品調製の動きが標準ハンド操作動作又は標準物体を含む場合に、ロボット調理デバイスに第２のデータベースライブラリにアクセスするように命令する段階、及び食品調製の動きが非標準物体を含む場合に、ロボット調理デバイスに非標準物体の３次元モデルを作成するように命令する段階のうちの１又は２以上の段階とを含むロボット装置を操作する更に一般的された方法を考案することができる。決定段階及び／又は命令段階は、特に、コンピュータシステムにおいて又はそれによって実施することができる。コンピュータシステムは、プロセッサ及びメモリを有することができる。
【0356】
別の態様は、レシピが１又は２以上の調製段に分解され、各調製段が小規模操作及び動的プリミティブのシーケンスに分解され、各小規模操作が動作プリミティブシーケンスに分解されるロボット装置によって生成物（食品料理等）を調製することによってレシピを再現する段階を含むロボット装置による生成物調製のための方法に見出すことができる。好ましくは、各小規模操作は、該当する物体の位置、向き、形状、及び１又は２以上の該当する原材料に鑑みて当該小規模操作に対して最適な結果を生じるように試験済みである（好結果を伴って）。
【0357】
更なる方法態様は、キッチン環境等の標準化作業環境モジュールの周囲にあるセンサから濾過生データを受信する段階と、濾過生データからスクリプトデータシーケンスを生成する段階と、スクリプトデータシーケンスを機能を実施する１対のロボットのアーム及びハンドを制御するためのコマンドを含む生成物を調製するための機械可読かつ機械実行可能コマンドに変換する段階とを含むレシピスクリプト生成のための方法において考案することができる。機能は、１又は２以上の調理段、１又は２以上の小規模操作、及び１又は２以上の動作プリミティブからなるグループからのものとすることができる。この方法に従って作動するように構成されたハードウェア特徴及び／又はソフトウェア特徴を含むレシピスクリプト生成システムを考案することもできる。
【0358】
上記の態様のうちのいずれにおいても、以下のことを考案することができる。通常、生成物の調製は、原材料を用いる。命令を実行する段階は、一般的に生成物の調製に使用される原材料の性質を感知する段階を含む。生成物は、（食品）レシピ（電子記述内に保持することができる）に従った食品料理とすることができ、個人はシェフとすることができる。作業機材は、キッチン機材を含むことができる。これらの方法は、本明細書で説明した他の特徴のうちのいずれか１つ又は２以上との組合せで用いることができる。態様の特徴のうちの１つ、１つよりも多く、又は全てを組み合わせることができ、従って例えば１つの態様からの特徴を別の態様と組み合わせることができる。各態様は、コンピュータ実装式のものとすることができ、コンピュータ又はプロセッサによって作動された時に各方法を実施するように構成されたコンピュータプログラムを提供することができる。各コンピュータプログラムは、コンピュータ可読媒体上に格納することができる。これに加えて又はこれに代えて、プログラムは、部分的又は完全にハードウェア実装のものとすることができる。これらの態様は、組み合わせることができる。これらの態様のうちのいずれかに関して説明した方法に従って作動するように構成されたロボットシステムを提供することもできる。
【0359】
別の態様において、第１の計装環境内で人間モーションを観察して人間モーションデータを生成することができるマルチモード感知システムと、マルチモード感知システムに通信的に結合され、マルチモード感知システムから受け取った人間モーションデータを記録し、好ましくはロボットシステムの操作を定義するようなモーションプリミティブを抽出するように人間モーションデータを処理するためのプロセッサ（コンピュータとすることができる）とを備えたロボットシステムを提供することができる。モーションププリミティブは、本明細書で（例えば直前の段落で）説明した小規模操作とすることができ、標準フォーマットを有することができる。モーションプリミティブは、特定の種類の動作及びその種類の動作のパラメータ、例えば、定義された開始点、終了点、力、及び把持種類を有する引っ張り動作を定義することができる。任意選択的に、更に、プロセッサ及び／又はマルチモード感知システムに通信的に結合されたロボット装置を提供することができる。ロボット装置は、第２の計装環境内で観察された人間モーションを再現するためにモーションプリミティブ及び／又は人間モーションデータを用いることができるものとすることができる。
【0360】
更に別の態様において、人間モーションから取り込まれた人間モーションデータに基づくロボットシステムの操作を定義するモーションプリミティブを受信するためのプロセッサ（コンピュータとすることができる）を含むロボットシステムと、プロセッサに通信的に結合されて、モーションプリミティブを用いて計装環境内で人間モーションを再現することができるロボットシステムとを提供することができる。これらの態様を更に組み合わせることができることが理解されるであろう。
【0361】
更に別の態様は、第１及び第２のロボットアームと、各ハンドがそれぞれのアームに結合された手首を有し、各ハンドが手掌と複数の多関節指とを有し、それぞれのハンド上の各多関節指が少なくとも１つのセンサを有する第１及び第２のロボットハンドと、複数の埋め込みセンサを有するそれぞれのハンドを各々が覆う第１及び第２のグローブとを含むロボットシステムに見出すことができる。好ましくは、ロボットシステムは、ロボットキッチンシステムである。
【0362】
異なるが関連する態様において、標準化作業環境モジュール、好ましくはキッチンと、人間に物理的に結合されるように構成された第１のタイプのセンサ及び人間から離間するように構成された第２のタイプのセンサを有する複数のマルチモードセンサとを含むモーション取り込みシステムを更に提供することができる。第１のタイプのセンサは、人間外肢の姿勢を測定し、人間外肢のモーションデータを感知するためのものとすることができること、第２のタイプのセンサは、人間外肢の環境、物体、動き、及び場所のうちの１又は２以上の３次元構成の空間位置合わせを決定するためのものとすることができること、第２のタイプのセンサは、活動データを感知するように構成することができること、標準化作業環境は、第２のタイプのセンサとインターフェース接続するためのコネクタを有することができること、第１のタイプのセンサ及び第２のタイプのセンサは、モーションデータと活動データを測定し、モーションデータと活動データの両方を生成物（食品等）の調製に関するストレージ及びプロセスに向けてコンピュータに送ることのうちの１又は２以上が該当する。
【0363】
これに加えて又はこれに代えて、５つの指と、内部関節及び変形可能面材料を手掌の橈骨側で親指の基部の近くに配置された第１の変形可能領域、手掌の尺骨側で橈骨側から離隔して配置された第２の変形可能領域、及び手掌上に配置され、指の基部にわたって延びる第３の変形可能領域という３つの領域内に有する５つの指に接続された手掌とを含む感知グローブで被覆されたロボットハンドにおける態様を考案することができる。好ましくは、第１の変形可能領域と、第２の変形可能領域と、第３の変形可能領域と、内部関節との組合せは集合的に作動し、特に食品調製に関する小規模操作を実施する。
【0364】
上記のシステム、デバイス、又は装置の態様のうちのいずれに関しても、システムの機能を実施するための段階を含む方法の態様を更に提供することができる。これに加えて又はこれに代えて、任意選択的な特徴を他の態様に関して本明細書で説明した特徴のうちのいずれか１つ又は２以上に基づいて見出すことができる。
【0365】
（表Ａ）表Ａ：機材のタイプ
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
【0366】
（表Ｂ）表Ｂ：食材のタイプ
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
【0367】
（表Ｃ）表Ｃ：食品調製法及び機材、料理様式及び下地のリスト
Ａ 食品調製法リスト
[この文献は図面を表示できません]
Ａ 機材リスト
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
Ａ 料理様式リスト
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
Ａ 下地リスト：[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
【0368】
（表Ｄ）表Ｄ：料理様式及び料理のタイプ
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
【0369】
（表Ｅ）[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
【0370】
本発明を可能な実施形態に関して特定の詳細内容において説明した。当業者は、本発明を他の実施形態に実施することができることを認めるであろう。構成要素の特定の名称、用語の大文字使用、属性、データ構造、又はいずれかその他のプログラミング又は構造の態様は必須又は重要ではなく、本発明又はその特徴を実施する機構は、異なる名称、フォーマット、又はプロトコルを有することができる。システムは、説明したようにハードウェアとソフトウェアとの組合せによって実施するか、又は完全にハードウェア要素で又は完全にソフトウェア要素で実施することができる。本明細書で説明する様々なシステム構成要素の間の機能の特定の分割は単なる例に過ぎず、必須ではなく、単一のシステム構成要素によって実施される機能は、代わりに複数の構成要素によって実施することができ、複数の構成要素によって実施される機能は、代わりに単一の構成要素によって実施することができる。
【0371】
様々な実施形態において、本発明は、上記に説明した技術を単一又はいずれかの組合せのどちらかで実施するためのシステム又は方法として実施することができる。本明細書で説明するいずれか特定の特徴の組合せは、その組合せが明示的に説明したものでない場合であっても可能である。別の実施形態では、本発明は、コンピューティングデバイス又はその他の電子デバイス内のプロセッサに上記に説明した技術を実施させるためにコンピュータ可読ストレージ媒体と、この媒体上にコード化されたコンピュータプログラムコードとを含むコンピュータプログラム製品として実施することができる。
【0372】
本明細書で用いる場合に、「一実施形態」又は「実施形態」へのいずれの参照も、これらの実施形態に関連して説明する特定の特徴、構造、又は特性が本発明の少なくとも１つの実施形態に含まれることを意味する。本明細書内の様々な箇所における「一実施形態において」という表現の登場は、必ずしも全てが同じ実施形態を参照しているわけではない。
【0373】
上記の幾つかの部分は、コンピュータメモリの内部のデータビットに対する演算のアルゴリズム及び記号表現に関して提示したものである。これらのアルゴリズム的な記述及び表現は、データ処理技術分野の技術者が、自分達の研究開発の内容を他の分野の技術者に最も効果的に伝えるために用いる手段である。一般的にアルゴリズムは、望ましい結果を生じる段階（命令）の自己整合シーケンスであると受け止められている。これらの段階は、物理量の物理的操作を必要とするものである。必ずしもそうとは限らないが通常、これらの量は、格納、転送、組合せ、比較、変換、さもなければ操作の対象とすることができる電気、磁気、又は光の信号の形態を取る。時として、主に共通使用の理由から、これらの信号は、ビット、値、要素、記号、文字、用語、番号、又は同様のものとして表記するのが好適である。更に時として、物理量の物理的操作を必要とする段階のある一定の配列は、一般性を損ねることなくモジュール又はコードデバイスとして表記するのも好適である。
【0374】
しかし、これら及び同様の用語の全ては、適切な物理量に関連すべきものであり、これらの量に適用される単に好適な標記でしかないことに留意されたい。以下の解説から明らかであるように、別途明記しない限り、本明細書全体を通して「処理」、「計算」、「算出」、「表示」、又は「決定」などの用語を利用した解説は、コンピュータシステムメモリ又はレジスタ又はその他のそのような情報ストレージデバイス、送信デバイス、又は表示デバイスの内部の物理（電子）量として表されるデータを操作及び変換するコンピュータシステム又は同様の電子コンピューティングモジュール及び／又はデバイスの動作及びプロセスに関するものであると認められる。
【0375】
本発明のある一定の態様は、本明細書にアルゴリズムの形態で説明するプロセス段階及び命令を含む。本発明のプロセス段階及び命令は、ソフトウェア、ファームウェア、及び／又はハードウェアに具現化することができ、ソフトウェアに具現化される場合には、様々なオペレーティングシステムによって使用される異なるプラットフォーム上に存在してそこから操作されるようにダウンロードすることができることに注意されたい。
【0376】
本発明はまた、本明細書の作動を実施するための装置に関する。この装置は、必要とされる目的に向けて特別に構築することができ、又はコンピュータ内に格納されたコンピュータプログラムによって選択的に作動又は再構成される汎用コンピュータを含むことができる。そのようなコンピュータプログラムは、各々がコンピュータシステムバスに結合されたフロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード又は光カード、特定用途向け集積回路（ＡＳＩＣ）を含むあらゆるタイプのディスク、又は電子命令を格納するのに適するあらゆるタイプの媒体等であるがこれらに限定されないコンピュータ可読ストレージ媒体内に格納することができる。更に、本明細書で言及するコンピュータ及び／又はその他の電子デバイスは、単一のプロセッサを含むことができ、又は高いコンピューティング能力に向けて複数プロセッサ設計を用いるアーキテクチャのものとすることができる。
【0377】
本明細書で提示するアルゴリズム及び表示は、本質的にいずれか特定のコンピュータ、仮想システム、又はその他の装置に関連するものではない。様々な汎用システムは、本明細書の教示によるプログラムと併用することもでき、又は必要とされる方法段階を実施するように特化された装置を構築することが好適であることを実証することができる。様々なこれらのシステムに必要とされる構造は、本明細書に提示する説明から明らかになる。それに加えて、本発明をいずれか特定のプログラミング言語を参照しながら説明することはしなかった。本明細書で説明する本発明の教示を実施する上で様々なプログラミング言語を用いることができ、特定の言語への上記のあらゆる参照は、本発明の実施可能性及び最良のモードの開示に向けて提示したものであることは明らかであろう。
【0378】
様々な実施形態において、本発明は、コンピュータシステム、コンピューティングデバイス、又はその他の電子デバイス、又はそのいずれかの組合せ又は複数のものを制御するためのソフトウェア、ハードウェア、及び／又はその他の要素として実施することができる。そのような電子デバイスは、例えば、当業技術で公知の技術によるプロセッサ、入力デバイス（キーボード、マウス、タッチパッド、トラックパッド、ジョイスティック、トラックボール、マイクロフォン、及び／又はそのいずれかの組合せ等）、出力デバイス（画面、スピーカ、及び／又は同様のもの等）、メモリ、長期ストレージ（磁気ストレージ、光ストレージ、及び／又は同様のもの）、及び／又はニューラルネットワーク接続要素を含む。そのような電子デバイスは、携帯又は据え置きのものとすることができる。本発明を実施するために用いることができる電子デバイスの例は、モバイル電話、携帯情報端末、スマート電話、キオスク、デスクトップコンピュータ、ラップトップコンピュータ、消費者電子デバイス、テレビジョン、セットトップボックス、又は同様のものを含む。本発明を実施するための電子デバイスは、例えば、米国カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．から入手可能なｉＯＳ、米国マウンテンビューのＧｏｏｇｌｅ Ｉｎｃ．から入手可能なＡ◎ｎｄｒｏｉｄ、米国ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ ７、米国カリフォルニア州サニーベールのＰａｌｍ、Ｉｎｃ．から入手可能なｗｅｂＯＳ、又はデバイス上での使用に向けて調整されたいずれかその他のオペレーティングシステム等のオペレーティングシステムを用いることができる。幾つかの実施形態では、本発明を実施するための電子デバイスは、例えば、セルラー電話ネットワーク、無線ネットワーク、及び／又はインターネット等のコンピュータネットワークを含む１又は２以上のネットワークを介しての通信のための機能を含む。
【0379】
一部の実施形態は、「結合される」及び「接続される」という表現、並びにこれらの派生語を用いて説明する場合がある。これらの用語は、互いに対する同義語とすることを意図したものではないことを理解されたい。例えば、幾つかの実施形態は、２又は３以上の要素が互いとの物理的又は電気的な直接接触状態にあることを示すために「接続される」という用語を用いて説明する場合がある。別の例では、幾つかの実施形態は、２又は３以上の要素が物理的又は電気的な直接接触状態にあることを示すために「結合される」という用語を用いて説明する場合がある。しかし、「結合される」という用語は、２又は３以上の要素が互いとの直接接触状態にはないが、依然として互いと協働又はやり取りすることを意味する場合もある。実施形態はこの状況に限定されない。
【0380】
本明細書で用いる場合に、「備える」、「備えている」、「含む」、「含んでいる」、「有する」、「有している」という用語、又はこれらのいずれかその他の変化形態は、非排他的包含を網羅することを意図したものである。例えば、列挙する要素を含むプロセス、方法、物品、又は装置は、必ずしもこれらの要素だけに限定されず、明示的に列挙していない他の要素、又はそのようなプロセス、方法、物品、又は装置に元来備わってない他の要素を含むことができる。更に、反意を明記しない限り、「又は」は、包含的な「又は」であり、排他的な「又は」ではない。例えば、条件Ａ又はＢは、Ａが真であり（又は存在し）かつＢが偽である（又は存在しない）こと、Ａが偽であり（又は存在せず）かつＢが真である（又は存在する）こと、及びＡとＢとの両方が真である（又は存在する）ことのうちのいずれか１つによって満たされる。
【0381】
本明細書で用いる用語「ａ」又は「ａｎ」は、１、又は１よりも多いとして定義される。本明細書で用いる「複数」という用語は、２、又は２よりも多いとして定義される。本明細書で用いる「別の」という用語は、少なくとも第２、又は第３よりも以降として定義される。
【0382】
当業者は、本明細書で説明する方法及びシステムを開発する上で更なる説明を必要としないであろうが、関連技術において標準化された参考研究開発を精査することによってこれらの方法及びシステムの準備において場合によって有用なある程度の手引きを見出すことができる。
【0383】
本発明を限られた数の実施形態に関して説明したが、上記の説明の利益を有する当業者は、本明細書で説明した本発明の範囲から逸脱しない他の実施形態を案出することができることを認めるであろう。本明細書で用いた文言は、主に可読性及び教示の目的で選択したものであり、本発明の主題を線引きする又は限局化するために選択したものではないことに注意されたい。用いた用語は、本発明を本明細書及び特許請求の範囲に開示する特定の実施形態に限定するものと解釈すべきではなく、本出願で下記に示す特許請求の範囲の下で作動する全ての方法及びシステムを含むものと解釈されたい。従って本発明は、本開示によって限定されず、その代わりに本発明の範囲は、以下に続く特許請求の範囲によって完全に決定すべきものである。
【符号の説明】
【0384】
１０ 全体的ロボット食品調製キッチン１２ ロボットハードウェア
１４ ロボットソフトウェア
１８ 標準化キッチンモジュール
２２ ロボットアーム
【図1】
[この文献は図面を表示できません]
【図2】
[この文献は図面を表示できません]
【図3】
[この文献は図面を表示できません]
【図4】
[この文献は図面を表示できません]
【図5A】
[この文献は図面を表示できません]
【図5D】
[この文献は図面を表示できません]
【図6】
[この文献は図面を表示できません]
【図7A】
[この文献は図面を表示できません]
【図7B】
[この文献は図面を表示できません]
【図7C】
[この文献は図面を表示できません]
【図8B】
[この文献は図面を表示できません]
【図8E】
[この文献は図面を表示できません]
【図8F】
[この文献は図面を表示できません]
【図9C】
[この文献は図面を表示できません]
【図9D】
[この文献は図面を表示できません]
【図10B】
[この文献は図面を表示できません]
【図11】
[この文献は図面を表示できません]
【図12A】
[この文献は図面を表示できません]
【図12B】
[この文献は図面を表示できません]
【図12C】
[この文献は図面を表示できません]
【図13】
[この文献は図面を表示できません]
【図15A】
[この文献は図面を表示できません]
【図15B】
[この文献は図面を表示できません]
【図16】
[この文献は図面を表示できません]
【図17A】
[この文献は図面を表示できません]
【図18A】
[この文献は図面を表示できません]
【図18C】
[この文献は図面を表示できません]
【図18D】
[この文献は図面を表示できません]
【図18E】
[この文献は図面を表示できません]
【図21】
[この文献は図面を表示できません]
【図22】
[この文献は図面を表示できません]
【図23】
[この文献は図面を表示できません]
【図24】
[この文献は図面を表示できません]
【図25】
[この文献は図面を表示できません]
【図26】
[この文献は図面を表示できません]
【図27】
[この文献は図面を表示できません]
【図28】
[この文献は図面を表示できません]
【図29】
[この文献は図面を表示できません]
【図30】
[この文献は図面を表示できません]
【図36】
[この文献は図面を表示できません]
【図37A】
[この文献は図面を表示できません]
【図37B】
[この文献は図面を表示できません]
【図37C】
[この文献は図面を表示できません]
【図37E】
[この文献は図面を表示できません]
【図37F】
[この文献は図面を表示できません]
【図37G】
[この文献は図面を表示できません]
【図37H】
[この文献は図面を表示できません]
【図37I】
[この文献は図面を表示できません]
【図37J】
[この文献は図面を表示できません]
【図37K】
[この文献は図面を表示できません]
【図37L】
[この文献は図面を表示できません]
【図37M】
[この文献は図面を表示できません]
【図38】
[この文献は図面を表示できません]
【図39】
[この文献は図面を表示できません]
【図41D】
[この文献は図面を表示できません]
【図41E】
[この文献は図面を表示できません]
【図41F】
[この文献は図面を表示できません]
【図41G】
[この文献は図面を表示できません]
【図41I】
[この文献は図面を表示できません]
【図41J】
[この文献は図面を表示できません]
【図41K】
[この文献は図面を表示できません]
【図43C】
[この文献は図面を表示できません]
【図43D】
[この文献は図面を表示できません]
【図43E】
[この文献は図面を表示できません]
【図45】
[この文献は図面を表示できません]
【図46A】
[この文献は図面を表示できません]
【図46B】
[この文献は図面を表示できません]
【図46C】
[この文献は図面を表示できません]
【図47】
[この文献は図面を表示できません]
【図48】
[この文献は図面を表示できません]
【図49】
[この文献は図面を表示できません]
【図51】
[この文献は図面を表示できません]
【図52】
[この文献は図面を表示できません]
【図53】
[この文献は図面を表示できません]
【図54】
[この文献は図面を表示できません]
【図55】
[この文献は図面を表示できません]
【図56】
[この文献は図面を表示できません]
【図57】
[この文献は図面を表示できません]
【図58】
[この文献は図面を表示できません]
【図59】
[この文献は図面を表示できません]
【図60】
[この文献は図面を表示できません]
【図61A】
[この文献は図面を表示できません]
【図61B】
[この文献は図面を表示できません]
【図62】
[この文献は図面を表示できません]
【図63】
[この文献は図面を表示できません]
【図64A】
[この文献は図面を表示できません]
【図64B】
[この文献は図面を表示できません]
【図66】
[この文献は図面を表示できません]
【図67】
[この文献は図面を表示できません]
【図68】
[この文献は図面を表示できません]
【図79】
[この文献は図面を表示できません]
【図80】
[この文献は図面を表示できません]
【図81】
[この文献は図面を表示できません]
【図82】
[この文献は図面を表示できません]
【図87A】
[この文献は図面を表示できません]
【図88】
[この文献は図面を表示できません]
【図89】
[この文献は図面を表示できません]
【図90】
[この文献は図面を表示できません]
【図91A】
[この文献は図面を表示できません]
【図91B】
[この文献は図面を表示できません]
【図91C】
[この文献は図面を表示できません]
【図92B】
[この文献は図面を表示できません]
【図94A】
[この文献は図面を表示できません]
【図94B】
[この文献は図面を表示できません]
【図95A】
[この文献は図面を表示できません]
【図95B】
[この文献は図面を表示できません]
【図95C】
[この文献は図面を表示できません]
【図96A】
[この文献は図面を表示できません]
【図96B】
[この文献は図面を表示できません]
【図97A】
[この文献は図面を表示できません]
【図97B】
[この文献は図面を表示できません]
【図98】
[この文献は図面を表示できません]
【図99A】
[この文献は図面を表示できません]
【図99B】
[この文献は図面を表示できません]
【図100】
[この文献は図面を表示できません]
【図5B】
[この文献は図面を表示できません]
【図5C】
[この文献は図面を表示できません]
【図7D】
[この文献は図面を表示できません]
【図7E】
[この文献は図面を表示できません]
【図8A】
[この文献は図面を表示できません]
【図8C】
[この文献は図面を表示できません]
【図8D】
[この文献は図面を表示できません]
【図8G】
[この文献は図面を表示できません]
【図9A】
[この文献は図面を表示できません]
【図9B】
[この文献は図面を表示できません]
【図9E】
[この文献は図面を表示できません]
【図9F】
[この文献は図面を表示できません]
【図9G】
[この文献は図面を表示できません]
【図9H】
[この文献は図面を表示できません]
【図9I】
[この文献は図面を表示できません]
【図10A】
[この文献は図面を表示できません]
【図14】
[この文献は図面を表示できません]
【図17B】
[この文献は図面を表示できません]
【図18B】
[この文献は図面を表示できません]
【図18F】
[この文献は図面を表示できません]
【図19】
[この文献は図面を表示できません]
【図20】
[この文献は図面を表示できません]
【図31】
[この文献は図面を表示できません]
【図32】
[この文献は図面を表示できません]
【図33】
[この文献は図面を表示できません]
【図34】
[この文献は図面を表示できません]
【図35】
[この文献は図面を表示できません]
【図37D】
[この文献は図面を表示できません]
【図37N】
[この文献は図面を表示できません]
【図37O】
[この文献は図面を表示できません]
【図37P】
[この文献は図面を表示できません]
【図37Q】
[この文献は図面を表示できません]
【図37R】
[この文献は図面を表示できません]
【図37S】
[この文献は図面を表示できません]
【図37T】
[この文献は図面を表示できません]
【図37U】
[この文献は図面を表示できません]
【図37V】
[この文献は図面を表示できません]
【図40】
[この文献は図面を表示できません]
【図41A】
[この文献は図面を表示できません]
【図41B】
[この文献は図面を表示できません]
【図41C】
[この文献は図面を表示できません]
【図41H】
[この文献は図面を表示できません]
【図41L】
[この文献は図面を表示できません]
【図42A】
[この文献は図面を表示できません]
【図42B】
[この文献は図面を表示できません]
【図43A】
[この文献は図面を表示できません]
【図43B】
[この文献は図面を表示できません]
【図43F】
[この文献は図面を表示できません]
【図44A】
[この文献は図面を表示できません]
【図44B】
[この文献は図面を表示できません]
【図46D】
[この文献は図面を表示できません]
【図46E】
[この文献は図面を表示できません]
【図46F】
[この文献は図面を表示できません]
【図46G】
[この文献は図面を表示できません]
【図50】
[この文献は図面を表示できません]
【図65】
[この文献は図面を表示できません]
【図69】
[この文献は図面を表示できません]
【図70】
[この文献は図面を表示できません]
【図71】
[この文献は図面を表示できません]
【図72】
[この文献は図面を表示できません]
【図73】
[この文献は図面を表示できません]
【図74】
[この文献は図面を表示できません]
【図75】
[この文献は図面を表示できません]
【図76】
[この文献は図面を表示できません]
【図77】
[この文献は図面を表示できません]
【図78】
[この文献は図面を表示できません]
【図83】
[この文献は図面を表示できません]
【図84】
[この文献は図面を表示できません]
【図85】
[この文献は図面を表示できません]
【図86】
[この文献は図面を表示できません]
【図87B】
[この文献は図面を表示できません]
【図87C】
[この文献は図面を表示できません]
【図92A】
[この文献は図面を表示できません]
【図93】
[この文献は図面を表示できません]
【国際調査報告】
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]
[この文献は図面を表示できません]