特許 7552580 調理ロボット、調理ロボット制御装置、制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-09

(45)【発行日】2024-09-18

(54)【発明の名称】調理ロボット、調理ロボット制御装置、制御方法

(51)【国際特許分類】

   A47J 44/00 20060101AFI20240910BHJP

   B25J 13/08 20060101ALI20240910BHJP

【ＦＩ】

A47J44/00

B25J13/08 Z

【請求項の数】 18

(21)【出願番号】P 2021503507

(86)(22)【出願日】2020-02-14

(86)【国際出願番号】 JP2020005705

(87)【国際公開番号】W WO2020179402

(87)【国際公開日】2020-09-10

【審査請求日】2022-12-22

(31)【優先権主張番号】P 2019038072

(32)【優先日】2019-03-01

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】藤田 雅博

(72)【発明者】

【氏名】吉田 かおる

(72)【発明者】

【氏名】シュプランガー ミカエル シェグフリード

(72)【発明者】

【氏名】梨子田 辰志

【審査官】柳本 幸雄

(56)【参考文献】

【文献】特表２０１７－５０６１６９（ＪＰ，Ａ）

【文献】特表２００５－５０４２５９（ＪＰ，Ａ）

【文献】特開２０１１－１０８１５６（ＪＰ，Ａ）

【文献】特開２００７－１５５８２５（ＪＰ，Ａ）

【文献】特開２０２０－１３１３３９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ４７Ｊ ４４／００

Ｂ２５Ｊ １３／０８

Ａ２３Ｐ ３０／００

(57)【特許請求の範囲】

【請求項1】

料理を作るための調理動作を行う調理アームと、
前記料理の食材に関する情報および前記食材を用いた調理工程における調理人の動作に関する情報が記述された調理動作データを用いて、前記調理アームが行う前記調理動作を制御し、前記調理動作データのうち、前記調理人が味見を行う工程である味見工程の前記調理動作データにリンクされるデータであって、味見をしている間の前記調理人の生体反応を示すデータである調理人生体データを用いた前記調理人による味見の結果の判定に基づいて、前記調理アームによる調理によって出来上がる前記料理を食事する食事人に味見を要求する制御部と
を備え、
前記制御部は、前記食事人による味見の結果に基づいて更新された前記調理動作データに基づいて、前記調理アームが行う前記調理動作を制御する
調理ロボット。

【請求項2】

前記調理人生体データは、前記調理工程の進捗に連動して計測された前記調理人の感覚を示す感覚データとリンクされる
請求項１に記載の調理ロボット。

【請求項3】

前記調理人生体データは、前記調理人生体データの内容が所定の条件を満たすと判定された場合の前記味見工程とリンクされる
請求項１に記載の調理ロボット。

【請求項4】

前記調理人生体データは、前記調理人の脳波の状態を示す脳波データを含む
請求項１に記載の調理ロボット。

【請求項5】

前記調理人生体データは、前記調理人の顔の状態を示す顔状態データを含む
請求項１に記載の調理ロボット。

【請求項6】

前記調理人生体データは、前記調理人の心拍の状態を示す心拍データを含む
請求項１に記載の調理ロボット。

【請求項7】

前記調理人生体データは、前記調理人の瞳孔の状態を示す瞳孔データを含む
請求項１に記載の調理ロボット。

【請求項8】

前記調理動作データは、味見をしている間の前記食事人の生体反応を示す食事人生体データを用いた前記食事人による味見の結果の判定に基づいて更新される
請求項１に記載の調理ロボット。

【請求項9】

前記調理動作データは、前記食事人毎に更新され、
前記制御部は、前記食事人毎に更新された前記前記調理動作データを用いて、前記調理アームが行う前記調理動作を制御する
請求項１に記載の調理ロボット。

【請求項10】

前記調理動作データは、前記食事人の属性毎に更新され、
前記制御部は、前記食事人の属性毎に更新された前記前記調理動作データを用いて、前記調理アームが行う前記調理動作を制御する
請求項１に記載の調理ロボット。

【請求項11】

前記食事人生体データは、前記食事人の音声の状態を示すデータである
請求項８に記載の調理ロボット。

【請求項12】

前記食事人生体データは、前記食事人の身体の筋電の状態を示すデータである
請求項８に記載の調理ロボット。

【請求項13】

前記制御部は、前記調理動作データに基づいて生成された、前記調理動作を命令する命令コマンドに従って前記調理アームを制御する
請求項１に記載の調理ロボット。

【請求項14】

前記調理アームは、複数設けられる
請求項１３に記載の調理ロボット。

【請求項15】

前記制御部は、複数の前記調理アームを前記命令コマンドに従って協同させることによって前記調理動作を行わせる
請求項１４に記載の調理ロボット。

【請求項16】

料理を作るための調理動作を行う調理アームを備える調理ロボットが、
前記料理の食材に関する情報および前記食材を用いた調理工程における調理人の動作に関する情報が記述された調理動作データを用いて、前記調理アームが行う前記調理動作を制御することと、
前記調理動作データのうち、前記調理人が味見を行う工程である味見工程の前記調理動作データにリンクされるデータであって、味見をしている間の前記調理人の生体反応を示すデータである調理人生体データを用いた前記調理人による味見の結果の判定に基づいて、前記調理アームによる調理によって出来上がる前記料理を食事する食事人に味見を要求することと
を含み、
前記調理アームが行う前記調理動作は、前記食事人による味見の結果に基づいて更新された前記調理動作データに基づいて制御される
制御方法。

【請求項17】

料理の食材に関する情報および前記食材を用いた調理工程における調理人の動作に関する情報が記述された調理動作データを用いて、料理ロボットが備える調理アームにより行われる調理動作を制御し、前記調理動作データのうち、前記調理人が味見を行う工程である味見工程の前記調理動作データにリンクされるデータであって、味見をしている間の前記調理人の生体反応を示すデータである調理人生体データを用いた前記調理人による味見の結果の判定に基づいて、前記調理アームによる調理によって出来上がる前記料理を食事する食事人に味見を要求する制御部を備え、
前記制御部は、前記食事人による味見の結果に基づいて更新された前記調理動作データに基づいて、前記調理アームにより行われる前記調理動作を制御する
調理ロボット制御装置。

【請求項18】

調理ロボット制御装置が、
料理の食材に関する情報および前記食材を用いた調理工程における調理人の動作に関する情報が記述された調理動作データを用いて、料理ロボットが備える調理アームにより行われる調理動作を制御することと、
前記調理動作データのうち、前記調理人が味見を行う工程である味見工程の前記調理動作データにリンクされるデータであって、味見をしている間の前記調理人の生体反応を示すデータである調理人生体データを用いた前記調理人による味見の結果の判定に基づいて、前記調理アームによる調理によって出来上がる前記料理を食事する食事人に味見を要求することと
を含み、
前記調理アームにより行われる前記調理動作は、前記食事人による味見の結果に基づいて更新された前記調理動作データに基づいて制御される
制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、調理ロボット、調理ロボット制御装置、制御方法に関し、特に、調理ロボットが作る料理を、食べる人の好みに応じてカスタマイズすることができるようにした調理ロボット、調理ロボット制御装置、制御方法に関する。

【背景技術】

【0002】

調理中の調理人の動きをセンシングし、センシング結果のデータを保存・送信することによって、調理人が作った料理を調理ロボット側において再現する技術が検討されている。調理ロボットによる調理動作は、例えば、調理人の手の動きと同じ動きをセンシング結果に基づいて実現するようにして行われる。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１７－５０６１６９号公報

【文献】特表２０１７－５３６２４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の調理ロボットによる調理は、制御データとして予め用意されたレシピ通りに進められる。そのため、出来上がった料理が、食べる人の好みにあったものとならないことがある。

【0005】

本技術はこのような状況に鑑みてなされたものであり、調理ロボットが作る料理を、食べる人の好みに応じてカスタマイズすることができるようにするものである。

【課題を解決するための手段】

【0006】

本技術の一側面の調理ロボットは、料理を作るための調理動作を行う調理アームと、前記料理の食材に関する情報および前記食材を用いた調理工程における調理人の動作に関する情報が記述された調理動作データを用いて、前記調理アームが行う前記調理動作を制御し、前記調理動作データのうち、前記調理人が味見を行う工程である味見工程の前記調理動作データにリンクされるデータであって、味見をしている間の前記調理人の生体反応を示すデータである調理人生体データを用いた前記調理人による味見の結果の判定に基づいて、前記調理アームによる調理によって出来上がる前記料理を食事する食事人に味見を要求する制御部とを備える。前記制御部は、前記食事人による味見の結果に基づいて更新された前記調理動作データに基づいて、前記調理アームが行う前記調理動作を制御する。

【0007】

本技術の一側面においては、前記料理の食材に関する情報および前記食材を用いた調理工程における調理人の動作に関する情報が記述された調理動作データを用いて、前記調理アームが行う前記調理動作が制御され、前記調理動作データのうち、前記調理人が味見を行う工程である味見工程の前記調理動作データにリンクされるデータであって、味見をしている間の前記調理人の生体反応を示すデータである調理人生体データを用いた前記調理人による味見の結果の判定に基づいて、前記調理アームによる調理によって出来上がる前記料理を食事する食事人に味見が要求される。前記調理アームが行う前記調理動作は、前記食事人による味見の結果に基づいて更新された前記調理動作データに基づいて制御される。

【図面の簡単な説明】

【0008】

【図1】本技術の一実施形態に係る調理システムにおける全体の処理の例を示す図である。

【図2】シェフ側と再現側のそれぞれにおいて用いられる食材の違いについて説明する図である。

【図3】レシピデータの記述内容の例を示す図である。

【図4】調理工程データセットに含まれる情報の例を示す図である。

【図5】計測対象となる生体反応の例を示す図である。

【図6】風味の構成要素の例を示す図である。

【図7】調理工程の例を示す図である。

【図8】情報の生成例を示す図である。

【図9】情報の他の生成例を示す図である。

【図10】風味の判定に用いられる判定モデルの例を示す図である。

【図11】レシピデータの例を示す図である。

【図12】レシピデータの生成の流れの例を示す図である。

【図13】レシピデータに基づく料理の再現の流れの例を示す図である。

【図14】再現時の調理工程の例を示す図である。

【図15】レシピデータのカスタマイズの流れの例を示す図である。

【図16】食事人の風味の感じ方の解析の例を示す図である。

【図17】シェフ側の流れと再現側の流れをまとめて示す図である。

【図18】レシピデータの他の記述内容の例を示す図である。

【図19】計測対象となる生体反応の例を示す図である。

【図20】レシピデータのカスタマイズの流れの例を示す図である。

【図21】カスタマイズの例を示す図である。

【図22】調理システムの適用例を示す図である。

【図23】レシピデータの他の記述内容の例を示す図である。

【図24】本技術の一実施形態に係る調理システムの構成例を示す図である。

【図25】調理システムの他の構成例を示す図である。

【図26】制御装置の配置例を示す図である。

【図27】シェフ側の構成例を示すブロック図である。

【図28】データ処理装置のハードウェアの構成例を示すブロック図である。

【図29】データ処理装置の機能構成例を示すブロック図である。

【図30】調理ロボットの外観を示す斜視図である。

【図31】調理アームの様子を拡大して示す図である。

【図32】調理アームの外観を示す図である。

【図33】調理アームの各部の可動域の例を示す図である。

【図34】調理アームとコントローラの接続の例を示す図である。

【図35】調理ロボットと周辺の構成の例を示すブロック図である。

【図36】制御装置の機能構成例を示すブロック図である。

【図37】データ処理装置のレシピデータ生成処理について説明するフローチャートである。

【図38】データ処理装置のレシピデータカスタマイズ処理について説明するフローチャートである。

【図39】制御装置の料理再現処理について説明するフローチャートである。

【図40】調理工程データセットに含まれる情報の例を示す図である。

【図41】味覚主観情報の算出例を示す図である。

【図42】レシピデータの生成の流れの例を示す図である。

【図43】レシピデータに基づく料理の再現の流れの例を示す図である。

【図44】レシピデータの記述内容の例を示す図である。

【図45】調理システムの他の構成例を示す図である。

【発明を実施するための形態】

【0009】

＜本技術の概要＞
本技術は、調理人が料理を作るときの生体反応をセンシングし、センシングされた生体データをレシピデータに含めて、料理を再現する調理ロボット側に提供するようにしたものである。

【0010】

また、本技術は、調理人が作った料理の再現時、レシピデータに含まれる生体データを調理ロボット側において活用し、調理工程を更新することにより、食べる人の好みに応じて風味を微調整した料理を再現することができるようにするものである。

【0011】

さらに、本技術は、調理人が料理を作るときの感覚と、調理人が作成したレシピに基づいて調理を行うときの感覚との違い（差分）に着目し、食材と調理工程とを記述したデータに対して、料理を作るときの調理人の感覚をデータ化した感覚データをリンクさせてレシピデータとして管理するようにしたものである。

【0012】

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．調理システムにおけるレシピデータの生成と料理の再現
２．レシピデータの記述について
３．レシピデータの生成例
４．レシピデータの生成と料理の再現の流れの例
５．レシピデータの記述の変形例
６．調理システムの構成例
７．調理システムの動作
８．風味情報を含むレシピデータ
９．変形例

【0013】

＜調理システムにおけるレシピデータの生成と料理の再現＞
図１は、本技術の一実施形態に係る調理システムにおける全体の処理の例を示す図である。

【0014】

図１に示すように、調理システムは、調理を行うシェフ側の構成と、シェフが作った料理を再現する再現側の構成とから構成される。

【0015】

シェフ側の構成は、例えば、あるレストランに設けられる構成となり、再現側の構成は、例えば、一般の家庭に設けられる構成となる。再現側の構成として、調理ロボット１が用意される。

【0016】

図１の調理システムは、シェフが作った料理と同じ料理を、再現側の構成としての調理ロボット１において再現するシステムである。調理ロボット１は、調理アームなどの駆動系の装置、および、各種のセンサを有し、調理を行う機能を搭載したロボットである。

【0017】

シェフ側の構成から、調理ロボット１を含む再現側の構成に対しては、矢印で示すようにレシピデータが提供される。後に詳述するように、レシピデータには、料理の食材を含む、シェフが作った料理に関する情報が記述されている。

【0018】

再現側の構成においては、調理ロボット１の調理動作をレシピデータに基づいて制御することによって、料理が再現されることになる。例えば、シェフの調理工程と同じ工程を実現するための調理動作を調理ロボット１に行わせることによって料理が再現される。

【0019】

調理を行う調理人としてシェフが示されているが、板前、コックなどの呼び方、厨房における役割に関わらず、調理を行う人であれば、どのような人が調理を行う場合にも、図１の調理システムは適用可能である。

【0020】

また、図１においては、１人のシェフ側の構成のみが示されているが、調理システムには、複数のレストランなどにそれぞれ設けられる複数のシェフ側の構成が含まれる。再現側の構成に対しては、例えば調理ロボット１により再現された料理を食べる人が選択した所定のシェフが作る、所定の料理のレシピデータが提供される。

【0021】

なお、料理は、調理を経て出来上がる成果物のことを意味する。調理は、料理を作る過程や、料理を作る行為（作業）のことを意味する。

【0022】

図２は、シェフ側と再現側のそれぞれにおいて用いられる食材の違いについて説明する図である。

【0023】

シェフの調理に例えばにんじんが使われた場合、レシピデータには、食材としてにんじんを使うことを表す情報が記述される。また、にんじんを使った調理工程に関する情報が記述される。

【0024】

再現側においても同様に、レシピデータに基づいて、にんじんを使った調理動作が行われる。

【0025】

ここで、同じ「にんじん」として分類される食材であっても、シェフ側で用意されるにんじんと、再現側で用意されるにんじんとでは、種別の違い、産地の違い、収穫時期の違い、成育状況の違い、収穫後の環境の違いなどによって、味、香り、質感が異なる。自然物である食材には、完全に同じものは存在しない。

【0026】

したがって、シェフの動作と完全に同じ調理動作を調理ロボット１に行わせたとしても、にんじんを使って出来上がった料理の風味は異なるものとなる。

【0027】

１つの料理が完成するまでには複数の調理工程を経ることになるが、にんじんを使った１つの調理工程を経ることによって出来上がった途中の料理を見ても、その風味は、シェフ側と再現側とでは異なるものとなる。

【0028】

シェフがおいしいと感じる料理であっても、調理ロボット１によって再現された料理を食べる人によっては、同じ感じ方をするとは限らない。

【0029】

そこで、図１の調理システムにおいては、調理を行っているシェフの生体反応が計測される。再現側に提供されるレシピデータには、シェフの生体反応をデータ化した生体情報が、食材や動作の情報とリンクして記述される。

【0030】

再現側においては、全ての調理工程が終わるまでの間に、調理ロボット１によって再現された料理を食べる人などの、調理ロボット１の周りにいる人に対して味見を行うことが要求される。例えば、シェフがおいしいと感じた生体反応が計測された味見のタイミングが、レシピデータに含まれる生体情報に基づいて特定され、それに対応するタイミングで、味見を行うことが要求される。

【0031】

また、味見を行っている人の生体反応が計測され、計測結果に応じて、適宜、調理ロボット１の調理工程が更新される。

【0032】

人が食べ物を口に入れたときの生体反応は、その人の風味の感じ方を表しているといえる。シェフの風味の感じ方を表す生体情報に基づいて調理ロボット１による調理が制御され、調理ロボット１による調理中に味見をした人の風味の感じ方に応じて、レシピデータに記述されている調理工程が更新されることになる。

【0033】

以下、適宜、シェフの生体反応を表す生体情報を調理人生体情報という。

【0034】

また、調理ロボット１により調理された調理済みの食材や、調理済みの食材を用いて出来上がった（再現された）料理を食べる人を食事人という。調理ロボット１による要求に応じて味見を行った食事人の生体反応を表す生体情報は、食事人生体情報となる。

【0035】

＜レシピデータの記述について＞
図３は、レシピデータの記述内容の例を示す図である。

【0036】

図３に示すように、１つのレシピデータは、複数の調理工程データセットから構成される。図３の例においては、調理工程＃１に関する調理工程データセット、調理工程＃２に関する調理工程データセット、・・・、調理工程＃Ｎに関する調理工程データセットが含まれる。

【0037】

このように、レシピデータにおいては、１つの調理工程に関する情報が、１つの調理工程データセットとして記述される。

【0038】

図４は、調理工程データセットに含まれる情報の例を示す図である。

【0039】

図４の吹き出しに示すように、調理工程データセットは、調理工程を実現するための調理動作に関する情報である調理動作情報と、シェフの生体反応を表す調理人生体情報とから構成される。

【0040】

１．調理動作情報
調理動作情報は、食材情報と動作情報から構成される。

【0041】

１－１．食材情報
食材情報は、調理工程においてシェフが使った食材に関する情報である。食材に関する情報には、食材の種類、食材の量、食材の大きさなどを表す情報が含まれる。

【0042】

例えば、ある調理工程においてにんじんを使った調理をシェフが行った場合、にんじんを使ったことを表す情報が食材情報に含まれる。水、調味料などの、料理の材料としてシェフが使った各種の食物を表す情報なども、食材情報に含まれる。食物は、人が食べることができる各種の物である。

【0043】

なお、食材には、調理が全く施されていない食材だけでなく、ある調理が施されることによって得られた調理済み（下処理済み）の食材も含まれる。ある調理工程の調理動作情報に含まれる食材情報には、それより前の調理工程を経た調理済みの食材の情報が含まれる。

【0044】

シェフが使った食材は、例えば、調理を行っているシェフをカメラで撮影した画像を解析することによって認識される。食材情報は、食材の認識結果に基づいて生成される。カメラにより撮影される画像は、動画像であってもよいし、静止画像であってもよい。

【0045】

レシピデータの生成時に、シェフにより、または、シェフをサポートするスタッフなどの他の人により食材情報が登録されるようにしてもよい。

【0046】

１－２．動作情報
動作情報は、調理工程におけるシェフの動きに関する情報である。シェフの動きに関する情報には、シェフが使った調理ツールの種類、手の動きを含む、各時刻のシェフの体の動き、各時刻のシェフの立ち位置などを表す情報が含まれる。

【0047】

例えば、ある食材を、シェフが包丁を使って切った場合、調理ツールとして包丁を使ったことを表す情報、切る位置、切る回数、切り方の力加減、角度、スピードなどを表す情報が動作情報に含まれる。

【0048】

また、食材としての液体が入った鍋を、シェフがおたまを使ってかき混ぜた場合、調理ツールとしておたまを使ったことを表す情報、かき混ぜ方の力加減、角度、スピード、時間などを表す情報が動作情報に含まれる。

【0049】

ある食材を、シェフがオーブンを使って焼いた場合、調理ツールとしてオーブンを使ったことを表す情報、オーブンの火力、焼き時間などを表す情報が動作情報に含まれる。

【0050】

シェフが盛り付けを行った場合、盛り付けに使った食器、食材の配置の仕方、食材の色味などを表す盛り付け方の情報が動作情報に含まれる。

【0051】

シェフの動きは、例えば、調理を行っているシェフをカメラで撮影した画像を解析することによって、または、シェフが身に付けているセンサにより計測されたセンサデータを解析することによって認識される。動作情報は、シェフの動きの認識結果に基づいて生成される。

【0052】

２．調理人生体情報
図５は、計測対象となる生体反応の例を示す図である。

【0053】

図５に示すように、例えば、シェフの生体反応として、脳波、瞳孔、発汗、四肢の筋電、顔全体の温度、顔の表情、体全体のモーション、心拍数、声音が計測される。

【0054】

（１）脳波（Electroencephalogram:EEG）
シェフの脳波が、脳波計を用いて計測される。シェフが味見を行ったときの脳波には、味覚受容体や嗅覚受容体からの信号が含まれる。脳波を解析することによって、シェフの味の感じ方、香りの感じ方などを特定することが可能である。

【0055】

（２）瞳孔
シェフの瞳孔の変化が、カメラにより撮影された画像を解析することによって計測される。喜んだり驚いたりすると瞳孔が開くといったように、瞳孔の開閉度から感情を特定することが可能である。例えば、味見を行ったシェフの瞳孔の開閉度が閾値より高い場合、おいしいと感じていると推定できる。

【0056】

（３）発汗
シェフの発汗量の変化が、カメラにより撮影された画像を解析することによって、または、肌の水分量を計測する肌センサによる計測結果を解析することによって計測される。例えば、温かいものや辛いものを食べることで血流が上昇し、発汗量が多くなる場合がある。

【0057】

（４）四肢の筋電
シェフの筋電の変化が、筋電計を用いて計測される。嬉しいことがあると手足に瞬間的に力が入って筋電の変化として観測できるといったように、筋電の変化から感情を特定することが可能である。例えば、味見を行ったときに筋電が大きく変化した場合、おいしいと感じていると推定できる。

【0058】

（５）顔全体の温度
シェフの顔全体の温度が、赤外線センサを用いて計測される。例えば、温かいものや辛いものを食べることで血流が上昇し、顔全体の温度が高くなる場合がある。

【0059】

（６）顔の表情
シェフの表情が、カメラにより撮影された画像を解析することによって計測される。例えば、味見を行ったときのシェフの表情が喜んでいる表情である場合、おいしいと感じていると推定でき、反対に、悲しんでいる表情である場合、おいしくないと感じていると推定できる。

【0060】

（７）体全体のモーション
シェフの体全体のモーション（動き）が、カメラにより撮影された画像や、シェフの体に取り付けられたモーションセンサの計測結果を表すセンサデータを解析することによって計測される。美味しいものを食べた時にじっと固まってしまう人はあまりいないことから、体全体のモーションは、風味の感じ方を表しているといえる。

【0061】

（８）心拍数
シェフの心拍数が、ウェアラブル活動量計を用いて計測される。例えば、味見を行ったときに心拍数が上がった場合、おいしいと感じていると推定できる。

【0062】

（９）声音
シェフの声音が、マイクロフォンにより集音された音声を解析することによって計測される。例えば、味見を行ったときに発したシェフの声の周波数が、味見を行う前に発した声の周波数より高い場合、おいしいと感じていると推定できる。

【0063】

シェフの発話の意味を解析し、意味解析の結果に基づいて、おいしいと感じているか否かが推定されるようにしてもよい。例えば、「おいしい」、「うまい」、「OK」、「うん」などの、風味を肯定する発話が行われた場合、おいしいと感じていると推定できる。

【0064】

シェフの以上のような生体反応の計測結果に基づいて調理人生体情報が生成され、レシピデータに含められる。調理人生体情報には、シェフの風味の感じ方を表すデータとして、シェフの脳波の状態を表すデータ、瞳孔の状態を表すデータ、発汗の状態を表すデータ、四肢の筋電の状態を表すデータ、顔全体の温度の状態を表すデータ、顔の表情の状態を表すデータ、体全体のモーションの状態を表すデータ、心拍数の状態を表すデータ、声音の状態を表すデータが含まれることになる。

【0065】

脳波、瞳孔、発汗、四肢の筋電、顔全体の温度、顔の表情、体全体のモーション、心拍数、声音の全てが計測されるのではなく、それらの生体反応のうちの少なくともいずれかの生体反応を表す情報が調理人生体情報として生成されるようにしてもよい。

【0066】

ここで、風味について説明する。

【0067】

図６は、風味の構成要素の例を示す図である。

【0068】

人が脳で感じるおいしさ、すなわち「風味」は、図６に示すように、主に、人の味覚によって得られる味、人の嗅覚によって得られる香り、人の触覚によって得られる質感を組み合わせて構成される。

【0069】

体感温度や食材の色彩によってもおいしさの感じ方が変わってくるから、風味には、体感温度と色彩も含まれる。

【0070】

風味（flavor）の各構成要素について説明する。

【0071】

（１）味（taste）
味には、舌・口腔内の味覚受容体細胞で感じうる五種の味（塩味、酸味、苦味、甘味、旨味）が含まれる。塩味、酸味、苦味、甘味、旨味は、基本五味と呼ばれる。

【0072】

また、味には、基本五味に加えて、口腔内だけでなく全身の痛覚であるTRP(Transient Receptor Potential)チャネルファミリーに属するバニロイド受容体などで感じる辛味が含まれる。濃度に応じて苦味と重なる味となるが、渋味も味の一種である。

【0073】

それぞれの味について説明する。

【0074】

・塩味
塩味を感じさせる物質には、イオン化結合で塩を生成するミネラル類（Na, K, Fe, Mg,
Ca, Cu, Mn, Al, Zn等）がある。

【0075】

・酸味
酸味を感じさせる物質には、クエン酸、酢酸などの酸がある。一般には、pHの低下依存（例えば、pH３程度）で酸味が感じられる。

【0076】

・甘味
甘味を感じさせる物質には、ショ糖やブドウ糖などの糖類、脂質類、グリシンなどのアミノ酸、人工甘味料がある。

【0077】

・旨味
旨味を感じさせる物質には、グルタミン酸やアスパラギン酸などのアミノ酸、イノシン酸、グアニル酸、キサンチル酸などの核酸派生物、コハク酸などの有機酸、および塩類がある。

【0078】

・苦味
苦みを感じさせる物質には、カフェインなどのアルカロイド類、テオブロミン、ニコチン、カテキン、テルペノイドなどのフムロン類、リモニン、ククルビタシン、フラバノン配糖体のナリンジン、苦味アミノ酸、苦味ペプチド、胆汁酸、無機塩類のカルシウム塩、マグネシウム塩がある。

【0079】

・渋味
渋味を感じさせる物質には、ポリフェノール類、タンニン、カテキン、多価イオン（Al, Zn, Cr）、エタノール、アセトンがある。渋味は、苦味の一部として認識、あるいは計測される。

【0080】

・辛味
辛味を感じさせる物質には、カプサイシノイドがある。生体機能として、熱く感じる唐辛子や各種スパイスの成分であるカプサイシン、冷感を感じるペパーミントの成分であるメントールは、味覚ではなく、痛覚として、TRPチャネルファミリーの温感受容体により認識される。

【0081】

（２）香り（aroma）
香りは、鼻腔および上咽頭内に発現する嗅覚受容体により認識（結合）される分子量300以下の、揮発性のある低分子有機化合物により知覚される。

【0082】

（３）質感（texture）
質感は、いわゆる食感と呼ばれる指標であり、硬さ、ベタベタ感、粘性、凝集性、ポリマー含有量、水分含有量（moisture）、油分含有量（greasiness）などで表される。

【0083】

（４）体感温度（apparent temperature）
体感温度は、人肌が感じる温度である。体感温度には、食物自体の温度だけでなく、ミントのように揮発性物質を含む食物によって清涼感を感じたり、唐辛子のように辛味成分を含む食物によって温感を感じたりするなど、肌の表層部が食物の成分に反応して感じられる温度感覚も含まれる。

【0084】

（５）色彩（color）
食物の色彩は、食物に含まれる色素や、苦味・渋味の成分を反映する。例えば、植物由来の食物には、光合成によってできる色素や、ポリフェノール類の苦味・渋味に関わる成分が含まれる。光学的計測法により、食物の色彩から、食物に含まれる成分を推定することが可能となる。

【0085】

＜レシピデータの生成例＞
図７は、調理工程の例を示す図である。

【0086】

通常、シェフによる調理は、食材を用いた調理を行い、調理済みの食材の味見をして、風味を調整することを、調理工程毎に繰り返すことによって行われる。

【0087】

風味の調整は、例えば、味については、塩味が足りない場合には塩を足す、酸味が足りない場合にはレモン汁を搾るなどの工程を加えるようにして行われる。香りについては、例えば、ハーブを刻んで足す、食材に火を通すなどの工程を加えるようにして行われる。質感については、例えば、食材が硬い場合には叩いて柔らかくする、煮込む時間を増やすなどの工程を加えるようにして行われる。

【0088】

図７の調理工程＃１においては、時刻ｔ１から時刻ｔ２の間で、食材を用いた調理が１回目の調理として行われ、時刻ｔ２から時刻ｔ３の間で、調理済みの食材の味見が１回目の味見として行われている。また、時刻ｔ３から時刻ｔ４の間で、調味料などの食材を用いた風味の調整が２回目の調理として行われ、時刻ｔ４から時刻ｔ５の間で、風味の調整後の食材の味見が２回目の味見として行われている。

【0089】

時刻ｔ３から時刻ｔ４の間に２回目の調理として行われる風味の調整は、その前の１回目の味見の結果に基づいて行われる工程である。時刻ｔ４から時刻ｔ５の間に行われる２回目の味見は、その前の風味の調整の結果を確認するために行われる工程である。

【0090】

図７の例においては、１つの調理工程に４つのシェフの工程が含まれるものとされているが、１つの調理工程に含まれるシェフの工程の数は任意である。１つのシェフの工程によって１つの調理工程が形成されるようにすることも可能である。

【0091】

また、図７の例においては、１つの調理工程に２回の味見の工程が含まれているが、１つの調理工程に含まれる味見の工程が１回であってもよいし、味見の工程が含まれないようにしてもよい。シェフが味見を行っていることは、例えば、カメラにより撮影された画像を解析することによって認識される。シェフの生体反応に基づいて、シェフが味見を行っていることが認識されるようにしてもよい。

【0092】

図８は、情報の生成例を示す図である。

【0093】

図８に示すように、１回目の調理が行われている時刻ｔ１から時刻ｔ２の間、シェフの動作が計測され、シェフが使っている食材やシェフの動きが認識される。時刻ｔ１から時刻ｔ２の間の認識結果に基づいて、矢印Ａ１の先に示すように調理動作情報＃１－１が生成される。

【0094】

また、時刻ｔ２において、シェフが味見を始めたことが認識された場合、シェフの生体反応の計測が開始される。生体反応の計測は、例えば、シェフが味見を終えたことが認識された時刻ｔ３まで続けられる。時刻ｔ２から時刻ｔ３の間の計測結果に基づいて、矢印Ａ２の先に示すように調理人生体情報＃１－１が生成される。

【0095】

同様に、２回目の調理が行われている時刻ｔ３から時刻ｔ４の間、シェフの動作が計測され、シェフが使っている食材やシェフの動きが認識される。時刻ｔ３から時刻ｔ４の間の認識結果に基づいて、矢印Ａ３の先に示すように調理動作情報＃１－２が生成される。

【0096】

時刻ｔ４において、シェフが味見を始めたことが認識された場合、シェフの生体反応の計測が開始される。生体反応の計測は、例えば、シェフが味見を終えたことが認識された時刻ｔ５まで続けられる。時刻ｔ４から時刻ｔ５の間の計測結果に基づいて、矢印Ａ４の先に示すように調理人生体情報＃１－２が生成される。

【0097】

例えば、調理動作情報＃１－１と調理動作情報＃１－２とをまとめることによって、調理工程＃１の調理工程データセットを構成する調理動作情報が生成される。

【0098】

また、調理人生体情報＃１－１と調理人生体情報＃１－２とをまとめることによって、調理工程＃１の調理工程データセットを構成する調理人生体情報が生成される。調理人生体情報には、どのタイミングで行われた味見におけるシェフの生体反応に基づいて生成されたものであるのかを表す情報も含まれる。調理人生体情報は、味見の工程にリンクされている。

【0099】

図９は、情報の他の生成例を示す図である。

【0100】

図９の例においては、計測された全ての生体反応を表す調理人生体情報がレシピデータに含まれるのではなく、例えば、味見の結果がOKである場合、すなわち、シェフがおいしいと判断した場合の生体反応を表す調理人生体情報だけがレシピデータに含まれる。

【0101】

食べた食材がおいしいとシェフが判断しているか否かは、キッチンに設けられたボタンを押すなどしてシェフにより直接入力される。

【0102】

また、食べた食材がおいしいとシェフが判断しているか否かが、シェフの生体反応に基づいて判定されるようにしてもよい。

【0103】

図１０は、風味の判定に用いられる判定モデルの例を示す図である。

【0104】

図１０に示すように、食べた食材がおいしいとシェフが判断しているか否かは、深層学習などにより生成されたニューラルネットワークのモデルである風味判定モデルを用いて判断される。風味判定モデルは、例えば、ある食材をシェフが食べたときの生体反応の計測結果と、その食材がおいしいか、おいしくないかの風味の感じ方を表す情報を用いた学習を行うことによって予め生成される。

【0105】

例えば、ある食材を味見したときの生体反応の計測結果を入力した場合、風味判定モデルからは、風味の判定結果が出力される。風味の判定結果は、味見をした食材がおいしい（OK）か、おいしくない（NG）かを表す。

【0106】

図９の例においては、矢印Ａ１１の先に示すように、時刻ｔ２から時刻ｔ３の間に行われた１回目の味見の結果がおいしくないと判断されている。一方、矢印Ａ１２の先に示すように、時刻ｔ４から時刻ｔ５の間に行われた２回目の味見の結果がおいしいと判断されている。

【0107】

この場合、時刻ｔ４から時刻ｔ５の間の計測結果に基づいて生成された調理人生体情報＃１－２が、図８を参照して説明したようにして生成された調理動作情報とともに、調理工程＃１の調理工程データセットに含まれる。

【0108】

このように、シェフがおいしいと判断していると考えられる、所定の条件を満たす生体反応を表す調理人生体情報だけがレシピデータに含まれるようにしてもよい。

【0109】

図８を参照して説明したように全ての調理人生体情報がレシピデータに含まれる場合、食べた食材がおいしいとシェフが判断しているときの生体反応を表す調理人生体情報＃１－２に対して、風味OKフラグが設定されるようにしてもよい。風味OKフラグは、食べた食材がおいしいとシェフが判断していることを表すフラグである。

【0110】

風味OKフラグを参照することにより、再現側においては、シェフがおいしいと判断した味見のタイミングを特定することが可能となる。

【0111】

なお、図８、図９の例においては、生体反応の計測が、シェフが味見をしている間だけ行われるものとしたが、シェフが調理を行っている間、常時行われるようにしてもよい。この場合、レシピデータには、シェフが調理を始めてから調理を終えるまでの、生体反応の時系列データが調理人生体情報として含まれることになる。

【0112】

以上のように、レシピデータは、調理工程を実現するための調理動作に関する情報である調理動作情報と、調理工程の進捗に連動して計測された、シェフの生体反応を表す情報である調理人生体情報とをリンクさせる（紐付ける）ことによって構成される。

【0113】

以上のような各情報を含むレシピデータが、図１１に示すように料理毎に用意される。どのレシピデータに基づいて料理を再現するのかは、例えば、調理ロボット１が設置された場所にいる食事人により選択される。

【0114】

＜レシピデータの生成と料理の再現の流れの例＞
図１２は、レシピデータの生成の流れの例を示す図である。

【0115】

上述したように、調理工程データセットを構成する調理動作情報は、調理を行うシェフの動作をセンシング（計測）し、センシング結果に基づいて生成される。

【0116】

また、調理人生体情報は、味見をしているシェフの生体反応をセンシングし、センシング結果に基づいて生成される。

【0117】

図１２の例においては、矢印Ａ２１に示すように、調理工程＃１としてシェフが行う調理動作のセンシング結果に基づいて、調理工程＃１の調理工程データセットを構成する調理動作情報が生成されている。

【0118】

また、矢印Ａ２２に示すように、調理済みの食材の味見を行っているシェフの生体反応のセンシング結果に基づいて、調理工程＃１の調理工程データセットを構成する調理人生体情報が生成されている。

【0119】

調理工程＃１が終了した後、次の調理工程である調理工程＃２が行われる。

【0120】

同様に、矢印Ａ３１に示すように、調理工程＃２としてシェフが行う調理動作のセンシング結果に基づいて、調理工程＃２の調理工程データセットを構成する調理動作情報が生成されている。

【0121】

また、矢印Ａ３２に示すように、調理済みの食材の味見を行っているシェフの生体反応のセンシング結果に基づいて、調理工程＃２の調理工程データセットを構成する調理人生体情報が生成されている。

【0122】

このような複数の調理工程を経て１つの料理が完成する。また、料理が完成するとともに、各調理工程の調理工程データセットを記述したレシピデータが生成される。

【0123】

図１３は、レシピデータに基づく料理の再現の流れの例を示す図である。

【0124】

図１３に示すように、調理ロボット１による料理の再現は、レシピデータに記述された調理工程データセットに含まれる調理動作情報に基づいて調理を行い、調理済みの食材の味見を行った食事人の生体反応に応じて調理工程を更新することを、調理工程毎に繰り返すことによって行われる。

【0125】

調理済みの食材の味見は、例えば、調理ロボット１から食事人に対して味見を行うことが要求されることに応じて、食事人により行われる。食事人は、調理ロボット１の要求に応じて味見を行うことができるように、レシピデータに基づいて調理を行っている調理ロボット１の周りにいることになる。

【0126】

味見の要求は、例えば、調理ロボット１のスピーカから合成音声を出力することにより、または、調理ロボット１に設けられたLEDなどの発光部を点滅させることにより行われる。食事人のスマートフォンなどの携帯端末に対してメッセージを送信することによって味見の要求が行われるようにしてもよい。

【0127】

味見を要求するタイミングは、例えば、調理工程データセットに含まれる調理人生体情報に基づいて、シェフがおいしいと判断した味見のタイミングに応じて決定される。

【0128】

図１３の例においては、矢印Ａ４１に示すように、調理工程＃１の調理工程データセットを構成する調理動作情報に基づいて調理ロボット１の調理動作が制御され、シェフの調理工程＃１の動作と同じ動作が調理ロボット１により行われる。

【0129】

シェフの調理工程＃１の動作と同じ動作が調理ロボット１により行われた後、矢印Ａ４２に示すように、調理済みの食材の味見が食事人に対して要求される。この味見の要求は、シェフがおいしいと判断した味見のときの生体反応を表す調理人生体情報に基づいて行われる。

【0130】

調理ロボット１による要求に応じて味見をしている食事人の生体反応が計測され、計測結果に基づいて調理工程が更新される。詳細については後述するが、調理済みの食材がおいしくないと食事人が感じている場合、おいしいと感じるものとなるように調理工程が更新される。

【0131】

更新された調理工程に応じた調理が調理ロボット１により行われた場合、調理工程＃１は終了となる。調理工程＃１が終了した後、次の調理工程である調理工程＃２が行われる。

【0132】

同様に、矢印Ａ５１に示すように、調理工程＃２の調理工程データセットを構成する調理動作情報に基づいて調理ロボット１の調理動作が制御され、シェフの調理工程＃２の動作と同じ動作が調理ロボット１により行われる。

【0133】

シェフの調理工程＃２の動作と同じ動作が調理ロボット１により行われた後、矢印Ａ５２に示すように、調理済みの食材の味見が食事人に対して要求される。この味見の要求は、シェフがおいしいと判断した味見のときの生体反応を表す調理人生体情報に基づいて行われる。

【0134】

調理ロボット１による要求に応じて味見を行っている食事人の生体反応が計測され、計測結果に基づいて調理工程が更新される。

【0135】

更新された調理工程に応じた調理が調理ロボット１により行われた場合、調理工程＃２は終了となる。

【0136】

このような複数の調理工程を経て、シェフが作った料理が調理ロボット１により再現される。

【0137】

図１４は、再現時の調理工程の例を示す図である。

【0138】

図８を参照して説明した調理工程＃１がシェフにより行われ、上述した調理工程データセットが生成されているものとする。

【0139】

図１４に示すように、時刻ｔ１１から時刻ｔ１２の間において、調理工程データセットに含まれる調理動作情報＃１－１に基づいて、時刻ｔ１から時刻ｔ２（図８）の間にシェフにより行われた１回目の調理と同じ調理が調理ロボット１により行われる。

【0140】

また、時刻ｔ１２から時刻ｔ１３の間において、調理工程データセットに含まれる調理動作情報＃１－２に基づいて、時刻ｔ３から時刻ｔ４の間にシェフにより行われた２回目の調理と同じ調理が調理ロボット１により行われる。

【0141】

これにより、シェフにより行われた２回の調理と同じ内容の２回の調理が、調理ロボット１においても行われた状態となる。

【0142】

調理動作情報＃１－２に基づく調理が終わった時刻ｔ１３においては、シェフが風味を調整した食材、すなわち、図８の時刻ｔ４において得られる食材と同じ風味の食材が、調理済みの食材として調理ロボット１側においても用意される。

【0143】

シェフ側においては、２回目の調理の後に行われた２回目の味見によっておいしいと判断されていることから、再現側においても、それに対応する２回目の調理の後のタイミングにおいて、食事人に対して味見を行うことが要求される。２回目の味見によっておいしいとシェフにより判断されていることが、調理人生体情報＃１－２に基づいて判断される。上述したように、調理人生体情報＃１－２は、シェフがおいしいと判断した味見のときの生体反応に基づいて生成された情報である。

【0144】

図１４の例においては、時刻ｔ１３において、味見を行うことが食事人に対して要求される。食事人は、調理ロボット１による要求に応じて食材の味見を行うことになる。

【0145】

食事人が味見を始めたことが認識された場合、食事人の生体反応の計測が開始される。計測対象となる食事人の生体反応も、シェフの生体反応と同様である。食事人の脳波、瞳孔、発汗、四肢の筋電、顔全体の温度、顔の表情、体全体のモーション、心拍数、声音が計測される。生体反応の計測は、例えば、食事人が味見を終えたことが認識された時刻ｔ１４まで続けられる。

【0146】

時刻ｔ１３から時刻ｔ１４の間の計測結果に基づいて、食事人がおいしいと判断しているか否かが判定される。すなわち、シェフがおいしいと判断した調理済みの食材を、食事人もおいしいと判断しているか否かが判定される。

【0147】

食べた食材がおいしいと食事人が判断しているか否かは、調理ロボット１に設けられたボタンを押すなどして食事人により直接入力される。

【0148】

食べた食材がおいしいと食事人が判断しているか否かが、食事人の生体反応に基づいて判定されるようにしてもよい。

【0149】

食べた食材がおいしいと食事人が判断しているか否かについても、図１０を参照して説明したような風味判定モデルを用いて判定される。再現側に用意される風味判定モデルは、ある食材を食事人が食べたときの生体反応の計測結果を用いた学習によって生成されたモデルである。

【0150】

食べた食材がおいしいと食事人が判断している場合、調理工程＃１は終了となる。

【0151】

一方、食べた食材がおいしくないと食事人が判断している場合、時刻ｔ１４から時刻ｔ１５の間において、調理工程が更新され、更新後の調理工程に応じた調理が調理ロボット１により行われる。調理工程の更新は、味見を行った食事人の生体反応に基づいて行われる。

【0152】

図１５は、調理工程の更新を含む、レシピデータのカスタマイズの流れの例を示す図である。

【0153】

図１５に示すデータ処理装置１１は、後に詳述するように、レシピデータを生成し、調理ロボット１を含む再現側にレシピデータを提供する機能を有する装置である。

【0154】

矢印Ａ１０１に示すように、調理ロボット１からデータ処理装置１１に対して、味見をした食事人の生体反応を表す食事人生体情報が送信される。

【0155】

データ処理装置１１においては、食事人生体情報に基づいて調理工程を更新することにより、レシピデータのカスタマイズが行われる。例えば、味見の対象となった食材の風味を、どのように感じているのかが食事人生体情報に基づいて解析される。

【0156】

図１６は、食事人の風味の感じ方の解析の例を示す図である。

【0157】

図１６に示すように、食事人の風味の感じ方である風味主観値は、データ処理装置１１に用意された風味主観情報生成用モデルに食事人生体情報を入力することによって算出される。風味主観情報生成用モデルは、食事人の生体反応と、風味の感じ方を表す情報とを用いた学習によって予め生成されたモデルである。

【0158】

食事人生体情報に基づいて算出される風味主観値により、例えば、おいしい／おいしくない、塩味が強い／弱い、甘みが強い／弱い、香りが強い／弱い、固い／柔らかい、熱い／ぬるいなどの、風味に関する食事人の主観的な感じ方が表現される。

【0159】

例えば、塩味が弱いと食事人が感じている場合、データ処理装置１１は、塩味を強くするために、食材に塩を振る動作を加えるように、調理工程を更新する。

【0160】

また、食材が固いと食事人が感じている場合、データ処理装置１１は、食材を柔らかくするために、所定の時間だけ食材を煮込む動作を加えるように、調理工程を更新する。

【0161】

また、食材がぬるいと食事人が感じている場合、データ処理装置１１は、食材を熱くするために、所定の時間だけ食材を加熱する動作を加えるように、調理工程を更新する。

【0162】

更新後の調理工程の記述を含む、カスタマイズされたレシピデータが、図１５の矢印Ａ１０２に示すように調理ロボット１に対して提供される。調理ロボット１においては、更新された調理工程に従って、食材の調理が行われる。

【0163】

このような味見の要求と調理工程の更新は、例えば、調理済みの食材を食事人がおいしいと判断するまで繰り返される。

【0164】

以上のように、調理ロボット１を含む再現側においては、シェフの動作と同じ動作を行うことによって得られた調理済みの食材を、食事人がおいしいと判断しているか否かを調理工程毎に確認しながら調理が進められる。

【0165】

図１７は、シェフ側の流れと再現側の流れをまとめて示す図である。

【0166】

図１７の左側に示すように、調理工程＃１～＃Ｎの複数の調理工程を経て１つの料理が完成するとともに、各調理工程の調理工程データセットを記述したレシピデータが生成される。

【0167】

一方、再現側においては、シェフの調理によって生成されたレシピデータに基づいて、シェフ側で行われた調理工程と同じ、調理工程＃１～＃Ｎの複数の調理工程を経て、１つの料理が再現される。

【0168】

調理ロボット１による調理が、調理工程毎に、シェフの感じ方と同様に食事人がおいしいと感じているか否かを確認し、食事人がおいしいと感じるように調理工程を更新して進められるから、最終的に出来上がる料理は、食事人がおいしいと感じる料理となる。

【0169】

基本的にはシェフの調理と同じ調理を経て出来上がるものであるから、最終的に出来上がる料理は、シェフが作った料理を再現したものではあるものの、食事人の好みに応じて風味がカスタマイズされた料理となる。

【0170】

シェフは、例えば自分が経営するレストランに来店することができない人に対して、自分が作った料理と同じ料理を提供することができる。また、シェフは、自分が作る料理を、レシピデータとして再現可能な形で残すことが可能となる。

【0171】

一方、調理ロボット１によって再現された料理を食べる食事人は、シェフが作った料理と同じ料理を、自分の好みに応じてカスタマイズして食べることができる。

【0172】

＜レシピデータの記述の変形例＞
図１８は、レシピデータの他の記述内容の例を示す図である。

【0173】

図１８に示すように、完成した料理の味見を行ったシェフの生体反応を表す調理人生体情報がレシピデータに含まれるようにしてもよい。この場合、調理人生体情報は、全体の調理動作情報にリンクされる。

【0174】

このように、調理動作情報と調理人生体情報との紐付けの関係は、１対１である必要はない。

【0175】

例えば、完成した料理の味見を行ったシェフの生体反応を表す調理人生体情報がレシピデータに含まれる場合、レシピデータのカスタマイズは、調理ロボット１による料理の再現が終了し、再現された料理を食べている食事人の生体反応に基づいて、食事後などのタイミングで行われる。食事中に計測された生体反応に基づいてカスタマイズされたレシピデータは、再度、同じ料理を調理ロボット１において再現するときに用いられることになる。

【0176】

図１９は、計測対象となる生体反応の例を示す図である。

【0177】

図１９に示す２人の人物は、調理ロボット１により再現された料理を食べている食事人である。図１９に示すように、食事人の脳波、瞳孔、発汗、四肢の筋電、顔全体の温度、顔の表情、体全体のモーション、心拍数、声音が計測され、食事人生体情報が生成される。

【0178】

食事中に計測された食事人生体情報は、調理ロボット１により再現された料理についての、食事人の風味の感じ方を表す情報となる。

【0179】

図２０は、レシピデータのカスタマイズの流れの例を示す図である。

【0180】

図２０の上段に示すように、調理ロボット１からデータ処理装置１１に対して、食事人の食事中の生体反応を表す食事人生体情報が送信される。

【0181】

データ処理装置１１においては、食事人生体情報に基づいて調理工程を更新することにより、レシピデータのカスタマイズが行われる。レシピデータのカスタマイズは、上述したように、料理の風味を食事人がどのように感じているのかが食事人生体情報に基づいて解析され、食事人の風味の感じ方を表す風味主観値に基づいて行われる。

【0182】

例えば、塩味が弱いと食事人が感じている場合、データ処理装置１１は、塩味を強くするために、所定のタイミングで食材に塩を振る動作を加えるように、調理工程を更新する。

【0183】

また、料理が固いと食事人が感じている場合、データ処理装置１１は、料理を柔らかくするために、所定のタイミングで、所定の時間だけ食材を煮込む動作を加えるように、調理工程を更新する。

【0184】

また、料理がぬるいと食事人が感じている場合、データ処理装置１１は、料理を熱くするために、所定のタイミングで、所定の時間だけ食材を加熱する動作を加えるように、調理工程を更新する。

【0185】

同じ料理を作ることが食事人により選択された場合、矢印Ａ１１１の先に示すように、更新後の調理工程の記述を含む、カスタマイズされたレシピデータが調理ロボット１に対して提供される。調理ロボット１においては、更新された調理工程に従って調理が行われる。

【0186】

カスタマイズされたレシピデータに基づいて再現された料理の風味は、食事人の好みに応じた風味となる。

【0187】

図２０に示す調理システムは、図２１に示すように、あるレシピデータを、そのレシピデータに基づいて再現された料理を一度食べた食事人の風味の感じ方を表す風味主観値に基づいてカスタマイズして提供するシステムとなる。

【0188】

図２２は、調理システムの適用例を示す図である。

【0189】

図２２に示すように、データ処理装置１１は、１つのレシピデータに基づいて、複数の食事人のそれぞれの好みに応じてカスタマイズすることによって複数のレシピデータを生成し、それぞれの食事人に提供することが可能となる。

【0190】

図２２の例においては、あるレシピデータに基づいて再現された料理を一度食べた食事人であるユーザＡ乃至Ｃのそれぞれの風味の感じ方を表す風味主観値に基づいて、レシピデータのカスタマイズが行われている。

【0191】

ユーザＡに対しては、ユーザＡの好みに応じてカスタマイズされたユーザＡ用のレシピデータが提供され、ユーザＢに対しては、ユーザＢの好みに応じてカスタマイズされたユーザＢ用のレシピデータが提供される。ユーザＣに対しては、ユーザＣの好みに応じてカスタマイズされたユーザＣ用のレシピデータが提供される。

【0192】

このように、上述した技術は、食事人毎にカスタマイズしたレシピデータを提供する調理システムに適用可能である。

【0193】

図２３は、レシピデータの他の記述内容の例を示す図である。

【0194】

図２３に示すように、調理人生体情報に代えて、食事人生体情報がカスタマイズ後のレシピデータに含まれるようにしてもよい。レシピデータに含められる食事人生体情報は、食事中に計測されたものとして上述したようにして再現側から送信されてきた情報である。

【0195】

カスタマイズ後のレシピデータに基づいて料理を再現する場合、レシピデータに含まれる食事人生体情報を適宜用いて調理が進められる。

【0196】

調理人生体情報に代えて食事人生体情報が含められるのではなく、調理人生体情報と食事人生体情報の双方の生体情報がレシピデータに含められるようにしてもよい。

【0197】

＜調理システムの構成例＞
（１）全体構成
図２４は、本技術の一実施形態に係る調理システムの構成例を示す図である。

【0198】

図２４に示すように、調理システムは、シェフ側の構成として設けられるデータ処理装置１１と、再現側の構成として設けられる制御装置１２とが、インターネットなどのネットワーク１３を介して接続されることによって構成される。上述したように、調理システムには、このようなシェフ側の構成と再現側の構成とが複数設けられる。

【0199】

データ処理装置１１は、上述したレシピデータを生成する装置である。データ処理装置１１はコンピュータなどにより構成される。データ処理装置１１は、例えば、再現された料理を食べる食事人が選択した料理のレシピデータを、ネットワーク１３を介して制御装置１２に送信する。

【0200】

制御装置１２は、調理ロボット１を制御する装置である。制御装置１２もコンピュータなどにより構成される。制御装置１２は、データ処理装置１１から提供されたレシピデータを受信し、レシピデータの記述に基づいて命令コマンドを出力することによって、調理ロボット１の調理動作を制御する。

【0201】

調理ロボット１は、制御装置１２から供給された命令コマンドに従って調理アームなどの各部を駆動し、各調理工程の調理動作を行う。命令コマンドには、調理アームに設けられたモータのトルク、駆動方向、駆動量を制御する情報などが含まれる。

【0202】

料理が完成するまでの間、制御装置１２から調理ロボット１に対して命令コマンドが順次出力される。命令コマンドに応じた動作を調理ロボット１がとることにより、最終的に、料理が完成することになる。

【0203】

図２５は、調理システムの他の構成例を示す図である。

【0204】

図２５に示すように、シェフ側から再現側に対するレシピデータの提供が、ネットワーク上のサーバを介して行われるようにしてもよい。

【0205】

図２５に示すレシピデータ管理サーバ２１は、それぞれのデータ処理装置１１から送信されたレシピデータを受信し、データベースに記憶させるなどして管理する。レシピデータ管理サーバ２１は、ネットワーク１３を介して行われる制御装置１２からの要求に応じて、所定のレシピデータを制御装置１２に送信する。

【0206】

レシピデータ管理サーバ２１は、様々なレストランのシェフが作った料理のレシピデータを一元的に管理し、再現側からの要求に応じてレシピデータを配信する機能を有する。

【0207】

図２６は、制御装置１２の配置例を示す図である。

【0208】

図２６のＡに示すように、制御装置１２は、例えば調理ロボット１の外部の装置として設けられる。図２６のＡの例においては、制御装置１２と調理ロボット１は、ネットワーク１３を介して接続されている。

【0209】

制御装置１２から送信された命令コマンドは、ネットワーク１３を介して調理ロボット１により受信される。調理ロボット１から制御装置１２に対しては、調理ロボット１のカメラにより撮影された画像、調理ロボット１に設けられたセンサにより計測されたセンサデータなどの各種のデータがネットワーク１３を介して送信される。

【0210】

１台の制御装置１２に対して１台の調理ロボット１が接続されるのではなく、１台の制御装置１２に対して複数台の調理ロボット１が接続されるようにしてもよい。

【0211】

図２６のＢに示すように、制御装置１２が調理ロボット１の筐体の内部に設けられるようにしてもよい。この場合、制御装置１２が生成する命令コマンドに従って、調理ロボット１の各部の動作が制御される。

【0212】

以下、主に、制御装置１２が、調理ロボット１の外部の装置として設けられるものとして説明する。

【0213】

（２）シェフ側の構成
図２７は、シェフ側の構成例を示すブロック図である。

【0214】

図２７に示すように、データ処理装置１１に対しては、カメラ４１、生体センサ４２が接続される。上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

【0215】

カメラ４１は、調理を行っているシェフの様子、キッチンの天板上の様子を撮影し、撮影によって得られた画像をデータ処理装置１１に送信する。

【0216】

カメラ４１は複数台のカメラにより構成される。カメラ４１を構成するカメラの中には、例えば、シェフの頭部に取り付けられるものもある。シェフの頭部に取り付けられたカメラは、調理を行っているシェフの手元の様子、調理対象となっている食材の様子、キッチンの天板上の様子を撮影し、撮影によって得られた画像をデータ処理装置１１に送信する。

【0217】

生体センサ４２は、シェフの生体反応を計測するセンサである。生体センサ４２は、上述したそれぞれの生体反応を計測する、脳波計、肌センサ、筋電計、赤外線センサ、モーションセンサ、ウェアラブル活動量計、マイクロフォンなどにより構成される。シェフの生体反応の計測には、カメラ４１により撮影された画像も適宜用いられる。

【0218】

生体センサ４２は、シェフの生体反応の計測結果を表すデータをデータ処理装置１１に送信する。

【0219】

カメラ４１と生体センサ４２以外にも、シェフの体に取り付けられたジャイロセンサ、シェフを撮影する赤外線センサなどの、シェフの動作を認識するための各種のセンサがデータ処理装置１１に対して接続される。

【0220】

図２８は、データ処理装置１１のハードウェアの構成例を示すブロック図である。

【0221】

図２８に示すように、データ処理装置１１はコンピュータにより構成される。CPU(Central Processing Unit)２０１、ROM(Read Only Memory)２０２、RAM(Random Access Memory)２０３は、バス２０４により相互に接続される。

【0222】

バス２０４には、さらに、入出力インタフェース２０５が接続される。入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続される。

【0223】

また、入出力インタフェース２０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、リムーバブルメディア２１１を駆動するドライブ２１０が接続される。

【0224】

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを入出力インタフェース２０５およびバス２０４を介してRAM２０３にロードして実行することにより、各種の処理が行われる。

【0225】

図２９は、データ処理装置１１の機能構成例を示すブロック図である。

【0226】

図２９に示す機能部のうちの少なくとも一部は、図２８のCPU２０１により所定のプログラムが実行されることによって実現される。

【0227】

図２９に示すように、データ処理装置１１においてはデータ処理部２２１が実現される。データ処理部２２１は、調理動作情報生成部２３１、調理人生体情報生成部２３２、レシピデータ生成部２３３、レシピデータ出力部２３４、および食事人生体情報取得部２３５により構成される。

【0228】

調理動作情報生成部２３１は、食材認識部２５１、ツール認識部２５２、および動作認識部２５３により構成される。

【0229】

食材認識部２５１は、カメラ４１により撮影された画像を解析し、シェフが調理に使っている食材の種類を認識する。食材認識部２５１に対しては、特徴情報などの、各種の食材の種類の認識に用いるための認識用情報が与えられている。

【0230】

ツール認識部２５２は、カメラ４１により撮影された画像を解析し、シェフが調理に使っている調理ツールの種類を認識する。ツール認識部２５２に対しては、各種の調理ツールの種類の認識に用いるための認識用情報が与えられている。

【0231】

動作認識部２５３は、カメラ４１により撮影された画像、シェフの体に取り付けられたセンサの計測結果を表すセンサデータなどを解析し、調理を行うシェフの動作を認識する。

【0232】

調理動作情報生成部２３１の各部による認識結果を表す情報はレシピデータ生成部２３３に供給される。

【0233】

調理人生体情報生成部２３２は、生体センサ４２を制御することによって、シェフの生体反応の計測を行う。上述したように、味見をしているシェフの生体反応が計測される。調理人生体情報生成部２３２は、生体センサ４２から送信された、シェフの生体反応の計測結果を表すセンサデータを取得し、レシピデータ生成部２３３に出力する。

【0234】

レシピデータ生成部２３３は、調理動作情報生成部２３１の各部から供給された情報に基づいて調理動作情報を生成する。すなわち、レシピデータ生成部２３３は、食材認識部２５１による認識結果に基づいて食材情報を生成し、ツール認識部２５２と動作認識部２５３による認識結果に基づいて動作情報を生成する。レシピデータ生成部２３３は、食材情報と動作情報を含む調理動作情報を生成する。

【0235】

また、レシピデータ生成部２３３は、調理人生体情報生成部２３２から供給されたセンサデータに基づいて調理人生体情報を生成する。レシピデータ生成部２３３は、適宜、シェフがおいしいと判断しているか否かを風味判定モデルなどに基づいて特定し、風味OKフラグを設定する。

【0236】

シェフが味見をしたときに計測された生体反応を表す全ての調理人生体情報がレシピデータに含まれる場合、全ての調理人生体情報のうち、シェフがおいしいと判断している生体反応を表す調理人生体情報に対して風味OKフラグが設定される。

【0237】

全ての調理人生体情報ではなく、シェフがおいしいと判断している生体反応を表す調理人生体情報だけがレシピデータに含まれる場合、その調理人生体情報に対して風味OKフラグが設定されるようにしてもよい。

【0238】

レシピデータ生成部２３３は、例えばシェフの調理工程毎に、調理動作情報と調理人生体情報とを紐付けることによって調理工程データセットを生成する。レシピデータ生成部２３３は、ある料理の最初の調理工程から最後の調理工程までのそれぞれの調理工程に関する調理工程データセットをまとめることによって、複数の調理工程データセットを記述したレシピデータを生成する。

【0239】

レシピデータ生成部２３３は、このようにして生成したレシピデータをレシピデータ出力部２３４に出力する。

【0240】

また、レシピデータ生成部２３３は、食事人の生体反応を表す食事人生体情報が食事人生体情報取得部２３５から供給された場合、食事人生体情報に基づいて調理工程を更新することによって、レシピデータのカスタマイズを行う。食事人生体情報取得部２３５から供給される食事人生体情報には、どのレシピデータが再現側において用いられているのかを表す情報などが含まれる。

【0241】

レシピデータ生成部２３３は、カスタマイズしたレシピデータをレシピデータ出力部２３４に出力する。

【0242】

レシピデータ出力部２３４は、通信部２０９（図２８）を制御し、レシピデータ生成部２３３により生成されたレシピデータを出力する。レシピデータ出力部２３４から出力されたレシピデータは、ネットワーク１３を介して、制御装置１２、またはレシピデータ管理サーバ２１に供給される。

【0243】

（３）再現側の構成
（３－１）調理ロボット１の構成
・調理ロボット１の外観
図３０は、調理ロボット１の外観を示す斜視図である。

【0244】

図３０に示すように、調理ロボット１は、横長直方体状の筐体３１１を有するキッチン型のロボットである。調理ロボット１の本体となる筐体３１１の内部に各種の構成が設けられる。

【0245】

筐体３１１の背面側には、筐体３１１の上面から立設する形で調理補助システム３１２が設けられる。薄板状の部材で区切ることによって調理補助システム３１２に形成された各スペースは、冷蔵庫、オーブンレンジ、収納などの、調理アーム３２１－１乃至３２１－４による調理を補助するための機能を有する。

【0246】

天板３１１Ａには長手方向にレールが設けられており、そのレールに調理アーム３２１－１乃至３２１－４が設けられる。調理アーム３２１－１乃至３２１－４は、移動機構としてのレールに沿って位置を変えることが可能とされる。

【0247】

調理アーム３２１－１乃至３２１－４は、円筒状の部材を関節部で接続することによって構成されるロボットアームである。調理に関する各種の作業が調理アーム３２１－１乃至３２１－４により行われる。

【0248】

天板３１１Ａの上方の空間が、調理アーム３２１－１乃至３２１－４が調理を行う調理空間となる。

【0249】

図３０においては４本の調理アームが示されているが、調理アームの数は４本に限定されるものではない。以下、適宜、調理アーム３２１－１乃至３２１－４のそれぞれを区別する必要がない場合、まとめて調理アーム３２１という。

【0250】

図３１は、調理アーム３２１の様子を拡大して示す図である。

【0251】

図３１に示すように、調理アーム３２１の先端には、各種の調理機能を有するアタッチメントが取り付けられる。調理アーム３２１用のアタッチメントとして、食材や食器などを掴むマニピュレーター機能（ハンド機能）を有するアタッチメント、食材をカットするナイフ機能を有するアタッチメントなどの各種のアタッチメントが用意される。

【0252】

図３１の例においては、ナイフ機能を有するアタッチメントであるナイフアタッチメント３３１－１が調理アーム３２１－１に取り付けられている。ナイフアタッチメント３３１－１を用いて、天板３１１Ａの上に置かれた肉の塊がカットされている。

【0253】

調理アーム３２１－２には、食材を固定させたり、食材を回転させたりすることに用いられるアタッチメントであるスピンドルアタッチメント３３１－２が取り付けられている。

【0254】

調理アーム３２１－３には、食材の皮をむくピーラーの機能を有するアタッチメントであるピーラーアタッチメント３３１－３が取り付けられている。

【0255】

スピンドルアタッチメント３３１－２を用いて調理アーム３２１－２により持ち上げられているジャガイモの皮が、ピーラーアタッチメント３３１－３を用いて調理アーム３２１－３によりむかれている。このように、複数の調理アーム３２１が連携して１つの作業を行うことも可能とされる。

【0256】

調理アーム３２１－４には、マニピュレーター機能を有するアタッチメントであるマニピュレーターアタッチメント３３１－４が取り付けられている。マニピュレーターアタッチメント３３１－４を用いて、チキンを載せたフライパンが、オーブン機能を有する調理補助システム３１２のスペースに運ばれている。

【0257】

このような調理アーム３２１による調理は、作業の内容に応じてアタッチメントを適宜取り替えて進められる。アタッチメントの取り替えは、例えば調理ロボット１により自動的に行われる。

【0258】

４本の調理アーム３２１のそれぞれにマニピュレーターアタッチメント３３１－４を取り付けるといったように、同じアタッチメントを複数の調理アーム３２１に取り付けることも可能とされる。

【0259】

調理ロボット１による調理は、調理アーム用のツールとして用意された以上のようなアタッチメントを用いて行われるだけでなく、適宜、人が調理に使うツールと同じツールを用いて行われる。例えば、人が使うナイフをマニピュレーターアタッチメント３３１－４によって掴み、ナイフを用いて食材のカットなどの調理が行われる。

【0260】

・調理アームの構成
図３２は、調理アーム３２１の外観を示す図である。

【0261】

図３２に示すように、調理アーム３２１は、全体的に、細い円筒状の部材を、関節部となるヒンジ部で接続することによって構成される。各ヒンジ部には、各部材を駆動させるための力を生じさせるモータなどが設けられる。

【0262】

円筒状の部材として、先端から順に、着脱部材３５１、中継部材３５３、およびベース部材３５５が設けられる。着脱部材３５１は、中継部材３５３の長さの略１／５程度の長さを有する部材である。着脱部材３５１の長さと中継部材３５３の長さを合わせた長さが、ベース部材３５５の長さとほぼ同じ長さとなる。

【0263】

着脱部材３５１と中継部材３５３はヒンジ部３５２によって接続され、中継部材３５３とベース部材３５５はヒンジ部３５４によって接続される。中継部材３５３の両端にはヒンジ部３５２とヒンジ部３５４が設けられる。

【0264】

この例においては、３本の円筒状の部材によって調理アーム３２１が構成されているが、４本以上の円筒状の部材によって構成されるようにしてもよい。この場合、中継部材３５３が複数設けられる。

【0265】

着脱部材３５１の先端には、アタッチメントが着脱される着脱部３５１Ａが設けられる。着脱部材３５１は、各種のアタッチメントが着脱される着脱部３５１Ａを有し、アタッチメントを動作させることによって調理を行う調理機能アーム部として機能する。

【0266】

ベース部材３５５の後端には、レールに取り付けられる着脱部３５６が設けられる。ベース部材３５５は、調理アーム３２１の移動を実現する移動機能アーム部として機能する。

【0267】

図３３は、調理アーム３２１の各部の可動域の例を示す図である。

【0268】

楕円＃１で囲んで示すように、着脱部材３５１は、円形断面の中心軸を中心として回転可能とされる。楕円＃１の中心に示す扁平の小円は、一点鎖線の回転軸の方向を示す。

【0269】

円＃２で囲んで示すように、着脱部材３５１は、ヒンジ部３５２との嵌合部３５１Ｂを通る軸を中心として回転可能とされる。また、中継部材３５３は、ヒンジ部３５２との嵌合部３５３Ａを通る軸を中心として回転可能とされる。

【0270】

円＃２の内側に示す２つの小円はそれぞれの回転軸の方向（紙面垂直方向）を示す。嵌合部３５１Ｂを通る軸を中心とした着脱部材３５１の可動範囲と、嵌合部３５３Ａを通る軸を中心とした中継部材３５３の可動範囲は、それぞれ例えば９０度の範囲である。

【0271】

中継部材３５３は、先端側の部材３５３－１と、後端側の部材３５３－２により分離して構成される。楕円＃３で囲んで示すように、中継部材３５３は、部材３５３－１と部材３５３－２との連結部３５３Ｂにおいて、円形断面の中心軸を中心として回転可能とされる。

【0272】

他の可動部も、基本的に同様の可動域を有する。

【0273】

すなわち、円＃４で囲んで示すように、中継部材３５３は、ヒンジ部３５４との嵌合部３５３Ｃを通る軸を中心として回転可能とされる。また、ベース部材３５５は、ヒンジ部３５４との嵌合部３５５Ａを通る軸を中心として回転可能とされる。

【0274】

ベース部材３５５は、先端側の部材３５５－１と、後端側の部材３５５－２により分離して構成される。楕円＃５で囲んで示すように、ベース部材３５５は、部材３５５－１と部材３５５－２との連結部３５５Ｂにおいて、円形断面の中心軸を中心として回転可能とされる。

【0275】

円＃６で囲んで示すように、ベース部材３５５は、着脱部３５６との嵌合部３５５Ｃを通る軸を中心として回転可能とされる。

【0276】

楕円＃７で囲んで示すように、着脱部３５６は、円形断面の中心軸を中心として回転可能となるようにレールに取り付けられる。

【0277】

このように、先端に着脱部３５１Ａを有する着脱部材３５１、着脱部材３５１とベース部材３５５を連結する中継部材３５３、後端に着脱部３５６が接続されるベース部材３５５は、それぞれ、ヒンジ部により回転可能に接続される。各可動部の動きが、調理ロボット１内のコントローラにより命令コマンドに従って制御される。

【0278】

図３４は、調理アームとコントローラの接続の例を示す図である。

【0279】

図３４に示すように、調理アーム３２１とコントローラ３６１は、筐体３１１の内部に形成された空間３１１Ｂ内において配線を介して接続される。図３４の例においては、調理アーム３２１－１乃至３２１－４とコントローラ３６１は、それぞれ、配線３６２－１乃至３６２－４を介して接続されている。可撓性を有する配線３６２－１乃至３６２－４は、調理アーム３２１－１乃至３２１－４の位置に応じて適宜撓むことになる。

【0280】

このように、調理ロボット１は、調理アーム３２１を駆動させることにより調理に関する各種の作業を行うことが可能なロボットである。

【0281】

・調理ロボット１周りの構成
図３５は、調理ロボット１と周辺の構成の例を示すブロック図である。

【0282】

調理ロボット１は、コントローラ３６１に対して各部が接続されることによって構成される。図３５に示す構成のうち、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

【0283】

コントローラ３６１に対しては、調理アーム３２１の他に、カメラ４０１、生体センサ４０２、および通信部４０３が接続される。

【0284】

図３０等においては図示を省略したが、調理ロボット１自体、または調理ロボット１の周囲の所定の位置には、シェフ側に設けられるセンサと同じセンサが設けられる。カメラ４０１、生体センサ４０２は、それぞれ、シェフ側のカメラ４１、生体センサ４２と同様の機能を有する。

【0285】

コントローラ３６１は、CPU，ROM，RAM、フラッシュメモリなどを有するコンピュータにより構成される。コントローラ３６１は、CPUにより所定のプログラムを実行し、調理ロボット１の全体の動作を制御する制御部として機能する。

【0286】

コントローラ３６１においては、所定のプログラムが実行されることにより、命令コマンド取得部４２１、アーム制御部４２２が実現される。

【0287】

命令コマンド取得部４２１は、制御装置１２から送信され、通信部４０３において受信された命令コマンドを取得する。命令コマンド取得部４２１により取得された命令コマンドはアーム制御部４２２に供給される。

【0288】

アーム制御部４２２は、命令コマンド取得部４２１により取得された命令コマンドに従って調理アーム３２１の動作を制御する。

【0289】

カメラ４０１は、調理動作を行っている調理アーム３２１の様子、調理対象となっている食材の様子、調理ロボット１の天板３１１Ａ上の様子を撮影し、撮影によって得られた画像をコントローラ３６１に出力する。カメラ４０１は、調理補助システム３１２の正面、調理アーム３２１の先端などの様々な位置に設けられる。

【0290】

また、カメラ４０１は、味見をしている食事人の様子、料理を食べている食事人の様子を撮影し、撮影によって得られた画像をコントローラ３６１に出力する。

【0291】

生体センサ４０２は、食事人の生体反応を計測するセンサである。生体センサ４０２は、上述したそれぞれの生体反応を計測する、脳波計、肌センサ、筋電計、赤外線センサ、モーションセンサ、ウェアラブル活動量計、マイクロフォンなどにより構成される。

【0292】

生体センサ４２は、食事人の生体反応の計測結果を表すデータをコントローラ３６１に送信する。

【0293】

通信部４０３は、無線LANモジュール、LTE(Long Term Evolution)に対応した携帯通信モジュールなどの無線通信モジュールである。通信部４０３は、制御装置１２や、インターネット上のレシピデータ管理サーバ２１などの外部の装置との間で通信を行う。

【0294】

また、通信部４０３は、ユーザが使うスマートフォンやタブレット端末などの携帯端末と通信を行う。ユーザは、調理ロボット１により再現された料理を食べる人である。料理の選択などの、調理ロボット１に対するユーザの操作が携帯端末上の操作によって入力されるようにしてもよい。

【0295】

図３５に示すように、調理アーム３２１にはモータ４３１とセンサ４３２が設けられる。

【0296】

モータ４３１は、調理アーム３２１の各関節部に設けられる。モータ４３１は、アーム制御部４２２による制御に従って軸周りの回転動作を行う。モータ４３１の回転量を計測するエンコーダ、モータ４３１の回転をエンコーダによる計測結果に基づいて適応的に制御するドライバなども各関節部に設けられる。

【0297】

センサ４３２は、例えばジャイロセンサ、加速度センサ、タッチセンサなどにより構成される。センサ４３２は、調理アーム３２１の動作中、各関節部の角速度、加速度などを計測し、計測結果を示す情報をコントローラ３６１に出力する。調理ロボット１から制御装置１２に対しては、適宜、センサ４３２の計測結果を示すセンサデータも送信される。

【0298】

調理アーム３２１の数などの、調理ロボット１の仕様に関する情報は、所定のタイミングで調理ロボット１から制御装置１２に提供される。制御装置１２においては、調理ロボット１の仕様に応じて、動作のプランニングが行われる。制御装置１２において生成される命令コマンドは、調理ロボット１の仕様に応じたものとなる。

【0299】

（３－２）制御装置１２の構成
調理ロボット１の動作を制御する制御装置１２は、データ処理装置１１と同様に図２８に示すようなコンピュータにより構成される。以下、適宜、図２８に示すデータ処理装置１１の構成を、制御装置１２の構成として引用して説明する。

【0300】

図３６は、制御装置１２の機能構成例を示すブロック図である。

【0301】

図３６に示す機能部のうちの少なくとも一部は、制御装置１２のCPU２０１（図２８）により所定のプログラムが実行されることによって実現される。

【0302】

図３６に示すように、制御装置１２においてはコマンド生成部５０１が実現される。コマンド生成部５０１は、レシピデータ取得部５１１、レシピデータ解析部５１２、ロボット状態推定部５１３、生体情報処理部５１４、制御部５１５、およびコマンド出力部５１６から構成される。

【0303】

レシピデータ取得部５１１は、通信部２０９を制御し、データ処理装置１１から送信されてきたレシピデータを受信することによって、または、レシピデータ管理サーバ２１と通信を行うなどして、レシピデータを取得する。レシピデータ取得部５１１が取得するレシピデータは、例えば食事人により選択された料理のレシピデータである。

【0304】

カスタマイズされたレシピデータがデータ処理装置１１から送信されてきた場合も同様に、カスタマイズされたレシピデータがレシピデータ取得部５１１により取得される。

【0305】

レシピデータのデータベースが記憶部２０８に設けられているようにしてもよい。この場合、記憶部２０８に設けられるデータベースからレシピデータが取得される。レシピデータ取得部５１１により取得されたレシピデータはレシピデータ解析部５１２に供給される。

【0306】

レシピデータ解析部５１２は、レシピデータ取得部５１１により取得されたレシピデータを解析する。レシピデータ解析部５１２は、ある調理工程のタイミングになった場合、その調理工程に関する調理工程データセットを解析し、調理動作情報と調整人生体情報を抽出する。調理工程データセットから抽出された調理動作情報は制御部５１５に供給され、調整人生体情報は生体情報処理部５１４に供給される。

【0307】

ロボット状態推定部５１３は、通信部２０９を制御し、調理ロボット１から送信されてきた画像とセンサデータを受信する。調理ロボット１からは、調理ロボット１のカメラにより撮影された画像と、調理ロボット１の所定の位置に設けられたセンサにより計測されたセンサデータが所定の周期で送信されてくる。調理ロボット１のカメラにより撮影された画像には、調理ロボット１の周囲の様子が写っている。

【0308】

ロボット状態推定部５１３は、調理ロボット１から送信されてきた画像とセンサデータを解析することによって、調理アーム３２１の状態、食材の状態などの、調理ロボット１の周囲の状態を推定する。ロボット状態推定部５１３により推定された調理ロボット１の周囲の状態を示す情報は、制御部５１５に供給される。

【0309】

生体情報処理部５１４は、制御部５１５と連携し、レシピデータ解析部５１２から供給された調理人生体情報に基づいて、調理ロボット１の動作を制御する。

【0310】

例えば、生体情報処理部５１４は、風味OKフラグが設定されている調理人生体情報がある場合、シェフの味見のタイミングに対応するタイミングで、食事人に対して味見を要求する。上述したように、ある調理が行われた後にシェフにより味見が行われ、その味見のときのシェフの生体反応が、おいしいと判断しているものである場合、同じ調理が調理ロボット１により行われた後のタイミングで、食事人に対して味見が要求される。

【0311】

生体情報処理部５１４は、食事人が味見しているときの生体反応を表すセンサデータが調理ロボット１から送信され、通信部２０９において受信された場合、それを取得する。生体情報処理部５１４は、取得したセンサデータに基づいて食事人生体情報を生成し、データ処理装置１１に対して送信する。

【0312】

制御部５１５は、命令コマンドを生成し、コマンド出力部５１６から送信させることによって、調理ロボット１の動作を制御する。制御部５１５による調理ロボット１の動作の制御は、レシピデータ解析部５１２から供給された調理動作情報に基づいて行われる。

【0313】

例えば、制御部５１５は、調理動作情報に含まれる食材情報に基づいて、実行対象となっている調理工程において用いる食材を特定する。また、制御部５１５は、調理動作情報に含まれる動作情報に基づいて、調理工程において用いる調理ツールと、調理アーム３２１に実行させる動作を特定する。

【0314】

制御部５１５は、食材の準備ができた状態をゴール状態として設定し、現在の調理ロボット１の状態である現在状態からゴール状態までの動作シーケンスを設定する。制御部５１５は、動作シーケンスを構成するそれぞれの動作を行わせるための命令コマンドを生成し、コマンド出力部５１６に出力する。

【0315】

調理ロボット１においては、制御部５１５により生成された命令コマンドに従って調理アーム３２１が制御され、食材の準備が行われる。調理アーム３２１の状態を含む、各タイミングの調理ロボット１の状態を表す情報が、調理ロボット１から制御装置１２に対して送信されてくる。

【0316】

また、制御部５１５は、食材の準備ができた場合、準備した食材を用いた調理（実行対象となっている１つの調理工程の調理）が終わった状態をゴール状態として設定し、現在状態からゴール状態までの動作シーケンスを設定する。制御部５１５は、動作シーケンスを構成するそれぞれの動作を行わせるための命令コマンドを生成し、コマンド出力部５１６に出力する。

【0317】

調理ロボット１においては、制御部５１５により生成された命令コマンドに従って調理アーム３２１が制御され、食材を用いた調理が行われる。

【0318】

制御部５１５による調理ロボット１の動作の制御は、例えば以上のような命令コマンドを用いて行われる。制御部５１５は、命令コマンドを生成する生成部としての機能を有する。

【0319】

なお、制御部５１５が生成する命令コマンドは、ある状態遷移を生じさせるためのアクション全体の実行を命令するコマンドであってもよいし、アクションの一部分の実行を命令するコマンドであってもよい。すなわち、１つのアクションが１つの命令コマンドに従って実行されるようにしてもよいし、複数の命令コマンドに従って実行されるようにしてもよい。

【0320】

コマンド出力部５１６は、通信部２０９を制御し、制御部５１５により生成された命令コマンドを調理ロボット１に送信する。

【0321】

＜調理システムの動作＞
ここで、以上のような構成を有する調理システムの動作について説明する。レシピデータにおいては、シェフの生体反応を表す調理人生体情報が、調理工程毎に紐付けられているものとする。

【0322】

（１）シェフ側の動作
はじめに、図３７のフローチャートを参照して、データ処理装置１１のレシピデータ生成処理について説明する。

【0323】

図３７の処理は、食材や調理ツールの準備が終わり、シェフが調理を始めたときに開始される。カメラ４１による撮影、シェフの体に取り付けられたセンサによるセンシングなども開始される。

【0324】

ステップＳ１において、図２９の食材認識部２５１は、カメラ４１により撮影された画像を解析し、シェフが使う食材を認識する。

【0325】

ステップＳ２において、動作認識部２５３は、カメラ４１により撮影された画像、シェフの体に取り付けられたセンサの計測結果を表すセンサデータなどを解析し、シェフの調理動作を認識する。

【0326】

ステップＳ３において、レシピデータ生成部２３３は、食材認識部２５１による認識結果に基づいて生成された食材情報と、動作認識部２５３による認識結果に基づいて生成された動作情報に基づいて調理動作情報を生成する。

【0327】

ステップＳ４において、レシピデータ生成部２３３は、味見が行われたか否かを判定し、味見が行われていないと判定した場合、ステップＳ１に戻り、上述した処理を繰り返す。

【0328】

味見が行われたとステップＳ４において判定した場合、処理はステップＳ５に進む。

【0329】

ステップＳ５において、調理人生体情報生成部２３２は、生体センサ４２を制御することによって、シェフの生体反応の計測を行う。シェフの生体反応の計測結果を表すセンサデータは、調理人生体情報生成部２３２により取得され、レシピデータ生成部２３３に供給される。

【0330】

ステップＳ６において、レシピデータ生成部２３３は、調理人生体情報生成部２３２から供給されたセンサデータに基づいて調理人生体情報を生成する。

【0331】

ステップＳ７において、レシピデータ生成部２３３は、調理動作情報と調理人生体情報を紐付けることによって調理工程データセットを生成する。

【0332】

ステップＳ８において、レシピデータ生成部２３３は、全ての調理工程が終了したか否かを判定し、全ての調理工程がまだ終了していないと判定した場合、ステップＳ１に戻り、上述した処理を繰り返す。次の調理工程を対象として、同様の処理が繰り返される。

【0333】

全ての調理工程が終了したとステップＳ８において判定した場合、処理はステップＳ９に進む。

【0334】

ステップＳ９において、レシピデータ生成部２３３は、全ての調理工程データセットを含むレシピデータを生成する。

【0335】

次に、図３８のフローチャートを参照して、レシピデータをカスタマイズするデータ処理装置１１の処理について説明する。

【0336】

図３８の処理は、再現側において調理工程が進み、所定のタイミングで味見が行われることによって、食事人生体情報が制御装置１２から送信されてきたときに開始される。

【0337】

ステップＳ１１において、食事人生体情報取得部２３５は、制御装置１２から送信されてきた食事人生体情報を取得する。

【0338】

ステップＳ１２において、食事人生体情報取得部２３５は、調理工程の更新が必要か否かを食事人生体情報に基づいて判定する。

【0339】

調理済みの食材を食事人がおいしいと判断していることから、調理工程の更新が必要ないとステップＳ１２において判定された場合、処理は終了となる。この場合、レシピデータのカスタマイズは行われない。

【0340】

一方、調理済みの食材を食事人がおいしくないと判断していることから、調理工程の更新が必要であるとステップＳ１２において判定された場合、処理はステップＳ１３に進む。

【0341】

ステップＳ１３において、レシピデータ生成部２３３は、食事人生体情報取得部２３５により取得された食事人生体情報を風味主観情報生成用モデルに入力し、風味主観値を算出する。

【0342】

ステップＳ１４において、レシピデータ生成部２３３は、風味主観値により表される食事人の風味の感じ方に応じて調理工程を更新したレシピデータを生成する。

【0343】

ステップＳ１５において、レシピデータ生成部２３３は、調理工程を更新することによってカスタマイズしたレシピデータをレシピデータ出力部２３４に出力し、制御装置１２に対して提供する。制御装置１２においては、カスタマイズされたレシピデータに基づいて、調理が行われることになる。

【0344】

（２）再現側の動作
図３９のフローチャートを参照して、制御装置１２の料理再現処理について説明する。

【0345】

ステップＳ３１において、図３６のレシピデータ取得部５１１は、データ処理装置１１から送信されてきたレシピデータを取得する。レシピデータ取得部５１１により取得されたレシピデータは、レシピデータ解析部５１２において解析され、調理動作情報と調理人生体情報が抽出される。調理動作情報は制御部５１５に供給され、調理人生体情報は生体情報処理部５１４に供給される。

【0346】

ステップＳ３２において、制御部５１５は、１つの調理工程を実行対象として選択する。先頭の調理工程に関する調理工程データセットから順に、実行対象として選択される。

【0347】

ステップＳ３３において、制御部５１５は、調理動作情報の記述に基づいて命令コマンドを生成し、調理ロボット１に送信することによって、調理アーム３２１に調理動作を実行させる。

【0348】

ステップＳ３４において、生体情報処理部５１４は、風味OKフラグが設定されている調理人生体情報があるか否かを判定する。

【0349】

風味OKフラグが設定されている調理人生体情報があるとステップＳ３４において判定した場合、ステップＳ３５において、生体情報処理部５１４は、食事人に対して味見を要求する。

【0350】

ステップＳ３６において、制御部５１５は、命令コマンドを送信することによって、食事人が味見しているときの生体反応の計測を調理ロボット１に行わせる。

【0351】

ステップＳ３７において、生体情報処理部５１４は、調理ロボット１から送信されてきたセンサデータに基づいて食事人生体情報を生成し、データ処理装置１１に対して送信する。

【0352】

データ処理装置１１においては、図３８を参照して説明した処理が行われ、必要に応じて、レシピデータのカスタマイズが行われる。レシピデータのカスタマイズが行われた場合、カスタマイズされたレシピデータがデータ処理装置１１から送信されてくる。

【0353】

ステップＳ３８において、レシピデータ取得部５１１は、カスタマイズされたレシピデータがデータ処理装置１１から送信されてきたか否かを判定する。

【0354】

カスタマイズされたレシピデータが送信されてきたとステップＳ３８において判定した場合、ステップＳ３９において、レシピデータ取得部５１１は、データ処理装置１１から送信されてきた、カスタマイズされたレシピデータを取得する。レシピデータのカスタマイズが行われた場合、以降の処理は、カスタマイズされたレシピデータに基づいて行われる。

【0355】

一方、ステップＳ３４において、風味OKフラグが設定されている調理人生体情報がないと判定された場合、ステップＳ３５乃至Ｓ３９の処理がスキップされる。また、ステップＳ３８において、カスタマイズされたレシピデータが送信されてきていないと判定された場合、ステップＳ３９の処理がスキップされる。

【0356】

ステップＳ４０において、制御部５１５は、全ての調理工程が終了したか否かを判定し、全ての調理工程がまだ終了していないと判定した場合、ステップＳ３２に戻り、上述した処理を繰り返す。次の調理工程を対象として、同様の処理が繰り返される。

【0357】

一方、全ての調理工程が終了したとステップＳ４０において判定された場合、料理が完成となり、料理再現処理が終了される。

【0358】

以上の一連の処理により、シェフが作る料理と同じ料理であり、食事人の好みに応じて風味がカスタマイズされた料理が再現される。

【0359】

食事人は、シェフが作った料理と同じ料理を、自分の好みに応じてカスタマイズして食べることができる。

【0360】

また、シェフは、自分が作った料理を、様々な人に、それぞれの人の好みに応じてカスタマイズして提供することができる。

【0361】

＜風味情報を含むレシピデータ＞
図４０は、調理工程データセットに含まれる情報の例を示す図である。

【0362】

図４０の吹き出しに示すように、上述した調理動作情報と調理人生体情報に加えて、食材の風味に関する情報である風味情報が、調理工程データセットに含まれるようにしてもよい。上述した説明と重複する説明については適宜省略する。

【0363】

風味情報は、料理を作るときにシェフが感覚として得た風味をデータ化した感覚データである。以下、風味情報について説明する。

【0364】

図４０に示すように、風味情報は、風味センサ情報と風味主観情報から構成される。

【0365】

（１）風味センサ情報
風味情報を構成する風味センサ情報は、食材の風味をセンサにより計測して得られたセンサデータである。調理が全く施されていない食材の風味をセンサにより計測して得られたセンサデータが風味センサ情報として風味情報に含まれるようにしてもよい。

【0366】

風味は、味、香り、質感、体感温度、色彩によって構成されるから、風味センサ情報には、味に関するセンサデータ、香りに関するセンサデータ、質感に関するセンサデータ、体感温度に関するセンサデータ、色彩に関するセンサデータが含まれる。全てのセンサデータが風味センサ情報に含まれるようにしてもよいし、いずれかのセンサデータが風味センサ情報に含まれないようにしてもよい。

【0367】

風味センサ情報を構成するそれぞれのセンサデータを、味覚センサデータ、嗅覚センサデータ、質感センサデータ、体感温度センサデータ、色彩センサデータという。

【0368】

味覚センサデータは、味覚センサにより計測されたセンサデータである。味覚センサデータは、塩味センサ値、酸味センサ値、苦味センサ値、甘味センサ値、旨味センサ値、辛味センサ値、渋味センサ値のうちの少なくともいずれかのパラメータにより構成される。

【0369】

味覚センサには、例えば、センサ部に人工的な脂質膜を用いた人工脂質膜型味覚センサがある。人工脂質膜型味覚センサは、味を感じさせる原因となる物質である呈味物質に対する、脂質膜の静電相互作用や疎水性相互作用によって生じた膜電位の変化を検出し、センサ値として出力するセンサである。

【0370】

人工脂質膜型味覚センサではなく、食物の味を構成する塩味、酸味、苦味、甘味、旨味、辛味、渋味のそれぞれの要素をデータ化して出力することができる装置であれば、高分子膜を用いた味覚センサなどの各種の装置を味覚センサとして用いることが可能である。

【0371】

嗅覚センサデータは、嗅覚センサにより計測されたセンサデータである。嗅覚センサデータは、スパイシーな香り、フルーティーな香り、青臭い、かび臭い（チージー）、シトラスの香り、ローズの香りなどの、香りを表現する要素毎の値により構成される。

【0372】

嗅覚センサには、例えば、水晶振動子などのセンサを無数に設けたセンサがある。人間の鼻の受容体の代わりに水晶振動子が用いられることになる。水晶振動子を用いた嗅覚センサは、香り成分が水晶振動子にぶつかったときの、水晶振動子の振動周波数の変化を検出し、振動周波数の変化のパターンに基づいて、上述した香りを表現する値を出力するものである。

【0373】

水晶振動子を用いたセンサではなく、香りを表現する値を出力することができる装置であれば、カーボンなどの各種の素材からなるセンサを人間の鼻の受容体の代わりに用いた各種の装置を嗅覚センサとして用いることが可能である。

【0374】

質感センサデータは、カメラにより撮影された画像や、各種のセンサにより計測されたセンサデータを解析することにより特定されるセンサデータである。質感センサデータは、硬さ（硬度）、ベタベタ感、粘性（応力）、凝集性、ポリマー含有量、水分含有量、油分含有量などを表す情報のうちの少なくともいずれかのパラメータにより構成される。

【0375】

硬さ、ベタベタ感、粘性、凝集性は、例えば、シェフが調理を行っている食材をカメラで撮影した画像を解析することによって認識される。例えば、シェフがかき混ぜているスープの画像を解析することにより、硬さ、ベタベタ感、粘性、凝集性などの値を認識することが可能となる。これらの値が、シェフが包丁で食材を切ったときの応力を計測することにより認識されるようにしてもよい。

【0376】

ポリマー含有量、水分含有量、油分含有量は、例えば、所定の波長の光を食材に照射し、その反射光を解析することによってそれらの値を計測するセンサにより計測される。

【0377】

それぞれの食材と質感の各パラメータとを対応付けたデータベースが用意されており、データベースを参照して、それぞれの食材の質感センサデータが認識されるようにしてもよい。

【0378】

体感温度センサデータは、食材の温度を温度センサにより計測することによって得られるセンサデータである。

【0379】

色彩センサデータは、カメラにより撮影された画像から食材の色彩を解析することにより特定されるデータである。

【0380】

（２）風味主観情報
風味主観情報は、調理を行っているシェフなどの、人の主観的な風味の感じ方を表す情報である。風味主観情報は、風味センサ情報に基づいて算出される。

【0381】

風味は、味、香り、質感、体感温度、色彩によって構成されるから、風味主観情報には、味に関する主観情報、香りに関する主観情報、質感に関する主観情報、体感温度に関する主観情報、色彩に関する主観情報が含まれる。味に関する主観情報、香りに関する主観情報、質感に関する主観情報、体感温度に関する主観情報、色彩に関する主観情報の全てが風味主観情報に含まれるようにしてもよいし、いずれかの主観情報が風味主観情報に含まれないようにしてもよい。

【0382】

風味主観情報を構成するそれぞれの主観情報を、味覚主観情報、嗅覚主観情報、質感主観情報、体感温度主観情報、色彩主観情報という。

【0383】

図４１は、味覚主観情報の算出例を示す図である。

【0384】

図４１に示すように、味覚主観情報は、深層学習などにより生成されたニューラルネットワークのモデルである味覚主観情報生成用モデルを用いて算出される。味覚主観情報生成用モデルは、例えば、ある食材の味覚センサデータと、その食材を食べたシェフの味の感じ方を表す情報（数値）を用いた学習を行うことによって予め生成される。

【0385】

例えば、図４１に示すように、ある食材の味覚センサデータである塩味センサ値、酸味センサ値、苦味センサ値、甘味センサ値、旨味センサ値、辛味センサ値、渋味センサ値のそれぞれを入力した場合、味覚主観情報生成用モデルからは、塩味主観値、酸味主観値、苦味主観値、甘味主観値、旨味主観値、辛味主観値、渋味主観値のそれぞれが出力される。

【0386】

塩味主観値は、シェフの塩味の感じ方を表す値である。酸味主観値は、シェフの酸味の感じ方を表す値である。苦味主観値、甘味主観値、旨味主観値、辛味主観値、渋味主観値も同様に、それぞれ、シェフの、苦味、甘味、旨味、辛味、渋味の感じ方を表す値である。

【0387】

風味主観情報を構成する他の主観情報も同様に、それぞれの主観情報生成用のモデルを用いて算出される。

【0388】

すなわち、嗅覚主観情報は、嗅覚センサデータを嗅覚主観情報生成用モデルに入力することによって算出され、質感主観情報は、質感センサデータを質感主観情報生成用モデルに入力することによって算出される。体感温度主観情報は、体感温度主観センサデータを体感温度主観情報生成用モデルに入力することによって算出され、色彩主観情報は、色彩センサデータを色彩主観情報生成用モデルに入力することによって算出される。

【0389】

ニューラルネットワークのモデルを用いるのではなく、ある食材の味覚センサデータと、その食材を食べたシェフの味の感じ方を表す情報とを対応付けたテーブル情報に基づいて味覚主観情報が算出されるようにしてもよい。風味センサ情報を用いた風味主観情報の算出の仕方については様々な方法を採用することができる。

【0390】

以上のように、レシピデータは、調理工程を実現するための調理動作に関する情報である調理動作情報、調理人の生体反応を表す調理人生体情報、および、調理工程の進捗に連動して計測された、食材や料理の風味に関する情報である風味情報をリンクさせる（紐付ける）ことによって構成される。

【0391】

・レシピデータの生成と料理の再現の流れの例
図４２は、レシピデータの生成の流れの例を示す図である。

【0392】

なお、図４２には、生体情報に関する処理の図示を省略している。図４３についても同様である。

【0393】

図４２に示すように、調理工程データセットを構成する調理動作情報は、食材を用いた調理を行うシェフの動作と、風味を調整するシェフの動作とをセンシングし、センシング結果に基づいて生成される。

【0394】

また、風味情報は、調理後の食材の風味をセンシングし、センシング結果に基づいて生成される。食材の風味を計測するための上述した各種のセンサがシェフ側には用意される。

【0395】

図４２の例においては、矢印Ａ１，Ａ２に示すように、調理工程＃１としてシェフが行う調理の動作と、風味を調整するシェフの動作とのセンシング結果に基づいて、調理工程＃１の調理工程データセットを構成する調理動作情報が生成されている。

【0396】

また、矢印Ａ３に示すように、調理工程＃１による調理後の食材の風味のセンシング結果に基づいて、調理工程＃１の調理工程データセットを構成する風味情報が生成されている。

【0397】

調理工程＃１が終了した後、次の調理工程である調理工程＃２が行われる。

【0398】

同様に、矢印Ａ１１，Ａ１２に示すように、調理工程＃２としてシェフが行う調理の動作と、風味を調整するシェフの動作とのセンシング結果に基づいて、調理工程＃２の調理工程データセットを構成する調理動作情報が生成されている。

【0399】

また、矢印Ａ１３に示すように、調理工程＃２による調理後の食材の風味のセンシング結果に基づいて、調理工程＃２の調理工程データセットを構成する風味情報が生成されている。

【0400】

このような複数の調理工程を経て１つの料理が完成する。また、料理が完成するとともに、各調理工程の調理工程データセットを記述したレシピデータが生成される。

【0401】

なお、１つの調理工程に含まれる調理動作の単位は任意に設定可能である。１つの調理工程が、味見や味見後の風味の調整を伴わない調理動作から構成されることもあるし、風味の調整だけから構成されることもある。この場合も同様に、調理工程毎に風味のセンシングが行われ、センシング結果に基づいて得られた風味情報が調理工程データセットに含まれる。

【0402】

１つの調理工程が終わる毎に風味のセンシングが行われるのではなく、風味のセンシングのタイミングについても任意に設定可能である。例えば、１つの調理工程の間、風味のセンシングが繰り返し行われるようにしてもよい。この場合、調理工程データセットには、風味情報の時系列データが含まれることになる。

【0403】

全ての調理工程データセットに風味情報が含まれるのではなく、風味の計測が任意のタイミングで行われる毎に、風味情報が、そのタイミングで行われていた調理動作の情報とともに調理工程データセットに含まれるようにしてもよい。

【0404】

図４３は、レシピデータに基づく料理の再現の流れの例を示す図である。

【0405】

図４３に示すように、調理ロボット１による料理の再現は、レシピデータに記述された調理工程データセットに含まれる調理動作情報に基づいて調理を行い、調理後の食材の風味を計測して、風味を調整することを、調理工程毎に繰り返すことによって行われる。食材の風味を計測するための各種のセンサが、調理ロボット１側にも用意される。

【0406】

風味の調整は、例えば、調理ロボット１側に用意されたセンサにより計測された風味が、風味情報により表される風味に近づくように、作業を加えるようにして行われる。

【0407】

風味の計測と調整は、例えば、１つの調理工程において複数回繰り返されることもある。すなわち、調整が行われる毎に、調整後の食材を対象として風味の計測が行われ、計測結果に基づいて風味の調整が行われる。

【0408】

図４３の例においては、矢印Ａ２１に示すように、調理工程＃１の調理工程データセットを構成する調理動作情報に基づいて調理ロボット１の調理動作が制御され、シェフの調理工程＃１の動作と同じ動作が調理ロボット１により行われる。

【0409】

シェフの調理工程＃１の動作と同じ動作が調理ロボット１により行われた後、調理後の食材の風味が計測され、矢印Ａ２２に示すように、調理工程＃１の調理工程データセットを構成する風味情報に基づいて、調理ロボット１の風味の調整が制御される。

【0410】

調理ロボット１側に用意されたセンサにより計測された風味が、風味情報により表される風味に一致した場合、風味の調整が終わり、調理工程＃１も終了となる。例えば、完全に一致するだけでなく、調理ロボット１側に用意されたセンサにより計測された風味と、風味情報により表される風味が閾値以上類似する場合も、両者が一致するものとして判定される。

【0411】

調理工程＃１が終了した後、次の調理工程である調理工程＃２が行われる。

【0412】

同様に、矢印Ａ３１に示すように、調理工程＃２の調理工程データセットを構成する調理動作情報に基づいて調理ロボット１の調理動作が制御され、シェフの調理工程＃２の動作と同じ動作が調理ロボット１により行われる。

【0413】

シェフの調理工程＃２の動作と同じ動作が調理ロボット１により行われた後、調理後の食材の風味が計測され、矢印Ａ３２に示すように、調理工程＃２の調理工程データセットを構成する風味情報に基づいて、調理ロボット１の風味の調整が制御される。

【0414】

調理ロボット１側に用意されたセンサにより計測された風味が、風味情報により表される風味に一致した場合、風味の調整が終わり、調理工程＃２も終了となる。

【0415】

このような複数の調理工程を経て、シェフが作った料理が調理ロボット１により再現される。

【0416】

調理ロボット１による調理は、調理工程毎に風味を調整するようにして行われるから、最終的に出来上がる料理は、シェフが作った料理と同じか、あるいは、近い風味の料理となる。このように、シェフが作った料理と同じ風味の料理がレシピデータに基づいて再現される。

【0417】

シェフは、例えば自分が経営するレストランに来店することができない人に対して、自分が作った料理と同じ風味の料理を提供することができる。また、シェフは、自分が作る料理を、レシピデータとして再現可能な形で残すことが可能となる。

【0418】

一方、調理ロボット１によって再現された料理を食べる人は、シェフが作った料理と同じ風味の料理を食べることができる。

【0419】

図４４は、レシピデータの他の記述内容の例を示す図である。

【0420】

図４４に示すように、完成した料理の風味に関する風味情報がレシピデータに含まれるようにしてもよい。この場合、完成した料理の風味に関する風味情報は、全体の調理動作情報にリンクされる。

【0421】

このように、調理動作情報と風味情報との紐付けの関係は、１対１である必要はない。

【0422】

＜変形例＞
レシピデータのカスタマイズが、食事人の生体反応に基づいて行われるものとしたが、食事人に関する他の情報に基づいてカスタマイズが行われるようにしてもよい。

【0423】

例えば、年齢、性別、国籍、生活地域などの、食事人の属性に基づいてレシピデータのカスタマイズが行われるようにすることが可能である。国籍に基づいてレシピデータのカスタマイズが行われる場合、日本国籍の人向けのレシピデータ、アメリカ国籍の人向けのレシピデータ、フランス国籍の人向けのレシピデータといったように、国籍毎のレシピデータが生成される。

【0424】

シェフ側の調理に関する音の情報が環境情報としてレシピデータに含まれるようにしてもよい。調理に関する音には、食材をナイフで切るときの音や、食材を鍋で煮るときの音などがある。

【0425】

・構成の変形例
レシピデータに基づいて料理を再現する調理ロボットが家庭内に設置された調理ロボット１であるものとしたが、様々な場所に設けられた調理ロボットにおいて料理が再現されるようにしてもよい。例えば、工場に設けられた調理ロボット、レストランに設けられた調理ロボットにおいて料理を再現させる場合にも、上述した技術は適用可能である。

【0426】

また、レシピデータに基づいて料理を再現する調理ロボットが、調理アームを動作させて調理を行う調理ロボット１であるものとしたが、調理アーム以外の構成によって食材の調理を行うことが可能な、様々な調理ロボットにおいて料理が再現されるようにしてもよい。

【0427】

以上においては、調理ロボット１の制御が制御装置１２により行われるものとしたが、レシピデータを生成するデータ処理装置１１により直接行われるようにしてもよい。この場合、データ処理装置１１には、図３６を参照して説明したコマンド生成部５０１の各構成が設けられる。

【0428】

また、コマンド生成部５０１の各構成が、レシピデータ管理サーバ２１に設けられるようにしてもよい。

【0429】

レシピデータを管理して他の機器に提供するレシピデータ管理サーバ２１のサーバ機能が、レシピデータを生成するデータ処理装置１１に設けられるようにしてもよい。

【0430】

図４５は、調理システムの他の構成例を示す図である。

【0431】

データ処理装置１１が有するレシピデータ管理部１１Ａは、レシピデータを管理して他の機器に提供するサーバ機能を有する。レシピデータ管理部１１Ａが管理するレシピデータが、複数の調理ロボットや、調理ロボットを制御する制御装置に対して提供される。

【0432】

・データの管理
上述したレシピデータ、調理工程データセット（調理動作情報、風味情報）などは、調理工程についての思想や感情を創作的に表現した成果物といえるものであるから、著作物と考えることもできる。

【0433】

例えば、調理を行うシェフ（例えば有名店を経営するシェフなど）は、調理工程において、食材の選択や味見などの試行を繰り返しながら、創作性を有する美味しい料理を完成させる。この場合、レシピデータ、調理工程データセット（調理動作情報、風味情報）には、データとしての価値が存在することになり、他者が利用する場合にはその対価が必要となる状況も想定できる。

【0434】

従って、レシピデータ、調理工程データセット（調理動作情報、風味情報）などを、音楽などと同様に、著作権管理する応用例も考えられる。

【0435】

つまり、本開示では、個別のデータに対して保護機能を設ける、コピー防止、暗号化、などの著作権保護技術を用いて、個別のレシピデータ、調理工程データセットを保護することも可能である。

【0436】

この場合、例えば、図２５のレシピデータ管理サーバ２１（図４５のデータ処理装置１１）は、シェフとレシピデータ（又は調理工程データセット）とを紐付ける形で、著作権管理した状態で管理する。

【0437】

次に、ユーザが、レシピデータを利用して調理ロボット１に調理を行わせたい場合には、そのレシピデータに対する利用料をユーザが支払うことにより、例えば、制御装置１２にダウンロードされたレシピデータを調理ロボット１における調理のために利用することが可能となる。なお、その利用料は、レシピデータの創作者であるシェフ、レシピデータを管理するデータ管理者などに還元される。

【0438】

また、本開示では、データの取引履歴を台帳としてサーバで分散管理するブロックチェーン技術を用いて、個別のレシピデータ、調理工程データセットを保護することも可能である。

【0439】

この場合、例えば、図２５のレシピデータ管理サーバ２１（図４５のデータ処理装置１１）は、データの取引履歴を台帳としてサーバ（クラウドサーバ、エッジサーバなど）で分散管理するブロックチェーン技術を用いて、シェフとレシピデータ（又は調理工程データセット）とを紐付ける形で管理する。

【0440】

次に、ユーザが、レシピデータを利用して調理ロボット１に調理を行わせたい場合には、そのレシピデータに対する利用料をユーザが支払うことにより、例えば、制御装置１２にダウンロードされたレシピデータを調理ロボット１における調理のために利用することが可能となる。なお、その利用料は、レシピデータの創作者であるシェフ、レシピデータを管理するデータ管理者などに還元される。

【0441】

このように、レシピデータ（又は調理工程データセット）を、シェフ、ユーザ、利用料のそれぞれの関係を考慮して、創作的な形で表現された著作物として効率的に管理することが可能である。

【0442】

・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。

【0443】

インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図２８に示されるリムーバブルメディア２１１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

【0444】

コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

【0445】

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0446】

本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

【0447】

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0448】

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0449】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0450】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【符号の説明】

【0451】

１ 調理ロボット， １１ データ処理装置， １２ 制御装置， ２１ レシピデータ管理サーバ， ４１ カメラ， ４２ 生体センサ， ２２１ データ処理部， ２３１ 調理動作情報生成部， ２３２ 調理人生体情報生成部， ２３３ レシピデータ生成部， ２３４ レシピデータ出力部， ２３５ 食事人生体情報取得部， ３２１ 調理アーム， ３６１ コントローラ， ４０１ カメラ， ４０２ 生体センサ， ４０３ 通信部， ５０１ コマンド生成部， ５１１ レシピデータ取得部， ５１２ レシピデータ解析部， ５１３ ロボット状態推定部， ５１４ 生体情報処理部， ５１５ 制御部， ５１６ コマンド出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】