特許 6321523 調理情報提供方法、制御方法、プログラムおよび端末装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6321523

(24)【登録日】2018年4月13日

(45)【発行日】2018年5月9日

(54)【発明の名称】調理情報提供方法、制御方法、プログラムおよび端末装置

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20180423BHJP

   G06Q 50/00 20120101ALI20180423BHJP

【ＦＩ】

   G06Q50/10

   G06Q50/00 300

【請求項の数】10

【全頁数】34

(21)【出願番号】特願2014-228878(P2014-228878)

(22)【出願日】2014年11月11日

(65)【公開番号】特開2015-118699(P2015-118699A)

(43)【公開日】2015年6月25日

【審査請求日】2017年5月31日

(31)【優先権主張番号】特願2013-236657(P2013-236657)

(32)【優先日】2013年11月15日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100105050

【弁理士】

【氏名又は名称】鷲田 公一

(72)【発明者】

【氏名】坂田 幸太郎

(72)【発明者】

【氏名】大坪 紹二

(72)【発明者】

【氏名】亀井 梨奈子

(72)【発明者】

【氏名】成田 伸恵

【審査官】 田付 徳雄

(56)【参考文献】

【文献】 特開２０１３−１１４４１１（ＪＰ，Ａ）

【文献】 特開２００３−２８１２９７（ＪＰ，Ａ）

【文献】 特開２００６−１４６３４９（ＪＰ，Ａ）

【文献】 国際公開第２００５／０８８５４２（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２００４／０１３８８９９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００ − ９９／００

(57)【特許請求の範囲】

【請求項1】

調理中のユーザが利用する端末装置とネットワークを介して接続し、前記調理中のユーザの情報を収集および管理する調理情報管理システムにおける調理情報提供方法であって、
調理中の複数のユーザのそれぞれから、各ユーザが調理中のレシピを示す調理中レシピ情報と、実行中の調理工程を示す実行中工程情報とを受信し、
前記実行中工程情報に基づいて前記実行中の調理工程を認識し、
前記認識された調理工程を示す認識結果情報と、前記調理中レシピ情報とを対応付けてユーザごとに記憶し、
前記記憶した、前記認識結果情報および前記調理中レシピ情報に基づいて、第１のユーザが実行中であるレシピの調理工程と同一のレシピの同一の調理工程をリアルタイムに実行している第２のユーザを示す情報を含む提示情報を生成し、
前記ネットワークを介して前記第１のユーザが利用する端末装置のディスプレイに前記生成した提示情報を表示させる、
調理情報提供方法。

【請求項2】

前記端末装置から更に前記第２のユーザを選択する要求を受信すると、
前記第２のユーザが前記調理工程を実行している画像を前記端末装置のディスプレイに表示させる、または前記第２のユーザが前記調理工程を実行している音声を前記第１のユーザが利用する端末装置のスピーカに出力させる、
請求項１記載の調理情報提供方法。

【請求項3】

前記端末装置から更に前記第２のユーザを選択する要求を受信すると、
前記第２のユーザが前記調理工程を実行しているときに前記第２のユーザが利用する端末装置から入力したテキスト情報を前記端末装置のディスプレイに表示させる
請求項１記載の調理情報提供方法。

【請求項4】

前記提示情報は、更に、前記第１のユーザが実行中である所定のレシピの所定の調理工程と同一のレシピの同一の調理工程を過去に実行した第３のユーザの情報を含む
請求項１記載の調理情報提供方法。

【請求項5】

前記提示情報は、更に、
前記複数の調理工程ごとに複数の前記第２のユーザを示す情報を含む、
請求項１記載の調理情報提供方法。

【請求項6】

前記提示情報は、更に、
前記実行中の調理工程を示す情報を含む 請求項１記載の調理情報提供方法。

【請求項7】

前記第２のユーザが前記調理工程を実行している画像を前記端末装置のディスプレイに表示させる間、前記端末装置は前記第２のユーザが利用する端末装置と通信可能に接続する
請求項２記載の調理情報提供方法。

【請求項8】

入力装置およびサーバ装置とネットワークを介して接続する端末装置の制御方法であって、
前記端末装置に対し、
第１のユーザが調理中のレシピを示す調理中レシピ情報を前記サーバ装置へ送信し、
前記入力装置に前記第１のユーザが実行中の調理工程を示す実行中工程情報の入力を開始させ、
前記入力装置に前記実行中工程情報を前記サーバ装置へ送信させ、
前記サーバ装置から提示情報を受信し、
前記受信した提示情報を前記端末装置のディスプレイに表示させ、
前記提示情報は、前記第１のユーザが実行中であるレシピの調理工程と同一のレシピの同一の調理工程をリアルタイムに実行している第２のユーザを示す情報を含む、
制御方法。

【請求項9】

調理中のユーザの画像または音声を入力する入力装置およびサーバ装置とネットワークを介して接続するコンピュータを実行させるプログラムであって、
前記コンピュータに対し、
第１のユーザが調理中のレシピを示す調理中レシピ情報を前記サーバ装置へ送信し、
前記入力装置に前記第１のユーザが実行中の調理工程を示す実行中工程情報の入力を開始させ、
前記入力装置に前記実行中工程情報を前記サーバ装置へ送信させ、
前記サーバ装置から提示情報を受信し、
前記受信した提示情報を前記端末装置のディスプレイに表示させ、
前記提示情報は、前記第１のユーザが実行中であるレシピの調理工程と同一のレシピの同一の調理工程をリアルタイムに実行している第２のユーザを示す情報を含む、
プログラム。

【請求項10】

調理中のユーザの画像または音声を入力する入力装置およびサーバ装置とネットワークを介して接続する端末装置であって、
第１のユーザが調理中のレシピを示す調理中レシピ情報を前記サーバ装置へ送信する情報送信部、
前記サーバ装置から提示情報を受信する情報受信部を備え、
前記情報送信部は、前記入力装置に前記第１のユーザが実行中の調理工程を示す実行中工程情報の入力を開始させるとともに、前記入力装置に前記実行中工程情報を前記サーバ装置へ送信させる情報を前記入力装置へ送信し、
前記端末装置は、更に
前記受信した提示情報を前記端末装置のディスプレイに表示し、
前記提示情報は、前記第１のユーザが実行中であるレシピの調理工程と同一のレシピの同一の調理工程をリアルタイムに実行している第２のユーザを示す情報を含む、
端末装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、調理情報提供方法、制御方法、プログラムおよび端末装置に関する。

【背景技術】

【0002】

従来、複数の調理工程から成るレシピに関する情報をサーバから端末装置へ提供することにより、端末装置を利用するユーザが行う調理を支援するシステムが提案されている。

【0003】

例えば、特許文献１には、端末装置から所定のレシピがサーバへ要求された場合、サーバから端末装置に対して調理工程ごとの調理状態を示す動画が提供される調理情報システムが提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００２−２９０９５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記特許文献１では、更なる改善が必要とされていた。

【0006】

本開示の一態様に係る調理情報提供方法は、調理中のユーザが利用する端末装置とネットワークを介して接続し、調理中のユーザの情報を収集および管理する調理情報管理システムにおける調理情報提供方法であって、調理中の複数のユーザのそれぞれにから、各ユーザが調理中のレシピを示す調理中レシピ情報と、実行中の調理工程を示す実行中工程情報とを受信し、実行中工程情報に基づいて実行中の調理工程を認識し、認識された調理工程を示す認識結果情報と、調理中レシピ情報とを対応付けてユーザごとに記憶し、記憶した、認識結果情報および調理中レシピ情報に基づいて、第１のユーザが実行中であるレシピの調理工程と同一のレシピの同一の調理工程をリアルタイムに実行している第２のユーザを示す情報を含む提示情報を生成し、ネットワークを介して第１のユーザが利用する端末装置のディスプレイに生成した提示情報を表示させる。

【0007】

なお、これらの包括的または具体的な側面は、システム、装置、および、コンピュータプログラムで実現されてもよく、システム、装置、方法、およびコンピュータプログラムの任意な組み合わせで実現されてもよい。

【発明の効果】

【0008】

本開示によれば、一人で調理する場合であっても、孤独感なく、調理を進めることができるので、更なる、改善が期待できる。

【図面の簡単な説明】

【0009】

【図1A】本開示の一実施の形態に係る調理支援システムの概要について説明する図である。

【図1B】本開示の一実施の形態に係る調理情報提供システムおけるデータセンタ運営会社と機器メーカとの関係の一例を示す図である。

【図1C】本開示の一実施の形態に係る調理情報提供システムにおけるデータセンタ運営会社と機器メーカおよび管理会社との関係の一例を示す図である。

【図2】本開示の一実施の形態に係る調理情報提供システムの構成の一例を示すブロック図である。

【図3】本開示の一実施の形態に係るレシピ情報の一例を示す図である。

【図4】本開示の一実施の形態に係るユーザ情報の一例を示す図である。

【図5】本開示の一実施の形態に係る調理情報提供システムの動作の一例を示すシーケンス図である。

【図6A】本開示の一実施の形態に係る調理支援画面の一例を示す図である。

【図6B】本開示の一実施の形態に係る調理支援画面の一例を示す図である。

【図6C】本開示の一実施の形態に係る調理支援画面の一例を示す図である。

【図7A】本開示の一実施の形態に係る調理支援画面の一例を示す図である。

【図7B】本開示の一実施の形態に係る調理支援画面の一例を示す図である。

【図7C】本開示の一実施の形態に係る調理支援画面の一例を示す図である。

【図8】本開示の一実施の形態に係る調理支援画面の一例を示す図である。

【図9】本開示の一実施の形態に係るユーザの属性情報の一例を示す図である。

【図10】本開示の一実施の形態に係る調理情報提供システムの動作の一例を示すフローチャートである。

【図11】本開示の実施の形態に係る機器およびサーバ装置の機能をソフトウェアにより実現するコンピュータのハードウェア構成の一例を示す図である。

【図12】本開示の一実施の形態に係るサービスの類型１（自社データセンタ型）の一例を示す図である。

【図13】本開示の一実施の形態に係るサービスの類型２（ＩａａＳ利用型）の一例を示す図である。

【図14】本開示の一実施の形態に係るサービスの類型３（ＰａａＳ利用型）の一例を示す図である。

【図15】本開示の一実施の形態に係るサービスの類型４（ＳａａＳ利用型）の一例を示す図である。

【発明を実施するための形態】

【0010】

まず、本発明者らが本開示に係る各態様の発明をするにあたって、検討した事項を説明する。

【0011】

（本発明の基礎となった知見）
例えば料理教室などにおいて多数の人が同じレシピを調理する場合、他の人の調理状況を確認しながら調理できるので、各人は、孤独感なく、調理を進めることができる。しかしながら、例えば家において一人で調理する場合、その人はリアルタイムに同じ料理を作っている人と調理状態の共有をすることができず、孤独感があるという課題がある。

【0012】

上述した特許文献１のシステムでは、ユーザは、調理工程ごとの具体的な調理状態を確認することはできるが、同じレシピを調理中の他の人の存在を把握したり、他の人の調理状態を確認することはできない。よって、他の人と共に調理をしているという共感を味わうことは出来ず、一人で調理をしている孤独感は解消されない。

【0013】

本開示は、一人で調理する場合であっても、孤独感なく、調理を進めることができる調理情報提供方法を得ることである。

【0014】

本開示の一態様に係る調理情報提供方法は、調理中のユーザが利用する端末装置とネットワークを介して接続し、調理中のユーザの情報を収集および管理する調理情報管理システムにおける調理情報提供方法であって、調理中の複数のユーザのそれぞれから、各ユーザが調理中のレシピを示す調理中レシピ情報と、実行中の調理工程を示す実行中工程情報とを受信し、実行中工程情報に基づいて実行中の調理工程を認識し、認識された調理工程を示す認識結果情報と、調理中レシピ情報とを対応付けてユーザごとに記憶し、記憶した、認識結果情報および調理中レシピ情報に基づいて、第１のユーザが実行中であるレシピの調理工程と同一のレシピの同一の調理工程をリアルタイムに実行している第２のユーザを示す情報を含む提示情報を生成し、ネットワークを介して第１のユーザが利用する端末装置のディスプレイに生成した提示情報を表示させる。

【0015】

このように構成をすることにより、一人で調理する場合であっても、第１のユーザが利用する端末装置のディスプレイを通じて同じレシピの同じ調理工程を実行している第２のユーザの存在を把握できる。また第１のユーザは、リアルタイムに第２のユーザが自分と同じレシピの同じ調理工程を実行中であることを把握できるので、一人で調理をしているという孤独感なく、調理を進めることができる。

【0016】

本開示の一態様に係る調理情報提供方法は、第１のユーザが利用する端末装置から更に第２のユーザを選択する要求を受信すると、第２のユーザが調理工程を実行している画像を端末装置のディスプレイに表示させる、または第２のユーザが調理工程を実行している音声を第１のユーザが利用する前記端末装置のスピーカに出力させる。

【0017】

このように構成をすることにより、一人で調理する場合であっても、第１のユーザが利用する端末装置のディスプレイを通じて、第１のユーザと同じ調理工程を実施している第２のユーザの画像を見ながら、または音声を聞きながら調理が出来るので、第２のユーザの画像または音声を参考にしながら調理できるので、調理をスムーズに進めることができるばかりか、一人で調理しているという孤独感の更なる解消につながる。

【0018】

本開示の一態様に係る調理情報提供方法は、端末装置から更に第２のユーザを選択する要求を受信すると、第２のユーザが調理工程を実行しているときに第２のユーザが利用する端末装置から入力したテキスト情報を端末装置のディスプレイに表示させる。

【0019】

このように構成をすることにより、調理中に第２のユーザから第１のユーザへメッセージを送ることができる。

【0020】

本開示の一態様に係る調理情報提供方法は、提示情報は、更に、第１のユーザが実行中である所定のレシピの所定の調理工程と同一のレシピの同一の調理工程を過去に実行した第３のユーザの情報を含む。

【0021】

このように構成をすることにより、自分が実行している工程と同じ工程を過去に実行した他のユーザの進行を参考にしながら、調理を行うことができる。

【0022】

本開示の一態様に係る調理情報提供方法は、提示情報は、更に、複数の調理工程ごとに複数の第２のユーザを示す情報を含む。

【0023】

このように構成をすることにより、第１のユーザは、調理工程ごとに現在調理中のユーザを把握でき、かつ複数の調理工程ごとに複数の第２のユーザの中から希望するユーザを選択することができる。

【0024】

本開示の一態様に係る調理情報提供方法は、提示情報は、提示情報は、更に、実行中の調理工程を示す情報を含む。

【0025】

このように構成をすることにより、第１のユーザおよび第２のユーザが実行中の調理工程を把握することができる。

【0026】

本開示の一態様に係る調理情報提供方法は、第２のユーザが調理工程を実行している画像を端末装置のディスプレイに表示させる間、端末装置は前記第２のユーザが利用する端末装置と通信可能に接続する。

【0027】

このように構成をすることにより、第１のユーザと第２のユーザとの間で双方向の通信が可能となる。よって、第１のユーザと第２のユーザとの間でリアルタイムなコミュニケーションを実施できるようになり、よりスムーズに調理を進めることができるばかりか、一人で調理しているという孤独感の更なる解消につながる。

【0028】

本開示の一態様に係る制御方法は、入力装置およびサーバ装置とネットワークを介して接続する端末装置の制御方法であって、端末装置に対し、第１のユーザが調理中のレシピを示す調理中レシピ情報をサーバ装置へ送信し、入力装置に第１のユーザが実行中の調理工程を示す実行中工程情報の入力を開始させ、入力装置に実行中工程情報をサーバ装置へ送信させ、サーバ装置から提示情報を受信し、受信した提示情報を端末装置のディスプレイに表示させ、提示情報は、第１のユーザが実行中であるレシピの調理工程と同一のレシピの同一の調理工程をリアルタイムに実行している第２のユーザを示す情報を含む。

【0029】

このように構成をすることにより、一人で調理する場合であっても、第１のユーザが利用する端末装置のディスプレイを通じて同じレシピの同じ調理工程を実行している第２のユーザの存在を把握できる。また第１のユーザは、リアルタイムに第２のユーザが自分と同じレシピの同じ調理工程を実行中であることを把握できるので、一人で調理をしているという孤独感なく、調理を進めることができる。

【0030】

本開示の一態様に係るプログラムは、調理中のユーザの画像または音声を入力する入力装置およびサーバ装置とネットワークを介して接続するコンピュータを実行させるプログラムであって、コンピュータに対し、第１のユーザが調理中のレシピを示す調理中レシピ情報をサーバ装置へ送信し、入力装置に第１のユーザが実行中の調理工程を示す実行中工程情報の入力を開始させ、入力装置に実行中工程情報をサーバ装置へ送信させ、サーバ装置から提示情報を受信し、受信した提示情報を端末装置のディスプレイに表示させ、提示情報は、第１のユーザが実行中であるレシピの調理工程と同一のレシピの同一の調理工程をリアルタイムに実行している第２のユーザを示す情報を含む。

【0031】

このように構成をすることにより、一人で調理する場合であっても、第１のユーザが利用する端末装置のディスプレイを通じて同じレシピの同じ調理工程を実行している第２のユーザの存在を把握できる。また第１のユーザは、リアルタイムに第２のユーザが自分と同じレシピの同じ調理工程を実行中であることを把握できるので、一人で調理をしているという孤独感なく、調理を進めることができる。

【0032】

本開示の一態様に係る端末装置は、調理中のユーザの画像または音声を入力する入力装置およびサーバ装置とネットワークを介して接続する端末装置であって、第１のユーザが調理中のレシピを示す調理中レシピ情報をサーバ装置へ送信する情報送信部、サーバ装置から提示情報を受信する情報受信部を備え、情報送信部は、入力装置に第１のユーザが実行中の調理工程を示す実行中工程情報の入力を開始させるとともに、入力装置に実行中工程情報をサーバ装置へ送信させる情報を入力装置へ送信し、端末装置は、更に受信した提示情報を端末装置のディスプレイに表示し、提示情報は、第１のユーザが実行中であるレシピの調理工程と同一のレシピの同一の調理工程をリアルタイムに実行している第２のユーザを示す情報を含む。

【0033】

このように構成をすることにより、一人で調理する場合であっても、第１のユーザが利用する端末装置のディスプレイを通じて同じレシピの同じ調理工程を実行している第２のユーザの存在を把握できる。また第１のユーザは、リアルタイムに第２のユーザが自分と同じレシピの同じ調理工程を実行中であることを把握できるので、一人で調理をしているという孤独感なく、調理を進めることができる。

【0034】

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

【0035】

＜提供するサービスの全体像＞
図１は、本開示の一実施の形態における調理情報提供システム（以後、調理支援システムと称す）の概要について説明する図である。図１Ａには、本実施の形態における調理支援システムの全体像が示されている。グループ１０は、例えば企業、団体、家庭等であり、その規模を問わない。グループ１０には、複数の機器１０ａである機器Ａ、機器Ｂおよびホームゲートウェイ１０ｂが存在する。

【0036】

複数の機器１０ａには、インターネットと接続可能な機器（例えば、スマートフォン、ＰＣ、ＴＶ等）もあれば、それ自身ではインターネットと接続不可能な機器（例えば、照明、洗濯機、冷蔵庫等）も存在する。それ自身ではインターネットと接続不可能な機器であっても、ホームゲートウェイ１０ｂを介してインターネットと接続可能となる機器が存在してもよい。またグループ１０には複数の機器１０ａを使用するユーザ１が存在する。

【0037】

データセンタ運営会社１１には、クラウドサーバ１１ａが存在する。クラウドサーバ１１ａとはインターネットを介して様々な機器と連携する仮想化サーバである。データセンタ運営会社１１は、データ管理やクラウドサーバ１１ａの管理、それらを行うデータセンタの運営等を行っている。データセンタ運営会社１１が行っている役務については詳細を後述する。

【0038】

ここで、データセンタ運営会社１１は、データ管理やクラウドサーバ１１ａの運営等のみを行っている会社に限らない。図１Ｂは、本開示の一実施の形態に係る調理支援システムおけるデータセンタ運営会社と機器メーカとの関係の一例を示す図である。図に示すように例えば複数の機器１０ａのうちの一つの機器を開発・製造している機器メーカが、併せてデータ管理やクラウドサーバ１１ａの管理等を行っている場合は、機器メーカがデータセンタ運営会社１１に該当する。

【0039】

また、データセンタ運営会社１１は一つの会社に限らない。図１Ｃは、本開示の一実施の形態に係る調理支援システムにおけるデータセンタ運営会社と機器メーカおよび管理会社との関係の一例を示す図である。図に示すように例えば機器メーカ及び他の管理会社が共同もしくは分担してデータ管理やクラウドサーバ１１ａの運営を行っている場合は、両者もしくはいずれか一方がデータセンタ運営会社１１に該当するものとする。

【0040】

サービスプロバイダ１２は、サーバ１２ａを保有している。ここで言うサーバ１２ａとは、その規模は問わず例えば、個人用ＰＣ内のメモリ等も含む。また、サービスプロバイダがサーバ１２ａを保有していない場合もある。

【0041】

なお、上記サービスにおいてホームゲートウェイ１０ｂは必須ではない。例えば、クラウドサーバ１１ａが全てのデータ管理を行っている場合等は、ホームゲートウェイ１０ｂは不要となる。また、家庭内のあらゆる機器がインターネットに接続されている場合のように、それ自身ではインターネットと接続不可能な機器は存在しない場合もある。

【0042】

次に、上記サービスにおける情報の流れを説明する。まず、グループ１０の機器Ａまたは機器Ｂは、それぞれ、ログ情報をデータセンタ運営会社１１のクラウドサーバ１１ａに送信する。クラウドサーバ１１ａは、機器Ａまたは機器Ｂの情報を集積する（図１（ａ））。

【0043】

ここで、ログ情報とは、複数の機器１０ａの、例えば運転状況または動作日時等を示す情報である。その例として、テレビの視聴履歴、レコーダの録画予約情報、洗濯機の運転日時・洗濯物の量、冷蔵庫の開閉日時・開閉回数などが挙げられる。なお、ログ情報は、これらのものに限らず、あらゆる機器から取得が可能なすべての情報をいう。本実施の形態では、後述するユーザ情報および実行中工程情報は、ログ情報に含まれるとする。

【0044】

なお、ログ情報は、インターネットを介して複数の機器１０ａ自体からクラウドサーバ１１ａに直接提供される場合もある。また複数の機器１０ａからホームゲートウェイ１０ｂに情報が一旦集積され、ホームゲートウェイ１０ｂからクラウドサーバ１１ａに提供されてもよい。

【0045】

次に、データセンタ運営会社１１のクラウドサーバ１１ａは、集積した情報を一定の単位でサービスプロバイダ１２に提供する。ここで、一定の単位は、データセンタ運営会社が集積した情報を整理してサービスプロバイダ１２に提供することの出来る単位でもいいし、サービスプロバイダ１２が要求した単位でもいい。一定の単位と記載したが一定でなくてもよく、状況に応じて提供する情報量が変化する場合もある。

【0046】

上述したログ情報は、必要に応じてサービスプロバイダ１２が保有するサーバ１２ａに保存される（図１Ａ（ｂ））。そして、サービスプロバイダ１２は、ログ情報をユーザに提供するサービスに適合する情報（例えば、後述する画面情報）に整理し、ユーザに提供する。提供するユーザは、複数の機器１０ａを使用するユーザ１でもよいし、外部のユーザ２でもよい。

【0047】

ユーザへのサービス提供方法は、例えば、サービスプロバイダ１２から直接ユーザへ提供されてもよい（図１Ａ（ｆ）、（ｅ））。また、ユーザへのサービス提供方法は、例えば、データセンタ運営会社１１のクラウドサーバ１１ａを再度経由して、ユーザに提供されてもよい（図１Ａ（ｃ）、（ｄ））。また、データセンタ運営会社１１のクラウドサーバ１１ａがログ情報をユーザに提供するサービスに適合する情報に整理し、サービスプロバイダ１２に提供してもよい。

【0048】

なお、ユーザ１とユーザ２とは、別でも同一でもよい。

【0049】

＜実施の形態の構成＞
図２は、本開示の一実施の形態に係る調理支援システムの構成の一例を示すブロック図である。図２に示すように、この調理支援システムは、機器１００（本発明の端末装置の一例）、入力装置２００、サーバ装置３００（本実施のサーバ装置の一例）を有する。

【0050】

図２において、機器１００、入力装置２００、およびサーバ装置３００は、ネットワーク４００を介して接続される。ネットワーク４００は、無線ネットワークでもよいし、有線ネットワークでもよいし、有線ネットワークと無線ネットワークとが混在したネットワークでもよい。例えば、機器１００と入力装置２００とはＬＡＮ（Local Area Network）で接続され、機器１００とサーバ装置３００とはインターネットで接続され、入力装置２００とサーバ装置３００とはインターネットで接続される。

【0051】

また、図２には、機器１００が１台しか示されていないが、２台以上であってもよい。

【0052】

機器１００は、例えば、スマートフォンまたはタブレットなどの端末装置（携帯型の端末装置であってもよいし、据え置き型の端末装置であってもよい）、または、電子レンジまたは電磁調理器等の調理機器であってもよい。

【0053】

機器１００は、入力部１０１、通知部１０２、記憶部１０３、情報送受信部１０４、情報処理部１０５を備える。

【0054】

入力部１０１は、ボタン、タッチパネルなどの入力デバイスである。通知部１０２は、出力デバイスである。出力デバイスは、ディスプレイなどの表示デバイス、または、スピーカを含む。記憶部１０３は、メモリ、ハードディスク装置などの記憶デバイスである。

【0055】

記憶部１０３は、機器１００を利用するユーザに関する情報（以下、ユーザ情報という）を記憶する。ユーザ情報は、例えばユーザにより入力部１０１から入力され、例えば、ＩＤ、名前、画像、使用機種、ブックマーク、友人、公開範囲、公開形式、調理中レシピなどの情報を含む。このユーザ情報は、機器１００からサーバ装置３００に送信され、記憶部３０４に記憶される。なお、ユーザ情報の詳細については、図４を用いて後述する。

【0056】

また、記憶部１０３は、サーバ装置３００から受信した画面情報を記憶する。画面情報とは、ユーザに提示する情報（提示情報）の一例であり、例えば、ユーザの調理を支援する画面（以下、調理支援画面という）を構成する情報（すなわち、画像情報）である。この画面情報は、通知部１０２により通知される。通知部１０２による通知とは、例えば、記憶部１０３に記憶された画面情報を表示デバイス（ディスプレイ）に表示することである。表示デバイスは、例えば機器１００が備える。または、機器１００と表示デバイスとは別体であってもよい。

【0057】

また、画面情報に音声情報が含まれる場合は、その音声情報をスピーカなどにより音声として出力することとしてもよい。ここでいう音声情報は、例えば、ユーザの調理を支援する音声（以下、調理支援音声という）の情報である。なお、画面情報に基づいて表示される調理支援画面の詳細については、図６〜図８を用いて後述する。

【0058】

情報送受信部１０４は、他の装置に情報を送信し、また、他の装置により送信された情報を受信する通信インターフェース部である。情報送受信部１０４は、情報送信部と情報受信部とを有する。例えば、情報送受信部１０４の情報送信部は、所定の調理支援画面の表示を要求する情報（以下、表示要求という）を、ユーザ情報（例えば、ユーザＩＤ）とともにサーバ装置３００へ送信する。また、例えば、情報送受信部１０４の情報送信部は、ユーザ情報（例えば、ユーザＩＤ）を入力装置２００に送信する。情報送受信部１０４は、入力装置２００にユーザ情報を送信することで、入力装置２００に調理中のユーザの情報である実行中工程情報の入力を開始させ、入力装置２００に入力された実行中工程情報をサーバ装置３００へ送信させる。また、例えば、情報送受信部１０４の情報受信部は、上記表示要求に応じてサーバ装置３００により送信された画面情報を受信する。

【0059】

情報処理部１０５は、種々の情報処理を実行するプロセッサなどの制御デバイスである。例えば、情報処理部１０５は、機器１００を利用するユーザ情報を記憶部１０３に記憶するとともに、所定のタイミングで記憶部１０３からユーザ情報を読み出して、そのユーザ情報を入力装置２００またはサーバ装置３００に情報送受信部１０４を介して送信する。また、例えば、情報処理部１０５は、サーバ装置３００から受信した画面情報を記憶部１０３に記憶するとともに、その画面情報を通知部１０２に通知させる。通知部１０２は、画面情報を表示デバイス（ディスプレイ）に表示させることにより、ユーザに画面情報を提示することから、「提示部」と言うことができる。

【0060】

また、情報処理部１０５は、入力部１０１より入力された情報を処理する。

【0061】

入力装置２００は、機器１００を利用するユーザが実行中の調理工程の情報などをサーバ装置３００へ送信する装置である。この入力装置２００は、情報送受信部２０１、情報処理部２０２、入力部２０３を備える。

【0062】

情報送受信部２０１は、他の装置に情報を送信し、また、他の装置により送信された情報を受信する通信インターフェース部である。情報送受信部２０１は、情報送信部と情報受信部とを有する。例えば、情報送受信部２０１の情報受信部は、機器１００により送信されたユーザ情報（例えば、ユーザＩＤ）を受信する。また、例えば、情報送受信部２０１の情報送信部は、入力部２０３から入力された実行中工程情報をユーザ情報（例えば、ユーザＩＤ）とともにサーバ装置３００に送信する。実行中工程情報とは、ユーザが実行中の調理工程（以下、実行中工程という）に関する情報である。その具体例については、後述する。

【0063】

情報処理部２０２は、種々の情報処理を実行するプロセッサなどの制御デバイスである。例えば、情報処理部２０２は、情報送受信部２０１によりユーザ情報（例えば、ユーザＩＤ）が受信されると、入力部２０３に対して、実行中工程情報の入力を開始させる。そして、例えば、情報処理部２０２は、情報送受信部２０１に対して、実行中工程情報にユーザＩＤを対応付けてサーバ装置３００へ送信させる。

【0064】

入力部２０３は、カメラ、マイクなどの入力デバイスである。入力部２０３は、例えば、キッチンの天井などに設置され、調理中のユーザの手元などの画像を含む画像情報、および、調理中のユーザの発する音声を含む音声情報などを入力する。また、例えば、入力部２０３は、調理中のユーザが使用している調理機器と接続され、その調理機器の動作状態を示す動作情報を入力してもよい。このように入力部２０３に入力された情報は、実行中工程情報として情報送受信部２０１へ出力される。なお、ここでいう調理中のユーザとは、機器１００の記憶部１０３に記憶されたユーザ情報に対応するユーザ（第１のユーザ）であるとする。すなわち、本実施の形態では、機器１００を利用するユーザが機器１００の表示デバイス（ディスプレイ）に表示された調理支援画面等を見ながら調理を行っている場合において、入力装置２００が実行中工程情報をリアルタイムでサーバ装置３００へ送信する。上述したとおり、実行中工程情報は、情報送受信部２０１が受信したユーザＩＤに対応付けられて、情報送受信部２０１からサーバ装置３００へ送信される。

【0065】

なお、上記では例として、実行中工程情報は、入力装置２００からサーバ装置３００へ直接送信される例としたが、入力装置２００から機器１００を介してサーバ装置３００へ送信されてもよい。

【0066】

また、上記では例として、実行中工程情報は、入力装置２００から入力される例としたが、機器１００から入力されてサーバ装置３００へ送信されてもよい。また、サーバ装置３００は、機器１００とは異なる機器および入力装置２００とは異なる入力装置とネットワーク４００を介して接続している。機器１００とは異なる機器とは、例えば、機器１００を利用するユーザ以外の他のユーザ（第２のユーザ）が利用する端末装置に対応する機器である。入力装置２００とは異なる入力装置とは、例えば第２のユーザの実行中情報をサーバ装置３００へ送信する入力装置である。

【0067】

機器１００とは異なる機器の具体的な構成、動作は、ユーザ情報が第２のユーザに関する情報であること以外は、基本的には機器１００の構成、動作と同一であるため、ここではその説明を省略する。入力装置２００とは異なる入力装置の具体的な構成、動作については、第２のユーザが利用する機器から受信するユーザ情報が第２のユーザに関する情報であること、サーバ装置３００へ送信される情報が第２のユーザに関する実行中工程情報であること以外は、基本的には入力装置２００の構成、動作と同一であるため、ここではその説明を省略する。

【0068】

サーバ装置３００は、画面情報を機器１００へ送信するなどの処理を行う装置である。このサーバ装置３００は、情報送受信部３０１、工程認識部３０２、情報生成部３０３、記憶部３０４を備える。

【0069】

情報送受信部３０１は、他の装置に情報を送信し、また、他の装置により送信された情報を受信する通信インターフェース部である。情報送受信部３０１は、情報送信部と情報受信部とを有する。例えば、情報送受信部３０１の情報受信部は、機器１００により送信された、ユーザ情報、または、ユーザ情報（ユーザＩＤ）と対応付けられた表示要求を受信する。また、例えば、情報送受信部３０１の情報受信部は、入力装置２００により送信された実行中工程情報を受信する。また、例えば、情報送受信部３０１の情報送信部は、上記表示要求に応じた画面情報を機器１００に送信する。

【0070】

工程認識部３０２は、実行中工程情報に基づいて、実行中工程を認識するプロセッサなどの制御デバイスである。具体的には、工程認識部３０２は、実行中工程が複数の調理工程のうちのどの調理工程に相当するかを認識する。例えば、工程認識部３０２は、調理中のユーザの手元が撮影された画像の画像認識により、実行中工程を認識する。また、例えば、工程認識部３０２は、調理中のユーザの発した音声（例えば、どんな調理工程を開始するのかを示す音声、または、どんな調理工程を完了したのかを示す音声）の音声認識により、実行中工程を認識する。あるいは、工程認識部３０２は、例えば、調理に使用されている調理機器のスイッチのオン／オフにより、実行中工程を認識する。そして、工程認識部３０２は、認識結果を示す認識結果情報を生成し、その認識結果情報を記憶部３０４に記憶させる。

【0071】

情報生成部３０３は、記憶部３０４に記憶されているレシピ情報およびユーザ情報、入力装置２００から受信した実行中工程情報などに基づいて、画面情報（音声情報を伴ってもよい）を生成するプロセッサなどの制御デバイスである。なお、画面情報の具体的な内容については、図６〜図８を用いて後述する。

【0072】

記憶部３０４は、メモリ、ハードディスク装置などの記憶デバイスである。記憶部３０４は、レシピ情報およびユーザ情報を記憶する。以下、各情報の具体例について説明する。

【0073】

まず、レシピ情報について、図３を用いて説明する。図３は、本開示の一実施の形態に係るレシピ情報の一例を示す図である。より具体的には、図３は、記憶部３０４に記憶されるレシピ情報の一例である。

【0074】

図３に示すように、レシピ情報は、レシピ名１、レシピ名１画像、レシピ名２、レシピ名２画像、工程数の各情報を含む。

【0075】

レシピ名１は、レシピの名称を示す情報である。図３では、例えば、「カレー」、「ハンバーグ」が登録されている。

【0076】

レシピ名１画像は、レシピ名１に対応付けられて登録された情報であり、レシピ名１が示すレシピの画像を示す情報である。図３では、例えば、カレーを示す画像として「ｘｘｘ．ｊｐｇ」、ハンバーグを示す画像として「ｙｙｙ．ｊｐｇ」が登録されている。なお、ここでは、画像のデータ形式をＪＰＥＧとしたが、これに限定されない。

【0077】

レシピ名２は、レシピ名１に対応付けられて登録された情報であり、レシピ名１が示すレシピ名より下位概念のレシピ名を示す情報である。図３では、例えば、「カレー」の下位概念として、「チキンカレー」、「シーフードカレー」、「野菜カレー」等が登録されている。また、図３では、例えば、「ハンバーグ」の下位概念として、「ビーフハンバーグ」、「チーズインハンバーグ」等が登録されている。

【0078】

レシピ名２画像は、レシピ名２に対応付けられて登録された情報であり、レシピ名２が示すレシピの画像を示す情報である。図３では、例えば、「チキンカレー」を示す画像として「ｘｘ１．ｊｐｇ」、「シーフードカレー」を示す画像として「ｘｘ２．ｊｐｇ」、「野菜カレー」を示す画像として「ｘｘ９．ｊｐｇ」、「ビーフハンバーグ」を示す画像として「ｙｙ１．ｊｐｇ」、「チーズインハンバーグ」を示す画像として「ｙｙ９．ｊｐｇ」が登録されている。なお、ここでは、画像のデータ形式をＪＰＥＧとしたが、これに限定されない。

【0079】

工程数は、レシピ名２に対応付けられて登録された情報であり、レシピを構成する調理工程の数を示す情報である。図３では、例えば、「チキンカレー」の工程数として「５」、「シーフードカレー」の工程数として「６」、「野菜カレー」の工程数として「５」、「ビーフハンバーグ」の工程数として「７」、「チーズインハンバーグ」の工程数として「８」が登録されている。

【0080】

上述した、レシピ名１、レシピ名１画像、レシピ名２、レシピ名２画像、工程数といった情報は、例えばサーバ装置３００の管理者により適宜入力され、サーバ装置３００の記憶部３０４に登録される。

【0081】

このようにして記憶部３０４に記憶されたレシピ情報は、情報生成部３０３による画面情報の生成に用いられる。

【0082】

以上、記憶部３０４に記憶されるレシピ情報の一例について説明した。

【0083】

次に、ユーザ情報について、図４を用いて説明する。図４は、本開示の一実施の形態に係るユーザ情報の一例を示す図である。具体的には、図４は、記憶部３０４に記憶されるユーザ情報の一例である。

【0084】

図４に示すように、ユーザ情報は、ユーザＩＤ、名前、画像、使用機種、ブックマーク、友人、公開範囲、公開形式、調理中レシピ、認識結果の各情報を含む。

【0085】

ユーザＩＤは、画面情報の提供対象となる機器（例えば、機器１００）のユーザを識別可能な情報である。例えば、図４では、「１１１１」、「１１１２」、「２１１２」等が登録されている。このユーザＩＤに対応付けられて、以下の各情報が登録される。

【0086】

名前は、ユーザＩＤが示すユーザの名前を示す情報である。この名前は、必ずしも本名でなくてもよい。例えば、図４では、ユーザＩＤ「１１１１」に対応して名前「ＳＳＳ」、ユーザＩＤ「１１１２」に対応して名前「ＡＡＡ」、ユーザＩＤ「２１１２」に対応して名前「ＰＰＰ」等が登録されている。

【0087】

画像は、ユーザの画像を示す情報である。例えば、図４では、ユーザＩＤ「１１１１」に対応して画像「ｓｓｓ．ｊｐｇ」、ユーザＩＤ「１１１２」に対応して画像「ａａａ．ｊｐｇ」、ユーザＩＤ「２１１２」に対応して画像「ｐｐｐ．ｊｐｇ」等が登録されている。なお、ここでは、画像のデータ形式をＪＰＥＧとしたが、これに限定されない。

【0088】

使用機種は、ユーザが調理に使用する調理機器の機種（例えば、型番）を示す情報である。例えば、図４では、ユーザＩＤ「１１１１」に対応して使用機種「ＰＮ４１０」、ユーザＩＤ「１１１２」に対応して使用機種「ＰＦ１１０」、ユーザＩＤ「２１１２」に対応して使用機種「ＷＡ２５５」等が登録されている。なお、図４では使用機種の登録を１つだけとしているが、複数の使用機種が登録されてもよい。

【0089】

ブックマークは、ユーザがブックマークしたレシピを示す情報である。例えば、図４では、ユーザＩＤ「１１１１」に対応してブックマーク「チキンカレー」、ユーザＩＤ「１１１２」に対応してブックマーク「シーフードカレー」、ユーザＩＤ「２１１２」に対応してブックマーク「チーズインハンバーグ」等が登録されている。なお、図４ではブックマークの登録を１つだけとしているが、複数のブックマークが登録されてもよい。

【0090】

友人は、ユーザが友人として登録した他のユーザを示す情報である。この友人は、必ずしも友人関係である必要はない。例えば、図４では、ユーザＩＤ「１１１１」に対応して友人「ＢＢＢ」、ユーザＩＤ「１１１２」に対応して友人「ＣＣＣ」、ユーザＩＤ「２１１２」に対応して友人「ＦＦＦ」等が登録されている。なお、図４では友人の登録を１名だけとしているが、複数の友人が登録されてもよい。

【0091】

公開範囲は、ユーザが自分自身の実行中工程情報を公開する範囲を示す情報である。例えば、図４では、ユーザＩＤ「１１１１」および「１１１２」に対応して公開範囲「一般」、ユーザＩＤ「２１１２」に対応して公開範囲「友人」等が登録されている。「一般」とは、全てのユーザに対して実行中工程情報が公開されることを意味する。また、「友人」とは、友人として登録されたユーザに対してのみ実行中工程情報が公開されることを意味する。

【0092】

公開形式は、ユーザが自分自身の実行中工程情報を公開する形式を示す情報である。例えば、図４では、ユーザＩＤ「１１１１」および「２１１２」に対応して公開形式「動画」、ユーザＩＤ「１１１２」に対応して公開形式「静止画」等が登録されている。「動画」とは、調理中の動画が公開されることを意味する。また、「静止画」とは、調理中の静止画が公開されることを意味する。これら以外の公開形式として、例えば、調理中にユーザが発する音声のみを公開したり、または、調理中にユーザが発する音声をテキスト情報（以後、テキストと称す）に変換した文字列のみを公開したりしてもよい。あるいは、動画（または静止画）、音声、文字列を任意に組み合わせて公開してもよい。

【0093】

調理中レシピは、ユーザが調理中（または、これから調理を開始する）のレシピを示す情報である。図４では、ユーザＩＤ「１１１１」に対応して調理中レシピ「チキンカレー」、ユーザＩＤ「１１１２」に対応して調理中レシピ「シーフードカレー」、ユーザＩＤ「２１１２」に対応して調理中レシピ「野菜カレー」等が登録されている。

【0094】

認識結果は、工程認識部３０２によって認識された実行中工程を示す情報である。すなわち、認識結果とは、複数の調理工程のうちのどの調理工程が実行中であるかを示す情報である。図４では、ユーザＩＤ「１１１１」および「１１１２」に対応して認識結果「工程１」、ユーザＩＤ「２１１２」に対応して認識結果「工程４」等が登録されている。「工程１」とは、複数の調理工程のうちの１番目の調理工程が実行中であることを意味する。また、「工程４」とは、複数の調理工程のうちの４番目の調理工程が実行中であることを意味する。

【0095】

上述した、ユーザＩＤ、名前、画像、使用機種、ブックマーク、友人、公開範囲、公開形式、調理中レシピといった情報は、機器１００においてユーザにより適宜入力され、ユーザ情報として機器１００からサーバ装置３００へ送信される。このとき、名前、画像、使用機種、ブックマーク、友人、公開範囲、公開形式、調理中レシピは、ユーザＩＤとともにサーバ装置３００へ送信される。そして、記憶部３０４において、図４に示すように記憶（登録）される。一方、上述した認識結果は、工程認識部３０２により認識結果情報として得られた後、記憶部３０４において、図４に示すように記憶（登録）される。

【0096】

このように構成することにより、サーバ装置３００は、調理中のユーザのそれぞれについてユーザ情報を収集し、管理することができる。
このようにして記憶部３０４に記憶されたユーザ情報は、情報生成部３０３による画面情報の生成に用いられる。

【0097】

以上、記憶部３０４に記憶されるユーザ情報の一例について説明した。

【0098】

＜実施の形態の動作＞
次に、本実施の形態に係る調理支援システム（機器１００、入力装置２００、およびサーバ装置３００）の調理支援処理の処理手順の一例について説明する。図５は、本開示の一実施の形態に係る調理支援システムの動作の一例を示すシーケンス図。

【0099】

図５に示すシーケンス図には図示されていないが、サーバ装置３００は、例えば、調理中の第２のユーザが利用する機器および入力装置とネットワーク４００を介して接続している。第２のユーザが利用する機器および入力装置についても、図５に示すシーケンス図に示す処理と同様の処理がなされる。

【0100】

ステップＳ１において、機器１００の情報処理部１０５は、入力部１０１が所定の調理支援画面の表示要求を受け付けると、その表示要求にユーザＩＤを対応付け、情報送受信部１０４を介してサーバ装置３００へ送信する。

【0101】

上記ステップＳ１では、表示要求とともに調理中レシピ情報が送信される場合と送信されない場合とがある。その具体例について以下に説明する。上述したとおり、調理中レシピ情報とは、ユーザ（ここでは、機器１００を利用するユーザ）が調理中であるまたはこれから調理を開始するレシピを示す情報である。表示要求だけが送信される（調理中レシピ情報は送信されない）場合は、後述する図６Ａ〜図６Ｃに示す調理支援画面の表示が要求される場合である。一方、表示要求および調理中レシピ情報が送信される場合は、後述する図７Ａ〜図７Ｃ、図８に示す調理支援画面の表示が要求される場合である。例えば、後述する図６Ｂの画面６１において、「チキンカレー」、「野菜カレー」、「シーフードカレー」のいずれかをユーザが選択する操作を行った場合、その選択されたレシピ（上述したレシピ名２）が調理中レシピ情報として、表示要求およびユーザＩＤとともにサーバ装置３００へ送信される。

【0102】

ステップＳ２において、情報送受信部１０４は、上記表示要求とともに調理中レシピ情報をサーバ装置３００へ送信したか否かを判定する。

【0103】

ステップＳ２の判定の結果、表示要求とともに調理中レシピ情報をサーバ装置３００へ送信していない場合（ステップＳ２：ＮＯ）、フローはステップＳ１へ戻る。一方、表示要求とともに調理中レシピ情報をサーバ装置３００へ送信した場合（ステップＳ２：ＹＥＳ）、フローはステップＳ３へ進む。

【0104】

ステップＳ３において、情報処理部１０５は、ユーザＩＤを、情報送受信部１０４を介して入力装置２００へ送信する。

【0105】

ステップＳ４において、入力装置２００の情報送受信部２０１は、機器１００から送信されたユーザＩＤを受信する。

【0106】

ステップＳ５において、情報処理部２０２は、入力部２０３に対して実行中工程情報の入力を開始させる。例えば、入力部２０３がカメラおよびマイクである場合、情報処理部２０２は、それらを起動させ、調理風景の撮影および調理中のユーザの音声の収集を開始させる。このようにして撮影された映像（動画または静止画）および収集された音声は、実行中工程情報として入力部２０３から情報送受信部２０１へ出力される。

【0107】

ステップＳ６において、情報処理部２０２は、実行中工程情報にユーザＩＤを対応付け、情報送受信部２０１を介してサーバ装置３００へ送信する。なお、一旦ステップＳ４におけるユーザＩＤの受信が行われると、ステップＳ５〜Ｓ６およびステップＳ９〜Ｓ１０の処理が繰り返し行われる。

【0108】

ステップＳ７において、サーバ装置３００の情報送受信部３０１は、ステップＳ１の処理により機器１００から送信された表示要求を受信する。

【0109】

ステップＳ８において、情報送受信部３０１は、上記表示要求とともに調理中レシピ情報を機器１００から受信したか否かを判定する。

【0110】

ステップＳ８の判定の結果、調理中レシピ情報を機器１００から受信していない場合（ステップＳ８：ＮＯ）、フローはステップＳ１１へ進む。一方、調理中レシピ情報を機器１００から受信した場合（ステップＳ８：ＹＥＳ）、フローはステップＳ９へ進む。

【0111】

ステップＳ９において、情報送受信部３０１は、入力装置２００から送信された実行中工程情報を受信する。

【0112】

ステップＳ１０において、工程認識部３０２は、実行中工程情報に基づいて、実行中工程が複数の調理工程のうちのどの調理工程に相当するかを認識する。次に、工程認識部３０２は、認識結果を示す認識結果情報を生成する。そして、工程認識部３０２は、生成した認識結果情報および機器１００から受信した調理中レシピ情報を、上記表示要求とともに受信したユーザＩＤに基づいて、記憶部３０４のユーザ情報に登録する。例えば、機器１００からユーザＩＤ「１１１１」と調理中レシピ情報「チキンカレー」が受信され、かつ、認識結果情報「工程１」を生成した場合、工程認識部３０２は、図４に示すように各情報を対応付けて登録する。また、このとき、工程認識部３０２は、受信した実行中工程情報を上記ユーザＩＤに紐付けて記憶部３０４に記憶させる。このようにして、調理中レシピ情報、認識結果情報、実行中工程情報が対応付けられて記憶される。

【0113】

ステップＳ１１において、情報生成部３０３は、上記表示要求により要求された調理支援画面を構成するための画面情報を生成する。この情報生成部３０３は、例えば画面情報を記憶部３０４に記憶されている、図４の調理中レシピおよび認識結果と、他のユーザ（機器１００を利用するユーザが調理支援画面の表示を要求した場合、機器１００を利用するユーザ以外の調理中のユーザ）の実行中工程情報とに基づいて生成する。

【0114】

例えば、情報生成部３０３は、機器１００を利用するユーザから調理支援画面の表示要求を受け、そのユーザに対応付けられた調理中レシピが「チキンカレー」であり、かつ、認識結果が「工程２」である場合、それと同一のレシピで同一の工程を実行している他のユーザを図４において特定する。そして、情報生成部３０３は、特定したユーザのユーザＩＤに対応付けられた実行中工程情報を記憶部３０４から読み出す。また、情報生成部３０３は、特定したユーザＩＤに基づいて、図４のユーザ情報から適宜必要な情報（例えば、名前、画像、友人）を読み出す。また、情報生成部３０３は、特定したユーザＩＤに対応する調理中レシピに基づいて、図３のレシピ情報から適宜必要な情報（例えば、レシピ名２、レシピ名２画像、工程数）を読み出す。そして、情報生成部３０３は、読み出した各情報に基づいて、画面情報を生成する。なお、画面情報の具体的な内容については、図６〜図８を用いて後述する。

【0115】

ここで生成される画面情報は、例えば、調理支援音声を示す音声情報を含んでもよい。調理支援音声とは、例えば、調理中のユーザが発する音声である。なお、画面情報に基づいて表示される調理支援画面の詳細については、図６〜図８を用いて後述する。

【0116】

ステップＳ１２において、情報生成部３０３は、生成した画面情報を、情報送受信部３０１を介して上記表示要求の送信元（ここでは、機器１００）へ送信する。

【0117】

ステップＳ１３において、機器１００の情報送受信部１０４は、サーバ装置３００から送信された画面情報を受信する。

【0118】

ステップＳ１４において、情報処理部１０５は、画面情報に基づいて通知部１０２に画面を表示させる。これにより、後述する図６〜図８の調理支援画面が表示される。

【0119】

＜調理支援画面の表示例＞
次に、図６〜図８を用いて、機器１００における調理支援画面の表示例について説明する。なお、以下において、各調理支援画面の表示を要求するユーザは、機器１００を利用するユーザであるとする。

【0120】

図６Ａ〜図６Ｃは、本開示の一実施の形態に係る調理支援画面の一例を示す図である。より具体的には、図６Ａ〜図６Ｃは、サーバ装置３００が機器１００から調理中レシピ情報を受信せず、例えば図６Ａ〜図６Ｃに示す調理支援画面の表示要求を受信した場合に生成された画像情報に基づいて、機器１００に表示された提示情報に対応する調理支援画面６０〜６２の一例を示す図である。

【0121】

まず、図６Ａを用いて、調理支援画面６０を説明する。サーバ装置３００の情報生成部３０３は、図３のレシピ情報におけるレシピ名１、レシピ名１画像と、図４のユーザ情報における使用機種、ブックマーク、調理中レシピとに基づいて、調理支援画面６０を構成する画面情報を生成する。そして、この画面情報に基づいて、調理支援画面６０が表示される。

【0122】

調理支援画面６０では、レシピ名１が最上部に文字表示される。そして、各レシピ名１の表示の下部には、対応するレシピ名１画像が表示される。さらに、各レシピ名１画像の表示の下部には、各レシピ名１に対応する数値として、現在調理中ユーザ数６０１、同一機種使用ユーザ数６０２、ブックマーク登録ユーザ数６０３が表示される。なお、図６Ａの調理支援画面６０において、ユーザは、レシピ名１画像の隣のスクロールボタンを操作することで、レシピ名１の表示を切り替えることができる。

【0123】

現在調理中ユーザ数６０１とは、レシピ名１の調理を実行中のユーザの合計数である。この値は、例えば、図４の調理中レシピと、図３におけるレシピ名２とレシピ名１との対応付けとにより、レシピ名１ごとに算出される。また、図６Ａでは、例として、現在調理中ユーザ数６０１のうち最も大きい値「５８１２人」の横に、「人気」の文字が表示されている。この「人気」という文字表示は、最も多くの人が調理中であることを意味する。これにより、機器１００を利用するユーザは、今１番人気のあるレシピが「さんまの塩焼き」であることを容易に認識できる。

【0124】

同一機種使用ユーザ数６０２とは、レシピ名１の調理を実行中のユーザのうち、機器１００を利用するユーザが使用している調理機器と同一の機種を使用しているユーザの合計数である。この値は、例えば、機器１００を利用するユーザが予め登録した図４の使用機種と、図４の調理中レシピと、図３におけるレシピ名２とレシピ名１との対応付けとにより、レシピ名１ごとに算出される。

【0125】

ブックマーク登録ユーザ数６０３とは、レシピ名１をブックマークしているユーザの合計数である。この値は、例えば、図４のブックマークにより、レシピ名１ごとに算出される。

【0126】

このように構成された調理支援画面６０を見ることで、ユーザは、以下の把握ができる。すなわち、ユーザは、現在調理中ユーザ数６０１を見ることで、最も多くの人が調理しているレシピをリアルタイムに把握できる。また、ユーザは、同一機種使用ユーザ数６０２を見ることで、レシピごとに、現在調理中のユーザのうち自分と同じ機種の調理機器を使用しているユーザがどの位いるかを把握できる。さらに、ユーザは、ブックマーク登録ユーザ数６０３を見ることで、最も多くの人がレパートリとしているレシピを把握できる。

【0127】

このような調理支援画面６０は、例えば、デフォルトの画面として表示される。そして、調理支援画面６０の表示中においてユーザが画面を切り替える操作を行うと、図６Ｂの調理支援画面６１へ遷移する。また、調理支援画面６０の表示中においてユーザがレシピ名１またはその画像を選択する操作を行うと、図６Ｃの調理支援画面６２へ遷移する。

【0128】

次に、図６Ｂを用いて、調理支援画面６１を説明する。サーバ装置３００の情報生成部３０３は、図３のレシピ情報におけるレシピ名１、レシピ名１画像と、図４のユーザ情報における画像、友人、調理中レシピとに基づいて、調理支援画面６１を構成する画面情報を生成する。そして、この画面情報に基づいて、調理支援画面６１が表示される。

【0129】

調理支援画面６１では、上記調理支援画面６０と同様、レシピ名１およびレシピ名１画像が表示される。そして、各レシピ名１画像の表示の下部には、現在調理中ユーザ画像６１１が表示される。また、現在調理中ユーザ画像６１１の中には、友人登録ユーザマーク６１２が表示されるものがある。なお、図６Ｂの調理支援画面６１において、ユーザは、レシピ名１画像の隣のスクロールボタンを操作することで、レシピ名１の表示を切り替えることができる。

【0130】

現在調理中ユーザ画像６１１とは、レシピ名１の調理を実行中のユーザの画像である。これは、例えば、図４の画像、調理中レシピと、図３におけるレシピ名２とレシピ名１との対応付けとにより、レシピ名１ごとに表示される。図６Ｂの例では、レシピ名１ごとに、レシピ名１画像の下部に６名のユーザの画像が表示されている。

【0131】

友人登録ユーザマーク６１２とは、レシピ名１の調理を実行中のユーザのうち、機器１００を利用するユーザが友人登録していることを示すマークである。これは、例えば、図４の画像、友人により、表示される。

【0132】

このように構成された調理支援画面６１を見ることで、ユーザは、レシピごとに、現在調理中のユーザをリアルタイムに把握できる。また、ユーザは、現在調理中のユーザのうち自分が友人登録しているユーザを容易に把握できる。

【0133】

このような調理支援画面６１の表示中においてユーザが画面を切り替える操作を行うと、図６Ａの調理支援画面６０へ遷移する。また、調理支援画面６１の表示中においてユーザがレシピ名１またはその画像を選択する操作を行うと、図６Ｃの調理支援画面６２へ遷移する。

【0134】

次に、図６Ｃを用いて、調理支援画面６２を説明する。サーバ装置３００の情報生成部３０３は、図３のレシピ情報におけるレシピ名１、レシピ名２、レシピ名２画像に基づいて、調理支援画面６２を構成するための画面情報を生成する。そして、この画面情報に基づいて、調理支援画面６２が表示される。

【0135】

調理支援画面６２では、レシピ名１が最上部に文字表示され、その下部に、レシピ名２およびレシピ名２画像が表示される。さらに、各レシピ名２画像の表示の下部には、各レシピ名２に対応する数値として、現在調理中ユーザ数６２１が表示されている。なお、図６Ｃの調理支援画面６２において、ユーザは、レシピ名２画像の隣のスクロールボタンを操作することで、レシピ名２の表示を切り替えることができる。

【0136】

現在調理中ユーザ数６２１とは、レシピ名２の調理を実行中のユーザの合計数である。この値は、例えば、図４の調理中レシピにより、レシピ名２ごとに算出される。

【0137】

このように構成された調理支援画面６２を見ることで、ユーザは、最も多くの人が調理しているレシピをリアルタイムに把握できる。

【0138】

このような調理支援画面６１の表示中においてユーザが画面を切り替える操作を行うと、図６Ａの調理支援画面６０または図６Ｃの調理支援画面６２へ遷移する。また、調理支援画面６２の表示中においてユーザがレシピ名２またはその画像を選択する操作を行うと、後述する図７Ａの調理支援画面７０または図７Ｂの調理支援画面７１へ遷移する。なお、例えば、調理支援画面６２においてレシピ名２またはその画像を選択する操作により、上述した調理中レシピ情報が指定されるとしてもよい。

【0139】

図７Ａ〜図７Ｃは、本開示の一実施の形態に係る調理支援画面の一例を示す図である。より具体的には、図７Ａ〜図７Ｃは、サーバ装置３００が機器１００から例えば図７Ａ〜図７Ｃおよび図８に示す調理支援画面の表示要求とともに調理中レシピ情報を受信した場合に生成された画像情報に基づいて、機器１００に表示された提示情報に対応する調理支援画面７０〜７２の一例を示す図である。

【0140】

まず、図７Ａを用いて、調理支援画面７０を説明する。サーバ装置３００の情報生成部３０３は、図３のレシピ情報におけるレシピ名２、レシピ名２画像、工程数と、図４のユーザ情報における名前、画像、調理中レシピ、認識結果とに基づいて、調理支援画面７０を構成する画面情報を生成する。そして、この画面情報に基づいて、調理支援画面７０が表示される。

【0141】

調理支援画面７０では、レシピ名２が最上部に文字表示され、その隣にレシピ名２画像が表示される。そして、レシピ名２画像の表示の下部には、レシピ名２の工程数７０１が表示される。さらに、工程数７０１の下部には、ユーザごとに、実行中工程７０２が表示されている。

【0142】

工程数７０１とは、レシピ名２が示すレシピの全工程数である。これは、例えば、図３におけるレシピ名２と工程数との対応付けとにより、表示される。図７Ａの例では、チキンカレーの工程数として予め登録された工程１〜５が表示されている。

【0143】

実行中工程７０２は、図４の認識結果が示す実行中工程である。これは、例えば、図４における名前と認識結果との対応付けにより、ユーザごとに表示される。図７Ａの例では、機器１００を利用するユーザを意味する「あなた」に対応して、工程２が実行中である旨が表示されている。そして、その下部には、機器１００を利用するユーザと同様に工程２を実行中である他のユーザが表示されている。図７Ａの例では、他のユーザとして名前「ＢＢＢ」および「ＣＣＣ」と、それらの画像と、それらに対応する実行中工程７０２とがそれぞれ対応付けられて表示されている。

【0144】

調理支援画面７０において、機器１００を利用するユーザ以外のユーザの表示は、リアルタイムに変化する。すなわち、調理支援画面７０では、機器１００を利用するユーザの実行中工程と同じ工程をリアルタイムに実行している他のユーザが表示される。例えば、図７Ａにおいて、他のユーザＢＢＢが機器１００を利用するユーザより先に工程２から工程３へ進んだ場合には、他のユーザＢＢＢを示す名前、画像、および実行中工程７０２は非表示となり、その代わりに、工程２を実行している別のユーザが表示されることになる。また、例えば、機器１００を利用するユーザが工程２の途中または工程２を終えた後で工程３をスキップして工程４を開始した場合には、工程４を実行中の他のユーザの表示に切り替わる。

【0145】

なお、調理支援画面７０において、機器１００を利用するユーザの実行中工程と同じ工程を過去に実行した他のユーザ（第３のユーザ）が表示されてもよい。その場合、機器１００を利用するユーザが、表示された中から他のユーザを選択すると、後述する図８の調理支援画面８１へ遷移する。

【0146】

第３のユーザは、第２のユーザであってもよいし、第２のユーザとは異なるユーザであってもよい。

【0147】

この場合、サーバ装置３００の記憶部３０４には、ユーザが過去に実行した調理工程の情報を記憶しておけばよい。例えば、ユーザが実行中の調理工程に係る実行中工程情報を記憶部３０４に蓄積するとともに、調理工程が終了後、実行中工程情報を過去に実行した工程情報として、対応するユーザ、レシピおよび調理工程と関連付けて記憶部３０４に蓄積すればよい。このようにすれば、過去に実行した工程情報と関連付けたレシピおよび調理工程に基づいて、機器１００を利用するユーザの実行中工程と同じ工程を過去に実行した他のユーザ（第３のユーザ）を選択し表示することができる。

【0148】

また、ユーザＩＤに対応する情報として、記憶部３０４は、図４に示した情報以外に、ユーザの属性情報を記憶してもよい。

【0149】

図９は、本開示の一実施形態に係るユーザの属性情報の一例を示す図である。具体的には、図９は、記憶部３０４に記憶されるユーザの属性情報の一例を示す図である。ここでは属性情報として、例えば、各ユーザの年齢、職業、料理の習熟度、ライフスタイルなどを含み、これらの属性情報とユーザＩＤと関連付けて記憶するものである。

【0150】

料理の習熟度というのは、例えばユーザが料理の初心者であるのか、または料理が得意かといったことを示す情報である。ライフスタイルというのは、例えば、ユーザが野菜を好んで食べる、または肉を好んで食べるといったようにユーザの食生活の仕方を示す情報である。

【0151】

図９に示す各ユーザの属性情報は、例えば各ユーザが利用する機器からサーバ装置３００へ予め送信し、サーバ装置３００が記憶部３０４に記憶しておく。

【0152】

調理支援画面７０または後述する調理支援画面７１において、表示すべき第２のユーザまたは第３のユーザの数が多い場合、第１のユーザが選択しようと考えるようなユーザを調理支援画面７０または後述する調理支援画面７１に表示させることが望ましい。

【0153】

例えば、サーバ装置３００が記憶部３０４にユーザの属性情報を記憶している場合、この属性情報を利用して、第２のユーザまたは第３のユーザを選択することができる。

【0154】

図１０は、調理情報提供システムの動作の一例を示すフローチャートである。具体的には、サーバ装置３００の動作の一例を示すフローチャートである。まず、ステップＳ９１において、第１のユーザが以前に選択し、視聴した第２のユーザのユーザＩＤを用いて、対応するユーザの属性情報を図９に示すユーザの属性情報の中から収集する。選択した第２のユーザが複数いる場合、複数の第２のユーザの属性情報を収集する。

【0155】

次にステップＳ９２において、収集した第２のユーザの属性情報の各項目の出現頻度を調べる。例えば、第１のユーザが過去に視聴をした第２のユーザのうち、２０代の第２のユーザを選択し視聴した回数が３回、３０代の第２のユーザを選択し視聴した回数が１回選択したといったように各項目の度数を調べる。

【0156】

選択した第２のユーザの数に対する各項目の出現頻度の割合が予め決めた閾値を越えるのであれば、第１のユーザ好む属性情報であると判断をし、この属性情報を記憶部３０４に第１のユーザのユーザＩＤと関連付けて記憶しておく。

【0157】

次に、Ｓ９３において、第１のユーザが新たに調理支援画面７０または後述する調理支援画面７１の表示要求を行ったとき、第２のユーザの数か予め決めた数よりも多い場合には、複数の第２のユーザの属性情報をそれぞれ調べ、第１のユーザ好む属性情報と同じまたは類似する属性情報を有する第２のユーザを選択し、選択した第２のユーザの情報を調理支援画面７０または後述する調理支援画面７１の画面情報に含めるようにすればよい。

【0158】

上述の例では、第２のユーザの選択について説明をしたが、第３のユーザに対して同様のことを行ってもよい。図１０のフローチャートでは、第１のユーザが過去に視聴をした第２のユーザの数が多い場合に、有効に機能することが予想される。しかしながら、第１のユーザが過去に視聴をした第２のユーザの数が少ない場合は、有効に機能しない可能性もある。この場合は、第１のユーザの属性情報を用いて、第１のユーザの属性情報と一致または類似する属性情報を有する第２のユーザを選択するのでもよい。

【0159】

このように構成された調理支援画面７０を見ることで、ユーザは、自分と同じ工程を実行中のユーザをリアルタイムに把握できる。

【0160】

このような調理支援画面７０の表示中においてユーザが画面を切り替える操作を機器１００の入力部１０１を用いて行うと、情報処理部１０５は、情報送受信部１０４を介して調理支援画面７０の切替要求をサーバ装置３００へ送信する。サーバ装置３００の情報送受信部３０１は、調理支援画面７０の切替要求を受信すると、切替要求を情報生成部３０３へ送る。情報生成部３０３は、切替要求を受けて調理支援画面７１を構成する画面情報を生成し、情報送受信部３０１を介して送信元（ここでは機器１００）へ生成した画面情報情を送信する。機器１００は、情報送受信部１０４で受信した画面情報を記憶部１０３に記憶し、情報処理部１０５は、記憶部１０３に記憶した画面情報を読み出して通知部１０２に通知させる（つまり、ディスプレイに画面情報を表示させる）。これにより、図７Ｂの調理支援画面７１へ遷移する（つまり、機器１００の表示デバイスの表示が図７Ｂの調理支援画面７１に切り替わる）。

【0161】

また、調理支援画面７０の表示中においてユーザが他のユーザの名前またはその画像を選択する操作を機器１００の入力部１０１を用いて行うと、情報処理部１０５は、情報送受信部１０４を介して、調理支援画面７２または調理支援画面８１の表示要求をサーバ装置３００へ送信する。サーバ装置３００の情報送受信部３０１は、調理支援画面７２または調理支援画面８１の表示要求を受信すると、表示要求を情報生成部３０３へ送る。情報生成部３０３は、表示要求に応じて調理支援画面７２または調理支援画面８１を構成する画面情報を生成し、情報送受信部３０１を介して送信元（ここでは機器１００）へ生成した画面情報情を送信する。機器１００は、情報送受信部１０４で受信した画面情報を記憶部１０３に記憶し、情報処理部１０５は、記憶部１０３に記憶した画面情報を読み出して通知部１０２に通知させる（つまり、ディスプレイに画面情報を表示させる）。これにより、図７Ｃの調理支援画面７２または図８の調理支援画面８１へ遷移する（つまり、機器１００の表示デバイスの表示が図７Ｃの調理支援画面７２または図８の調理支援画面８１に切り替わる）。

【0162】

なお、上述の例では、調理支援画面７１、調理支援画面７２および調理支援画面８１の画面情報は、それぞれサーバ装置３００で生成される例を説明したが、これに限定をされるものではない。例えば、機器１００が調理支援画面７０の画面情報を受信するときに、調理支援画面７１、調理支援画面７２および調理支援画面８１の画面情報を受信して記憶部１０３に記憶してもよい。

【0163】

このようにすれば、調理支援画面７０の表示中において、ユーザが画面を切り替える操作、ユーザが他のユーザの名前またはその画像を選択する操作を機器１００の入力部１０１を用いて行うと、記憶部１０３に記憶された調理支援画面７１、調理支援画面７２および調理支援画面８１のそれぞれに対応する画面情報のうち、操作に対応する画面情報を情報処理部１０５が読み出して通知部１０２に通知させればよい。

【0164】

または、機器１００が受信した調理支援画面７０の画面情報を用いて、調理支援画面７１、調理支援画面７２および調理支援画面８１の画面情報の画面情報をそれぞれ生成できるのであれば、情報処理部１０５がこれらの画面情報を生成してもよい。

【0165】

このように構成をすることにより、調理支援画面７０の表示中において、ユーザが画面を切り替える操作、ユーザが他のユーザの名前またはその画像を選択する操作を行ったとき、機器１００内で画面の切り替えを行うことが可能となる。

【0166】

次に、図７Ｂを用いて、調理支援画面７１を説明する。サーバ装置３００の情報生成部３０３は、図３のレシピ情報におけるレシピ名２、レシピ名２画像、工程数と、図４のユーザ情報における画像、調理中レシピ、認識結果とに基づいて、調理支援画面７１を構成するための画面情報を生成する。そして、この画面情報に基づいて、調理支援画面７１が表示される。

【0167】

調理支援画面７１が調理支援画面７０と異なる点は、工程ごとに、その工程を実行している他のユーザが表示される点である。例えば、図７Ｂでは、工程１を実行中のユーザの画像７１１、７１２が表示されている。同様に、工程２を実行中のユーザの画像７１３、７１４が表示されている。工程３〜５も同様である。このような表示は、例えば、図４における画像と認識結果との対応付けにより実現される。

【0168】

このように構成された調理支援画面７１を見ることで、ユーザは、工程ごとに、現在調理中のユーザをリアルタイムに把握できる。

【0169】

このような調理支援画面７１の表示中においてユーザが画面を切り替える操作を機器１００の入力部１０１を用いて行うと、情報処理部１０５は、情報送受信部１０４を介して調理支援画面７１の切替要求をサーバ装置３００へ送信する。サーバ装置３００の情報送受信部３０１は、調理支援画面７１の切替要求を受信すると、切替要求を情報生成部３０３へ送る。情報生成部３０３は、切替要求を受けて調理支援画面７０を構成する画面情報を生成し、情報送受信部３０１を介して送信元（ここでは機器１００）へ生成した画面情報情を送信する。機器１００は、情報送受信部１０４で受信した画面情報を記憶部１０３に記憶し、情報処理部１０５は、記憶部１０３に記憶した画面情報を読み出して通知部１０２に通知させる（つまり、ディスプレイに画面情報を表示させる）。これにより、図７Ａの調理支援画面７０へ遷移する（つまり、機器１００の表示デバイスの表示が図７Ａの調理支援画面７０に切り替わる）。

【0170】

また、調理支援画面７１の表示中においてユーザが他のユーザの画像を選択する操作を機器１００の入力部１０１を用いて行うと、情報処理部１０５は、情報送受信部１０４を介して、調理支援画面７２または調理支援画面８１の表示要求をサーバ装置３００へ送信する。サーバ装置３００の情報送受信部３０１は、調理支援画面７２または調理支援画面８１の表示要求を受信すると、表示要求を情報生成部３０３へ送る。情報生成部３０３は、表示要求に応じて調理支援画面７２または調理支援画面８１を構成する画面情報を生成し、情報送受信部３０１を介して送信元（ここでは機器１００）へ生成した画面情報情を送信する。機器１００は、情報送受信部１０４で受信した画面情報を記憶部１０３に記憶し、情報処理部１０５は、記憶部１０３に記憶した画面情報を読み出して通知部１０２に通知させる（つまり、ディスプレイに画面情報を表示させる）。これにより、図７Ｃの調理支援画面７２または図８の調理支援画面８１へ遷移する（つまり、機器１００の表示デバイスの表示が図７Ｃの調理支援画面７２または図８の調理支援画面８１に切り替わる）。

【0171】

なお、上述の例では、調理支援画面７０、調理支援画面７２および調理支援画面８１の画面情報は、それぞれサーバ装置３００で生成される例を説明したが、これに限定をされるものではない。例えば、機器１００が調理支援画面７１の画面情報を受信するときに、調理支援画面７０、調理支援画面７２および調理支援画面８１の画面情報を受信して記憶部１０３に記憶してもよい。

【0172】

このようにすれば、調理支援画面７１の表示中において、ユーザが画面を切り替える操作、ユーザが他のユーザの名前またはその画像を選択する操作を機器１００の入力部１０１を用いて行うと、記憶部１０３に記憶された調理支援画面７０、調理支援画面７２および調理支援画面８１のそれぞれに対応する画面情報のうち、操作に対応する画面情報を情報処理部１０５が読み出して通知部１０２に通知させればよい。

【0173】

または、機器１００が受信した調理支援画面７１の画面情報を用いて、調理支援画面７０、調理支援画面７２および調理支援画面８１の画面情報の画面情報をそれぞれ生成できるのであれば、情報処理部１０５がこれらの画面情報を生成してもよい。

【0174】

このように構成をすることにより、調理支援画面７１の表示中において、ユーザが画面を切り替える操作、ユーザが他のユーザの名前またはその画像を選択する操作を行ったとき、機器１００内で画面の切り替えを行うことが可能となる。

【0175】

次に、図７Ｃを用いて、調理支援画面７２を説明する。サーバ装置３００の情報生成部３０３は、入力装置２００から受信した実行中工程情報と、図４のユーザ情報における名前、画像、友人、公開範囲、公開形式とに基づいて、調理支援画面７２を構成する画面情報を生成する。そして、この画面情報に基づいて、調理支援画面７２が表示される。この調理支援画面７２が表示される場合、自分の調理状況（例えば、後述する画像７２１）を公開するユーザＢＢＢ（第２のユーザ）が利用する機器とユーザ（第１のユーザ）が利用する機器１００との間で、双方向通信が可能となる。

【0176】

双方向の通信は、ユーザＢＢＢ（第２のユーザ）が利用する機器と、ユーザ（第１のユーザ）が利用する機器１００との間で直接行ってもよい。または双方向の通信は、サーバ装置３００を介してユーザＢＢＢ（第２のユーザ）が利用する機器と、ユーザ（第１のユーザ）が利用する機器１００との間で行ってもよい。サーバ装置３００を介して双方向通信を行った場合、サーバ装置３００は、例えば双方向通信にて行われたデータ（例えば、通信する相手の情報、調理レシピの調理工程における実行中工程情報に対応する画像情報、音声情報、テキスト情報など）を蓄積することができる。

【0177】

例えば、サーバ装置３００は、ユーザ（第１のユーザ）が利用する機器１００から受信したデータを、ユーザＢＢＢ（第２のユーザ）が利用する機器へ送信するとともに、機器１００から受信したデータを第１のユーザ（例えば、第１のユーザのユーザＩＤ）と関連付けて蓄積することができる。

【0178】

また、例えば、サーバ装置３００は、ユーザＢＢＢ（第２のユーザ）が利用する機器から受信したデータをユーザ（第１のユーザ）が利用する機器１００へ送信するとともに、ユーザＢＢＢ（第２のユーザ）が利用する機器から受信したデータをユーザＢＢＢ（第２のユーザのユーザＩＤ）と関連付けて蓄積することができる。

【0179】

調理支援画面７２では、調理支援画面７０または７１のいずれかで選択された他のユーザの名前「ＢＢＢ」（以下、ユーザＢＢＢという）とその画像が表示され、かつ、ユーザＢＢＢのリアルタイムの調理風景の画像７２１が表示される。

【0180】

画像７２１は、実行中工程情報としてサーバ装置３００が入力装置２００（ここでは例えば、ユーザＢＢＢのキッチン等に設置された入力装置２００）から受信した情報であり、リアルタイムの動画または静止画のいずれでもよい。また、画像７２１は、リアルタイムの音声を伴ってもよい。また、図示は省略しているが、画像７２１に重畳して、または、画像７２１の周囲の領域に、テキストを表示してもよい。このテキストは、リアルタイムの音声をテキストに変換したものでもよいし、例えばタッチパネル等を用いてリアルタイムで入力されるテキストでもよい。このような音声およびテキストは、例えば、機器１００を利用するユーザとユーザＢＢＢとの間のやりとりを示す情報が挙げられる。

【0181】

なお、画像７２１の他のユーザへの公開は、図４の公開範囲および公開形式に基づいて制限される。例えば、機器１００を利用するユーザが図７Ｃに示す調理支援画面７２を見てユーザＢＢＢと通信するためには、ユーザＢＢＢが、図４において、公開範囲を「一般」として登録するか、または、友人に機器１００を利用するユーザを登録した上で公開範囲を「友人」として登録することが必要となる。

【0182】

また、図４において公開形式が「音声のみ」として登録されている場合、調理支援画面７２において画像７２１は表示されず、実行中工程情報としての音声のみが出力される。このとき、上記テキストの表示を伴ってもよい。

【0183】

以上説明した調理支援画面７２は、機器１００を利用するユーザが実行中であるレシピの調理工程と同一のレシピの同一の調理工程をリアルタイムに実行している他のユーザの画像または音声の少なくとも一方を含むことを特徴とする。このように構成された調理支援画面７２を見ることで、リアルタイムに実行している他のユーザの画像７２１または音声を参考にしながら調理できるので、スムーズに調理を進めることができる。更に、ユーザは、自分が実行中であるレシピの工程と同じレシピの同じ工程を実行中の他のユーザとの間で、リアルタイムにコミュニケーションをとりながら調理を行うことができる。また、ユーザは、リアルタイムの画像７２１を見ることで、調理の参考にすることができる。

【0184】

このような調理支援画面７２の表示中においてユーザが画面を切り替える操作を機器１００の入力部１０１を用いて行うと、情報処理部１０５は、情報送受信部１０４を介して、調理支援画面７０または調理支援画面７１の切替要求をサーバ装置３００へ送信する。サーバ装置３００の情報送受信部３０１は、調理支援画面７０または調理支援画面７１の切替要求を受信すると、切替要求を情報生成部３０３へ送る。情報生成部３０３は、切替要求に応じて調理支援画面７０または調理支援画面７１を構成する画面情報を生成し、情報送受信部３０１を介して送信元（ここでは機器１００）へ生成した画面情報情を送信する。機器１００は、情報送受信部１０４で受信した画面情報を記憶部１０３に記憶し、情報処理部１０５は、記憶部１０３に記憶した画面情報を読み出して通知部１０２に通知させる（つまり、ディスプレイに画面情報を表示させる）。これにより、図７Ａの調理支援画面７０または図７Ｂの調理支援画面７１へ遷移する。

【0185】

以上、機器１００を利用するユーザが調理支援画面７０〜７２を介して同じレシピの同じ工程を調理中の他のユーザとリアルタイムに繋がる例について説明したが、リアルタイムに繋がらなくてもよい。すなわち、機器１００を利用するユーザが所定のレシピの所定の工程を実行する場合に、過去に他のユーザが同じレシピの同じ工程を行ったときの情報（例えば、画像、音声、テキストなど）を画面表示するようにしてもよい。この表示例を図８に示す。

【0186】

図８を用いて、調理支援画面８１を説明する。図８は、本開示の一実施の形態に係る調理支援画面の一例を示す図である。サーバ装置３００の情報生成部３０３は、実行中工程情報を受信した際、ユーザＩＤとともにアーカイブ情報として、記憶部３０４に格納しておく。その後、情報生成部３０３は、ユーザ情報におけるユーザＩＤ、名前、画像、調理中レシピ、認識結果と、アーカイブ情報におけるユーザＩＤと実行中工程情報との対応付けに基づいて、調理支援画面８１を構成する画面情報を生成する。そして、この画面情報に基づいて、調理支援画面８１が表示される。

【0187】

調理支援画面８１では、調理支援画面７２と同様、機器１００を利用するユーザが調理支援画面７０または７１において選択した他のユーザＢＢＢの名前と画像が表示される。また、調理支援画面８１では、アーカイブ情報として、画像８０１、コメント日時８０２、コメント８０３が表示される。

【0188】

画像８０１は、ユーザＢＢＢが過去に行った調理風景の画像であり、静止画でも動画でもよい。また、画像８０１は、音声を伴ってもよい。または、画像８０１の代わりに、音声だけでもよい。また、画像８０１の表示の下部には、コメント日時８０２（年月日）に対応付けられて、コメント８０３が表示されている。コメント８０３は、例えば、ユーザＢＢＢが工程の実行中にリアルタイムで発した音声（発言）をテキストに変換したものであってもよいし、その音声とは別に工程の実行中にユーザＢＢＢがリアルタイムで入力したコメントであってもよい。コメント日時８０２は、対応するコメント８０３が発言された日時を示す。なお、コメント日時８０２は、入力装置２００から実行中工程情報が受信されるときにその実行中工程情報に予め含まれており、実行中工程情報とともにアーカイブ情報としてサーバ装置３００の記憶部３０４に記憶される。

【0189】

なお、コメント８０３は、ユーザＢＢＢ以外のユーザの発言をテキスト化したものであってもよい。

【0190】

以上説明した調理支援画面８１は、機器１００を利用するユーザ（第１のユーザ）が実行中であるレシピの調理工程と同一のレシピの同一の調理工程を過去に実行した他のユーザ（第３のユーザ）の画像または音声の少なくとも一方を含むことを特徴とする。このように構成された調理支援画面８１を見ることで、機器１００を利用するユーザは、自分が実行している工程と同じ工程を過去に実行した他のユーザの進行を参考にしながら、調理を行うことができる。

【0191】

このような調理支援画面８１の表示中においてユーザが画面を切り替える操作を行うと、図７Ａの調理支援画面７０または図７Ｂの調理支援画面７１へ遷移する。

【0192】

以上、本実施の形態に係る調理支援システムによれば、所定のレシピの所定の工程を実行中のユーザ（第１のユーザ）の要求に応じて、同じレシピの同じ工程を現在実行している他のユーザ（第２のユーザ）の画像等を、調理支援画面として要求元のユーザ（第１のユーザ）に提供することを特徴とする。これにより、一人で調理する場合において、第２のユーザの存在を把握したり、第２のユーザの調理状態を確認することができ、孤独感なく、調理を進めることができる。更に、第２のユーザの画像等を参考にしながら調理できるので、スムーズに調理を進めることができる。

【0193】

更に、本実施の形態に係る調理支援システムによれば、所定のレシピの所定の工程を実行中のユーザの要求に応じて、同じレシピの同じ工程を現在実行している他のユーザ（第２のユーザ）に加え、同じレシピの同じ工程を過去に実行していた他のユーザ（第３のユーザ）の画像等を、調理支援画面として要求元のユーザに提供することを特徴とする。

【0194】

これにより、一人で調理する場合において、第３のユーザの画像等を参考にしながら調理できるので、スムーズに調理を進めることができる。

【0195】

以上、本開示に係る実施形態について図面を参照して詳述してきたが、上述した機器１００、入力装置２００、サーバ装置３００（以下、各装置という）の機能は、コンピュータプログラムにより実現され得る。

【0196】

図１１は、本開示の一実施の形態に係る機器１００、入力装置２００およびサーバ装置３００の機能をソフトウェアにより実現するコンピュータのハードウェア構成の一例を示す図である。

【0197】

図１１は、各装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ１３００は、キーボード、マウス、タッチパッドなどの入力装置１３０１、ディスプレイ、スピーカなどの出力装置１３０２、ＣＰＵ（Central Processing Unit）１３０３、ＲＯＭ（Read Only Memory）１３０４、ＲＡＭ（Random Access Memory）１３０５、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置１３０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置１３０７、ネットワークを介して通信を行う送受信装置１３０８を備え、各部はバス１３０９により接続される。

【0198】

そして、読取装置１３０７は、各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１３０６に記憶させる。あるいは、送受信装置１３０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした各装置の機能を実現するためのプログラムを記憶装置１３０６に記憶させる。

【0199】

そして、ＣＰＵ１３０３が、記憶装置１３０６に記憶されたプログラムをＲＡＭ１３０５にコピーし、そのプログラムに含まれる命令をＲＡＭ１３０５から順次読み出して実行することにより、各装置の機能が実現される。

【0200】

また、上記実施の形態において説明された技術は、例えば、以下のクラウドサービスの類型において実現されうる。しかし、上記実施の形態において説明された技術が実現される類型はこれに限られるものでない。

【0201】

（サービスの類型１：自社データセンタ型）
図１２は、本開示の一実施の形態に係るサービスの類型１（自社データセンタ型）の一例を示す図である。本類型は、サービスプロバイダ１２がグループ１０から情報を取得し、ユーザに対してサービスを提供する類型である。本類型では、サービスプロバイダ１２が、データセンタ運営会社の機能を有している。即ち、サービスプロバイダ１２が、ビッグデータの管理をするクラウドサーバ１１ａを保有している。従って、データセンタ運営会社は存在しない。

【0202】

本類型では、サービスプロバイダ１２は、データセンタ（クラウドサーバ１１ａ）を運営、管理している（１２００ｃ）。また、サービスプロバイダ１２は、ＯＳ（１２００ｂ）及びアプリケーション（１２００ａ）を管理する。サービスプロバイダ１２は、サービスプロバイダ１２が管理するＯＳ（１２００ｂ）及びアプリケーション（１２００ａ）を用いてサービス提供を行う（１２００ｄ）。

【0203】

（サービスの類型２：ＩａａＳ利用型）
図１３は、本開示の一実施の形態に係るサービスの類型２（ＩａａＳ利用型）の一例を示す図である。ここでＩａａＳとはインフラストラクチャー・アズ・ア・サービスの略であり、コンピュータシステムを構築および稼動させるための基盤そのものを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。

【0204】

本類型では、データセンタ運営会社１１がデータセンタ（クラウドサーバ１１ａ）を運営、管理している（１２００ｃ）。また、サービスプロバイダ１２は、ＯＳ（１２００ｂ）及びアプリケーション（１２００ａ）を管理する。サービスプロバイダ１２は、サービスプロバイダ１２が管理するＯＳ（１２００ｂ）及びアプリケーション（１２００ａ）を用いてサービス提供を行う（１２００ｄ）。

【0205】

（サービスの類型３：ＰａａＳ利用型）
図１４は、本開示の一実施の形態に係るサービスの類型３（ＰａａＳ利用型）の一例を示す図である。ここでＰａａＳとはプラットフォーム・アズ・ア・サービスの略であり、ソフトウェアを構築および稼動させるための土台となるプラットフォームを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。

【0206】

本類型では、データセンタ運営会社１１は、ＯＳ（１２００ｂ）を管理し、データセンタ（クラウドサーバ１１ａ）を運営、管理している（１２００ｃ）。また、サービスプロバイダ１２は、アプリケーション（１２００ａ）を管理する。サービスプロバイダ１２は、データセンタ運営会社が管理するＯＳ（１２００ｂ）及びサービスプロバイダ１２が管理するアプリケーション（１２００ａ）を用いてサービス提供を行う（１２００ｄ）。

【0207】

（サービスの類型４：ＳａａＳ利用型）
図１５は、本開示の一実施の形態に係るサービスの類型４（ＳａａＳ利用型）の一例を示す図である。ここでＳａａＳとはソフトウェア・アズ・ア・サービスの略である。例えばデータセンタ（クラウドサーバ）を保有しているプラットフォーム提供者が提供するアプリケーションを、データセンタ（クラウドサーバ）を保有していない会社・個人（利用者）がインターネットなどのネットワーク経由で使用できる機能を有するクラウドサービス提供モデルである。

【0208】

本類型では、データセンタ運営会社１１は、アプリケーション（１２００ａ）を管理し、ＯＳ（１２００ｂ）を管理し、データセンタ（クラウドサーバ１１ａ）を運営、管理している（１２００ｃ）。また、サービスプロバイダ１２は、データセンタ運営会社１１が管理するＯＳ（１２００ｂ）及びアプリケーション（１２００ａ）を用いてサービス提供を行う（１２００ｄ）。

【0209】

以上いずれの類型においても、サービスプロバイダ１２がサービス提供行為を行ったものとする。また例えば、サービスプロバイダ１２若しくはデータセンタ運営会社１１は、ＯＳ、アプリケーション若しくはビッグデータのデータベース等を自ら開発してもよいし、また、第三者に外注させてもよい。

【産業上の利用可能性】

【0210】

本開示は、調理情報供方法、制御方法、プログラムおよび端末装置に有用である。

【符号の説明】

【0211】

１、２ ユーザ
１０ グループ
１０ａ、１００ 機器
１０ｂ ホームゲートウェイ
１１ データセンタ運営会社
１１ａ クラウドサーバ
１２ サービスプロバイダ
１２ａ サーバ
１０１ 入力部
１０２ 通知部
１０３ 記憶部
１０４ 情報送受信部
１０５ 情報処理部
２００ 入力装置
２０１ 情報送受信部
２０２ 情報処理部
２０３ 入力部
３００ サーバ装置
３０１ 情報送受信部
３０２ 工程認識部
３０３ 情報生成部
３０４ 記憶部
４００ ネットワーク
１２００ａ アプリケーション
１２００ｂ ＯＳ
１２００ｃ データセンタ（クラウドサーバ）
１２００ｄ サービス提供
１３００ コンピュータ
１３０１ 入力装置
１３０２ 出力装置
１３０３ ＣＰＵ（Central Processing Unit）
１３０４ ＲＯＭ（Read Only Memory）
１３０５ ＲＡＭ（Random Access Memory）
１３０６ 記憶装置
１３０７ 読取装置
１３０８ 送受信装置
１３０９ バス

【図1A】

【図1B】

【図1C】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7A】

【図7B】

【図7C】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】