特許 6840646 情報処理装置、端末装置および情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6840646

(24)【登録日】2021年2月19日

(45)【発行日】2021年3月10日

(54)【発明の名称】情報処理装置、端末装置および情報処理システム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20210301BHJP

   G06T 5/50 20060101ALI20210301BHJP

【ＦＩ】

   G06F3/01 510

   G06T5/50

【請求項の数】3

【全頁数】16

(21)【出願番号】特願2017-185077(P2017-185077)

(22)【出願日】2017年9月26日

(65)【公開番号】特開2019-61454(P2019-61454A)

(43)【公開日】2019年4月18日

【審査請求日】2020年2月13日

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】110000752

【氏名又は名称】特許業務法人朝日特許事務所

(72)【発明者】

【氏名】中尾 直之

(72)【発明者】

【氏名】石田 邦臣

(72)【発明者】

【氏名】木村 美由紀

【審査官】 ▲高▼瀬 健太郎

(56)【参考文献】

【文献】 特開２０１６−１０３０４２（ＪＰ，Ａ）

【文献】 特開２０１６−２１８５９４（ＪＰ，Ａ）

【文献】 特表２０１２−５２７８４７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｔ ５／５０

(57)【特許請求の範囲】

【請求項1】

現実空間の画像を受信する受信部と、
前記受信部が受信した画像において、予め定められた被写体を認識する認識部と、
前記画像を送信した装置へ情報を送信する送信部とを備え、
前記送信部は、
認識された前記被写体に対する第１の作業の内容を表す第１の作業情報を前記装置へ送信し、
前記装置において、前記第１の作業情報が表す第１の作業が前記被写体に行われていることを確認するための操作が行われた場合には、前記第１の作業情報が表す第１の作業の内容と、認識された前記被写体に対して行われた作業の結果との相違に応じて、当該第１の作業の後に行う第２の作業の内容を表す第２の作業情報を前記装置へ送信し、
前記装置において、前記第１の作業情報が表す第１の作業が前記被写体に行われていることを確認するための操作が行われなかった場合には、前記第１の作業情報が表す第１の作業の内容と、認識された前記被写体に対して行われた作業の結果との相違に応じた前記第２の作業情報を前記装置へ送信しない情報処理装置。

【請求項2】

撮像部と、
前記撮像部が生成した現実空間の画像において、予め定められた被写体を認識する認識部と、
ユーザの眼前に表示または前記撮像部が生成した現実空間の画像に情報を重畳して表示する表示制御部とを備え、
前記表示制御部は、
認識された前記被写体に対する第１の作業の内容を表す第１の作業情報を、ユーザの眼前に表示または前記撮像部が生成した現実空間の画像に重畳して表示し、
前記第１の作業情報が表す第１の作業が前記被写体に行われていることを確認するための操作が行われた場合には、前記第１の作業情報が表す第１の作業の内容と、認識された前記被写体に対して行われた作業の結果との相違に応じて、当該第１の作業の後に行う第２の作業の内容を表す第２の作業情報を表示し、前記第１の作業情報が表す第１の作業が前記被写体に行われていることを確認するための操作が行われなかった場合には、前記第１の作業情報が表す第１の作業の内容と、認識された前記被写体に対して行われた作業の結果との相違に応じた前記第２の作業情報を表示しない端末装置。

【請求項3】

撮像部と、
前記撮像部が生成した現実空間の画像を送信する第１送信部と、
前記第１送信部が送信した画像への応答として送信される情報を受信する第１受信部と、
前記第１受信部が受信した情報を、ユーザの眼前に表示または前記撮像部が生成した現実空間の画像に重畳して表示する表示制御部と
を有する端末装置と、
前記第１送信部が送信した画像を受信する第２受信部と、
前記第２受信部が受信した画像において、予め定められた被写体を認識する認識部と、
前記被写体に対して予め定められた情報と前記認識部が認識した被写体との相違に応じた情報を、前記端末装置へ送信する第２送信部であって、認識された前記被写体に対する第１の作業の内容を表す第１の作業情報を前記端末装置へ送信し、前記端末装置において、前記第１の作業情報が表す第１の作業が前記被写体に行われていることを確認するための操作が行われた場合には、前記第１の作業情報が表す第１の作業の内容と、認識された前記被写体に対して行われた作業の結果との相違に応じて、当該第１の作業の後に行う第２の作業の内容を表す第２の作業情報を前記端末装置へ送信し、前記端末装置において、前記第１の作業情報が表す第１の作業が前記被写体に行われていることを確認するための操作が行われなかった場合には、前記第１の作業情報が表す第１の作業の内容と、認識された前記被写体に対して行われた作業の結果との相違に応じた前記第２の作業情報を前記端末装置へ送信しない第２送信部と
を有する情報処理装置と
を備える情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、端末装置および情報処理システムに関する。

【背景技術】

【0002】

拡張現実の技術を用いて作業を支援する発明として、例えば特許文献１に開示された表示装置がある。この表示装置は、ユーザの頭部に装着され、ユーザに虚像を視認させる。表示装置は、一連の作業手順を表すシナリオを取得し、カメラで撮影された画像において、シナリオに対応する実オブジェクトを検出する。表示装置は、実オブジェクトを検出すると、実オブジェクトの位置に合わせて仮想オブジェクトと付加情報を配置した画像を生成し、生成した画像を虚像として表示する。仮想オブジェクトは、ユーザに対して一連の作業手順を教示するための情報であるため、ユーザの作業を支援することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６−１１０５４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、作業手順に沿って料理で魚や肉を切る場合、ユーザの技量によっては、切った後の大きさや形が作業手順で指定される大きさや形と同じにならない場合がある。この場合、ユーザが拡張現実に従って手順通りに調理を行ったとしても、具材の大きさや形が異なるため、上手に完成しない場合がある。

【0005】

本発明は、作業後の物と手本との差をユーザが認識できる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、現実空間の画像を受信する受信部と、前記受信部が受信した画像において、予め定められた被写体を認識する認識部と、前記画像を送信した装置へ情報を送信する送信部とを備え、前記送信部は、認識された前記被写体に対する第１の作業の内容を表す第１の作業情報を前記装置へ送信し、前記装置において、前記第１の作業情報が表す第１の作業が前記被写体に行われていることを確認するための操作が行われた場合には、前記第１の作業情報が表す第１の作業の内容と、認識された前記被写体に対して行われた作業の結果との相違に応じて、当該第１の作業の後に行う第２の作業の内容を表す第２の作業情報を前記装置へ送信し、前記装置において、前記第１の作業情報が表す第１の作業が前記被写体に行われていることを確認するための操作が行われなかった場合には、前記第１の作業情報が表す第１の作業の内容と、認識された前記被写体に対して行われた作業の結果との相違に応じた前記第２の作業情報を前記装置へ送信しない情報処理装置を提供する。

【0014】

また、本発明は、撮像部と、前記撮像部が生成した現実空間の画像において、予め定められた被写体を認識する認識部と、ユーザの眼前に表示または前記撮像部が生成した現実空間の画像に情報を重畳して表示する表示制御部とを備え、前記表示制御部は、認識された前記被写体に対する第１の作業の内容を表す第１の作業情報を、ユーザの眼前に表示または前記撮像部が生成した現実空間の画像に重畳して表示し、前記第１の作業情報が表す第１の作業が前記被写体に行われていることを確認するための操作が行われた場合には、前記第１の作業情報が表す第１の作業の内容と認識された前記被写体に対して行われた作業の結果との相違に応じて、当該第１の作業の後に行う第２の作業の内容を表す第２の作業情報を表示し、前記第１の作業情報が表す第１の作業が前記被写体に行われていることを確認するための操作が行われなかった場合には、前記第１の作業情報が表す第１の作業の内容と、認識された前記被写体に対して行われた作業の結果との相違に応じた前記第２の作業情報を表示しない端末装置を提供する。

【0015】

また、本発明は、撮像部と、前記撮像部が生成した現実空間の画像を送信する第１送信部と、前記第１送信部が送信した画像への応答として送信される情報を受信する第１受信部と、前記第１受信部が受信した情報を、ユーザの眼前に表示または前記撮像部が生成した現実空間の画像に重畳して表示する表示制御部とを有する端末装置と、前記第１送信部が送信した画像を受信する第２受信部と、前記第２受信部が受信した画像において、予め定められた被写体を認識する認識部と、前記被写体に対して予め定められた情報と前記認識部が認識した被写体との相違に応じた情報を、前記端末装置へ送信する第２送信部であって、認識された前記被写体に対する第１の作業の内容を表す第１の作業情報を前記端末装置へ送信し、前記端末装置において、前記第１の作業情報が表す第１の作業が前記被写体に行われていることを確認するための操作が行われた場合には、前記第１の作業情報が表す第１の作業の内容と認識された前記被写体に対して行われた作業の結果との相違に応じて、当該第１の作業の後に行う第２の作業の内容を表す第２の作業情報を前記端末装置へ送信し、前記端末装置において、前記第１の作業情報が表す第１の作業が前記被写体に行われていることを確認するための操作が行われなかった場合には、前記第１の作業情報が表す第１の作業の内容と、認識された前記被写体に対して行われた作業の結果との相違に応じた前記第２の作業情報を前記端末装置へ送信しない第２送信部とを有する情報処理装置とを備える情報処理システムを提供する。

【発明の効果】

【0016】

本発明によれば、作業後の物と手本との差をユーザが認識できる。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態に係る装置を示した図。

【図2】端末装置１０のハードウェア構成を示したブロック図。

【図3】端末装置１０の機能の構成を示した機能ブロック図。

【図4】サーバ装置２０のハードウェア構成を示したブロック図。

【図5】端末装置１０が表示する情報の一例を示した図。

【図6】端末装置１０が表示する情報の一例を示した図。

【図7】端末装置１０が表示する情報の一例を示した図。

【図8】端末装置１０が表示する情報の一例を示した図。

【図9】端末装置１０が表示する情報の一例を示した図。

【図10】端末装置１０が行う処理の流れを示したフローチャート。

【図11】端末装置１０が表示する情報の一例を示した図。

【図12】端末装置１０が表示する情報の一例を示した図。

【図13】端末装置１０が表示する情報の一例を示した図。

【図14】変形例に係る機能の構成を示した機能ブロック図。

【発明を実施するための形態】

【0018】

（全体構成）
図１は、本発明の一実施形態に係る装置を示した図である。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。通信網２は、インターネット、固定電話網、移動体通信網などを含む。通信網２には、端末装置１０が有線または無線によって接続される。また、通信網２には、有線でサーバ装置２０が接続されている。

【0019】

本実施形態に係る端末装置１０は、所謂、ウェアラブル端末と呼ばれる眼鏡型のコンピュータ装置である。端末装置１０は、本発明に係る端末装置の一例である。端末装置１０は、通信網２を介して音声通信および／またはデータ通信を行う。端末装置１０は、眼鏡型のコンピュータ装置に限定されるものではなく、スマートフォン、タブレット端末、フィーチャーフォンなどの携帯型の装置であってもよい。端末装置１０は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。サーバ装置２０は、通信網２を介して端末装置１０と通信を行い、端末装置１０からのアクセスに応じて端末装置１０へデータを提供する。サーバ装置２０は、本発明に係る情報処理装置の一例である。

【0020】

本実施形態においては、端末装置１０は、調理の手順を示すデータをサーバ装置２０から取得し、取得したデータに基づいて調理の手順を表示する。端末装置１０のユーザは、表示される手順に従って調理を行う。

【0021】

（端末装置１０の構成）
図２は、端末装置１０のハードウェア構成の一例を示した図である。操作部１０３は、端末装置１０を操作するための操作子を有する。端末装置１０は、操作された操作子に応じて動作する。音声処理部１０７は、マイクロフォンとスピーカを有している。音声処理部１０７は、端末装置１０同士が音声通話を行う場合、通話相手の音声に係るデジタル信号が通信部１０５から供給されると、供給されたデジタル信号をアナログ信号に変換する。このアナログ信号は、スピーカへ供給され、スピーカからは、通話相手の音声が放音される。また、音声処理部１０７は、マイクロフォンが音声を収音すると、収音した音声をデジタル信号に変換する。音声処理部１０７は、端末装置で音声通話を行う場合、ユーザの音声を変換したデジタル信号を通信部１０５へ供給する。このデジタル信号は、通信部１０５から通信網２へ送信され、通話相手の端末装置へ送信される。通信部１０５は、有線および／または無線でコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信部１０５は、通信網２を介して音声通信とデータ通信を行う。

【0022】

表示部１０４は、眼鏡型である端末装置１０が備えるレンズに画像を表示する。レンズに画像を表示することにより、端末装置１０を装着したユーザの眼前には、表示部１０４が表示した画像が表示される。撮像部１０８は、撮像素子、撮像素子に像を結像する光学系、撮像素子へ入射する光を制限する絞りなどを備えている。撮像部１０８は、ユーザの視界を撮像範囲とし、撮像した範囲の画像を生成する。

【0023】

記憶部１０２は、制御部１０１が実行するプログラムと、後述する手順データを記憶する。なお、プログラムは、電気通信回線を介してネットワークから取得してもよい。記憶部１０２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。記憶部１０２は、補助記憶装置と呼ばれてもよい。

【0024】

制御部１０１は、ＣＰＵ（Central Processing Unit）およびメモリを有している。端末装置１０において実現する機能は、記憶部１０２に記憶されているプログラム（ソフトウェア）をＣＰＵ、メモリなどのハードウェア上に読み込ませることでＣＰＵが演算を行い、記憶部１０２の制御、通信部１０５の制御、音声処理部１０７の制御、メモリおよび記憶部１０２におけるデータの読み出しおよび／または書き込みの制御を行うことで実現される。制御部１０１が行う後述の各種処理は、１つのＣＰＵでの実行に限定されるものではなく、２以上のＣＰＵにより同時または逐次に実行されてもよい。ＣＰＵは、１以上のチップで実装されてもよい。制御部１０１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ）で構成されてもよい。また、制御部１０１は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部または全てが実現されてもよい。

【0025】

メモリは、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリは、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリは、本発明の一実施形態に係る処理を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0026】

図３は、記憶部１０２に記憶されているプログラムを制御部１０１が実行することにより実現する機能のうち、本発明に係る機能の構成を示した機能ブロック図である。これらの機能ブロック（構成部）は、ハードウェアおよび／またはソフトウェアの任意の組み合わせによって実現されてもよい。また、各機能ブロックの実現手段は特に限定されない。即ち、各機能ブロックは、物理的および／または論理的に結合した１つの装置により実現されてもよいし、物理的および／または論理的に分離した２つ以上の装置を直接的および／または間接的に（例えば、有線および／または無線）で接続し、これら複数の装置により実現されてもよい。

【0027】

認識部１００１は、撮像部１０８が生成した画像を解析し、手順データで指定される被写体を認識する。表示制御部１００２は、認識部１００１が認識した被写体について、手順データに含まれる情報との相違に応じた情報を表示する。

【0028】

（サーバ装置２０の構成）
図４は、サーバ装置２０のハードウェア構成を示した図である。通信部２０５は、コンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信部２０５は、通信網２を介してデータ通信を行う。

【0029】

記憶部２０２は、制御部２０１が実行するプログラムを記憶している。なお、プログラムは、電気通信回線を介してネットワークから取得してもよい。記憶部２０２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。記憶部２０２は、補助記憶装置と呼ばれてもよい。

【0030】

また、記憶部２０２は、例えば、料理の調理手順を表す手順データを複数記憶する。手順データとしては、例えば、肉料理の一例として、ハンバーグの調理手順を示す手順データを記憶し、魚料理の一例として、アジフライの調理手順を示す手順データを記憶する。なお、記憶部２０２が記憶する手順データは、上記の料理の手順データに限定されるものではなく、上記の料理以外の手順データも記憶する。

【0031】

手順データは、調理手順の各工程で表示する情報を含む。各工程で表示する情報としては、例えば、準備工程については、準備する材料の種類や量などの情報を含み、材料を切る工程については、材料の切り方の情報を含む。また、例えば、材料を成形する工程については、成形方法の情報を含み、成形後の材料を焼く工程については、焼く前の材料の画像、焼き方、焼く時間などの情報を含む。また、焼く時間については、例えば、成形後の材料の厚み毎に、当該厚みに適した時間を含む。

【0032】

制御部２０１は、ＣＰＵ（Central Processing Unit）およびメモリを有している。サーバ装置２０において実現する機能は、記憶部２０２に記憶されているプログラム（ソフトウェア）をＣＰＵ、メモリなどのハードウェア上に読み込ませることでＣＰＵが演算を行い、記憶部２０２の制御、通信部２０５の制御、メモリおよび記憶部２０２におけるデータの読み出しおよび／または書き込みの制御を行うことで実現される。制御部２０１が行う後述の各種処理は、１つのＣＰＵでの実行に限定されるものではなく、２以上のＣＰＵにより同時または逐次に実行されてもよい。ＣＰＵは、１以上のチップで実装されてもよい。制御部２０１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。また、制御部２０１は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部または全てが実現されてもよい。

【0033】

メモリは、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリは、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリは、本発明の一実施形態に係る処理を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0034】

（実施形態の動作例）
次に本実施形態の動作例について説明する。端末装置１０のユーザがサーバ装置２０へのアクセスを指示する操作を操作部１０３で行うと、端末装置１０は、通信部１０５を制御してサーバ装置２０へアクセスする。端末装置１０がサーバ装置２０へアクセスすると、サーバ装置２０は、料理名の一覧の情報を端末装置１０へ送信する。端末装置１０は、サーバ装置２０から送信された情報を取得し、取得した情報が表す一覧を表示部１０４で表示する。ユーザは、眼前に表示される料理名の一覧を見る。

【0035】

ユーザは、操作部１０３を操作し、表示された一覧の中からユーザが作る料理を選択する操作を行う。端末装置１０は、表示された一覧の中から料理名を選択する操作が行われると、ユーザが選択した料理名を表す情報をサーバ装置２０へ送信する。サーバ装置２０は、料理名を表す情報を取得すると、取得した情報が表す料理名の料理に対応した手順データを記憶部２０２から取得し、取得した手順データを端末装置１０へ送信する。

【0036】

端末装置１０は、サーバ装置２０が送信した手順データを取得する。手順データを取得した端末装置１０は、手順データに含まれる情報を表示部１０４で表示する。ここでは、例えば、ユーザが選択した料理がハンバーグであり、手順データにおいては、ハンバーグの調理の手順として、準備工程、カット工程、混ぜ工程、成形工程、焼き工程、仕上げ工程および盛り付け工程がある場合を想定して説明を行う。

【0037】

手順データを取得した端末装置１０は、まず準備工程に係る情報を手順データから抽出し、抽出した情報を表示する。図５は、ここで端末装置１０が表示する情報の一例を示した図である。ここで端末装置１０は、例えば、ハンバーグの調理に必要な合挽き肉、玉ねぎ、玉子等の材料と、各材料の量を表示する。

【0038】

ユーザは、材料の準備を終えると操作部１０３を操作し、次の手順の表示を指示する操作を行う。具体的には、ユーザは、操作部１０３を操作し、図５に示した「次へ」のボタンを選択する操作を行う。端末装置１０は、この操作が行われると、次のカット工程に係る情報を手順データから抽出し、抽出した情報を表示する。図６は、ここで端末装置１０が表示する情報の一例を示した図である。ここで端末装置１０は、例えば、玉ねぎをみじん切りにする旨を表示する。

【0039】

ユーザは、玉ねぎのみじん切りを終えると、操作部１０３を操作し、次の手順の表示を指示する操作を行う。ユーザが操作部１０３を操作し、図６に示した「次へ」のボタンを選択する操作を行うと、端末装置１０は、次の混ぜ工程に係る情報を手順データから抽出し、抽出した情報を表示する。図７は、ここで端末装置１０が表示する情報の一例を示した図である。端末装置１０は、みじん切りした玉ねぎ、合挽き肉、溶き卵、パン粉、塩、コショウを混ぜる旨を表示する。

【0040】

ユーザは、材料を混ぜるのを終えると、操作部１０３を操作し、次の手順の表示を指示する操作を行う。ユーザが操作部１０３を操作し、図７に示した「次へ」のボタンを選択する操作を行うと、端末装置１０は、次の成形工程に係る情報を手順データから抽出し、抽出した情報を表示する。図８は、ここで端末装置１０が表示する情報の一例を示した図である。ここで端末装置１０は、混ぜた材料を分けて成形する旨と、成形後の材料の厚さを表示部１０４で表示する。

【0041】

ユーザは、材料の成形を終えると、操作部１０３を操作し、次の手順の表示を指示する操作を行う。ユーザが操作部１０３を操作し、図８に示した「次へ」のボタンを選択する操作を行うと、端末装置１０は、次の焼き工程に係る情報を手順データから抽出し、抽出した情報を表示する。図９は、ここで端末装置１０が表示する情報の一例を示した図である。ここでは、成形後の材料の厚さを確認するためのボタンが表示される。

【0042】

ここで、ユーザが、成形した材料を端末装置１０のレンズ越しに視認し、材料の厚さを確認するためのボタンを選択する操作を行うと、端末装置１０は、図１０に示した処理を実行する。まず端末装置１０は、成形された材料を撮像部１０８で撮影し、成形された材料を含む画像を生成する（ステップＳＡ１）。次に端末装置１０（認識部１００１）は、撮像部１０８が生成した画像を解析して成形された材料を認識し、認識した材料の厚さを特定する（ステップＳＡ２）。次に端末装置１０（表示制御部１００２）は、特定した材料の厚さに対応した焼き時間を特定する（ステップＳＡ３）。ここで端末装置１０は、特定した材料の厚さが成形工程で指定されている厚さ（手順データに含まれている厚さ）より厚い場合、特定した厚さに応じて、成形工程で指定されている厚さのときより長い時間を、ユーザが成形した材料に対する焼き時間として特定する。また、端末装置１０は、特定した材料の厚さが成形工程で指定されている厚さより薄い場合、特定した厚さに応じて、成形工程で指定されている厚さのときより短い時間を、ユーザが成形した材料に対する焼き時間として特定する。例えば、手順データは、厚さと焼き時間との関係を格納したテーブルを有し、端末装置１０は、認識した厚さに対応した焼き時間をテーブルから取得する。手順データに含まれている厚さは、認識した被写体（成形された材料）に対して予め定められている情報の一例である。端末装置１０は、ユーザが成形した材料の厚さと、当該厚さに対応した焼き時間とを特定すると、特定した厚さと焼き時間を表示部１０４で表示する（ステップＳＡ４）。図１１は、ここで端末装置１０が表示する情報の一例を示した図である。

【0043】

ユーザは、焼き時間を確認すると、操作部１０３を操作し、次の手順の表示を指示する操作を行う。ユーザが操作部１０３を操作し、図１１に示した「次へ」のボタンを選択する操作を行うと、次の仕上げ工程に係る情報を手順データから抽出し、抽出した情報を表示する。図１２は、ここで端末装置１０が表示する情報の一例を示した図である。ここで端末装置１０は、例えば、ウスターソースを煮絡める旨を表示する。

【0044】

ユーザは、仕上げ工程を終えると、操作部１０３を操作し、次の手順の表示を指示する操作を行う。ユーザが操作部１０３を操作し、図１２に示した「次へ」のボタンを選択する操作を行うと、次の盛り付け工程に係る情報を手順データから抽出し、抽出した情報を表示する。図１３は、ここで端末装置１０が表示する情報の一例を示した図である。ここで端末装置１０は、例えば、皿にハンバーグと付け合せの野菜を載せる旨を表示する。

【0045】

以上説明したように、本実施形態によれば、調理手順で予め定められている成形後の材料の厚さと、ユーザが成形した後の材料の厚さとの差が表示されるため、ユーザは、自身が成形した材料について、手順データで定められている標準の厚さとの差を認識することができる。即ち、本実施形態によれば、調理手順で予め定められた状態と、ユーザが作業した後の状態との差をユーザが認識することができる。
また、本実施形態によれば、ユーザが成形した後の材料の厚さに応じて、厚さに対応したその後の焼き時間が表示される。即ち、本実施形態によれば、表示される情報がユーザの作業に対応した情報となるため、ユーザが調理を失敗するのを防ぐことができる。

【0046】

［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した実施形態および以下の変形例は、各々を組み合わせてもよい。

【0047】

本発明においては、手順データは、例えば、刺身の切り方の手順を表すデータや、肉の下処理の手順を表すデータであってもよい。また、手順データは、材料の画像を含むものであってもよい。例えば、手順データが刺身の切り方の手順を表すものである場合、手順データは、手本となる一切れの画像を含むものであってもよい。

【0048】

端末装置１０は、手順データが材料の画像を含む場合、手順データに含まれる材料の画像と、ユーザが作業した後の材料の画像とを比較してユーザの技量を判定し、判定結果に応じて情報を表示してもよい。例えば、手順データが刺身の切り方の手順を表す場合、ユーザは、操作部１０３を操作し、切った一切れを撮像部１０８で撮影する。端末装置１０は、撮像部１０８が生成した画像を取得し、ユーザが切った一切れの画像と、手順データに含まれている一切れの画像とを比較する。端末装置１０は、手順データに含まれている画像の一切れに対し、撮像部１０８が生成した画像に含まれている一切れの形が異なる場合、ユーザの技量が劣ると判定する。端末装置１０は、ユーザの技量が劣ると判定した場合、手順データに含まれている一切れの画像を表示し、切り方のコツを手順データから取得して表示してもよい。
また、端末装置１０は、ユーザが切った一切れの画像と、手順データに含まれている一切れの画像とを比較し、ユーザの技量を複数段階で判定してもよい。端末装置１０は、判定した技量の段階に応じて、表示する情報が異なるようにしてもよく、情報を表示するタイミングについても、判定した技量の段階に応じて異なるようにしてもよい。この変形例によれば、端末装置１０のユーザは、自身の技量を知ることができ、調理を上達させることができる。また、端末装置１０は、ユーザの技量が劣ると判定した場合、上手に切るための道具（アイテム）の情報を手順データから取得して表示してもよい。この変形例によれば、表示されたアイテムを用いることにより、次に作業を行うときに調理を上手く行うことができる。

【0049】

また、端末装置１０は、手順データに含まれている画像の一切れに対し、撮像部１０８が生成した画像に含まれている一切れの形が同様である場合、ユーザの技量が優れていると判定する。端末装置１０は、ユーザの技量が優れていると判定した場合、技量の判定結果を表示してもよい。ユーザの技量が優れていると判定した場合に表示する情報の量は、劣っていると判定した場合に表示する情報の量より少ない構成としてもよい。
この変形例によれば、技量が劣っているユーザについては、画像や文章などの多くの情報により技量を上達させることができる。また、技量が優れているユーザについては、表示する情報を少なくし、作業をスムーズに進めさせることができる。

【0050】

本発明においては、手順データは調理に係る時間の情報を含み、端末装置１０は、手順データに含まれる情報に基づいて、調理の完了予定時刻を表示してもよい。また、上述した実施形態においては、ユーザが成形した材料の厚さに応じて、成形された材料の焼き時間を特定しているが、端末装置１０は、調理の完了予定時刻を表示する場合、特定した焼き時間に応じて、調理の完了予定時刻を修正して表示してもよい。例えば、端末装置１０は、手順データに含まれる情報の表示を開始したときには、現在時刻と、手順データに含まれている調理に要する時間の情報に基づいて、手順通りに調理を行ったときの完了予定時刻を表示する。端末装置１０は、成形された材料の焼き時間について、成形工程で指定されている厚さのときより短い時間を特定した場合、表示する完了予定時刻を、当初に表示していた完了予定時刻より早い時刻に修正して表示する。また、端末装置１０は、成形された材料の焼き時間について、成形工程で指定されている厚さのときより長い時間を特定した場合、表示する完了予定時刻を、当初に表示していた完了予定時刻より遅い時刻に修正して表示する。本変形例によれば、ユーザが予め定められた手順通りに作業を行っていない場合でも、作業の完了の予定時刻を知ることができる。

【0051】

上述した実施形態においては、端末装置１０は、撮像部１０８が生成した画像から特定したユーザが成形した後の材料の厚さについて、手順データに含まれる成形後の材料の厚さとの違いに応じて、情報を表示しているが、手順データに含まれる情報との相違に応じて情報を表示する構成は、実施形態の構成に限定されるものではない。

【0052】

例えば、手順データがハンバーグの調理手順を表す場合、ユーザは、操作部１０３を操作し、焼き上げたハンバーグを撮像部１０８で撮影する。端末装置１０は、撮像部１０８が生成した画像を取得し、ユーザが焼き上げたハンバーグの画像と、手順データに含まれている焼き上がりのハンバーグの画像とを比較する。

【0053】

端末装置１０は、手順データに含まれている焼き上がりのハンバーグの画像に対し、撮像部１０８が生成した画像に含まれているハンバーグの色が異なる場合、色の相違に応じて情報を表示してもよい。例えば、手順データに含まれている画像におけるハンバーグの色に対し、ユーザが焼き上げたハンバーグの色が焦げた色である場合、焼き時間を短くするようアドバイスする文章を表示してもよい。また、手順データに含まれている画像におけるハンバーグの色に対し、ユーザが焼き上げたハンバーグの色が淡い色である場合、焼き時間が足りない旨をアドバイスする文章を表示してもよい。

【0054】

上述した実施形態においては、端末装置１０は、手順データをサーバ装置２０から取得し、手順データに含まれている情報を抽出して表示しているが、端末装置１０で表示する情報を取得する方法は、実施形態に構成に限定されるものではない。例えば、端末装置１０は、作業の工程毎にサーバ装置２０にアクセスして端末装置１０で表示する情報を取得し、取得した情報を表示してもよい。

【0055】

上述した実施形態においては、ユーザが操作部１０３を操作することにより、次の工程に係る情報を表示しているが、ユーザの音声に対して音声認識を行い、音声で端末装置１０を操作することにより、次の工程に係る情報を表示するようにしてもよい。

【0056】

上述した実施形態においては、手順データは、料理の調理手順を表すが、手順データは、料理の調理手順を表すものに限定されるものではない。例えば、手順データは、工作または手芸、陶芸などの物づくりの手順を示すものであってもよく、また、園芸作業の手順を示すものであってもよい。例えば、手動データが木製のブックスタンドの作成の手順を表すものである場合、手順データは、木材を切る工程の情報として、切った後の木材の形、寸法、切った後の木材の画像を含む。この場合、ユーザは、操作部１０３を操作し、切った後の木材を撮像部１０８で撮影する。端末装置１０は、撮像部１０８が生成した画像を取得し、ユーザが切った木材の画像と、手順データに含まれている木材の画像とを比較する。端末装置１０は、手順データに含まれている画像の木材に対し、撮像部１０８が生成した画像に含まれている木材の形が異なる場合、ユーザの技量が劣ると判定する。端末装置１０は、ユーザの技量が劣ると判定した場合、手順データに含まれている木材の画像を表示し、切り方のコツを手順データから取得して表示してもよい。

【0057】

本発明においては、端末装置１０がスマートフォンまたはタブレット端末である場合、撮像部１０８で撮影されて表示部１０４で表示されている現実空間の画像に対し、手順データから抽出した情報や、ステップＳＡ３で特定した焼き時間を重畳して表示してもよい。

【0058】

上述した実施形態においては、端末装置１０は、成形されて撮影された材料の厚さを認識し、認識した厚さと手順データに含まれている厚さとの相違を特定し、相違に応じた情報を取得して表示しているが、厚さの認識、相違の特定、相違に応じた情報の取得については、サーバ装置２０が行う構成であってもよい。図１４は、本変形例に係る機能の構成を示した機能ブロック図である。表示制御部１００２、第１送信部１００３および第１受信部１００４は、制御部１０１において実現し、第２受信部２００１、認識部２００２および第２送信部２００３は、制御部２０１において実現する。第１送信部１００３は、撮像部１０８が生成した画像をサーバ装置２０へ送信する。第２受信部２００１は、第１送信部１００３が送信した画像を受信する。認識部２００２は、第２受信部２００１が受信した画像を解析し、手順データで指定される被写体を認識する。第２送信部２００３は、認識部２００２が認識した被写体について、手順データに含まれる情報との相違に応じた情報を端末装置１０へ送信する。第１受信部１００４は、第２送信部２００３が送信した情報を受信する。表示制御部１００２は、第１受信部が受信した情報を表示する。

【0059】

本変形例の場合、例えば、端末装置１０（第１送信部１００３）は、撮像部１０８が生成した画像をサーバ装置２０へ送信する。サーバ装置２０（第２受信部２００１）は、端末装置１０から送信された画像を受信する。サーバ装置２０（認識部２００２）は、受信した画像を解析し、成形されて撮影された材料の厚さを認識する。サーバ装置２０は、認識した厚さと、ユーザが選択した料理名で特定される手順データに含まれている材料の厚さとの相違を特定する。サーバ装置２０は、特定した相違に応じた焼き時間（加工時間）を取得する。サーバ装置２０（第２送信部２００３）は、取得した時間を表す情報を端末装置１０へ送信する。端末装置１０（第１受信部１００４）は、サーバ装置２０から送信された情報を受信する。端末装置１０（表示制御部１００２）は、受信した情報が示す焼き時間を表示部１０４で表示する。
なお、本変形例においては、サーバ装置２０側でユーザの技量を判定し、ユーザの技量が優れていると判定した場合に送信する情報の量は、劣っていると判定した場合に送信する情報の量より少ない構成としてもよい。
また、本変形例においては、サーバ装置２０は、調理の完了予定時刻を端末装置１０へ送信してもよい。
また、本変形例においては、サーバ装置２０は、端末装置１０と同様にユーザの技量を判定し、判定結果に応じた情報を端末装置１０へ送信してもよい。
また、本変形例においては、サーバ装置２０は、ユーザの技量が劣ると判定した場合、手順データに含まれている一切れの画像と、切り方のコツを手順データから取得して送信してもよい。
また、本変形例においては、サーバ装置２０は、ユーザの技量が劣ると判定した場合、上手に切るための道具（アイテム）の情報を手順データから取得して端末装置１０へ送信してもよい。

【0060】

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステムおよび／またはこれらに基づいて拡張された次世代システムに適用されてもよい。

【0061】

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0062】

本発明においては、情報等は、上位レイヤ（または下位レイヤ）から下位レイヤ（または上位レイヤ）へ出力され得る。複数のネットワークノードを介して入出力されてもよい。

【0063】

本発明においては、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0064】

本発明においては、判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0065】

本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

【0066】

プログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、ソフトウェア、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0067】

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペアおよびデジタル加入者回線（ＤＳＬ）などの有線技術および／または赤外線、無線およびマイクロ波などの無線技術を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、これらの有線技術および／または無線技術は、伝送媒体の定義内に含まれる。

【0068】

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、またはこれらの任意の組み合わせによって表されてもよい。

【0069】

本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。

【0070】

本明細書で使用する「判断（determining）」、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking up）（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認（ascertaining）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信（receiving）（例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。

【0071】

本開示において「接続された（connected）」、「結合された（coupled）」という用語、またはこれらのあらゆる変形は、２またはそれ以上の要素間の直接的または間接的なあらゆる接続または結合を意味し、互いに「接続」または「結合」された２つの要素間に１またはそれ以上の中間要素が存在することを含むことができる。要素間の結合または接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。本明細書で使用する場合、２つの要素は、１またはそれ以上の電線、ケーブルおよび／またはプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域および光（可視および不可視の両方）領域の波長を有する電磁エネルギーなどの電磁エネルギーを使用することにより、互いに「接続」または「結合」されると考えることができる。

【0072】

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0073】

「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

【0074】

本開示の全体において、例えば、英語でのa、an、およびtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。

【0075】

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨および範囲を逸脱することなく修正および変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

【符号の説明】

【0076】

２…通信網、１０…端末装置、２０…サーバ装置、１０１…制御部、１０２…記憶部、１０３…操作部、１０４…表示部、１０５…通信部、１０７…音声処理部、１０８…撮像部、２０１…制御部、２０２…記憶部、２０５…通信部、１００１…認識部、１００２…表示制御部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】