IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社QBIT Roboticsの特許一覧

特開2022-32503情報処理システム、情報処理装置、情報処理方法およびプログラム
<>
  • 特開-情報処理システム、情報処理装置、情報処理方法およびプログラム 図1
  • 特開-情報処理システム、情報処理装置、情報処理方法およびプログラム 図2
  • 特開-情報処理システム、情報処理装置、情報処理方法およびプログラム 図3
  • 特開-情報処理システム、情報処理装置、情報処理方法およびプログラム 図4
  • 特開-情報処理システム、情報処理装置、情報処理方法およびプログラム 図5
  • 特開-情報処理システム、情報処理装置、情報処理方法およびプログラム 図6
  • 特開-情報処理システム、情報処理装置、情報処理方法およびプログラム 図7
  • 特開-情報処理システム、情報処理装置、情報処理方法およびプログラム 図8
  • 特開-情報処理システム、情報処理装置、情報処理方法およびプログラム 図9
  • 特開-情報処理システム、情報処理装置、情報処理方法およびプログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022032503
(43)【公開日】2022-02-25
(54)【発明の名称】情報処理システム、情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
   G06Q 10/00 20120101AFI20220217BHJP
【FI】
G06Q10/00
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2020136345
(22)【出願日】2020-08-12
(71)【出願人】
【識別番号】518239352
【氏名又は名称】株式会社QBIT Robotics
(74)【代理人】
【識別番号】100123788
【弁理士】
【氏名又は名称】宮崎 昭夫
(74)【代理人】
【識別番号】100127454
【弁理士】
【氏名又は名称】緒方 雅昭
(72)【発明者】
【氏名】中野 浩也
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049AA22
(57)【要約】
【課題】材料の準備から調理までを自動化して行う。
【解決手段】可動部を具備する情報処理装置400と、完成品を示す完成品情報と完成品を作成するための作成方法とを対応付けて記憶する作成方法データベース100と、作成方法と作成方法に従って可動部を動かすための可動情報とを対応付けて記憶する可動情報データベース200とを有し、情報処理装置400は、入力した完成品情報に基づいて、作成方法データベース100から作成方法を読み出し、読み出した作成方法に基づいて、可動情報データベース200から可動情報を読み出し、読み出した可動情報に従って可動部を動かす。
【選択図】図1
【特許請求の範囲】
【請求項1】
可動部を具備する情報処理装置と、
完成品を示す完成品情報と該完成品を作成するための作成方法とを対応付けて記憶する第1のデータベースと、
前記作成方法と該作成方法に従って前記可動部を動かすための可動情報とを対応付けて記憶する第2のデータベースとを有し、
前記情報処理装置は、
入力部と、
前記入力部が入力した前記完成品情報に基づいて、前記作成方法を前記第1のデータベースから読み出す作成方法読み出し部と、
前記作成方法読み出し部が読み出した前記作成方法に基づいて、前記可動情報を前記第2のデータベースから読み出す可動情報読み出し部と、
前記可動情報読み出し部が読み出した前記可動情報に従って前記可動部を動かす駆動部とを有する情報処理システム。
【請求項2】
請求項1に記載の情報処理システムにおいて、
前記完成品を作成するために必要な材料を示す材料情報と、前記材料情報が示す前記材料を特定する材料識別情報とを対応付けて記憶する第3のデータベースを有し、
前記情報処理装置は、前記作成方法読み出し部が読み出した前記作成方法に含まれる前記材料情報に基づいて、前記材料識別情報を前記第3のデータベースから読み出す材料識別情報読み出し部と、
前記材料に表示されたコード情報を読み取るコードリーダとを有し、
前記駆動部は、前記コードリーダが読み取ったコード情報に基づいて、前記材料識別情報読み出し部が読み出した前記材料識別情報が付与された前記材料を扱うように前記可動部を動かす情報処理システム。
【請求項3】
請求項1に記載の情報処理システムにおいて、
あらかじめ学習済みの画像データを記憶する材料画像学習モデルを有し、
前記情報処理装置は、
撮像部と、
前記材料画像学習モデルを用いて、前記撮像部が撮像した画像から前記作成方法読み出し部が読み出した前記作成方法に含まれる材料を判定する材料判定部とを有し、
前記駆動部は、前記材料判定部が判定した材料を扱うように前記可動部を動かす情報処理システム。
【請求項4】
請求項1から3のいずれか1項に記載の情報処理システムにおいて、
前記入力部は、通信ネットワークを介して前記完成品情報を入力する情報処理システム。
【請求項5】
請求項1から3のいずれか1項に記載の情報処理システムにおいて、
前記入力部は、外部からの操作に基づいて前記完成品情報を入力する情報処理システム。
【請求項6】
請求項1から5のいずれか1項に記載の情報処理システムにおいて、
前記入力部は、前記完成品情報の入力を促す表示を行う情報処理システム。
【請求項7】
請求項6に記載の情報処理システムにおいて、
前記入力部は、当該情報処理装置と接続された他の装置に前記表示をさせる情報処理システム。
【請求項8】
請求項6または請求項7に記載の情報処理システムにおいて、
前記入力部は、前記完成品情報を選択可能に複数表示する情報処理システム。
【請求項9】
請求項1から8のいずれか1項に記載の情報処理システムにおいて、
前記完成品は料理であり、前記作成方法は前記料理のレシピである情報処理装置。
【請求項10】
可動部と、
入力部と、
前記入力部が入力した完成品を示す完成品情報に基づいて、前記完成品情報と前記完成品を作成するための作成方法とを対応付けて記憶する第1のデータベースから、前記作成方法を読み出す作成方法読み出し部と、
前記作成方法読み出し部が読み出した前記作成方法に基づいて、前記作成方法と該作成方法に従って前記可動部を動かすための可動情報とを対応付けて記憶する第2のデータベースから、前記可動情報を読み出す可動情報読み出し部と、
前記可動情報読み出し部が読み出した前記可動情報に従って前記可動部を動かす駆動部とを有する情報処理装置。
【請求項11】
請求項10に記載の情報処理装置において、
前記作成方法読み出し部が読み出した前記作成方法に含まれる材料情報に基づいて、前記材料情報が示す材料に付与された材料識別情報を、前記完成品を作成するために必要な材料を示す材料情報と前記材料情報が示す前記材料を特定する材料識別情報とを対応付けて記憶する第3のデータベースから読み出す材料識別情報読み出し部と、
前記材料に表示されたコード情報を読み取るコードリーダとを有し、
前記駆動部は、前記コードリーダが読み取ったコード情報に基づいて、前記材料識別情報読み出し部が読み出した前記材料識別情報が付与された前記材料を扱うように前記可動部を動かす情報処理装置。
【請求項12】
入力された完成品を示す完成品情報に基づいて、前記完成品情報と前記完成品を作成するための作成方法とを対応付けて記憶する第1のデータベースから、前記作成方法を読み出す処理と、
前記読み出した前記作成方法に基づいて、前記作成方法と該作成方法に従って可動部を動かすための可動情報とを対応付けて記憶する第2のデータベースから、前記可動情報を読み出す処理と、
前記読み出した前記可動情報に従って可動部を動かす処理とを行う情報処理方法。
【請求項13】
請求項12に記載の情報処理方法において、
前記第1のデータベースから読み出した前記作成方法に含まれる材料情報に基づいて、前記材料情報が示す材料に付与された材料識別情報を、前記完成品を作成するために必要な材料を示す材料情報と前記材料情報が示す前記材料を特定する材料識別情報とを対応付けて記憶する第3のデータベースから読み出す処理と、
前記材料に表示されたコード情報を読み取る処理と、
前記読み取ったコード情報に基づいて、前記第3のデータベースから読み出した前記材料識別情報が付与された前記材料を扱うように前記可動部を動かす処理とを行う情報処理方法。
【請求項14】
コンピュータに、
入力された完成品を示す完成品情報に基づいて、前記完成品情報と前記完成品を作成するための作成方法とを対応付けて記憶する第1のデータベースから、前記作成方法を読み出す手順と、
前記読み出した前記作成方法に基づいて、前記作成方法と該作成方法に従って可動部を動かすための可動情報とを対応付けて記憶する第2のデータベースから、前記可動情報を読み出す手順と、
前記読み出した前記可動情報に従って可動部を動かす手順とを実行させるためのプログラム。
【請求項15】
請求項14に記載のプログラムにおいて、
前記第1のデータベースから読み出した前記作成方法に含まれる材料情報に基づいて、前記材料情報が示す材料に付与された材料識別情報を、前記完成品を作成するために必要な材料を示す材料情報と前記材料情報が示す前記材料を特定する材料識別情報とを対応付けて記憶する第3のデータベースから読み出す手順と、
前記材料に表示されたコード情報を読み取る手順と、
前記読み取ったコード情報に基づいて、前記第3のデータベースから読み出した前記材料識別情報が付与された前記材料を扱うように前記可動部を動かす手順とを実行させるためにプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
近年、食品の調理を自動で行う装置が考えられている(例えば、特許文献1参照。)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2017-158549号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載された技術においては、所望の料理に必要な食材の準備を自動で行うことはできず、すべてを自動化した調理を行うことができないという問題点がある。
【0005】
本発明の目的は、材料の準備から調理までを自動化して行うことができる情報処理システム、情報処理装置、情報処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本発明の情報処理システムは、
可動部を具備する情報処理装置と、
完成品を示す完成品情報と該完成品を作成するための作成方法とを対応付けて記憶する第1のデータベースと、
前記作成方法と該作成方法に従って前記可動部を動かすための可動情報とを対応付けて記憶する第2のデータベースとを有し、
前記情報処理装置は、
入力部と、
前記入力部が入力した前記完成品情報に基づいて、前記作成方法を前記第1のデータベースから読み出す作成方法読み出し部と、
前記作成方法読み出し部が読み出した前記作成方法に基づいて、前記可動情報を前記第2のデータベースから読み出す可動情報読み出し部と、
前記可動情報読み出し部が読み出した前記可動情報に従って前記可動部を動かす駆動部とを有する。
【0007】
また、本発明の情報処理装置は、
可動部と、
入力部と、
前記入力部が入力した完成品を示す完成品情報に基づいて、前記完成品情報と前記完成品を作成するための作成方法とを対応付けて記憶する第1のデータベースから、前記作成方法を読み出す作成方法読み出し部と、
前記作成方法読み出し部が読み出した前記作成方法に基づいて、前記作成方法と該作成方法に従って前記可動部を動かすための可動情報とを対応付けて記憶する第2のデータベースから、前記可動情報を読み出す可動情報読み出し部と、
前記可動情報読み出し部が読み出した前記可動情報に従って前記可動部を動かす駆動部とを有する。
【0008】
また、本発明の情報処理方法は、
入力された完成品を示す完成品情報に基づいて、前記完成品情報と前記完成品を作成するための作成方法とを対応付けて記憶する第1のデータベースから、前記作成方法を読み出す処理と、
前記読み出した前記作成方法に基づいて、前記作成方法と該作成方法に従って前記可動部を動かすための可動情報とを対応付けて記憶する第2のデータベースから、前記可動情報を読み出す処理と、
前記読み出した前記可動情報に従って可動部を動かす処理とを行う。
【0009】
また、本発明のプログラムは、
コンピュータに実行させるためのプログラムであって、
入力された完成品を示す完成品情報に基づいて、前記完成品情報と前記完成品を作成するための作成方法とを対応付けて記憶する第1のデータベースから、前記作成方法を読み出す手順と、
前記読み出した前記作成方法に基づいて、前記作成方法と該作成方法に従って前記可動部を動かすための可動情報とを対応付けて記憶する第2のデータベースから、前記可動情報を読み出す手順と、
前記読み出した前記可動情報に従って可動部を動かす手順とを実行させる。
【発明の効果】
【0010】
本発明においては、材料の準備から調理までを自動化して行うことができる。
【図面の簡単な説明】
【0011】
図1】本発明の情報処理システムの第1の実施の形態を示す図である。
図2図1に示した作成方法データベースが記憶する対応付け情報の一例を示す図である。
図3図1に示した可動情報データベースが記憶する対応付け情報の一例を示す図である。
図4図1に示した材料情報データベースが記憶する対応付け情報の一例を示す図である。
図5図1に示した情報処理装置の内部構成の一例を示す図である。
図6図1に示した情報処理システムにおける情報処理方法の一例を説明するためのフローチャートである。
図7】コード情報が表示(貼付等)されて所定の保管場所に保管されている材料の保管の様子の一例を示す図である。
図8】本発明の情報処理システムの第2の実施の形態を示す図である。
図9図8に示した情報処理装置の内部構成の一例を示す図である。
図10図8に示した情報処理システムにおける情報処理方法の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【0012】
以下に、本発明の実施の形態について図面を参照して説明する。
(第1の実施の形態)
【0013】
図1は、本発明の情報処理システムの第1の実施の形態を示す図である。本形態における情報処理システムは図1に示すように、データベースシステム10と、情報処理装置400と、利用者端末500とを有する。データベースシステム10と、情報処理装置400と、利用者端末500とは、互いに通信ネットワーク600を介して接続されている。データベースシステム10、情報処理装置400および利用者端末500と、通信ネットワーク600との間の接続は、有線を用いたものであっても良いし、無線を用いたものであっても良い。通信ネットワーク600は、一般的な通信ネットワークである。
【0014】
利用者端末500は、本システムを利用する利用者が操作する通信端末である。利用者端末500は、少なくとも、情報を入力する機能および情報を送信する機能を具備する。さらに利用者端末500は、情報を表示する機能および情報を受信する機能を具備しているものが好ましい。利用者端末500は、例えば、スマートフォンのような携帯端末や一般的なPC(Personal Computer)が挙げられる。
【0015】
データベースシステム10は、作成方法データベース100と、可動情報データベース200と、材料情報データベース300とを有する。作成方法データベース100は、完成品を示す完成品情報と、完成品を作成するための作成方法とを対応付けて記憶する第1のデータベースである。可動情報データベース200は、作成方法と、その作成方法に従って情報処理装置400が具備する可動部(後述する可動部410)を動かすための可動情報とを対応付けて記憶する第2のデータベースである。材料情報データベース300は、完成品を作成するために必要な材料を示す材料情報と、その材料情報が示す材料を特定する材料識別情報とを対応付けて記憶する第3のデータベースである。それぞれのデータベースに記憶された情報は、あらかじめ登録された情報であり、例えば、各完成品(料理)のシェフや本システムの管理者等の所定の権限を有する者が外部から編集可能な情報である。
【0016】
図2は、図1に示した作成方法データベース100が記憶する対応付け情報の一例を示す図である。図1に示した作成方法データベース100は図2に示すように、完成品を示す完成品情報と、完成品を作成するための作成方法とを対応付けて対応付け情報として記憶する。完成品情報は、例えば、ロールキャベツや肉じゃが、ハンバーグ、から揚げ等の料理のメニュー(品物)を示す情報である。完成品情報には、その完成品を売るときの売価を示す価格情報や調理時間を示す調理時間情報、完成品の画像、完成品の説明が含まれていても良い。作成方法は、材料情報と調理方法情報とを含む。材料情報は、完成品を作るために必要な材料を示す情報である。材料情報には、完成品の具材を示す具材情報だけではなく、完成品を作るために必要な調味料を示す調味料情報や、調理を行うための調理器具を示す調理器具情報、完成品を盛り付ける容器を示す容器情報も含まれる。調理方法情報は、材料情報が示す材料や調味料をどのくらいの分量でどのように調理するかおよび完成品をどのように盛り付けるかを示す情報である。具体的には、調理方法情報は、材料情報に記憶された必要な材料や調味料の分量を示す情報、その材料や調味料を材料情報に記憶された調理器具を用いてどのように扱うかを示す情報、および完成品を材料情報に記憶された容器にどのように盛り付けるかを示す情報から構成される。図2に示すように、完成品情報が示す完成品は料理であり、作成方法はその料理のレシピである。なお、1つの料理に対して完成品情報は複数存在しても良い。つまり、例えば、「ロールキャベツ」について、複数の調理方法(作成方法)がある。それを「ロールキャベツ(日本太郎)」、「ロールキャベツ2(関東二郎)」というようにそのレシピのシェフの名前を含んだ複数の完成品情報として、作成方法データベース100はそれぞれの調理方法(作成方法)を対応付けておいても良い。このような複数の完成品情報を登録しておくことで、例えば、同じ料理であっても、好みのシェフの調理方法(作成方法)を選択することができる。
【0017】
図3は、図1に示した可動情報データベース200が記憶する対応付け情報の一例を示す図である。図1に示した可動情報データベース200は図3に示すように、作成方法と可動情報とを対応付けて対応付け情報として記憶する。作成方法は、図2に示した調理方法情報が示す調理方法のうち、材料の処理の方法(材料をどのように処理するかを示す動作)を示すものである。作成方法は、いわゆる実行タスクである。作成方法は、例えば、材料を保持する、材料を切る、材料を量る、材料を混ぜる、材料を炒める、材料を焼く、電子レンジで温める、冷蔵庫で冷やす、時間を計る、調味料を振りかける、材料を千切りにする、材料をみじん切りにする、完成品を皿に盛り付ける、完成品をお椀に盛り付ける等の方法を示すものである。可動情報は、それぞれの作成方法に従って可動部(後述する可動部410)を動かすための情報である。可動情報は、例えば、可動部を動かす方向や角度、位置、距離、高さ、速さを制御するための情報であって、これらが数値化された情報である。可動情報は、例えば、ロボットの手足、頭部、胴体等の動きを制御するための情報のようなものである。なお、細かな動作それぞれを行うための数値は別に登録されており、可動情報は、これらの数値をどのように組み合わせるかを示す情報であっても良い。
【0018】
図4は、図1に示した材料情報データベース300が記憶する対応付け情報の一例を示す図である。図1に示した材料情報データベース300は図4に示すように、材料情報と材料識別情報とを対応付けて対応付け情報として記憶する。材料情報は、図2に示したものと同じものである。材料識別情報は、材料情報が示す材料それぞれにあらかじめ固有に付与された識別情報である。材料識別情報は、バーコードや二次元コード等が示すコード情報(材料コード)である。材料に表示(貼付等)されているコード情報を、コードリーダを用いて読み取り、読み取ったコード情報に基づいて材料情報データベース300から材料情報を読み出せば、コードリーダが読み取ったコード情報が表示(貼付等)されている材料が何であるかを識別することができる。例えば、図4に示すように、材料情報「キャベツ」と材料識別情報「A0001」とが対応付けられて記憶されている。これは、「A0001」を示すコード情報が表示(貼付)されている材料は「キャベツ」であることを示している。また、材料情報「ひき肉」と材料識別情報「A0002」とが対応付けられて記憶されている。これは、「A0002」を示すコード情報が表示(貼付)されている材料は「ひき肉」であることを示している。また、材料情報「ケチャップ」と材料識別情報「B0001」とが対応付けられて記憶されている。これは、「B0001」を示すコード情報が表示(貼付)されている材料は「ケチャップ」であることを示している。また、材料情報「塩」と材料識別情報「B0002」とが対応付けられて記憶されている。これは、「B0002」を示すコード情報が表示(貼付)されている材料は「塩」であることを示している。また、材料情報「フライパン」と材料識別情報「C0001」とが対応付けられて記憶されている。これは、「C0001」を示すコード情報が表示(貼付)されている材料は「フライパン」であることを示している。また、材料情報「ボウル」と材料識別情報「C0002」とが対応付けられて記憶されている。これは、「C0002」を示すコード情報が表示(貼付)されている材料は「ボウル」であることを示している。また、材料情報「包丁」と材料識別情報「C0003」とが対応付けられて記憶されている。これは、「C0003」を示すコード情報が表示(貼付)されている材料は「包丁」であることを示している。また、材料情報「スケール」と材料識別情報「C0004」とが対応付けられて記憶されている。これは、「C0004」を示すコード情報が表示(貼付)されている材料は「スケール」であることを示している。また、材料情報「皿(中)」と材料識別情報「D0001」とが対応付けられて記憶されている。これは、「D0001」を示すコード情報が表示(貼付)されている材料は「皿(中)」であることを示している。
【0019】
図5は、図1に示した情報処理装置400の内部構成の一例を示す図である。図1に示した情報処理装置400は図5に示すように、可動部410と、入力部420と、作成方法読み出し部430と、可動情報読み出し部440と、駆動部450と、材料識別情報読み出し部460とを有する。なお、図5には、図1に示した情報処理装置400が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示す。
【0020】
可動部410は、駆動部450からの制御に基づいて、材料を扱う、つまり、具材や調味料を把持したり、調理器具を操作したり、調理をしたりする、言わばロボットのアームまたはそれ相当の部分である。可動部410は、例えば、複数のモータや、ヒンジを用いて接続された様々な形状の複数の部材等から構成される。また、可動部410は、材料に表示(貼付等)されたコード情報を読み取るコードリーダ415も有する。コードリーダ415は、バーコードや二次元コード等の物品それぞれを識別可能に付与され、その物品に表示(貼付等)されたコード情報を読み取る。このコード情報は、材料識別情報を示す。コードリーダ415は、読み取ったコード情報を駆動部450へ出力する。なお、可動部410は、情報処理装置400の外部に設けられていても良い。また、コードリーダ415は、可動部410とは別に設けられていても良い。
【0021】
入力部420は、外部から受け付けた操作に基づいて、情報を入力する。入力部420が入力する情報は、完成品情報である。入力部420は、通信ネットワークを介して完成品情報を入力するものであっても良い。つまり、入力部420は、情報処理装置400と接続された通信装置(例えば、利用者端末500)から通信ネットワーク600を介して送信されてきた完成品情報を情報処理装置400に入力するものであっても良い。入力部420は、表示機能を有し、完成品情報の入力を促す表示を行うものであっても良い。入力部420は、情報処理装置400と接続された通信装置(例えば、利用者端末500)に完成品情報の入力を促す表示をさせて、その通信装置に入力されて送信されてきた完成品情報を情報処理装置400に入力するものであっても良い。入力部420は、完成品情報の入力を促す表示を行う際、完成品情報を選択可能に複数表示するものであっても良い。また、入力部420は、完成品情報の入力を促す表示を情報処理装置400と接続された通信装置(例えば、利用者端末500)にさせる際、完成品情報を選択可能に複数表示させるものであっても良い。また、入力部420は、外部からの操作に基づいて、要求される完成品の数量を入力するものであっても良い。
【0022】
作成方法読み出し部430は、入力部420が入力した完成品情報に基づいて、作成方法を作成方法データベース100から読み出す。具体的には、作成方法読み出し部430は、入力部420が入力した完成品情報を検索キーとして、その完成品情報と対応付けられて作成方法データベース100に記憶されている作成方法を読み出す。
【0023】
可動情報読み出し部440は、作成方法読み出し部430が読み出した作成方法に基づいて、可動情報を可動情報データベース200から読み出す。具体的には、可動情報読み出し部440は、作成方法読み出し部430が読み出した作成方法のうち、材料や調味料をどの調理器具を用いてどのように扱うかを示す情報を検索キーとして、その作成方法と対応付けられて可動情報データベース200に記憶されている可動情報を読み出す。
【0024】
材料識別情報読み出し部460は、作成方法読み出し部430が読み出した作成方法に含まれる材料情報に基づいて、材料識別情報を材料情報データベース300から読み出す。具体的には、材料識別情報読み出し部460は、作成方法読み出し部430が読み出した作成方法に含まれる材料情報を検索キーとして、その材料情報と対応付けられて材料情報データベース300に記憶されている材料識別情報を読み出す。
【0025】
駆動部450は、可動情報読み出し部440が読み出した可動情報に従って可動部410を動かす。具体的には、駆動部450は、可動情報読み出し部440が読み出した可動情報に従って材料識別情報読み出し部460が読み出した材料識別情報が付与された材料を扱うように可動部410を動かす。このとき、駆動部450は、可動部410を用いて、材料(または材料の保管容器)や調味料、調理器具、容器等に表示(貼付等)されているコード情報を読み取り、読み取ったコード情報と、材料識別情報読み出し部460が材料情報データベース300から読み出した材料情報とに基づいて、材料識別情報読み出し部460が材料情報データベース300から読み出した材料情報が示す材料を把持するように可動部410を動かす。可動部410が材料を把持した後は、駆動部450は、可動情報読み出し部440が読み出した可動情報に従ってその材料を可動部410が扱うように可動部410を制御する。
【0026】
以下に、図1に示した情報処理システムにおける情報処理方法について説明する。図6は、図1に示した情報処理システムにおける情報処理方法の一例を説明するためのフローチャートである。ここでは、本システムを利用する利用者が料理の注文を行う場合の処理について説明する。
【0027】
まず、利用者が利用者端末500に対して行った所定の操作を利用者端末500が受け付けると、利用者端末500は、情報処理装置400を有する本システムのサイトへアクセスし、当該サイトから料理(完成品)を選択するための画面を取得して表示する。このとき、利用者(利用者端末500)の認証処理が行われるものであっても良い。この認証処理は、情報処理装置400と利用者端末500との間で行われる一般的なもので良い。その後、利用者が利用者端末500に表示された選択画面に従って、料理(完成品)を選択するための操作を行い、その操作を利用者端末500が受け付けると、利用者端末500は、受け付けた操作に応じた料理(完成品)を示す完成品情報を、通信ネットワーク600を介して情報処理装置400へ送信する。情報処理装置400は、利用者端末500から送信されてきた完成品情報を受信すると、受信した完成品情報を入力部420が入力する(ステップS1)。
【0028】
続いて、作成方法読み出し部430は、入力部420が入力した完成品情報に基づいて、その完成品情報と対応付けられて記憶されている作成方法を作成方法データベース100から読み出す(ステップS2)。すると、可動情報読み出し部440は、作成方法読み出し部430が読み出した作成方法のうちの材料や調味料をどの調理器具や容器を用いてどのように扱うかを示す調理方法情報に基づいて、その情報と対応付けられた可動情報を可動情報データベース200から読み出す(ステップS3)。また、材料識別情報読み出し部460は、作成方法読み出し部430が読み出した作成方法に含まれる材料情報に基づいて、その材料情報と対応付けられて記憶されている材料識別情報を材料情報データベース300から読み出す(ステップS4)。ここで、ステップS3の処理とステップS4の処理とは、どちらを先に行っても良い。
【0029】
続いて、駆動部450が、可動情報に基づいて可動部410を動かして、各材料に表示(貼付等)されたコード情報(材料識別情報)をコードリーダ415を用いて読み取る(ステップS5)。ここで、駆動部450は、まず、あらかじめ設定されているコード情報読み取り動作に基づいて、可動部410(コードリーダ415)を動かす。このコード情報読み取り動作は、コードリーダ415が材料に表示(貼付等)されているコード情報を読み取るために必要な可動部410(コードリーダ415)の動作である。例えば、図4に示すような対応付けが材料情報データベース300に記憶されており、材料識別情報の頭文字のアルファベットが材料の保管場所を識別するための場所識別情報に設定されている場合(例えば、「A」が食材が保管されている冷蔵庫、「B」が調味料が保管されている調味料棚、「C」が調理器具が保管されている棚、「D」が容器が保管されている食器棚を示す場合)、ステップS4にて材料識別情報読み出し部460が読み出した材料識別情報が示す場所識別情報に基づいて、駆動部450は可動部410(コードリーダ415)を動かして、コードリーダ415が材料に表示(貼付等)されているコード情報を読み取り、材料識別情報読み出し部460が読み出した材料識別情報と一致する材料識別情報が表示(貼付等)されている材料が、必要な材料であると認識する。
【0030】
図7は、コード情報が表示(貼付等)されて所定の保管場所に保管されている材料の保管の様子の一例を示す図である。図7に示すように、材料識別情報であるコード情報30-1~30-9がそれぞれ貼付された材料20-1~20-9が、所定の保管場所に保管されている。なお、図7に示した例では、材料およびコード情報がそれぞれ9つである場合を例に挙げて示しているが、これらの数はこれに限らない。駆動部450は、可動部410を動かして、コード情報30-1~30-9を読み取る。
【0031】
駆動部450は、ステップS2にて作成方法読み出し部430が作成方法データベース100から読み出した作成方法と、ステップS3にて可動情報読み出し部440が可動情報データベース200から読み出した可動情報と、ステップS4にて材料識別情報読み出し部460が材料情報データベース300から読み出した材料識別情報と、ステップS5にてコードリーダ415が読み取ったコード情報とに基づいて可動部410を動かし、可動部410は調理を行う(ステップS6)。ここで調理とは、必要な材料(食材、調理器具、完成品を盛り付ける容器等)を保管している場所から準備し、それぞれを操作して完成品を作成し、作成した完成品を容器に盛り付けるまでの動作を言う。なお、駆動部450が可動部410を動かして容器に盛り付けた完成品を利用者に提供するという動作を行うものであっても良い。
【0032】
このように、完成品を作成する作成方法があらかじめ記憶された第1のデータベースと、作成方法に応じて可動部を動かす可動情報があらかじめ記憶された第2のデータベースとを有し、利用者から完成品の作成の要求があった際、情報処理装置400が第1のデータベースおよび第2のデータベースに記憶された情報を読み出し、読み出した情報に基づいて調理を行う。そのため、材料の準備から調理までを自動化して行うことができる。さらに、調理に必要な材料を保管場所に保管されている材料に表示(貼付等)されたコード情報を読み取り、読み取ったコード情報と、第1のデータベースから読み取った材料に基づいて、材料それぞれに付与された材料識別情報があらかじめ記憶された第3のデータベースから読み取った材料識別情報とに基づいて、保管場所に保管されている複数の材料から必要な材料を選択する。そのため、完成品の調理に必要な材料を自動で選択することができる。
(第2の実施の形態)
【0033】
図8は、本発明の情報処理システムの第2の実施の形態を示す図である。本形態における情報処理システムは図8に示すように、データベースシステム11と、情報処理装置401と、利用者端末500とを有する。データベースシステム11と、情報処理装置401と、利用者端末500とは、互いに通信ネットワーク600を介して接続されている。データベースシステム11、情報処理装置401および利用者端末500と、通信ネットワーク600との間の接続は、有線を用いたものであっても良いし、無線を用いたものであっても良い。通信ネットワーク600は、一般的な通信ネットワークである。利用者端末500は、第1に実施の形態におけるものと同じものである。
【0034】
データベースシステム11は、作成方法データベース100と、可動情報データベース200と、材料画像学習モデル301とを有する。作成方法データベース100および可動情報データベース200は、第1に実施の形態におけるものと同じものである。材料画像学習モデル301は、あらかじめ学習済みの材料の画像データの学習モデルを記憶する。ここで言う材料には、第1の実施の形態におけるものと同じであって、完成品の具材だけではなく、完成品を作るために必要な調味料や、調理を行うための調理器具、完成品を盛り付ける容器も含まれる。
【0035】
図9は、図8に示した情報処理装置401の内部構成の一例を示す図である。図8に示した情報処理装置401は図9に示すように、可動部411と、入力部420と、作成方法読み出し部430と、可動情報読み出し部440と、駆動部451と、撮像部471と、材料判定部481とを有する。なお、図9には、図8に示した情報処理装置401が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示す。入力部420、作成方法読み出し部430および可動情報読み出し部440それぞれは、第1に実施の形態におけるものと同じものである。
【0036】
可動部411は、第1の実施の形態における可動部410のコードリーダ415の機能を持たないものである。撮像部471は、材料を撮像するカメラである。撮像部471は、可動部410に設けられていても良い。撮像部471は、撮像した画像データを材料判定部481へ出力する。
【0037】
材料判定部481は、材料画像学習モデル301に記憶されている学習モデルを用いて、撮像部471が撮像して出力してきた画像データの中から、作成方法読み出し部430が作成方法データベース100から読み出した作成方法に含まれる材料情報が示す材料を判定する。材料判定部481は、学習モデルを用いた一般的な画像解析・画像認識処理を行って、撮像部471が出力してきた画像データに含まれる被写体が何の材料なのかを判定し、判定した材料の中から作成方法読み出し部430が作成方法データベース100から読み出した作成方法に含まれる材料情報が示す材料を抽出する。
【0038】
駆動部451は、可動情報読み出し部440が読み出した可動情報に従って可動部410を動かす。駆動部451は、作成方法読み出し部430が作成方法データベース100から読み出した作成方法に含まれる材料情報が示す材料を、材料判定部481が判定した材料の中から抽出し、該当した材料を把持するように可動部410を動かす。
【0039】
以下に、図8に示した情報処理システムにおける情報処理方法について説明する。図10は、図8に示した情報処理システムにおける情報処理方法の一例を説明するためのフローチャートである。ここでは、本システムを利用する利用者が料理の注文を行う場合の処理について説明する。
【0040】
まず、利用者が利用者端末500に対して行った所定の操作を利用者端末500が受け付けると、利用者端末500は、情報処理装置401を有する本システムのサイトへアクセスし、当該サイトから料理(完成品)を選択するための画面を取得して表示する。このとき、利用者(利用者端末500)の認証処理が行われるものであっても良い。この認証処理は、情報処理装置401と利用者端末500との間で行われる一般的なもので良い。その後、利用者が利用者端末500に表示された選択画面に従って、料理(完成品)を選択するための操作を行い、その操作を利用者端末500が受け付けると、利用者端末500は、受け付けた操作に応じた料理(完成品)を示す完成品情報を、通信ネットワーク600を介して情報処理装置401へ送信する。情報処理装置401は、利用者端末500から送信されてきた完成品情報を受信すると、受信した完成品情報を入力部420が入力する(ステップS11)。
【0041】
続いて、作成方法読み出し部430は、入力部420が入力した完成品情報に基づいて、その完成品情報と対応付けられて記憶されている作成方法を作成方法データベース100から読み出す(ステップS12)。すると、可動情報読み出し部440は、作成方法読み出し部430が読み出した作成方法のうちの材料や調味料をどの調理器具や容器を用いてどのように扱うかを示す調理方法情報に基づいて、その情報と対応付けられた可動情報を可動情報データベース200から読み出す(ステップS13)。
【0042】
また、撮像部471が、所定の保管場所に保管されている材料の画像を撮像する(ステップS14)。撮像部471が可動部410に設けられている場合、駆動部451は、撮像部471が材料を撮像できるように可動部410を動かす。撮像部471は、撮像した画像の画像データを材料判定部481へ出力する。材料判定部481は、撮像部471が撮像して出力してきた画像データと材料画像学習モデル301に記憶されている学習モデルとに基づいて、撮像部471が撮像した画像の材料を判定する(ステップS15)。
【0043】
駆動部451は、ステップS12にて作成方法読み出し部430が作成方法データベース100から読み出した作成方法と、ステップS13にて可動情報読み出し部440が可動情報データベース200から読み出した可動情報と、ステップS15にて材料判定部481が判定した材料とに基づいて可動部410を動かし、可動部410は調理を行う(ステップS16)。この調理の定義は、第1の実施の形態におけるものと同じである。
【0044】
このように、完成品を作成する作成方法があらかじめ記憶された第1のデータベースと、作成方法に応じて可動部を動かす可動情報があらかじめ記憶された第2のデータベースとを有し、利用者から完成品の作成の要求があった際、情報処理装置400が第1のデータベースおよび第2のデータベースに記憶された情報を読み出し、読み出した情報に基づいて調理を行う。そのため、材料の準備から調理までを自動化して行うことができる。さらに、調理に必要な材料を保管場所に保管されている材料を撮像し、撮像した画像データについて学習済みモデルを用いて材料を判定し、判定した材料を保管場所に保管されている複数の材料から選択する。そのため、完成品の調理に必要な材料を自動で選択することができる。
【0045】
なお、利用者が利用者端末500を操作して完成品情報を入力するのではなく、完成品を調理するシェフを入力できるようにするものであっても良い。この場合、例えば、利用者端末500がシェフを選択するための選択画面を表示し、その選択画面に従って行われた選択操作に基づいて、シェフが選択されるものであっても良い。また、材料を識別するために、バーコードや二次元コードまたは撮像画像の画像認識を用いるものを例に挙げて説明したが、その他RFID(Radio Frequency IDentifier)やセンサーを用いた検知等、他の物体識別技術を用いて材料を識別するものであっても良い。
【0046】
以上、各構成要素に各機能(処理)それぞれを分担させて説明したが、この割り当ては上述したものに限定しない。また、構成要素の構成についても、上述した形態はあくまでも例であって、これに限定しない。また、各実施の形態を組み合わせたものであっても良い。
【0047】
上述した各構成要素が行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理内容を手順として記述したコンピュータプログラム(以下、プログラムと称する)を、情報処理装置400,401それぞれにて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを情報処理装置400,401それぞれに読み込ませ、実行するものであっても良い。情報処理装置400,401それぞれにて読取可能な記録媒体とは、フロッピー(登録商標)ディスク、光磁気ディスク、DVD(Digital Versatile Disc)、CD(Compact Disc)、Blu-ray(登録商標) Disc、USB(Universal Serial Bus)メモリなどの移設可能な記録媒体の他、情報処理装置400,401それぞれに内蔵されたROM(Read Only Memory)、RAM(Random Access Memory)等のメモリやHDD(Hard Disc Drive)等を指す。この記録媒体に記録されたプログラムは、情報処理装置400,401それぞれに設けられたCPUにて読み込まれ、CPUの制御によって、上述したものと同様の処理が行われる。ここで、CPUは、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。
【符号の説明】
【0048】
10,11 データベースシステム
20-1~20-9 材料
30-1~30-9 コード情報
100 作成方法データベース
200 可動情報データベース
300 材料情報データベース
301 材料画像学習モデル
400,401 情報処理装置
410,411 可動部
415 コードリーダ
420 入力部
430 作成方法読み出し部
440 可動情報読み出し部
450,451 駆動部
460 材料識別情報読み出し部
471 撮像部
481 材料判定部
500 利用者端末
600 通信システム
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10