特許 7315272 食物の調理程度に対する認識方法、装置及びコンピュータ記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-18

(45)【発行日】2023-07-26

(54)【発明の名称】食物の調理程度に対する認識方法、装置及びコンピュータ記憶媒体

(51)【国際特許分類】

   G06V 10/82 20220101AFI20230719BHJP

   G06T 7/00 20170101ALI20230719BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

【請求項の数】 10

(21)【出願番号】P 2022523214

(86)(22)【出願日】2020-12-02

(65)【公表番号】

(43)【公表日】2022-12-21

(86)【国際出願番号】 CN2020133452

(87)【国際公開番号】W WO2021110066

(87)【国際公開日】2021-06-10

【審査請求日】2022-04-18

(31)【優先権主張番号】201911245147.6

(32)【優先日】2019-12-06

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】521007481

【氏名又は名称】▲広▼▲東▼美的白色家▲電▼技▲術▼▲創▼新中心有限公司

【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＭＩＤＥＡ ＷＨＩＴＥ ＨＯＭＥ ＡＰＰＬＩＡＮＣＥ ＴＥＣＨＮＯＬＯＧＹ ＩＮＮＯＶＡＴＩＯＮ ＣＥＮＴＥＲ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｂｕｉｌｄｉｎｇ ＃４，Ｍｉｄｅａ Ｇｌｏｂａｌ Ｉｎｎｏｖａｔｉｏｎ Ｃｅｎｔｅｒ，Ｉｎｄｕｓｔｒｙ Ｂｏｕｌｅｖａｒｄ，Ｂｅｉｊｉａｏ，Ｓｈｕｎｄｅ Ｆｏｓｈａｎ，Ｇｕａｎｇｄｏｎｇ ５２８３１１，ＣＨＩＮＡ

(73)【特許権者】

【識別番号】512237419

【氏名又は名称】美的集団股▲フン▼有限公司

【氏名又は名称原語表記】ＭＩＤＥＡ ＧＲＯＵＰ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｂ２６－２８Ｆ， Ｍｉｄｅａ Ｈｅａｄｑｕａｒｔｅｒ Ｂｕｉｌｄｉｎｇ， Ｎｏ．６ Ｍｉｄｅａ Ａｖｅｎｕｅ， Ｂｅｉｊｉａｏ， Ｓｈｕｎｄｅ， Ｆｏｓｈａｎ， Ｇｕａｎｇｄｏｎｇ ５２８３１１ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100205785

【弁理士】

【氏名又は名称】▲高▼橋 史生

(74)【代理人】

【識別番号】100203297

【弁理士】

【氏名又は名称】橋口 明子

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100135301

【弁理士】

【氏名又は名称】梶井 良訓

(72)【発明者】

【氏名】▲劉▼ 三▲軍▼

(72)【発明者】

【氏名】李 育▲勝▼

(72)【発明者】

【氏名】朱 林楠

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開平０３－２７１６２５（ＪＰ，Ａ）

【文献】中国特許出願公開第１０９９９８３６０（ＣＮ，Ａ）

【文献】特開２０１３－１６４８３４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６ 、４０／２０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

サーバと端末機器とを互いに連携させたシステムによって実行される、食物の調理程度に対する認識方法であって、
初期の食物検出画像を取得することと、
現在の食物検出画像を取得することと、
前記初期の食物検出画像及び前記現在の食物検出画像に対して差分融合を行うことで、融合した食物検出画像が得られることと、
前記融合した食物検出画像をサーバにおけるプリセットのニューラルネットワークモデルに入力することで、前記サーバにおける前記プリセットのニューラルネットワークモデルから出力される食物の調理程度が得られることと、
を含み、
現在の食物検出画像を取得することの後に、前記認識方法は
前記サーバにおける前記プリセットのニューラルネットワークモデルに設定されている画像サイズを取得することと、
前記画像サイズに従って前記初期の食物検出画像及び前記現在の食物検出画像をトリミングすることと、
トリミングされた前記初期の食物検出画像及びトリミングされた前記現在の食物検出画像に対して差分融合を行うことで、融合した食物検出画像が得られることと、
を含むことを特徴とする食物の調理程度に対する認識方法。

【請求項2】

前記画像サイズに従って前記初期の食物検出画像及び前記現在の食物検出画像をトリミングすることは、
プリセットの意味分割アルゴリズムを採用して、前記初期の食物検出画像及び前記現在の食物検出画像における食物の位置情報を取得することと、
前記位置情報に基づいて、前記初期の食物検出画像における初期食物画像、及び、前記現在の食物検出画像における現在食物画像を抽出することと、
を含むことを特徴とする、請求項１に記載の食物の調理程度に対する認識方法。

【請求項3】

前記画像サイズに従って前記初期の食物検出画像及び前記現在の食物検出画像をトリミングすることは、
プリセットの意味分割アルゴリズムを採用して前記初期の食物検出画像における位置情報を取得し、前記初期の食物検出画像における位置情報を同時に前記現在の食物検出画像における位置情報とすることと、
前記位置情報に基づいて、前記初期の食物検出画像における初期食物画像、及び、前記現在の食物検出画像における現在食物画像を抽出することと、
を含むことを特徴とする、請求項２に記載の食物の調理程度に対する認識方法。

【請求項4】

前記プリセットの意味分割アルゴリズムはＭａｓｋ－ＲＣＮＮであることを特徴とする、請求項３に記載の食物の調理程度に対する認識方法。

【請求項5】

前記初期の食物検出画像及び前記現在の食物検出画像に対して差分融合を行うことで、融合した食物検出画像が得られることは、
前記初期の食物検出画像の画素値及び前記現在の食物検出画像の画素値を取得することと、
前記初期の食物検出画像の画素値と前記現在の食物検出画像の画素値との差を求めることで、前記融合した食物検出画像の画素値が得られることと、
を含むことを特徴とする、請求項１に記載の食物の調理程度に対する認識方法。

【請求項6】

前記融合した食物検出画像をプリセットのニューラルネットワークモデルに入力することで、前記プリセットのニューラルネットワークモデルから出力される食物の調理程度が得られることは、
前記融合した食物検出画像を前記プリセットのニューラルネットワークモデルに入力することで、前記プリセットのニューラルネットワークモデルから出力される食物変化特徴を取得することと、
プリセットの回帰方法を採用して前記食物変化特徴について計算することで、食物の調理程度が得られることと、
を含むことを特徴とする、請求項１に記載の食物の調理程度に対する認識方法。

【請求項7】

前記プリセットのニューラルネットワークモデルはＥｆｆｉｃｉｅｎｔＮｅｔ、前記プリセットの回帰方法はＬｏｇｉｓｔｉｃｓ回帰であることを特徴とする、請求項６に記載の食物の調理程度に対する認識方法。

【請求項8】

プログラムデータを記憶するためのメモリと、前記メモリと結合され、前記プログラムデータを実行することで請求項１～７のいずれかに記載の食物の調理程度に対する認識方法を実現するためのプロセッサと、を含むことを特徴とする、サーバと端末機器とを互いに連携させたシステム。

【請求項9】

プロセッサにて実行されると、請求項１～７のいずれかに記載の食物の調理程度に対する認識方法が実現されるプログラムデータを記憶するために用いられることを特徴とするコンピュータ記憶媒体。

【請求項10】

請求項８に記載の、サーバと端末機器とを互いに連携させたシステムのうちの前記端末機器であることを特徴とする調理機器。

【発明の詳細な説明】

【技術分野】

【0001】

本願はスマート調理機器の技術分野に関し、特に、食物の調理程度に対する認識方法、装置及びコンピュータ記憶媒体に関する。

【0002】

本願は、２０１９年１２月０６日に提出した出願番号が第２０１９１１２４５１４７．６号で、発明の名称が「食物の調理程度に対する認識方法、装置及びコンピュータ記憶媒体」である中国特許出願の優先権を主張し、その内容のすべてを援用として本願に組み込んだ。

【背景技術】

【0003】

科学技術の発展に伴い、スマート調理機器例えばオーブンは一般家庭にもますます普及し、日常生活を著しく便利にしている。しかしながら、オーブンを例とすると、現在市販されているオーブンのほとんどは、使用中に食物の状況をいつでもユーザに知らせることができないものである。この課題を解決するために、いくつかのオーブンはプローブを増設することによって、食物の内部温度をリアルタイムに監視するが、プローブの挿入や洗浄は面倒であるばかりか、挿入位置によっては探知温度が大きく異なってしまい、正確性や一致性の確保は不可能である。いくつかのオーブンにはハイパースペクトル撮像技術が利用されており、食物表面の色や模様から食物の調理程度を判断するが、このような製品では、ハイパースペクトル画像の取得には高価な設備が必要となる一方、食物表面の色や模様のみから食材の調理程度を判断するだけでは、正確度を確保しにくいという課題がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願は、従来技術による食物の調理程度に対する認識方法は正確度が低く、ハードウェアコストが高いという課題を解決するために、食物の調理程度に対する認識方法、装置及びコンピュータ記憶媒体を提供する。

【課題を解決するための手段】

【0005】

上記した技術的課題を解決するために、本願は、
初期の食物検出画像を取得することと、
現在の食物検出画像を取得することと、
前記初期の食物検出画像及び前記現在の食物検出画像に対して差分融合を行うことで、融合した食物検出画像が得られることと、
前記融合した食物検出画像をプリセットのニューラルネットワークモデルに入力することで、前記プリセットのニューラルネットワークモデルから出力される食物の調理程度が得られることと、
を含む食物の調理程度に対する認識方法を提案する。

【0006】

そのうち、前記認識方法は、現在の食物検出画像を取得することの後に、
前記プリセットのニューラルネットワークモデルに設定されている画像サイズを取得することと、
前記画像サイズに従って前記初期の食物検出画像及び前記現在の食物検出画像をトリミングすることと、
トリミングされた前記初期の食物検出画像及びトリミングされた前記現在の食物検出画像に対して差分融合を行うことで、融合した食物検出画像が得られることと、
を含む。

【0007】

そのうち、前記画像サイズに従って前記初期の食物検出画像及び前記現在の食物検出画像をトリミングすることは、
プリセットの意味分割アルゴリズムを採用して、前記初期の食物検出画像及び前記現在の食物検出画像における食物の位置情報を取得することと、
前記位置情報に基づいて、前記初期の食物検出画像における初期食物画像、及び、前記現在の食物検出画像における現在食物画像を抽出することと、
を含む。

【0008】

そのうち、前記画像サイズに従って前記初期の食物検出画像及び前記現在の食物検出画像をトリミングすることは、
プリセットの意味分割アルゴリズムを採用して前記初期の食物検出画像における位置情報を取得するとともに、前記初期の食物検出画像における位置情報を前記現在の食物検出画像における位置情報とすることと、
前記位置情報に基づいて、前記初期の食物検出画像における初期食物画像、及び、前記現在の食物検出画像における現在食物画像を抽出することと、
を含む。

【0009】

そのうち、前記プリセットの意味分割アルゴリズムはＭａｓｋ－ＲＣＮＮである。

【0010】

そのうち、前記初期の食物検出画像及び前記現在の食物検出画像に対して差分融合を行うことで、融合した食物検出画像が得られることは、
前記初期の食物検出画像の画素値及び前記現在の食物検出画像の画素値を取得することと、
前記初期の食物検出画像の画素値と前記現在の食物検出画像の画素値との差を求めることで、前記融合した食物検出画像の画素値が得られることと、
を含む。

【0011】

そのうち、前記融合した食物検出画像をプリセットのニューラルネットワークモデルに入力することで、前記プリセットのニューラルネットワークモデルから出力される食物の調理程度が得られることは、
前記融合した食物検出画像を前記プリセットのニューラルネットワークモデルに入力することで、前記プリセットのニューラルネットワークモデルから出力される食物変化特徴を取得することと、
プリセットの回帰方法を採用して前記食物変化特徴について計算することで、食物の調理程度が得られることと、
を含む。

【0012】

そのうち、前記プリセットのニューラルネットワークモデルはＥｆｆｉｃｉｅｎｔＮｅｔ、前記プリセットの回帰方法はＬｏｇｉｓｔｉｃｓ回帰である。

【0013】

上記した技術的課題を解決するために、本願は、
プログラムデータを記憶するためのメモリと、前記メモリと結合され、前記プログラムデータを実行することで上記のような食物の調理程度に対する認識方法を実現するためのプロセッサと、を含む食物の調理程度に対する認識装置を提案する。

【0014】

上記した技術的課題を解決するために、本願は、プロセッサにて実行されると、上記のような食物の調理程度に対する認識方法が実現されるプログラムデータを記憶するためのコンピュータ記憶媒体を提案する。

【0015】

上記した技術的課題を解決するために、本願は、上記した食物の調理程度に対する認識装置を含む調理機器を提案する。

【発明の効果】

【0016】

従来技術とは異なり、本願は、食物の調理程度に対する認識装置により現在の食物検出画像を取得すること、初期の食物検出画像及び現在の食物検出画像に対して差分融合を行うことで、融合した食物検出画像が得られること、融合した食物検出画像をプリセットのニューラルネットワークモデルに入力することで、プリセットのニューラルネットワークモデルから出力される食物の調理程度が得られることなどの有益な効果がある。本願による食物の調理程度に対する認識方法では、画像の差分融合を行うことにより、初期の食物検出画像による食物の調理程度に対する認識への影響を低減し、認識装置のコストを低減している。

【0017】

本発明の実施例による解決手段をより明瞭に説明するために、実施例に対する説明に必要な図面について以下で簡単に紹介するが、下記の図面は本発明のいくつかの実施例に過ぎず、当業者にとっては、創造的な労力を注がずにこれらの図面に基づいて他の図面を得ることもできるのは明らかである。

【図面の簡単な説明】

【0018】

【図1】本願による食物の調理程度に対する認識方法の第一実施例のフロー模式図である。

【図2】本願による食物の調理程度に対する認識方法の第二実施例のフロー模式図である。

【図3】本願による食物の調理程度に対する認識方法の第三実施例のフロー模式図である。

【図4】本願による食物の調理程度に対する認識方法の第四実施例のフロー模式図である。

【図5】本願による食物の調理程度に対する認識装置の一実施例の構造模式図である。

【図6】本願による食物の調理程度に対する認識装置の他の実施例の構造模式図である。

【図7】本願によるコンピュータ記憶媒体の一実施例の構造模式図である。

【図8】本願による調理機器の一実施例の構造模式図である。

【発明を実施するための形態】

【0019】

以下、本発明実施例の図面に合わせて本発明実施例の技術的解決手段を明瞭かつ完全に述べるが、述べられる実施例は本発明実施例の一部に過ぎず、そのすべてではないことは明らかである。本発明実施例に基づいて当業者が創造的な労力を注がずに得た他の実施例はすべて本発明の保護範囲に属する。

【0020】

従来技術による食物の調理程度に対する認識方法は正確度が低く、ハードウェアコストが高いという課題を解決するために、本願は食物の調理程度に対する認識方法を提案する。具体的には図１を参照し、図１は本願による食物の調理程度に対する認識方法の第一実施例のフロー模式図であり、本願による食物の調理程度に対する認識方法は食物の調理程度に対する認識装置に適用される。

【0021】

そのうち、食物の調理程度に対する認識装置はサーバであってもよいし、端末機器であってもよく、さらには、サーバと端末機器とを互いに連携させたシステムであってもよい。その分、食物の調理程度に対する認識装置に含まれる各部分例えば各ユニット、サブユニット、モジュール、サブモジュールのすべてはサーバに設けられてもよいし、端末機器に設けられてもよく、さらには、それぞれサーバと端末機器に設けられてもよい。

【0022】

さらには、上記サーバはハードウェアであってもよいし、ソフトウェアであってもよい。サーバがハードウェアとされる場合、複数のサーバからなる分散型サーバ群として実現されてもよいし、単一のサーバとして実現されてもよい。サーバがソフトウェアとされる場合、複数のソフトウェア又はソフトウェアモジュール、例えば分散型サーバのためのソフトウェア又はソフトウェアモジュールとして実現されてもよいし、単一のソフトウェア又はソフトウェアモジュールとして実現されてもよいが、ここでは特に限定しない。

【0023】

本願による食物の調理程度に対する認識方法について述べる場合、統一的に認識装置を実行主体とすることは了解されたい。

【0024】

図１に示されるように、本実施例による食物の調理程度に対する認識方法は具体的には下記ステップを含む。

【0025】

Ｓ１０１：初期の食物検出画像を取得すること。

【0026】

そのうち、認識装置はスマートオーブンのカメラにより初期の食物検出画像を取得する。初期の食物検出画像の取得について具体的に述べると、認識装置はスマートオーブンのスイッチモジュールとカメラにそれぞれ電気的に接続可能であり、スマートオーブンのスイッチモジュールがオンとされる、つまり、スマートオーブンが作動し始めると、認識装置はスイッチモジュールを介してスマートオーブンの作動状態が変わったことを知るので、スマートオーブン内部の画像を撮影して初期の食物検出画像とするようにカメラを制御する。その他の実施例では、認識装置は他の家電機器例えば冷蔵庫、電子レンジ、炊飯器等から初期の食物検出画像を取得するようにしてもよい。

【0027】

本実施例では、初期の食物検出画像は生ものの検出画像を含むがそれに限らず、スマートオーブンが作動し始める場合での食物状態の画像を初期の食物検出画像とするようにしてもよい。その他の実施例では、認識装置にプリセット時間が設定されており、スマートオーブンの作動状態が変わった場合、認識装置はプリセット時間を経過した後にスマートオーブン内部の画像を撮影して初期の食物検出画像とするようにしてもよい。

【0028】

Ｓ１０２：現在の食物検出画像を取得すること。

【0029】

そのうち、認識装置は同様に、スマートオーブンの同一のカメラにより現在の食物検出画像を取得する。現在の食物検出画像の取得について具体的に述べると、認識装置はスマートオーブンの検出モジュールに電気的に接続可能であり、スマートオーブンの検出モジュールが検出指令を受信した場合、検出モジュールから認識装置へ検出指令が送信され、認識装置はスマートオーブン内部の画像を撮影して現在の食物検出画像とするようにカメラを制御する。

【0030】

Ｓ１０３：初期の食物検出画像及び現在の食物検出画像に対して差分融合を行うことで、融合した食物検出画像が得られること。

【0031】

画像融合装置にて初期の食物検出画像及び現在の食物検出画像に対して差分融合を行う場合、初期の食物検出画像及び現在の食物検出画像に対して前処理を行うことで、初期の食物検出画像の形状、位置、画像サイズと現在の食物検出画像の形状、位置、画像サイズとを一致させて、モデル学習の効率と正確性を効果的に向上させるようにしてもよい。

【0032】

そのうち、認識装置では初期の食物検出画像による影響を低減する必要があるので、認識装置にて異なる焼き時刻における食物と元の生ものに対して差分融合を行うことで、後段のニューラルネットワークモデルにより捉えられるのは食物の前後変化となり、食物自体の作り方の相違に起因してその色の濃淡が一様でないことによる悪影響を低減している。

【0033】

具体的には、認識装置にて初期の食物検出画像及び現在の食物検出画像に対して差分融合を行うことで、融合した食物検出画像が得られる。認識装置は初期の食物検出画像の画素値及び現在の食物検出画像の画素値を取得してそれらの差を求めることで、融合した食物検出画像の画素値を得る。

【0034】

そのうち、認識装置により初期の食物検出画像の画素値及び現在の食物検出画像の画素値を取得する場合、初期の食物検出画像の画素値と現在の食物検出画像の画素値のフォーマットが一致しているか否かを先に判断し、一致していなければ、プリセットの画像フォーマットに従って変換するようにしてもよく、そのうち、プリセットの画像フォーマットはＲＧＢカラー形式であってもよい。

【0035】

本実施例では、初期の食物検出画像の画素値は初期の食物検出画像のＲＧＢカラーチャネルであってもよく、現在の食物検出画像の画素値は現在の食物検出画像のＲＧＢカラーチャネルであってもよい。認識装置にて初期の食物検出画像のＲＧＢカラーチャネルから現在の食物検出画像のＲＧＢカラーチャネルを減算することで、差分融合した食物検出画像のＲＧＢカラーチャネル、つまり、融合した食物検出画像の画素値が得られる。具体的には、融合した食物検出画像のＲカラーチャネルは初期の食物検出画像のＲカラーチャネルと現在の食物検出画像のＲカラーチャネルとの差、融合した食物検出画像のＧカラーチャネルは初期の食物検出画像のＧカラーチャネルと現在の食物検出画像のＧカラーチャネルとの差、融合した食物検出画像のＢカラーチャネルは初期の食物検出画像のＢカラーチャネルと現在の食物検出画像のＢカラーチャネルとの差である。

【0036】

その他の実施例では、認識装置にて他の種類の色データを採用して差分融合を行うようにしてもよいが、ここでは贅言しない。

【0037】

Ｓ１０４：融合した食物検出画像をプリセットのニューラルネットワークモデルに入力することで、プリセットのニューラルネットワークモデルから出力される食物の調理程度が得られること。

【0038】

そのうち、認識装置にて融合した食物検出画像をプリセットのディープニューラルネットワークモデルに入力し、ディープニューラルネットワークモデルにより食物の変化特徴を捉えた上で、食物の変化特徴に応じて回帰を行うことにより、食物の調理程度データが得られる。

【0039】

さらには、本願による食物の調理程度に対する認識方法では、食物の調理程度モデルを学習させる場合、異なる時刻における画像を選択して差分融合を行った上で、ディープニューラルネットワークモデルに入力するようにしており、そのまま異なる時刻における焼き画像のぞれぞれについて個別に学習や判断を行うものではないので、食物の調理程度に対する認識方法の正確度を良好に高めることが可能である。

【0040】

具体的には、本実施例では、初期の食物検出画像と現在の食物検出画像に対して差分融合を行うことによって、異なる特徴付けや異なるソースを塗布する場合に対するディープニューラルネットワークモデルのロバスト性が大きく強まり、その原因は以下のとおりである。

【0041】

色から見れば、食物が調理されるほど色が濃くなることは一般的であるが、食物に塗布されるソースの作り方によっては、調理済の食物は色の濃淡が一様ではない。調理程度判断ネットワークに対する入力として、初期の食物検出画像と現在の食物検出画像による差分融合ではなく、現在の食物検出画像のみが採用されれば、モデルにおいては濃い色が高い調理程度を表すものであるという結論を下すように学習する傾向になってしまう。すると、食物に濃色のソースを塗布してオーブンに入れる場合、生ものの画像であっても、高い調理程度として判別される傾向になる。これに対して、両方の図に対して差分融合を行えば、モデルにおいては異なる時刻における対応位置での食材画像に関する直接的な色や模様の変化に一層注目するようになる。

【0042】

形状から見れば、焼きによる食物の変形は調理程度の判定に対する非常に重要な情報となる。多くの食物は調理程度によっては変形するものであり、例えばエビが曲がったり、菓子が膨張してから収縮したりする等のことがある。現在の食物検出画像のみを入力とすれば、この食物が変形したか否かをモデルは知ることができず、これに対して、初期の食物検出画像と現在の食物検出画像に対して差分融合を行えば、モデルにおいて初期の食物検出画像と現在の食物検出画像における食物形状を比較してその変化を推定することができ、より食材の調理程度に対する判断に役立つ。

【0043】

本実施例では、認識装置により初期の食物検出画像を取得するとともに、現在の食物検出画像を取得し、そして、初期の食物検出画像及び現在の食物検出画像に対して差分融合を行うことで、融合した食物検出画像が得られてから、融合した食物検出画像をプリセットのニューラルネットワークモデルに入力することで、プリセットのニューラルネットワークモデルから出力される食物の調理程度が得られる。本願による食物の調理程度に対する認識方法では、画像の差分融合を行うことにより、初期の食物検出画像による食物の調理程度に対する認識への影響を低減し、認識装置のコストを低減している。

【0044】

図１に示される実施例中のＳ１０２の後に、本願は、別の具体的なものとして食物の調理程度に対する認識方法をさらに提案する。図２を継続して参照し、図２は本願による食物の調理程度に対する認識方法の第二実施例のフロー模式図である。

【0045】

図２に示されるように、本実施例による食物の調理程度に対する認識方法は具体的には下記ステップを含む。

【0046】

Ｓ２０１：プリセットのニューラルネットワークモデルに設定されている画像サイズを取得すること。

【0047】

そのうち、認識装置により取得される食物検出画像には食物と関係ない情報例えば食物を載せた容器等が多量存在しており、さらには、食物の作製中には余計なソースが出来、あるいは、調理中に食物から汁が流れる等のことがあり、認識装置にて食物検出画像全体をニューラルネットワークモデルに対する入力とすれば、多量の余計な情報によりモデルの学習や特徴の抽出は妨げられてしまう。このため、認識装置はプリセットのニューラルネットワークモデルに設定されている画像サイズを取得して、後段の食物検出画像に対する処理の条件とするようにしてもよい。

【0048】

Ｓ２０２：画像サイズに従って初期の食物検出画像及び現在の食物検出画像をトリミングすること。

【0049】

そのうち、仮にニューラルネットワークモデルの大きさは変更しないものであったら、プリセットのニューラルネットワークモデルに設定されている画像サイズがスマートオーブンのカメラにより撮影された食物検出画像のサイズより小さい場合、認識装置へ初期の食物検出画像全体及び／又は現在の食物検出画像全体を入力しようとすると、全体として食物検出画像の寸法を小さくする必要になるので、画像の解像度が低下してしまう。食物検出画像における食物の細部は調理程度の判断にとって肝心なものとなるため、本実施例による認識装置では、プリセットのニューラルネットワークモデルに設定されている画像サイズに従って初期の食物検出画像及び現在の食物検出画像をトリミングする必要が生じている。例えば、認識装置にて食物検出画像における食物単体を切り取っていれば、食物原図そのものの解像度をニューラルネットワークモデルへの入力解像度とすることが可能になり、食物の具体的な細部がニューラルネットワークモデルに入力できるように保証され、食物の調理程度に対する認識方法の正確度が向上している。

【0050】

具体的には、認識装置ではプリセットの意味分割アルゴリズムを採用して初期の食物検出画像及び現在の食物検出画像における食物の位置情報を取得し、食物の位置情報から初期の食物検出画像における初期食物画像及び現在の食物検出画像における現在食物画像を抽出する。本実施例において採用されるプリセットの意味分割アルゴリズムはＭａｓｋ－ＲＣＮＮであってもよいし、他の分割アルゴリズムであってもよく、ここでは贅言しない。本願は食物の位置情報を取得する方法を限定しないものであり、プリセットの意味分割アルゴリズムを採用して食物検出画像から食物画像を切り取ってもよいし、背景差分や目標検出等を採用して食物の位置情報等を取得してもよい。

【0051】

本実施例では、認識装置にて先に初期の食物検出画像における食物の位置情報を抽出して位置テンプレートとし、そしてこの位置テンプレートをそのままリアルタイムのつまり現在の食物検出画像に適用することによって、現在の食物検出画像における現在食物画像を抽出するようにしてもよい。このような手法によれば、認識装置の処理負荷を効果的に低減し、認識効率を高めることが可能になる。その他の実施例では、認識装置にて初期の食物検出画像と現在の食物検出画像のそれぞれについて位置情報を個別に抽出するようにしてもよい。

【0052】

Ｓ２０３：トリミングされた初期の食物検出画像及びトリミングされた現在の食物検出画像に対して差分融合を行うことで、融合した食物検出画像が得られること。

【0053】

そのうち、本実施例のステップＳ２０３は図１に示される実施例中のステップ１０３と同様なものであり、ここでは贅言しない。

【0054】

図１に示される実施例中のＳ１０４に関して、本願は、別の具体的なものとして食物の調理程度に対する認識方法をさらに提案する。図３を継続して参照し、図３は本願による食物の調理程度に対する認識方法の第三実施例のフロー模式図である。

【0055】

図３に示されるように、本実施例による食物の調理程度に対する認識方法は具体的には下記ステップを含む。

【0056】

Ｓ３０１：融合した食物検出画像をプリセットのニューラルネットワークモデルに入力することで、プリセットのニューラルネットワークモデルから出力される食物変化特徴を取得すること。

【0057】

そのうち、認識装置にて上記実施例において取得された融合した食物検出画像をプリセットのニューラルネットワークモデルに入力することで、融合した食物検出画像の食物特徴をプリセットのニューラルネットワークモデルにより抽出する。

【0058】

具体的には、認識装置にて融合した食物検出画像について二つの時刻における対応位置での食物画像に関する直接的な色や模様の変化並びに食物形状の変化を分析するようにすることであり、食物の調理程度に対する判断に役立つ。

【0059】

そのうち、本実施例によるプリセットのニューラルネットワークモデルは具体的にはＥｆｆｉｃｉｅｎｔＮｅｔであってもよいし、他の画像特徴抽出のためのニューラルネットワークモデルであってもよく、ここでは贅言しない。

【0060】

Ｓ３０２：プリセットの回帰方法を採用して食物変化特徴について計算することで、食物の調理程度が得られること。

【0061】

そのうち、認識装置にてプリセットの回帰方法を採用してＳ３０１で抽出された食物変化特徴について計算することで、食物の調理程度が得られる。本実施例にかかる食物の調理程度は食物調理レベルとして表現されてもよく、例えば食物調理レベルとして０～１９の合計２０個のレベルに区分することができ、食物調理レベルが高いほど、食物が調理済みに近い。その他の実施例では、食物の調理程度は食物調理数値として表現されてもよく、例えば、食物調理数値として０～１００を用い、食物調理数値が高いほど、食物が調理済みに近い。

【0062】

そのうち、本実施例において採用される回帰方法は具体的にはＬｏｇｉｓｔｉｃｓ回帰であってもよいし、他の回帰方法であってもよく、ここでは贅言しない。

【0063】

従来技術による食物の調理程度に対する認識方法は正確度が低く、ハードウェアコストが高いという課題を解決するために、本願は、別の具体的なものとして食物の調理程度に対する認識方法をさらに提案する。具体的には図４を参照し、図４は本願による食物の調理程度に対する認識方法の第四実施例のフロー模式図である。

【0064】

図４に示されるように、本実施例による食物の調理程度に対する認識方法は具体的には下記ステップを含む。

【0065】

Ｓ４０１：初期の食物検出画像を取得すること。

【0066】

Ｓ４０２：現在の食物検出画像を取得すること。

【0067】

Ｓ４０３：プリセットのニューラルネットワークモデルに設定されている画像サイズを取得すること。

【0068】

Ｓ４０４：画像サイズに従って初期の食物検出画像及び現在の食物検出画像をトリミングすること。

【0069】

Ｓ４０５：トリミングされた初期の食物検出画像及びトリミングされた現在の食物検出画像に対して差分融合を行うことで、融合した食物検出画像が得られること。

【0070】

Ｓ４０６：融合した食物検出画像をプリセットのニューラルネットワークモデルに入力することで、プリセットのニューラルネットワークモデルから出力される食物変化特徴を取得すること。

【0071】

Ｓ４０７：プリセットの回帰方法を採用して食物変化特徴について計算することで、食物の調理程度が得られること。

【0072】

上記した食物の調理程度に対する認識方法を実現するために、本願は、食物の調理程度に対する認識装置をさらに提供し、具体的には図５を参照し、図５は本願による食物の調理程度に対する認識装置の一実施例の構造模式図である。

【0073】

図５に示されるように、本実施例による食物の調理程度に対する認識装置５００は取得モジュール５１と、計算モジュール５２と、訓練モジュール５３とを含む。

【0074】

そのうち、取得モジュール５１は初期の食物検出画像、さらに現在の食物検出画像を取得するためのものである。

【0075】

計算モジュール５２は初期の食物検出画像及び現在の食物検出画像に対して差分融合を行うことで、融合した食物検出画像を得るためのものである。

【0076】

訓練モジュール５３は融合した食物検出画像をプリセットのニューラルネットワークモデルに入力することで、プリセットのニューラルネットワークモデルから出力される食物の調理程度を得るためのものである。

【0077】

上記した食物の調理程度に対する認識方法を実現するために、本願は、他の食物の調理程度に対する認識装置をさらに提供し、具体的には図６を参照し、図６は本願による食物の調理程度に対する認識装置の他の実施例の構造模式図である。

【0078】

図６に示されるように、本実施例による食物の調理程度に対する認識装置６００はプロセッサ６１と、メモリ６２と、入出力装置６３と、バス６４とを含む。

【0079】

このプロセッサ６１、メモリ６２、入出力装置６３はそれぞれバス６４に繋がっており、このメモリ６２にコンピュータプログラムが記憶され、プロセッサ６１は、上記実施例に記載した食物の調理程度に対する認識方法を実現するように、コンピュータプログラムを実行するためのものである。

【0080】

本実施例では、プロセッサ６１はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置）と称されてもよい。プロセッサ６１は、信号処理能力を持つ集積回路チップであり得る。プロセッサ６１は汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、専用集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）や他のプログラム可能論理デバイス、ディスクリートゲートやトランジスタ論理デバイス、ディスクリートハードウェア部品であってもよい。汎用プロセッサはマイクロプロセッサであってもよく、あるいは、このプロセッサ６１はあらゆる通常のプロセッサ等であってもよい。

【0081】

本願はコンピュータ記憶媒体をさらに提供し、図７に示されるように、コンピュータ記憶媒体７００は、プロセッサにて実行されると、本願による食物の調理程度に対する認識方法つまり実施例に記載の方法が実現されるコンピュータプログラム７１を記憶するためのものである。

【0082】

本願による食物の調理程度に対する認識方法つまり実施例にかかる方法は、ソフトウェア機能ユニットとして実現されながら独立した製品として販売や使用される場合、装置例えば一つのコンピュータ読取可能記憶媒体に記憶することができる。このような理解に基づけば、本願による技術的解決手段は本質的には又は従来技術よりも進歩性のある部分、あるいは、この技術的解決手段のすべてや一部がソフトウェア製品として表現可能であり、このコンピュータソフトウェア製品は一つの記憶媒体に記憶されており、一台のコンピュータ機器（パソコン、サーバ、又はネットワーク機器等であってもよい）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本発明の各実施形態に記載の方法のすべてや一部のステップを実行させるように、若干の指令を含む。上記の記憶媒体はＵＳＢメモリ、ポータブルハードディスク、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスク等のプログラムコードを記憶可能な様々な媒体を含む。

【0083】

本願はさらに調理機器を提供し、図８に示されるように、調理機器８００は上記実施例による食物の調理程度に対する認識装置８１を含む。

【0084】

上記は本発明の実施形態に過ぎず、それによって本発明の特許範囲を制限するわけではなく、本発明の明細書及び図面の内容に基づいてなされた等価構造又はフローの等価変換、あるいは、直接又は間接的に他の関連技術分野に適用したものは、いずれも本発明の保護範囲に含まれる。

【符号の説明】

【0085】

５１ 取得モジュール
５２ 計算モジュール
５３ 訓練モジュール
６１ プロセッサ
６２ メモリ
６３ 入出力装置
６４ バス
７１ コンピュータプログラム
８１ 認識装置
１０３ ステップ
５００ 認識装置
６００ 認識装置
７００ コンピュータ記憶媒体
８００ 調理機器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】