特表 2023-525632 冷蔵庫の区画の画像を撮像し好ましくは処理するためのシステムおよび冷蔵庫

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-06-19

(54)【発明の名称】冷蔵庫の区画の画像を撮像し好ましくは処理するためのシステムおよび冷蔵庫

(51)【国際特許分類】

   F25D 23/00 20060101AFI20230612BHJP

   F25D 29/00 20060101ALI20230612BHJP

【ＦＩ】

F25D23/00 301K

F25D29/00 Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022556168

(86)(22)【出願日】2020-03-18

(85)【翻訳文提出日】2022-10-27

(86)【国際出願番号】 EP2020057419

(87)【国際公開番号】W WO2021185436

(87)【国際公開日】2021-09-23

(81)【指定国・地域】

(71)【出願人】

【識別番号】522254675

【氏名又は名称】ヴェステル・エレクトロニク・サナイ・ヴェ・ティジャレット・アノニム・シルケティ

【氏名又は名称原語表記】Ｖｅｓｔｅｌ Ｅｌｅｋｔｒｏｎｉｋ Ｓａｎａｙｉ ｖｅ Ｔｉｃａｒｅｔ Ａｎｏｎｉｍ Ｓｉｒｋｅｔｉ

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100111039

【弁理士】

【氏名又は名称】前堀 義之

(72)【発明者】

【氏名】ウルアグ，オヌル

【テーマコード（参考）】

3L045

3L345

【Ｆターム（参考）】

3L045AA05

3L045BA01

3L045PA04

3L345AA02

3L345AA12

3L345AA14

3L345AA21

3L345EE03

3L345EE55

3L345JJ02

3L345JJ14

3L345JJ23

3L345KK04

(57)【要約】

冷蔵庫（１）の区画（３）の画像を撮像して好ましくは処理するシステム（２）であって、システム（２）は、完全にまたは部分的に冷蔵庫（１）の区画（３）の外側に配置された１つまたは複数のカメラ（２１）を含むカメラモジュール（２０）と、カメラ（２１）、および冷蔵庫（１）の区画（３）に光学的に接続し、カメラ（２１）が区画（３）内部の写真を撮像可能なように光を伝達するように構成された１つまたは複数の光導波路（３０）と、
を含む。

【特許請求の範囲】

【請求項1】

冷蔵庫（１）の区画（３）の画像を撮像して好ましくは処理するシステム（２）であって、
システム（２）は、
完全にまたは部分的に冷蔵庫（１）の区画（３）の外側に配置された１つまたは複数のカメラ（２１）を含むカメラモジュール（２０）と、
カメラ（２１）、および冷蔵庫（１）の区画（３）に光学的に接続し、カメラ（２１）が区画（３）内部の写真を撮像可能なように光を伝達するように構成された１つまたは複数の光導波路（３０）と、
を含むシステム（２）。

【請求項2】

少なくとも１つの導波路（３０）が、それぞれがコアおよびクラッドを有する複数の光ファイバを含み、
複数の光ファイバはファイバの束を形成し、バンドルを形成する複数の光ファイバは好ましくは完全に又は部分的に融着している、
請求項１に記載のシステム（２）。

【請求項3】

導波路（３０）が、Ｎ本の光ファイバの束を有し、対応するカメラ（２１）はＭ個の画素の配列を有するイメージセンサ（２１ａ）を含み、ここでＮおよびＭに関して下の式が成り立つ、
請求項２に記載のシステム（２）。

【数1】

【請求項4】

カメラ（２１）の少なくとも１つが複数のファイバの束に接続される、
請求項２または３に記載のシステム（２）。

【請求項5】

カメラモジュール（２０）が、１つ以上のカメラ（２１）から受信した画像データを処理及び／又は前処理及び／又は保存及び／又は転送するための電子機器をさらに含む、
請求項１～４のいずれか１つに記載のシステム（２）。

【請求項6】

各導波路（３０）は、区画（３）の内部からの光を受け取るように構成された導波路（３０）の画像入力面（３２）を構成する受信ヘッド（３５）を有する、
請求項１～５のいずれか１つに記載のシステム（２）。

【請求項7】

受信ヘッド（３５）が、画像入力面（３２）と光学的に接触している、好ましくはレンズ（３３）である光学システムをさらに含む、
請求項６に記載のシステム（２）。

【請求項8】

異なる位置及び／又は方向及び／又は画角からの画像を撮像することができるように構成された複数の受信ヘッド（３５）が備えられる、
請求項６または７に記載のシステム（２）。

【請求項9】

モデルに従って入力画像の特性を決定するように構成され、カメラ（２１）に接続した処理ユニット（４０）をさらに含む、
請求項１～８のいずれか１つに記載のシステム（２）。

【請求項10】

処理ユニットは、好ましくは個々の及び／又は結合された画像に基づいて、モデルを訓練する、又はモデルの訓練を可能にするように構成される、
請求項９に記載のシステム（２）。

【請求項11】

モデルは、製品ロゴ、及び／又は製品ケース又はパッケージ上のテキスト、及び／又は製品のサイズ及び／又は色、及び／又は区画（３）内での製品の位置、及び／又は製品の消費度を検出するように構成される、
請求項９または１０に記載のシステム（２）。

【請求項12】

請求項１～１１のいずれか１つに記載のシステム（２）を含む冷蔵庫。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、冷蔵庫の区画（ｃｏｍｐａｒｔｍｅｎｔ）の画像を撮像し、好ましくは処理するためのシステムに関するものである。また、本発明は、そのようなシステムを構成する冷蔵庫に関する。

【背景技術】

【0002】

冷蔵庫の在庫の把握、商品リストの作成、食品の鮮度判定等のために、冷蔵庫に保管されている商品の画像を撮影するシステムは既に提案されている。この目的のために、例えば特開２００１－３１７８５８Ａ、ＵＳ２０１６／００４７５８７Ａ１、ＵＳ２０１６／０１３８８５９Ａ１に記載されているように、１台以上のカメラが冷蔵庫内に設置される。

【0003】

冷蔵庫内にカメラを設置するにはスペースが必要なため、冷蔵庫の区画内の有効容積が減少する。さらに、例えば、ケーブル配線やカメラの適切な配置のために、製造工程やメンテナンス工程が複雑である。カメラと画像処理および制御のためのそれぞれの電子機器は、電気回線を介して通信し得る。無線通信の場合、カメラには別途電源が必要となる。カメラの修理や交換にはコストがかかる。さらに、１台以上のカメラの設置は、エンジニアリングや工業デザインの工程に影響を及ぼす。

【発明の概要】

【0004】

以上のことから、本発明の目的は、上述した欠点の１つ以上を克服することができる、冷蔵庫の内部の画像を撮像し、好ましくは処理するためのシステムを提供し、また、そのようなシステムを備えた冷蔵庫を提供することである。

【0005】

この目的は、独立請求項に定義されたシステムおよび冷蔵庫によって解決される。好ましい特徴および実施形態は、従属請求項、本発明の一般的な説明、ならびに特定の実施形態の説明および図面において定義される。

【0006】

本発明によるシステムは、冷蔵庫の区画の画像を撮像し、好ましくは少なくとも部分的に処理するために適合される。ここで、用語「区画」は、冷蔵庫の内部容積を示し、これは、食品、飲料、医療品等の温度制御、特に冷却されるべきアイテム及び製品を受け入れるためのものである。

【0007】

本システムは、少なくとも部分的に冷蔵庫の区画の外側に配置された１つ以上のカメラを含むカメラモジュールから構成される。言い換えれば、イメージセンサ、電源等のカメラの少なくとも主要な構成要素は、区画の外側に配置される。本システムは、カメラ及び冷蔵庫の区画に光学的に接続される１つ以上の光導波路（ｏｐｔｉｃａｌ ｗａｖｅｇｕｉｄｅ）をさらに備える。導波路は、カメラが区画内部の写真を撮像可能なように、光を伝達するように構成されている。

【0008】

本発明によるシステムは、区画内部の画像を撮影するためのカメラを、冷蔵庫の任意の位置、または冷蔵庫から間隔を空けてすら配置することができる。カメラの位置は、区画の内部に制限されることなく、特定の設置要件に従って自由に選択することができる。そのため、冷蔵庫の有効容積はカメラの影響を受けない。また、カメラの配線や適切な配置が簡素化されるため、製造工程やメンテナンス工程を改善することができる。特に、カメラを、例えば冷蔵庫の室内カバーの中に埋め込まないように配置することで、カメラの交換、メンテナンス及び／又は修理を容易に行うことができる。カメラの位置が、区画のデザインに影響を与えたり、決定したりすることはない。

【0009】

冷蔵庫の金属ケースがＲＦ（ラジオ周波数）信号を遮蔽するため、冷蔵庫の区画の外側にカメラを設置することで、ラジオ（ＲＦ）、カメラ、メインボードが一体となった設計が可能になる。

【0010】

光学的に画像を転送するため、特に電磁波干渉（ＥＭＩ）に対して強い。

【0011】

好ましくは、少なくとも１つの、より多くの、又はそれぞれの導波路は、それぞれがコアおよびクラッドを有する複数の光ファイバを含み、複数の光ファイバはファイバの束を形成する。特定の導波路に属する複数の光ファイバは、完全に又は部分的に融着（ｆｕｓｅ）されていることが好ましい。複数の又は束になったファイバを利用することにより、例えばマイクロファイバを用いて、導波路の小さな部分で光波の伝達が可能になる。各ファイバは、それぞれ導波路に接続されたカメラのイメージセンサの個々の画素を代表してもよいが、そのような１対１の対応は必須ではない。その代わりに、ファイバファセットからイメージセンサのピクセルアレイへのＮ対Ｍマッピング（Ｎ－ｔｏ－Ｍ ｍａｐｐｉｎｇ）を実施することも可能である。また、１台のカメラが複数のファイバの束に接続されていてもよく、追加的または代替的にセットアップに複数のカメラが存在してもよい。

【0012】

言い換えれば、好ましい実施形態によれば、１つの、複数の、又はそれぞれの導波路は、Ｍ本の光ファイバの束を有し、対応するカメラ、すなわちそれぞれの導波路に光学的に接続されるカメラはＭ個の画素の配列を有するイメージセンサを含み、ここでＮおよびＭに関して下の式が成り立つ。

【0013】

【数1】

【0014】

好ましくは、カメラの少なくとも１つが複数のファイバの束に接続され、それによって、検出のフィールドを損なうことなく、または区画の内部から受信して処理することができる情報を減らすことなくカメラの数を減らすことができる。

【0015】

好ましくは、カメラモジュールは、１つ以上のカメラから受信した画像データを処理及び／又は前処理及び／又は保存及び／又は転送するための電子機器をさらに含む。画像データは、ローカルに処理されてもよいし、ネットワークシステム内で処理されてもよい。光を取り込む場所とカメラとを分離することによって、区画内の異なる位置及び方向から受信した画像データを光学的及び／又は電子的に組み合わせることができ、それによってシステムの柔軟性を向上させることができる。

【0016】

好ましくは、各導波路は、区画の内部からの光を受け取るように構成された導波路の画像入力面を構成する受信ヘッドを有する。受信ヘッドのみを区画内に配置するか、または区画と光学的に接触させる必要があるため、本システムを設置する際、または従来の冷蔵庫をこのようなシステムでアップグレードする際に、冷蔵庫の区画の構造改正を最小限に抑えることができる。

【0017】

好ましくは、受信ヘッドは、画像入力面と光学的に接触している光学システムをさらに備える。例えば、入射光を集束または分散させるためのレンズが提供されてもよい。したがって、画角などの光学パラメータは、例えば区画の形状およびサイズに関して、簡単に調整および最適化することができる。

【0018】

好ましくは、導波路にそれぞれ接続された複数の受信ヘッドが備えられる。この場合、複数の受信ヘッドは、異なる位置及び／又は方向及び／又は画角からの画像を撮像することができるように構成され、それにより、その有効容積を損なうことなく区画内部の視覚化を向上させることができる。

【0019】

好ましくは、システムは、モデルに従って入力画像の特性を決定するように構成された処理ユニットをさらに含む。好ましい実施形態によれば、処理ユニットは、例えば、個々の及び／又は結合された画像に基づいて、モデルを訓練する、又はモデルの訓練を可能にするように構成される。

【0020】

受信した画像データは、開発期間中および顧客側の製品寿命を通じて収集することができる。これらの画像は、様々なユースケース（ｕｓｅ－ｃａｓｅ）を可能にする機械学習モデルを訓練するために使用されることがある。モデルは、オンエッジ（すなわち、デバイス上）またはネットワークシステムで学習させることができる。この場合、システムの複雑さを低減することができる。さらに、クラウドベースの学習と予測を可能にするために、オプションの通信ユニットが提供されてもよい。

【0021】

学習済みモデルは、例えば、ケチャップ、トマト、食品、瓶、砂糖、調味料、飲料などのアイテムに関する製品ロゴ、「蜂蜜配合で甘い」、「無糖」、「人工甘味料無添加」などの製品ケースまたはパッケージ上のテキスト、アイテムまたはパッケージのサイズ、支配色、食品や飲料の位置、製品の消費度などを検出することができる。

【0022】

また、上述した目的は、先に述べたいずれかの実施態様に係るシステムを構成する冷蔵庫によって解決される。

【0023】

システムに関して説明した特徴、技術的貢献、効果および利点は、ここで冷蔵庫に関しても開示される。

【図面の簡単な説明】

【0024】

以下、本発明の好ましい実施形態について、図面を参照しながら説明する。

【0025】

【図1】図１は、冷蔵庫内の画像を撮像して処理するためのシステムを備えた冷蔵庫の模式図である。

【図2】図２は、図１に示す冷蔵庫の一部を形成する画像転送部の模式図である。

【図3】図３は、光ファイバの束を含む、例示的な導波路の終点を示す。

【発明を実施するための形態】

【0026】

以下、本発明の好ましい実施形態について、図面を参照しながら説明する。ここで、図中、同一、類似、または同一もしくは類似の効果を有する要素には、同一の参照数字が与えられる。このような要素については、冗長な記述を避けるために、繰り返しの説明を省略され得る。

【0027】

図１は、冷蔵庫１を模式的に示す図である。冷蔵庫１は、自律型装置、移動型装置または据置型装置として実装されてもよいし、家電ネットワークシステムなどのネットワークの一部であってもよい。冷蔵庫１は、家庭用または産業用で使用することができる。

【0028】

冷蔵庫１は、冷蔵庫１の内部、特に冷蔵庫１の区画３の画像を撮像し処理するシステム２を備えている。

【0029】

この目的のために、システム２は、それぞれが１つ以上のカメラ２１を有する少なくとも１つのカメラモジュール２０と、場合によってはカメラ２１から受け取った画像データの処理または前処理、保存、転送等のためのメインボード等のさらなる電子機器２２とを含む。

【0030】

各カメラ２１は、電荷結合素子（ＣＣＤ）のようなイメージセンサ２１ａ（図２を参照）を含んでいる。イメージセンサ２１ａは、典型的には、入射光子を半導体－酸化物界面で電荷に変換し、捕捉された画像の代表表現を得るためにこれらの電荷を読み出すように構成された光感受性半導体ベースの画素のアレイを有している。

【0031】

システム２は、区画３の内部からカメラ２１へ光を伝達するように構成された１つ以上の光導波路３０をさらに含む。図２を参照すると、各導波路３０は、画像を受信し出力するための２つの画像面３１、３２をそれぞれ有する。一方の画像面３１は、ここでは「画像出力面」とも呼ばれ、カメラ側に配置され、カメラ２１のイメージセンサ２１ａに接続される。他方の画像面３２は、ここでは「画像入力面」とも呼ばれ、冷蔵庫１の内部側に位置し、そこからの光を受光するように構成される。

【0032】

画像入力面３２は、入射光を集光又は分散させるためのレンズ３３などの光学システムを備えていてもよい。光導波路３０とレンズ３３のような可能な光学要素を含むアセンブリは、本明細書では画像転送部３４と呼ばれる。レンズ３３のような光学要素を含み得る画像入力面３２は、本明細書では、受信ヘッド３５と呼ばれる。複数の受信ヘッド３５は、画像が異なる位置、方向及び画角から捕捉され得ることを示すために、図１に模式的に示されている。

【0033】

レンズ３３のような光学システムは、ガラス繊維や画像転送ケーブルを使用して形成することができる。これにより、特にコンパクトで費用対効果の高い実装が可能となる。導波路３０は、可撓性でも剛性でもよい。導波路が設置後にさらに曲げられることがなければ、剛性の導波路を設けても、システム２の効率に影響を与えない。

【0034】

好ましくは、複数の画像転送部３４が設けられ、冷蔵庫１の内側カバー内に設置される。画像入力面３２は冷蔵庫１の内部からの光を受光し、光導波路３０はその光を画像出力面３１に伝達する。画像出力面３１と光接触しているイメージセンサ２１ａが光を検出することにより、冷蔵庫の庫内３の画像が撮像される。

【0035】

好ましい実施形態によれば、導波路３０は、いわゆる溶融ファイバ光導波路によって実現される。溶融ファイバ光導波路は、複数のファイバ、すなわちファイバの束を含む。ファイバの各々は、高屈折率のコアと、低屈折率のクラッドとを有する。画像入力面３２でファイバに入射した光線は、コアとクラッドとの界面での全反射を介してコアに沿って導光される。ファイバの束は、剛性または可撓性の導波路３０を形成するために、（接着剤有りで又は無しで、加熱有りで又は無しで）結合および融着されることができる。

【0036】

複数のファイバを利用することで、例えばマイクロファイバを利用するなどして、光波を小さな部品で転送することができる。各ファイバは、イメージセンサ２１ａの個々の画素を代表してもよいが、そのような１対１の対応は必要ない。例えば、ファイバファセットからイメージセンサ２１ａの画素配列へのＮ対Ｍマッピングが利用されてもよい。さらに、１つのカメラ２１が複数のファイバの束に接続されてもよく、代替的に、セットアップに複数のカメラ２１が存在してもよい。

【0037】

図３は、光ファイバの束に基づく例示的な導波路３０の終点、すなわち画像出力面３１を示す図である。複数のファイバ及び／又はバンドルは、イメージセンサ２１ａ側で結合又は接合され、ジョイント画像データを提供する。好ましい実施態様は、図３に示されるように、長方形または六角形の形状を使用するが、実施態様は用途に応じて異なってもよい。画像データは、空間的に分離されたゾーンから、または同じ場所から収集されてもよく、画像データは、追加的にまたは代替的に、異なる視線方向及び／又は異なる画角から収集されてもよい。

【0038】

受信した画像データは、開発期間中や顧客側の製品寿命を通じて収集されることがある。これらの画像は、様々なユースケースを可能にする機械学習モデルを訓練するために使用されることがある。モデルは、オンエッジ（すなわち、デバイス上）またはネットワークシステム内で学習させることができる。

【0039】

この目的のために、システム２は、好ましくは、入力画像の特性を決定するためのモデルを取得し、場合によっては訓練するように構成されている処理ユニット４０を含む。モデルは、別々の画像の代わりに、結合された画像を用いることによって訓練されてもよい。この場合、システム２の複雑さを低減することができる。さらに、クラウドベースのトレーニングおよび予測を可能にするように、オプションの通信ユニット５０が提供されてもよい。

【0040】

学習済みモデルは、例えば、ケチャップ、トマト、食品、瓶、砂糖、調味料、飲料、ドリンクなどのアイテムに関する製品ロゴ、「蜂蜜配合で甘い」、「無糖」、「人工甘味料無添加」などの製品ケースまたはパッケージ上のテキスト、製品またはパッケージのサイズ、支配色、食品や飲料の場所、製品の消費度などを検出することができる。

【0041】

本明細書で説明するシステム２は、冷蔵庫１の内部、すなわち区画３の画像を撮影し処理するように構成されている。システム２のカメラ２１は、区画３の外側に配置されており、すなわち、システム２は、設置要件に応じて、カメラ２１を冷蔵庫１の任意の場所に、または冷蔵庫１から離れた場所にさえ配置することを可能にする。したがって、冷蔵庫１の有効容積は、カメラ２１によって影響を受けない。カメラ２１の配線および適切な配置が簡素化され、それにより、製造およびメンテナンスのプロセスが改善される。特に、カメラ２１を、例えば冷蔵庫１の室内カバーの内部に埋め込まないように配置することで、カメラ２１の交換や修理を容易に行うことができる。カメラ２１の位置は、冷蔵庫１、特に、区画３のデザインに影響を与えず、それらを決定することもない。

【0042】

カメラ２１を冷蔵庫１の区画３の外側に設置することで、冷蔵庫１の金属ケースがＲＦ信号を遮蔽するため、ラジオ（ＲＦ ）、カメラ、メインボードの複合設計を利用することができる。

【0043】

画像は光学的に転送されるため、システム２は特に電磁干渉（ＥＭＩ）に対して耐性がある。

【0044】

以上、説明した実施形態により本発明を図示し、詳細に説明したが、本発明はこれらの実施形態に限定されるものではない。当業者であれば、添付の特許請求の範囲から逸脱することなく、他の変形例を導き出すことができる。

【0045】

一般に、用語「ａ」または「ａｎ」は、例えば用語「ちょうど１つ」等によって明示的に除外されない限り、特に「少なくとも１つ」、「１つ以上」等の意味を有する単数または複数として理解されることがある。

【0046】

実施形態で示した特徴、特に異なる実施形態で示した特徴は、本発明の範囲を離れることなく、組み合わせたり、代用したりすることができる。

【符号の説明】

【0047】

１ 冷蔵庫
２ 画像を撮像して処理するシステム
３ 区画
２０ カメラモジュール
２１ カメラ
２１ａ イメージセンサ
２２ 電子機器
３０ 導波路
３１ 画像出力面
３２ 画像入力面
３３ レンズ
３４ 画像転送部
３５ 受信ヘッド
４０ 処理ユニット
５０ 通信ユニット

【図1】

【図2】

【図3】

【国際調査報告】