特開 2022-33056 食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム、及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022033056

(43)【公開日】2022-02-25

(54)【発明の名称】食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム、及び記憶媒体

(51)【国際特許分類】

   A47L 15/46 20060101AFI20220217BHJP

   A47L 15/24 20060101ALI20220217BHJP

   G06T 7/00 20170101ALI20220217BHJP

   B25J 13/00 20060101ALI20220217BHJP

【ＦＩ】

A47L15/46 Z

A47L15/24

G06T7/00 350C

B25J13/00 Z

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021132041

(22)【出願日】2021-08-13

(31)【優先権主張番号】P 2020137155

(32)【優先日】2020-08-14

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】519020616

【氏名又は名称】ＴｅｃｈＭａｇｉｃ株式会社

(74)【代理人】

【識別番号】110002343

【氏名又は名称】特許業務法人 東和国際特許事務所

(72)【発明者】

【氏名】白木 裕士

(72)【発明者】

【氏名】パン ジュイ

【テーマコード（参考）】

3B082

3C707

5L096

【Ｆターム（参考）】

3B082AA03

3B082AA08

3B082DA00

3B082DB00

3C707AS01

3C707BS12

3C707DS01

3C707ES03

3C707ET03

3C707KS03

3C707KS07

3C707KS09

3C707KT03

3C707KT05

3C707LW12

5L096BA05

5L096BA18

5L096CA05

5L096DA02

5L096HA11

5L096MA07

(57)【要約】

【課題】ロボットアームによって食器の種類に応じた各種部分を把持することによって食器を取り上げると共に食器を洗浄用ラックに収容することができる食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム、及び記憶媒体を提供する。
【解決手段】本発明の実施形態に係る食器自動洗浄システムは、ハンドを有するロボットアームと、食器をロボットアームにより取り上げられる位置に配置する食器配置部と、前記ロボットアームによって取り上げた食器を収容する食器収容部と、食器の画像情報を取得し、取得された食器の画像情報に基づいて、前記ハンドにより把持する食器のハンド把持部分を認識する食器情報取得部と、前記ハンドによって前記食器のハンド把持部分を把持して前記食器配置部から食器を取り上げると共に、取り上げた食器を前記食器収容部に収容するように前記ロボットアームを制御する食器搬送制御部と、を備えることを特徴とする。
【選択図】図２

【特許請求の範囲】

【請求項1】

ハンドを有するロボットアームと、
食器をロボットアームにより取り上げられる位置に配置する食器配置部と、
前記ロボットアームによって取り上げた食器を収容する食器収容部と、
食器の画像情報を取得し、取得された食器の画像情報に基づいて、前記ハンドにより把持する食器のハンド把持部分を認識する食器情報取得部と、
前記ハンドによって前記食器のハンド把持部分を把持して前記食器配置部から食器を取り上げると共に、取り上げた食器を前記食器収容部に収容するように前記ロボットアームを制御する食器搬送制御部と、
を備えることを特徴とする食器自動洗浄システム。

【請求項2】

前記食器情報取得部が、食器の２次元及び／又は３次元形状の情報を取得可能であり、
取得された食器の２次元及び／又は３次元形状の情報を用いて食器の前記ハンド把持部分を算出することを特徴とする請求項１に記載の食器自動洗浄システム。

【請求項3】

前記食器情報取得部では、機械学習により食器の形状認識を行うことを特徴とする請求項１又は２に記載の食器自動洗浄システム。

【請求項4】

前記機械学習では、深層学習によって訓練済みのモデルを用いて食器の２次元形状の情報から食器の配置、形状、大きさ、色又は種類の少なくとも１つが認識されて第１出力として出力され、
前記第１出力及び食器の３次元形状の情報から少なくとも食器の前記把持部分を第２出力として算出することを特徴とする請求項３に記載の食器自動洗浄システム。

【請求項5】

前記食器配置部が、食器が載置された複数のトレーを受け入れる受入用トレー配置部と、
前記ロボットアームによって食器が取り上げられる位置であり、前記受入用トレー配置部から１つのトレーが移送される食器取上用トレー配置部と、を有し、
前記食器情報取得部が、前記食器取上用トレー配置部に配置されたトレー上の食器の画像情報を取得し、当該画像情報に基づいて前記食器のハンド把持部分を算出することを特徴とする請求項１～４のいずれか１項に記載の食器自動洗浄システム。

【請求項6】

前記食器情報取得部が、前記食器収容部の画像情報を取得し、当該画像情報に基づいて前記食器収容部の空スペースを算出することを特徴とする請求項１～５のいずれか１項に記載の食器自動洗浄システム。

【請求項7】

ロボットアームに設けられたハンドにより取り上げられる位置に食器を配置する食器配置ステップと、
食器の画像情報を取得し、取得された食器の画像情報に基づいて、前記ハンドにより把持する食器のハンド把持部分を認識する食器情報取得ステップと、
前記ロボットアームによって取り上げた食器を収容する食器収容ステップと、
を備え、
前記食器収容ステップにおいて、前記食器情報取得ステップにおいて認識された食器のハンド把持部分の情報を用いて、前記ハンドによって前記食器のハンド把持部分を把持して前記食器配置部から食器を取り上げると共に、取り上げた食器を前記食器収容部に収容するように前記ロボットアームが制御されることを特徴とする食器自動洗浄方法。

【請求項8】

請求項７に記載の食器自動洗浄方法における各ステップをコンピュータにより実行可能なことを特徴とする食器自動洗浄プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、食器等を自動的に洗浄する食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム、及び記憶媒体に関する。

【背景技術】

【0002】

近年、飲食店における従業員不足等の背景から、飲食店における業務やサービスの工程を自動化したいという要請がある。食器の洗浄についても、自動化の要請があり、従来、特許文献１のような技術が提案されている。

【0003】

上記特許文献１には、食器の開口が下向きになる状態で洗浄し、洗浄後の食器をカメラにより撮影し、撮影された画像に基づいて、登録された３種類の食器の中から食器の種類をパターンマッチングにより判断し、食器の重心位置をロボットアームの吸着パッドにより取り上げて、食器をピックアップする食器洗浄システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】ＷＯ２０１８/０３４２５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記特許文献１に記載の食器洗浄システムでは、食器の取り上げに吸着パッドが必須であり、ロボットアームのハンドによる食器の取り上げができなかった。また、画像認識は、食器の開口が下向きになる状態でパターンマッチングによるものなので、認識可能な食器の種類及び姿勢が限定されていた。

【0006】

本発明の目的は、食器を把持する位置を画像認識により把握し、ロボットアームのハンドによって自動的に食器を取り上げることができる食器自動洗浄システム、食器自動洗浄方法及び食器自動洗浄プログラムを提供することにある。

【課題を解決するための手段】

【0007】

本発明の上記目的は、以下の構成によって達成できる。すなわち、本発明の第１の態様の食器自動洗浄システムは、
ハンドを有するロボットアームと、
食器をロボットアームにより取り上げられる位置に配置する食器配置部と、
前記ロボットアームによって取り上げた食器を収容する食器収容部と、
食器の画像情報を取得し、取得された食器の画像情報に基づいて、前記ハンドにより把持する食器のハンド把持部分を認識する食器情報取得部と、
前記ハンドによって前記食器のハンド把持部分を把持して前記食器配置部から食器を取り上げると共に、取り上げた食器を前記食器収容部に収容するように前記ロボットアームを制御する食器搬送制御部と、
を備えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、食器を把持する位置を画像認識により把握し、ロボットアームのハンドによって自動的に食器を取り上げることができる食器自動洗浄システム、食器自動洗浄方法及び食器自動洗浄プログラムを提供することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態１に係る食器自動洗浄システムの斜視図である。

【図2】本発明の実施形態１に係る食器自動洗浄システムの概略ブロック図である。

【図3A】ロボットアームのハンドの説明図である。

【図3B】ハンドにステレオカメラを固定した状態のハンドの説明図である。

【図4】食器のハンド把持部分の説明図である。

【図5】ＡＩによる画像認識の出力結果の説明図である。

【図6】洗浄用ラックへの食器の収容位置を算出する処理についての説明図である。

【図7】本発明の実施形態２に係る食器自動洗浄システムの概略ブロック図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して本発明の実施形態に係る食器自動洗浄システム、食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム、及び記憶媒体を説明する。但し、以下に示す実施形態は本発明の技術思想を具体化するための食器自動洗浄システムを例示するものであって、本発明をこれらに特定するものではなく、特許請求の範囲に含まれるその他の実施形態のものにも等しく適用し得るものである。

【0011】

［実施形態１］
本発明の実施形態１に係る食器自動洗浄システムについて、図１～図６を参照して説明する。

【0012】

図１は、本発明の実施形態１に係る食器自動洗浄システム１００の斜視図である。図２は、本発明の実施形態１に係る食器自動洗浄システム１００の概略ブロック図である。図３Ａは、ロボットアーム１００のハンド１１２の説明図である。図３Ｂは、ハンド１１２にステレオカメラ１６０を固定した状態のハンド１１２の説明図である。図４は、食器１８０のハンド把持部分１８０ａの説明図である。図５は、ＡＩによる画像認識の出力結果の説明図である。図６は、洗浄用ラック１４２への食器１８０の収容位置を算出する処理についての説明図である。

【0013】

本実施形態の食器自動洗浄システム１００は、アーム１１１の先端にハンド１１２を有するロボットアーム１１０と、使用済みの食器１８０が載置されたトレー１８２が配置されるトレー配置部１２０と、ロボットアーム１１０がトレー配置部１２０に配置されたトレー１８２から取り上げた食器１８０を予洗いする予洗い部１３０と、ロボットアーム１１０によって取り上げた食器１８０を洗浄のために収容する洗浄用ラック１４２が配置されるラック配置部１４０と、洗浄用ラック１４２に収容された食器１８０を洗浄する食器洗浄部１５０と、トレー配置部１２０に配置されたトレー１８２上の食器１８０の画像情報を取得する食器情報入力部１６０と、食器自動洗浄システム１００全体の動作を制御する制御装置１７０と、を備える。
なお、食器１８０としては、例えば、洋食器、和食器、形状等の種類を問わず、例えば食品を盛るための皿、ボール、碗、丼、鉢等、飲料を入れるカップ、コップ、グラス、茶碗、酒器等、食物を取り扱う箸、フォーク、ナイフ、スプーン、マドラー、レンゲ等、調理用具ないしキッチン用品である鍋、フライパン、まな板、包丁、ナイフ、ボール、カップ、コンテナ、フライ返し、へら、杓子等、食事に用いられる道具や器具の全てを含む。

【0014】

ロボットアーム１１０は、特に限定されるものではないが、例えば6軸の多関節型のロボットアームが用いられ、アーム１１１の先端にハンド１１２を有する。なお、ロボットアーム１１０は６軸の多関節型のロボットアームに限定されるものではなく、アームの可動範囲において食器１８０を取り回すことができるものであれば、いかなる形式のロボットアーム１１０であってもよい。このロボットアーム１１０は、ロボットアーム１１０の動作を制御するロボット制御部１１０ａを有し、このロボット制御部１１０ａが制御装置１７０の食器搬送制御部１７１に接続されている。

【0015】

ハンド１１２は、一対の把持片１１３を有し、この一対の把持片１１３によって食器１８０の一部が把持される。一対の把持片１１３は、一方の把持片１１３の先端部が外側に向けて屈曲され、他方の把持片１１３の先端部が内側に向けて屈曲されている。一対の把持片１１３は、食器１８０を把持する側の面となる把持面１１３ａがR状に屈曲された屈曲部分から先端に向けて平面形状になっている。なお、ハンド１１２は、先端部の内側に耐水性、耐油性のあるシリコン材等の滑り止めを貼りつけて食器１８０を安定して把持することができるようになっている。このハンド１１２は、一対の把持片１１３が互いに近づけられると、互いの先端部の把持側の把持面１１３ａが平行に向かい合うようになっており、一対の把持片１１３の先端部で食器１８０の開口縁部周辺を平行に対峙された平面形状の把持面１１３ａの間に把持することができる。

【0016】

また、ハンド１１２は、ハンド１１２の向きを鉛直下方に向けた場合、一対の把持片１１３の先端部が横方向を向いた状態になるため、食器洗浄部１５０の回転ノズルから噴射される水が当たりやすい食器１８０の姿勢、すなわち、開口端縁面を下方に傾けた姿勢、あるいは下方に伏せた姿勢で食器１８０を配置し易くすることができる。

【0017】

上述の図３Ａ、図３Ｂに示したハンド１１２により、箸、カトラリー類を把持する際に、ハンド１１２による把持が不安定となることがある。このため、箸、カトラリー類を把持する際には例えば二股ハンド部やエアーグリッパー等で把持する構成とするとよい。また、複数種類のハンド１１２を用意しておき、把持する対象に合わせてハンドを使い分けるような構成とすることもできる。

【0018】

トレー配置部１２０は、使用済みの食器１８０が載置された複数のトレー１８２が受け入れられる受入用トレー配置部１２１と、受入用トレー配置部１２１から１つのトレー１８２がロボットアーム１１０によって食器１８０が取り上げられる位置に移送配置される食器取上用トレー配置部１２２と、を有する。

【0019】

受入用トレー配置部１２１は、複数のトレー１８２を１列に並べて配置可能であると共に、トレー１８２の並び方向前方に向けてトレーを移動することができるトレー載置台１２１ａを有する。このトレー載置台１２１ａは、トレー１８２の並び方向前方側に向けて下り傾斜状に傾斜されているため、トレー１８２が前方に向けて自重により移動されるようになっている。また、この傾斜構造の代わりに又はこれに加えて、駆動機構やばね機構等を用いてトレー１８２を移動させるようにしてもよい。

【0020】

なお、トレー載置台１２１ａの前方端には最前位置のトレー１８２が突き当てられるガイド部材１２３が配置されている。このガイド部材１２３は、ロボットアーム１１０によって食器取上用トレー配置部１２２に、引き入れることができるようにトレー載置台１２１ａと食器取上用トレー配置部１２２との間でスライド移動可能に設けられている。
ガイド部材１２３に突き当てられた最前位置の１つのトレー１８２が、ロボットアーム１１０によってスライド移動されるガイド部材１２３に押され、ガイド部材１２３と共に移動されることによって、食器取上用トレー配置部１２２に配置されるようになっている。

【0021】

食器取上用トレー配置部１２２は、制御装置１７０に接続された昇降駆動部１２２ｂによって駆動される不図示の昇降機構によって昇降駆動されるトレー載置テーブル１２２ａを有する。この食器取上用トレー配置部１２２は、トレー載置テーブル１２２ａにトレー１８２を複数重ねて載置することができる。食器取上用トレー配置部１２２は、受入用トレー配置部１２１から移送されたトレー１８２からロボットアーム１１０によって全ての使用済みの食器１８０が洗浄用ラック１４２に移動されると、新たに最上位置に１つのトレー１８２を受け入れできるようにトレー載置テーブル１２２ａが下降されるようになっている。
このような、食器取上用トレー配置部１２２は、受入用トレー配置部１２１で受け入れられた複数のトレー１８２を重ね配置することができ、使用済みのトレー１８２としてまとめて回収することができるようになっている。

【0022】

予洗い部１３０は、流し台１３０ａを有し、流し台１３０ａには水が溜められている。ロボットアーム１１０により取り上げた食器１８０を、この水の中に配置されたブラシ(不図示)に押し当てながらロボットアーム１１０によって動かすことによって、食器１８０が予洗いされる。水の中に配置されたブラシは、固定式でも駆動式（例えば回転駆動等）でもよい。なお、流し台１３０ａに溜められる水は、温水であってもよい。

【0023】

ラック配置部１４０は、最上位置の洗浄用ラック１４２にロボットアーム１１０によって食器１８０を収容することができるように複数の洗浄用ラック１４２を上下方向にストックすると共に、食器１８０の収容が完了された最上位置の洗浄用ラック１４２が食器洗浄部１５０に移動された場合、下方に配置された洗浄用ラック１４２を最上位置に上昇させることができるようになっている。このラック配置部１４０は、ストックされた複数の洗浄用ラック１４２を制御装置１７０に接続された昇降駆動部１４１ａによって昇降移動させる昇降機構１４１を有し、この昇降機構１４１によって下方にストックされた洗浄用ラック１４２を最上位置に順次供給する。なお、ラック配置部１４０から食器洗浄部１５０への洗浄用ラック１４２の移動は、ラック送出機構１４３によって行われる。このラック送出機構１４３は、制御装置１７０に接続された駆動部１４３ａによって駆動される。

【0024】

食器洗浄部１５０は、例えば、回転ノズルから噴射される水、さらには自動注入される洗剤を用いることにより洗浄用ラック１４２に収容された食器１８０に付着した汚れを落とした後、食器１８０を乾燥するものである。この食器洗浄部１５０は、洗浄から乾燥までの食器１８０の洗浄に関する一連の動作を制御する食洗制御部１５０aを有しており、この食洗制御部１５０aに制御装置１７０が接続されている。食器洗浄部１５０によって食器１８０の洗浄が完了されると、洗浄用ラック１４２が食器洗浄部１５０から送り出され、例えば不図示のロボットアームによって洗浄用ラック１４２から各食器１８０が取り出され、洗浄済みの食器１８０として不図示の収容容器に収容される。

【0025】

食器情報取得部１７２は、食器情報入力部１６０として画像入力装置、特に限定されるものではないが、例えば２次元画像情報及び/又は３次元点群による食器１８０のカラーの３次元画像情報を取得することができるステレオカメラ等を備えている。本実施形態では、食器情報入力部（以下、「ステレオカメラ」ともいう。）１６０としては、カラーカメラを用いる例を説明するが、本実施形態はカラーカメラに限定されるものではなく、モノクロカメラを用いてもよい。本実施形態では、ステレオカメラ１６０が、ハンド１１２に固定されている。ステレオカメラ１６０は、ロボットアーム１１０を動かすことによってステレオカメラ１６０の光軸を任意の方向に向けて画像情報を取得することができる。すなわち、ロボットアームを動かすことで様々な角度から撮影が可能であり、またその撮影位置・角度はロボット側から正確に情報を得ることができる。このため、ステレオカメラ１６０は、ハンド１１２がトレー配置部１２０に配置されたトレー１８２、あるいは、ラック配置部１４０に配置された洗浄用ラック１４２に向けられることによって、トレー１８２上の食器１８０及びラック配置部１４０に配置された洗浄用ラック１４２の収容部の２次元情報及び/又は３次元画像情報を取得する。

【0026】

本実施形態では食器情報入力部１６０としてステレオカメラを用いることを例示したが、本実施形態においてはステレオカメラだけに限定されるものではなく、他の様々な形式のカメラや画像取得手段を含む。また、本実施形態では、カメラを１台設けた例を説明するが、本願はこれに限定されるものではなく、複数のカメラを用いるようにすることもできる。例えば、ハンドに設けた移動カメラと、別の固定カメラとを用いることもできる。複数のカメラを用いると、複数に重なった食器１８０を認識しやすくなる。

【0027】

なお、食器１８０の３次元点群を得る方法として上述のステレオカメラ方式の他に、１）レーザー光やＬＥＤ等のパターンを照射して、その模様の映り方を撮影し、3次元点群を取る方法（Structured Light方式）、２）レーザー光やＬＥＤ等の光を照射し、反射して帰ってくるまでの時間を計測する方式（Time of Flight方式）、及び、３）画像の焦点が合う位置を探索して奥行情報を知る方式（合焦方式）等も用いることができる。

【0028】

制御装置１７０は、例えばマイクロコンピュータにより実現することができるし、あるいは、例えばパーソナルコンピュータあるいはタブレット端末等で実現することもできる。制御装置１７０は、上述したように食器自動洗浄システム１００の各部に接続され、使用済みの食器１８０が載置されたトレー１８２が受入用トレー配置部１２１に受け入れられてから食器洗浄部１５０によって洗浄完了されるまでの食器自動洗浄システム１００による食器洗浄処理の一連の処理を制御する。この制御装置１７０は、食器搬送制御部１７１及び食器情報取得部１７２を有する。制御装置１７０は、例えば、ソフトフェアとして制御装置１７０の不図示の記憶媒体としての記憶部にインストールされる。なお、食器情報取得部１７２は、制御装置１７０の一部であると共に、ステレオカメラ等の食器情報入力部１６０を包含する。

【0029】

食器情報取得部１７２は、ステレオカメラ１６０によって取得された食器１８０の２次元画像情報及び/又は３次元点群による食器１８０の３次元画像情報に基づいて、食器取上用トレー配置部１２２に配置されたトレー１８２上の食器１８０をロボットアーム１１０によって取り上げるためにハンド１１２が把持する食器１８０のハンド把持部分１８０ａを算出する。食器搬送制御部１７１は、食器情報取得部１７２で算出されたハンド把持部分１８０ａを把持してトレー配置部１２０から食器１８０を取り上げると共に、取り上げた食器１８０を洗浄用ラック１４２に収容するようにロボットアーム１１０のロボット制御部１１０ａに制御指令を送信する。なお、２次元画像情報は、例えば食器１８０の配置、形状、大きさ、及び色等を含む情報である。また、３次元画像情報は、例えば食器１８０の形状、縁部の高さ、色等を含む情報である。

【0030】

食器情報取得部１７２は、ステレオカメラ１６０によって取得された２次元画像情報あるいは３次元画像情報から食器１８０の配置、形状、大きさ、色、及び縁部の高さを認識し、食器１８０を把持するハンド把持部分を算出する。このハンド把持部分１８０ａは、図４に示されるように、例えば、食器１８０の開口端周辺の領域であり、かつ、ロボットアーム１１０の姿勢が食器１８０を取り上げやすくなるように考慮された領域である。図４のトレー配置部１２０の正面図において、各食器１８０の上方の領域がハンド把持部分１８０ａとして、算出されている。ロボットアーム１１０の姿勢が食器１８０を取り上げやすくなるように考慮されるため、立体形状の近い食器１８０に対しては、ハンド把持部分１８０ａが同じ向きになる傾向となる。

【0031】

食器情報取得部１７２は、一般的な食器１８０の画像情報（円形の皿、四角皿、丼、丸い小鉢等）によって学習されている。このため、従来の固定されたモデルデータを用いた画像認識では難しかった、様々な形状、大きさ、色、及び縁部の高さの食器１８０の認識が可能である。すなわち、食器情報取得部１７２は、食器１８０の２次元画像情報及び/又は３次元画像情報を登録していない状態（モデルレス）でも、機械学習を用いて食器１８０の配置、形状、大きさ、色、及び縁部の高さを推定することができ、この推定に基づいてハンド把持部分を算出することによって、ロボットアーム１１０を用いて食器１８０を取り上げることが可能である。食器搬送制御部１７１は食器情報取得部１７２からの情報を用いて、ロボット制御部１１０ａにロボットアームを制御するための制御指令を送信する。

【0032】

なお、ロボットアーム１１０は、姿勢が制限されるため、アーム先端のハンド１１２を最短距離で移動させることができない場合がある。現在の食器１８０を取り上げる動作に続けて次の食器１８０を滑らかに取り上げることができるように、ロボットアーム１１０のアーム先端の軌道の補正量、トレー１８２上のどの食器１８０を取り上げ対象に選出するかを最適化するような学習も可能である。例えば学習済みのＡＩを用いれば、食器自動洗浄システム１００の導入初期から、ロボットアーム１１０が熟練者のような滑らかな動きで迅速に食器１８０を取り上げることが可能になる。例えば、ロボットアーム１１０の取り上げ時の軌道に補正量を入れ、取り上げが上手くいく方向に強化学習、あるいは、DNN（ディープニューラルネットワーク）による教師あり学習等により、その補正量の最適化を行うことは効果的であり、ロボットアーム１１０の高速化にも寄与する。特に限定されるものではないが、本実施形態では食器の画像認識に深層学習を用いた例を説明する。

【0033】

ロボットアーム１１０により食器１８０を取り上げるためのロボットアーム１１０の姿勢は無数に存在するが、姿勢を適切に選ばないと、ロボットアーム１１０が可動限界に近すぎて停止してしまう。そこで、ロボットアーム１１０の動きやすさの指標である可操作度と、可動限界までの近さを用いて、いくつかの姿勢の候補のうち、ロボットアーム１１０が動きやすい姿勢を選んで食器１８０を取り上げる。

【0034】

また、食器情報取得部１７２は、ステレオカメラ１６０によって取得された洗浄用ラック１４２の収容部内の画像情報に基づいて洗浄用ラック１４２の空スペースを算出し、洗浄用ラック１４２に収容するためにロボットアーム１１０によって取り上げた食器１８０の情報と、洗浄用ラック１４２の空スペースの情報とから洗浄用ラック１４２への食器１８０の収容位置を算出する。食器情報取得部１７２は、洗浄用ラック１４２の上部から視た空きスペースを例えば四角形状のパターンＰ１、Ｐ２(図６参照)で認識する。洗浄用ラック１４２のサイズは既知であるため、食器１８０を画像認識により検出した場合、食器１８０の大きさについては、ラックの大きさとの比率を用いて算出することが可能である。このように洗浄用ラック１４２のサイズと収容された食器１８０の大きさが把握できるため、空きスペースとして、パターンＰ１、Ｐ２を算出することができる。洗浄用ラック１４２の空きスペースとなる1以上のパターンＰ１、Ｐ２の中から後述のルールベースに従い、ロボットアーム１１０によって取り上げた食器１８０が収まるパターンＰ１、Ｐ２が選択される。食器搬送制御部１７１は、このように選択されたパターンＰ１、Ｐ２の位置に食器１８０を配置するようにロボットアーム１１０によって食器１８０を収容するように、ロボット制御部１１０ａへ制御指令を送信する。

【0035】

食器情報取得部１７２は、ロボットアーム１１０が現在取り上げている食器１８０の２次元画像情報及び/又は３次元画像情報から食器１８０の形状を認識する。認識された食器１８０の形状と１以上の空きスペースのパターンＰ１、Ｐ２に対する適合度を評価し、適合度の高いパターンＰ１、Ｐ２の位置に食器１８０を配置するようにロボットアーム１１０が制御される。適合度には、例えば両者の形状が近いかどうかの度合い、パターンＰ１、Ｐ２の大きさが食器１８０よりも大きいかどうかの判定等が含まれ、例えば、食器１８０の形状とパターンＰ１、Ｐ２の形状とが近い程、適合度が高いものとして評価される。

【0036】

洗浄用ラック１４２内全体は画像認識されており、すでに収容された食器１８０が画像認識され、空きスペースも把握されている。この空いたスペースに合理的に食器１８０を詰めるためには、今ロボットアームで把持している食器１８０の種類だけでなく、次の食器１８０、また次の食器１８０等、後続のトレーに載せられている食器１８０の情報を用いるとよい。また洗浄用ラック１４２に各種の食器１８０を詰めるときには、「ガラスのコップの直後に丼を重ねてはいけない」（丼に当たってガラスのコップが割れないように）、「同じ種類の皿はなるべく種類ごとに揃えて入れると容積効率がよい」、又は、「食器洗浄部１５０内部で食器１８０へ洗浄水が当たり易い」等のルールがある。洗浄用ラック１４２に食器１８０を詰める様々なルールと、このルールに基づいてく洗浄用ラック１４２へ食器１８０を収容した実例のデータと、後続の食器情報等を用いて、機械学習、例えば深層学習によりＡＩを訓練する。この訓練されたＡＩを用いることにより、空きスペースに対するパターンＰ１、Ｐ２の設定方法、後続の食器種類に基づくパターンＰ１、Ｐ２に対する食器１８０の割り当て方法等をより適正化することができる。

【0037】

訓練済みのＡＩを用いて洗浄用ラック１４２に食器１８０を詰める制御は、次の仕様に従っている。
（１）洗浄用ラック１４２内の食器物体認識により、洗浄用ラック１４２内の位置・サイズの判別を含む空き空間領域把握を行うことにより、１以上の空きスペースのパターンＰ１、Ｐ２を演算する。
（２）認識された食器１８０の形状と１以上の空きスペースのパターンＰ１、Ｐ２との適合度を評価し、適合度の高いパターンＰ１、Ｐ２の中からルールベースに基づいて食器１８０を配置する位置を決定する。
（３）把持中の食器１８０の大きさ・高さ・形状情報に基づいて、パターンＰ１、Ｐ２に合致するように、プレース時の姿勢制御を行う。
（４）食器１８０のプレースルールはピック側の食器順序の制約があるためそのルールベースに従う。

【0038】

次に、食器洗浄処理における食器自動洗浄システム１００の一連の動作について説明する。先ず、ロボットアーム１１０が使用済みの食器１８０が載置された１つのトレー１８２を受入用トレー配置部１２１から食器取上用トレー配置部１２２に引き入れる。なお、ロボットアーム１１０がガイド部材１２３を食器取上用トレー配置部１２２側に引き入れることによって、ガイド部材１２３に突き当てられた最前位置の１つのトレー１８２がガイド部材１２３と共に移動される。これによって使用済みの食器１８０が載置された１つのトレー１８２が食器取上用トレー配置部１２２に配置される。

【0039】

１つのトレー１８２が受入用トレー配置部１２１から食器取上用トレー配置部１２２に移動され、ロボットアーム１１０によってガイド部材１２３が受入用トレー配置部１２１側に戻されると、受入用トレー配置部１２１にある残りのトレー１８２が前方にシフト移動され、最前位置のトレー１８２がガイド部材１２３に突き当てられて位置決め停止すると共に、後続のトレー１８２についても互いのトレー１８２同士が当接されて停止する。

【0040】

食器取上用トレー配置部１２２にトレー１８２が配置されると、ロボットアーム１１０が食器１８０を把持するためハンド１１２をトレー１８２に向けると共に、ステレオカメラ１６０によってトレー１８２上の食器１８０の画像情報が取得される。ステレオカメラ１６０は２次元画像及び３次元画像の両方を取得可能である。ステレオカメラ１６０によって取得される食器１８０の画像情報としては、食器１８０の２次元画像情報及び/又は３次元画像情報であり、トレー１８２に複数の食器１８０が載置されている場合、複数の食器１８０の２次元画像情報及び/又は３次元画像情報が取得される。ステレオカメラ１６０によって取得された食器１８０の画像情報は、制御装置１７０に送信され、食器情報取得部１７２における画像認識によってハンド１１２が把持する食器１８０のハンド把持部分１８０ａが算出される。食器搬送制御部１７１は、算出されたハンド把持部分１８０ａの位置及び姿勢から、ハンド１１２が食器１８０を把持するための位置（三次元座標）及び姿勢が決定し、この決定したハンド１１２の位置及び姿勢に基づいて、ロボット制御部１１０ａに対してロボットアーム１１０の制御指令を送信する。ロボット制御部１１０ａは食器搬送制御部１７１からの制御指令に基づき、ロボットアーム１１０を制御し、ハンド１１２により食器１８０を把持し、また、食器１８０を搬送する制御を行う。

【0041】

その後、食器搬送制御部１７１は、算出されたハンド把持部分１８０ａをハンド１１２によって把持し、食器１８０を取り上げた後、取り上げた食器１８０を予洗い部１３０にて予洗いするようにロボットアーム１１０を制御するための制御指令をロボット制御部に送信する。これによって、ロボットアーム１１０は取り上げた食器１８０を予洗い部１３０にて予洗いするように制御され、食器洗浄部１５０による洗浄の前に食器１８０に付着した汚れの一部が除去される。予洗い部１３０の流し台１３０ａには水が溜められている。ロボットアーム１１０は取り上げた食器１８０を流し台１３０ａの水に浸した状態で、食器をブラシに押し当てるように適宜の方向に揺動させることにより予洗いを行う。

【0042】

その後、食器搬送制御部１７１の制御指令に応じたロボット制御部１１０ａによる制御によって、ロボットアーム１１０が、予洗いした食器１８０をラック配置部１４０に配置された洗浄用ラック１４２に収容する。ここでロボットアーム１１０は、食器情報取得部１７２によって算出された洗浄用ラック１４２の収容位置に食器１８０を収容する。ロボットアーム１１０によって取り上げられた食器１８０の収容位置は、例えば上述の訓練済みＡＩを用いて洗浄用ラック１４２中の１以上の空きスペースのパターンＰ１、Ｐ２の中から決定される。食器搬送制御部１７１は、洗浄用ラック１４２に食器１８０を収容する空きスペースが無いと判断した場合、食器搬送制御部１７１の制御指令に応じて、ラック送出機構１４３の駆動部１４３ａが洗浄用ラック１４２を食器洗浄部１５０に送り出すと共に、昇降駆動部１４１ａが最上位置の一段下方位置に配置されている洗浄用ラック１４２を最上位置に上昇移動させる制御を実行する。

【0043】

食器情報取得部１７２における画像認識によって、食器取上用トレー配置部１２２に配置されたトレー１８２に食器１８０が存在しないと判断されると、食器搬送制御部１７１の制御指令に応じて、トレー１８２は昇降駆動部１２２ｂによって下方のトレーストック位置まで運ばれて、他の使用済みのトレー１８０と重ね合わせた状態でストックされる。その後、トレー載置台１２１ａの最前位置のトレー１８２が、食器搬送制御部１７１からの制御指令に応じてガイド部材１２３に押されて、食器取上用トレー配置部１２２に搬送される。これにより、新たに食器取上用トレー配置部１２２に搬送されたトレー１８２について、食器１８０の画像認識が行われ、認識された食器１８０をロボットアーム１１０により取り上げて、食器を洗浄用ラック１４２に搬送する制御が行われる。

【0044】

洗浄用ラック１４２がラック送出機構１４３によってラック配置部１４０から食器洗浄部１５０に送られると、食器搬送制御部１７１の制御指令に応じて洗浄制御部１５０ａの制御により、洗浄用ラック１４２内に収容された食器１８０が洗浄される。食器洗浄部１５０によって洗浄された食器１８０は、例えば、不図示のロボットアームによって洗浄用ラック１４２から取り出され、洗浄済みの食器１８０として不図示の収納コンテナ等に収納される。ロボットアームによって洗浄用ラック１４２から食器１８０を取り出す制御のために、後述と同様な画像認識を採用することができる。空になった洗浄用ラック１４２は、不図示の搬送機構によって回収され、ラック配置部１４０に自動でセットされる。

【0045】

［画像認識について］
本実施形態の画像認識では、２次元情報及び３次元情報の両方を用いる。２次元画像情報により、食器の配置・形状・大きさ・色等を識別し、３次元画像情報により食器１８０の形状・縁部高さ・色等を識別している。例えば深層学習による訓練済みＡＩに、２次元画像情報を入力することにより、第１出力として食器１８０の形状・色・種類・大きさ・配置等の情報を得る。第１出力で得られる情報としては、食器１８０の種類と配置を大まかに判別できる程度でもかまわない。深層学習による訓練済みＡＩに２次元画像情報を入力するとき、バウンディングボックスを適切に設定して、必ず食器１８０が占めるエリアが完全に含まれるようにする。そして、第１出力に加えて、３次元画像情報を用いた演算を行うことにより、食器１８０の形状・把持位置・縁部高さ・色等をより精緻に算出して、第２出力を得る。第２出力を用いて、例えばロボットアーム１１０により食器１８０を取り上げる制御を行う。また、本実施形態は２次元情報による機械学習に限定されるものでは無く、３次元画像情報も用いた機械学習や、２次元情報及び３次元情報の両方を用いた機械学習による食器１８０の画像認識も可能である。

【0046】

２次元画像情報は、大まかな食器１８０の種類・位置・サイズの特定に利用され、３次元画像情報は、２次元情報で得られた情報を参照した上で、食器１８０の形状・把持位置をより精緻に特定するために利用される。特に、３次元画像情報は、食器１８０の把持位置の高さと傾き情報を得て、ロボットアーム１１０のハンド１１２の角度を決定するために利用される。

【0047】

［ＡＩの訓練について］
ＡＩとしては、特に限定されるものでは無いが、ここでは深層学習を例に挙げ、ネットワークとして、例えばYOLOv3を用いた場合について説明する。食器情報取得部１７２は、深層学習による訓練済みＡＩが組み込まれており、２次元画像情報を入力することにより、第１出力として食器１８０の形状・色・種類・大きさ・配置等の情報を得る。特に限定されるものではないが、本実施形態では、本部サーバ１０１において、データベース１０２の情報、及び、各食器自動洗浄システム１００、１００ａ～１００ｎから収集された情報に基づいてＡＩの深層学習を行うことを例示する。食器情報取得部１７２は、情報ネットワーク１０３を介して、本部サーバ１０１、データベース１０２、他の食器自動洗浄システム１００ａ～１００ｎが接続されている。本部サーバ１０１において訓練された訓練済みＡＩモデルは、各食器自動洗浄システム１００、１００ａ～１００ｎの食器情報取得部１７２に送信され、各食器自動洗浄システム１００、１００ａ～１００ｎにおける画像認識に使用される。なお、第１出力に基づき第２出力を得るための３次元画像情報の演算プログラムやパラメータについても、本部サーバ１０１から各食器自動洗浄システム１００、１００ａ～１００ｎの食器情報取得部１７２に送信するようにしてもよい。また、ここでは本部サーバ１０１でＡＩの訓練を行う例を説明するが、本実施形態はこれに限定されるものではなく、例えば食器情報取得部１７２においてステレオカメラ１６０から入力された画像情報や情報ネットワーク１０３を介して入手したデータベース１０２の情報、他の食器自動洗浄システムからの情報等に基づき個別にＡＩの深層学習を行うようにすることも可能である。また、第２出力を得るための３次元画像情報の演算プログラムを各食器自動洗浄システム１００、１００ａ～１００ｎ側で設定することも可能である。

【0048】

まずは、データセットの生成について説明する。
（１）画像の準備
（１－１）食器１８０の１１種の写真を異なる角度から５枚ずつ撮る。
（１－２）トレー１８２の３種の写真を１枚ずつ撮る。
（１－３）適用場所の辺の画像を５枚撮る。
（１－４）上記１－１と１－２のバックグラウンドを抜き透明化する。

【0049】

撮影された食器１８０の写真に対する学習データの生成は、次の手順でソフトウェアにより自動的に行われている。
・個々の食器１８０やトレー１８２の写真を撮影し、食器の写真の背景を透明化して、下記（２）～（４）の手順の処理を行う。
・食器１８０およびトレー１８２などの複数の写真をソフトウェアで合成して擬似的にトレー１８２を生成し、また、学習用のラベルもソフトウェアで自動的に生成する。
・生成された画像・ラベルデータを元に機械学習を行う。

【0050】

OpenCVにより以下の処理を行う。
（２）画像数を増やすための画像処理
（２－１）トレー用
・明るさ調整：γ＝0.7-1.5
・回転：±10°
・ノイズ：ガウシアン、ポワゾン、ごま塩ノイズ
（２－２）食器用
・明るさ調整：γ＝0.7-1.5
・回転：±180°
・アフィン変換
・ノイズ：ガウシアン、ポワゾン、ごま塩ノイズ

【0051】

（３）食器１８０を置く際の条件
（３－１）置いてある食器１８０と一部重なる又は一定の距離を開けて配置する。
（３－２）トレーが回転する前に置ける場所の縁を超えないこと。
（３－３）食器１８０が回転する前にトレーの縁を超えないこと。
（３－４）リトライ回数が所定回数を超えないこと。

【0052】

（４）画像の合成
（４－１）ランダムに一枚の応用場所の辺の画像を取って背景とする。
（４－２）ランダムに一つトレーの画像を取り、上記（２）のように画像数を増やす画像処理をかけてランダムにトレーの置ける範囲内に置く。
（４－３）ランダムに背景が透明化した食器１８０の画像を取り、上記（２）のように画像数を増やす画像処理をかけてトレーのランダムな位置に置く。
（４－４）合成枚数：35,000
（４－５）合成画像の大きさ：カメラの解像度に合わせて決定する。

【0053】

次にＡＩの訓練について説明する。
（１）フレームワークは次のとおりとする。
a) Darknet：物体検出等の画像認識を行う。
b) CUDA 10.2：ＧＰＵを利用することにより訓練と推論の演算速度を向上する。
（２）ネットワークはYOLOv3-106層を用いた。
（３）パラメーターは次のように設定した。
a)Number of classes: 12 (食器10、箸1、トレー1)
b)Epochs: 50,000
c)Batch_size: 8
d)Channels: 3
e)Learning_rate: 0.001
f)Anchors: 教師なし学習のAgglomerative Clusteringにより決定する。
g)学習する際に画像毎の水増しパラメータ
・Angle: 180
・Exposure: 1.5
・Hue: 0.1

【0054】

なお、以上の設定は本実施形態の一例であり、本実施形態は上記の設定に限定されるものではない。

【0055】

［ＡＩの出力結果について］
ＡＩによる画像認識の出力結果を図５に示す。本実施形態のＡＩにより食器１８０の形状・色・種類・大きさ・配置等の情報が正確に認識されている。図５では、食器１８０が四角囲みにより認識され、その食器１８０の種類に応じて適切なラベルが表示されている。また、本実施形態のＡＩは、皿、丼、小鉢、コップ等の器だけでなく、箸、フォーク、スプーンナイフ、カトラリー類も認識することができる。さらには、その他・ゴミ等の不定形物の推定も可能である。例えば、紙屑が認識された場合には、アームによって除去される。

【0056】

ＡＩによる画像認識の処理スピードは、25-34 fps程度であり、信頼度スコア92%が得られた。正解率は10種類の食器１８０については略100％である。

【0057】

［洗浄ラックからの食器１８０の取り上げについて］
ロボットアーム１１０が洗浄用ラック１４２から食器１８０を取り上げる場合、洗浄用ラック１４２上には底面が見える状態で食器１８０が配置されている。上述のとおり、ロボットアーム１１０のハンド１１２により食器１８０を把持して取り上げることが可能であるが、これ以外の食器１８０の取り上げ方法、例えば食器１８０の糸底をロボットアーム（ハンド１１２を有するロボットアーム１１０と区別するため、以下、符号「１１０Ａ」とする。）に設けた吸着パッドにより取り上げる方法について説明する。この場合、食器１８０の糸底を深層学習により認識することにより、ロボット制御部１１０Ａａは食器１８０の形状を把握し、ロボットアーム１１０Ａにより確実に食器１８０を取り上げることができる。上述の画像認識ではステレオカメラ１６０からの3次元画像情報を用いた画像認識について説明したが、ここでは、２次元カメラによって取得された食器１８０の２次元画像情報のみを用いてロボットアーム１１０Ａによって食器１８０を取り上げる方法を説明する。

【0058】

食器情報取得部１７２に設けられた2次元画像を処理する画像処理部に食器１８０の種類、食器１８０の外形に加え、外形内の特徴領域である食器１８０の糸底をマルチタスク学習・認識させることで、糸底領域のマスク画像についても、きれいに丸みを描けるようにしておく。

【0059】

このためには、画像処理部に予め、食器１８０の画像と、食器１８０の領域と、ラベルとからなるデータを複数与えておき、さらに、特徴領域の形状として既知の形状を与えておく。食器１８０の例では、食器１８０の画像と、食器１８０の領域（輪郭）と、食器１８０の種類（ラベル）とを複数組与えて、畳み込みニューラルネットワークを用いてたＡＩの深層学習を行う。さらに、一般的な糸底の糸底形状を、既知の形状（円、正方形、長方形など）と対比させることにより、次の方法により、その位置と姿勢を演算することができる。食器１８０の糸底の傾きに応じて、二次元画像上では見かけ上、円などの形状が細長く歪んで見える。この関係を利用し、既知の形状、例えば円形が二次元カメラに写した時に二次元画像上でどのように見えるかを演算により解くことで、二次元カメラからみて食器１８０がどの方向に位置し、どの方広に傾いているかを推定することが可能である。

【0060】

ここで、画像処理部に予め与えられるのは、いわゆるモデルデータではない。画像処理部は、一般的な食器１８０の画像情報によって学習されているため、モデルデータではない様々な種類、色、大きさの食器１８０の認識が可能である。

【0061】

一般的に画像処理により出力された食器１８０の位置は、カメラの光軸方向（奥行方向）に精度が悪く、また、食器１８０のモデルデータによって予め物体の寸法が既知でないと奥行方向の距離を推定できない。本実施形態の、画像処理部はモデルレスであるため、二次元カメラから物体までの距離を正確に演算することは困難である。そこで、画像処理部を用いてモデルレスで食器１８０の位置及び姿勢を推定して当該食器１８０を取り上げる方法について、以下に説明する。

【0062】

ロボットアーム１１０Ａを物体に近付ける軌道を、画像取得装置、例えば二次元カメラの光軸方向に沿うように、カメラ座標系原点と物体とを結ぶ直線に沿ってロボットアーム１１０Ａを動かすようにする。ここでは、ロボットアーム１１０Ａの先端に設けた吸着バットの吸着面で食器１８０の糸底を吸着して取り上げる例を説明する。二次元カメラの光軸方向に沿ってロボットアーム１１０Ａが食器１８０にアプローチするピックアップ軌道として、カメラ座標系原点と食器１８０を結ぶ直線に沿ってロボットアーム１１０Ａを動かす。

【0063】

直線軌道をロボットアーム１１０Ａの吸着面の姿勢を維持したまま、移動する場合、位置姿勢によってはロボットアーム１１０Ａの軸が回りきってしまったり、特異姿勢を経由してしまったりすることで計画した軌跡に沿ってロボットアーム１１０Ａを制御することが不可能となることを避ける必要がある。このために、食器１８０の姿勢と位置に応じた取り上げ目標終点姿勢までの経由点において可操作性を一定値以上確保できることと、ロボットアーム１１０Ａ各軸の回転量が少ないような、食器法線周りの振り角と吸着パッドの使い分けを行う。すなわち、ロボットアーム１１０Ａには、向きが異なる（例えば９０度向きが異なる）２つの吸着パッドが設けることができる。

【0064】

吸着パッドを真空引きしている真空経路内に設けられた吸着センサが反応したら取り上げ成功としてロボットアーム１１０Ａによって食器１８０を取り上げ、続いて、食器１８０を所定の収納コンテナ等に収納する。奥行きの距離が不定である場合でも、食器１８０を取り上げることができるように、食器１８０の載置面の高さまはロボットアーム１１０Ａの吸着パッドを食器１８０の糸底に近づけていく。もしも食器１８０の載置面の高さまでロボットアーム１１０Ａの吸着パッドが到達したら取り上げ失敗と判断し、ロボットアーム１１０Ａを待機位置まで引き上げる。なお、食器１８０が載置されている載置面の高さは予めロボット制御部１１０ａが把握しているパラメータである。これにより、画像処理部は、二次元画像を用い、モデル画像を登録していない状態（モデルレス）でも、食器１８０を位置及び姿勢を推定して、当該食器１８０を取り上げることができる。

【0065】

この画像認識装置を食器洗浄部１５０により洗浄された食器１８０の洗浄用ラック１４２からの取り上げに適用すれば、食器洗浄部１５０により洗浄された食器１８０を、食器洗浄部１５０から、あるいは、食器洗浄部１５０に投入された洗浄用ラック１４２から食器１８０の糸底の中心に対し、ロボットアーム１１０Ａに設けた吸引パッドを接触させ、食器１８０を取り上げ、食器１８０の種類ごとに食器１８０を収容コンテナに収容することが可能である。

【0066】

本発明の実施形態１に係る食器自動洗浄システム１００では、食器情報取得部１７２がステレオカメラ１６０によって取得された食器１８０の画像情報に基づいて、トレー配置部１２０に配置されたトレー１８２上の食器１８０をロボットアーム１１０によって取り上げるためにハンド１１２が把持する食器１８０のハンド把持部分１８０ａを算出する。食器搬送制御部１７１は、食器１８０の画像情報に基づいて、ハンド把持部分１８０ａを把持してトレー配置部１２０から食器１８０を取り上げると共に、取り上げた食器１８０を洗浄用ラック１４２に収容するようにロボットアーム１１０を制御する。このため、本発明の実施形態１に係る食器自動洗浄システム１００では、ロボットアーム１１０によって食器１８０の底面以外の部分を把持することによって食器１８０を取り上げることができると共に、ロボットアーム１１０によって取り上げた食器１８０を洗浄用ラック１４２に自動で収容することができる。

【0067】

また、本発明の実施形態１に係る食器自動洗浄システム１００では、ステレオカメラ１６０が、３次元点群による食器１８０の３次元形状の情報を取得可能であるため、この３次元形状の情報を利用して、食器情報取得部１７２が食器１８０の縁部の高さの情報を考慮したハンド把持部分１８０ａを算出することが可能である。食器搬送制御部１７１からの制御指令により、ロボット制御部１１０ａはロボットアーム１１０を制御し、食器１８０の縁部を把持して食器１８０を取り上げることができる。

【0068】

また、本発明の実施形態１に係る食器自動洗浄システム１００では、トレー配置部１２０が、使用済みの食器１８０が載置された複数のトレー１８２が受け入れられる受入用トレー配置部１２１と、受入用トレー配置部１２１からロボットアーム１１０によって食器１８０が取り上げられる位置に１つのトレー１８２が移送配置される食器取上用トレー配置部１２２と、を有し、ステレオカメラ１６０が、食器取上用トレー配置部１２２に配置されたトレー１８２上の食器１８０の画像情報を取得し、食器情報取得部１７２が、食器取上用トレー配置部１２２に配置されたトレー１８２上の食器１８０の画像情報に基づいて、ハンド把持部分１８０ａを算出するため、ロボットアーム１１０によって取り上げる食器１８０が載置された１つのトレー１８２をステレオカメラ１６０による撮像領域内に確実に収めることができる。

【0069】

また、本発明の実施形態１に係る食器自動洗浄システム１００では、ステレオカメラ１６０が、ラック配置部１４０に配置された洗浄用ラック１４２の収容部内の画像情報を取得し、食器情報取得部１７２が、ステレオカメラ１６０によって取得された洗浄用ラック１４２の収容部内の画像情報に基づいて、上述の訓練済みＡＩを用いて洗浄用ラック１４２内の食器１８０を画像認識し、上述の第１出力を得る。食器１８０の大きさについては、ラックの大きさとの比率を用いて第１出力からの比例演算により算出することにより、洗浄用ラック１４２の空スペースＰ１、Ｐ２を算出する。算出された空スペースＰ１、Ｐ２の情報と、ロボットアーム１１０によって取り上げた食器１８０の情報（トレー１８２上で撮影された画像から前述の画像認識により、第１出力及び第２出力の情報が得られている。）とから洗浄用ラック１４２への食器１８０の収容位置を算出し、算出された食器１８０の収容位置にロボットアーム１１０によって食器１８０を収容するため、洗浄用ラック１４２に収容効率よく食器１８０を収容することができる。

【0070】

本発明の実施形態１に係る食器自動洗浄方法では、使用済みの食器１８０が載置されたトレー１８２をトレー配置部１２０に配置するトレー配置工程と、ロボットアーム１１０によって取り上げた食器１８０を洗浄のために収容する洗浄用ラック１４２を配置するラック配置工程と、トレー配置部１２０に配置されたトレー１８２上の食器１８０の画像情報を取得する食器情報取得工程と、食器情報取得工程によって取得された食器１８０の画像情報に基づいて、トレー配置部１２０に配置されたトレー１８２上の食器１８０をロボットアーム１１０によって取り上げるためにハンド１１２が把持する食器１８０のハンド把持部分１８０ａを算出するハンド把持部分算出工程と、ロボットアーム１１０によってハンド把持部分１８０ａを把持してトレー配置部１２０から食器１８０を取り上げると共に、取り上げた食器１８０を洗浄用ラック１４２に収容する食器搬送工程と、を含むため、ロボットアーム１１０によって食器１８０の底面以外の部分を把持することによって食器１８０を取り上げることができると共に、ロボットアーム１１０によって取り上げた食器１８０を洗浄用ラック１４２に自動で収容することができる。

【0071】

本発明の実施形態１に係る食器自動洗浄プログラムでは、上記の食器自動洗浄方法における各工程をコンピュータ部により実行可能にしているため、ロボットアーム１１０によって食器１８０の底面以外の部分を把持することによって食器１８０を取り上げることができると共に、ロボットアーム１１０によって取り上げた食器１８０を洗浄用ラック１４２に自動で収容する制御プログラムをコンピュータ部により実行させることができる。

【0072】

本発明の実施形態１に係る記憶媒体では、上記の食器自動洗浄プログラムが記憶されているため、当該記憶媒体に記憶された食器自動洗浄プログラムをコンピュータ部により実行させることができる。

【0073】

［実施形態２］
本発明の実施形態２に係る食器自動洗浄システム２００について図７を用いて説明する。
図７は、本発明の実施形態２に係る食器自動洗浄システム２００の全体構成を示すブロック図である。

【0074】

この実施形態２に係る食器自動洗浄システム２００は、ステレオカメラ２６０を複数設けている点で、実施形態１の食器自動洗浄システム１００と異なる。
なお、上述した実施形態１の食器自動洗浄システム１００と同一構成部分について対応する２００番台の符号を付すことにより、その重複する説明を省略する。また、図７に示されていない部分については、実施形態１と同一の符号を付す。

【0075】

食器自動洗浄システム２００は、食器取上用トレー配置部２２２に配置されたトレー１８２に載置された使用済みの食器１８０の2次元画像情報あるいは3次元画像情報を取得するステレオカメラ２６０が天井に固定されている。食器自動洗浄システム２００は、ロボットアーム２１０のハンド２１２に設けられたステレオカメラ２６０が食器取上用トレー配置部２２２に配置されたトレー１８２を向いておらず、食器１８０の画像情報を取得できない場合であっても、天井に固定されたステレオカメラ２６０によって食器１８０の画像情報を取得することができる。

【0076】

このため、ハンド１１２に固定されたステレオカメラ２６０がロボットアーム２１０の動きに伴って食器取上用トレー配置部２２２に配置されたトレー１８２とは異なる方向に向けられている場合であっても、天井に固定されたステレオカメラ２６０によって食器取上用トレー配置部２２２に配置されたトレー１８２上の食器１８０の画像情報を継続的に取得することができる。従って、本発明の実施形態２に係る食器自動洗浄システム２００は、実施形態１に係る食器自動洗浄システム１００と同様の効果を奏すると共に、食器搬送制御部２７１によるハンド把持部分１８０ａの算出速度をロボットアーム２１０の動きによらずに継続的に実行することができ、結果的に、ロボットアーム２１０をより高速化することが可能になる。

【0077】

また、ステレオカメラ２６０としては、受入用トレー配置部２２１に配置されたトレー１８２上の食器１８０の画像情報を取得するものをさらに設けてもよい。このステレオカメラ２６０によって取得された食器１８０の画像情報を取得することによって、食器取上用トレー配置部２２２に配置されるトレー１８２上の食器１８０の画像情報を予め取得することが可能となり、食器搬送制御部２７１によるハンド把持部分１８０ａの算出速度を上げることができる。また、より収容効率を高めて洗浄用ラック１４２に食器１８０を収容するため、食器取上用トレー配置部２２２に配置されるトレー１８２上の食器１８０の画像情報だけでなく、次に食器取上用トレー配置部２２２に配置されるトレー１８２上の食器１８０の画像情報も合わせて、食器搬送制御部２７１によって洗浄用ラック１４２への食器１８０の収容位置を算出するようにしてもよい。

【0078】

カメラで撮影された画像には、レンズと被写体との距離、倍率、カメラの角度等に応じた画像の歪みが発生することがある。複数のカメラによってそれぞれ算出された食器位置の平均値を用いることにより、この画像の歪みを補償することができる。

【0079】

なお、本発明の実施形態１，２に係る食器自動洗浄システム１００，２００では、ロボットアーム１１０，２１０が食器１８０を取り上げる場合、ハンド１１２，２１２によって食器１８０を把持するものを例示したが、ハンドに設けた吸着部によって食器１８０を吸着して取り上げるようにしてもよい。

【0080】

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は本発明の技術思想を具体化するための食器自動洗浄システムを例示するものであって、本発明をこれらに特定するものではなく、その他の実施形態のものにも等しく適用し得るものであり、また、これらの実施形態の一部を省略、追加、変更することや、各実施形態の態様を組み合わせることが可能である。

【符号の説明】

【0081】

１００，２００ ・・・食器自動洗浄システム
１０１，２０１ ・・・本部サーバ
１０２，２０２ ・・・データベース
１０３，２０３ ・・・情報ネットワーク
１１０，２１０ ・・・ロボットアーム
１１０ａ，２１０ａ ・・・ロボット制御部
１１１ ・・・アーム
１１２ ・・・ハンド
１１３ ・・・把持片
１１３ａ ・・・把持面
１２０，２２０ ・・・トレー配置部
１２１，２２１ ・・・受入用トレー配置部
１２１ａ ・・・トレー載置台
１２２，２２２ ・・・食器取上用トレー配置部
１２２ａ ・・・トレー載置テーブル
１２２ｂ，２２２ｂ ・・・昇降駆動部
１２３，２２３ ・・・ガイド部材
１３０，２３０ ・・・予洗い部
１３０ａ ・・・流し台
１４０，２４０ ・・・ラック配置部
１４１ ・・・昇降機構
１４１a，２４１a ・・・昇降駆動部
１４２ ・・・洗浄用ラック
１４３ ・・・ラック送出機構
１４３ａ ・・・駆動部
１５０，２５０ ・・・食器洗浄部
１５０a，２５０a ・・・食洗制御部
１６０，２６０ ・・・ステレオカメラ（食器情報取得部）
１７０，２７０ ・・・制御装置
１７１，２７１ ・・・食器搬送制御部
１７２，２７２ ・・・食器情報取得部
１８０ ・・・食器
１８０ａ ・・・ハンド把持部分
１８２ ・・・トレー

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】