IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ TechMagic株式会社の特許一覧 ▶ 株式会社フジマックの特許一覧

特許7018637食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体
<>
  • 特許-食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体 図1
  • 特許-食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体 図2
  • 特許-食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体 図3
  • 特許-食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体 図4
  • 特許-食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体 図5
  • 特許-食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体 図6
  • 特許-食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体 図7
  • 特許-食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体 図8
  • 特許-食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体 図9
  • 特許-食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体 図10
  • 特許-食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体 図11
  • 特許-食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体 図12
  • 特許-食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体 図13
  • 特許-食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体 図14
  • 特許-食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-03
(45)【発行日】2022-02-14
(54)【発明の名称】食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体
(51)【国際特許分類】
   A47L 15/24 20060101AFI20220204BHJP
【FI】
A47L15/24
【請求項の数】 18
(21)【出願番号】P 2021530724
(86)(22)【出願日】2020-07-08
(86)【国際出願番号】 JP2020026770
(87)【国際公開番号】W WO2021006306
(87)【国際公開日】2021-01-14
【審査請求日】2021-06-04
(31)【優先権主張番号】P 2019127266
(32)【優先日】2019-07-08
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2019208170
(32)【優先日】2019-11-18
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2020024860
(32)【優先日】2020-02-18
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】519020616
【氏名又は名称】TechMagic株式会社
(73)【特許権者】
【識別番号】390005016
【氏名又は名称】株式会社フジマック
(74)【代理人】
【識別番号】100207066
【弁理士】
【氏名又は名称】米山 毅
(74)【代理人】
【識別番号】110002343
【氏名又は名称】特許業務法人 東和国際特許事務所
(72)【発明者】
【氏名】白木 裕士
【審査官】大内 康裕
(56)【参考文献】
【文献】国際公開第2018/034251(WO,A1)
【文献】特開2018-126272(JP,A)
【文献】特開2019-025618(JP,A)
【文献】特開2018-187687(JP,A)
【文献】特開2018-027581(JP,A)
【文献】特開2004-017208(JP,A)
【文献】特開2019-037349(JP,A)
【文献】国際公開第2018/034252(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A47L 15/00~15/50
B25J 13/00~13/08
(57)【特許請求の範囲】
【請求項1】
食器を投入する食器投入部から投入された食器を洗浄する食器洗浄部と、
前記食器洗浄部で洗浄された食器を搬送する食器搬送部と、
複数の画像取得部を備え、前記食器搬送部で搬送される食器を識別すると共に当該食器の情報を取得する食器情報取得部と、
前記食器搬送部で搬送された食器が載置される食器載置部と、
前記食器搬送部から食器を取り上げ、当該食器を前記食器載置部へ食器を載置する食器取上部と、
を備える食器自動洗浄システムにおいて、
前記食器情報取得部が取得する情報には、食器の種類、食器の大きさ、食器の形状、食器の色彩、食器の位置、食器の姿勢、食器の向き、食器に付されたマーカ、又は、食器に付されたコードの少なくともいずれか1つが含まれ、
前記食器情報取得部が前記食器搬送部で搬送されている食器を識別すると、前記食器取上部が、該識別された食器の位置及び姿勢を、複数台の画像取得部から計測された前記識別された食器の情報を混合して継続してトラッキングし、食器が前記食器搬送部で搬送されている状態で、当該トラッキングされた食器の位置及び姿勢を含む情報を用いて食器を取り上げることを特徴とする食器自動洗浄システム。
【請求項2】
食器を投入する食器投入部から投入された食器を洗浄する食器洗浄部と、
前記食器洗浄部で洗浄された食器を搬送する食器搬送部と、
前記食器搬送部で搬送される食器を識別すると共に当該食器の情報を取得する食器情報取得部と、
前記食器搬送部で搬送された食器が載置される食器載置部と、
多関節ロボットを用いて前記食器搬送部から食器を取り上げ、当該食器を前記食器載置部へ食器を載置する食器取上部と、
を備える食器自動洗浄システムにおいて、
前記食器情報取得部が取得する情報には、食器の種類、食器の大きさ、食器の形状、食器の色彩、食器の位置、食器の姿勢、食器の向き、食器に付されたマーカ、又は、食器に付されたコードの少なくともいずれか1つが含まれ、
前記食器情報取得部が前記食器搬送部で搬送されている食器を識別すると、前記食器取上部が、前記食器情報取得部で取得された食器の位置及び姿勢を含む情報に基づいて、前記多関節ロボットの可動範囲をシミュレーションし、可動範囲を超える可能性のある関節がある場合には、最初に該関節を目標値近くの角度に合わせてから、次に食器の取り上げ位置まで多関節ロボットを駆動制御することを特徴とする食器自動洗浄システム。
【請求項3】
食器を投入する食器投入部から投入された食器を洗浄する食器洗浄部と、
前記食器洗浄部で洗浄された食器を搬送する食器搬送部と、
前記食器搬送部で搬送される食器を識別すると共に当該食器の情報を取得する食器情報取得部と、
前記食器搬送部で搬送された食器が載置される食器載置部と、
力覚センサを備えた多関節ロボットを用いて前記食器搬送部から食器を取り上げ、当該食器を前記食器載置部へ食器を載置する食器取上部と、
を備える食器自動洗浄システムにおいて、
前記食器情報取得部が取得する情報には、食器の種類、食器の大きさ、食器の形状、食器の色彩、食器の位置、食器の姿勢、食器の向き、食器に付されたマーカ、又は、食器に付されたコードの少なくともいずれか1つが含まれ、
前記食器情報取得部が前記食器搬送部で搬送されている食器を識別すると、前記食器取上部は前記食器情報取得部で取得された情報及び前記力覚センサにより検出された押し付けられる力の情報に基づいて、食器の状態に対応して食器を取り上げると共に、前記食器載置部の状態に対応して、取り上げられた食器の位置及び姿勢を倣うように制御することにより、前記取り上げられた食器を前記食器載置部へ食器を載置することを特徴とする食器自動洗浄システム。
【請求項4】
前記食器情報取得部は1以上の画像取得部を備えることを特徴とする請求項2又は3に記載の食器自動洗浄システム。
【請求項5】
前記食器情報取得部は撮像部を備え、該撮像部によって取得された画像から食器の情報を取得できることを特徴とする請求項1~4のいずれか1項に記載の食器自動洗浄システム。
【請求項6】
食器が前記食器搬送部で搬送されている状態で、前記食器情報取得部が食器を取り上げることを特徴とする請求項1~5のいずれか1項に記載の食器自動洗浄システム。
【請求項7】
前記食器情報取得部が取得する情報がマーカである場合、
前記マーカは、
(1)シールを貼付したもの、
(2)レーザー加工により形成したもの、
(3)印刷により付与されたもの、
(4)コーティングされたもの、又は、
(5)前記マーカが印刷された他の部材を貼付したもの、
のいずれか少なくとも1つであることを特徴とする請求項1~のいずれか1項に記載の食器自動洗浄システム。
【請求項8】
食器にマーカが設けられていない状態で、食器を識別することを特徴とする請求項1~
のいずれか1項に記載の食器自動洗浄システム。
【請求項9】
前記食器情報取得部ないし前記食器取上部は、食器の位置を予測することを特徴とする請求項1~のいずれか1項に記載の食器自動洗浄システム。
【請求項10】
前記食器取上部は弾性部材を備えることを特徴とする請求項1~のいずれか1項に記載の食器自動洗浄システム。
【請求項11】
前記食器投入部、前記食器情報取得部、又は、前記食器取上部のいずれか少なくとも1つは機械学習を用いて制御されることを特徴とする請求項1~10のいずれか1項に記載の食器自動洗浄システム。
【請求項12】
前記食器取上部は吸着部により食器を取り上げる多関節ロボットを含み、
前記吸着部は、吸着方向が異なる複数の吸着部を備えることを特徴とする請求項1~11のいずれか1項に記載の食器自動洗浄システム。
【請求項13】
さらに、コンテナ収容ロボットを用いて食器をコンテナに収容することを特徴とする請求項1~12のいずれか1項に記載の食器自動洗浄システム。
【請求項14】
投入された食器を洗浄する食器洗浄工程と、
前記食器洗浄工程で洗浄された食器を搬送する食器搬送工程と、
複数の画像取得部からの情報により、前記食器搬送工程で搬送される食器を識別すると共に当該食器の情報を取得する食器情報取得工程と、
前記食器搬送工程で搬送される食器を取り上げ、当該取り上げた食器を載置する食器取上工程と、
を含む食器自動洗浄方法において、
前記食器情報取得工程で取得される情報には、食器の種類、食器の大きさ、食器の形状、食器の色彩、食器の位置、食器の姿勢、食器の向き、食器に付されたマーカ、又は、食器に付されたコードの少なくともいずれか1つが含まれ、
前記食器情報取得工程において、前記食器搬送工程で搬送されている食器が識別されると、前記食器取上工程において、該識別された食器の位置及び姿勢を、複数台の画像取得部から計測された前記識別された食器の情報を混合して継続してトラッキングし、食器が前記食器搬送工程で搬送されている状態で、当該トラッキングされた食器の位置及び姿勢を含む情報を用いて食器を取り上げることを特徴とする食器自動洗浄方法。
【請求項15】
投入された食器を洗浄する食器洗浄工程と、
前記食器洗浄工程で洗浄された食器を搬送する食器搬送工程と、
前記食器搬送工程で搬送される食器を識別すると共に当該食器の情報を取得する食器情報取得工程と、
多関節ロボットを用いて前記食器搬送工程で搬送される食器を取り上げ、当該取り上げた食器を載置する食器取上工程と、
を含む食器自動洗浄方法において、
前記食器情報取得工程で取得される情報には、食器の種類、食器の大きさ、食器の形状、食器の色彩、食器の位置、食器の姿勢、食器の向き、食器に付されたマーカ、又は、食器に付されたコードの少なくともいずれか1つが含まれ、
前記食器情報取得工程において、前記食器搬送工程で搬送されている食器が識別されると、前記食器取上工程において、前記食器情報取得工程で取得された食器の位置及び姿勢を含む情報に基づいて、前記多関節ロボットの可動範囲をシミュレーションし、可動範囲を超える可能性のある関節がある場合には、最初に該関節を目標値近くの角度に合わせてから、次に食器の取り上げ位置まで多関節ロボットを駆動制御することを特徴とする食器自動洗浄方法。
【請求項16】
投入された食器を洗浄する食器洗浄工程と、
前記食器洗浄工程で洗浄された食器を搬送する食器搬送工程と、
前記食器搬送工程で搬送される食器を識別すると共に当該食器の情報を取得する食器情報取得工程と、
力覚センサを備えた多関節ロボットを用いて前記食器搬送工程で搬送される食器を取り上げ、当該取り上げた食器を食器載置部に載置する食器取上工程と、
を含む食器自動洗浄方法において、
前記食器情報取得工程で取得される情報には、食器の種類、食器の大きさ、食器の形状、食器の色彩、食器の位置、食器の姿勢、食器の向き、食器に付されたマーカ、又は、食器に付されたコードの少なくともいずれか1つが含まれ、
前記食器情報取得工程において、前記食器搬送工程で搬送されている食器が識別されると、前記食器取上工程において、前記食器情報取得工程で取得された情報及び前記力覚センサにより検出された押し付けられる力の情報に基づいて、食器の状態に対応して食器を取り上げると共に、前記食器載置部の状態に対応して取り上げられた食器の位置及び姿勢を倣うように制御することにより、前記取り上げられた食器を前記食器載置部へ食器を載置することを特徴とする食器自動洗浄方法。
【請求項17】
請求項14~16のいずれか1項に記載の食器自動洗浄方法における各工程をコンピュータ部により実行可能なことを特徴とする食器自動洗浄プログラム。
【請求項18】
請求項17に記載の食器自動洗浄プログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、食器等を自動的に洗浄する食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体に関する。
【背景技術】
【0002】
近年、飲食店における従業員不足等の背景から、飲食店における業務やサービスの工程を自動化したいという要請がある。食器洗浄についても、自動化の要請があり、従来、特許文献1のような技術が提案されている。
【0003】
上記特許文献1に記載の食器洗浄システムは、陶磁器であることを識別するために陶器の高台内に人間が識別できる記号又は文字を設けておき、洗浄用コンベア上の画像をカメラで取得し、取得した画像からテンプレートマッチングにより陶磁器に設けられた記号又は文字を読み取ることにより、陶磁器を認識してロボットアーム機構により陶磁器をピッキングする。
【0004】
上記特許文献2に記載の食器洗浄システムは、食器の高台に人間が識別できると共に食器の種類(大きさ、茶碗、丼、皿等)を判定するための識別子と、識別子の位置と範囲と向きを特定するためのシンボルとが表記されており、洗浄用コンベア上の画像をカメラで取得し、取得した画像からパターンマッチングにより陶磁器に設けられた識別子を認識し、ロボットアーム機構により食器をピッキングする。また、特許文献2では、識別子としては、人間が識別できるものであり、バーコード、二次元コード、磁気的コード等は除外される。
【0005】
上記特許文献3に記載の食器洗浄システムは、食器洗浄機から取り出され、ウェイテングエリアからピッキングエリアに移されて静止している食器について、ピッキングエリアカメラで取得した画像を処理して食器の種類を判別するとともに食器の重心位置を計算し、ロボットアーム機構によりピッキングして、リリースエリアへ食器の種類ごとに積み重ねる。特許文献3では、画像処理としてパターンマッチング処理を行い、食器の種類、重心位置、皿を上方から見た際の長手方向の向き(長方形上の皿の向き)を判定する。
【0006】
上記特許文献4に記載の食器洗浄システムは、洗浄用ラックを洗浄室に搬入すること、食器洗浄機のドアを開閉すること、洗浄スイッチを押すこと、洗浄室から搬出台に洗浄用ラックを搬出すること、搬出台から食器をピッキングし、ストックラックに食器を移送することを、ロボットアームが行う。洗浄用ラックが静止している状態で、洗浄用ラックの位置に対応する搬出台上のピッキングエリアをピッキングカメラで撮影した画像をパターンマッチング処理することにより、食器の種類、食器の重心位置、皿を上方から見た際の長手方向の向き(長方形上の皿の向き)を判定する。
【先行技術文献】
【特許文献】
【0007】
【文献】特開2018-126272号公報
【文献】特開2019-037349号公報
【文献】国際公開第2018/034251号
【文献】国際公開第2018/034252号
【発明の概要】
【発明が解決しようとする課題】
【0008】
上記特許文献1に記載の食器洗浄システムでは、陶磁器の高台内に設けた人間が識別できる記号又は文字を、カメラで取得した画像からテンプレートマッチングすることにより、陶磁器を認識してロボットアーム機構により陶磁器をピッキングしている。しかしながら、陶磁器は全てコンベアに対して水平に伏せて並べられた状態(高台が真上を向いた状態)で使用することが前提である上、陶磁器の種類までも判別することまでは記載されていない。陶磁器が三次元的に異なる角度でコンベア上を搬送される場合には、特許文献1の食器洗浄システムでは対応できない。また、陶磁器の高台内に設ける記号又は文字は人間が識別できるものに限定される。さらに、洗浄用コンベアに陶磁器を並べることまでは自動化できていない。
【0009】
上記特許文献2に記載の食器洗浄システムでは、食器の種類を判定するための識別子と、識別子の位置と範囲と向きを特定するためのシンボルを食器の高台内に設け、パターンマッチング処理により食器洗浄システムが食器の種類を判別している。しかしながら、食器は全てコンベアに対して水平に伏せて並べられた状態(高台が真上を向いた状態)で使用することが前提であり、食器が三次元的に異なる角度でコンベア上を搬送される場合には、特許文献2の食器洗浄システムでは対応できない。また、陶磁器の高台内に設ける記号又は文字は人間が識別できるものに限定される。さらに、洗浄用コンベアに食器を並べることまでは自動化できていない。
【0010】
上記特許文献3に記載の食器洗浄システムでは、ピッキングエリアにおいて静止している食器について、ピッキングエリアカメラで取得した画像を処理して食器の種類を判別している。このため、ピッキングエリアのピッキングコンベアと洗浄コンベアとを分け、さらにその間にリレーコンベアを設ける必要があり、コンベアの構造が複雑となっている。また、食器は全てコンベアに対して水平に伏せて並べられた状態(高台が真上を向いた状態)で使用することが前提であり、食器が三次元的に異なる角度でコンベア上を搬送される場合には、特許文献3の食器洗浄システムでは対応できない。さらに、洗浄コンベアに食器を並べることまでは自動化できていない。
【0011】
上記特許文献4に記載の食器洗浄システムでは、洗浄用ラックが静止している状態で、洗浄用ラックの位置に対応する搬出台上のピッキングエリアをピッキングカメラで撮影した画像をパターンマッチング処理することにより、食器の種類を判別している。このため、コンベア上で移動中の食器をピックアップする用途には利用できない。また、食器は全てコンベアに対して水平に伏せて並べられた状態(高台が真上を向いた状態)で使用することが前提であり、食器が三次元的に異なる角度でコンベア上を搬送される場合には、特許文献4の食器洗浄システムでは対応できない。さらに、洗浄用ラックに食器を並べることまでは自動化できていない。
【0012】
上記特許文献1~4では、複数の食器が三次元的に異なる角度でコンベア上を搬送されている状態で、ロボットが食器をピックアップすることが考慮されていない。本発明者は全自動の食器自動洗浄システムを実現すべく、例えば洗浄前の食器をコンベアへ並べる段階から自動化すること、食器を並べる角度は実用上、高台が真上を向いた状態だけではないこと、コンベア上で移動中の食器をピックアップすること、ロボットの姿勢には制限があること等の条件のもと、食器及びロボットについて静的及び動的な分析を行うことを通じて鋭意全自動の食器自動洗浄システムについて研究開発を進めた結果、本発明の実施形態を完成するに至った。すなわち、本発明の目的は、食器が三次元的に異なる角度でコンベア上を搬送されている状態で、各食器の種類や状態を判別し、ロボットが安全に食器をピックアップし、所定の収納位置に載置可能な食器自動洗浄システムを提供することにある。
【課題を解決するための手段】
【0013】
本発明の上記目的は、以下の構成によって達成できる。すなわち、本発明の第1の態様の食器自動洗浄システムは、
食器を投入する食器投入部から投入された食器を洗浄する食器洗浄部と、
前記食器洗浄部で洗浄された食器を搬送する食器搬送部と、
複数の画像取得部を備え、前記食器搬送部で搬送される食器を識別すると共に当該食器の情報を取得する食器情報取得部と、
前記食器搬送部で搬送された食器が載置される食器載置部と、
前記食器搬送部から食器を取り上げ、当該食器を前記食器載置部へ食器を載置する食器取上部と、
を備える食器自動洗浄システムにおいて、
前記食器情報取得部が取得する情報には、食器の種類、食器の大きさ、食器の形状、食器の色彩、食器の位置、食器の姿勢、食器の向き、食器に付されたマーカ、又は、食器に付されたコードの少なくともいずれか1つが含まれ、
前記食器情報取得部が前記食器搬送部で搬送されている食器を識別すると、前記食器取上部が、該識別された食器の位置及び姿勢を、複数台の画像取得部から計測された前記識別された食器の情報を混合して継続してトラッキングし、食器が前記食器搬送部で搬送されている状態で、当該トラッキングされた食器の位置及び姿勢を含む情報を用いて食器を取り上げることを特徴とする。
【発明の効果】
【0014】
本発明の実施形態によれば、食器が三次元的に異なる角度でコンベア上を搬送されている状態で、各食器の種類や状態を判別し、ロボットが安全に食器をピックアップし、所定の収納位置に載置可能な食器自動洗浄システムを提供することができる。
【図面の簡単な説明】
【0015】
図1】食器自動洗浄システムの工程図である。
図2】食器自動洗浄システムの全体構成図である。
図3】食器取出部のブロック図である。
図4図4Aは食器取出部の平面図であり、図4Bは食器取出部の斜視図である。
図5】マーカの使用例の説明図である。
図6】ハンドの斜視図である。
図7図7Aはハンドの変形例の斜視図、図7Bはハンドの変形例の側面図である。
図8図8Aは、ハンドの別の変形例の斜視図であり、図8Bは、ハンドの別の変形例の側面図である。
図9図9Aは積み上げ式の食器載置部の説明図、図9Bは積み下げ式の食器載置部の説明図である。
図10図10は、食器の裏面に刻印されたARマーカの説明図である。
図11図11は食器の裏面にARマーカを印刷した後にコーティングしたものの説明図である。
図12】食器マーカを使わない食器の画像認識の説明図である。
図13】実施形態4の食器取出部の平面図である。
図14図14Aは、食器自動洗浄システムの上面図であり、図14Bは、食器自動洗浄システムの斜視図である。
図15】食器自動洗浄システムの受け渡し台周辺を示す図である。
【発明を実施するための形態】
【0016】
以下、図面を参照して本発明の実施形態に係る食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体を説明する。但し、以下に示す実施形態は本発明の技術思想を具体化するための食器自動洗浄システムを例示するものであって、本発明をこれらに特定するものではなく、特許請求の範囲に含まれるその他の実施形態のものにも等しく適用し得るものである。
【0017】
[第1実施形態]
本発明の第1実施形態に係る食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体について、図1図9を参照して説明する。
【0018】
図1は本実施形態に係る食器自動洗浄システムの工程図の一例である。本実施形態の食器自動洗浄システムは、食器投入部1、食器洗浄部2及び食器取出部3を含んでいる。また、本実施形態の食器自動洗浄システムは、食器から残渣やゴミを除去する工程S1、食器をコンベア上に並べて置く工程S2、水流と洗剤により洗浄する工程S3、乾燥する工程S4、及び、食器をコンベア上から保管場所へ移す工程S5を含んでいる。食器投入部1においては、食器から残渣やゴミを除去する工程S1及び食器をコンベア上に並べて置く工程S2が実行され、食器洗浄部2においては、水流と洗剤により洗浄する工程S3及び乾燥する工程S4が実行され、食器取出部3においては、食器をコンベア上から保管場所へ移す工程S5を実行する。
【0019】
図2は本実施形態に係る食器自動洗浄システムの全体構成図の一例である。食器11としては、例えば、洋食器、和食器、形状等の種類を問わず、例えば食品を盛るための皿、ボール、碗、丼、鉢等、飲料を入れるカップ、コップ、グラス、茶碗,酒器等,食物を取り扱う箸、フォーク、ナイフ、スプーン、マドラー、レンゲ等、調理用具ないしキッチン用品である鍋、フライパン、まな板、包丁、ナイフ、ボール、カップ、コンテナ、フライ返し、へら、杓子等、食事に用いられる道具や器具の全てを含む。食器11は食器搬送部10によって、食器投入部1から食器洗浄部2を介して食器取出部3まで搬送される。食器搬送部10は、例えば食器投入部1から食器洗浄部2を通して、食器取出部3まで食器を搬送するための単一のコンベアとすることもできるが、例えば食器投入部1用のコンベア、食器洗浄部2用のコンベア、及び、食器取出部3用のコンベアに分けて複数のコンベアから構成することも可能であり、さらに、各部においてコンベアを複数に分けて設けることも可能であり、あるいは、複数のコンベアに代えて1つのコンベアとすることも可能である。
【0020】
食器搬送部10は特に限定されるものではないが、例えば食器を搬送できるコンベアである。なおコンベアの種類としては、例えばa)コンベア面がフラットで、食器をコンベア上に伏せておくタイプのコンベアであるフラットコンベア、b)コンベア面の下に食器を差し込めるスペースを設け、薄い食器から洗浄ラックまで対応できるアンダーフライトコンベア、c)コンベア上の突起に食器を立てかけて洗浄を行い、薄い食器から洗浄ラックまで対応できるフライトコンベア、d)洗浄ラックに収納した食器を洗浄する場合に用いるラックコンベア等、あらゆるタイプのコンベアに対応可能である。
【0021】
食器取出部3には、食器取上部としての多関節ロボット12、食器取上部で食器搬送部10から取り上げた食器をまとめて載置するための食器載置部13、食器搬送部10で搬送される食器を識別する共に食器の情報を取得する食器情報取得部14が設けられている。食器取出部3においては、食器情報取得部14からの食器の情報に基づいて、食器取上部としての多関節ロボット12によって食器を取り上げ、取り上げられた食器を食器載置部13へまとめて載置する。ここでは、食器取上部として、多関節ロボット12を例示したが、本実施形態はこれに限定されるものではなく、例えば変形自在のアームを持ったロボット、吊り上げ形のロボット等を含む産業用ロボット等、食器を取り上げることができる仕組みを備えていれば全ての食器取り上げ用の手段が含まれる。食器載置部13においては、食器取上部によって取り上げられた食器が、例えば種類ごとにまとめて載置される。食器載置部13において食器をまとめて載置する方法としては、例えば同じ種類の食器を伏せた状態で同じ方向に重ねて載置する。食器取出部3は、食器情報取得部14からの情報により、食器の種類と姿勢を把握することができるため、例えば平面視長方形の食器の長辺と短辺の方向を揃えた状態で、食器を食器載置部13に重ねて載置することができる。食器の種類としては、食器の大きさ、形状、色彩等が含まれる。また、多関節ロボット12は、食器が食器搬送部10で搬送されている状態、すなわち食器が移動している時でも、食器を食器搬送部10から取り上げることができる。
【0022】
本実施形態では、食器自動洗浄システムを全自動化する観点から説明しているが、例えば食器投入部1の一部を手動で行うようにすることも可能である。
【0023】
食器投入部1は、食器浸漬ユニット、食器かき上げユニット、及び、洗浄ポンプを含み、食器浸漬ユニットは、食器浸漬シンク及びジェットノズルを有し、食器かき上げユニットは食器かき上げ用コンベア、食器整列部及びストレーナを有している。食器浸漬シンクには水が溜められており、ジェットノズルからの水流によって、食器から残渣やゴミが除去される。ストレーナによって濾過された水は、洗浄ポンプによって加圧され、ジェットノズルから噴射される。ジェットノズルからの水流によって、残渣やゴミが除去された食器は、食器かき上げ用コンベアによって、食器洗浄部2に搬送される。なお、洗浄ポンプは食器洗浄部の下部に、ストレーナは食器かき上げ用コンベアの下部に、ジェットノズルは食器かき上げ用コンベアの正面に描かれているが、これは一例にすぎず、食器浸漬ユニット、食器かき上げユニット、及び、食器洗浄部の形状や配置に応じて、洗浄ポンプ、ストレーナ、及び、ジェットノズルの配置は適宜変更可能である。
【0024】
食器整列部は、食器かき上げ用コンベア上において、食器洗浄部に搬送される食器の種類や姿勢を整列させる手段であって、例えば多関節ロボット等の産業用ロボット等を使用することができる。食器かき上げ用コンベアでかき上げられる食器は、そのままの状態では、食器が重なっていたり、食器の姿勢が食器洗浄部2の洗浄に適さない状態となっていたりすることがある。食器整列部は、食器の配置や姿勢を整えることによって、食器洗浄部2において食器が洗浄されやすいように、また、食器取出部3において食器を取り出しやすいようすることができる。例えば食器かき上げ用コンベア上で大皿が伏せられた状態で搬送されると、大皿の下に小皿や、碗等、比較的小さな他の食器が重なり、この後の工程である、食器洗浄部2において荒い残しが生じるおそれがある。また、食器が重なっていると、食器情報取得部14において食器の情報が取得されない場合があり、この場合、食器取出部3において、食器の取り出し漏れが生じる可能性がある。このため、食器かき上げ用コンベア上で大皿が伏せられた状態であると、例えば大皿が他の食器の上に重ならないように、食器かき上げ用コンベア上の突起に大皿を立てかけた状態に整える。
【0025】
また、コンベアの搬送方向に対して、食器の姿勢を揃えておくと、例えばコンベアの進行方向に食器の裏面(糸底)が向くように揃えて並べておくと、食器洗浄部2において各食器を適切に洗浄することができるようになると共に、食器取出部3においては各食器を取り出しやすくすることができる。さらに、後述のように、食器投入部1において、食器の種類、位置、及び姿勢を予め決められたルールによって食器を投入することにより、食器取出部3における食器の種類、位置及び姿勢の画像認識の精度を向上し、食器の取り上げの失敗を低減すると共に、食器取り上げの速度の上にもつなげることができる。
【0026】
食器洗浄部2のタイプに応じて、すなわち、食器投入位置と食器取出位置との配置に応じて、食器投入部1及び食器取出部3の配置が調整される。したがって、図2に示した食器自動洗浄システムの全体構成図は本実施形態の一例であり、直線タイプについて説明したものであり、本実施形態はこの図面に示されたレイアウトに限定されるものではく、コーナータイプやランドライプ等の他の様々なタイプの食器洗浄部2に対応するレイアウトが可能である。
【0027】
図3は本実施形態に係る食器取出部3のブロック図の一例を示す。食器取出部3は、食器情報取得部14としての画像取得部、食器取出演算部30及び多関節ロボット12を含んでいる。食器取出演算部30は、例えばパーソナルコンピュータ(以下「PC」という。)やタブレット端末等で構成できるものであり、食器位置・姿勢検出部31、食器取出順序計画部32、及び、食器取出動作指令部33を有している。食器位置・姿勢検出部31は、食器情報取得部14から食器の位置、姿勢及び種類等に関する情報を取得する。
【0028】
食器取出順序計画部31が食器搬送部10にコンベアの稼働、または、停止の指令を出すと共に、食器投入部1にコンベアの稼働に応じた稼働、または、停止の指令を出す。
また、食器位置・姿勢検出部31が、食器情報取得部14の他に、食器投入部1、食器搬送部10及び食器洗浄部2等と接続し、各部と通信できる場合には、例えば食器投入部1からの食器投入時の食器位置ないし姿勢情報、食器搬送部による食器搬送速度の情報、食器洗浄部による洗浄水流の強さに関する情報等を、食器位置・姿勢検出部31が食器の位置、姿勢及び種類等に関する情報の取得に利用することもできる。
【0029】
食器取出動作指令部33は多関節ロボット12に食器取出し動作の指令を出力し、この指令に基づいて多関節ロボット12は食器を食器搬送部10から取り上げ、食器載置部へ食器をまとめて載置する。
【0030】
図4は本実施形態に係る食器取出部3の概観図の一例である。図4Aは食器取出部3の平面図であり、図4Bは食器取出部3の斜視図である。食器取出部3においては、食器情報取得部14からの食器の情報に基づいて、食器取上部としての多関節ロボット12によって食器搬送部10によって搬送されている食器を取り上げ、取り上げられた食器を食器載置部13へまとめて載置する。ここで、図4A及び図4Bは、多関節ロボット12、食器搬送部10及び食器載置部13の配置は本実施形態の一例であり、例えば食器搬送部10を挟んで、多関節ロボット12の反対側に、食器搬送部10を設けることもできる。このように、食器搬送部10上で多関節ロボット12が食器を取り上げる位置と食器載置部13との距離をできるだけ短く設定することにより、食器取上部12の動作を高速化することができる。
【0031】
食器搬送部10の進行側の端部には、多関節ロボット12が取り上げできなかった食器を受け取るための食器受取部(図示省略)が設けられている。多関節ロボット12の各関節には可動限界があるため、1つの姿勢から次の姿勢に変位する際には、可動限界に伴う制限がある。食器の姿勢によっては、多関節ロボット12の可動限界のために、食器を取り上げできない可能性がある。また、食器情報取得部14がARマーカ42を適切に読み取ることができなかった場合、例えば食器同士が重なっていた場合等には、多関節ロボット12が食器を取り上げできない可能性がある。そこで、食器搬送部10の進行側の端部に食器受取部を設けておくことにより、例え多関節ロボット12が食器を取り上げできなかった場合にも、安全に食器を受け取ることができ、食器自動洗浄システムに冗長性を持たせることができる。
【0032】
図5は本実施形態に係るマーカの使用例の説明図の一例である。本実施例では、マーカ、例えばARマーカ42を食器の裏面(糸底)に設け、食器情報取得部14としての食器検出用カメラで食器の画像を取得して画像認識することにより、食器を認識すると共に、食器の位置、姿勢及び種類に関する情報を取得する一例について説明する。
【0033】
食器情報取得部14としての食器検出用カメラは、図4に示されているように例えば食器搬送部10の上方であって、食器取上部12の上流側であって、食器搬送部10の両側に、食器搬送部10の幅方向の中央を向くように設けられている。食器の裏面(糸底)には、食器の種類ごとに異なるマーカ、例えばARマーカ42が設けられている。なお、本実施形態のマーカとしてはARマーカ42に限定されるものではなく、食器の種類、食器の位置、又は、食器の姿勢のいずれか少なくとも1つを識別可能なマーカであれば、どのようなマーカを用いてもよい。
なお、図4では食器情報取得部14が2つ設けられるものを例示したが、食器情報取得部14の数は2つに限らず1以上であればよい。例えば、4つの食器情報取得部14を設けてもよい。4つの食器情報取得部14を設ける場合、図4に示す2つの食器情報取得部14のそれぞれに対して高さを同じくしてコンベアの搬送方向に離間した位置に食器情報取得部14を設ける。例えば、4つの食器情報取得部14を4角形のラインの各角に対応する位置に配置すると共にコンベアの横幅方向中心の所定領域に光軸が集まるように向きを調整した場合、4つの食器情報取得部14によって搬送方向の正逆両方向から食器の画像を取得することができる。
すなわち、4つの食器情報取得部14を設けると、コンベアの進行方向に食器11の裏面(糸底)が向くように揃えて並べるルールから外れた食器11についても、コンベアの進行方向側に光軸が傾けられた食器情報取得部14によって食器11の裏面(糸底)の画像を取得することができる。
【0034】
ARマーカ42について、「ARマーカーとは、画像認識型AR(Augmented Reality:拡張現実)システムにおいて、付加情報を表示する位置を指定するための標識となる、決まったパターンの画像のこと。」(ウェブサイトIT用語辞典e-Wordsによる)。ARマーカ42を用いることにより、食器検出用カメラで検出される画像において、食器の画像は見る角度や距離によって変化するが、ARマーカ42を利用すれば、ARマーカ42に付加されたデジタル情報を読み出すことができると共に、ARマーカ42の姿勢、すなわちARマーカが付された食器の姿勢を検出することができる。また、ARマーカ42に食器の種類をコード化しておけば、ARマーカを食器検出用カメラで撮影することにより、食器の位置、姿勢及び種類等を食器の上方として検出することが可能である。なお、ARマーカ42を撮影することによって取得する食器の位置情報としては、食器の裏面(糸底)の中心位置が挙げられる。
【0035】
多関節ロボット12のアームの先端側には、ハンド40が取り付けられており、ハンド40の先端側には食器を吸着するための吸着部41が設けられている。
【0036】
図6は本実施形態に係るハンド40の斜視図の一例を示す。ハンド40は、延存部45、延存部45の一端側のハンド取付部46、延存部45の他端側の吸着部41、及び、真空ホース47を備えている。ハンド取付部46は多関節ロボット12のアーム側に取り付けられる。真空ホース47の配管は延存部45を通して吸着部41まで延存しており、吸着部41は真空により食器の裏面(糸底)を吸着することができる。なお、真空ホースの他端側は多関節ロボット12に設けられたロボット側真空ホース取付部(図示省略)に取り付けられており、このロボット側真空ホース取付部により吸着部41は真空引きされている。
【0037】
多関節ロボット12が食器を吸着して搬送する際、大きい食器、重い食器を高速で運ぶと、振動が大きくなり、後の積み上げがうまくいかなくなることがある。この振動の原因は、ハンド40の吸着部41が、食器を吸着後に変形することである。吸着部41を囲むように、パッドよりも剛性の高いリング状の部材を設置し、吸着時に食器を内力で吸着し、ハンド40の変形を抑えることにより、多関節ロボット12により食器を吸着して搬送する際の食器の振動を大幅に低減することができる。
【0038】
図7は本実施形態に係るハンド40Aの別の実施例の斜視図の一例を示す。ハンド40Aは延存部45、延存部45の一端側のハンド取付部46、延存部45の他端側の結合部49、結合部に設けられた第1の吸着部41Aと第2の吸着部41B、及び、ハンド側真空ホース取付部48を備えている。ハンド側真空ホース取付部48には、図示されない真空ホースが取り付けられており、この真空ホースの他端はロボット側真空ホース取付部(図示省略)に取り付けられている。ハンド側真空ホース取付部からの配管は延存部45を通して吸着部41A,41Bまで延存されており、吸着部41A,41Bは真空により食器の裏面(糸底)を吸着することができる。両吸着部41A,41Bは略90度間隔で結合部49に設けられている。吸着部41A,41Bが2箇所あることによって、多関節ロボット12が無理な姿勢を取ることなく食器を取り上げることができるようになる。また、これにより食器の取り出し失敗の割合を低減することができる。
【0039】
図8Aは、ハンドの別の変形例の斜視図であり、図8Bは、ハンドの別の変形例の側面図である。図8では、図7と同じ構成には同一の符号を用い、その説明は省略する。
【0040】
多関節ロボット12は、食器11の認識(食器11の位置と姿勢)の誤差により、食器11ではない位置に取り上げにいくことがある。例えば、多関節ロボット12が食器11よりも奥側の位置に取り上げにいくことがある。
その際、吸着部41等のハンド40の一部が、食器搬送部10のコンベアや他の部材に接触し、食器11を取り上げることができないままにハンド40をコンベアに押し付けてしまうことがあり、コンベア、食器11、あるいは、ハンド40を破損させてしまうおそれがあった。
【0041】
従来は、ハンド40に力覚センサ(6軸センサ)を設け、ハンド40に負荷される力を力覚センサによって検出し、ハンド40に過大な外力が負荷された場合、多関節ロボット12の動作を止めていた。
しかしながら、力覚センサは、水濡れに弱く、衝撃力で壊れ易く、高価であるという理由から、省略したいという要請がある。
【0042】
ハンド40Cは、複数のバネ機構60及びボールジョイント61を備えている。なお、ハンド40Cは、力覚センサ62も備えている。
複数のバネ機構60及びボールジョイント61は、ハンド40Cがコンベア等の押し付け先から受ける反力(外力)及びコンベア、及び/又は食器11がハンド40Cから受ける押し付け力を低減させる。
複数のバネ機構60は、円形の板状部分であるハンド取付部46とハンド取付部46に対向配置された円形板状部材との間に設けられている。
【0043】
バネ機構60は、ハンド40Cがコンベア等に押し付けられた際、弾性を有する部分がハンド取付部46と円形板状部材との間で外力に応じて弾性変形されることによって外力を低減させるものである。
このバネ機構60は、バネ定数を適切に設定することによって、外力が負荷されていない弾性的に中立な状態では変形することなく過大な外力が負荷された場合のみ弾性変形されるようになっている。
【0044】
ボールジョイント61は、ハンド取付部46の中央位置に配置される。これにより、ボールジョイント61を中心として回転される方向にのみバネ機構60による弾性力が作用されるようになっている。
このため、ハンド40Cの手首(ハンド取付部46)から離れたところに吸着部41A,41Bがあることにより手首に並進力よりもモーメントが大きくかかる場合であっても、ハンド40Cの並進方向への不要なたわみを防ぎつつ、吸着部41A,41Bから受けるモーメントにはバネ機構60が弾性変形して倣うようになっている。
【0045】
このハンド40Cを用いることによって、食器11を取り上げることができないまま吸着部41等のハンド40Cの一部がコンベアに押し付けられた場合であっても、コンベア等の押し付け先からハンド40Cが受ける反力(外力)、及びコンベア、食器11がハンド40Cから受ける押し付け力を低減させることができるため、コンベア、食器11、及びハンド40Cが破損することを防ぐことができる。
【0046】
なお、本実施形態では、ボールジョイント61を中心として回転される方向にのみ弾性力が作用されるようにしているが、ボールジョイント61の軸方向についても弾性力が作用される構成にしても構わない。
【0047】
図9は本実施形態に係る食器載置部13の説明図であり、図9Aは積み上げ式の食器載置部の説明図、図9Bは積み下げ式の食器載置部の説明図である。図9Aの積み上げ式の食器載置部13の場合には、食器載置部13の上面は平面としておく。多関節ロボット12は、食器情報取得部14で取得された食器の種類の情報に基づいて、食器の種類ごとに食器載置部13の所定の場所に食器を積み重ねていく。食器取出演算部30においては、食器載置部13にいくつの食器を載置したのか食器の種類ごとにカウントしているので、食器の種類と数に応じた食器が積み上げられた高さを予測することが可能である。また、食器載置部13に位置に応じて食器の有無を検出する手段、食器が積み上げられた高さを検出する手段を設けておくこともでき、例えば、食器載置部13を撮影する食器載置部画像取得部(図示省略)を解析することにより、食器載置部13に載置されている食器の位置、種類及び個数を検出することができる。
【0048】
図9Bの積み下げ式の食器載置部13の場合には、種類ごとに食器を積み下げていく位置を決めておき、各積み下げ位置において食器の重さに応じて昇降する手段を設けることにより、次に積まれる食器がちょうど食器載置部13の上面に位置するような位置になるように調整することができる。これにより、多関節ロボット12は食器を積み下げていく場所及び高さを予め把握しているため、正確に各食器を積み下げていくことが可能である。なお、各積み下げ位置において食器の重さに応じて昇降する手段を設けない場合には、食器取出演算部30においては、食器載置部13にいくつの食器を載置したのか食器の種類ごとにカウントしておくことで、食器が積み上げられた高さを検出する手段を設けておくことにより、所定の積み下げ高さまで各食器を載置することができる。また、各食器が載置されている高さを検出する適宜の手段を設けた場合には、多関節ロボット12に対して各食器の積み下げ位置を指示することも可能である。
【0049】
[食器情報取得部について]
食器の種類ごとに食器載置部13へ食器を積み分けるため、食器の裏面(糸底)に種類ごとに異なるARマーカを設けている。ARマーカを食器に設けることにより、食器の位置と姿勢が一定でないものでも多関節ロボット12が食器を取り上げることができる。食器情報取得部14としての複数の食器検出用カメラの入力を用いて、カルマンフィルタによる個々のARマーカの追跡を行うことにより、食器の位置及び姿勢を認識する精度を上げることができる。また、食器搬送部10が動作中であっても、多関節ロボット12は移動中の食器を取り上げることができる。
【0050】
[食器取上部について]
多関節ロボット12により食器をピックアップするためのロボットの姿勢は無数に存在するが、実際にロボットが取れる姿勢ないし取りやすい姿勢は限られている。ロボットの姿勢を適切に選ばないと、ロボットが動けない姿勢、もしくは、可動限界に近すぎて停止してしまう。例えばロボットの姿勢が特異点を取った場合には、ロボットが停止してしまうことがある。そこで、多関節ロボット12の動きやすさの指標である可操作度と、可動限界までの近さを用いて、いくつかの姿勢の候補のうち、ロボットが動きやすい姿勢を選んで食器をピックアップする。
【0051】
通常、多関節ロボット12の動きは、スタートからゴールまでの最短距離を動こうとするが、食器のピックアップ時に最短距離を動くと関節が可動範囲を超えてしまう可能性がある。そこで、スタートからゴールまでの多関節ロボット12の動きを予めシミュレーションし、可動範囲を超える可能性のある関節の角度を、予めゴールまでの最短距離に近い角度に合わせてからスタートする。これにより、ゴールまでの姿勢にたどりつくまでに、特定の関節が可動範囲を超えてしまう状況を防ぐことができる。
【0052】
食器載置部13に食器を積み上げるとき、高さが合わないと、食器を落下させて騒音が大きくなるおそれ、あるいは、食器を押し付けることにより食器を破損するおそれがある。そこで、多関節ロボット12のアームとハンド40との間に力覚センサを設け、食器が押し付けられる力を検知し、食器が落下しないようにする。コンプライアンス制御を用いて、多関節ロボット12のアーム先端ないしハンド40に仮想的なバネ性を持たせて、食器を押し付けても破損したりしないようにする。積み重ね方がずれている方向を力覚センサで検知して、そちらの方向へ倣うようにする。
【0053】
食器の認識に誤りがあった場合に吸着が出来ない場合等、食器や食器搬送部10を吸着部41以外で触って押し付けて、多関節ロボット12や食器搬送部10の故障の原因になる可能性や、食器を壊す可能性がある。コンプライアンス制御を利用しつつ、力覚センサで積み重ね方がずれている方向を検知すると同時に、設定した手先の力の閾値を超える力がかかった場合に、ピックアップ失敗として異常処理(食器を見逃す、あるいは、もう一度センサで計測して正しい位置姿勢を計測する等の処理)を行えば、処理を続けることが可能になる。
【0054】
食器を食器載置部13に積み重ねる時、食器載置部1の側に位置ずれがあったり、先に置いた食器の位置姿勢がずれていたりした場合に、食器を押し付ける力が発生して食器を破損したり、食器が跳ねて載置に失敗する可能性がある。そこで、コンプライアンス制御を利用することのより、これらの失敗確率を低減することができる。また、コンプライアンス制御で手先がずれる方向が分かるので、そちらに手先の目標値を移動させる、すなわち、倣うことで、位置姿勢のずれ自体を推定して解消することが可能になる。
【0055】
[予測について]
ARマーカを検出する際、カメラの一般的な特性として、カメラの光軸方向(奥行き方向)の精度が悪化する。ARマーカの位置の精度が悪いと、ロボットが食器をピックアップする位置がずれて、ピッキングに失敗する場合がある。また、ARマーカの向きがカメラからよく見えない場合や、隠れている場合には、食器を検出できない場合がある。そこで、カメラを複数台使い、ARマーカをトラッキングする。ARマーカをトラッキングするにはカルマンフィルタを用いる。複数のカメラから計測したマーカの位置及び姿勢をカルマンフィルタで混合して推定することにより、カメラからARマーカを計測できない瞬間があった場合でも、ARマーカを見失うことなくその位置及び姿勢を追跡ですることができる。
【0056】
カルマンフィルタを用いて、より精度よく推定するため次の2点の改良を行った。
(a)カルマンフィルタには、誤差の大きさ(誤差の共分散行列)をパラメータとして設定することができる。カメラの光軸方向への誤差は原理的に大きいことは分かっているので、カメラの光軸方向の誤差の値を大きく設定することで、位置と姿勢の推定制度が向上する。
(b)カルマンフィルタでは、状態量として他のパラメータ、例えば(イ)マーカの大きさが想定と違う、(ロ)カメラの姿勢が想定よりも少しずれている、(ハ)コンベアの向きが微妙にずれている等の量を推定することができる。これらの状態量を用いることにより、より精度よくマーカの位置及姿勢を推定することができる。
【0057】
カメラの配置については、カメラの光軸方向に測定精度が悪いことが分かっているので、カメラの光軸方向をできるだけ違う向きにすることで、精度の悪化の偏りを防ぐことができる。そのため、画像取得部として2つのカメラは、コンベアをはさんで両側からコンベアの中心方向に光軸が向くように配置されている。
【0058】
食器を食器洗浄部に投入するには、一定のルールがあるので、このルールに従って取り出す際の食器の位置も予測することができる。また、食器を食洗器に投入する際にマーカ情報を読み取る場合には、予めコンベア上の食器の配置が把握されているため、食器をピックアップする位置を精度よく予測できるようになる。
【0059】
また、食器をピックアップする手順は、1)複数のカメラでマーカを計測し、その位置をカルマンフィルタで推定し、2)マーカがカメラの視野から外れると、コンベアの移動量(コンベアに設置したエンコーダで直接計測した移動量)から、移動後のマーカの位置を推定しつづけ、3)推定した位置に基づいて、そこにあるはずの食器をロボットがピックアップするという手順が挙げられる。コンベア上で食器が他のものに当たったり、コンベア上で食器が不安定であったりした場合、カメラでマーカを観測していない間に食器が動いてしまうことがあり得るため、本来は、ロボットが食器をピックアップする直前まで、カメラでマーカを観測し続けるのが最も確実である。常に食器をカメラの視野内に収めることができれば、食器の位置の測定精度はさらに改善される。ただし、カルマンフィルタ自体は、常に食器が視野内に入っているとしても、複数のカメラを使って観測の精度を上げるためには必要である。なお、ロボットの動作範囲の近くにカメラの視野をむけるためにカメラをロボットに近づけると、ロボットがカメラにあたってしまうことがあるため、全体の構成やカメラの配置を工夫する必要がある。
【0060】
[学習について]
食器の投入をロボットで行う場合には、食器の投入時のルールを、ピックアップの失敗事例を受けて随時修正していくことができる。ロボットが無理な姿勢にならないように、食器を投入していくルールを学習によって最適化していくことができる。例えば、ピックアップに適した入れ方、規則正しい食器の入れ方、あるいは取りやすい向きとした食器の入れ方を、学習、例えば強化学習のような仕組みで食器の投入ルールを最適化することが可能である。
【0061】
強化学習は、ロボットの行動の結果に対する報酬を設定し、その報酬をできるだけ高めるような行動を獲得させる方法である。報酬の一例としては、食器ピックアップの成功と失敗の結果を真空吸着の圧力センサで判定し、ピックアップできた場合に報酬を与えるようにする。観測した食器の画像などを入力にして、この報酬を最大化するようにロボットのピックアップ時の軌道の補正量(の決め方)を獲得するような強化学習を行うことが有効である。
なお、実際に本実施形態の食器自動洗浄システムを運転しながら強化学習を行うには、所定の試行回数が必要であるため、強化学習が進みピックアップ制度が向上するまでの間に、食器とアームとの衝突などによる破損や故障を防ぐために、前述のコンプライアンス制御を採用することが効果的である。
【0062】
ロボットの姿勢が制限されるため、アーム先端を最短距離で移動させることができない場合がある。現在の食器をピックアップする動作に続けて次の食器を滑らかにピックアップできるように、多関節ロボット12のアーム先端の軌道の補正量、どの食器をピックアップ対象に選出するかを最適化するような学習も可能である。例えば学習済みのAIを用いれば、食洗器の導入初期から、ロボットが熟練者のような滑らかな動きで迅速に食器をピックアップすることが可能になる。例えば、ロボットのピックアップ時の軌道に補正量を入れ、ピックアップが上手くいく方向に強化学習、あるいは、DNN(ディープニューラルネットワーク)による教師あり学習等により、その補正量の最適化を行うことは効果的であり、ロボットの高速化にも寄与する。
【0063】
[実施形態2]
図10図11を参照して、本発明の実施形態2の食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体について説明する。本実施形態では、実施形態1で用いるマーカの複数の変形例について説明する。
【0064】
[変形例1]
変形例1では、ARマーカを印刷したシールを張り付ける方法について説明する。特に限定するものではないが、例えば
(a)白地のシート部材に黒色インクでARマーカを印刷したシート部材、
(b)透明のシート部材に黒色インクでARマーカを印刷したシート部材、
(c)黒色のシート部材に白色インクでARマーカを印刷したシート部材、又は、
(d)透明のシート部材に白色インクでARマーカを印刷したシート部材、
のいずれか1つのシート部材を接着剤ないしは粘着剤により食器の裏面(糸底)に貼り付ける。ここで、シート部材及びインクの色は、透明、白色ないしは黒色に限定されるものではなく、印刷されたシート部材を食器の裏面に貼り付けた時に、ARマーカを読み取ることができる色の組み合わせであればよい。画像認識のソフトウエアを調整することにより、様々な色の組み合わせに対応することが可能であるが、一般的に食器の色としては白または黒が多いため、白地に黒インク、黒字に白インクの組み合わせが多く用いられる。この場合、黒地の食器には、白地の食器用のマーカのパターンを白黒反転して用いることができる。なお、上記(b)のシート部材は白色等、黒色インクが識別できる薄い色の食器に用いられ、上記(d)のシート部材は黒色等、白色インクが識別できる濃い色の食器に用いられる。
【0065】
防水シートとしては、例えばシート部材の表面に防水フィルムないしは防水コーティングを有し、耐水性及び耐熱性の高いものを用いることが望ましい。シート部材を食器に貼り付けるための接着剤ないしは粘着剤についても、繰り返し洗浄して用いることができるように、耐水性及び耐熱性の高いものを用いることが望ましい。また、シート部材を貼り付けることができる限りにおいて、食器の形状や材質はどのようなものでも構わない。なお、ARマーカは例えば食器の裏面の糸底などの平面部分に設けられる必要がある。既存の食器に後からシート部材を貼り付けることができるので、特別な食器を用意する必要がない。
【0066】
防水シートないしコーティングについて、耐水性及び耐熱性の高いものを用いることを説明したが、本実施例はこれに限定されるものではなく、食器は繰り返し洗浄され、食品を盛り付けて使用されるため、例えば防水シートないしコーティングは化学的にも物理的にも耐久性を有することが望ましい。すなわち、例えば耐アルカリ、耐酸性等、さまざまな食品に対しても、また、洗剤に対しても耐性を有し、繰り返し洗浄しても剥がれにくく、使用時や洗浄時の摩擦にも耐久性を有することが望ましい。
【0067】
[変形例2]
図10を用いて変形例2について説明する。変形例2では、食器の裏面にARマーカ42をレーザー加工により刻印する方法である。変形例2で用いられる食器としては、レーザー加工により溝を形成できる素材のものであればよく、例えばメラミン製とすることができる。食器の形状としては、ARマーカを設けるだけの平面部分、例えば裏面に平面上の糸底を有する食器であれば、どのような形状のものでも構わない。
【0068】
食器裏面のARマーカに対応するインクを詰めたい部分に、例えば約0.3mm間隔のハッチング状、すなわち、複数の略平行な線状の溝をレーザーにより加工する。この溝に食器の色とは異なる色のインクを詰める。ハッチングの間隔は特に限定されるものではなく、例えば約0.3mmよりも狭い間隔とすることもできるし、これよりも広い間隔としてもよい。インクとしては耐水性のもの用い、かつ、耐熱性のものが望ましい。溝内に詰められたインクは、溝内に保持されるため耐久性を有しているためコーティング等を設ける必要は無い。ただし、より耐久性を向上するためにARマーカ部に耐水性及び耐熱性を有する防水フィルムないしは防止コーティングを設けることもできる。既存の食器に後からレーザー加工することができるため、特別な食器を用意する必要がない。
【0069】
図10Aは白地の食器には黒色インクを詰めた例である。マーカの大きさは、特に限定されるものでないが、約20mm角とすることができ、また、より小さな食器に対応するために約15mm角等、より小さい大きさでもよく、さらに、約30mm角等より大きいサイズでも構わない。図10Bは黒色の食器に白色インクを詰めた例である。食器の色及びインクの色は黒色ないし白色に限定されるものではなく、ARマーカ42を読み取ることができる色の組み合わせであればよい。画像認識のソフトウエアを調整することにより、様々な色の組み合わせ、様々なサイズのマーカに対応することが可能である。なお、画像認識のアルゴリズムの簡略化及び位置ないし姿勢等の認識精度の向上のため、ARマーカのサイズは統一しておくことが望ましい。
【0070】
[変形例3]
図11を用いて変形例3について説明する。変形例3は、食器の裏面にARマーカ42を直接印刷した後にコーティングする方法である。まず、メラミン製食器の製造工程においてARマーカを設ける方法について説明する。メラミン製の食器の製造工程において、適宜のインクによりARマーカを印刷し、その表面にコーティング、例えばメラミンコーティングを施す。コーティングの材質はメラミンに限定されるものではないが、食器の素材が例えばメラミン製である場合には、ARマーカの表面のコーティングもメラミンコーティングとすることが望ましい。インクとしては、特に限定されるものではないが、例えば紫外線発色インク、紫外線変色インク、紫外線硬化インク等を用いることができる。
【0071】
メラミン製の食器を例に挙げて説明したが、変形例3のARマーカ印刷方法はメラミン製の食器に限定されるものでもなく、陶器、ガラス、樹脂等、さまざまな食器にも適用可能であり、材質に応じた適宜のコーティング、例えば樹脂コーティングを施すものとする。また、既存の食器に対して後からARマーカを印刷することができる。この場合には、既存の食器に後からレーザー加工することができるため、特別な食器を用意する必要がない。また、ARマーカはコーティングされているため、耐久性が高い。
【0072】
図11Aは白地の食器に黒色インクを印刷した例である。食器の材質、インクの仕様や状態、コーティングの仕様や状態によって黒色インクの発色が薄くなる場合があるが、画像認識のソフトウエアの調整により、黒色インクの発色が薄くなった場合にもARマーカを認識できるようにできる。図11Bは黒生の食器に白色インクを印刷した例である。食器の材質、インクの仕様や状態、コーティングの仕様や状態によって白色インクの発色が例えばやや茶色がかる場合があるが、画像認識のソフトウエアの調整によりARマーカを認識できるようにできる。なお、変形例3の食器の色及びインクの色の組み合わせは黒色ないし白色に限定されるものではなく、ARマーカを識別できる限りにおいて他の様々な色の組み合わせが可能であり、画像認識のソフトウエアを調整することにより、様々な色の組み合わせのARマーカを認識することができる。
【0073】
[変形例4]
変形例4では、ARマーカを有したタグを食器に接着する方法を説明する。例えばコイン状の形状(薄い円状の形状)のタグにARマーカを印刷しておき、このタグの印刷面を表面にして食器の裏面の例えば糸底に接着剤ないし粘着剤にて貼り付ける。タグの印刷面には耐水性及び耐熱性を有する防水フィルムないしは防止コーティングが設けることが望ましい。また、タグを食器に貼り付けるための接着剤ないし粘着剤についても、耐水性及び耐熱性を有するものを用いることが望ましい。変形例4のタグの形状や材質などの仕様は、コイン状に限定されるものではなく、ARマーカを有する限りにおいては、どのような仕様のものでも構わない。既存の食器に対して後からARマーカを有したタグを貼り付けるので、特別な食器を用意する必要がない。
【0074】
[変形例5]
変形例5では、マーカの種類、マーカの位置について説明する。変形例1~4ではマーカとしてARマーカを用いる例を説明したが、本実施形態においてマーカはARマーカに限定されるものではなく、食器の種類、食器の位置、又は、食器の姿勢のいずれか少なくとも1つを識別可能なマーカであれば、どのようなマーカを用いてもよい。
【0075】
また、マーカの配置は、食器の裏側の例えば糸底の中央に設けることができるが、本実施形態はこれに限定されるものではない。例えば、食器の種類ごとにマーカが所定の位置にあれば、画像認識ソフトウエアにおいて、その位置を予め登録しておくことにより、食器をピックアップする位置を把握することが可能である。
【0076】
[実施形態3]
図12を参照して本発明の実施形態3の食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体について説明する。図12では、図1~11において説明した符号は同じものを用い、その説明は省略する。実施形態1、2では食器情報取得部14がARマーカを用いて食器を認識する例を説明したが、実施形態2では、ARマーカが無くとも食器を認識する例を説明する。
【0077】
食器情報取得部14としての複数の食器検出用カメラのからの画像、及び、3次元点群(例えば複数カメラ画像から得られる)による食器の認識を行うことにより、ARマーカが無くても食器の位置及び姿勢を認識することができる。特に限定されるものではないが、例えばIntel RealSense Depth Camera D400シリーズの深度計測が可能なステレオビジョンの深度カメラを使用可能である。二つのイメージの差を検出してリアルタイムな深度イメージ処理が可能なイメージセンサセット(2の深度センサ、最大解像度1280×720)を搭載し、カラーデータのスケーリングが可能で、IR投射器を搭載し、USB給電で動作する。例えば白一色の無地の壁を観測する際にも深度データをより正確に取るための、対象を照らすアクティブIR投射器により赤外光のランダムなドットパターンを投影して、見かけ対象物上に模様を付加し、2つのカメラ画像の対応を取りやすくしている。
【0078】
3次元点群を得る方法として上述のステレオカメラ方式の他に、1)レーザー光やLED等のパターンを照射して、その模様の映り方を撮影し、3次元点群を取る方法(Structured Light方式)、2)レーザー光やLED等の光を照射し、反射して帰ってくるまでの時間を計測する方式(Time of Flight方式)、及び、3)画像の焦点が合う位置を探索して奥行情報を知る方式(合焦方式)等も用いることができる。
【0079】
また、例えば、図12に示すように、食器の画像認識にDNNを用いれば、その食器だけを含む画像もしくは点群の領域を切り出すことができるので、食器の位置及び姿勢の検出精度も向上する。図12においては認識された食器が検出枠50により表示され、さらにその種別が種別表示51として表示される。
【0080】
実施形態3では複数の食器検出用カメラのからの画像、及び、3次元点群により食器の認識を行う方法を例示したが、本実施形態はこれに限定されるものではなく、例えば、2次元画像を用いて食器を検出する方法、学習制御により食器を認識する方法、食器の画像から糸底を検出する方法、これらを組み合わせた方法等も適用することができる。例えば、2次元画像からでも食器の位置及び姿勢を検出することは可能であるので、ARマーカが無くとも食器を画像認識し、この画像認識に基づいて食器の糸底を多関節ロボット12の吸着部41を有するハンド40により吸着して取り上げることが可能である。
【0081】
[実施形態4]
図13を参照して本発明の実施形態4の食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体について説明する。図13は実施形態4の食器取出部の平面図である。図13では、図1~12と同じ構成には同一の符号を用い、その説明は省略する。実施形態4では、多関節ロボット12と共に、コンテナ収容ロボット56を用いる例を説明する。
【0082】
食器11を食器搬送部10から取り上げてコンテナ57に収納する動作を1台の多関節ロボット12、例えば6軸多関節ロボットで行う場合には、多関節ロボット12の可動範囲が限られているため、コンテナ57に食器を水平に積み上げて収納することは困難である。このため、食器11を食器搬送部10から取り上げてコンテナ57に収納する動作を全て、1台の多関節ロボット12により実現しようとすると、装置が大型化してしまう。
【0083】
図13では、多関節ロボット12と共に、コンテナ収容ロボット56を用いて、食器搬送部10から食器11を取り上げて、コンテナ57に収容する動作を行う。多関節ロボット12は、食器搬送部10から食器11を取り上げて、受け渡し台55に食器11を伏せた状態、すなわち、糸底が上を向いた姿勢で載置する。受け渡し台55に載置された食器11は、コンテナ収容ロボット56によってコンテナ57に収容される。コンテナ収容ロボット56としては特に限定されるものではないが、例えば水平多関節ロボットを用いることができる。
【0084】
多関節ロボット12及びコンテナ収容ロボット56は食器11を取り上げる手段を有している。例えば、多関節ロボット12は吸着部41を備えるハンド40を有しおり、吸着部41により食器11の糸底を吸着して食器11を取り上げることができる。また、例えば、コンテナ収容ロボット56もアームの先端側に吸着部41を有しており、吸着部41により食器11の糸底を吸着して食器11を取り上げることができる。
【0085】
食器搬送部10により搬送されてきた食器11を多関節ロボット12が取り上げて、食器11を受け渡し台55に載置する。受け渡し台55に載置された食器11をコンテナ収容ロボット56が取り上げて、コンテナ57へ収納する。図13では、コンテナ収容ロボット56が食器を収納できる範囲内に、コンテナが4個配置されているが、コンテナの数はこれに限定されるものではなく、コンテナ収容ロボット56が食器を収納できる範囲内に1個以上配置される。コンテナ収容ロボット56は、食器11の種類に応じて、所定のコンテナに食器11を収納することができる。例えば、1つのコンテナに1種類の食器11を収納することができる。
【0086】
多関節ロボット12及びコンテナ収容ロボット56は、受け渡し台55の周辺など、互いの可動領域が重なるところがある。このため、多関節ロボット12及びコンテナ収容ロボット56が互いに干渉しないように協調制御する。本実施形態では、多関節ロボット12及びコンテナ収容ロボット56の動作の役割は明確に分けられており、その動作において干渉する場面は限定されている。このため、本実施例の協調制御には、例えば単純なインターロック制御等も適用可能であり、必ずしも複雑な制御を必要とするものではなく、また、この協調制御としては様々な制御方法が適用可能である。
【0087】
コンテナ57に食器11を収納する際に、食器の外形、すなわち、平積み時の横幅(例えば円形の食器の場合には半径、方形の食器の場合には一辺(特に長辺)の長さ等)を確実に取得しておかないと、食器11が食器自動洗浄システムの各部に接触し、破損してしまう虞がある。食器11の食器の外形が確実に取得できない場合、例えば画像認識にて食器の大きさを推定する場合、画像取得部を追加したり、画像処理する計算機が必要となったりするため、高コストになってしまう。
【0088】
そこで、受け渡し台55の所定の位置に所定の形状の衝立部材を設ける。多関節ロボット12が食器11を平置き姿勢で受け渡し台55に下ろす際に、食器の側面を衝立部材に押し付けるまで水平移動し、衝立部材に接触した位置を検出する。この検出には例えば、多関節ロボット12のアーム先端部やハンド40等に設けられた力覚センサ、振動センサや、加速度センサ、あるいは、多関節ロボット12の駆動モータの負荷電流センサ、画像取得部等、様々なセンサを用いることができる。衝立部材の位置は予め分かっており、また、多関節ロボット12の軌跡も計算できるため、多関節ロボット12が取り上げている食器11が衝立部材に接触した位置から、食器外形を計算することができる。また、このように食器11の外形を計算することができれば、食器11の寸法が登録されていない場合であっても、コンテナ57への食器11の収納までを自動化することができる。
【0089】
[実施形態5]
図14を参照して本発明の実施形態5の食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体について説明する。図14Aは、食器自動洗浄システムの上面図であり、図14Bは、食器自動洗浄システムの斜視図である。図14では、図1~13と同じ構成には同一の符号を用い、その説明は省略する。実施形態5では、実施形態4と同様に多関節ロボット12と共に、コンテナ収容ロボット56を用いる例を説明する。
【0090】
食器搬送部10の脇に多関節ロボット12を配置すると(図13参照)、多関節ロボット12の設置側に対して反対側の食器搬送部10の端部周辺領域に多関節ロボット12のハンド40が届きにくくなり、姿勢の採れる範囲も狭くなってしまう。結果的に、食器搬送部10の脇に多関節ロボット12を配置すると、食器搬送部10の食器11の搬送領域によって食器11の取り上げが難しくなる場合がある。
【0091】
また、食器搬送部10の脇に多関節ロボット12を配置すると、システム全体が大きくなってしまいスペース効率が悪くなる。
【0092】
本実施形態の食器自動洗浄システムは、食器搬送部10の上を食器搬送部10の横幅方向で跨ぐ位置に多関節ロボット12を設置するための搬送部跨ぎ架台70を備えている。
【0093】
搬送部跨ぎ架台70は、門型であり、上部を橋渡す壁に多関節ロボット12が固定される。本実施形態では、多関節ロボット12の可動範囲が食器搬送部10の横幅方向における中心を対称とする範囲になるように多関節ロボット12が搬送部跨ぎ架台70に固定される。
【0094】
本実施形態5の食器自動洗浄システムでは、多関節ロボット12の可動範囲が食器搬送部10の横幅方向における中心を対称とする範囲になるように、多関節ロボット12が搬送部跨ぎ架台70に固定されるため、多関節ロボット12が食器搬送部10上の幅方向における広い範囲での食器11の取り上げが可能になると共に、様々な姿勢をとり易くなる。
【0095】
また、本実施形態5の食器自動洗浄システムでは、これまで有効に活用されていなかった食器搬送部10の出口の上方付近に多関節ロボット12を配置しているため、システム全体のコンパクト化、及び通路を占有しない等の省スペース化を図ることができる。
【0096】
[実施形態6]
図15を参照して本発明の実施形態6の食器自動洗浄システム、食器自動洗浄方法、食器自動洗浄プログラム及び記憶媒体について説明する。図15は、食器自動洗浄システムの受け渡し台55周辺を示す図である。図15では、図1~14と同じ構成には同一の符号を用い、その説明は省略する。
【0097】
多関節ロボット12が、食器11を取り上げて受け渡し台55に伏せて置く際に、食器11の種類、及び食器11の高さを認識していれば、受け渡し台55の高さに合わせて食器11を置くことができる。しかし、食器11の種類が誤って認識された場合、受け渡し台55に食器11を押し付けたり、受け渡し台55の上方から食器11を落としたりすることになる。
このように食器11の種類が誤って認識された場合、食器11の破損や、受け渡し台55上の食器11の位置が大きくずれるため、コンテナ収容ロボット56の動作ができなくなる問題がある。
このような問題は、多関節ロボット12の速度を下げ、食器11の認識に対する確実性を上げることによって解消することができるが、食器11の処理性能が出なくなる。
【0098】
本実施形態の食器自動洗浄システムは、受け渡し台55から所定間隔上方に離れた水平面を食器11が横切ったことを検出する検出器80を備える。
【0099】
検出器80は、例えば、透過型センサによって実現される。検出器80として透過型センサを用いた場合、検出器80は、直線状のレーザーを、例えば、受け渡し台55から数cm上方に離れた水平面上に投影し、レーザーを食器11が横切ったことを検出する。
【0100】
食器自動洗浄システムは、多関節ロボット12が、食器11を取り上げて受け渡し台55に伏せて置く際に、食器11の種類を認識していない場合や、食器11の高さを認識していな場合であっても、検出器80が受け渡し台55から所定間隔上方に離れた水平面を食器11が横切ったことを検出したタイミングで多関節ロボット12を減速させると同時に食器11の高さを推定することによって受け渡し台55の高さに合わせて食器11を置く。
【0101】
本実施形態6の食器自動洗浄システムでは、検出器80によって、受け渡し台55から所定間隔上方に離れた水平面を食器11が横切ったことを検出することによって、食器11の画像認識に頼らず、受け渡し台55の高さに合わせて食器11を置くことができるため、高速かつ確実な食器11の処理を行うことができる。
【0102】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は本発明の技術思想を具体化するための食器自動洗浄システムを例示するものであって、本発明をこれらに特定するものではなく、その他の実施形態のものにも等しく適用し得るものであり、また、これらの実施形態の一部を省略、追加、変更することや、各実施形態の態様を組み合わせることが可能である。
【符号の説明】
【0103】
1…食器投入部 2…食器洗浄部
3…食器取出部 10…食器搬送部
11…食器 12…多関節ロボット
13…食器載置部 14…食器情報取得部
30…食器取出演算部 31…食器位置・姿勢検出部
32…食器取出順序計画部 33…食器取出動作指令部
35…画像取得部 36…食器投入部
37…食器搬送部 38…食器洗浄部
40、40C…ハンド 41…吸着部
41A…第1の吸着部 41B…第2の吸着部
42…ARマーカ 45…延存部
46…ハンド取付部 47…真空ホース
48…ハンド側真空ホース取付部 49…結合部
50…検出枠 51…種別表示
55…受け渡し台 56…コンテナ収容ロボット56
57…コンテナ 60…バネ機構
61…ボールジョイント 62…力覚センサ
70…搬送部跨ぎ架台 80…検出器
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15