知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023031895
(43)【公開日】2023-03-09
(54)【発明の名称】衣類処理装置及び判定方法
(51)【国際特許分類】
D06F 89/00 20060101AFI20230302BHJP
D06F 95/00 20060101ALI20230302BHJP
【ＦＩ】
D06F89/00
D06F95/00
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2021137658
(22)【出願日】2021-08-26
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100106116
【弁理士】
【氏名又は名称】鎌田 健司
(74)【代理人】
【識別番号】100131495
【弁理士】
【氏名又は名称】前田 健児
(72)【発明者】
【氏名】春山 星秀
(72)【発明者】
【氏名】南橋 寛
(72)【発明者】
【氏名】平田 悠貴
(57)【要約】
【課題】処理対象物の衣類状態を高い精度で判定するための技術を向上させる。
【解決手段】衣類処理装置１は、処理対象物Ｔの撮像画像を取得する撮像画像取得部９７０と、撮像画像取得部９７０により取得された処理対象物Ｔの撮像画像に基づいて処理対象物Ｔの状態を判定する状態判定部９７１と、取得された処理対象物Ｔの撮像画像を使用して処理対象物Ｔの状態をユーザに問い合わせるユーザ問合せ部９７２と、取得された処理対象物Ｔの撮像画像に基づいて処理対象物Ｔの状態を検出し、検出結果とともに検出結果の信頼度を出力する機械学習モデルを備える状態検出部９７３と、を備え、状態判定部９７１は、状態検出部９７３が出力する信頼度が低い場合、ユーザ問合せ部９７２により処理対象物Ｔの状態についてユーザに問い合わせを行い、ユーザへの問い合わせにより得られた状態を用いて処理対象物Ｔの状態の判定を行う。
【選択図】図１２
【解決手段】衣類処理装置１は、処理対象物Ｔの撮像画像を取得する撮像画像取得部９７０と、撮像画像取得部９７０により取得された処理対象物Ｔの撮像画像に基づいて処理対象物Ｔの状態を判定する状態判定部９７１と、取得された処理対象物Ｔの撮像画像を使用して処理対象物Ｔの状態をユーザに問い合わせるユーザ問合せ部９７２と、取得された処理対象物Ｔの撮像画像に基づいて処理対象物Ｔの状態を検出し、検出結果とともに検出結果の信頼度を出力する機械学習モデルを備える状態検出部９７３と、を備え、状態判定部９７１は、状態検出部９７３が出力する信頼度が低い場合、ユーザ問合せ部９７２により処理対象物Ｔの状態についてユーザに問い合わせを行い、ユーザへの問い合わせにより得られた状態を用いて処理対象物Ｔの状態の判定を行う。
【選択図】図１２
【特許請求の範囲】
【請求項1】
処理対象物の撮像画像を取得する撮像画像取得部と、
前記撮像画像取得部により取得された前記撮像画像に基づいて前記処理対象物の状態を判定する状態判定部と、
前記撮像画像を使用して前記処理対象物の状態をユーザに問い合わせるユーザ問合せ部と、
前記撮像画像に基づいて前記処理対象物の状態を検出する機械学習モデルを備える状態検出部と、
を備え、
前記状態判定部は、前記状態検出部が出力する前記信頼度が低い場合、前記ユーザ問合せ部により前記処理対象物の状態についてユーザに問い合わせを行い、前記ユーザへの問い合わせにより得られた状態を用いて前記処理対象物の状態の判定を行う
衣類処理装置。
前記撮像画像取得部により取得された前記撮像画像に基づいて前記処理対象物の状態を判定する状態判定部と、
前記撮像画像を使用して前記処理対象物の状態をユーザに問い合わせるユーザ問合せ部と、
前記撮像画像に基づいて前記処理対象物の状態を検出する機械学習モデルを備える状態検出部と、
を備え、
前記状態判定部は、前記状態検出部が出力する前記信頼度が低い場合、前記ユーザ問合せ部により前記処理対象物の状態についてユーザに問い合わせを行い、前記ユーザへの問い合わせにより得られた状態を用いて前記処理対象物の状態の判定を行う
衣類処理装置。
【請求項2】
前記状態判定部は、前記処理対象物の衣類に対して、少なくとも、衣類の種別、上下左右の向き、前後または表裏の向き、のうちいずれかの状態を判定する
請求項１に記載の衣類処理装置。
請求項１に記載の衣類処理装置。
【請求項3】
前記ユーザへの問合せ回数が所定回数を超えた場合、または、前記ユーザに問い合わせた結果を所定数得られた場合、前記ユーザに問い合わせた結果を用いて前記処理対象物の複数の前記撮像画像を学習し、前記状態検出部の前記機械学習モデルを更新する
請求項１又は２に記載の衣類処理装置。
請求項１又は２に記載の衣類処理装置。
【請求項4】
前記処理対象物の状態をユーザに問い合わせたときにユーザから判定結果が得られない場合、前記状態検出部の検出結果を用いて状態の判定を行う
請求項１から３のいずれかに記載の衣類処理装置。
請求項１から３のいずれかに記載の衣類処理装置。
【請求項5】
処理対象物の撮像画像を取得するステップと、取得された前記処理対象物の前記撮像画像に基づいて、機械学習モデルを用いて前記処理対象物の状態を検出し、検出結果の信頼度を取得するステップと、前記信頼度が所定値より低い場合、前記処理対象物の状態についてユーザ問い合わせを行うステップと、前記ユーザ問い合わせにより得られた状態を用いて前記処理対象物の状態の判定を行うステップと、を備える
衣類処理装置の判定方法。
衣類処理装置の判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、衣類などの処理対象物を処理するための衣類処理装置及び判定方法に関する。
【背景技術】
【0002】
衣類などの処理対象物を展開して折り畳む処理装置が提案されている。例えば、特許文献１には、被処理物の任意の点を保持可能な複数の保持装置と、被処理物を載置可能な載置装置を備える処理装置が開示されている。この処理装置は、複数の保持装置の少なくとも２つが被処理物の２つの端点を保持している状態において撮像された画像に基づいて、少なくとも２つの長手部分を有する被処理物を認識し、複数の保持装置及び載置装置を用いて展開する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－０５４４７３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の折り畳み装置では、処理対象物の展開中もしくは展開後に、処理対象物の状態を画像によって認識し、認識結果に基づいて処理対象物の折り畳みを行う。しかし、処理対象物の種類によっては、状態の認識が難しく、認識を間違えてしまう場合がある。このような認識が難しい処理対象物でも認識率を向上させるための技術が必要である。
【0005】
本開示は、処理対象物の状態を高い精度で判定するための技術を向上させる。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本開示における衣類処理装置は、処理対象物の撮像画像を取得する撮像画像取得部と、撮像画像取得部により取得された撮像画像に基づいて処理対象物の状態を判定する状態判定部と、この撮像画像を使用して処理対象物の状態をユーザに問い合わせるユーザ問合せ部と、この撮像画像に基づいて処理対象物の状態を検出し、検出結果とともに検出結果の信頼度を出力する機械学習モデルを備える状態検出部と、を備える。そして、状態判定部は、状態検出部が出力する信頼度が低い場合、ユーザ問合せ部により処理対象物の状態についてユーザに問い合わせを行い、この問い合わせにより得られた状態を用いて処理対象物の状態の判定を行うものである。
【0007】
本開示における衣類処理装置の判定方法は、処理対象物の撮像画像を取得するステップと、取得された処理対象物の撮像画像に基づいて、機械学習モデルを用いて処理対象物の状態を検出し、検出結果の信頼度を出力するステップと、信頼度が所定値より低い場合、処理対象物の状態についてユーザ問い合わせを行うステップと、ユーザ問い合わせにより得られた状態を用いて処理対象物の状態の判定を行うステップと、を備える。
【発明の効果】
【0008】
本開示の技術によれば、処理対象物の状態を高い精度で判定するための技術を向上させることができる。
【図面の簡単な説明】
【0009】
【図1】実施の形態１における衣類処理装置の斜視図
【図2】実施の形態１における衣類処理装置の正面概略構成図
【図3】実施の形態１における衣類処理装置の側面概略構成図
【図4】実施の形態１における衣類処理装置の保持部の斜視図
【図5】実施の形態１における衣類処理装置の保持部のＹａｗ部の縦断面模式図
【図6】実施の形態１における衣類処理装置の保持部のＨａｎｄ部の縦断面模式図
【図7】実施の形態１における衣類処理装置の作業板装置の正面模式図及び側面模式図
【図8】実施の形態１における衣類処理装置の撮像装置の側面模式図
【図9】実施の形態１における衣類処理装置の支持部の側面模式図
【図10A】実施の形態１における衣類処理装置の収納装置の動作を示す模式図
【図10B】実施の形態１における衣類処理装置の収納装置の動作を示す正面模式図
【図11】実施の形態１における衣類処理装置の制御装置のブロック図
【図12】実施の形態１に係る制御装置の機能構成図
【図13】実施の形態１に係るユーザインターフェースの例を示す図
【図14】実施の形態１に係る処理対象物の状態を判定する動作の手順を示すフローチャート
【発明を実施するための形態】
【0010】
（本開示の基礎となった知見等）
本開示に係る衣類処理装置において、処理対象物である衣類等を折り畳む等の処理をするために、少なくとも、衣類等の種別、上下左右の向き、前後または表裏の向き、等のうちいずれかの状態を判定する必要がある。このような状態の判定は、様々な衣類に対応しなければならないため、人間が見ても難しいタスクであり、機械学習を用いて判定モデルを作成しても、人間と同等の認識性能を実現するのは困難である。
本開示に係る衣類処理装置において、処理対象物である衣類等を折り畳む等の処理をするために、少なくとも、衣類等の種別、上下左右の向き、前後または表裏の向き、等のうちいずれかの状態を判定する必要がある。このような状態の判定は、様々な衣類に対応しなければならないため、人間が見ても難しいタスクであり、機械学習を用いて判定モデルを作成しても、人間と同等の認識性能を実現するのは困難である。
【0011】
このような課題を発明者らは発見し、その課題を解決するために、本開示の主題を構成するに至った。本開示に係る衣類処理装置は、処理対象物の撮像画像を入力し機械学習モデルを用いて状態の検出を行う状態検出部を用いて、処理対象物の状態の検出を行う。そして、検出結果の信頼度が低い場合など、所定の条件に応じてユーザ問合せ部により処理対象物の状態についてユーザに問い合わせを行い、ユーザへの問い合わせにより得られた状態を用いて処理対象物の状態の判定を行う。これにより、衣類処理装置は、機械学習モデルでは判定が難しい状態をユーザに問い合わせて判定することができるので、処理対象物の状態を高い精度で判定することができる。
【0012】
以下、図面を参照しながら実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明、または、実質的に同一の構成に対する重複説明を省略する場合がある。
【0013】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することを意図していない。
【0014】
（実施の形態１）
以下、図１～図１４を用いて、実施の形態１を説明する。なお、衣類処理装置１の３方向について、前側正面から見て、左右の幅方向を矢印で示すＸ方向（左方向Ｘ１、右方向Ｘ２）、前後の奥行き方向を矢印で示すＹ方向（前方向Ｙ１、後方向Ｙ２）、上下の高さ方向を矢印で示すＺ方向（上方向Ｚ１、下方向Ｚ２）として説明する。
以下、図１～図１４を用いて、実施の形態１を説明する。なお、衣類処理装置１の３方向について、前側正面から見て、左右の幅方向を矢印で示すＸ方向（左方向Ｘ１、右方向Ｘ２）、前後の奥行き方向を矢印で示すＹ方向（前方向Ｙ１、後方向Ｙ２）、上下の高さ方向を矢印で示すＺ方向（上方向Ｚ１、下方向Ｚ２）として説明する。
【0015】
［１－１．構成］
［１－１－１．衣類処理装置の全体構成］
衣類処理装置１は、変形性薄物としての処理対象物Ｔを保持、認識、折り畳み、及び、
収納する装置である。図１に示されるように、衣類処理装置１は、筐体１００、及び、筐体１００内に構成される、受入部２００と、保持装置３００と、作業板装置４００と、撮像装置５００と、支持部６００と、収納装置７００と、制御装置９００と、を備える。なお、受入部２００及びその上方の処理空間が１つの筐体に構成され、収納装置７００などは別の筐体内に構成されて、それぞれの筐体が連結されて一体となるように構成されてもよい。
［１－１－１．衣類処理装置の全体構成］
衣類処理装置１は、変形性薄物としての処理対象物Ｔを保持、認識、折り畳み、及び、
収納する装置である。図１に示されるように、衣類処理装置１は、筐体１００、及び、筐体１００内に構成される、受入部２００と、保持装置３００と、作業板装置４００と、撮像装置５００と、支持部６００と、収納装置７００と、制御装置９００と、を備える。なお、受入部２００及びその上方の処理空間が１つの筐体に構成され、収納装置７００などは別の筐体内に構成されて、それぞれの筐体が連結されて一体となるように構成されてもよい。
【0016】
処理対象物Ｔは、例えば、衣類及びタオル類などの布地、フィルム、紙ならびにシートなどに代表される変形性薄物である。その形状は、タオル類のように矩形であってもよいし、Ｔシャツやランニングシャツ、長袖シャツ、ズボンのような略矩形であってもよい。
【0017】
＜筐体１００＞
筐体１００は、直方体の枠を形成するフレーム１１０と、直方体の所定の面に外郭１２０が設けられて構成される。フレーム１１０と外郭１２０とは、一体に形成されてもよい。
筐体１００は、直方体の枠を形成するフレーム１１０と、直方体の所定の面に外郭１２０が設けられて構成される。フレーム１１０と外郭１２０とは、一体に形成されてもよい。
【0018】
＜受入部２００＞
受入部２００は、処理対象物Ｔを外部から受け入れる収容部である。図１から図３に示されるように、受入部２００は、上面が開口した箱型形状を有する。受入部２００は、ユーザがアクセスし易いように、衣類処理装置１における底部に配設され、奥行き方向（Ｙ方向）に出し入れ可能に配設される。例えば、受入部２００は、下部にガイドレール２１０が設けられ、前方向Ｙ１に引き出される。処理対象物Ｔは、引き出された受入部２００に上方から入れられる。受入部２００は、処理対象物Ｔが入れられると、ガイドレール２１０に沿って後方向Ｙ２に戻され、筐体１００内に収められる。
受入部２００は、処理対象物Ｔを外部から受け入れる収容部である。図１から図３に示されるように、受入部２００は、上面が開口した箱型形状を有する。受入部２００は、ユーザがアクセスし易いように、衣類処理装置１における底部に配設され、奥行き方向（Ｙ方向）に出し入れ可能に配設される。例えば、受入部２００は、下部にガイドレール２１０が設けられ、前方向Ｙ１に引き出される。処理対象物Ｔは、引き出された受入部２００に上方から入れられる。受入部２００は、処理対象物Ｔが入れられると、ガイドレール２１０に沿って後方向Ｙ２に戻され、筐体１００内に収められる。
【0019】
［１－１－２．保持装置の構成］
保持装置３００は、処理対象物Ｔを処理するために、処理対象物Ｔを保持する装置である。保持装置３００は、処理対象物Ｔを保持する保持部３１０と、保持部３１０を幅方向（Ｘ方向）、奥行き方向（Ｙ方向）、高さ方向（Ｚ方向）の３方向に移動させる移動機構３２０と、を含む。保持装置３００は、複数設けられ、受入部２００内に入れられた処理対象物Ｔを保持して持ち上げるとともに、処理対象物Ｔを一時的に載置できる作業板装置４００と協働して、処理対象物Ｔを持ち替えながら展開及び折り畳みを行う。
保持装置３００は、処理対象物Ｔを処理するために、処理対象物Ｔを保持する装置である。保持装置３００は、処理対象物Ｔを保持する保持部３１０と、保持部３１０を幅方向（Ｘ方向）、奥行き方向（Ｙ方向）、高さ方向（Ｚ方向）の３方向に移動させる移動機構３２０と、を含む。保持装置３００は、複数設けられ、受入部２００内に入れられた処理対象物Ｔを保持して持ち上げるとともに、処理対象物Ｔを一時的に載置できる作業板装置４００と協働して、処理対象物Ｔを持ち替えながら展開及び折り畳みを行う。
【0020】
衣類処理装置１は、図１から図３に示されるように、保持装置３００として２基の保持装置３００Ａ，３００Ｂを備える。保持装置３００Ａは、保持部３１０として１つの保持部３１０Ａを有し、保持部３１０Ａを３方向に移動させる移動機構３２０Ａを有する。保持装置３００Ｂは、保持部３１０として２基の保持部３１０Ｂ，３１１Ｂを有し、保持部３１０Ｂ，３１１Ｂをそれぞれ３方向に移動させる移動機構３２０Ｂを有する。
【0021】
保持部３１０Ａ，３１０Ｂ，３１１Ｂは、後述する作業板装置４００の作業板４１０に対して、幅方向、奥行き方向、高さ方向にそれぞれ相対移動可能である。例えば、移動機構３２０Ａ、３２０Ｂは、保持部３１０Ａ，３１０Ｂ，３１１Ｂが作業板４１０の縁部に沿って一列に並ぶように位置させることができる。
【0022】
保持装置３００Ａ、３００Ｂは、後述する制御装置９００と有線又は無線により通信可能に接続される。そして、制御装置９００により、保持部３１０Ａ、３１０Ｂ，３１１Ｂ及び移動機構３２０Ａ、３２０Ｂの動作が制御される。
【0023】
＜移動機構３２０＞
保持装置３００Ａ，３００Ｂに用いられる移動機構３２０Ａ，３２０Ｂについて、保持
装置３００Ａの移動機構３２０Ａの構成を用いて説明する。保持装置３００Ｂの移動機構３２０Ｂの構成は、保持部の数を除いて保持装置３００Ａの構成と基本的に同じである。よって、保持装置３００Ｂは、保持装置３００Ａの符号中「Ａ」を「Ｂ」に置き換えた符号を用いればよく、その説明を省略する。
保持装置３００Ａ，３００Ｂに用いられる移動機構３２０Ａ，３２０Ｂについて、保持
装置３００Ａの移動機構３２０Ａの構成を用いて説明する。保持装置３００Ｂの移動機構３２０Ｂの構成は、保持部の数を除いて保持装置３００Ａの構成と基本的に同じである。よって、保持装置３００Ｂは、保持装置３００Ａの符号中「Ａ」を「Ｂ」に置き換えた符号を用いればよく、その説明を省略する。
【0024】
移動機構３２０Ａは、図２に示されるように、幅方向移動機構３３０Ａと、高さ方向移動機構３４０Ａと、奥行き方向移動機構３５０Ａと、を備える。
【0025】
幅方向移動機構３３０Ａは、保持部３１０Ａを幅方向（Ｘ方向）に移動させる。幅方向移動機構３３０Ａは、保持部３１０Ａを移動させるための駆動力源となる幅方向駆動部３３２Ａ、及び、移動のガイドとなるＸガイド３３４Ａを有する。詳細は図示しないが、幅方向駆動部３３２Ａは、正転及び逆転が可能なモータであり、ピニオンギアを有する。Ｘガイド３３４Ａは、幅方向駆動部３３２Ａの動力がピニオンギアを介して伝達されるラックギア及びレールであり、その長手方向が幅方向に沿うように配置される。幅方向駆動部３３２Ａは、通電により、Ｘガイド３３４Ａに沿ってスライド移動する。幅方向駆動部３３２ＡがＸガイド３３４Ａに沿って幅方向に移動すると、幅方向駆動部３３２Ａに固定された保持部３１０Ａも幅方向に移動する。
【0026】
高さ方向移動機構３４０Ａは、幅方向移動機構３３０Ａとともに保持部３１０Ａを高さ方向（Ｚ方向）に移動させる。高さ方向移動機構３４０Ａは、幅方向移動機構３３０Ａの左右両端に設けられ、幅方向移動機構３３０Ａを移動させるための駆動力源となる高さ方向駆動部３４２Ａ、及び、移動のガイドとなるＺガイド３４４Ａを有する。高さ方向駆動部３４２Ａは、正転及び逆転が可能なモータであり、ピニオンギアを有する。詳細は図示しないが、高さ方向駆動部３４２Ａは、幅方向移動機構３３０Ａの枠体の左端に固定され、右端へ駆動力を伝達する伝動シャフトを有する。左右２本のＺガイド３４４Ａは、高さ方向駆動部３４２Ａの動力がピニオンギア及び伝動シャフトを介して伝達されるラックギア及びレールであり、その長手方向が高さ方向に沿うようにして配置される。左右２本のＺガイド３４４Ａは、上端で連結され、アーチ型に構成される。高さ方向駆動部３４２Ａへの通電により、幅方向移動機構３３０Ａが高さ方向に沿って移動する。
【0027】
奥行き方向移動機構３５０Ａは、保持装置３００Ａ全体（高さ方向移動機構３４０Ａ、幅方向移動機構３３０Ａ及び保持部３１０Ａ）を奥行き方向（Ｙ方向）に移動させる。奥行き方向移動機構３５０Ａは、高さ方向移動機構３４０Ａを移動させるための動力源となる奥行き方向駆動部３５２Ａ、及び、移動のガイドとなる複数のＹガイド３５４を有する。詳細は図示しないが、奥行き方向駆動部３５２Ａは、正転及び逆転が可能なモータであり、ピニオンギアを有する。奥行き方向駆動部３５２Ａは、高さ方向移動機構３４０Ａの枠体上部の連結部左端に固定され、右端へ駆動力を伝達する伝動シャフトを有する。Ｙガイド３５４は、奥行き方向駆動部３５２Ａの動力が伝達されるラックギア及びレールであり、その長手方向が奥行き方向に沿うようにして、左右のＺガイド３４４Ａそれぞれの上下端に配置される。
【0028】
Ｙガイド３５４への駆動力の伝達について、上部のＹガイド３５４には、上述したように、奥行き方向駆動部３５２Ａの動力が伝動シャフトで伝達される。そして、下部のＹガイド３５４には、高さ方向移動機構３４０Ａの枠体内に設けられるギアベルトを介して上部に設けられる伝動シャフトから駆動力が伝達される。奥行き方向駆動部３５２Ａへの通電により、アーチ型の高さ方向移動機構３４０Ａが奥行き方向に沿って平行に移動し、幅方向移動機構３３０Ａ及び保持部３１０Ａも同じく移動する。
【0029】
なお、本実施の形態において、２基の保持装置３００Ａ，３００Ｂは、奥行き方向（Ｙ方向）に移動するために上下左右４本のＹガイド３５４を共用する。このため、常に保持
装置３００Ａは保持装置３００Ｂより後側に位置する。また、保持装置３００Ｂにおいて、２つの保持部３１０Ｂ，３１１Ｂは幅方向（Ｘ方向）に移動するためにＸガイド３３４Ｂを共用する。このため、常に保持部３１０Ｂは保持部３１１Ｂより左側に位置する。
装置３００Ａは保持装置３００Ｂより後側に位置する。また、保持装置３００Ｂにおいて、２つの保持部３１０Ｂ，３１１Ｂは幅方向（Ｘ方向）に移動するためにＸガイド３３４Ｂを共用する。このため、常に保持部３１０Ｂは保持部３１１Ｂより左側に位置する。
【0030】
以上、移動機構３２０について説明した。本実施の形態では、移動機構としてラック＆ピニオン式で、駆動部のモータも移動する構成としたが、これに限られない。例えば、ボールねじを利用し、モータは移動しない構成などでもよい。
【0031】
＜保持部３１０＞
図４～図６を用いて、保持部３１０の構成について説明する。本実施の形態では、保持部３１０Ａ、３１０Ｂ、３１１Ｂの３つの保持部３１０が配設される。３つの保持部３１０の構成は、左右対称の部分もあるが、基本的に同じである。
図４～図６を用いて、保持部３１０の構成について説明する。本実施の形態では、保持部３１０Ａ、３１０Ｂ、３１１Ｂの３つの保持部３１０が配設される。３つの保持部３１０の構成は、左右対称の部分もあるが、基本的に同じである。
【0032】
【0033】
また、図５に示すように、Ｙａｗ部３１２は、Ｈａｎｄ部３１５を奥行き方向（Ｙ方向）のＹａｗ軸を中心に回動させる駆動部が内蔵される。駆動部は、モータ３１２ａとウォームギヤを含む複数の減速ギヤ３１２ｂからなり、最終的に回動シャフト３１６を回転駆動させる。回動シャフト３１６には、位置検出センサ３１６ａが設けられる。回動シャフト３１６は管状であり、中央の穴から各ユニットへ電源線や信号線を配線することができる。また、制御基板３１２ｃがＹａｗ部３１２内部に設けられる。
【0034】
Ｐｉｔｃｈ部３１３及びＲｏｌｌ部３１４の基本構成は、Ｙａｗ部３１２と同様である。Ｐｉｔｃｈ部３１３は、Ｈａｎｄ部３１５を幅方向（Ｘ方向）のＰｉｔｃｈ軸を中心に回動させる。Ｒｏｌｌ部３１４は、Ｈａｎｄ部３１５をＲｏｌｌ軸（Ｚ方向）中心に回動させる。
【0035】
このように、保持部３１０ＡはＹａｗ軸、Ｐｉｔｃｈ軸、及びＲｏｌｌ軸の回動軸を有するため、処理対象物Ｔを自在に保持したり、保持している処理対象物Ｔに対して他の保持部３１０Ｂ、３１１Ｂでさらに保持したりして、処理対象物Ｔを自在に扱うことができる。
【0036】
＜Ｈａｎｄ部３１５＞
図６に示すように、Ｈａｎｄ部３１５は、処理対象物Ｔを保持するために対向する２本のフィンガ３１５ａ、及び、フィンガ３１５ａを開閉する駆動部で構成される。駆動部は、モータ３１５ｂと、複数の減速ギヤ３１５ｃと、回動ギヤ３１５ｄと、からなり、最終的に対向する２本のフィンガ３１５ａを連動させて回転駆動し、開閉させる。
図６に示すように、Ｈａｎｄ部３１５は、処理対象物Ｔを保持するために対向する２本のフィンガ３１５ａ、及び、フィンガ３１５ａを開閉する駆動部で構成される。駆動部は、モータ３１５ｂと、複数の減速ギヤ３１５ｃと、回動ギヤ３１５ｄと、からなり、最終的に対向する２本のフィンガ３１５ａを連動させて回転駆動し、開閉させる。
【0037】
フィンガ３１５ａは、最後の回動ギヤ３１５ｄに固定される付け根部分が板バネ３１５ｅで構成される。これにより、保持する処理対象物Ｔに必要以上の負荷をかけてしまうことを防止し、適切な負荷で処理対象物Ｔを保持できる。また、例えば、作業板４１０に掛けられた処理対象物Ｔをフィンガ３１５ａで作業板４１０ごと一旦保持し、次に作業板４１０から処理対象物Ｔだけを引き抜くときに、板バネ３１５ｅの付勢力によりフィンガ３１５ａを作業板４１０の厚み分だけ自動的に閉じることができ、モータ３１５ｂをさらに動作させなくても処理対象物Ｔを把持し続けることができる。
【0038】
［１－１－３．作業板装置の構成］
作業板装置４００は、認識処理や折り畳み処理の際に処理対象物Ｔを載置する作業板４
１０を回転及び移動させる装置である。図７に示すように、作業板装置４００は、作業板４１０、回転駆動部４２０、走行駆動部４３０、及び伝動部４４０で構成される。作業板装置４００は、そのままでは作業板４１０を無限に回転させられる回転機構である。
作業板装置４００は、認識処理や折り畳み処理の際に処理対象物Ｔを載置する作業板４
１０を回転及び移動させる装置である。図７に示すように、作業板装置４００は、作業板４１０、回転駆動部４２０、走行駆動部４３０、及び伝動部４４０で構成される。作業板装置４００は、そのままでは作業板４１０を無限に回転させられる回転機構である。
【0039】
作業板４１０は、回転駆動部４２０に設けられる回転軸４２１に固定される。回転駆動部４２０は、作業板４１０を幅方向（Ｘ方向）の回転軸４２１を中心にして回転させる。走行駆動部４３０は、作業板４１０を高さ方向に移動させる。伝動部４４０は、モータの駆動力を伝えるギヤ及びベルトなどが設けられる。
【0040】
作業板装置４００は、上述した移動機構３２０と同様の移動するための機構を備える。本実施の形態において、作業板装置４００は、保持部３１０Ｂが設けられる移動機構３２０ＡのＺガイド３４４Ａを兼用して、走行駆動部４３０が組み合わされる。このため、作業板装置４００は、Ｚガイド３４４Ａにおいて、常に保持部３１０Ａの下方で上下に移動するように構成される。
【0041】
＜作業板４１０＞
作業板４１０は、図２に示すように、作業平面の角部を面取りされた略矩形の板材である。作業板４１０は、角部の角がないように形成されることにより、布類などの処理対象物Ｔが引っ掛かる不具合が抑制される。
作業板４１０は、図２に示すように、作業平面の角部を面取りされた略矩形の板材である。作業板４１０は、角部の角がないように形成されることにより、布類などの処理対象物Ｔが引っ掛かる不具合が抑制される。
【0042】
作業板４１０は、作業板４１０の長手方向、つまり、長辺の２つの縁部がそれぞれ回転軸４２１と平行になるように回転軸４２１に固定される。このため、両方の縁部を用いての処理が容易となる。なお、図７に示すように、作業板４１０が回転軸４２１に対して偏心して配置されてもよい。この場合、回転軸４２１から作業板４１０の縁部までの距離が、それぞれの縁部ごとに異なる。これにより、例えば、処理対象物Ｔを回転軸４２１からの距離が長い側の縁部に当接させることで、同じ幅、同じ傾斜角（例えば６０度）であれば、偏心していない場合に比べてより高く処理対象物Ｔを持ち上げることができ、衣類処理装置１内の限られたスペースをより有効に活用できる。
【0043】
＜作業板装置４００の駆動部＞
回転駆動部４２０及び走行駆動部４３０は、図示しないが、いずれも上述した保持部３１０の駆動部のように、モータ、減速ギヤ、トルクリミッタ、及びトルクセンサ等の駆動機構を組み合わせ、適切な回転速度又は移動速度になるように構成される。
回転駆動部４２０及び走行駆動部４３０は、図示しないが、いずれも上述した保持部３１０の駆動部のように、モータ、減速ギヤ、トルクリミッタ、及びトルクセンサ等の駆動機構を組み合わせ、適切な回転速度又は移動速度になるように構成される。
【0044】
回転駆動部４２０の回転用モータ４２２は、右側に設けられる。回転駆動部４２０の回転軸４２１は、中空構造であり、内部空間に走行駆動部４３０の伝動シャフト４３１が貫通して設けられる。作業板４１０を回転させる回転軸４２１は、回転位置検出センサ（図示せず）が設けられ、いずれの方向にも無限に回転できるように構成される。作業板４１０の向きを初期化する原点設定構成は、特に限られないが、例えば、図７に示すように、筐体１００内の下部に初期化機構４５０が設けられ、回転軸４２１などの回転部の円周の所定位置に突起部が設けられ、所定のタイミングでリンク等の構成により突起部により作業板４１０の回転を係止することにより行われてもよい。
【0045】
走行駆動部４３０の駆動機構は、左右に設けられる。走行駆動部４３０は、詳細は図示しないが、左側に設けられた走行用モータ４３２から伝動部４４０に設けられるベルト及び伝動シャフト４３１を介して右側にも駆動力を伝達し、左右に設けられる走行ギヤを駆動する。そして、左右のアンバランスが発生しないようにして作業板４１０を上下に移動させる。また、走行位置検出センサが走行駆動部４３０に設けられる。
【0046】
作業板装置４００は、保持装置３００の動きと連動して動作するように制御される。制
御装置９００は、例えば、処理対象物Ｔの種類を認識する認識処理の際に、保持装置３００に保持され下方向Ｚ２に垂れ下がる処理対象物Ｔを、所定の向きに回転させた作業板４１０の表面又は縁部にまたがるように載置する。そして、処理対象物Ｔの一端を水平方向に引っ張って変位させて処理対象物Ｔを衣類処理装置１の底面から離間させつつその上下方向の長さを小さくする。これにより、大きな処理対象物Ｔであっても保持装置３００によって持ち上げて、作業板装置４００と協働して処理対象物Ｔの最下端を受入部２００の底面から離して、保持することができる。また、処理対象物Ｔを保持装置３００のみで上方向Ｚ１に持ち上げるだけの場合に比べ、衣類処理装置１の高さ寸法を小さくすることができる。また、作業板装置４００は、処理対象物Ｔを折り畳む折畳処理の際に、作業板４１０の縁部に処理対象物Ｔを引っ掛けることで、処理対象物Ｔに折り畳み線を設定できる。
御装置９００は、例えば、処理対象物Ｔの種類を認識する認識処理の際に、保持装置３００に保持され下方向Ｚ２に垂れ下がる処理対象物Ｔを、所定の向きに回転させた作業板４１０の表面又は縁部にまたがるように載置する。そして、処理対象物Ｔの一端を水平方向に引っ張って変位させて処理対象物Ｔを衣類処理装置１の底面から離間させつつその上下方向の長さを小さくする。これにより、大きな処理対象物Ｔであっても保持装置３００によって持ち上げて、作業板装置４００と協働して処理対象物Ｔの最下端を受入部２００の底面から離して、保持することができる。また、処理対象物Ｔを保持装置３００のみで上方向Ｚ１に持ち上げるだけの場合に比べ、衣類処理装置１の高さ寸法を小さくすることができる。また、作業板装置４００は、処理対象物Ｔを折り畳む折畳処理の際に、作業板４１０の縁部に処理対象物Ｔを引っ掛けることで、処理対象物Ｔに折り畳み線を設定できる。
【0047】
［１－１－４．撮像装置の構成］
撮像装置５００は、処理対象物Ｔを受け入れた後の掴み処理、認識処理及び折り畳み処理する際に、当該処理対象物Ｔの端点等を検出する装置である。図２及び図３に示すように、撮像装置５００は、第１撮像部５１０と、第２撮像部５２０と、第３撮像部５３０と、を含む。第１撮像部５１０及び第２撮像部５２０は、例えばデジタルスチルカメラが使用され、端点検出や、処理対象物Ｔの種類の判別などに使用される。第３撮像部５３０は、例えばステレオカメラが使用され、端点検出のための奥行き方向の距離や処理対象物Ｔの幅を測定するために使用される。いずれの撮像部も正面内壁側のフレームに設けられ、レンズの向きは後方向Ｙ２である。
撮像装置５００は、処理対象物Ｔを受け入れた後の掴み処理、認識処理及び折り畳み処理する際に、当該処理対象物Ｔの端点等を検出する装置である。図２及び図３に示すように、撮像装置５００は、第１撮像部５１０と、第２撮像部５２０と、第３撮像部５３０と、を含む。第１撮像部５１０及び第２撮像部５２０は、例えばデジタルスチルカメラが使用され、端点検出や、処理対象物Ｔの種類の判別などに使用される。第３撮像部５３０は、例えばステレオカメラが使用され、端点検出のための奥行き方向の距離や処理対象物Ｔの幅を測定するために使用される。いずれの撮像部も正面内壁側のフレームに設けられ、レンズの向きは後方向Ｙ２である。
【0048】
図８は、各撮像部の撮像範囲の一例を示す図である。第１撮像部５１０は、受入部２００の少し上方に設けられ、レンズの向きは斜めの下方向Ｚ２である。具体的には、第１撮像部５１０は、Ａ１１～Ａ１２の範囲を撮像可能である。つまり、第１撮像部５１０は、受入部２００に入れられた処理対象物Ｔを撮像する。この処理対象物Ｔの画像データは、例えば、初めの衣類の掴み上げのための画像データを取得するために使われたり、また折り畳みの進捗をチェックするために用いられたりする。
【0049】
第２撮像部５２０は、正面の中央部近傍に設けられ、Ａ２１～Ａ２２の撮像範囲を有する。図８に示すように、Ａ２１～Ａ２２の撮像範囲は広く、例えば衣類処理装置１内の天井から底までの範囲にある処理対象物Ｔを撮像する。第２撮像部５２０は、例えば、展開時及び折り畳み時の処理対象物Ｔを撮像する。撮像された画像データは、処理対象物Ｔの種類又は部位等の判別において、処理対象物Ｔを照合するための画像を撮像するために用いられる。
【0050】
第３撮像部５３０は、第１撮像部５１０と第２撮像部５２０との間に設けられ、Ａ３１～Ａ３２の撮像範囲を有する。第３撮像部５３０は、例えば左右に並んだ２つのレンズを有するステレオカメラであり、処理対象物Ｔの奥行き方向の距離を測定するために用いられる。第３撮像部５３０により撮像された画像データは、折り畳み中の最下点や衣類幅等の測距データを取得するために用いられてもよい。第３撮像部５３０の撮像範囲Ａ３１～Ａ３２には、作業板４１０が含まれる。
【0051】
［１－１－５．その他の主要構成］
＜支持部６００＞
支持部６００は、処理対象物Ｔの折り畳みの際に、折り畳みラインを押さえておいたり、処理対象物Ｔの皺を伸ばしたりなど、処理対象物Ｔを支持する壁面である。例えば、支持部６００は、作業板４１０の前方に設けられる正面側支持部６１０及び後方に設けられる背面側支持部６２０のうち少なくともいずれか一方を含む。例えば、図９に示すように、折り畳みの際に、作業板４１０は、保持部３１０に保持されて垂れ下がった処理対象物
Ｔを、その折り畳み線に沿うように、作業板４１０の前縁部と正面側支持部６１０とで挟んでホールドする。そして、保持部３１０が処理対象物Ｔを作業板４１０に掛けるように移動する。これにより、処理対象物Ｔは、作業板４１０の縁部を軸にして折り畳まれるため、折り畳み線で適切に折り畳むことができる。
＜支持部６００＞
支持部６００は、処理対象物Ｔの折り畳みの際に、折り畳みラインを押さえておいたり、処理対象物Ｔの皺を伸ばしたりなど、処理対象物Ｔを支持する壁面である。例えば、支持部６００は、作業板４１０の前方に設けられる正面側支持部６１０及び後方に設けられる背面側支持部６２０のうち少なくともいずれか一方を含む。例えば、図９に示すように、折り畳みの際に、作業板４１０は、保持部３１０に保持されて垂れ下がった処理対象物
Ｔを、その折り畳み線に沿うように、作業板４１０の前縁部と正面側支持部６１０とで挟んでホールドする。そして、保持部３１０が処理対象物Ｔを作業板４１０に掛けるように移動する。これにより、処理対象物Ｔは、作業板４１０の縁部を軸にして折り畳まれるため、折り畳み線で適切に折り畳むことができる。
【0052】
＜収納装置７００＞
収納装置７００は、処理された処理対象物Ｔを保持装置３００から受け取って収納する。収納装置７００は、図１、図１０Ａ及び図１０Ｂに示されるように、複数の収納部７１０、及び、処理対象物Ｔを受け取り各収納部７１０に格納する運搬部７２０を含む。収納装置７００は、受入部２００及び保持装置３００などが収納される処理空間の横に隣接して配設されており、処理空間と収納装置７００とを合わせて、衣類処理装置１が構成される。
収納装置７００は、処理された処理対象物Ｔを保持装置３００から受け取って収納する。収納装置７００は、図１、図１０Ａ及び図１０Ｂに示されるように、複数の収納部７１０、及び、処理対象物Ｔを受け取り各収納部７１０に格納する運搬部７２０を含む。収納装置７００は、受入部２００及び保持装置３００などが収納される処理空間の横に隣接して配設されており、処理空間と収納装置７００とを合わせて、衣類処理装置１が構成される。
【0053】
本実施の形態において、図２に示すように、収納装置７００は、５つの収納部７１０を高さ方向に配列して備える。収納の機構及び動作は、特に限られないが、一例を簡単に説明する。例えば、図１０Ａ及び図１０Ｂに示すように、各収納部７１０に処理対象物Ｔを運ぶ運搬部７２０を備えてもよい。運搬部７２０は、図示しない移動装置を含み、処理対象物Ｔの折り畳みなどの処理中は、処理空間内の壁際に格納される。
【0054】
＜制御装置９００＞
制御装置９００は、衣類処理装置１における各部の制御を統括する。制御装置９００は、主として、ＲＯＭ、ＲＡＭ、演算装置、及び入出力インターフェイスから構成される。ＲＯＭには、オペレーティングシステム、衣類処理装置１の各部を制御するための制御プログラム、及び、制御プログラムの実行に必要なデータが格納されている。また、演算装置は、ＲＯＭに格納されている制御プログラムをＲＡＭにロードしたり、ＲＯＭから直接実行したりするために設けられる。つまり、制御装置９００は、演算装置が制御プログラムを実行することにより、衣類処理装置１を制御できる。そして、演算装置が処理したデータは、入出力インターフェイスを介して、衣類処理装置１の各部（保持装置３００、作業板装置４００等）へ送信される。演算装置の処理に必要なデータは、衣類処理装置１の各部（撮像装置５００等）から入出力インターフェイスを介して受信される。
制御装置９００は、衣類処理装置１における各部の制御を統括する。制御装置９００は、主として、ＲＯＭ、ＲＡＭ、演算装置、及び入出力インターフェイスから構成される。ＲＯＭには、オペレーティングシステム、衣類処理装置１の各部を制御するための制御プログラム、及び、制御プログラムの実行に必要なデータが格納されている。また、演算装置は、ＲＯＭに格納されている制御プログラムをＲＡＭにロードしたり、ＲＯＭから直接実行したりするために設けられる。つまり、制御装置９００は、演算装置が制御プログラムを実行することにより、衣類処理装置１を制御できる。そして、演算装置が処理したデータは、入出力インターフェイスを介して、衣類処理装置１の各部（保持装置３００、作業板装置４００等）へ送信される。演算装置の処理に必要なデータは、衣類処理装置１の各部（撮像装置５００等）から入出力インターフェイスを介して受信される。
【0055】
図１１に示すように、制御装置９００は、保持装置制御部９０１、作業板装置制御部９０２、撮像装置制御部９０３、収納装置制御部９０４、種類認識部９１０、部位検出部９１１、長さ検出部９１２、ずれ補正部９１３、特異事象検出部９１４、第１点検出部９１５、第２点検出部９１６、端点検出部９１７、を備える。
【0056】
保持装置制御部９０１は、保持装置３００における保持部３１０、及びそれぞれの移動機構３２０の動作を制御する。つまり、保持装置制御部９０１が、保持部３１０における各種モータを制御することにより、Ｈａｎｄ部３１５の向きを調節、及び、対向するフィンガ３１５ａを互いに近接又は離間させ、処理対象物Ｔの把持又はその開放を行う。また、保持装置制御部９０１が移動機構３２０における幅方向移動機構３３０の動作を制御することにより、保持部３１０が幅方向（Ｘ方向）に移動する。また、保持装置制御部９０１が移動機構３２０における高さ方向移動機構３４０の動作を制御することにより、保持部３１０が高さ方向（Ｚ方向）に移動する。また、保持装置制御部９０１が移動機構３２０における奥行き方向移動機構３５０の動作を制御することにより、保持部３１０が奥行き方向（Ｙ方向）に移動する。
【0057】
作業板装置制御部９０２は、作業板装置４００における回転駆動部４２０及び走行駆動部４３０の動作を制御する。つまり、作業板装置制御部９０２が回転駆動部４２０の動作を制御することにより、作業板４１０が回転するとともに所定の角度を保持する。また、
作業板装置制御部９０２が走行駆動部４３０の動作を制御することにより、作業板４１０が高さ方向（Ｚ方向）に移動する。
作業板装置制御部９０２が走行駆動部４３０の動作を制御することにより、作業板４１０が高さ方向（Ｚ方向）に移動する。
【0058】
撮像装置制御部９０３は、撮像装置５００における第１撮像部５１０、第２撮像部５２０、及び第３撮像部５３０の動作を制御する。つまり、撮像装置制御部９０３が第１撮像部５１０、第２撮像部５２０、及び第３撮像部５３０を制御することにより、所望のタイミングでデジタル画像を取得できる。取得された画像データは、ＲＡＭ等に記憶される。
【0059】
収納装置制御部９０４は、収納装置７００における運搬部７２０の動作を制御する。
【0060】
種類認識部９１０は、撮像装置５００における第１撮像部５１０、第２撮像部５２０、及び第３撮像部５３０で得られた画像データに基づいて処理対象物Ｔの種類等を認識する。この種類識別について説明すると、種類認識部９１０は、予め、Ｔシャツ、ランニングシャツ、スカート、タオル、ハンカチ、フィルム、紙、あるいは、シートといった多種多様な処理対象物Ｔの画像データ（学習用画像データ）から抽出された特徴量に基づき、所定の機械学習アルゴリズムを用いて学習する。種類認識部９１０は、第２撮像部５２０及び第３撮像部５３０で得られた画像データに写された、現在処理中の処理対象物Ｔの特徴量を算出する。そして、種類認識部９１０は、算出した特徴量毎に機械学習アルゴリズムを用いて当該処理対象物Ｔがある種類（例えば、Ｔシャツ、ランニングシャツ、長袖シャツ、ズボン、タオル等）に該当する確率を種類毎にパーセンテージで計算する。然る後、最も確率の高い（すなわち、パーセンテージの高い）ものを当該処理対象物Ｔの種類として認識する。また、種類認識部９１０では、処理対象物Ｔの種類毎に折り畳み方が予め決められており、各種類の折り畳み方が「折り畳み情報」として蓄積されている。
【0061】
部位検出部９１１は、撮像装置５００で得られた画像データに基づいて、処理対象物Ｔの袖などの特徴的な部位を検出する。
【0062】
長さ検出部９１２は、撮像装置５００で得られた画像データに基づいて、処理対象物Ｔの縦方向の長さ（例えば、Ｔシャツの着丈寸法）及び横方向の長さ（例えば、Ｔシャツの幅寸法）を得る。
【0063】
ずれ補正部９１３は、処理対象物Ｔが作業板４１０に掛けられている状態で、処理対象物Ｔのずれを補正する。例えば、処理対象物Ｔが作業板４１０に掛けられている状態で、作業板４１０の長手方向（Ｘ方向）の縁と、処理対象物ＴのＸ方向の縁とが略平行でない場合、ずれが生じている。このとき、ずれ補正部９１３は、作業板４１０の長手方向（Ｘ方向）の縁と、処理対象物ＴのＸ方向の縁とが略平行になるようにずれ補正を行う。
【0064】
特異事象検出部９１４は、撮像装置５００で得られた画像データに基づいて、処理対象物Ｔの折り畳み方法に影響する異常な事象を検出する。つまり、処理対象物Ｔの特異事象とは、袖及び裾などが意図せずに折り重なったりねじれたりした状態、処理対象物Ｔが想定以上に厚い状態、折り畳み途中で一部がはみ出た状態、紐などの付属的なものが垂れた状態、などを含む。
【0065】
第１点検出部９１５は、受入部２００における底面に載置された処理対象物Ｔの任意の点を検出する。例えば、第１点検出部９１５は、処理対象物Ｔの最も高い位置を第１点Ｐ１として検出する。
【0066】
第２点検出部９１６は、保持部３１０が保持する処理対象物Ｔに対し、端点以外の任意の点を特定する。第２点検出部９１６は、例えば、処理対象物Ｔの２つの長袖部分を特定した場合、長袖部分の中間位置を任意の点としてもよい。
【0067】
端点検出部９１７は、保持部３１０が保持する処理対象物Ｔに対し、高さ方向における最下点（端点）の位置を検出する。具体的には、第３撮像部５３０により撮像された画像を用いて、高さ方向に加えて、幅方向及び奥行き方向における処理対象物Ｔの最下点の座標を取得する。
【0068】
なお、衣類処理装置１の処理としては、処理対象物Ｔを保持して展開したり、種類などを認識したり、折り畳んだり、収納したりすることができるが、ここでは具体的には説明しない。各構成において、必要に応じて説明される。
【0069】
［１－１－６．処理対象物の状態を判定する技術の詳細］
処理対象物Ｔである衣類等の種別、上下左右の向き、前後または表裏の向き、等の状況によっては判定が困難となる状態を判定する技術の詳細について説明する。
処理対象物Ｔである衣類等の種別、上下左右の向き、前後または表裏の向き、等の状況によっては判定が困難となる状態を判定する技術の詳細について説明する。
【0070】
図１２は、実施の形態１に係る制御装置９００の機能構成のうち、処理対象物Ｔの状態を判定する動作を制御するための機能構成を示す。
【0071】
制御装置９００は、撮像画像取得部９７０、状態判定部９７１、ユーザ問合せ部９７２、及び状態検出部９７３を備える。
【0072】
撮像画像取得部９７０は、第２撮像部５２０又は第３撮像部５３０により撮像された処理対象物Ｔの撮像画像を取得する。撮像画像取得部９７０は、処理対象物Ｔが保持部３１０により保持されて吊り下げられた状態の撮像画像を取得してもよい。また、吊り下げられた状態は処理対象物Ｔの展開後の状態であってもよい。
【0073】
状態判定部９７１は、処理対象物Ｔの撮像画像において、状態検出部９７３を用いて処理対象物Ｔの状態を判定する。状態検出部９７３は、処理対象物Ｔの撮像画像を入力し、機械学習モデルを用いて状態の検出を行い、検出結果の信頼度を出力する。状態判定部９７１は、予め設定した閾値に対して状態の検出結果の信頼度が低い場合、ユーザ問合せ部９７２に状態について問い合わせる問合せ指令を行い、ユーザ問合せ部９７２によるユーザへの問い合わせの結果得られた状態を用いて状態の判定を行う。
【0074】
ユーザ問合せ部９７２は、状態検出部９７３が出力した処理対象物Ｔの状態の検出結果の信頼度が低い場合に発せられる状態判定部９７１の問合せ指令に従って、衣類状態についてユーザインターフェースを用いてユーザへ問い合わせを行う。図１３は、実施の形態１に係るユーザインターフェースの例を示す。具体的には、ユーザインターフェースとしてユーザのスマートフォン９７４を利用し、長袖シャツＴ１の状態を問い合わせる例である。
【0075】
つまり、ユーザ問合せ部９７２は、処理対象物Ｔの撮像画像をユーザのスマートフォン９７４に表示し、ユーザに長袖シャツＴ１の前後の状態を選択してもらう。図１３の場合、ユーザは、衣類状態として、前後向き判定における「前」を選択することになる。特に衣類の前後の状態の判定については、襟ぐりでは判定できない場合、または、衣類の柄や絵などが衣類によって衣類の前にあったり、後ろにあったりする場合など、衣類の持ち主でないと判定が難しいことがある。このため、ユーザへ問い合わせを行うことにより正しい衣類状態を得ることができ、機械学習で学習したモデルだけで判定する場合に比べて、判定の精度を高めることができる。
【0076】
これにより、衣類処理装置１は、機械学習モデルでは判定が難しい処理対象物Ｔの状態をユーザに問い合わせて判定することができるので、処理対象物Ｔの様々な状態を高い精
度で判定することができる。
度で判定することができる。
【0077】
状態検出部９７３において、機械学習モデルは、処理対象物Ｔの撮像画像を用いて予め学習させた学習済みモデルが使用される。機械学習モデルとしてディープラーニングが用いられる場合、状態の検出結果とともに、検出結果がどれほど確からしいかどうかを示す信頼度が出力される。機械学習モデルとしては、ディープラーニングと同様、検出結果とともに信頼度を出力する他の機械学習モデル、例えば、サポートベクター分類器が用いられてもよい。
【0078】
なお、状態検出部９７３の機械学習モデルは、ユーザ問合せ部９７２への問合せ指令の回数が所定の回数を超えた場合、もしくは問い合わせた結果を所定数得られた場合など、必要に応じて撮像画像取得部９７０で撮像した処理対象物Ｔの複数の撮像画像を学習し、更新されてもよい。
【0079】
状態検出部９７３の機械学習モデルの更新方法の一例について説明する。状態判定部９７１は、ユーザ問合せ部９７２への問合せ指令のたびに、撮像画像取得部９７０で撮像した処理対象物Ｔの撮像画像及びユーザ問合せ部９７２によって得られた状態の判定結果を保存する。ユーザ問合せ部９７２への問合せ指令の回数が所定の回数を超えた場合、もしくは問い合わせた結果を所定数得られた場合など、保存しておいた処理対象物Ｔの撮像画像及び状態の判定結果を状態検出部９７３へ転送する。
【0080】
状態検出部９７３は、衣類処理装置１が動作していない時間を利用して、処理対象物Ｔの撮像画像を入力し、状態の判定結果を教師データとして状態検出部９７３の機械学習モデルの学習を行う。得られた学習モデルを状態検出部９７３の学習モデルに上書きし、学習モデルの更新を行う。機械学習モデルがディープラーニングである場合、状態検出部９７３は、処理対象物Ｔの撮像画像を入力層に入力し、ユーザ問合せ部９７２により取得された状態の判定結果がニューラルネットワークの出力層から出力されるように、ニューラルネットワークの中間層を調整することにより、機械学習モデルを学習する。得られた学習モデルは状態検出部９７３の機械学習モデルに上書きされ、更新が完了する。
【0081】
これにより、状態判定部９７１は、ユーザの環境に合わせた撮像画像で学習でき、ユーザ環境に適した機械学習モデルを構築できるため、状態検出部９７３の精度を向上させることができる。
【0082】
なお、状態判定部９７１は、ユーザ問合せ部９７２へ問合せ指令を行ったとき、所定時間が経過してもユーザから判定結果が得られない場合、そのまま状態検出部９７３の検出結果を用いて状態の判定を行ってもよい。これにより、ユーザから判定結果が得られない場合でも、衣類処理装置１の動作を止めることを回避でき、衣類処理装置１の所望の動作、折り畳み等を実現することができる。
【0083】
［１－２．動作］
以上のように構成された衣類処理装置１について、以下その動作、作用を説明する。
以上のように構成された衣類処理装置１について、以下その動作、作用を説明する。
【0084】
図１４は、実施の形態１に係る処理対象物Ｔの状態を判定する動作の手順を示すフローチャートである。保持装置制御部９０１は、処理対象物Ｔの任意の位置を保持部３１０Ａに把持させて、処理対象物Ｔを吊り下げる（ステップＳ１０）。撮像画像取得部９７０は、第２撮像部５２０又は第３撮像部５３０により撮像された処理対象物Ｔの撮像画像を取得する（ステップＳ１２）。状態判定部９７１は、処理対象物Ｔの撮像画像において、状態検出部９７３を用いて、機械学習モデルにより処理対象物Ｔの状態を検出し、その信頼度を取得する（ステップＳ１４）。
【0085】
状態検出部９７３から取得した状態検出結果の信頼度が予め設定した閾値以上の場合（ステップＳ１６のＹ）、状態判定部９７１は、状態検出部９７３が出力した検出結果を使用して状態判定を行う（ステップＳ２４）。状態検出部９７３が出力した検出結果の信頼度が閾値より小さい場合（ステップＳ１６のＮ）、ユーザ問合せ部９７２へ問合せ指令を行う。これにより、ユーザ問合せ部９７２はユーザへ問い合わせを行い（ステップＳ１８）、所定時間内にユーザによる状態の判定結果を取得できれば、状態判定部９７１にその結果を返す（ステップＳ２０のＹ、ステップＳ２２）。状態判定部９７１は、この判定結果を使用して状態判定を行う（ステップＳ２４）。ただし、ステップＳ１８でユーザに問い合わせても所定時間内に状態の判定結果を取得できない場合（ステップＳ２０のＮ）、状態判定部９７１は、状態検出部９７３が出力した検出結果を使用して状態判定を行う（ステップＳ２４）。そして、衣類処理装置１は、状態判定部９７１により判定された処理対象物Ｔの状態に基づいて、折り畳み等の衣類処理を行う（ステップＳ２６）。
【0086】
［１－３．効果等］
以上のように、本実施の形態において、衣類処理装置１は、処理対象物Ｔの撮像画像を取得する撮像画像取得部９７０と、撮像画像取得部９７０により取得された処理対象物Ｔの撮像画像に基づいて処理対象物Ｔの状態を判定する状態判定部９７１と、撮取得された処理対象物Ｔの撮像画像を使用して処理対象物Ｔの状態をユーザに問い合わせるユーザ問合せ部９７２と、取得された処理対象物Ｔの撮像画像に基づいて処理対象物Ｔの状態を検出し、検出結果とともに検出結果の信頼度を出力する機械学習モデルを備える状態検出部９７３と、を備え、状態判定部９７１は、状態検出部９７３が出力する信頼度が所定値より低い場合、ユーザ問合せ部９７２により処理対象物Ｔの状態についてユーザに問い合わせを行い、ユーザへの問い合わせにより得られた状態を用いて処理対象物Ｔの状態の判定を行う。これにより、機械学習モデルでは判定が難しい処理対象物Ｔの状態をユーザが判定することができるので、処理対象物Ｔの状態を高い精度で判定することができる。
以上のように、本実施の形態において、衣類処理装置１は、処理対象物Ｔの撮像画像を取得する撮像画像取得部９７０と、撮像画像取得部９７０により取得された処理対象物Ｔの撮像画像に基づいて処理対象物Ｔの状態を判定する状態判定部９７１と、撮取得された処理対象物Ｔの撮像画像を使用して処理対象物Ｔの状態をユーザに問い合わせるユーザ問合せ部９７２と、取得された処理対象物Ｔの撮像画像に基づいて処理対象物Ｔの状態を検出し、検出結果とともに検出結果の信頼度を出力する機械学習モデルを備える状態検出部９７３と、を備え、状態判定部９７１は、状態検出部９７３が出力する信頼度が所定値より低い場合、ユーザ問合せ部９７２により処理対象物Ｔの状態についてユーザに問い合わせを行い、ユーザへの問い合わせにより得られた状態を用いて処理対象物Ｔの状態の判定を行う。これにより、機械学習モデルでは判定が難しい処理対象物Ｔの状態をユーザが判定することができるので、処理対象物Ｔの状態を高い精度で判定することができる。
【0087】
また、本実施の形態において、衣類処理装置１の状態判定部９７１は、少なくとも、処理対象物Ｔである衣類等の種別、上下左右の向き、前後または表裏の向き、等の状況によっては判定が困難となる状態のうちいずれかの状態を判定する。これにより、衣類の持ち主でないと判定するのが難しい衣類の状態を、高い精度で判定することができる。
【0088】
また、本実施の形態において、衣類処理装置１は、ユーザへの問い合わせ回数が所定回数を超えた場合、または、前記ユーザに問い合わせた結果を所定数得られた場合、前記ユーザに問い合わせた結果を用いて撮像画像取得部９７０で撮像した処理対象物Ｔの複数の撮像画像を学習し、状態検出部９７３の機械学習モデルを更新する。これにより、ユーザの環境に合わせた撮像画像で学習でき、ユーザ環境に適した機械学習モデルを構築できるため、状態検出部９７３の精度を向上させることができる。
【0089】
また、本実施の形態において、衣類処理装置１は、処理対象物Ｔの状態をユーザに問い合わせたときにユーザから判定結果が得られない場合、状態検出部９７３の検出結果を用いて状態の判定を行う。これにより、例えば、所定時間たってもユーザから判定結果が得られない場合でも、衣類処理装置１の動作を止めることを回避でき、衣類処理装置１の所望の動作を実現することができる。
【0090】
また、本実施の形態において、衣類処理装置１の判定方法は、処理対象物Ｔの撮像画像を取得するステップＳ１２と、取得された処理対象物Ｔの撮像画像に基づいて、機械学習モデルを用いて処理対象物Ｔの状態を検出し、検出結果の信頼度を取得するステップＳ１４と、信頼度が所定値より低い場合、処理対象物Ｔの状態についてユーザ問い合わせを行うステップＳ１８と、ユーザ問い合わせにより得られた状態を用いて処理対象物Ｔの状態
の判定を行うステップＳ２４と、を備える。これにより、機械学習モデルでは判定が難しく信頼度が低いと判断された場合、処理対象物Ｔの状態をユーザに問い合わせて判定することができるので、処理対象物Ｔの状態を高い精度で判定することができる。
の判定を行うステップＳ２４と、を備える。これにより、機械学習モデルでは判定が難しく信頼度が低いと判断された場合、処理対象物Ｔの状態をユーザに問い合わせて判定することができるので、処理対象物Ｔの状態を高い精度で判定することができる。
【0091】
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【0092】
また、上述の実施の形態においては、衣類の折り畳みを例として説明をしたが、衣類の折り畳みに限定されず、衣類状態を判定して衣類の処理を行うものにも適用することができる。
【産業上の利用可能性】
【0093】
本開示は、衣類状態を判定して衣類の処理を行う衣類処理装置に利用可能である。
【符号の説明】
【0094】
１ 衣類処理装置
Ｔ 処理対象物
Ｔ１ 長袖シャツ
Ｘ１ 左方向
Ｘ２ 右方向
Ｙ１ 前方向
Ｙ２ 後方向
Ｚ１ 上方向
Ｚ２ 下方向
１００ 筐体
１１０ フレーム
１２０ 外郭
２００ 受入部
２１０ ガイドレール
３００ 保持装置
３００Ａ、３００Ｂ 保持装置
３１０、３１０Ａ、３１０Ｂ、３１１Ｂ 保持部
３１２ Ｙａｗ部
３１３ Ｐｉｔｃｈ部
３１４ Ｒｏｌｌ部
３１５ Ｈａｎｄ部
３１６ 回動シャフト
３１７ 力覚センサ
３２０、３２０Ａ、３２０Ｂ 移動機構
３３０、３３０Ａ、３３０Ｂ 幅方向移動機構
３３２Ａ、３３２Ｂ 幅方向駆動部
３３４Ａ、３３４Ｂ Ｘガイド
３４０、３４０Ａ、３４０Ｂ 高さ方向移動機構
３４２Ａ、３４２Ｂ 高さ方向駆動部
３４４Ａ、３４４Ｂ Ｚガイド
３５０、３５０Ａ、３５０Ｂ 奥行き方向移動機構
３５２Ａ、３５２Ｂ 奥行き方向駆動部
３５４ Ｙガイド
４００ 作業板装置
４１０ 作業板
４１１ 側端板
４２０ 回転駆動部
４２１ 回転軸
４２２ 回転用モータ
４３０ 走行駆動部
４３１ 伝動シャフト
４３２ 走行用モータ
４４０ 伝動部
４５０ 初期化機構
５００ 撮像装置
５１０ 第１撮像部
５２０ 第２撮像部
５３０ 第３撮像部
６００ 支持部
６１０ 正面側支持部
６２０ 背面側支持部
７００ 収納装置
７１０、７１０ａ、７１０ｂ、７１０ｃ、７１０ｄ、７１０ｅ 収納部
７１１ ドア
７２０ 運搬部
７２１、７２１ａ、７２１ｂ、７２１ｃ 挟持板
７２２ａ、７２２ｂ レール
７２３ 連結部
７２４ 回転軸
７２５ 蝶番
９００ 制御装置
９７０ 撮像画像取得部
９７１ 状態判定部
９７２ ユーザ問合せ部
９７３ 状態検出部
９７４ スマートフォン（ユーザインターフェース）
Ｔ 処理対象物
Ｔ１ 長袖シャツ
Ｘ１ 左方向
Ｘ２ 右方向
Ｙ１ 前方向
Ｙ２ 後方向
Ｚ１ 上方向
Ｚ２ 下方向
１００ 筐体
１１０ フレーム
１２０ 外郭
２００ 受入部
２１０ ガイドレール
３００ 保持装置
３００Ａ、３００Ｂ 保持装置
３１０、３１０Ａ、３１０Ｂ、３１１Ｂ 保持部
３１２ Ｙａｗ部
３１３ Ｐｉｔｃｈ部
３１４ Ｒｏｌｌ部
３１５ Ｈａｎｄ部
３１６ 回動シャフト
３１７ 力覚センサ
３２０、３２０Ａ、３２０Ｂ 移動機構
３３０、３３０Ａ、３３０Ｂ 幅方向移動機構
３３２Ａ、３３２Ｂ 幅方向駆動部
３３４Ａ、３３４Ｂ Ｘガイド
３４０、３４０Ａ、３４０Ｂ 高さ方向移動機構
３４２Ａ、３４２Ｂ 高さ方向駆動部
３４４Ａ、３４４Ｂ Ｚガイド
３５０、３５０Ａ、３５０Ｂ 奥行き方向移動機構
３５２Ａ、３５２Ｂ 奥行き方向駆動部
３５４ Ｙガイド
４００ 作業板装置
４１０ 作業板
４１１ 側端板
４２０ 回転駆動部
４２１ 回転軸
４２２ 回転用モータ
４３０ 走行駆動部
４３１ 伝動シャフト
４３２ 走行用モータ
４４０ 伝動部
４５０ 初期化機構
５００ 撮像装置
５１０ 第１撮像部
５２０ 第２撮像部
５３０ 第３撮像部
６００ 支持部
６１０ 正面側支持部
６２０ 背面側支持部
７００ 収納装置
７１０、７１０ａ、７１０ｂ、７１０ｃ、７１０ｄ、７１０ｅ 収納部
７１１ ドア
７２０ 運搬部
７２１、７２１ａ、７２１ｂ、７２１ｃ 挟持板
７２２ａ、７２２ｂ レール
７２３ 連結部
７２４ 回転軸
７２５ 蝶番
９００ 制御装置
９７０ 撮像画像取得部
９７１ 状態判定部
９７２ ユーザ問合せ部
９７３ 状態検出部
９７４ スマートフォン（ユーザインターフェース）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14】
