特許 7606349 進捗判定システム、進捗判定方法、プログラム、及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-17

(45)【発行日】2024-12-25

(54)【発明の名称】進捗判定システム、進捗判定方法、プログラム、及び記憶媒体

(51)【国際特許分類】

   G06T 7/62 20170101AFI20241218BHJP

   G06Q 50/04 20120101ALI20241218BHJP

【ＦＩ】

G06T7/62

G06Q50/04

【請求項の数】 11

(21)【出願番号】P 2021000118

(22)【出願日】2021-01-04

(65)【公開番号】P2022105385

(43)【公開日】2022-07-14

【審査請求日】2023-09-14

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110004026

【氏名又は名称】弁理士法人ｉＸ

(72)【発明者】

【氏名】青木 勇輔

(72)【発明者】

【氏名】櫻井 勇樹

(72)【発明者】

【氏名】柴田 智行

【審査官】吉田 千裕

(56)【参考文献】

【文献】国際公開第２０１９／２２１１１０（ＷＯ，Ａ１）

【文献】国際公開第２０１９／２１５９２４（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２０／００２６９２３（ＵＳ，Ａ１）

【文献】集合住宅内装仕上げ工事における工事写真認識システムの開発，大林組技術研究所報 No.80-10 2016年，日本，大林組，2016年12月31日，https://www.obayashi.co.jp/technology/shoho/080/2016_080_09.pdf

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／６２

Ｇ０６Ｑ ５０／０４

(57)【特許請求の範囲】

【請求項1】

作業に関する物品を同じタイミングで互いに異なる角度から写した複数の画像を取得し、前記複数の画像のそれぞれから、複数の色のそれぞれの面積値を示す面積データを取得する第１取得部と、
複数の前記面積データに対するそれぞれの確度に基づいて前記複数の面積データを１つに統合する統合部と、
統合された前記面積データを分類器に入力し、進捗度を示す分類結果を前記分類器から取得する第２取得部と、
を備えた進捗判定システム。

【請求項2】

前記第１取得部は、前記複数の色にそれぞれ対応する複数の画素値の範囲に基づいて、前記画像に含まれる各画素の色を判定し、それぞれの前記色の画素数を前記面積値として算出する、請求項１記載の進捗判定システム。

【請求項3】

前記第１取得部は、前記画像から、前記物品のエッジを示すエッジデータをさらに取得し、
前記第２取得部は、前記面積データ及び前記エッジデータを前記分類器に入力し、前記分類結果を取得する、請求項１又は２に記載の進捗判定システム。

【請求項4】

前記複数の面積データのそれぞれに対する確度は、第１確度、第２確度、第３確度、及び第４確度から選択される１つ以上に基づき、
前記第１確度は、それぞれの前記面積データに対する信頼性に対応して設定され、
前記第２確度は、それぞれの前記画像における前記物品の大きさに対応して設定され、
前記第３確度は、それぞれの前記画像を撮影する撮影部の前記物品に対する角度に対応して設定され、
前記第４確度は、それぞれの前記画像における人の大きさに対応して設定される、請求項１～３のいずれか１つに記載の進捗判定システム。

【請求項5】

前記物品を撮影する撮影部をさらに備え、
前記第１取得部は、前記撮影部によって撮影された画像から、前記物品が写った領域を切り出し、切り出された前記画像から、前記面積データを取得する、請求項１～４のいずれか１つに記載の進捗判定システム。

【請求項6】

前記第１取得部は、人が写った領域を前記画像から除去した後に、前記面積データを取得する、請求項１～５のいずれか１つに記載の進捗判定システム。

【請求項7】

前記進捗度と、前記画像が撮影された時刻に基づいて算出される前記作業の実績と、予め設定された前記作業の計画と、を表示する表示部をさらに備えた、請求項１～６のいずれか１つに記載の進捗判定システム。

【請求項8】

前記分類器は、前記物品が写された学習画像から取得される面積データを入力データとし、前記学習画像に対応する進捗度をラベルとして用いて学習され、
学習済みの前記分類器に、前記画像から取得された前記面積データが入力される、請求項１～７のいずれか１つに記載の進捗判定システム。

【請求項9】

作業に関する物品を同じタイミングで互いに異なる角度から写した複数の画像を取得し、
前記複数の画像のそれぞれから、複数の色のそれぞれの面積値を示す面積データを取得し、
複数の前記面積データに対するそれぞれの確度に基づいて前記複数の面積データを１つに統合し、
統合された前記面積データを分類器に入力し、進捗度を示す分類結果を前記分類器から取得する、進捗判定方法。

【請求項10】

コンピュータに、
作業に関する物品を同じタイミングで互いに異なる角度から写した複数の画像を取得させ、
前記複数の画像のそれぞれから、複数の色のそれぞれの面積値を示す面積データを取得させ、
複数の前記面積データに対するそれぞれの確度に基づいて前記複数の面積データを１つに統合させ、
統合された前記面積データを分類器に入力させ、進捗度を示す分類結果を前記分類器から取得させる、
プログラム。

【請求項11】

請求項１０に記載のプログラムを記憶した記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、進捗判定システム、進捗判定方法、プログラム、及び記憶媒体に関する。

【背景技術】

【0002】

作業の進捗を自動的に判定するために、種々の技術が開発されている。進捗の判定について、精度の向上が望まれている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－７１５６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、進捗の判定精度を向上可能な、進捗判定システム、進捗判定方法、プログラム、及び記憶媒体を提供することである。

【課題を解決するための手段】

【0005】

実施形態に係る進捗判定システムは、第１取得部及び第２取得部を備える。前記第１取得部は、作業に関する物品が写された画像から、複数の色のそれぞれの面積値を示す面積データを取得する。前記第２取得部は、前記面積データを分類器に入力し、進捗度を示す分類結果を前記分類器から取得する。

【図面の簡単な説明】

【0006】

【図1】実施形態に係る進捗判定システムを表す模式図である。

【図2】実施形態に係る進捗判定システムの処理を説明するための模式図である。

【図3】実施形態に係る進捗判定システムの処理を説明するための模式図である。

【図4】実施形態に係る進捗判定システムの処理を説明するための模式図である。

【図5】実施形態に係る進捗判定システムの処理を説明するための模式図である。

【図6】実施形態に係る進捗判定システムによる出力例を表す模式図である。

【図7】実施形態に係る進捗判定システムによる別の出力例を表す模式図である。

【図8】工数の算出方法を説明するための模式図である。

【図9】実施形態における分類器の学習時の処理を表すフローチャートである。

【図10】実施形態に係る進捗判定システムによる処理を表すフローチャートである。

【図11】実施形態の第１変形例における分類器の学習時の処理を表すフローチャートである。

【図12】実施形態の第１変形例に係る進捗判定システムによる処理を表すフローチャートである。

【図13】実施形態の第２変形例に係る進捗判定システムを表す模式図である。

【図14】実施形態の第２変形例に係る進捗判定システムが適用された作業現場を表す模式図である。

【図15】面積データの一例を表すグラフである。

【図16】実施形態の第２変形例に係る進捗判定システムによる処理を表すフローチャートである。

【図17】ハードウェア構成を表す模式図である。

【発明を実施するための形態】

【0007】

以下に、本発明の各実施形態について図面を参照しつつ説明する。本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

【0008】

図１は、実施形態に係る進捗判定システムを表す模式図である。
実施形態に係る進捗判定システムは、作業に関する物品を写した画像から、その作業の進捗度を判定するために用いられる。作業は、製造、物流、工事、点検などにおける所定の仕事である。物品は、作業の対象となる製品又は機器、作業で使われる機器、部品又は道具などである。

【0009】

図１に表したように、進捗判定システム１は、第１取得部１１、第２取得部１２、記憶部１５、撮影部２０、入力部２１、及び表示部２２を含む。撮影部２０は、作業に関する物品を撮影し、画像を生成する。撮影部２０は、物品を繰り返し撮影する。撮影部２０は、撮影によって動画を生成しても良い。撮影部２０は、画像又は動画を記憶部１５に保存する。

【0010】

画像には、撮影した物品を示す物品識別データ、その物品が関係する作業を示す作業識別データ、及び撮影時刻が紐付けられる。物品識別データ及び作業識別データは、撮影の開始前に、ユーザにより予め設定される。ユーザは、作業者、作業の監督者、又は進捗判定システム１を管理する管理者などである。

【0011】

第１取得部１１は、記憶部１５に保存された画像を取得する。記憶部１５に動画が保存されている場合、第１取得部１１は、動画から静止画を切り出す。第１取得部１１は、画像における複数の色のそれぞれの面積値を算出する。具体的には、画像から抽出される色が予めユーザによって設定され、記憶部１５に保存される。ユーザは、それぞれの色に対応する画素値の範囲を予め設定する。

【0012】

例えば、画像中の各画素の画素値がＲＧＢ色空間に基づく場合、画素値は、Ｒ、Ｇ、及びＢのそれぞれの輝度を含む。Ｒ、Ｇ、及びＢのそれぞれの輝度に対する上限及び下限が、範囲として設定される。画像中の各画素の画素値が、Ｌａｂ色空間に基づく場合、Ｌ、ａ、及びｂのそれぞれの値に対する上限及び下限が、範囲として設定される。範囲は、それぞれの色に対して設定される。例えば、進捗度の判定に４つの色を用いる場合、４つの色のそれぞれに対して、範囲が設定される。

【0013】

第１取得部１１は、各画素の画素値を複数の範囲と比較する。画素値がいずれかの範囲に含まれているとき、第１取得部１１は、その画素値を有する画素の色が、その範囲に対応した色であると判定する。各画素値と複数の範囲との比較により、各画素の色が、予め設定されたいずれかの色か否かが判定される。第１取得部１１は、比較結果に基づき、それぞれの色の画素数を算出する。第１取得部１１は、それぞれの色の画素数を、それぞれの色の面積値として用いる。第１取得部１１は、各色の面積値を含む面積データを第２取得部１２に送信する。また、第１取得部１１は、面積データを、物品識別データ、作業識別データ、及び撮影時刻と紐付けて記憶部１５に保存する。

【0014】

第２取得部１２は、面積データを取得すると、その面積データを分類器に入力する。分類器は、面積データが入力されると、作業の進捗度を示す分類結果を出力する。分類器は、予めユーザにより学習され、記憶部１５に保存される。例えば、ランダムフォレストにより学習された分類器、又はベイズ分類器などが、分類器として用いられる。

【0015】

分類器は、面積データが入力されると、進捗度の分類結果を出力する。例えば、分類器は、面積データの各進捗度への適合率を出力する。第２取得部１２は、分類結果から、最も適合率が高い進捗度を選択する。第２取得部１２は、選択した進捗度を、入力した面積データに対応する進捗度として取得する。第２取得部１２は、取得した進捗度を、面積データに紐付けられた撮影時刻における作業の進捗度として、記憶部１５に保存する。

【0016】

入力部２１は、上述した種々のデータをユーザが進捗判定システム１に入力する際に使用される。表示部２２は、第２取得部１２から出力されたデータを、ユーザが視認できるように表示する。

【0017】

図２～図５は、実施形態に係る進捗判定システムの処理を説明するための模式図である。
具体例を参照しながら、進捗判定システム１による処理を説明する。

【0018】

（学習）
ユーザは、分類器を予め学習させる。ユーザは、学習データを用意する。例えば、学習データは、複数の学習画像と、複数の学習画像にそれぞれ紐付けられた複数の進捗度と、を含む。例えば、ユーザは、撮影部２０により、それぞれの進捗度に対応した状態の物品を撮影し、学習画像を生成する。学習画像の撮影条件は、進捗度の判定の際の撮影条件と同様に設定される。例えば、学習画像を用意するときと、進捗度を判定するときにおいて、物品に対する撮影部２０の位置及び角度は、同じに設定される。学習画像として、撮影された画像に代えて、ＣＡＤ図、３Ｄモデル画像、又は人が描いたイラストなどが用いられても良い。

【0019】

この例では、第１取得部１１が、分類器を学習させる学習部として機能する。第１取得部１１は、それぞれの学習画像から面積データを取得する。第１取得部１１は、面積データを入力データとし、その学習画像に紐付けられた進捗度をラベルとして、分類器を学習させる。

【0020】

図２（ａ）は、ユーザにより用意された学習画像の一例である。学習画像ＴＩ１には、棚５０が写っている。棚５０には、作業で使用される部品５１～５３が収納されている。棚５０の色は、白（ＷＨ）である。部品５１の色は、黄（ＹＬ）である。部品５２の色は、黒（ＢＫ）である。部品５３の色は、緑（ＧＲ）である。学習画像ＴＩ１には、進捗度「０％」が紐付けられている。進捗度は、この例のように百分率で表されても良いし、別の数値で示されても良い。

【0021】

この場合、進捗度の判定に、白、黄、緑、及び黒の４色を用いることができる。ユーザは、白、黄、緑、及び黒のそれぞれの輝度の範囲を設定する。例えば、各画素値がＲＢＧ色空間に基づき、且つ２５６階調で表される場合、（Ｒ：Ｇ：Ｂ）＝（２４５～２５５：２４５～２５５：２４５～２５５）の範囲が、白色の範囲として設定される。（Ｒ：Ｇ：Ｂ）＝（２４５～２５５：２４５～２５５：０～１０）の範囲が、黄色の範囲として設定される。（Ｒ：Ｇ：Ｂ）＝（０～１０：２４５～２５５：０～１０）の範囲が、緑色の範囲として設定される。（Ｒ：Ｇ：Ｂ）＝（０～１０：０～１０：０～１０）の範囲が、黒色の範囲として設定される。

【0022】

第１取得部１１は、図２（ａ）の学習画像ＴＩ１の各画素の画素値を、ユーザにより設定されたそれぞれの色の範囲と比較する。図２（ｂ）は、比較結果から得られた、図２（ａ）の学習画像ＴＩ１の面積データの一例である。第１取得部１１は、図２（ｂ）の面積データを入力データとし、０％をラベルとして、分類器に対して教師有り学習を実行する。

【0023】

図３（ａ）～図３（ｄ）は、他の学習画像ＴＩ２～ＴＩ５と、それぞれの学習画像に紐付けられた進捗度と、を表す。この例では、作業において、最初に、部品５１が持ち出される。次に、部品５２が持ち出される。最後に、部品５３が持ち出される。部品が持ち出されるほど、その部品の色の面積が小さくなる。また、棚５０の色の面積が大きくなる。第１取得部１１は、学習画像ＴＩ１と同様に、学習画像ＴＩ２～ＴＩ５のそれぞれから面積データを取得する。第１取得部１１は、複数の面積データ及び複数のラベル（進捗度）を用いて、分類器を順次学習させる。これにより、分類器が、面積データの入力に応じて進捗度を出力できるように、学習される。

【0024】

分類器は、進捗度に代えて、作業に含まれる工程の分類結果を出力しても良い。例えば、１つの作業が複数の工程を含む場合、工程は、進捗度に対応する。この場合、学習画像と、その学習画像に対応する工程名と、が学習データとして用意される。第１取得部１１は、面積データを入力データとし、工程名をラベルとして用いて、分類器を学習させる。第２取得部１２は、分類結果である工程名を取得すると、その工程名に紐付けられた進捗度を、入力した面積データに対応する進捗度として取得する。

【0025】

又は、分類器に対して、教師無し学習が実行されても良い。第１取得部１１は、用意された複数の学習画像から、複数の面積データを取得する。第１取得部１１は、複数の面積データを分類器に順次入力し、教師無し学習を実行する。これにより、分類器が、複数の面積データを分類できるように、学習される。第１取得部１１は、学習済みの分類器を記憶部１５に保存する。

【0026】

教師無し学習が実行される場合、分類器へ面積データが入力されると、分類器は、その面積データの分類結果を出力する。第２取得部１２は、出力された分類に属する学習画像を参照し、その学習画像に紐付けられた進捗度を、分類器に入力した面積データに対応する進捗度として取得する。

【0027】

以上の通り、分類器は、教師有り学習により、進捗度を直接的に示す分類結果を出力しても良い。分類器は、教師無し学習により、進捗度を間接的に示す分類結果を出力しても良い。いずれの場合においても、第２取得部１２は、進捗度を示す分類結果に基づき、撮影されたときの作業の進捗度を得ることができる。

【0028】

図４（ａ）～図４（ｄ）は、別の学習画像の例である。学習画像ＴＩ６～ＴＩ９には、パーツボックス６０が写っている。パーツボックス６０には、タグ６１が付いたケーブル６２が収納されている。パーツボックス６０の上面の色は、青（ＢＬ）である。パーツボックス６０の内側及びタグ６１の色は、白（ＷＨ）である。ケーブル６２の色は、黒（ＢＫ）である。学習画像ＴＩ６～ＴＩ９に対して、進捗度「０％」、「２５％」、「５０％」、「１００％」がそれぞれ紐付けられている。

【0029】

第１取得部１１は、学習画像ＴＩ６～ＴＩ９のそれぞれから、青、白、黒の色の面積値を含む面積データを算出する。第１取得部１１は、複数の面積データ及び複数の進捗度を用いて、分類器を順次学習させる。

【0030】

（判定）
図５（ａ）は、進捗度を判定するために、撮影部２０によって撮影された画像ＩＭ１の一例である。画像ＩＭ１では、全ての部品５１が持ち出され、部品５２の一部が持ち出された様子が写っている。第１取得部１１は、画像ＩＭ１から、各色の面積値を算出する。図５（ｂ）は、図５（ａ）の画像ＩＭ１から算出された各色の面積値を表す。

【0031】

第２取得部１２は、図５（ｂ）の面積データを分類器に入力する。例えば、分類器は、入力された面積データに対応する進捗度が５０％であることを示す分類結果を出力する。第２取得部１２は、進捗度「５０％」を、画像ＩＭ１が撮影されたときの作業の進捗度として取得する。又は、分類器は、入力された面積データが、図３（ｂ）の学習画像ＴＩ３の面積データと同じ分類に属することを示す分類結果を出力する。第２取得部１２は、学習画像ＴＩ３に紐付けられた進捗度「５０％」を、画像ＩＭ１が撮影されたときの作業の進捗度として取得する。

【0032】

第２取得部１２は、さらに、実績工数を算出しても良い。例えば、第２取得部１２は、撮影部２０によって撮影が開始された時間から、画像が得られた時間までを実績工数として算出する。第２取得部１２は、実績工数と進捗度を紐付けて記憶部１５に保存する。

【0033】

（前処理）
第１取得部１１は、撮影部２０によって生成された画像から、一部を切り出しても良い。ユーザは、画像において、物品が写る領域を予め指定する。例えば、４隅の座標が指定され、物品が写った四角形の画像が切り出される。切り出しは、学習画像及び進捗判定用の画像の両方に対して実行される。画像を切り出すことで、物品の周囲の設備、床、壁、人などの色が、学習及び判定に影響することを抑制できる。

【0034】

さらに、第１取得部１１は、切り出した画像から、人が写った領域を除去しても良い。例えば、画像中の人を識別するための識別器が予め用意される。識別器は、ニューラルネットワークを含む。好適には、畳み込みニューラルネットワーク（ＣＮＮ）が用いられる。識別器には、画像から人を識別できるように、教師有り学習が予め実行される。第１取得部１１は、識別器によって画像中に人が識別されると、識別された領域を除去する。これにより、人の衣服の色、人が携帯している物品の色などが、判定に影響することを抑制できる。

【0035】

第１取得部１１は、画像の明るさ及びコントラストの少なくともいずれかを正規化しても良い。例えば、第１取得部１１は、輝度及び輝度コントラストを正規化する。正規化は、学習画像及び進捗判定用の画像の両方に対して実行される。正規化により、作業現場の明るさの変化、カメラの設定の変化などが、各画素値に及ぼす影響を低減できる。

【0036】

（表示）
表示部２２は、第２取得部１２から出力されたデータを表示する。例えば、第２取得部１２は、進捗度及び作業実績を表示部２２に出力する。記憶部１５には、作業計画が保存されても良い。第２取得部１２は、作業計画をさらに取得し、進捗度、作業実績、及び作業計画を表示部２２に出力する。

【0037】

図６は、実施形態に係る進捗判定システムによる出力例を表す模式図である。
第２取得部１２は、図６に表した判定結果画面１００を表示部２２に表示させる。判定結果画面１００では、目標時刻１１０、進捗度１２０、目標工数１３０、実績工数１４０、及び実績時刻１５０が表示されている。

【0038】

作業計画は、目標時刻１１０及び目標工数１３０を含む。目標時刻１１０は、それぞれの進捗度１２０に達する時刻の目標である。目標工数１３０は、その作業に対する目標の工数である。この例では、目標工数１３０は、目標時刻１１０とバーの長さの対比で表現されている。具体的には、バーは目標時刻１３時から１７時まで延びており、目標工数が４時間であることを示している。

【0039】

作業実績は、実績工数１４０及び実績時刻１５０を含む。実績時刻１５０は、それぞれの進捗度１２０に実際に達した時刻である。それぞれの進捗度に達するまでに要した実績の工数である。この例では、実績工数１４０は、実績時刻１５０とバーの長さの対比で表現されている。具体的には、バーは目標時刻１３時から１７時まで延びており、実績工数が４時間であることを示している。

【0040】

実績工数１４０及び実績時刻１５０は、画像が撮影された時刻と、第２取得部１２によって取得された進捗度と、に基づいて決定される。例えば、撮影部２０が撮影を開始した時刻が、作業の開始時刻と見なされる。それぞれの進捗度に達するまでの時間が、実績工数として算出される。

【0041】

図６の例では、１７時に最新の進捗度の判定結果が得られている。作業計画では、１３時に作業Ａが開始され、１４時、１５時３０分、及び１７時に、それぞれ進捗度が１０％、２０％、及び３０％に達することが目標として設定されている。実績では、１３時に作業Ａが開始され、１５時及び１７時に、それぞれ進捗度が１０％及び２０％に達している。進捗度は、３０％に達していない。進捗度１０％に達した実績時刻及び進捗度２０％に達した実績時刻が、目標時刻よりも遅れている。

【0042】

例えば、第２取得部１２は、ある進捗度について、実績時刻が目標時刻に対して遅れている場合、その実績時刻を他の実績時刻とは区別可能に表示する。図６の例では、「１５時」の実績時刻１５２及び「１７時」の実績時刻１５３が、「１３時」の実績時刻１５１とは区別できるように表示されている。これにより、どの進捗度において目標よりも遅れが生じているか、ユーザが容易に確認できる。また、実績工数１４０において、目標工数１３０と実績工数１４０との差分１４５が示されても良い。これにより、目標工数１３０と実績工数１４０との差を、ユーザが直感的に理解し易くなる。

【0043】

第２取得部１２は、いずれかの進捗度への到達時刻を予測しても良い。到達時刻は、最新の進捗度における目標時刻と実績時刻との差を用いて算出される。第２取得部１２は、最新の進捗度における目標時刻と次の進捗度における目標時刻との差を、最新の進捗度における実績時刻に足し合わせる。これにより、次の進捗度への到達時刻が算出される。

【0044】

図６の例では、進捗度２０％における目標時刻と３０％における目標時刻との差は、１．５時間である。第２取得部１２は、進捗度２０％における実績時刻に１．５時間を足し合わせ、到達時刻１６０として１８時３０分を算出する。

【0045】

又は、到達時刻には、最新の進捗度に至るまでの作業の早さが考慮されても良い。第２取得部１２は、最後に進捗度が判定された時刻における目標の進捗度と実績の進捗度を比較する。第２取得部１２は、目標の進捗度に対する実績の進捗度の比を算出する。第２取得部１２は、最新の進捗度における目標時刻と、到達時刻を算出する進捗度における目標時刻と、の差に前記比を掛け合わせる。第２取得部１２は、最後に進捗度が判定された実績時刻に、前記比を掛け合わせた差を足し合わせる。

【0046】

例えば、図６の例では、第２取得部１２は、最後に進捗度が判定された１７時における目標の進捗度３０％と実績の進捗度２０％を比較する。第２取得部１２は、目標の進捗度３０％に対する実績の進捗度２０％の比０．６７を算出する。第２取得部１２は、最新の進捗度２０％における目標時刻１５時３０分と、到達時刻を算出する進捗度３０％における目標時刻１７時と、の差１．５時間に、前記比０．６７を掛け合わせる。第２取得部１２は、最後に進捗度が判定された実績時刻１７時に、１．５時間と０．６７の積を足し合わせる。これにより、到達時刻として、１９時１５分が算出される。

【0047】

上記の方法により、第２取得部１２は、進捗度１００％への到達時刻を予測しても良い。進捗度１００％への到達時刻は、換言すると、作業の終了の見込時刻である。

【0048】

最新の進捗度の判定結果に基づいて到達時刻が予測されることで、ユーザの利便性を向上できる。

【0049】

図７（ａ）及び図７（ｂ）は、実施形態に係る進捗判定システムによる別の出力例を表す模式図である。
１つの作業が複数の工程を含む場合、作業計画において、進捗度と工程が紐付けられていても良い。例えば、第２取得部１２は、進捗度を取得するとともに、その進捗度に紐付けられた工程名を取得する。

【0050】

図７（ａ）に表した例では、作業Ａは、工程ａ及びｂを含む。例えば、作業Ａの進捗度０％～１０％は、工程ａと紐付けられている。作業Ａの進捗度１０％～３０％は、工程ｂと紐付けられている。目標工数１３０において、工程ａの目標工数１３１及び工程ｂの目標工数１３２が表示されている。実績工数１４０において、工程ａの目標工数１４１及び工程ｂの目標工数１４２が表示されている。

【0051】

それぞれの工程における進捗度の目標と実績の比較が表示されても良い。例えば、ユーザは、入力部２１を操作することで、表示部２２に表示されたポインタ１７０を移動できる。ユーザが、ポインタ１７０を目標実績１３０のいずれかの工程に合わせてクリックすると、図７（ｂ）に表したような、その工程の詳細が表示される。図７（ｂ）に表した詳細画面２００では、進捗度２２０、目標進捗度２３０、及び実績進捗度２４０が表示されている。目標進捗度２３０は、最新の画像が撮影された時刻までに達成すべき進捗度を表す。実績進捗度２４０は、最新の画像が撮影された時刻までに達成できた進捗度を表す。詳細画面２００の表示により、工程数が多い場合であっても、それぞれの工程における詳細をユーザが容易に把握できる。

【0052】

進捗度の判定結果、進捗度に紐付けられた工程、及び撮影時刻に基づいて、各工程の工数が算出されても良い。図７（ａ）に表した例では、１３時から１５時までの２時間が、工程ａの実績工数として算出できる。１５時から１７時までの２時間が、工程ｂの実績工数として算出できる。

【0053】

図８は、工数の算出方法を説明するための模式図である。
図８を参照して、工数のより詳細な算出方法を説明する。１つの進捗度には、１つの工程が紐付けられる。図７（ａ）の例において、進捗度０％以上１０％未満には、工程ａが紐付けられている。進捗度１０％以上３０％未満には、工程ｂが紐付けられている。

【0054】

図８の横軸は、時間を表す。図８における破線は、撮影部２０による撮影タイミングを表す。撮影部２０は、タイミングｔ１で撮影を開始する。撮影の開始時刻は、工程ａの開始時刻として扱われる。タイミングｔ２までは、進捗度は１０％未満と判定されている。このため、タイミングｔ１からｔ２までは、工程ａが実行されていると判定される。タイミングｔ３からｔ４までは、進捗度が１０％以上３０％未満と判定されている。このため、タイミングｔ３からｔ４までは、工程ｂが実行されていると判定される。タイミングｔ５では、進捗度が３０％以上と判定されている。このため、タイミングｔ５では、別の工程が実行されていると判定される。

【0055】

図８の例において、実績工数の算出方法として、以下の２つの方法が適用されうる。
１つ目の方法では、タイミングｔ１からｔ２までが工程ａの実績工数として算出され、タイミングｔ３からｔ４までが工程ｂの実績工数として算出される。
２つ目の方法では、タイミングｔ１からｔ３までが工程ａの実績工数として算出され、タイミングｔ３からｔ４までが工程ｂの実績工数として算出される。又は、タイミングｔ１からｔ２までが工程ａの実績工数として算出され、タイミングｔ２からｔ４までが工程ｂの実績工数として算出される。

【0056】

１つ目の方法によれば、工程ａの終了時刻と工程ｂの開始時刻との間に差が生じる。このため、算出される実績工数が、実際の工数よりも短くなる。２つ目の方法のように、連続する２つの工程について、前の工程の開始時刻と後の工程の終了時刻を一致させることで、算出される実績工数と、実際の工数と、の差を小さくできる。

【0057】

図９は、実施形態における分類器の学習時の処理を表すフローチャートである。
まず、ユーザは、入力部２１を用いて、進捗の判定に必要なデータを設定し（ステップＳ１）、記憶部１５に保存する。例えば、それぞれの色の範囲、撮影された画像における物品の位置などが、設定される。その他、ユーザは、作業計画、学習させる分類器、識別器などを記憶部１５に適宜保存する。ユーザは、学習データを用意し（ステップＳ２）、記憶部１５に保存する。学習データは、学習画像と進捗度の組を複数含む。第１取得部１１は、それぞれの学習画像から面積データを取得する（ステップＳ３）。第１取得部１１は、複数の面積データを用いて、分類器を学習させる（ステップＳ４）。学習は、上述した通り、教師有り学習又は教師無し学習のどちらが実行されても良い。第１取得部１１は、学習させた分類器を記憶部１５に保存する。

【0058】

図１０は、実施形態に係る進捗判定システムによる処理を表すフローチャートである。
撮影部２０は、作業に関する物品を撮影し、画像を生成する（ステップＳ１１）。第１取得部１１は、画像に対して前処理を行う（ステップＳ１２）。第１取得部１１は、画像から面積データを取得する（ステップＳ１３）。第２取得部１２は、面積データを分類器に入力し（ステップＳ１４）、分類結果を得る。第２取得部１２は、分類結果に対応した進捗度を取得する（ステップＳ１５）。第２取得部１２は、進捗度の判定結果を出力する（ステップＳ１６）。

【0059】

実施形態の利点を説明する。
実施形態に係る進捗判定システム１では、進捗の判定に、面積データを用いる。画像中の色の面積は、物品の状態（向き、位置、細部の構造など）に影響を受け難い。例えば、作業時の物品の状態が、予め想定された物品の状態から変化した場合でも、色の面積値の変化は影響を受け難い。面積データを用いることで、物品の状態が進捗度の判定結果に与える影響を低減し、進捗度の判定精度を向上できる。

【0060】

進捗判定システム１は、作業の進捗と画像中の色の面積値との間に相関があれば、製造、物流、工事、点検など、幅広い作業に適用可能である。

【0061】

（第１変形例）
進捗度の判定のために、面積データに加えて、エッジデータが用いられても良い。第１取得部１１は、物品の画像から面積データを取得するとともに、画像に対してエッジ検出を実行する。エッジ検出には、Canny Edge法又はSobel法を用いることができる。エッジ検出時の輝度変化に対する閾値は、ユーザにより予め設定され、記憶部１５に保存される。エッジ検出により、複数のエッジが画像から抽出され、エッジデータが取得される。第１取得部１１は、エッジデータを第２取得部１２に出力し、且つ記憶部１５に保存する。

【0062】

分類器の学習時にも、第１取得部１１は、学習画像から面積データ及びエッジデータを取得する。第１取得部１１は、複数の学習画像から、面積データ及びエッジデータの組をそれぞれ取得し、分類器を学習させる。教師有り学習では、分類器は、面積データ及びエッジデータの組の入力に応じて進捗度を示す分類結果を出力するように、学習される。

【0063】

図１１は、実施形態の第１変形例における分類器の学習時の処理を表すフローチャートである。
ユーザは、図９に表したフローチャートと同様に、進捗度の判定に必要なデータを設定する（ステップＳ１）。このとき、ユーザは、それぞれの色の範囲に加えて、エッジ検出のための閾値を設定する。ユーザは、学習データを用意する（ステップＳ２）。第１取得部１１は、それぞれの学習画像から、面積データ及びエッジデータを取得する（ステップＳ３ａ）。第１取得部１１は、面積データ及びエッジデータを用いて、分類器を学習させる（ステップＳ４ａ）。

【0064】

図１２は、実施形態の第１変形例に係る進捗判定システムによる処理を表すフローチャートである。
図１０に表したフローチャートと同様に、ステップＳ１１及びＳ１２が実行される。第１取得部１１は、画像から、面積データ及びエッジデータを取得する（ステップＳ１３ａ）。第２取得部１２は、面積データ及びエッジデータを分類器に入力し（ステップＳ１４ａ）、分類結果を得る。第２取得部１２は、分類結果に対応した進捗度を取得する（ステップＳ１５）。第２取得部１２は、進捗度の判定結果を出力する（ステップＳ１６）。

【0065】

面積データに加えてエッジデータを用いることで、作業の進捗度と物品の形状に相関がある場合に、進捗度の判定精度をさらに向上できる。

【0066】

（第２変形例）
図１３は、実施形態の第２変形例に係る進捗判定システムを表す模式図である。
第２変形例に係る進捗判定システム２は、統合部１３をさらに含む。また、進捗判定システム２は、複数の撮影部２０を含む。

【0067】

それぞれの撮影部２０は、同じ物品を、同じタイミングで、互いに異なる位置及び角度から撮影し、複数の画像を生成する。それぞれの撮影部２０は、物品を繰り返し撮影し、画像を記憶部１５に保存する。それぞれの画像には、撮影した物品を示す物品識別データ、その物品が関係する作業を示す作業識別データ、及び撮影時刻が紐付けられる。

【0068】

それぞれの撮影部２０による撮影タイミングは、進捗度に実質的な差が生じない範囲で、ずれが存在していても良い。例えば、１日を要する作業の進捗度の判定において、それぞれの撮影部２０による撮影タイミングに、１分未満のずれが存在していても良い。このような場合も、それぞれの撮影部２０は、実質的に同じタイミングで物品を撮影していると見なすことができる。

【0069】

第１取得部１１は、それぞれの画像から面積データを取得し、基の画像の物品識別データ、作業識別データ、及び撮影時刻を面積データと紐付けて記憶部１５に保存する。また、第１取得部１１は、面積データ、物品識別データ、作業識別データ、及び撮影時刻を、統合部１３に送信する。

【0070】

統合部１３は、同じタイミングで撮影された複数の画像に基づく複数の面積データを選択する。統合部１３は、選択された複数の面積データを、１つの面積データに統合する。例えば、統合部１３は、複数の面積データの各色の面積値を平均化する。又は、統合部１３は、それぞれの面積データに対する確度に基づいて、複数の面積データを統合しても良い。

【0071】

確度として、以下の第１確度～第４確度から選択される１つ以上を用いることができる。
第１確度は、それぞれの面積データの信頼性に対応して、ユーザにより予め設定される。撮影した画像から算出される面積データが正確であるほど、面積データの信頼性はより高く、第１確度はより大きく設定される。

【0072】

第２確度は、画像中の物品の大きさである。前処理によって、撮影された画像の一部が切り出される場合、切り出された画像のサイズが、物品の大きさに対応する。統合部１３は、切り出された画像のサイズに基づき、第２確度を設定する。又は、画像中の物品の大きさは、物品と撮影部２０との間の距離に依存する。物品と撮影部２０との間の距離に対応した値が、第２確度としてユーザにより予め設定されても良い。

【0073】

第３確度は、物品に対する撮影部２０の角度である。例えば、作業の進捗に応じて物品の色が変化する領域が上を向いている場合、物品を上から撮影した画像には、色の変化がより正確に現れている可能性が高い。物品に対する撮影部２０の角度に対応した値が、第３確度としてユーザにより予め設定される。

【0074】

第４確度は、画像中に写った人の領域の大きさに基づく。画像中で、物品の一部が人によって隠れていると、面積値が正確に算出されない。例えば、第１取得部１１は、撮影された画像の一部を切り出す。第１取得部１１は、切り出された画像中の人を識別し、人が写った領域を除去する。統合部１３は、除去された領域のサイズが大きいほど、第４確度を小さくする。又は、統合部１３は、切り出された画像のサイズに対する、除去された領域のサイズの割合が大きいほど、第４確度を小さくしても良い。

【0075】

統合部１３は、それぞれの面積データについて、確度を算出する。４つの確度の２つ以上が用いられる場合、それらの確度が足し合わされて、１つの確度が算出される。２つ以上の確度のそれぞれに重みが設定され、重み付け和によって１つの確度が算出されても良い。

【0076】

統合部１３は、複数の面積データを、複数の確度を用いて、１つの面積データに統合する。例えば、統合部１３は、複数の確度の和が「１」となるように、複数の確度を正規化する。統合部１３は、複数の面積データと正規化された複数の確度とをそれぞれ積算し、それら積算値を足し合わせる。これにより、統合された１つの面積データが得られる。

【0077】

第２取得部１２は、統合された面積データを、分類器に入力し、分類結果を取得する。

【0078】

具体例を参照しながら、進捗判定システム２による処理を説明する。
図１４は、実施形態の第２変形例に係る進捗判定システムが適用された作業現場を表す模式図である。
図１４に表す作業現場では、撮影部２０ａ及び２０ｂが設置されている。撮影部２０ａ及び２０ｂは、互いに異なる位置及び角度から、ワゴン７０を撮影する。ワゴン７０の天面には、部品７１及び７２が置かれている。作業者Ｏは、ワゴン７０から、部品７１及び７２を順次持ち出し、別の場所に置かれた機器に組み込む。例えば、ワゴン７０の天面の色は、白（ＷＨ）である。部品７１の色は、黄（ＹＬ）である。部品７２の色は、緑（ＧＲ）である。

【0079】

図１５（ａ）～図１５（ｃ）は、面積データの一例を表すグラフである。
撮影部２０ａ及び２０ｂは、同じタイミングで、ワゴン７０の天面、部品７１、及び部品７２を撮影する。撮影部２０ａ及び２０ｂにより、第１画像及び第２画像がそれぞれ生成される。第１取得部１１は、第１画像から第１面積データを取得し、第２画像から第２面積データを取得する。図１５（ａ）及び図１５（ｂ）は、第１面積データ及び第２面積データをそれぞれ例示する。統合部１３は、第１面積データ及び第２面積データを統合する。統合部１３は、第１確度～第４確度を参照する。

【0080】

例えば、第１確度について、第１面積データの信頼性と第２面積データの信頼性は、同等である。ユーザは、第１面積データに対する第１確度と、第２面積データに対する第１確度と、を同じに値に設定する。

【0081】

第２確度について、ワゴン７０と撮影部２０ａとの距離は、ワゴン７０と撮影部２０ｂとの距離よりも短い。ユーザは、第１面積データに対する第２確度を、第２面積データに対する第２確度よりも、大きく設定する。

【0082】

第３確度について、撮影部２０ａは、ワゴン７０の真上に設けられ、ワゴン７０の天面と正対している。撮影部２０ｂは、ワゴン７０を斜め上方から撮影する。撮影部２０ａは、撮影部２０ｂに比べて、ワゴン７０、部品７１、及び部品７２の全体を撮影し易い。ユーザは、第１面積データに対する第３確度を、第２面積データに対する第３確度よりも、大きく設定する。

【0083】

第４確度について、例えば、第１画像には、作業者Ｏが写っていない。第２画像には、作業者Ｏが写っている。この場合、前処理において、第１取得部１１は、第２画像から、作業者Ｏが写った領域を除去する。統合部１３は、第２画像のサイズに対する除去された領域のサイズの割合に応じて、第２面積データに対する第４確度を小さくする。

【0084】

統合部１３は、第１面積データについて、第１確度～第４確度を足し合わせ、１つの確度を算出する。統合部１３は、第２面積データについて、第１確度～第４確度を足し合わせ、１つの確度を算出する。統合部１３は、第１面積データに対する確度と第２面積データに対する確度の和が「１」となるように、それぞれの確度を正規化する。統合部１３は、第１面積データの各面積値に、正規化された確度を掛け合わせる。統合部１３は、第２面積データの各面積値に、正規化された確度を掛け合わせる。統合部１３は、それぞれの色について、第１面積データと確度の積算値を、第２面積データと確度の積算値と足し合わせる。これにより、複数の面積データが１つに統合される。

【0085】

図１５（ｃ）は、図１５（ａ）及び図１５（ｂ）に表した第１面積データ及び第２面積データが統合された結果の一例である。この例では、第１面積データに対する確度は、第２面積データに対する確度よりも大きい。このため、統合された面積データと第１面積データとの差は、統合された面積データと第２面積データとの差よりも小さくなっている。第２取得部１２は、図１５（ｃ）に表した面積データを分類器に入力し、分類結果を取得する。

【0086】

図１６は、実施形態の第２変形例に係る進捗判定システムによる処理を表すフローチャートである。
複数の撮影部２０が、同じタイミングで物品を撮影し、複数の画像を生成する（ステップＳ１１ｂ）。第１取得部１１は、それぞれの画像に対して前処理を実行する（ステップＳ１２ｂ）。第１取得部１１は、それぞれの画像から面積データを取得する（ステップＳ１３ｂ）。第２取得部１２は、複数の面積データを１つに統合する（ステップＳ２０）。以降は、図１０に表したフローチャートと同様に、ステップＳ１４～Ｓ１６が実行される。

【0087】

第２変形例において、第１変形例と同様に、エッジデータが用いられても良い。第１取得部１１は、同じタイミングで撮影された画像のそれぞれから、面積データ及びエッジデータを取得する。統合部１３は、複数の面積データを、１つの面積データに統合する。統合部１３は、複数のエッジデータを、１つのエッジデータに統合する。例えば、第１取得部１１は、複数のエッジデータを重ね合わせることで、統合された１つのエッジデータを生成する。又は、第１取得部１１は、複数のエッジデータをPoisson Image Editingにより合成し、統合された１つのエッジデータを生成しても良い。第２取得部１２は、面積データ及びエッジデータを分類器に入力し、分類結果を取得する。

【0088】

図１７は、ハードウェア構成を表す模式図である。
実施形態に係る進捗判定システム１は、図１７に表したハードウェア構成により実現可能である。図１７に表した処理装置９０は、ＣＰＵ９１、ＲＯＭ９２、ＲＡＭ９３、記憶装置９４、入力インタフェース９５、出力インタフェース９６、及び通信インタフェース９７を含む。

【0089】

ＲＯＭ９２は、コンピュータの動作を制御するプログラムを格納している。ＲＯＭ９２には、上述した各処理をコンピュータに実現させるために必要なプログラムが格納されている。ＲＡＭ９３は、ＲＯＭ９２に格納されたプログラムが展開される記憶領域として機能する。

【0090】

ＣＰＵ９１は、処理回路を含む。ＣＰＵ９１は、ＲＡＭ９３をワークメモリとして、ＲＯＭ９２又は記憶装置９４の少なくともいずれかに記憶されたプログラムを実行する。プログラムの実行中、ＣＰＵ９１は、システムバス９８を介して各構成を制御し、種々の処理を実行する。

【0091】

記憶装置９４は、プログラムの実行に必要なデータや、プログラムの実行によって得られたデータを記憶する。

【0092】

入力インタフェース（Ｉ／Ｆ）９５は、処理装置９０と入力装置９５ａとを接続する。入力Ｉ／Ｆ９５は、例えば、ＵＳＢ等のシリアルバスインタフェースである。ＣＰＵ９１は、入力Ｉ／Ｆ９５を介して、入力装置９５ａから各種データを読み込むことができる。

【0093】

出力インタフェース（Ｉ／Ｆ）９６は、処理装置９０と表示装置９６ａとを接続する。出力Ｉ／Ｆ９６は、例えば、Digital Visual Interface（ＤＶＩ）やHigh-Definition Multimedia Interface（ＨＤＭＩ：登録商標）等の映像出力インタフェースである。ＣＰＵ９１は、出力Ｉ／Ｆ９６を介して、表示装置９６ａにデータを送信し、表示装置９６ａに画像を表示させることができる。

【0094】

通信インタフェース（Ｉ／Ｆ）９７は、処理装置９０外部のサーバ９７ａと、処理装置９０と、を接続する。通信Ｉ／Ｆ９７は、例えば、ＬＡＮカード等のネットワークカードである。ＣＰＵ９１は、通信Ｉ／Ｆ９７を介して、サーバ９７ａから各種データを読み込むことができる。カメラ９９は、物品を撮影し、画像をサーバ９７ａに保存する。

【0095】

記憶装置９４は、Hard Disk Drive（ＨＤＤ）及びSolid State Drive（ＳＳＤ）から選択される１つ以上を含む。入力装置９５ａは、マウス、キーボード、マイク（音声入力）、及びタッチパッドから選択される１つ以上を含む。表示装置９６ａは、モニタ及びプロジェクタから選択される１つ以上を含む。タッチパネルのように、入力装置９５ａと表示装置９６ａの両方の機能を備えた機器が用いられても良い。

【0096】

処理装置９０は、第１取得部１１、第２取得部１２、及び統合部１３として機能する。記憶装置９４及びサーバ９７ａは、記憶部１５として機能する。入力装置９５ａは、入力部２１として機能する。表示装置９６ａは、表示部２２として機能する。カメラ９９は、撮影部２０として機能する。

【0097】

以上で説明した、進捗判定システム又は進捗判定方法を用いることで、進捗度の判定精度を向上できる。また、コンピュータを、進捗判定システムとして動作させるためのプログラムを用いることで、同様の効果を得ることができる。

【0098】

上記の種々のデータの処理は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク及びハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又は、他の非一時的なコンピュータで読取可能な記録媒体（non-transitory computer-readable storage medium）に記録されても良い。

【0099】

例えば、記録媒体に記録された情報は、コンピュータ（または組み込みシステム）により読み出されることが可能である。記録媒体において、記録形式（記憶形式）は任意である。例えば、コンピュータは、記録媒体からプログラムを読み出し、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させる。コンピュータにおいて、プログラムの取得（または読み出し）は、ネットワークを通じて行われても良い。

【0100】

以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。

【符号の説明】

【0101】

１，２：進捗判定システム、 １１：第１取得部、 １２：第２取得部、 １３：統合部、 １５：記憶部、 ２０，２０ａ，２０ｂ：撮影部、 ２１：入力部、 ２２：表示部、 ５０：棚、 ５１～５３：部品、 ６０：パーツボックス、 ６１：タグ、 ６２：ケーブル、 ７０：ワゴン、 ７１，７２：部品、 ９０：処理装置、 ９１：ＣＰＵ、 ９２：ＲＯＭ、 ９３：ＲＡＭ、 ９４：記憶装置、 ９５：入力インタフェース、 ９５ａ：入力装置、 ９６：出力インタフェース、 ９６ａ：表示装置、 ９７：通信インタフェース、 ９７ａ：サーバ、 ９８：システムバス、 ９９：カメラ、 １００：判定結果、 １１０：目標時刻、 １２０：進捗度、 １３０：目標進捗度、 １４０：実績進捗度、 １４１：差分、 １５０～１５３：実績時刻、 １６０：到達時刻、 １７０：ポインタ、 Ａ：作業、 Ｏ：作業者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】