特許 7484569 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-08

(45)【発行日】2024-05-16

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   G06Q 10/0639 20230101AFI20240509BHJP

   G06T 7/00 20170101ALI20240509BHJP

   G06T 7/20 20170101ALI20240509BHJP

   G16Y 10/25 20200101ALI20240509BHJP

【ＦＩ】

G06Q10/0639

G06T7/00 660A

G06T7/20 300A

G16Y10/25

【請求項の数】 12

(21)【出願番号】P 2020141222

(22)【出願日】2020-08-24

(65)【公開番号】P2022036825

(43)【公開日】2022-03-08

【審査請求日】2023-02-16

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】田中 清明

(72)【発明者】

【氏名】杉尾 淳一

(72)【発明者】

【氏名】高山 貴宏

【審査官】星野 昌幸

(56)【参考文献】

【文献】特開２０１６－２０１０７４（ＪＰ，Ａ）

【文献】特開２０１５－２２５４８６（ＪＰ，Ａ）

【文献】特開２０１９－１０１５６６（ＪＰ，Ａ）

【文献】特開２０２０－０１７２８３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ ～ ９９／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

画像センサによって作業領域が撮像された動画像を取得する画像取得手段と、
前記動画像から前記作業領域内で作業をする作業者の顔部分の画像を生成する画像生成手段と、
前記動画像に基づいて前記作業者の作業の統計情報を生成する統計情報生成手段と、
前記生成された前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報とを紐付けたデータを生成するデータ生成手段と、
前記生成されたデータを出力する出力手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記データ生成手段は、前記画像生成手段によって生成される複数の作業者の顔部分の画像と、前記統計情報生成手段によって生成される前記複数の作業者の作業の統計情報とを紐付けたデータを生成し、
前記データ生成手段は、前記出力手段によって出力されたデータに対して、前記複数の作業者の顔部分の画像のうち少なくとも２つ以上の画像と、前記少なくとも２つ以上の画像に紐付けられた前記統計情報とを統合した新たなデータを生成する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記少なくとも２つ以上の画像は、ユーザ入力に基づいて選択される画像であることを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記データ生成手段は、前記出力手段によって出力されたデータに対して、前記作業者の顔部分の画像を、前記画像生成手段によって生成された前記作業者の顔部分の別の画像に変更した新たなデータを生成することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記データ生成手段は、前記作業者の顔部分のサイズ、向き、顔らしさの少なくとも１つを含む基準に基づいて選択した前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報とを紐付けたデータを生成することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記データ生成手段は、あらかじめ取得された複数の作業者の顔部分の画像と前記生成された前記作業者の顔部分の画像とのマッチングに基づいて、前記あらかじめ取得された画像から選択した前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報とを紐付けたデータを生成することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。

【請求項7】

前記統計情報生成手段は、前記動画像に基づいて前記作業者の作業の統計情報の概略情報と詳細情報とを生成し、
前記データ生成手段は、前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報の前記概略情報と、前記生成された前記作業者の作業の統計情報の前記詳細情報とを互いに紐付けたデータを生成する、
ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。

【請求項8】

前記データ生成手段は、前記取得された動画像に基づいて、前記生成された前記作業者の作業の統計情報と関連する動画像を生成し、
前記データ生成手段は、前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報と、前記生成された動画像と、を互いに紐付けたデータを生成する、
ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。

【請求項9】

前記統計情報生成手段は、前記動画像に基づいて、前記作業領域に含まれる１つ以上の作業工程ごとに前記作業者の作業の統計情報を生成し、
前記データ生成手段は、前記取得された動画像に基づいて、前記生成された前記作業者の作業の統計情報と関連する動画像を前記１つ以上の作業工程ごとに生成し、
前記データ生成手段は、前記作業者の顔部分の画像と、前記生成された前記作業者の作業の前記１つ以上の作業工程ごとの統計情報と、前記生成された前記１つ以上の作業工程ごとの動画像と、を互いに紐付けたデータを生成する、
ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。

【請求項10】

前記統計情報生成手段は、前記動画像に基づいて生成した前記作業者の作業の統計情報に対する所定の基準に基づく評価結果を示す評価情報を生成し、
前記データ生成手段は、前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報および前記評価情報とを紐付けたデータを生成する、
ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。

【請求項11】

コンピュータが、
画像センサによって作業領域が撮像された動画像を取得するステップと、
前記動画像から前記作業領域内で作業をする作業者の顔部分の画像を生成するステップと、
前記動画像に基づいて前記作業者の作業の統計情報を生成するステップと、
前記生成された前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報とを紐付けたデータを生成するステップと、
前記生成されたデータを出力するステップと、
を実行することを特徴とする画像処理方法。

【請求項12】

請求項１１に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像センサを用いて対象の行動を分析する技術に関する。

【背景技術】

【0002】

ファクトリオートメーション市場において、セルラインに設置された画像センサを用いて、作業を行う作業者や機器の稼働数、作業位置などを把握し、作業工程ごとの作業内容を分析することで、生産性の向上などに役立てる技術が実用に供されている。

【0003】

例えば、特許文献１では、ラインで稼働するワークに取り付けられたＩＤタグをラインの入口と出口とで読み取ることで、ワークの作業開始時刻と作業終了時刻を特定して作業時間を計測する技術が提案されている。また、特許文献２では、作業工程における一連の作業において、追跡対象の作業者の作業内容に関するタイムチャートや動画像を表示する技術が提案されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００６－２０２２５５号公報

【文献】特開２０１８－０７３１７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、ワークにＩＤタグを取り付けたり、ユーザが作業を追跡する人物を指定したりするなど、作業内容の分析対象を特定する作業が必要となる。また、ＩＤタグを用いる場合、ＩＤタグを読み取るセンサ等の検出精度によって計測時間の正確性が左右され、工程毎にＩＤタグの読み取りが必要になる。また、ユーザがラインの映像において追跡対象となる作業者を指定する場合、ユーザは各作業者について個人を識別しているわけではないため、各作業者の作業内容を把握できても、個人を特定して作業内容を把握できるわけではない。

【0006】

本発明は上記実情に鑑みなされたものであって、画像センサによって取得された画像を基に、作業者個人を識別しつつ作業内容を分析することができる技術を提供する。

【課題を解決するための手段】

【0007】

上記目的を達成するために本発明は、以下の構成を採用する。

【0008】

本発明の第一側面は、画像センサによって作業領域が撮像された動画像を取得する画像取得手段と、前記動画像から前記作業領域内で作業をする作業者の顔部分の画像を生成する画像生成手段と、前記動画像に基づいて前記作業者の作業の統計情報を生成する統計情報生成手段と、前記生成された前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報とを紐付けたデータを生成するデータ生成手段と、前記生成されたデータを出力する出力手段と、を有することを特徴とする画像処理装置である。これにより、画像センサの動画像から作業者個人と統計情報とが紐付けられるため、作業者個人を識別して作業を分析することができる。

【0009】

また、前記データ生成手段は、前記画像生成手段によって生成される複数の作業者の顔部分の画像と、前記統計情報生成手段によって生成される前記複数の作業者の作業の統計情報とを紐付けたデータを生成し、前記データ生成手段は、前記出力手段によって出力さ
れたデータに対して、前記複数の作業者の顔部分の画像のうち少なくとも２つ以上の画像と、前記少なくとも２つ以上の画像に紐付けられた前記統計情報とを統合した新たなデータを生成してもよい。また、前記少なくとも２つ以上の画像は、ユーザ入力に基づいて選択される画像であってもよい。これにより、同一の作業者に対して顔部分の画像が複数生成された場合に、複数の画像を１つの画像に統合しつつ、それら複数の画像に紐付けられている統計情報を統合することができる。

【0010】

また、前記データ生成手段は、前記出力手段によって出力されたデータに対して、前記作業者の顔部分の画像を、前記画像生成手段によって生成された前記作業者の顔部分の別の画像に変更した新たなデータを生成してもよい。また、前記データ生成手段は、前記作業者の顔部分のサイズ、向き、顔らしさの少なくとも１つを含む基準に基づいて選択した前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報とを紐付けたデータを生成してもよい。また、前記データ生成手段は、あらかじめ取得された複数の作業者の顔部分の画像と前記生成された前記作業者の顔部分の画像とのマッチングに基づいて、前記あらかじめ取得された画像から選択した前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報とを紐付けたデータを生成してもよい。これにより、作業者の顔部分の画像を、より作業者を識別しやすい画像に変更して当該作業者の統計情報を特定しやくすることができる。

【0011】

また、前記統計情報生成手段は、前記動画像に基づいて前記作業者の作業の統計情報の概略情報と詳細情報とを生成し、前記データ生成手段は、前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報の前記概略情報と、前記生成された前記作業者の作業の統計情報の前記詳細情報とを互いに紐付けたデータを生成してもよい。これにより、作業者の顔部分の画像と作業者の作業の分析に資する種々の情報を紐付けることで、より効率的な作業の分析を行うことができる。

【0012】

前記データ生成手段は、前記取得された動画像に基づいて、前記生成された前記作業者の作業の統計情報と関連する動画像を生成し、前記データ生成手段は、前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報と、前記生成された動画像と、を互いに紐付けたデータを生成してもよい。また、前記統計情報生成手段は、前記動画像に基づいて、前記作業領域に含まれる１つ以上の作業工程ごとに前記作業者の作業の統計情報を生成し、前記データ生成手段は、前記取得された動画像に基づいて、前記生成された前記作業者の作業の統計情報と関連する動画像を前記１つ以上の作業工程ごとに生成し、前記データ生成手段は、前記作業者の顔部分の画像と、前記生成された前記作業者の作業の前記１つ以上の作業工程ごとの統計情報と、前記生成された前記１つ以上の作業工程ごとの動画像と、を互いに紐付けたデータを生成してもよい。これにより、作業者の統計情報の基となる動画像を確認することで、より効率的な作業の分析を行うことができる。

【0013】

また、前記統計情報生成手段は、前記動画像に基づいて生成した前記作業者の作業の統計情報に対する所定の基準に基づく評価結果を示す評価情報を生成し、前記データ生成手段は、前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報および前記評価情報とを紐付けたデータを生成してもよい。これにより、例えば、作業者の統計情報のうち作業時間が目標値を大幅に上回ったり、目標値に対して大幅に短縮されたりしている統計情報など、統計情報の分析において注目すべき情報が評価結果として示されるため、より効率的な作業の分析を行うことができる。

【0014】

なお、本発明は、上記処理の少なくとも一部を含む、画像処理方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる
。

【発明の効果】

【0015】

本発明によれば、画像センサによって取得された画像を基に、作業者個人を識別しつつ作業内容を分析することができる。

【図面の簡単な説明】

【0016】

【図1】図１は、本発明が適用された画像処理装置の構成例を示すブロック図である。

【図2】図２は、一実施形態に係るＰＣ（画像処理装置）の構成例を示すブロック図である。

【図3】図３は、一実施形態に係るＰＣの処理フロー例を示すフローチャートである。

【図4】図４は、一実施形態に係る表示画面の具体例を示す模式図である。

【図5】図５は、変形例１に係る表示画面の具体例を示す模式図である。

【図6】図６は、変形例２に係る表示画面の具体例を示す模式図である。

【図7】図７は、変形例３に係る表示画面の具体例を示す模式図である。

【図8】図８は、変形例４に係る表示画面の具体例を示す模式図である。

【図9】図９は、変形例５に係る表示画面の具体例を示す模式図である。

【図10】図１０は、変形例６に係る表示画面の具体例を示す模式図である。

【図11】図１１は、変形例７に係る表示画面の具体例を示す模式図である。

【図12】図１２は、変形例８に係る表示画面の具体例を示す模式図である。

【発明を実施するための形態】

【0017】

＜適用例＞
本発明の適用例について説明する。工場のセルラインなどに配置された画像センサによって取得される作業者の画像を基に、各作業者の作業内容を分析する場合、作業者個人を特定する必要がある。作業者の特定をする手段として、作業者が携帯する端末と無線ＬＡＮのアクセスポイントにおける電波強度による測位や作業者に取り付けられるＩＣタグの読み取りによる測位が挙げられる。しかしながら、無線ＬＡＮの電波が種々の設備や機器の影響を受けて測位の精度が低下したり、作業者に取り付けるＩＣタグを大量に準備する必要があったりするなどの懸念が伴う。

【0018】

図１は、本発明が適用された画像処理装置１００の構成例を示すブロック図である。画像処理装置１００は、画像取得部１０１、顔画像生成部１０２、統計情報生成部１０３、データ生成部１０４、出力部１０５を有する。画像取得部１０１は、セルラインなどに配置された全方位カメラなどの画像センサによる撮像画像を取得する。顔画像生成部１０２は、撮像画像を基に各作業者の顔部分の画像（顔画像）を生成する。また、統計情報生成部１０３は、撮像画像を基に各作業者の作業の統計情報を生成する。さらに、データ生成部１０４は、顔画像生成部１０２によって生成される作業者の顔部分の画像と、統計情報生成部１０３によって生成される作業者の作業の統計情報とを紐付けたデータを生成する。出力部１０５は、データ生成部１０４によって生成されるデータを出力する。

【0019】

本発明に係る画像処理装置１００によれば、画像センサによる撮像画像を基に精度よく作業者を特定して、作業者ごとに作業の分析内容を示す情報を提供することができる。

【0020】

＜第１の実施形態＞
本発明の第１の実施形態について説明する。

【0021】

図２は、第１の実施形態に係る画像処理システムの大まかな構成例を示す模式図である
。第１の実施形態に係る画像処理システムは、画像センサ、ＰＣ２００（パーソナルコンピュータ；画像処理装置）、及び、表示装置を有する。画像センサとＰＣ２００は有線または無線で互いに接続されており、ＰＣ２００と表示装置は有線または無線で互いに接続されている。

【0022】

第１の実施形態では、工場や物流倉庫などで展開されるセルラインを画像センサによって撮像することを想定する。そして、画像センサによる撮像画像内のセルラインの領域が、作業者を対象とする人体検出の検出領域となる。画像センサは、セルラインを撮像し、撮像画像をＰＣ２００に出力する。画像センサの撮像方向は特に限定されないが、第１の実施形態では、例えば画像センサはセルラインが展開されているフロアの天井に、セルラインを俯瞰する方向に設置されている。ＰＣ２００は、画像センサによる撮像画像に基づいて人体検出を行い、検出結果を表示装置へ出力する。表示装置の一例としては、ディスプレイや情報処理端末（スマートフォンなど）が挙げられる。

【0023】

なお、第１の実施形態ではＰＣ２００が画像センサや表示装置とは別体の装置であるものとするが、ＰＣ２００は画像センサまたは表示装置と一体に構成されてもよい。また、ＰＣ２００の設置場所は特に限定されない。例えば、ＰＣ２００は画像センサと同じ部屋に設置されてもよい。また、ＰＣ２００はクラウド上のコンピュータであってもよい。

【0024】

ＰＣ２００は、入力部２１０、制御部２２０、記憶部２３０、及び、出力部２４０を有する。制御部２２０は、画像生成部２２１、統計情報生成部２２２、及び、データ生成部２２３を有する。なお、入力部２１０、画像生成部２２１、統計情報生成部２２２、データ生成部２２３、出力部２４０が、それぞれ本発明の画像取得手段、画像生成手段、統計情報生成手段、データ生成手段、出力手段に対応する。

【0025】

入力部２１０は、画像センサによってセルラインを撮像した動画データを、画像センサから取得して制御部２２０に出力する。入力部２１０が画像センサから取得した動画データは、制御部２２０によって記憶部２３０に記憶される。なお、入力部２１０が取得する動画データは、セルラインを所定期間（１時間、１日など適宜設定されてよい）にわたって撮像した動画データである。

【0026】

制御部２２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などを含み、ＰＣ２００内の各部の制御や、各種情報処理などを行う。

【0027】

画像生成部２２１は、入力部２１０によって取得された動画データを基に、撮像画像内に存在する作業者の顔部分を検出する。画像センサによって取得された動画データにおける作業者の顔部分の検出は、従来技術による人体の顔らしさに基づく検出によって実現できるため、ここでは詳細な説明は省略する。また、画像生成部２２１は、検出された顔部分の作業者が、作業内容の分析対象の作業者であるか否かを判定する。本実施形態では、動画像内の検出位置や画像特徴の類似度などから、検出された顔部分の作業者と分析対象の作業者とを同定するための情報や作業者を識別する作業者ＩＤがあらかじめ記憶部２３０に記憶されている。画像生成部２２１は、記憶部２３０に記憶されている情報を基に、検出された顔部分から分析対象の作業者を同定し、同定された作業者の作業者ＩＤと検出された動画像内の位置情報とを記憶部２３０に記憶する。また、画像生成部２２１は、検出した顔部分と同定される作業者が存在しない場合は、検出した顔部分に対応する作業者は新しい作業者であるとして、新規の作業者ＩＤを発行し、発行した作業者ＩＤと検出された動画像内の位置情報とを記憶部２３０に記憶する。

【0028】

また、画像生成部２２１は、また、画像生成部２２１は、検出した顔部分の画像を生成
する。画像生成部２２１によって生成された作業者の顔部分の画像は記憶部２３０に記憶されてもよいし、当該画像を処理するＰＣ２００内の各部に送信されてもよい。

【0029】

統計情報生成部２２２は、記憶部２３０に記憶されている、入力部２２０が取得した動画データと画像生成部２２１が生成した上記の情報に基づいて、検出された各作業者の作業内容の統計情報を生成する。統計情報の一例として、セルラインにおける各工程での作業時間を表すガントチャートが挙げられる。また、統計情報には、各作業者の作業時間と比較可能な、各工程における作業時間の指標となる目標の作業時間に関する情報が含まれてもよい。なお、画像センサによる撮像画像を基にした各作業者の各工程の作業時間の算出および算出結果を基にしたガントチャートの作成は、従来技術によって実現できるため、ここでは詳細な説明は省略する。

【0030】

データ生成部２２３は、画像生成部２２１によって特定された各作業者の顔部分の画像と統計情報生成部２２２によって生成された各作業者の作業内容の統計情報とを紐付けたデータを生成する。本実施形態では、データ生成部２２３によって生成されるデータは、出力部２４０と接続されている表示装置が表示可能な画像などのデータを想定しているが、他の情報処理装置が処理可能なデータなどであってもよい。

【0031】

記憶部２３０は、上記の統計情報のほか、制御部２２０で実行されるプログラムや、制御部２２０で使用される各種データなどを記憶する。例えば、記憶部２３０は、ハードディスクドライブ、ソリッドステートドライブ、等の補助記憶装置である。出力部２４０は、データ生成部２２３によって生成された画像を、表示装置に出力する。なお、データ生成部２２３によって生成された画像は、記憶部２３０に記憶されて、任意のタイミングで出力部２４０から出力されてもよい。

【0032】

図３は、ＰＣ２００の処理フロー例を示すフローチャートである。ＰＣ２００は、入力部２１０によって画像センサの動画データが取得されて記憶部２３０に記憶された後に、図３の処理フローを実行する。

【0033】

まず、ステップＳ３０１において、制御部２２０が、記憶部２３０に記憶されている画像センサによって撮像された動画データを取得する。

【0034】

次に、画像生成部２２１が、記憶部２３０から取得された動画データのフレームごとにステップＳ３０２～Ｓ３０５の処理を繰り返し実行する。ステップＳ３０２では、画像生成部２２１は、記憶部２３０から取得した動画データのフレームから、作業者の顔部分を検出する。次に、ステップＳ３０３において、画像生成部２２１は、検出された顔部分を基に分析対象の作業者であるか否かを判断するための情報を記憶部２３０から取得し、ステップＳ３０２において検出した顔部分に対応する作業者と、分析対象の作業者とを同定する。画像生成部２２１は、検出された顔部分から分析対象の作業者を同定できた場合は、当該作業者の作業者ＩＤとフレーム内の作業者の位置情報とを互いに紐付けて記憶部２３０に記憶する。また、画像生成部２２１は、検出された顔部分から分析対象の作業者を同定できなかった場合は、検出された顔部分の作業者に新規の作業者ＩＤを発行し、発行した作業者ＩＤとフレーム内の作業者の位置情報とを互いに紐付けて記憶部２３０に記憶する。

【0035】

さらに画像生成部２２１は、ステップＳ３０４において、記憶部２３０に記憶されている画像センサによって撮像されるセルラインに関する情報とフレーム内の作業者の位置情報とに基づいて、作業者の作業工程を判別し、判別した作業工程と上記の作業者の位置情報とを互いに紐付けて記憶部２３０に記憶する。

【0036】

次に、ステップＳ３０５において、画像生成部２２１は、フレームの画像を基にステップＳ３０２において検出した作業者の顔部分の画像を生成し、生成した顔部分の画像と作業者ＩＤとを互いに紐付けて記憶部２３０に記憶する。なお、ここでは画像生成部２２１は、入力部２１０が取得するフレームごとに作業者の顔部分の画像を取得することを想定するが、画像生成部２２１は、ステップＳ３０２～Ｓ３０５の処理を繰り返す中で、任意のタイミングで間欠的に作業者の顔部分の画像を取得してもよいし、各作業者の顔部分の画像の取得は一度のみとしてもよい。

【0037】

次に、ステップＳ３０６において、画像生成部２２１は、ステップＳ３０１において取得した動画データの全フレームに対してステップＳ３０２～Ｓ３０５の処理を実行したか否かを判定する。ステップＳ３０２～Ｓ３０５の処理を実行していないフレームがある場合は（Ｓ３０６：ＮＯ）、画像生成部２２１は、処理をステップＳ３０２に戻して、当該フレームに対してステップＳ３０２～Ｓ３０５の処理を実行する。一方、動画データの全フレームに対してステップＳ３０２～Ｓ３０５の処理を実行している場合は（Ｓ３０６：ＹＥＳ）、画像生成部２２１は、処理をステップＳ３０７に進める。

【0038】

ステップＳ３０７において、統計情報生成部２２２が、上記のステップＳ３０２～Ｓ３０５の処理によって記憶部２３０に記憶された各作業者のデータを基に、セルライン内の各作業工程における作業時間や作業時間の平均などの統計情報を生成する。ここでは、統計情報生成部２２２が生成する統計情報として各工程の作業時間を示すガントチャートを想定する。また、統計情報生成部２２２は、生成した各作業者のガントチャートを作業者ＩＤと紐付けて記憶部２３０に記憶する。

【0039】

次に、ステップＳ３０８において、データ生成部２２３は、画像生成部２２１が生成した各作業者の顔部分の画像と統計情報生成部２２２が生成した統計情報とを記憶部２３０から取得し、作業者ＩＤを基に各作業者の顔部分の画像と統計情報とを紐付けたデータを生成する。

【0040】

次に、ステップＳ３０９において、出力部２４０が、ステップＳ３０８においてデータ生成部２２３によって生成されたデータを表示装置に出力する。なお、ステップＳ３０５において、出力部２４０は、データ生成部２２３によって生成されたデータを出力する代わりにあるいはこれに加えて、当該データを記憶部２３０に記憶してもよい。

【0041】

図４は、図３の処理フローでデータ生成部２２３によって生成されるデータの表示装置における表示画面４００の一例を示す模式図である。表示画面４００には、画像生成部２２１によって取得された各作業者の顔画像４０１～４０５と、各作業者の識別番号（図中「ＩＤ１」～「ＩＤ５」）と、統計情報生成部２２２によって生成された各作業者の作業内容を示すガントチャートとが表示される。

【0042】

表示画面４００では、各作業者の顔画像と識別番号とガントチャートとは、表示画面４００を確認するユーザが、これらが互いに関連していることがわかるように配置されている。本実施形態では、画像センサによって撮像されるセルラインにおいて作業者の作業工程が工程１～５に分かれており、統計情報生成部２２２が生成した工程ごとの作業時間を示すガントチャート４０６～４１０が表示されている。また、表示画面４００には、統計情報生成部２２２があらかじめ設定されている各工程の目標作業時間を基に作成した目標値のガントチャート４１１も表示される。

【0043】

したがって、本実施形態によれば、セルラインを撮像する画像センサの動画データを基に、セルラインで作業する各作業者の顔画像と作業に関する統計情報とを紐付けたデータを生成することで、作業者にタグなどを取り付けるなどのコストを発生させることなく、
また無線ＬＡＮなどの通信システムを用いて作業者を特定する場合の作業者の特定精度の低下などの懸念を生じさせることなく、作業者の特定および作業者と作業内容の統計情報との紐付けを精度よく行うことができる。

【0044】

＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記の各実施形態の構成および処理などは互いに組み合わせられてもよい。以下に上記実施形態の変形例について説明する。なお、以下の説明において、上記の実施形態と同様の構成については、同一の符号を付し、詳細な説明は省略する。

【0045】

＜変形例１＞
変形例１では、ＰＣ２００による上記の処理において、検出された顔画像に対応する作業者が、記憶部２３０に既に記憶されている作業者と同定されるべきところ、画像処理を基に作業者の同定を行うため、同定の処理に失敗して、検出された顔部分が新規の作業者ＩＤと紐付けられる可能性がある。この場合、上記の処理により、同一の作業者に対する統計情報が複数の統計情報に分かれてしまう。

【0046】

図５に示す例では、作業者ＩＤが「ＩＤ２」である作業者の顔部分の画像が、新規の作業者として誤認されて別の作業者ＩＤ「ＩＤ３」が割り当てられた結果、１人の作業者の情報が異なる作業者ＩＤ「ＩＤ２」、「ＩＤ３」に分かれて集計され、それぞれの作業者ＩＤに紐付くガントチャートが生成された場合を示す。表示画面５００の例に示すように、このように同一の作業者と複数のガントチャートとが紐付けられている表示画面５００において、ユーザは、表示装置に接続されている入力装置（図示せず）を操作して顔画像とガントチャートとの組を統合して統計情報の分析効率を高めることができる。

【0047】

具体例として、ユーザは表示画面５００に表示されるカーソル５０１を操作して、同一の作業者を示す異なる２つの顔画像４０２ａ、４０２ｂを選択する。そして、ユーザは入力装置を操作して、２つの顔画像４０２ａ、４０２ｂを選択した状態で、これら２つの顔画像４０２ａ、４０２ｂを統合するメニュー５０２を表示する。さらに、ユーザは入力装置を操作して、メニュー５０２を選択すると、ＰＣ２００によって選択した２つの顔画像４０２ａ、４０２ｂとそれら顔画像に紐付けられているガントチャートとの統合を実行する。これにより、表示画面５００において選択された２組の顔画像４０２ａ、４０２ｂとガントチャート４０７、４０８が、１組の顔画像と新たなガントチャートに統合される。

【0048】

なお、統合後に表示画面５００に表示される顔画像としては、ユーザ入力あるいはＰＣ２００の処理によって顔画像４０２ａ、４０２ｂのいずれかが選択されて用いられてもよいし、記憶部２３０に記憶されている同一の作業者を示す別の顔画像が用いられてもよい。また、新たなガントチャートは、統計情報生成部２２２によって元のガントチャート４０７、４０８を基に各工程の平均が算出されて生成されてよい。また、ユーザが入力装置を操作して２つの顔画像４０２ａ、４０２ｂを選択する代わりに、顔画像４０２ａ、４０２ｂと紐付けられて表示されている識別番号（図中「ＩＤ２」、「ＩＤ３」）やガントチャート４０７、４０８を選択してもよい。また、３組以上の顔画像とガントチャートが統合されてもよい。

【0049】

＜変形例２＞
変形例２では、ＰＣ２００による上記の処理によって、表示装置で図６に示す表示画面６００が表示されるデータが生成される。表示画面６００の例に示すように、本変形例では、ＰＣ２００によって変形例１における複数組の顔画像とガントチャートの統合が自動的に実行されるメニュー６０１が表示画面６００に表示される。変形例２でも同一の作業
者に複数の統計情報が紐付けられる背景は変形例１と同じであり、変形例１と異なる点について以下に説明する。

【0050】

表示装置に表示画面６００が表示されている状態で、ユーザは入力装置を操作して、カーソル５０１によってメニュー６０１の実行ボタン６０２を押すと、変形例１と同様に、ＰＣ２００によって複数組の顔画像４０２ａ、４０２ｂとガントチャート４０７、４０８を統合する処理が実行される。ＰＣ２００は、顔画像の類似性を基に統合する顔画像４０２ａ、４０２ｂとガントチャート４０７、４０８の組を特定することができる。

【0051】

＜変形例３＞
変形例３では、ＰＣ２００による上記の処理によって、表示装置で図７に示す表示画面７００が表示されるデータが生成される。表示画面７００の例に示すように、本変形例では、顔画像７０２において作業者の顔の一部分が欠けて表示されている。そこで、ユーザは入力装置を操作して、顔画像７０２としてより適切な顔画像を選択し、各作業者の統計情報をより判別しやすくすることができる。

【0052】

具体例として、ユーザは表示画面７００に表示されるカーソル５０１を操作して、変更する顔画像７０２を選択する。そして、ユーザは入力装置を操作して、顔画像７０２を選択した状態で、顔画像７０２を再選択するメニュー７０１を表示する。さらに、ユーザは入力装置を操作して、メニュー７０１を選択すると、画像生成部２２１によって生成されて記憶部２３０に記憶されている顔画像のうち、顔画像７０２に対応する作業者の他の顔画像が選択画面７０３に表示される。ユーザは、選択画面７０３に表示されている複数の顔画像から適切な顔画像を選択して選択ボタン７０４を押すと、顔画像７０２が選択された顔画像に変更される。変更後の顔画像は、作業者ＩＤや統計情報と紐付けられて記憶部２３０に記憶され、次回以降の顔画像の表示に使用される。

【0053】

＜変形例４＞
変形例４では、ＰＣ２００による上記の処理によって、表示装置で図８に示す表示画面８００が表示されるデータが生成される。表示画面８００の例に示すように、本変形例では、変形例１において表示される表示画面４００において、ユーザが入力装置を操作していずれかの顔画像（図の例では顔画像４０５）を選択すると、選択された顔画像４０５に対応する作業者の作業の統計情報のより詳細な情報が表示画面８００に表示される。表示画面８００には、一例として、セルラインにおけるサイクルごとの作業時間を示すガントチャート（図中Ｃ１～Ｃ４に対応するガントチャート）やその平均の作業時間を示すガントチャート、目標の作業時間を示すガントチャートなどが表示される。なお、表示画面８００に表示される統計情報の詳細は、図に示す情報に限らず適宜設定されてよい。これにより、ユーザは、複数の作業者に関する作業の統計情報の概略情報（表示画面４００）と個々の作業者に関する作業の統計情報の詳細情報（表示画面８００）とを切り替えて確認して、統計情報の分析をより効率よく進めることができる。

【0054】

＜変形例５＞
変形例５では、ＰＣ２００による上記の処理によって、表示装置で図９に示す表示画面９００が表示されるデータが生成される。表示画面９００の例に示すように、本変形例では、ユーザは、作業者の各工程の動画像を視聴することができる。

【0055】

具体例として、ユーザは、表示画面９００に表示されるカーソル５０１を操作して、作業者のガントチャートにおいて動画像を視聴したい工程を選択する（図の例では、顔画像４０２の作業者の工程５を選択）と、動画像の視聴メニュー９０１が表示される。そして、ユーザは入力装置を操作して、視聴メニュー９０１を選択すると、選択された工程の動画像画面９０２が表示されて動画像が再生される。これにより、ユーザは統計情報のみで
は得ることが難しい作業内容に関する情報を得てより精度よい分析を行うことができる。なお、動画像画面９０２に表示される動画像は、制御部２２０によって、記憶部２３０に記憶されている動画データを基に、作業者の工程ごとに動画像が生成されて、記憶部２３０に記憶されてよい。また、上記の例では、工程ごとに動画像を表示することを想定しているが、複数の工程あるいは全工程を対象として、一連の工程の動画像が表示されてもよい。

【0056】

＜変形例６＞
変形例５では、ＰＣ２００による上記の処理によって、表示装置で図１０に示す表示画面１０００が表示されるデータが生成される。表示画面１０００の例に示すように、本変形例では、ユーザは、複数の作業者（工程）の動画像を同時に視聴することができる。

【0057】

具体例として、ユーザは表示画面１０００に表示されるカーソル５０１を操作して、作業者のガントチャートにおいて、作業者の顔画像４０１～４０５の隣に表示されるチェックボックス１００１～１００５をオンにして、動画像を視聴したい作業者を選択する（図の例では、顔画像４０２の作業者と顔画像４０４の作業者を選択）。そして、ユーザは入力装置を操作して、動画像の視聴メニュー１００６を選択すると、チェックボックス１００１～１００５がオンにされている作業者の動画像画面（図では作業者４０２に対応する動画像画面１０１２と作業者４０４に対応する動画像画面１０１４）がそれぞれ表示されて動画像が再生される。これにより、いわゆる新人の作業者とベテランの作業者との作業時の行動を比較することで、統計情報から把握することが難しい情報が得られることが期待できる。

【0058】

＜変形例７＞
変形例７では、ＰＣ２００による上記の処理によって、表示装置で図１１に示す表示画面１１００が表示されるデータが生成される。表示画面１１００の例に示すように、本変形例では、表示画面１１００において、作業者の統計情報において目標値の作業時間との差が閾値以上となるものをユーザに通知する通知欄１１０１が表示される。例えば、図に示すように通知欄１１０１には「日時」カラムに通知日時が格納され、「通知内容」カラムに通知内容の詳細が格納される。図の例では、通知内容が「ＩＤ５ サイクル３ 工程５ ギャップ大（＋６分）」であり、ＩＤ５の作業者（顔画像４０５の作業者）の第３サイクルにおいて工程５における作業時間が目標値の作業時間よりも６分長いことを通知するものであることが示されている。なお、通知欄１１０１に表示される情報は、統計情報生成部２２２が生成することができる。例えば、統計情報生成部２２２は、各作業者の作業の統計情報と目標値の作業時間とを比較して、差が閾値以上である場合に通知欄１１０１に表示される情報を生成する。これにより、ユーザは通知される情報を考慮しながら効率よくより精度の高い統計情報の分析を行うことができる。なお、どのような情報を通知欄１１０１に表示するかは、図の例に限らず種々の情報が通知対象とされてよい。また、通知欄１１０１に表示するか否かを決定する基準なども、表示する情報の内容に応じて適宜決定されてよい。

【0059】

＜変形例８＞
変形例８では、ＰＣ２００による上記の処理によって、表示装置で図１２に示す表示画面１２００が表示されるデータが生成される。表示画面１２００には、作業者の作業時間の平均値が異なる期間（今日、昨日、先週、今週など。ただし、これらに限られず今月、先月などでもよい。）が表示されるため、作業者の同じ作業を期間を変えて比較することで、作業効率の変動などが把握しやすくなる。また、表示画面１２００の例に示すように、本変形例では、作業者の作業の統計情報であるガントチャートにおいて、目標値との比較の結果、目標値から所定の閾値以上短い作業時間である工程を良好として表示（図中「Ｇ」のアイコン１２０２（Good））し、目標値から所定の閾値以上長い作業時間である工
程を不良として表示（図中「ＮＧ」のアイコン１２０１（No Good））する。なお、統計
情報に対する評価結果を示す評価情報としては種々の評価の結果の情報であってよく、評価に用いる所定の基準も評価に応じて適宜決定されてよい。そして、表示画面１２００において、ユーザは入力装置を操作して、良好あるいは不良として表示された工程を選択すると（図の例ではＮＧのアイコン１２０１が表示された工程を選択）、選択された工程のコマ送り動画像を表示する動画像画面１２０３が表示され、動画像が再生される。なお、動画像画面１２０３に表示される動画像は、制御部２２０によって、記憶部２３０に記憶されている動画データを基に、作業者の工程ごとに動画像が生成されて、記憶部２３０に記憶されてよい。

【0060】

以上説明した実施形態および変形例は、適宜組み合わせて実施することができる。また、変形例３では、ユーザ入力に基づいて作業者の顔画像が変更されるが、ＰＣ２００によって記憶部２３０に記憶されている顔画像を基に、例えば顔部分がより大きい画像、顔部分の顔の向き推定を基により正面を向いている画像、顔部分としてより信頼度の高い画像などによって画像を自動的に変更するように構成されてもよい。また、記憶部２３０に作業者の顔画像（例えば社員証に用いられている顔画像など）や社員ＩＤや名前を作業者情報としてあらかじめ記憶しておき、上記の実施形態や変形例で説明した表示画面において表示される作業者の顔画像を記憶部２３０に記憶されている作業者情報に変更するように構成されてもよい。この場合、データ生成部２２３は、画像生成部２２１が生成した作業者の顔画像と、記憶部２３０に記憶されている作業者の顔画像とを用いて互いの画像の特徴の類似度に基づくマッチングを行う。そして、データ生成部２２３は、マッチング結果を基に記憶部２３０に記憶されている作業者の顔画像のうち類似度の高い顔画像で、上記の表示画面に表示される顔画像を置き換え、置き換えられた顔画像と当該作業者のガントチャートとを紐付けて表示画面のデータを生成する。これらの処理によっても、ユーザはより効率よく各作業者を判別して統計情報を分析することができる。

【0061】

また、変形例４では、表示画面８００に、個々の作業者に関する作業の統計情報の詳細が表示されるが、これに加えてあるいはこの代わりに、工程ごとの作業時間の詳細や各工程の評価結果や分析結果に基づく結果を示す情報が表示されてもよい。どのような評価や分析を採用するかは適宜決定されてよい。

【0062】

＜付記１＞
画像センサによって作業領域が撮像された動画像を取得する画像取得手段（２１０）と、
前記動画像から前記作業領域内で作業をする作業者の顔部分の画像を生成する画像生成手段（２２１）と、
前記動画像に基づいて前記作業者の作業の統計情報を生成する統計情報生成手段（２２２）と、
前記生成された前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計情報とを紐付けたデータを生成するデータ生成手段（２２３）と、
前記生成されたデータを出力する出力手段（２４０）と、
を有することを特徴とする画像処理装置。

【0063】

＜付記２＞
画像センサによって作業領域が撮像された動画像を取得するステップ（Ｓ３０１）と、
前記動画像から前記作業領域内で作業をする作業者の顔部分の画像を生成するステップ（Ｓ３０５）と、
前記動画像に基づいて前記作業者の作業の統計情報を生成するステップ（Ｓ３０７）と、
前記生成された前記作業者の顔部分の画像と、前記生成された前記作業者の作業の統計
情報とを紐付けたデータを生成するステップ（Ｓ３０８）と、
前記生成されたデータを出力するステップ（Ｓ３０９）と、
を有することを特徴とする画像処理方法。

【符号の説明】

【0064】

１００：画像処理装置 １０１：画像取得部 １０２：検出部 １０３：出力部
２００：ＰＣ（画像処理装置）
２１０：入力部 ２３０：記憶部 ２４０：出力部
２２０：制御部
２２１：画像生成部
２２２：統計情報生成部
２２３：データ生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】