特許 7516037 算出システム、算出方法、プログラム、及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-05

(45)【発行日】2024-07-16

(54)【発明の名称】算出システム、算出方法、プログラム、及び記憶媒体

(51)【国際特許分類】

   G06Q 10/0639 20230101AFI20240708BHJP

   G06T 7/20 20170101ALI20240708BHJP

   G05B 19/418 20060101ALN20240708BHJP

【ＦＩ】

G06Q10/0639

G06T7/20 300Z

G05B19/418 Z

【請求項の数】 18

(21)【出願番号】P 2019224034

(22)【出願日】2019-12-11

(65)【公開番号】P2021093037

(43)【公開日】2021-06-17

【審査請求日】2022-10-26

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110004026

【氏名又は名称】弁理士法人ｉＸ

(72)【発明者】

【氏名】青木 勇輔

(72)【発明者】

【氏名】登内 洋次郎

(72)【発明者】

【氏名】中洲 俊信

(72)【発明者】

【氏名】柴田 智行

(72)【発明者】

【氏名】櫻井 勇樹

(72)【発明者】

【氏名】加瀬 明子

(72)【発明者】

【氏名】森長 亮

(72)【発明者】

【氏名】岩崎 正樹

(72)【発明者】

【氏名】川畑 翔

【審査官】山田 倍司

(56)【参考文献】

【文献】特開２０１５－１４１７２２（ＪＰ，Ａ）

【文献】特開２０１３－１８７８６２（ＪＰ，Ａ）

【文献】国際公開第２０１０／０９８０２４（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１５５７２７（ＷＯ，Ａ１）

【文献】特開２０１９－１２５３５４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０２９２５３３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｔ ７／２０

Ｇ０５Ｂ １９／４１８

(57)【特許請求の範囲】

【請求項1】

互いに異なる角度から対象を撮影した複数の画像を参照し、前記複数の画像のそれぞれについて、前記対象を検出し、所定の座標系における前記対象の暫定位置を算出し、複数の前記暫定位置に対する複数の確度をそれぞれ算出する検出部と、
算出された前記複数の暫定位置及び前記複数の確度を用いて、前記座標系における前記対象の統合位置を算出する統合部と、
複数の工程に関する情報を含む工程情報と、前記座標系で表された、各工程が実行される実行領域と、を参照し、前記統合位置及び前記複数の実行領域に基づいて、前記複数の工程の少なくとも一部の所要時間を算出する時間算出部と、
を備え、
前記検出部は、前記対象として人物を検出し、且つ前記人物を識別し、
前記検出部は、
前記人物の識別結果に対する信頼度、
前記画像中の前記対象のサイズ、
前記画像の中心と前記対象との間の距離、
前記人物の姿勢を示す値、及び
前記画像中の前記対象の露出度、
の少なくともいずれかを用いて、前記複数の確度のそれぞれを算出する算出システム。

【請求項2】

互いに異なる角度から対象を撮影した複数の画像を参照し、前記複数の画像のそれぞれについて、前記対象を検出し、２次元の所定の座標系における前記対象の暫定位置を算出する検出部と、
算出された複数の前記暫定位置を用いて、前記座標系における前記対象の統合位置を算出する統合部と、
複数の工程に関する情報を含む工程情報と、前記座標系で表された、各工程が実行される実行領域と、を参照し、前記統合位置及び前記複数の実行領域に基づいて、前記複数の工程の少なくとも一部の所要時間を算出する時間算出部と、
を備え、
前記検出部は、検出された前記対象が床面より高い第１領域に含まれるときには、前記第１領域と前記床面との高さの差を用いて前記複数の暫定位置を補正する算出システム。

【請求項3】

前記検出部は、前記複数の暫定位置に対する複数の確度をそれぞれ算出し、
前記統合部は、前記複数の暫定位置及び前記複数の確度を用いて前記統合位置を算出する請求項２に記載の算出システム。

【請求項4】

前記複数の画像の１つ以上、前記複数の暫定位置の１つ以上、及び前記統合位置の少なくともいずれかを出力する出力部をさらに備えた請求項１又は３に記載の算出システム。

【請求項5】

前記出力部は、前記複数の確度に基づいて、前記複数の画像の一部を出力する請求項４に記載の算出システム。

【請求項6】

前記出力部は、時間に対する前記統合位置の変化をさらに出力する請求項４又は５に記載の算出システム。

【請求項7】

前記検出部は、前記対象として人物を検出し、且つ前記人物を識別する請求項２に記載の算出システム。

【請求項8】

前記検出部は、
前記人物の識別結果に対する信頼度、
前記画像中の前記対象のサイズ、
前記画像の中心と前記対象との間の距離、
前記人物の姿勢を示す値、及び
前記画像中の前記対象の露出度、
の少なくともいずれかを用いて、前記複数の暫定位置に対する複数の確度をそれぞれ算出し、
前記統合部は、前記複数の暫定位置及び前記複数の確度を用いて前記統合位置を算出する請求項７記載の算出システム。

【請求項9】

前記検出部は、
２次元の前記座標系における前記複数の暫定位置を算出し、
検出された前記対象が床面より高い第１領域に含まれるときには、前記第１領域と前記床面との高さの差を用いて前記複数の暫定位置を補正する、
請求項１に記載の算出システム。

【請求項10】

前記検出部は、前記対象の床面への接地部分が前記画像に写っていないときには、前記画像における前記対象の前記接地部分の位置を推定し、推定した結果に基づいて前記暫定位置を算出する請求項１～９のいずれか１つに記載の算出システム。

【請求項11】

前記検出部は、
前記複数の画像について、前記対象として人物を検出し、且つ前記人物を識別し、
前記複数の画像のそれぞれに複数の人物が写っているときには、前記複数の人物のそれぞれの前記暫定位置を算出し、
前記統合部は、前記複数の人物のそれぞれについて、前記統合位置を算出する請求項１～１０のいずれか１つに記載の算出システム。

【請求項12】

前記工程情報は、前記複数の工程のそれぞれが実行される時刻を含み、
前記時間算出部は、各時刻における前記統合位置を、各時刻で実行される前記工程の実行領域と比較し、前記統合位置が前記実行領域に含まれていた時間を、前記複数の工程の前記少なくとも一部の前記所要時間として算出する請求項１～１１のいずれか１つに記載の算出システム。

【請求項13】

互いに異なる角度から対象を撮影する複数の撮像装置をさらに備えた請求項１～１２のいずれか１つに記載の算出システム。

【請求項14】

互いに異なる角度から対象を撮影した複数の画像を参照し、
前記複数の画像のそれぞれについて、前記対象を検出し、
所定の座標系における前記対象の暫定位置を算出し、
複数の前記暫定位置に対する複数の確度をそれぞれ算出し、
算出された前記複数の暫定位置及び前記複数の確度を用いて、前記座標系における前記対象の統合位置を算出し、
複数の工程に関する情報を含む工程情報と、前記座標系で表された、各工程が実行される実行領域と、を参照し、
前記統合位置及び前記複数の実行領域に基づいて、前記複数の工程の少なくとも一部の所要時間を算出する、算出方法であって、
前記対象として人物を検出し、且つ前記人物を識別し、
前記人物の識別結果に対する信頼度、
前記画像中の前記対象のサイズ、
前記画像の中心と前記対象との間の距離、
前記人物の姿勢を示す値、及び
前記画像中の前記対象の露出度、
の少なくともいずれかを用いて、前記複数の確度のそれぞれを算出する算出方法。

【請求項15】

互いに異なる角度から対象を撮影した複数の画像を参照し、
前記複数の画像のそれぞれについて、前記対象を検出し、
２次元の所定の座標系における前記対象の暫定位置を算出し、
算出された複数の前記暫定位置を用いて、前記座標系における前記対象の統合位置を算出し、
複数の工程に関する情報を含む工程情報と、前記座標系で表された、各工程が実行される実行領域と、を参照し、
前記統合位置及び前記複数の実行領域に基づいて、前記複数の工程の少なくとも一部の所要時間を算出する、算出方法であって、
検出された前記対象が床面より高い第１領域に含まれるときには、前記第１領域と前記床面との高さの差を用いて前記複数の暫定位置を補正する算出方法。

【請求項16】

コンピュータに、
互いに異なる角度から対象を撮影した複数の画像を参照させ、
前記複数の画像のそれぞれについて、前記対象を検出させ、
所定の座標系における前記対象の暫定位置を算出させ、
複数の前記暫定位置に対する複数の確度をそれぞれ算出させ、
算出された前記複数の暫定位置及び前記複数の確度を用いて、前記座標系における前記対象の統合位置を算出させ、
複数の工程に関する情報を含む工程情報と、前記座標系で表された、各工程が実行される実行領域と、を参照させ、
前記統合位置及び前記複数の実行領域に基づいて、前記複数の工程の少なくとも一部の所要時間を算出させる、
プログラムであって、
前記対象として人物を検出させ、且つ前記人物を識別させ、
前記人物の識別結果に対する信頼度、
前記画像中の前記対象のサイズ、
前記画像の中心と前記対象との間の距離、
前記人物の姿勢を示す値、及び
前記画像中の前記対象の露出度、
の少なくともいずれかを用いて、前記複数の確度のそれぞれを算出させる、
プログラム。

【請求項17】

コンピュータに、
互いに異なる角度から対象を撮影した複数の画像を参照させ、
前記複数の画像のそれぞれについて、前記対象を検出させ、
２次元の所定の座標系における前記対象の暫定位置を算出させ、
算出された前記複数の暫定位置を用いて、前記座標系における前記対象の統合位置を算出させ、
複数の工程に関する情報を含む工程情報と、前記座標系で表された、各工程が実行される実行領域と、を参照させ、
前記統合位置及び前記複数の実行領域に基づいて、前記複数の工程の少なくとも一部の所要時間を算出させる、
プログラムであって、
検出された前記対象が床面より高い第１領域に含まれるときには、前記第１領域と前記床面との高さの差を用いて前記複数の暫定位置を補正させる、
プログラム。

【請求項18】

請求項１６又は１７に記載のプログラムを記憶した記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、算出システム、算出方法、プログラム、及び記憶媒体に関する。

【背景技術】

【0002】

従来、生産性を改善するために、工程の所要時間の管理が行われている。所要時間を、より精度良く算出できる技術が求められている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７-０９１２４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、所要時間を、より精度良く算出できる、算出システム、算出方法、プログラム、及び記憶媒体を提供することである。

【課題を解決するための手段】

【0005】

実施形態に係る算出システムは、検出部、統合部、及び時間算出部を備える。前記検出部は、互いに異なる角度から対象を撮影した複数の画像を参照し、前記複数の画像のそれぞれについて、前記対象を検出し、所定の座標系における前記対象の暫定位置を算出する。前記統合部は、算出された前記複数の暫定位置を用いて、前記座標系における前記対象の統合位置を算出する。前記時間算出部は、複数の工程に関する情報を含む工程情報と、前記座標系で表された、各工程が実行される実行領域と、を参照し、前記統合位置及び前記複数の実行領域に基づいて、前記複数の工程の少なくとも一部の所要時間を算出する。

【図面の簡単な説明】

【0006】

【図1】実施形態に係る算出システムの構成を表す模式図である。

【図2】実施形態に係る算出システムの適用例を表す模式図である。

【図3】実施形態に係る算出システムにおける処理を説明するための模式図である。

【図4】実施形態に係る算出システムにおける処理を説明するための模式図である。

【図5】（ａ）検出部による出力を例示する表である。（ｂ）統合部による出力を例示する表である。

【図6】（ａ）工程情報を例示する表である。（ｂ）工程の実行の判定結果を例示する表である。（ｃ）工程の所要時間の算出結果を例示する表である。

【図7】実施形態に係る算出システムの出力例を表す模式図である。

【図8】実施形態に係る算出システムの出力例を表す模式図である。

【図9】実施形態に係る算出システムの出力例を表す模式図である。

【図10】実施形態に係る算出システムを用いた所要時間の算出方法を表すフローチャートである。

【図11】処理装置のハードウェア構成を表すブロック図である。

【発明を実施するための形態】

【0007】

以下に、本発明の各実施形態について図面を参照しつつ説明する。
本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

【0008】

図１は、実施形態に係る算出システムの構成を表す模式図である。
実施形態に係る算出システム１００は、対象が工程の実行に要した時間を自動的に算出するために用いられる。

【0009】

実施形態に係る算出システム１００は、図１に表したように、取得部１１、検出部１２、統合部１３、時間算出部１４、及び出力部１５を備える。算出システム１００は、複数の撮像装置２０、入力装置３０、出力装置４０、及び記憶装置５０をさらに備えても良い。図１の例では、処理装置１０が、取得部１１、検出部１２、統合部１３、時間算出部１４、及び出力部１５として機能する。

【0010】

複数の撮像装置２０は、対象を撮影し、静止画像を取得する。各撮像装置２０により動画が取得され、動画から静止画像が切り出されても良い。複数の撮像装置２０は、互いに異なる位置に設けられる。また、複数の撮像装置２０は、同じ時刻に実質的に同時に対象を撮影する。これにより、特定の時刻において、対象は、互いに異なる複数の角度から撮影される。各撮像装置２０は、取得した画像を記憶装置５０に記憶する。撮像装置２０は、例えばカメラである。

【0011】

対象は建物の中に存在しても良いし、建物の外に存在しても良い。実施形態に係る算出システム１００は、工場内での製造、建物内での据付工事など、屋内で実行される工程に対して用いられても良い。算出システム１００は、建造物の組み立て、建物外での設置工事など、屋外で実行される工程に対して用いられても良い。対象が存在する場所に応じて、複数の撮像装置２０は、屋内に設けられても良いし、屋外に設けられても良い。例えば、対象が建物の中で工程を実行する場合、複数の撮像装置２０は、建物の壁又は天井、建物内の設備などに取り付けられる。対象が建物の外で工程を実行する場合、複数の撮像装置２０は、建物の外壁、屋外の設備などに取り付けられる。

【0012】

対象は、人物でも良いし、移動体でも良い。移動体は、ロボット又は無人搬送車（ＡＧＶ）などである。以下では、主に対象が人物である場合について説明する。

【0013】

取得部１１は、記憶装置５０にアクセスし、記憶された画像を取得する。又は、撮像装置２０から取得部１１に画像が直接送信されても良い。取得部１１は、取得した複数の画像を検出部１２へ送る。

【0014】

検出部１２は、各画像に含まれる対象を検出する。検出部１２は、検出結果に基づいて、対象の位置を算出する。位置は、所定の２次元座標系で表される。ここでは、各画像から算出された対象の位置を「暫定位置」という。対象が写っている画像の数に応じて、複数の暫定位置が算出される。検出部１２は、算出した複数の暫定位置を、統合部１３へ送る。

【0015】

統合部１３は、複数の暫定位置を用いて、対象の統合的な位置を算出する。ここでは、複数の暫定位置から算出された対象の位置を「統合位置」という。統合位置は、暫定位置と同じ座標系で表される。統合部１３は、算出した統合位置を時間算出部１４へ送る。

【0016】

記憶装置５０には、複数の工程に関する情報を含む工程情報と、複数の実行領域と、が予め記憶される。複数の実行領域は、複数の工程が実行される領域をそれぞれ示す。各実行領域は、統合位置と同じ座標系で表される。工程情報は、工程を識別するための文字列を含む。工程情報は、複数の工程の実行順序、工程が実行される予定時刻、工程を実行する人物に関するデータなどを含んでも良い。

【0017】

時間算出部１４は、記憶装置５０に記憶された工程情報及び複数の実行領域を参照する。時間算出部１４は、統合位置がいずれかの実行領域内にあるとき、その実行領域に対応する工程が実行されていると判定する。

【0018】

時間算出部１４は、判定の際に、工程情報に含まれるデータを用いても良い。例えば、工程情報が予定時刻を含む場合、時間算出部１４は、対象が統合位置に存在する時刻に実行予定の工程を検索する。時間算出部１４は、工程が見つかると、統合位置と、その工程が実行される実行領域と、を比較する。時間算出部１４は、統合位置が実行領域内にあるとき、その工程が実行されていると判定する。

【0019】

複数の撮像装置２０による画像の取得は、所定の間隔で繰り返し実行される。所定間隔で繰り返し取得された複数の画像について、対象の検出、暫定位置の算出、統合位置の算出、及び工程の実行の判定が、繰り返し実行される。時間算出部１４は、工程が実行されていると連続して判定された時間を、対象の工程への所要時間として算出する。時間算出部１４は、算出した所要時間を出力部１５へ送る。

【0020】

出力部１５は、データを外部へ出力する。例えば、出力部１５は、算出された所要時間を処理装置１０の外部へ出力する。出力部１５は、撮影された複数の画像の１つ以上、算出された複数の暫定位置の１つ以上、及び統合位置の少なくともいずれかをさらに出力しても良い。

【0021】

出力部１５は、データを出力装置４０へ出力しても良い。出力部１５は、データを、ＣＳＶなどの所定のファイル形式で出力し、記憶装置５０又はＳＤカードなどの記録媒体に出力しても良い。又は、出力部１５は、ＦＴＰ（File Transfer Protocol）などを用いて外部のサーバへデータを送信しても良い。出力部１５は、データベース通信を行って、ＯＤＢＣ（Open Database Connectivity）などを用いて、外部のデータベースサーバへデータを挿入してもよい。

【0022】

入力装置３０は、ユーザが処理装置１０にデータを入力する際に使用される。入力装置３０は、マウス、キーボード、マイクロフォン、及びタッチパッドの少なくともいずれかを含む。取得部１１は、入力装置３０から入力されたデータを受け付ける。ユーザが入力装置３０を用いて工程情報、実行領域などを入力し、処理装置１０を介して記憶装置５０に記憶しても良い。

【0023】

出力装置４０は、ユーザが認識できるようにデータを出力する。出力装置４０は、モニタ、プロジェクタ、プリンタ、及びスピーカの少なくともいずれかを含む。タッチパネルのように、入力装置３０及び出力装置４０の両方の機能を備える装置が用いられても良い。

【0024】

処理装置１０は、中央演算処理装置を備えた処理回路を含む。記憶装置５０は、ハードディスクドライブ（ＨＤＤ）、又はソリッドステートドライブ（ＳＳＤ）などを含む。処理装置１０、複数の撮像装置２０、入力装置３０、出力装置４０、及び記憶装置５０は、無線通信又は有線通信で互いに接続される。処理装置１０、入力装置３０、出力装置４０、及び記憶装置５０は、１つの機器に組み込まれても良い。

【0025】

実施形態の効果を説明する。
従来、所要時間は、監視者が工程を監視して計測することで記録されていた。この方法では、監視者が計測に多くの時間を必要とする。また、監視者の経験、感覚などに応じて、計測結果にばらつきが生じる。他には、１つの撮像装置で工程を撮影し、その画像から所要時間を計測する方法もある。この方法では、対象の少なくとも一部が物陰に隠れると、対象の位置を正確に算出できない可能性がある。この結果、所要時間を正確に算出できない可能性がある。

【0026】

実施形態に係る算出システム１００では、複数の撮像装置２０が用いられる。複数の撮像装置２０は、互いに異なる角度から対象を撮影するように設けられる。このため、１つの撮像装置２０からは対象が隠れている場合でも、別の撮像装置２０から対象を撮影できる。これらの複数の撮像装置２０による複数の画像を用いて統合位置を算出することで、対象の位置をより精度良く算出できる。この結果、統合位置に基づく所要時間も、より精度良く算出できる。また、自動的に撮影される画像から所要時間を算出できるため、監視者の手間を省略できる。

【0027】

以下で算出システム１００の好適な具体例について説明する。
図２は、実施形態に係る算出システムの適用例を表す模式図である。
図３及び図４は、実施形態に係る算出システムにおける処理を説明するための模式図である。

【0028】

図２に表した現場Ａでは、棚Ｂ１及びＢ２、机Ｃ、及び仕掛品Ｄが置かれている。これらの周りには、複数の撮像装置２０ａ～２０ｊが設けられている。対象である人物Ｅは、棚Ｂ１、棚Ｂ２、机Ｃ、又は仕掛品Ｄのいずれかが置かれた場所で工程を実行する。複数の撮像装置２０ａ～２０ｊは、現場Ａを撮影し、画像を記憶装置５０に記憶する。

【0029】

画像から対象を検出するための第１モデルが、記憶装置５０に予め記憶される。第１モデルは、ニューラルネットワークを含む。好ましくは、第１モデルは、Convolutional Neural Network（ＣＮＮ）を含む。ＣＮＮを用いることで、各画像から対象を精度良く検出できる。第１モデルは、画像から対象を検出できるように予め学習される。又は、検出部１２は、Single Shot MultiBox Detector（ＳＳＤ）又はRegions with ＣＮＮ（Ｒ－ＣＮＮ）を用いて各画像から対象を検出しても良い。

【0030】

検出部１２は、第１モデルに画像を入力し、画像に含まれる対象を検出する。検出部１２は、検出結果に基づいて、対象が写された画像の一部を切り出す。例えば、画像の一部は、長方形に切り出される。検出部１２は、各画像から切り出した、対象が写された画像を記憶装置５０に記憶する。また、検出部１２は、各画像において対象が切り出された位置を、検出領域として記憶装置５０に記憶する。

【0031】

検出部１２は、記憶装置５０に予め記憶された、２次元の座標系で表された地図データを参照する。図３（ａ）は、地図データＭを例示する模式図である。地図データには、複数の参照点Ｒｅが予め設定される。図３（ｂ）は、１つの撮像装置２０で取得された画像を模式的に表す。各撮像装置２０で撮影される画像に対して、複数の基準点Ｓｔが予め設定される。地図データには、複数の撮像装置２０に対して共通に複数の参照点が設定されても良いし、撮像装置２０ごとに複数の参照点が設定されても良い。

【0032】

画像中の複数の基準点は、地図データの複数の参照点と対応する位置に設定される。検出部１２は、複数の基準点がそれぞれ複数の参照点と一致するように、画像の座標系を変換する。変換には、透視投影変換行列を用いることができる。これにより、各画像中の座標を、共通の２次元の座標系で表すことができる。

【0033】

検出部１２は、対象の床面への接地部分を基準に、画像中の対象の位置を算出する。対象が人物である場合、接地部分は足である。対象が移動体である場合、接地部分は、車輪又はクローラなどである。例えば、検出部１２は、検出領域の底辺中央の位置を、画像中の対象の位置として用いる。上述した座標系の変換により、共通の座標系における対象の暫定位置が算出される。

【0034】

対象として人物を検出する場合、検出部１２は、人物を識別しても良い。画像から人物を識別するための第２モデルが、記憶装置５０に予め記憶される。第２モデルは、例えばニューラルネットワークを含む。好ましくは、第２モデルは、ＣＮＮを含む。ＣＮＮを用いることで、人物を精度良く識別できる。第２モデルは、人物を識別できるように予め学習される。又は、検出部１２は、Histograms of Oriented Gradients（ＨＯＧ）特徴量を画像から抽出し、ＨＯＧ特徴量をsupport vector machine（ＳＶＭ）に入力して人物を識別しても良い。

【0035】

検出部１２は、第２モデルに切り出した画像を入力する。検出部１２は、最も高い信頼度が得られたクラスに対応する人物を、画像に含まれる人物として識別する。検出部１２は、人物の識別結果を信頼度とともに記憶装置５０に記憶する。

【0036】

人物は、検出部１２による識別を容易とするために、マーカを身に付けていても良い。第２モデルは、マーカを識別することで、人物を識別しても良い。例えば、人物がビブスを着用しているときには、第２モデルは、ビブスの色、又は印字された文字などを識別しても良い。検出部１２は、マーカの識別結果を、人物の識別結果として記憶装置５０に記憶する。

【0037】

検出部１２は、画像中の対象の暫定位置を算出したときに、その確度を算出する。例えば、確度が高いほど、暫定位置の精度が高いことを示す。確度は、例えば、以下の５つの値の少なくともいずれかを用いて算出される。

【0038】

１つ目は、人物の識別結果に対する信頼度である。信頼度が高いほど、人物の識別結果がより正確であることを示す。換言すると、画像において人物がより鮮明に写っていることを示す。信頼度が高いほど、確度は高く算出される。

【0039】

２つ目は、画像中の対象のサイズである。これは、換言すると、検出領域のサイズである。対象が撮像装置２０に近いほど、対象はより大きく写る。対象が大きく写るほど、暫定位置の精度が向上する。従って、サイズが大きいほど、確度は高く算出される。

【0040】

３つ目は、画像の中心と対象との間の距離である。例えば、検出部１２は、画像の中心と検出領域の中心との間の距離を算出する。距離が短いほど、対象が画像から見切れる可能性が低下する。対象の見切れている割合が小さいほど、暫定位置の精度が向上する。従って、距離が短いほど、確度は高く算出される。

【0041】

４つ目は、人物の姿勢を示す値である。検出部１２は、切り出された画像から、人物の骨格データを抽出する。図４（ａ）は、切り出された画像ＩＭ１と抽出された骨格データを表す。骨格データとして、複数の関節Ｊｏが抽出される。検出部１２は、両肩の幅Ｗ１を算出する。検出部１２は、切り出された画像の高さＨ１に対する幅Ｗ１の比Ｒ１を算出する。例えば、各人物が正面を向いているときの身長Ｈ２に対する肩幅Ｗ２の比Ｒ２が、予め記憶装置５０に記憶される。検出部１２は、比Ｒ２に対する比Ｒ１の比Ｒ３を、人物の姿勢を示す値として用いる。比Ｒ３が大きいほど、画像中で人物がより正面又は背面を向いていることを示す。人物が正面又は背面を向いているほど、人物の両手及び両足が写っている可能性が高く、対象の検出の精度が向上する。従って、比Ｒ３が大きいほど、確度は高く算出される。

【0042】

５つ目は、画像中の対象の露出度である。図４（ｂ）は、画像の一部を表す。この例では、人物が作業しており、人物の一部が隠れている。この場合、対象が写った領域として、検出領域ＤＲ１が検出される。検出部１２は、検出領域ＤＲ１に写された人物の骨格位置を抽出するとともに隠れている骨格の位置を推定する。

【0043】

例えば、画像に基づいて人物の骨格の位置を推定するとともに、各関節の関連性も推定するためのモデルが、予め記憶装置５０に記憶される。モデルとしては、ＯｐｅｎＰｏｓｅを用いることができる。検出部１２は、モデルを用いて、隠れている骨格を含む人物の骨格位置を推定する。検出部１２は、推定結果に基づいて、検出領域を補正する。補正された検出領域ＤＲ２は、遮蔽物が無かった場合に、人物が写っていると推定される領域である。

【0044】

検出部１２は、補正された検出領域ＤＲ２の面積に対する検出領域ＤＲ１の面積の比を、露出度として算出する。露出度が高いほど、対象の多くの部分が写っていることを示す。露出度が高いほど、対象の検出の精度が向上する。従って、露出度が大きいほど、確度は高く算出される。

【0045】

検出部１２は、上述した５つの値の少なくともいずれかを用いて、確度を算出する。好ましくは、検出部１２は、５つの値の全てを用いて確度を算出する。例えば、検出部１２は、５つの値の平均を確度として用いる。又は、５つの値のそれぞれに、これらの値の優先度を考慮して、予め重みが設定されても良い。検出部１２は、各値と重みを掛け合わせ、それらの和を確度として用いても良い。検出部１２は、各暫定位置に対して、確度を算出する。

【0046】

工程が実行される現場に、高低差が存在する場合がある。対象が床面よりも高い領域に存在するときは、画像中の対象が、実際よりも撮像装置２０から離れた位置に存在すると算出される可能性がある。対象が床面よりも高い領域に存在するときは、その高さの分、画像中の対象の位置が補正されても良い。例えば、撮像装置２０で取得される画像中に、床面よりも高い第１領域が含まれる場合、その第１領域の範囲と高さが、画像中の座標系で予め設定される。検出部１２は、画像から対象が検出されると、対象の検出領域が、第１領域に含まれるか判定する。検出領域が第１領域に含まれるときには、検出領域の位置を高さの分シフトさせる。

【0047】

一例として、画像の左上が原点として設定され、検出領域及び第１領域は長方形状である。検出領域の対角の座標は、（ｘ１、ｙ１、ｘ２、ｙ２）である。第１領域の対角の座標は、（Ｘ１、Ｙ１、Ｘ２、Ｙ２）である。第１領域の床面からの高さは、ｈである。検出領域が第１領域に含まれるとき、補正後の検出領域の対角の座標は、（ｘ１、ｙ１＋ｈ、ｘ２、ｙ２＋ｈ）で表される。床面からの高さに応じて検出領域が補正されることで、画像中の対象の位置をより精度良く算出できる。

【0048】

上述した通り、対象の暫定位置は、対象の床面への接地部分の位置を用いて算出される。接地部分が物陰に隠れており、対象の別の部分の位置を用いて暫定位置が算出されると、暫定位置の精度が低下する可能性がある。このため、検出部１２は、対象の床面への接地部分が物陰に隠れているときには、接地部分の位置を推定し、検出領域を補正しても良い。例えば、検出部１２は、人物の骨格データを抽出し、抽出された骨格データに基づいて隠れている骨格の位置を推定する。検出部１２は、検出領域が推定された骨格も含むように、検出領域の範囲を補正する。これにより、画像中の対象の位置をより精度良く算出できる。

【0049】

統合部１３は、複数の暫定位置と、各暫定位置に対する確度と、を用いて統合位置を算出する。例えば、統合部１３は、確度を重みとして用いる。統合部１３は、複数の確度を正規化し、各暫定位置に確度を掛け合わせる。統合部１３は、それぞれの積の和を統合位置として算出する。確度を用いて統合位置を算出することで、統合位置をより精度良く算出できる。

【0050】

統合部１３は、統合位置を算出する際に、統合的な確度を算出しても良い。統合的な確度は、例えば、暫定位置同士の間の距離に基づいて算出できる。暫定位置同士の間の距離が短いほど、それらに基づいて算出される統合位置も、より確からしいと考えられる。従って、暫定位置同士の間の距離が短いほど、統合的な確度は、より高く算出される。

【0051】

図５（ａ）は、検出部による出力を例示する表である。図５（ｂ）は、統合部による出力を例示する表である。
図５（ａ）の例では、赤色のビブスを着用した人物と青色のビブスを着用した人物が識別され、それぞれの暫定位置と確度が算出されている。この例では、検出部１２による出力は、時刻、撮像装置の識別データ、人物の識別結果としての色及び識別データ、暫定位置の座標、及び確度を含む。図５（ｂ）は、図５（ａ）の出力に基づいて、統合部１３が統合位置を算出した結果を表す。この例では、統合部１３による出力は、時刻、人物の識別結果としての色及び識別データ、統合位置の座標、及び統合的な確度を含む。検出部１２及び統合部１３は、これらの出力を記憶装置５０に記憶する。

【0052】

図６（ａ）は、工程情報を例示する表である。図６（ｂ）は、工程の実行の判定結果を例示する表である。図６（ｃ）は、工程の所要時間の算出結果を例示する表である。
時間算出部１４は、例えば図６（ａ）に表した工程情報と、各工程が実行される実行領域と、を参照する。図２の例では、棚、机、及び仕掛品が置かれた場所に、それぞれ実行領域Ｒｅ１～Ｒｅ３が設定されている。

【0053】

図６（ａ）の例では、工程情報は、工程名称、開始予定時刻、終了予定時刻、及び工程の実行順序を含む。実行順序は、例えば、工程の開始予定時刻及び終了予定時刻に基づいて自動的に入力される。時間算出部１４は、最初に実行される工程の実行領域を参照し、統合位置がその実行領域内にあるか判定する。時間算出部１４は、統合位置がその実行領域から外れると、その工程を終了したと判定する。時間算出部１４は、次に実行される工程の実行領域を参照し、その実行領域内にあるか判定する。これを繰り返すことで、各工程の実行が判定される。対象が複数である場合は、対象ごとに、各時刻において工程の実行が判定される。

【0054】

図６（ｂ）に表したように、各時刻における工程の実行が時間算出部１４により判定される。時間算出部１４は、図６（ｃ）に表したように、この判定結果に基づいて、各工程の所要時間を算出する。対象が複数であるときは、時間算出部１４は、対象ごとに各工程の所要時間を算出する。

【0055】

図７～図９は、実施形態に係る算出システムの出力例を表す模式図である。
出力装置４０がモニタである場合、出力部１５は、出力装置４０にグラフィカルユーザインターフェース（ＧＵＩ）を表示させ、ＧＵＩ上で各データを表示させても良い。

【0056】

例えば図７に表した画面では、製造現場を表す模式図と、複数の撮像装置２０を表す複数のアイコンＩＣと、が表示されている。また、製造現場には、複数のマークＭ１～Ｍ６が表示されている。この例では、破線で表されたマークは、暫定位置を示している。実線で表されたマークは、統合位置を示している。また、マークＭ４～Ｍ６にはパターンが付され、マークＭ１～Ｍ３にはパターンが付されていない。マークＭ４～Ｍ６に係る対象は、マークＭ１～Ｍ３に係る対象と異なることを示している。

【0057】

画面には、時刻の入力欄ＥＦ１がさらに表示される。ユーザは、結果を確認したい時刻を入力欄ＥＦ１に入力する。出力部１５は、入力された時刻に関する結果を画面に表示させる。

【0058】

ユーザは、入力装置３０を用いてポインタＰｏを操作できる。例えば、ユーザが撮像装置２０のアイコンＩＣにポインタＰｏを重ね、クリックする。出力部１５は、設定された時刻に、指定された撮像装置２０で取得された画像を画面に表示させる。例えば、ユーザが暫定位置を示すマークにポインタＰｏを重ね、クリックする。出力部１５は、その暫定位置の算出に使用された画像を検索し、画面に表示される。例えば図８に表したように、暫定位置、統合位置などが表示された画面内に画像ＩＭ２が表示される。画像ＩＭ２は、別の画面に表示されても良い。

【0059】

ユーザが統合位置をクリックすると、その統合位置の算出に使用された複数の画像の一部が、画面に表示される。例えば、統合位置がクリックされると、出力部１５は、その統合位置の算出に使用された複数の暫定位置に対する複数の確度を参照する。出力部１５は、確度が最も高い暫定位置が得られた画像を選定し、画面に表示させる。

【0060】

最も高い確度が得られた画像は、複数の画像の中で最も対象を確認し易い可能性が高い。確度に基づいて表示される画像が選定されることで、ユーザは、算出システム１００による出力結果を容易に確認できる。

【0061】

出力部１５は、特定の期間における統合位置の変遷を画面に表示させても良い。統合位置の変遷は、対象の移動経路を表す。例えば図９に表したように、ユーザは、入力欄ＥＦ２に期間を指定する。出力部１５は、期間内の各時刻における統合位置を参照し、それらを連続的に繋げて移動経路Ｇを表示させる。移動経路Ｇが表示されることで、対象の移動に無駄が無いかなどを容易に確認できる。

【0062】

移動経路Ｇの一部がクリックされたとき、出力部１５は、対象がクリックされた位置に存在していた時刻に撮影された画像を表示させても良い。このとき、出力部１５は、上述した方法と同様に、複数の確度に基づいて表示させる画像を選定する。

【0063】

図１０は、実施形態に係る算出システムを用いた所要時間の算出方法を表すフローチャートである。
複数の撮像装置２０が、対象を撮影する（ステップＳｔ１）。取得部１１が複数の画像を取得すると、検出部１２は、各画像中の対象を検出する（ステップＳｔ２）。検出部１２は、各検出領域を補正する（ステップＳｔ３）。具体的には、床面との高低差の補正、接地部分の推定に基づく補正などが、適宜実行される。検出部１２は、各検出領域の暫定位置を算出する（ステップＳｔ４）。検出部１２は、各暫定位置の確度を算出する（ステップＳｔ５）。統合部１３は、複数の暫定位置及び複数の確度を用いて統合位置を算出する（ステップＳｔ６）。時間算出部１４は、工程の実行を判定する（ステップＳｔ７）。時間算出部１４は、判定結果に基づいて、各工程の所要時間を算出する（ステップＳｔ８）。出力部１５は、各種結果を出力する（ステップＳｔ９）。

【0064】

図１１は、処理装置のハードウェア構成を表すブロック図である。
実施形態に係る算出システム１００の処理装置１０は、コンピュータ１１０により実現される。コンピュータ１１０は、Read Only Memory(ＲＯＭ)１１１、Random Access Memory(ＲＡＭ)１１２、ＣＰＵ１１３、およびＨＤＤ１１４を有する。

【0065】

ＲＯＭ１１１は、コンピュータ１１０の動作を制御するプログラムを記憶している。ＲＯＭ１１１には、コンピュータ１１０に上述した各処理を実現させるために必要なプログラムが記憶されている。

【0066】

ＲＡＭ１１２は、ＲＯＭ１１１に記憶されたプログラムが展開される記憶領域として機能する。ＣＰＵ１１３は、処理回路を含む。ＣＰＵ１１３は、ＲＯＭ１１１に記憶された制御プログラムを読み込み、当該制御プログラムに従ってコンピュータ１１０の動作を制御する。また、ＣＰＵ１１３は、コンピュータ１１０の動作によって得られた様々なデータをＲＡＭ１１２に展開する。ＨＤＤ１１４は、読み取りに必要なデータや、読み取りの過程で得られたデータを記憶する。ＨＤＤ１１４は、記憶装置５０として機能しても良い。

【0067】

コンピュータ１１０は、ＨＤＤ１１４に代えて、embedded Multi Media Card（ｅＭＭＣ）、ソリッドステートドライブ、Solid State Hybrid Drive（ＳＳＨＤ）などを有していても良い。処理装置１０は、２つ以上のコンピュータの協働により実現されても良い。

【0068】

以上で説明した実施形態に係る算出システム及び算出方法を用いることで、工程の所要時間をより精度良く算出できる。また、コンピュータを、算出システムとして動作させるためのプログラムを用いることで、同様の効果を得ることができる。

【0069】

上記の種々のデータの処理は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク及びハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、または、他の記録媒体に記録されても良い。

【0070】

例えば、記録媒体に記録されたデータは、コンピュータ（または組み込みシステム）により読み出されることが可能である。記録媒体において、記録形式（記憶形式）は任意である。例えば、コンピュータは、記録媒体からプログラムを読み出し、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させる。コンピュータにおいて、プログラムの取得（または読み出し）は、ネットワークを通じて行われても良い。

【0071】

以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。

【符号の説明】

【0072】

１０ 処理装置、 １１ 取得部、 １２ 検出部、 １３ 統合部、 １４ 時間算出部、 １５ 出力部、 ２０，２０ａ～２０ｊ 撮像装置、 ３０ 入力装置、 ４０ 出力装置、 ５０ 記憶装置、 １００ 算出システム、 １１０ コンピュータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】