特開 2025-14343 作業認識システム、作業認識方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025014343

(43)【公開日】2025-01-30

(54)【発明の名称】作業認識システム、作業認識方法及びプログラム

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20250123BHJP

【ＦＩ】

G06Q50/04

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023116829

(22)【出願日】2023-07-18

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】壷田 朋宏

【テーマコード（参考）】

5L049

5L050

【Ｆターム（参考）】

5L049CC03

5L050CC03

(57)【要約】

【課題】汎用的に定義した単位作業を認識して高度な作業の認識につなげる作業認識システムを提供する。
【解決手段】作業者の対象物に対する作業時の動作、触覚、聴覚、位置、カメラ、及び設備・ツールの情報を入力とし、作業を作業成分に分解して判定する複数の作業成分認識モデルを記憶する記憶部と、作業内容に基づき作業成分認識モデルのうち、製品に依存しない成分を組み合わせて汎用的な単位作業認識モデルを生成する単位作業認識モデル生成部と、単位作業モデルに作業者の対象物に対する作業時の動作、触覚、聴覚、位置、カメラ、及び設備・ツールの情報を入力し、単位作業を認識する単位作業認識部と、を備える、作業認識システムを提供する。
【選択図】図６

【特許請求の範囲】

【請求項1】

作業者の対象物に対する作業時の動作、触覚、聴覚、位置、カメラ、及び設備・ツールの情報を入力とし、前記作業を作業成分に分解して判定する複数の作業成分認識モデルを記憶する記憶部と、
作業内容に基づき前記作業成分認識モデルのうち、製品に依存しない成分を組み合わせて汎用的な単位作業認識モデルを生成する単位作業認識モデル生成部と、
前記単位作業認識モデルに作業者の対象物に対する作業時の動作、触覚、聴覚、位置、カメラ、及び設備・ツールの情報を入力し、単位作業を認識する単位作業認識部と、を備える、作業認識システム。

【請求項2】

前記作業者の作業中に前記対象物が床面に対して動かない場合は、基準座標を固定基準に設定し、
前記作業者の作業中に前記対象物が前記床面に対して動く場合は、前記基準座標を対象物基準に設定する基準設定部を備える、請求項１に記載の作業認識システム。

【請求項3】

前記単位作業認識部の出力結果と作業エリアの基準座標を入力とし、作業位置を推定する作業位置推定部と、
前記単位作業認識部の出力結果と前記作業位置推定部の推定結果を入力とし、高度に作業を認識する高度作業認識部と、を備える請求項１または２に記載の作業認識システム。

【請求項4】

作業者の対象物に対する作業時の動作、触覚、聴覚、位置、カメラ、及び設備・ツールに関する情報を入力とし、前記作業を作業成分に分解して判定する複数の作業成分認識モデルを記憶し、
作業内容に基づき前記作業成分認識モデルのうち、製品に依存しない成分を組み合わせて汎用的な単位作業認識モデルを生成し、
単位作業認識モデルに作業者の対象物に対する作業時の動作、触覚、聴覚、位置、カメラ、及び設備・ツールの情報を入力し、単位作業を認識する、作業認識方法。

【請求項5】

作業者の対象物に対する作業時の動作、触覚、聴覚、位置、カメラ、及び設備・ツールに関する情報を入力とし、前記作業を作業成分に分解して判定する複数の作業成分認識モデルを記憶し、
作業内容に基づき前記作業成分認識モデルのうち、製品に依存しない成分を組み合わせて汎用的な単位作業認識モデルを生成し、
前記単位作業認識モデルに作業者の対象物に対する作業時の動作、触覚、聴覚、位置、カメラ、及び設備・ツールの情報を入力し、単位作業を認識することを情報処理装置に実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は作業認識システム、作業認識方法及びプログラムに関する。

【背景技術】

【0002】

センサにより作業者の体情報と物体とを認識し、作業と関連付ける作業認識システムが特許文献１に記載されている。特許文献１の作業認識システムは、センサデータを取得するセンサデータ取得部と、センサデータに基づき、作業者の体の部位を検出して作業者の体の部位に関する体部位情報を取得する体部位情報取得部を備える。また、作業認識システムは、センサデータに基づき、物体を検出して物体に関する物体情報を取得する物体情報取得部と、体部位情報と、物体情報とに基づき、物体と、物体を用いた作業を行った作業者の体の部位との関連付けを行う関連付け部を備える。さらに、作業認識システムは、関連付け部で関連付けられた関連付け結果に関する関連付け情報に基づき、作業者によって実施された作業を認識する認識結果分析部を備える。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１８／０８７８４４号

【発明の概要】

【発明が解決しようとする課題】

【0004】

作業者の作業を認識する技術は、精度向上が望まれている。特許文献１のように、作業の要素に対して専用の認識ロジック及び学習モデルを導入した場合、汎用性に乏しい。したがって、新工程及び新製品等の場合、認識ロジック及び学習モデルを変更しなければならないため、準備に時間がかかる。そこで、本開示の目的は、汎用的に定義した単位作業を認識して高度な作業の認識につなげる作業認識システムを提供することである。

【課題を解決するための手段】

【0005】

本開示の作業認識システムは、
作業者の対象物に対する作業時の動作、触覚、聴覚、位置、カメラ、及び設備・ツールの情報を入力とし、前記作業を作業成分に分解して判定する複数の作業成分認識モデルを記憶する記憶部と、
作業内容に基づき前記作業成分認識モデルのうち、製品に依存しない成分を組み合わせて汎用的な単位作業認識モデルを生成する単位作業認識モデル生成部と、
前記単位作業認識モデルに作業者の対象物に対する作業時の動作、触覚、聴覚、位置、カメラ、及び設備・ツールの情報を入力し、単位作業を認識する単位作業認識部と、を備える、作業認識システムである。

【0006】

上記構成により、汎用的に定義した単位作業を認識して高度な作業認識につなげる作業認識システムを提供できる。

【0007】

本開示の作業認識システムは、
前記作業者の作業中に前記対象物が床面に対して動かない場合は、基準座標を固定基準に設定し、
前記作業者の作業中に前記対象物が前記床面に対して動く場合は、前記基準座標を対象物基準に設定する基準設定部を備えることを特徴とする。

【0008】

上記構成により、作業者の作業位置を正確に推定できるようになる。

【0009】

本開示の作業認識システムは、
前記単位作業認識部の出力結果と作業エリアの基準座標を入力とし、作業位置を推定する作業位置推定部と、
前記単位作業認識部の出力結果と前記作業位置推定部の推定結果を入力とし、高度に作業を認識する高度作業認識部と、を備えることを特徴とする。

【0010】

上記構成により、汎用的に定義した単位作業を認識し、作業位置を推定することで、高度に作業を認識することができる。

【0011】

本開示の作業認識方法は、
作業者の対象物に対する作業時の動作、触覚、聴覚、位置、カメラ、及び設備・ツールに関する情報を入力とし、前記作業を作業成分に分解して判定する複数の作業成分認識モデルを記憶し、
作業内容に基づき前記作業成分認識モデルのうち、製品に依存しない成分を組み合わせて汎用的な単位作業認識モデルを生成し、
単位作業認識モデルに作業者の対象物に対する作業時の動作、触覚、聴覚、位置、カメラ、及び設備・ツールの情報を入力し、単位作業を認識する、作業認識方法である。

【0012】

上記構成により、汎用的に定義した単位作業を認識して高度な作業認識につなげる作業認識方法を提供できる。

【0013】

本開示のプログラムは、
作業者の対象物に対する作業時の動作、触覚、聴覚、位置、カメラ、及び設備・ツールに関する情報を入力とし、前記作業を作業成分に分解して判定する複数の作業認識モデルを記憶し、
作業内容に基づき前記作業成分認識モデルのうち、製品に依存しない成分を組み合わせて汎用的な単位作業認識モデルを生成し、
前記単位作業認識モデルに作業者の対象物に対する作業時の動作、触覚、聴覚、位置、カメラ、及び設備・ツールの情報を入力し、単位作業を認識することを情報処理装置に実行させるプログラムである。

【0014】

上記構成により、汎用的に定義した単位作業を認識して高度な作業の認識につなげることを情報処理装置に実行させることができる。

【発明の効果】

【0015】

本開示により、汎用的に定義した単位作業を認識して高度な作業の認識につなげる作業認識システムを提供できる。

【図面の簡単な説明】

【0016】

【図1】実施の形態にかかる作業認識システムの構成を示すブロック図である。

【図2】実施の形態にかかる単位作業認識と高度作業認識に関わる構成要素の相関ブロック図である。

【図3】実施の形態にかかる単位動詞と作業動詞の関係を示す図である。

【図4】実施の形態にかかる単位作業と認識モデルの関係の例を示す図である。

【図5】実施の形態にかかる図４の単位作業と認識モデルの関係の例の続きの図である。

【図6】実施の形態にかかる作業成分認識モデルと単位作業認識モデルの関係を示すブロック図である。

【図7】実施の形態にかかる製品の生産における単位作業認識のフローチャートである。

【図8】実施の形態にかかる固定基準と搬送物（対象物）基準の座標を設定する基準座標設定部を説明する図である。

【図9】実施の形態にかかる製品の生産における基準座標設定のフローチャートである。

【図10】実施の形態にかかる単位作業に作業位置を追加した例を示す図である。

【図11】実施の形態にかかる図１１の単位作業に作業位置を追加した例の続きの図である。

【図12】実施の形態にかかる単位作業認識モデルと高度作業認識のための作業成分認識モデルと高度作業認識モデルの関係を示すブロック図である。

【図13】実施の形態にかかる製品の生産における高度作業認識のフローチャートである。

【図14】実施の形態にかかる製品の生産における製品選択フィルタリングと進度フィルタリングを示す、概略図（上図）と、フローチャート（下図）である。

【図15】実施の形態にかかる作業領域に対応するセンサのデータ取得の連携の例を示す図（上図）と、作業領域の概略図（左下図）と、作業領域とセンサの対応表（右下図）である。

【図16】実施の形態にかかるダイバーシティ入力制御において作業位置に応じて複数のセンサまたはデバイスの優先順位付けや切り替える処理を示すフローチャートである。

【発明を実施するための形態】

【0017】

実施の形態
以下、図面を参照して本発明の実施の形態について説明する。しかしながら、特許請求の範囲にかかる発明を以下の実施の形態に限定するものではない。また、実施の形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

【0018】

（実施の形態にかかる作業認識システムの説明）
図１は、実施の形態にかかる作業認識システムの構成を示すブロック図である。図１を参照しながら、実施の形態にかかる作業認識システムを説明する。

【0019】

図１に示されるように作業認識システム１００は、外部デバイス・設備１０１と、ウェアラブルデバイス１０２と、作業認識プラットフォーム１３４と、を備える。また、作業認識システム１００の上流側の周辺システムとして、ＢＯＭ（Bill Of Materials、部品構成表）１３５と、ＰＤＭ（Product Data Management、製品情報管理）・ＢＯＰ（Bill Of Process）・ＢＯＥ（Bill Of Equipment）１３６と、ＭＥＳ（Manufacturing Execution System）１４１と、を備える。また、作業認識システム１００の下流側の周辺システムとして、ＡＰＰＬ（Application、アプリケーション（活用））１４２と、を備える。

【0020】

外部デバイス・設備１０１は、本システム以外の目的も兼ねて工程に備えられた外部の要素である。外部デバイス・設備１０１は、例えば、カメラ、インドアＧＰＳ（Global Positioning System）、その他設備、治工具、搬送システム等である。

【0021】

ウェアラブルデバイス１０２は、作業者が装着する各種センサである。ウェアラブルデバイス１０２は、例えば、一人称視点カメラ、マイク、振動センサ、圧力センサ、ＩＭＵ（Inertial Measurement Unit、慣性計測ユニット）、歪センサ、バイタルセンサ等である。

【0022】

作業認識プラットフォーム１３４は、本開示の作業認識システムの中心となる情報処理装置（図示せず）で構成される部分である。情報処理装置は、処理を実行するためにプログラムを実行するプロセッサ（例えばＣＰＵ（Central Processing Unit））と、プログラムを格納するメモリを少なくとも備える。情報処理装置は、機能の一部または全部を分散させたクラウドサーバで構成されてもよい。作業認識プラットフォーム１３４は、入力Ｉ／Ｆ(Interface、インターフェース)１０３と、時系列同期部１０４と、作業認識用データ準備１０５と、作業認識用データ準備による学習／設定部１１４と、作業認識モデルライブラリ１１５と、作業認識モデルライブラリ動的フィルタリング１３１と、作業認識マルチモーダルＡＩ１３２と、単位作業ごと作業実績データ出力部１３３と、を備える。

【0023】

入力Ｉ／Ｆ１０３は、外部デバイス・設備１０１及びウェアラブルデバイス１０２と接続するためのインターフェースである。

【0024】

時系列同期部１０４は、それぞれの外部デバイス・設備１０１及びウェアラブルデバイス１０２のデータを時間的に同期する。

【0025】

作業認識用データ準備１０５は、作業者、作業対象物、設備・ツール等に関係する作業成分を認識するためのモデル用のデータを準備する。作業認識用データ準備１０５は、作業者に関して、身体・手指骨格推定部１０６と、触覚・聴覚センサデータ部１０７と、身体部位別位置推定部１０８と、作業者識別部１０９等を備える。作業認識用データ準備１０５は、作業対象物に関して、位置推定部１１０と、外観画像部１１１と、を備える。作業認識用データ準備１０５は、設備・ツールに関して、設備・治工具信号・データ部１１２と、を備える。また、作業認識用データ準備は、ダイバーシティ入力制御部１１３を備える。

【0026】

身体・手指骨格推定部１０６は、センサまたはデバイスからのデータを用いて身体や手指の骨格推定を行う。また、身体・手指骨格推定部１０６は、ダイバーシティ入力制御部１１３からの指示によって骨格推定に用いるセンサまたはデバイスの優先順位付け及び切り替えを行う。

【0027】

触覚・聴覚センサデータ部１０７は、振動、摩擦、反力、音等の入力データをセンサまたはデバイスより取得する。身体部位別位置推定部１０８は、センサまたはデバイスからのデータを用いて身体の各部位の位置を推定する。身体部位別位置推定部１０８は、ダイバーシティ入力制御部１１３からの指示によって身体の各部位の位置推定に用いるセンサまたはデバイスの優先順位付け及び切り替えを行う。作業者識別部１０９は、作業者をＩＤ（Identification）などで識別する。

【0028】

位置推定部１１０は、作業対象物の位置を推定する。外観画像部１１１は、外部デバイス・設備１０１及びウェアラブルデバイス１０２で作業対象物の外観を撮像して外観画像を取得する。

【0029】

設備・治工具信号・データ部１１２は、作業中の設備、ツールのデータを取得する。ダイバーシティ入力制御部１１３は、作業位置に応じて入力するセンサまたはデバイスの優先順位付け、切り替えを行う。

【0030】

作業認識用データ準備による学習／設定部１１４は、後段で説明する作業成分認識モデル１４３を構築するための学習／設定部である。作業認識用データ準備１０５で準備されたデータは、学習または設定され、作業成分認識モデル１４３の各部位を構築する。

【0031】

作業認識モデルライブラリ１１５は、作業認識プラットフォーム１３４の参照部である。作業認識モデルライブラリ１１５は、作業成分認識モデル１４３と、作業成分認識モデルによる学習／設定部１２３と、汎用作業認識モジュール１２４と、エリア別基準座標制御部１２７と、位置定義部１２８と、作業位置による学習／設定部１２９と、高度作業認識モデル１３０と、を備える。

【0032】

作業成分認識モデル１４３は、各認識モデルを記憶する記憶部である。作業成分認識モデル１４３は、作業者に関して姿勢・行動認識モデル１１６と、ジェスチャ・音声認識モデル１１７とを備える。作業成分認識モデル１４３は、作業対象物に関して、物体認識モデル１１８と、物理Ｆ／Ｂ（Feedback）認識モデル１１９と、状態認識・測定モデル１２０とを備える。作業成分認識モデル１４３は、設備・ツールに関して、設備・ツールデータ認識モデル１２１を備える。作業成分認識モデル１４３は、作業位置に関して、作業位置推定モデル１２２を備える。

【0033】

姿勢・行動認識モデル１１６は、身体・手指骨格推定部１０６と触覚・聴覚センサデータ部１０７から学習または設定して姿勢、行動を認識するモデルである。ジェスチャ・音声認識モデル１１７は、身体・手指骨格推定部１０６と触覚・聴覚センサデータ部１０７から学習または設定してジェスチャ、音声を認識するモデルである。

【0034】

物体認識モデル１１８は、身体・手指骨格推定部１０６と、触覚・聴覚センサデータ部１０７と、身体部位別位置推定部１０８と、外観画像部１１１から学習または設定して物体を認識するモデルである。物理Ｆ／Ｂ認識モデル１１９は、触覚・聴覚センサデータ部１０７から学習または設定して、物理フィードバックを認識するモデルである。状態認識・測定モデル１２０は、外観画像部１１１から学習または設定して、作業対象物の状態を認識して測定するモデルである。

【0035】

設備・ツールデータ認識モデル１２１は、設備・治工具信号・データ部１１２から学習または設定して設備、ツールデータを認識するモデルである。作業位置推定モデル１２２は、身体部位別位置推定部１０８と、作業対象物の位置推定部１１０と、設備・治工具信号・データ部１１２から情報を取得して作業位置を推定するモデルである。作業位置推定モデル１２２は、工程または製品基準で設定される。また、作業位置推定モデル１２２は、エリア別基準座標制御部１２７から情報を取得する。さらに、作業位置推定モデル１２２は、作業位置による学習／設定部１２９に位置推定結果のデータを提供する。

【0036】

作業成分認識モデルによる学習／設定部１２３は、後段で説明する単位作業認識モデル１２５を構築するための学習／設定部である。作業成分認識モデル１４３で準備されたデータは、学習または設定され、単位作業認識モデル１２５を構築する。

【0037】

汎用作業認識モジュール１２４は、単位作業モデルに作業者の対象物に対する作業時の動作、触覚、聴覚、位置、カメラ、及び設備・ツールの情報を入力し、単位作業を認識する単位作業認識部である。すなわち、汎用作業認識モジュール１２４は、作業者が何を・どうしたという部分を認識する。汎用作業認識モジュール１２４は、単位作業認識モデル１２５と、単位作業定義部１２６とを備える。

【0038】

単位作業認識モデル１２５は、多様な作業の中で製品によらず汎用的に定義できる作業を認識するためのモデルである。単位作業認識モデル１２５は、単位作業認識モデル生成部で、作業内容に基づき作業成分認識モデルのうち、製品に依存しない成分を組み合わせて生成される。例えば、製品によらない汎用な作業とは、製品固有の情報を含まない、製品を跨いで共通な部品等の作業対象物に対して締付、はめ込み、取出し等の作業に関連する動詞を組み合わせたものであり、後段で説明する。単位作業認識モデル１２５は、姿勢・行動認識モデル１１６と、ジェスチャ・音声認識モデル１１７と、物体認識モデル１１８と、物理Ｆ／Ｂ認識モデル１１９と、状態認識・測定モデル１２０と、設備・ツールデータ認識モデル１２１から学習または設定し、単位作業を認識するモデルである。

【0039】

単位作業定義部１２６は、単位作業認識モデル１２５を作成するための作業を定義付けする。

【0040】

エリア別基準座標制御部１２７は、工程のエリアに応じて基準座標を変更する制御を行う。エリア別基準座標制御部１２７は、作業位置推定モデル１２２に固定基準、製品基準の情報を提供する。

【0041】

位置定義部１２８は、後段で説明するように製品３Ｄ、設備３Ｄなどから位置を定義する。また、位置定義部１２８は、単位作業が行われる位置を定義するために単位作業定義部１２６に位置情報を加える。位置定義部１２８は、作業位置による学習／設定部１２９に学習または設定データを提供する。

【0042】

作業位置による学習／設定部１２９は、作業位置推定モデル１２２と、汎用作業認識モジュール１２４と、位置定義部１２８と、後段で説明する製品別工程情報１３７の作業項目１３８とから学習または設定する。作業位置による学習／設定部１２９は、学習または設定し、高度作業認識モデル１３０を構築する。

【0043】

高度作業認識モデル１３０は、作業者がどこで・何を・どうしたという認識をするためのモデルである。高度作業認識モデル１３０は、汎用的な単位作業認識に対し、製品固有の情報である製品上での作業位置等の情報を加えることで、高精度に作業を認識する。

【0044】

作業認識モデルライブラリ動的フィルタリング１３１は、複数車種のモデルを含む工程ライブラリにおいて、ＭＥＳ１４１からの生産指示に基づいて、該当製品以外のモデルを除外する。さらに、作業開始から作業完了までの作業進度に基づいて、完了分モデルを除外する。作業認識モデルライブラリ動的フィルタリング１３１は、作業者識別部から誰が作業者かという情報を取得する。

【0045】

作業認識マルチモーダルＡＩ（Artificial Intelligence）１３２は、作業者の誰が・いつ・どこで・何を・どうしたという認識をするための人工知能である。作業認識マルチモーダルＡＩ１３２は、作業認識用データ準備１０５と、作業認識モデルライブラリ動的フィルタリング１３１から情報を取得する。

【0046】

単位作業ごと作業実績データ出力部１３３は、単位作業ごとに作業実績データを出力する。単位作業ごと作業実績データ出力部１３３は、作業認識マルチモーダルＡＩ１３２から情報を取得する。また、単位作業ごと作業実績データ出力部１３３で出力されたデータは、安全・エルゴノミクス改善、品質保証度向上、生産性向上等のためのアプリケーション（ＡＰＰＬ）１４２で活用される。

【0047】

ＢＯＭ１３５は、部品構成表で製品を製造する上で必要な部品情報及びどのような構成で組み上がっているのかを把握するための基本情報である。

【0048】

ＰＤＭ・ＢＯＰ・ＢＯＥ１３６は、作業要素マスタ１３９と、製品別工程情報１３７と、製品・工程図面情報１４０と、を備える。

【0049】

作業要素マスタ１３９は、作業の構成要素を、製品を跨いで標準化・汎用化したマスタ情報であり、例えば作業対象物、作業動詞、ツール、作業位置等を含む。製品別工程情報１３７は、作業要素マスタ１３９で定義された作業要素の組合せである作業項目１３８と詳細な作業要領の情報を含む。製品・工程図面情報１４０は、部品３Ｄ、工程レイアウト、設備３Ｄ等の情報を含む。

【0050】

作業要素マスタ１３９は、単位作業定義部１２６に情報を提供する。製品別工程情報１３７は、作業要素マスタ１３９から情報を取得し、製品・工程図面情報１４０に情報を提供し、作業位置による学習／設定部１２９に学習または設定データを提供する。また、製品別工程情報１３７は、製品間を跨り標準的に定義された作業要素マスタ１３９を介し、汎用作業認識モジュール１２４は、位置定義部１２８、エリア別基準座標制御部１２７に情報を提供する。

【0051】

ＭＥＳ１４１は、製造実行システムであり、工場の生産ラインの各部分とリンクすることで工場の設備及び労働者の作業を監視・管理するシステムである。ＭＥＳ１４１は、ＢＯＰ・ＢＯＥ１３６から情報を取得する。また、ＭＥＳは、作業認識モデルライブラリ動的フィルタリング１３１に生産指示の情報を提供するために生産指示データベースを備える。生産指示は、生産計画に沿って個々の製品の種類や仕様に加えて使用部品や手順などの人や設備への指示である。

【0052】

（実施の形態にかかる汎用作業認識モジュールの説明）
図２は、実施の形態にかかる単位作業認識と高度作業認識に関わる構成要素の相関ブロック図である。図３は、実施の形態にかかる作業動詞と単位動詞の関係を示す図である。図４は、実施の形態にかかる単位作業と認識モデルの関係の例を示す図である。図５は、実施の形態にかかる図４の単位作業と認識モデルの関係の例の続きの図である。図６は、実施の形態にかかる作業成分認識モデルと単位作業認識モデルの関係を示すブロック図である。図７は、実施の形態にかかる製品の生産における単位作業認識のフローチャートである。図２乃至図７を参照しながら、実施の形態にかかる単位作業認識を説明する。

【0053】

図２に示されるように、汎用作業認識モジュール１２４は、作業項目を汎用的な作業動詞及び作業対象物等の作業要素に分解したものを認識対象とする。さらに汎用作業認識モジュール１２４は、作業動詞部分を作業認識に適したレベルまで細かく分解した単位動詞によって定義した単位作業をマスタとして作業成分認識モデル１４３との相関を定義、学習または設定する。そのため汎用作業認識モジュール１２４は、個別の製品及び工程に依存しない汎用的な作業認識モジュールを構成する。汎用作業認識モジュール１２４が、異なる製品間で共有されることにより、製品・工程の変化への対応等を含め維持・運用が効率よく行われる。

【0054】

作業要素マスタ１３９は、汎用の作業要素として作業対象物２０２と、作業動詞・ツール２０３の情報を含む。また、作業要素マスタ１３９は、製品固有の作業要素として、作業位置２０４の情報を含む。これら、作業対象物２０２と、作業動詞・ツール２０３と、作業位置２０４の情報は、ＢＯＰ２０５の作業項目２０６から取得される。

【0055】

作業項目２０６は、製品を生産するための一連の作業を作業対象物及び作業動詞の組み合わせによって定義したものである。作業要素は、作業項目２０６を構成する要素である。主な作業要素は、作業動詞、作業対象物、ツール、作業位置等である。これらのうち、作業動詞、作業対象物、ツールを汎用的なマスタ項目として定義することで、製品及び工場をまたいだデータ集計及び分析を行うことができる。作業位置は、同じ部品でも製品によって作業位置が異なることがあるため、作業位置の分類コード等は標準化することができるものの、作業位置自体は製品固有の作業要素として取り扱う。

【0056】

汎用作業認識モジュール１２４は、単位作業定義部（汎用）２０９と、作業成分認識モデル相関定義部（作業位置以外）２１１と、汎用の単位作業認識モデル１２５を備える。

【0057】

また、単位作業２０８は、作業動詞、作業対象物、ツール等の汎用作業要素の内容をさらに細分化したものである。具体的には、作業動詞を作業認識に適した単位まで要素分解し、その単位で作業を区切ったものを単位作業とする。単位作業２０８は、単位作業定義部（汎用）２０９と、単位作業定義部（製品固有）２１０とを備える。

【0058】

単位作業定義部（汎用）２０９は、作業順序であるステップと、粒度に応じて階層構造で定義した単位動詞と、認識区分と、認識項目の情報を含む。単位作業定義部（汎用）２０９は、作業対象物２０２と作業動詞・ツール２０３と関連付けられる。単位動詞は、作業認識できる程度の粒度の動詞である。作業項目２０６における作業動詞は様々な粒度で任意に定義することができるが、本開示の作業認識は製造現場で行われる様々な作業を具体的かつ詳細に認識することを目的としている。そのため、粒度の荒い作業動詞については作業認識できる粒度まで細分化する必要がある。作業動詞と単位動詞間の粒度差が大きい場合は、細分化を複数階層に分けて行ってもよい。

【0059】

認識区分は、単位作業を認識する際の対象としてモーションとイベントの２つを設け、作業の特性及び認識目的に合わせて定義されたものである。このため汎用作業認識モジュール１２４は、様々な作業をきめ細かく認識することができる。モーションは、作業を時系列的に連続して行う塊として認識する。このため歩行などの連続的な動作を認識する。イベントは、締付開始、締付完了等の作業のある特定断面を認識する。このため正確な作業分節タイミングを認識する。

【0060】

認識項目は、単位動詞の認識区分に対し、開始及び終了等の具体的な認識対象を定義する場合に使用する。

【0061】

作業成分認識モデル相関定義部（作業位置以外）２１１は、作業要素（作業動詞×作業対象物）×単位作業（単位動詞・認識区分・項目）に対し、作業特性に応じて認識に適した作業成分認識モデル（製品固有の作業成分である作業位置認識モデル以外）を割り当てて相関定義する。作業成分認識モデル相関定義部（作業位置以外）２１１は、必要度、パターン、バリエーション、信頼度の情報を含む。

【0062】

必要度は、作業成分認識モデル１４３ごとに定義することで、単位作業２０８と作業成分認識モデル１４３の割り当てを効率的に行うと共に、一部モデルからのアウトプットが欠落した場合のロバスト性を維持・コントロールできるようにする。パターン、バリエーションは、作業成分認識モデル１４３で認識する対象となるパターン及び詳細なバリエーションである。信頼度は、作業成分認識モデル１４３ごとに定義され、認識精度評価をシステム内で行えるようにする。信頼度は、任意設定または実際の認識結果データに基づき設定される。本評価は、例えば汎用作業認識モジュール１２４で作業認識を行った際に複数の候補が出てきた場合、複数の候補をランク付けするために用いられる。

【0063】

汎用作業認識モジュール１２４は、製品間で共通部品、類似部品がある場合は、製品を跨いで共有、再利用される。

【0064】

図３に示されるように、ＢＯＰ２０５の作業項目２０６より、作業対象物ｎと作業動詞ｎが取得される。作業動詞ｎは、単位動詞１、単位動詞２、・・・単位動詞ｎに分割される。さらに単位動詞１は、単位動詞１．２、単位動詞１．３、単位動詞１．４に分割される。なお、図３は作業動詞と単位動詞の関係を例として示しており、単位動詞をさらに細分化するため３階層目以降を設けることもある。

【0065】

具体的には図４に示される例のように、単位動詞１の取り出しは、単位動詞１．１の空手運搬、単位動詞１．２のつかむ、単位動詞１．３の運搬に分解される。

【0066】

図６に示されるように、作業成分認識モデル相関定義部（作業位置以外）２１１は、作業成分認識モデル１４３で学習または設定された作業成分認識モデルによる学習／設定部１２３を通じて単位作業認識モデル１２５に反映される。図５は、図４の縦の列の続きであるが、例えば、図５に示されるように、単位動詞１．２のつかむは、物体認識モデル１１８と物理Ｆ／Ｂ認識モデル１１９と関連付けられる。また、単位作詞１．２のつかむは、姿勢・行動認識モデル１１６と関連付けられる。さらに、単位動詞１．２のつかむは、設備・ツールデータ認識モデル１２１と関連付けられる。このように、作業成分認識モデル相関定義部（作業位置以外）２１１は、単位動詞と作業成分認識モデル１４３を関連付ける。

【0067】

製品の生産における単位作業認識の方法は、図７に示される。情報処理装置は、まずＭＥＳ１４１から生産指示を受信する７０１。情報処理装置は、生産指示を受信することで製品生産順序を取得する。次に、情報処理装置は、作業認識モデルライブラリ１１５から製品選択フィルタリングを取得する７０２。製品選択フィルタリングについては後段で説明する。情報処理装置は、製品選択フィルタリングにより当該製品に必要な作業認識モデルをライブラリから取得し、当該製品の作業認識の実行に必要なモデルのセットを構成し、工程Ｎが作業開始になる７０５。そして工程Ｎの作業項目Ｎが開始される７０６。次に情報処理装置は、作業の実行過程でデバイス・設備７０４から随時データ入力及び時系列同期・処理を行った上で７０３、作業成分認識を行う７０７。作業認識マルチモーダルＡＩ１３２の汎用作業認識部では、作業成分認識結果を連続的に取得して７０８、単位作業認識（汎用）に受け渡す７０９。単位作業認識（汎用）は、単位作業認識モデル１２５を照合して、汎用の単位作業を認識し７０９、認識結果を出力する７１０。なお、単位作業認識の際、複数単位作業が認識された場合、先述した通り信頼度順にランク付けされた複数候補が出力される。

【0068】

結果出力は高度作業認識モデル１３０に受け渡される。また、７０３～７１０の処理は工程Ｎの作業完了まで連続的に行われる。

【0069】

これにより、製品に依存せず単位作業を認識できる汎用作業認識モジュールが提供される。

【0070】

（実施の形態にかかるエリア別基準座標制御部の説明）
図８は、実施の形態にかかる固定基準と搬送物（対象物）基準の座標を設定する基準座標設定部を説明する図である。図９は、実施の形態にかかる製品の生産における基準座標設定のフローチャートである。図８及び図９を参照しながら、実施の形態にかかるエリア別基準座標制御部１２７を説明する。

【0071】

図８に示されるように、ライン式生産現場では、作業対象物が工場内のラインを流れて生産される。例えば固定の作業台などで部品加工・組付け作業等の作業中に作業対象物の位置が床面に対して動かない場合とコンベアで搬送された車両のボデーに部品を組み付ける作業等、作業対象物が搬送システムに搬送される場合がある。各々のケースに対して作業位置推定モデルの基準座標を固定基準、搬送物（対象物）基準の２通り設けておく。これら２つの基準座標を作業者の作業エリアに応じて動的に切り替えることにより、作業認識に必要な作業位置座標を的確に把握する。

【0072】

図９のエリア別基準座標制御部１２７は、図８の上図に示されるように、対象物８００、８０１、８０２、８０３が搬送システム上を流れているとすると、搬送対象物である８００等に対して作業を行うエリアを搬送物基準適用エリアとし、それ以外のエリアを固定基準適用エリアとする。基準座標の切り替えに関しては、ラインレイアウト上であらかじめ前述のエリアを区切り、各エリアに適用する基準座標を定義しておくことにより、作業者の位置に応じて逐次定義された基準座標を適用する。

【0073】

図８の中図に示されるように、固定基準とは、建屋の柱、作業台等のラインの床面に対して固定された座標を基準にするものである。作業者の作業中に作業対象物が床面に対して動かないエリアに固定基準が設定される。一方、図８の下図に示されるように、搬送物基準とは、対象物８００等が搬送システム上を流れている場合、搬送物の座標を基準にするものである。作業対象物が床面に対して動く場合は、搬送物基準に設定される。

【0074】

なお、搬送物基準を適用するケースについては、搬送システム上の作業対象物の位置情報を搬送システムと接続することによってリアルタイムに取得し、搬送物基準（正確には搬送された作業対象物基準）での作業位置推定を行う。

【0075】

固定基準と対象物基準の設定は、図９に示されるように基準設定部であるエリア別基準座標制御部１２７で実行される。まず、情報処理装置は、外部デバイス・設備１０１及びウェアラブルデバイス１０２からデータ入力及び時系列同期・処理をする７０３。情報処理装置は、データを作業位置推定モデル１２２に入力する。すると情報処理装置は、作業者在籍エリアを認識する９０１。エリア別基準座標制御部１２７は、予め工程レイアウト・設備３Ｄを参照して設定したエリア別基準座標設定９０２に基づき、作業者在籍エリア認識９０１から取得した作業者の在籍エリアが異なるエリアに移動した時に基準座標制御９０３を実行する。次に作業位置推定モデル１２２に基準座標切り替え指示を出力する９０４。このようにして、作業者の在席するエリアに応じてエリア別基準座標が制御される。

【0076】

（実施の形態にかかる高度作業認識の説明）
図２及び図１０乃至１３を参照しながら、実施の形態にかかる高度作業認識を説明する。図１０は、実施の形態にかかる単位作業に作業位置を追加した例を示す図である。図１１は、実施の形態にかかる図１１の単位作業に作業位置を追加した例の続きの図である。図１２は、実施の形態にかかる単位作業認識モデルと高度作業認識のための作業成分認識モデルと高度作業認識モデルの関係を示すブロック図である。図１３は、実施の形態にかかる製品の生産における高度作業認識のフローチャートである。

【0077】

図２に示されるように、高度作業認識２１３は、汎用作業認識モジュール１２４により得られる出力に対して製品・工程に固有の作業位置情報を組み合わせることにより、高精細・高精度な作業認識を行う。場合によっては、高度作業認識２１３は、さらに個別の認識モデルを補助的に追加してもよい。また、高度作業認識２１３は、汎用作業認識モジュール１２４と組み合わせて運用されることで、汎用性を最大化しながら製品や工程の差異に対応した高度作業認識モデルの効率的な構成を可能とする。

【0078】

図２に示されるように、高度作業認識２１３は、単位作業定義部（製品固有）２１０と、作業成分認識モデル相関定義部（作業位置）２１２と、高度作業認識モデル１３０と、を備える。

【0079】

単位作業定義部（製品固有）２１０は、作業位置詳細である基準座標、対象部位、位置タイプ、範囲指定方法を含む。単位作業定義部（製品固有）２１０は、単位作業２０８に含まれ、作業要素マスタ１３９の製品固有の作業位置２０４から全製品共通で標準的に設定された作業位置コードを取得する。また、単位作業定義部（製品固有）２１０は、ＰＤＭ・ＢＯＰ２０７から詳細な作業位置として製品の３Ｄ座標情報及び工程レイアウト情報を取得する。

【0080】

基準座標は、図８で定義される固定基準または搬送物基準のどちらかを選択する。

【0081】

対象部位は、作業位置を取得する対象となる作業者の身体部位を示す。対象部位は、例えば、頭、腕、脚などである。

【0082】

位置タイプは、位置の指定方法である。位置タイプは、例えば2次元の平面と３次元の空間である。

【0083】

範囲指定方法は、作業位置の範囲指定の方法である。範囲指定方法は、例えば、立体物または平面図形の対角２点で位置範囲を指定したり、経路で位置範囲を指定したりする。

【0084】

作業成分認識モデル相関定義部（作業位置）２１２は、作業位置に対して認識に適した作業成分認識モデル（製品固有の作業成分である作業位置認識モデル）を割り当てて相関定義する。作業成分認識モデル相関定義部（作業位置）２１２は、必要度、基準座標、対象部位、位置タイプ、信頼度の情報を含む。

【0085】

必要度は、作業成分認識モデル１４３ごとに定義することで、作業位置と作業成分認識モデル１４３の割り当てを効率的に行うと共に、一部モデルからのアウトプットが欠落した場合のロバスト性を維持・コントロールできるようにする。

【0086】

基準座標、対象部位、位置タイプは、単位作業定義部（製品固有）２１０で取得された情報を用いる。

【0087】

信頼度は、作業成分認識モデル１４３ごとに定義され、認識精度評価をシステム内で行えるようにする。信頼度は、任意設定または実際の認識結果データに基づき設定される。本評価は、例えば高度作業認識２１３で作業認識を行った際に複数の候補が出てきた場合、複数の候補をランク付けするために用いられる。

【0088】

高度作業認識モデル１３０は、汎用作業認識モジュール１２４と作業成分認識の作業位置推定モデル１２２（必要に応じてその他モデルを追加）を組み合わせることにより、製品に応じた詳細かつ高精度な作業認識を可能とする。

【0089】

図１２に示されるように、作業成分認識モデル相関定義部（作業位置）２１２で汎用作業認識モジュール１２４の単位作業認識モデル１２５、作業成分認識モデル１４３の作業位置推定モデル１２２、及びその他モデル１２０１を関連付け、作業位置による学習／設定部１２９で学習または設定を行う。

【0090】

図１３に示されるように、高度作業認識がなされる。図１３は、図７で説明した内容に加え、高度作業認識まで含めて記載したものである。そのため、図７で説明した内容は省略する。

【0091】

情報処理装置が単位作業認識（汎用）結果を出力する７１０と、作業認識マルチモーダルＡＩ１３２の高度作業認識部は、単位作業認識結果（汎用）を取得する１３０１。並行して、エリア別基準座標制御部１２７は、作業成分認識７０７より作業者の位置情報を取得し、作業位置推定モデル１２２に基準座標の情報を送信する。作業位置推定モデル１２２は、作業成分認識７０７から作業者の位置情報を取得し、またエリア別基準座標制御部１２７から基準座標の情報を取得することにより作業位置座標を推定し、その結果を作業認識マルチモーダルＡＩ１３２の高度作業認識部に出力する。高度作業認識部は、作業位置座標推定結果を取得する１３０６と、高度作業認識モデル１３０を用いて単位作業と実作業位置のマッチング評価を行い、該当候補の単位作業候補を絞り込み１３０７、候補ランキングを出力する１３０８。

【0092】

次に、作業認識マルチモーダルＡＩ１３２の高度作業認識部は、単位作業認識（汎用）の結果出力７１０及び単位作業認識（製品固有）の結果出力１３０８から取得した単位作業認識候補と候補ランキングより、最も確度の高い単位作業を認識（推定）する１３０２。並行して高度作業認識部は、複数単位作業の集合である作業要素に関し、個々の単位作業認識データを時系列でモニタリングすることにより作業要素認識を行う１３０３（作業対象物＝部品Ｘ、作業動詞＝締付、ツール＝工具Ｙ、作業位置コード＝Ｚ、作業状態：実施中、完了等）。次に高度作業認識部は、作業要素の組合せである作業項目に関し、作業要素認識結果の出力と連動して作業項目認識を行う（例：作業項目＝部品Ｘ締付、作業状態：実施中、完了等）１３０４。そして高度作業認識部は、前述の認識結果（単位作業認識１３０２、作業要素認識１３０３、作業項目認識１３０４）を随時出力する１３０５。認識結果は、データベース、データ分析、活用アプリケーション等へ送られる。また、高度作業認識部の処理は工程Ｎの作業完了まで連続的に行われる。

【0093】

作業要素認識１３０３は、認識できなかったとき、単位作業認識１３０２に戻る。作業要素認識１３０３は、単位作業認識１３０２の複数結果で認識される。

【0094】

このように、高度作業認識は、作業認識マルチモーダルＡＩ１３２の汎用作業認識部の出力結果である単位作業認識（汎用）候補と、作業位置推定モデルの推定結果を入力とした製品固有の作業位置に関わる単位作業認識（製品固有）候補とを入力とし、高度に作業を認識する高度作業認識部と、を備える。このようにして、作業認識システム、作業認識方法が提供される。

【0095】

（実施の形態にかかる作業認識モデルフィルタリングの説明）
図１４は、実施の形態にかかる製品の生産における製品選択フィルタリングと進度フィルタリングを示す、概略図（上図）と、フローチャート（下図）である。図１４を参照しながら、実施の形態にかかる作業認識モデルフィルタリングを説明する。

【0096】

図１４の上図に示されるように、多様な製品を量産する企業にとって、全製品のモデルライブラリは例えば、１５製品×５工場等、膨大な数となる。そのため、混流生産ラインでこれらの膨大な作業認識モデルを運用する際には処理速度や情報処理装置の能力面の問題が生じる可能性がある。そこで生産準備段階から量産段階に移る際には工場別に該当モデルを絞ることにより、工場ライブラリは、例えば図１４では３製品×１工場になる。さらに工程別に該当モデルを絞り込むことで、工程ライブラリは、例えば図１４では３製品×１工程になる。ここで３製品の内訳を製品Ａ、製品Ｂ、製品Ｃとすると、製品の量産においては、例えば製品Ｂの生産指示を受けた場合は、製品Ｂに該当するモデルに絞り込むことで１製品×１工程に絞ることができる。このように、複数車種のモデルを含む工程ライブラリにおいて、生産指示に従い該当製品以外のモデルを除外することを製品選択フィルタリングとする。

【0097】

さらに、作業開始から作業完了までの作業進度に従い完了分モデルを除外することを進度フィルタリングとする。

【0098】

図１４の下図に示されるように、情報処理装置は、ＭＥＳ１４１から生産指示を受信して製品生産順序が取得される７０１。次に、情報処理装置は、作業認識モデルライブラリ１１５から工程Ｎの実行モデルセットを選別する製品選択フィルタリングを実行する７０２。工程Ｎの作業が開始される７０５。続いて作業項目１、２・・・Ｎの作業認識が行われる１４０１。並行して情報処理装置が作業認識を行う１４０２。作業を認識できた場合（ステップ１４０２でＹｅｓの場合）、情報処理装置が作業認識結果を出力する。作業を認識できなかった場合、（ステップ１４０２でＮｏの場合）、情報処理装置は製品選択フィルタリングをキャンセルすなわち外し１４０４、再作業認識をする１４０５。製品選択フィルタリングをキャンセルするのは、重複作業または所定外作業等の通常出ない作業がなされたものと考えられるためである。なお、キャンセル範囲は任意に事前設定しておく。（例：当該工程×当該製品、当該工程×全製品、当該工場×製品×当該製品等）再作業認識できると、情報処理装置は、作業認識結果が出力する１４０３。次に情報処理装置は、進度フィルタリングにより実行モデルセットから作業完了分のモデルを除外して選択する１４０６。これにより実行モデルが更新される。１４０２～１４０６の処理は工程Ｎの作業完了まで連続的に行われる。

【0099】

このように、作業認識システムは、生産指示に基づいて作業認識モデルを選別する製品選択フィルタリング部と、作業進度に応じて作業認識モデルを選別する進度フィルタリング部と、選別された作業認識モデルから作業を認識する作業認識部と、を備える。また、作業認識システムは、製品選択フィルタリング部によって、作業認識モデルを１製品の作業に絞る。また、作業認識システムは、進度フィルタリング部によって、作業完了分の作業認識モデルを除外する。さらに、作業認識システムは、作業を認識できるか否か判定し、作業が認識できなかった場合は、製品選択フィルタリングを外して再度作業を認識して作業認識結果を出力する。

【0100】

このようにして、作業の進度に応じて学習モデルを選別し、不要な学習モデルによる判定にかかる処理時間を短縮して高速に高度な作業認識ができる作業認識システムを提供できる。

【0101】

（実施の形態にかかるダイバーシティ入力制御部の説明）
図１５は、実施の形態にかかる作業領域に対応するセンサのデータ取得の連携の例を示す図（上図）と、作業領域の概略図（左下図）と、作業領域とセンサの対応表（右下図）である。図１６は、実施の形態にかかるダイバーシティ入力制御において作業位置に応じて複数のセンサまたはデバイスの優先順位付けや切り替える処理を示すフローチャートである。図１５及び図１６を参照しながら、実施の形態にかかるダイバーシティ入力制御部を説明する。

【0102】

カメラ、ＧＰＳ、ＩＭＵ等、複数のセンサまたはデバイスを使って作業実績データを取得する場合、工程や製品等との位置関係によってはこれらが障害物となり、デバイスによっては使用できない（カメラ：死角等）もしくは正しく機能しない（ＧＰＳ：電波反射・遮蔽等）ことがある。そこでダイバーシティ入力制御部１１３は、複数のセンサまたはデバイスを設けたシステムにおいて、作業位置に応じて最適なデバイスを自動選択することによりデータ取得のロバスト性及び精度を確保する。

【0103】

図１５の左下図に示されるように、対象物の周辺領域を、例えば作業領域を対象物から離れ、また設備等の障害物に影響されない領域（ゾーンＡ）である対象物離隔領域と、対象物と接近する対象物に接触する領域（ゾーンＢ）である対象物接近領域と、対象物内の領域（ゾーンＣ）である対象物内領域に分割する。

【0104】

ここで作業位置の取得を例に挙げると、図１５の右下図に示されるように、ゾーンＡではインドアＧＰＳによって精度よく作業位置が検出できる。また、ＩＭＵベースの位置推定でも位置推定ができる。ただし、インドアＧＰＳの方が、精度が高いため、ゾーンＡではインドアＧＰＳが優先され、ＩＭＵは、バックアップとして用いられる。対象物を撮像する場合、ゾーンＡは撮像範囲外になるため、用いることができない。

【0105】

同様にゾーンＢでは、対象物を撮像した画像から「画像による位置推定」または「画像骨格推定もしくは画像物体認識等による位置推定」が得られるため画像骨格推定ベースの位置推定が最も精度的に有利になる（ただし、カメラの俯角やカメラからの距離によっては他のデバイスの方が、精度が高い場合もある）。インドアＧＰＳは、電波の遮蔽物・反射物が多い領域では精度が落ちるため、ゾーンＢではＩＭＵを第２のバックアップ、インドアＧＰＳを第３のバックアップとして用いられる。

【0106】

ゾーンＣでは、ＩＭＵでの位置推定が最も優先になる。対象物内では、対象物が電波を遮蔽する場合はインドアＧＰＳを用いることができない、もしくは極端に精度が悪化する。また、対象物を撮像する「画像による位置推定」または「画像骨格推定もしくは画像物体認識等による位置推定」は、死角にならない領域等では一部用いることができるため、バックアップとして用いられる。

【0107】

作業員が図１５の上図に示すような作業経路で作業を行う場合、作業位置１では、インドアＧＰＳで、作業位置２、３では位置データを引き継いだ画像骨格推定ベースの位置推定がなされる。同様に、作業位置４、５では位置データを引き継いだＩＭＵベースの位置推定がなされ、作業位置６では、位置データを引き継いだ画像骨格推定ベースの位置推定がなされる。

【0108】

図１６に示されるように、まず情報処理装置がＭＥＳ１４１から生産指示を受信する７０１。次に情報処理装置は、ダイバーシティ入力制御設定部１６０１からダイバーシティ入力制御設定を取得する１６０２。並行して工程Ｎの作業が開始される７０５。開始の際、工程毎に作業開始位置が所定位置として定まっている場合は位置がリセットされる１６０３。情報処理装置は、位置リセットの情報を取得する。次に情報処理装置は、作業位置推定モデル１２２を用いて作業項目１、２・・・ｎの作業位置推定結果を連続的に取得する１６０４。工程Ｎの作業中情報処理装置は、作業位置推定結果に応じて入力デバイスの選択を随時指示する１６０５。

【0109】

このようにダイバーシティ入力制御部は、作業者の位置を取得する作業位置情報取得部と、予め分割した作業領域に応じて入力する複数のセンサまたはデバイスの切り替え・優先順位付けを行う制御部と、を備える。また、分割領域は、対象物から離れた対象物離隔領域と、対象物と接する対象物接近領域と、対象物内領域である。また、対象物離隔領域は、例えばインドアＧＰＳを優先的に使用して位置情報が取得され、対象物接近領域は、例えば画像骨格推定を優先的に使用して位置情報が取得され、対象物内領域は、例えばＩＭＵを優先的に使用して位置情報が取得される。さらに、ダイバーシティ入力制御部は、生産指示を受信する受信部と、生産指示に従って複数のセンサまたはデバイスの入力制御設定が取得される、入力制御設定取得部と、を備える。

【0110】

このようにして、複数のセンサまたはデバイスを設け、作業位置に応じて最適なセンサまたはデバイスを自動選択することによりデータ取得のロバスト性及び精度を確保することができる位置情報取得システム、位置情報取得方法を提供できる。

【0111】

上述した情報処理装置における処理の一部又は全部は、コンピュータプログラムとして実現可能である。このようなプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0112】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【符号の説明】

【0113】

１００ 作業認識システム、１０１外部デバイス・設備、１０２ ウェアラブルデバイス、１０３ 入力Ｉ／Ｆ、１０４ 時系列同期部、１０５ 作業認識用データ準備、１０６ 身体・手指骨格推定部、１０７ 触覚・聴覚センサデータ部、１０８ 身体部位別位置推定部、１０９ 作業者識別部、１１０ 位置推定部、１１１ 外観画像部、１１２ 設備・治工具信号・データ部、１１３ ダイバーシティ入力制御部、１１４ 作業認識用データ準備による学習／設定部、１１５ 作業認識モデルライブラリ、１１６ 姿勢・行動認識モデル、１１７ ジェスチャ・音声認識モデル、１１８ 物体認識モデル、１１９ 物理Ｆ／Ｂ認識モデル、１２０ 状態認識・測定モデル、１２１ 設備・ツールデータ認識モデル、１２２ 作業位置推定モデル、１２３ 作業成分認識モデルによる学習／設定部、１２４ 汎用作業認識モジュール、１２５ 単位作業認識モデル、１２６ 単位作業定義部、１２７ エリア別基準座標制御部、１２８ 位置定義部、１２９ 作業位置による学習／設定部、１３０ 高度作業認識モデル、１３１ 作業認識モデルライブラリ動的フィルタリング、１３２ 作業認識マルチモーダルＡＩ、１３３ 単位作業ごと作業実績データ出力部、１３４ 作業認識プラットフォーム、１３５ ＢＯＭ、１３６ ＰＤＭ・ＢＯＰ・ＢＯＥ、１３７ 製品別工程情報、１３８ 作業項目、１３９ 作業要素マスタ、１４０ 製品・工程図面情報、１４１ ＭＥＳ、１４２ アプリケーション、１４３ 作業成分認識モデル、２０２ 作業対象物、２０３ 作業動詞・ツール、２０４ 作業位置、２０５ ＢＯＰ、２０６ 作業項目、２０７ ＰＤＭ・ＢＯＰ、２０８ 単位作業 ２０９ 単位作業定義部（汎用）、２１０ 単位作業定義部（製品固有）、２１１ 作業成分認識モデル相関定義部（作業位置以外）、２１２ 作業成分認識モデル相関定義部（作業位置）、２１３ 高度作業認識、７０４ デバイス、８００ 対象物、８０１ 対象物、８０２ 対象物、８０３ 対象物、１２０１ その他モデル、１６０１ ダイバーシティ入力制御設定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】