特許 7414395 情報投影システム、制御装置、及び情報投影制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-05

(45)【発行日】2024-01-16

(54)【発明の名称】情報投影システム、制御装置、及び情報投影制御方法

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20240109BHJP

   G05B 19/418 20060101ALI20240109BHJP

   G03B 21/00 20060101ALI20240109BHJP

   G06F 3/04842 20220101ALI20240109BHJP

   G06F 3/01 20060101ALI20240109BHJP

【ＦＩ】

G06Q50/04

G05B19/418 Z

G03B21/00 D

G06F3/04842

G06F3/01 510

【請求項の数】 8

(21)【出願番号】P 2018236080

(22)【出願日】2018-12-18

(65)【公開番号】P2020098451

(43)【公開日】2020-06-25

【審査請求日】2021-10-29

【前置審査】

(73)【特許権者】

【識別番号】000000974

【氏名又は名称】川崎重工業株式会社

(74)【代理人】

【識別番号】100118784

【弁理士】

【氏名又は名称】桂川 直己

(72)【発明者】

【氏名】蓮沼 仁志

(72)【発明者】

【氏名】志子田 繁一

(72)【発明者】

【氏名】山本 武司

(72)【発明者】

【氏名】中村 直弘

(72)【発明者】

【氏名】倉島 一輝

【審査官】池田 聡史

(56)【参考文献】

【文献】特開２０１６－１８１１９９（ＪＰ，Ａ）

【文献】特開２０１３－２３５３７４（ＪＰ，Ａ）

【文献】特開２００８－０９０８０７（ＪＰ，Ａ）

【文献】特開２０１８－０３２３６４（ＪＰ，Ａ）

【文献】特開２０１５－１４９０１１（ＪＰ，Ａ）

【文献】国際公開第２０１８／１６４１７２（ＷＯ，Ａ１）

【文献】特開２０１４－２２９０５７（ＪＰ，Ａ）

【文献】特表２０１４－５１４６５２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０３００６３７（ＵＳ，Ａ１）

【文献】欧州特許出願公開第２８０１９６６（ＥＰ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０５Ｂ １９／４１８

Ｇ０３Ｂ ２１／００

Ｇ０６Ｆ ３／０４８

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

作業場の外観を検出する複数の外観センサと、制御装置と、映像を投影するプロジェクタと、を備える情報投影システムにおいて、
前記制御装置は、
作業場の外観を前記外観センサで検出することで得られた外観情報を取得する取得部と、
前記取得部が取得した前記外観情報を解析して、前記作業場にある物体の形状及び位置を示すマップ情報を作成する解析部と、
複数の前記外観センサがそれぞれ検出した複数の前記外観情報から個別に作成された前記マップ情報、又は、当該複数の前記外観情報を統合して作成された前記マップ情報に基づいて、前記作業場での作業状況に関する作業状況情報を作成して登録する登録部と、
前記作業場での作業者の作業を補助する補助映像を前記作業状況情報に基づいて作成して前記プロジェクタへ出力して当該補助映像を前記作業場へ投影させる投影制御部と、
前記マップ情報と前記物体の３次元データとのマッチングを行うことで、前記マップ情報に含まれる前記物体を特定するマッチング部と、
を備え、
前記投影制御部は、前記マッチング部が特定した前記物体に対応付けられた物体情報を含む前記補助映像を前記プロジェクタから前記作業場へ投影させ、
前記作業状況情報には、作業者の位置及び向きの変化を示す作業者状況の情報と、作業場の物体の位置の変化を示す作業環境の情報と、が含まれ、
投影制御部は、作業者状況の情報と、作業環境の情報と、に基づいて特定される作業内容に基づいて、前記補助映像を作成することを特徴とする情報投影システム。

【請求項2】

請求項１に記載の情報投影システムであって、
前記取得部は、前記作業場の作業者に装着された前記外観センサが検出した前記外観情報を取得することを特徴とする情報投影システム。

【請求項3】

請求項２に記載の情報投影システムであって、
前記投影制御部は、作業者が装着している前記プロジェクタから、当該プロジェクタを装着している作業者の作業を補助する前記補助映像を投影させることを特徴とする情報投影システム。

【請求項4】

作業場の外観を検出する複数の外観センサと、制御装置と、映像を投影するプロジェクタと、を備える情報投影システムにおいて、
前記制御装置は、
作業場の外観を前記外観センサで検出することで得られた外観情報を取得する取得部と、
前記取得部が取得した前記外観情報を解析して、前記作業場にある物体の形状及び位置を示すマップ情報を作成する解析部と、
複数の前記外観センサがそれぞれ検出した複数の前記外観情報から個別に作成された前記マップ情報、又は、当該複数の前記外観情報を統合して作成された前記マップ情報に基づいて、前記作業場での作業状況に関する作業状況情報を作成して登録する登録部と、
前記作業場での作業者の作業を補助する補助映像を前記作業状況情報に基づいて作成して前記プロジェクタへ出力して当該補助映像を前記作業場へ投影させる投影制御部と、
を備え、
前記取得部は、前記作業場の作業者に装着された前記外観センサが検出した前記外観情報を取得し、
前記投影制御部は、作業者が装着している前記プロジェクタから、当該プロジェクタを装着している作業者の作業を補助する前記補助映像を投影させ、
前記投影制御部は、第１作業者が装着した前記外観センサが検出した前記外観情報に基づいて作成された前記補助映像を、第２作業者が装着した前記プロジェクタから前記作業場へ投影させ、
前記作業状況情報には、作業者の位置及び向きの変化を示す作業者状況の情報と、作業場の物体の位置の変化を示す作業環境の情報と、が含まれ、
投影制御部は、作業者状況の情報と、作業環境の情報と、に基づいて特定される作業内容に基づいて、前記補助映像を作成することを特徴とする情報投影システム。

【請求項5】

請求項１から３までの何れか一項に記載の情報投影システムであって、
前記登録部は、前記作業状況情報に含まれる前記物体の数、位置、向き、及び形状の少なくとも何れかに基づいて、前記作業者の作業状況、及び、前記作業場での作業の進捗状況の少なくとも何れかを作成して登録することを特徴とする情報投影システム。

【請求項6】

請求項１，２，３，５の何れか一項に記載の情報投影システムであって、
前記投影制御部は、前記マッチング部が特定した前記物体に対応付けられた前記物体情報を取得し、前記マップ情報に含まれる前記物体の形状及び位置に基づいて決定された投影箇所に、当該物体情報が含まれる前記補助映像を前記プロジェクタから投影させることを特徴とする情報投影システム。

【請求項7】

作業場の外観を検出する複数の外観センサが検出した外観情報を取得するとともに、プロジェクタが投影するための映像を当該プロジェクタに出力する制御装置において、
前記制御装置は、
前記外観情報を解析して、前記作業場にある物体の形状及び位置を示すマップ情報を作成する解析部と、
複数の前記外観センサがそれぞれ検出した複数の前記外観情報から個別に作成された前記マップ情報、又は、当該複数の前記外観情報を統合して作成された前記マップ情報に基づいて、前記作業場での作業状況に関する作業状況情報を作成して登録する登録部と、
前記作業場での作業者の作業を補助する補助映像を前記作業状況情報に基づいて作成して前記プロジェクタへ出力して当該補助映像を前記作業場へ投影させる投影制御部と、
前記マップ情報と前記物体の３次元データとのマッチングを行うことで、前記マップ情報に含まれる前記物体を特定するマッチング部と、
を備え、
前記投影制御部は、前記マッチング部が特定した前記物体に対応付けられた物体情報を含む前記補助映像を前記プロジェクタへ出力して前記作業場へ投影させ、
前記作業状況情報には、作業者の位置及び向きの変化を示す作業者状況の情報と、作業場の物体の位置の変化を示す作業環境の情報と、が含まれ、
投影制御部は、作業者状況の情報と、作業環境の情報と、に基づいて特定される作業内容に基づいて、前記補助映像を作成することを特徴とする制御装置。

【請求項8】

作業場の外観を外観センサで検出することで得られた外観情報を取得する取得工程と、
前記取得工程で取得した前記外観情報を解析して、前記作業場にある物体の形状及び位置を示すマップ情報を作成する解析工程と、
複数の前記外観センサがそれぞれ検出した複数の前記外観情報から個別に作成された前記マップ情報、又は、当該複数の前記外観情報を統合して作成された前記マップ情報に基づいて、前記作業場での作業状況に関する作業状況情報を作成して登録する登録工程と、
前記作業場での作業者の作業を補助する補助映像を前記作業状況情報に基づいて作成してプロジェクタへ出力して前記作業場へ投影させる投影制御工程と、
前記マップ情報と前記物体の３次元データとのマッチングを行うことで、前記マップ情報に含まれる前記物体を特定するマッチング工程と、
をコンピュータに実行させて制御装置として動作させるための情報投影制御方法であり、
前記投影制御工程では、前記マッチング工程で特定した前記物体に対応付けられた物体情報を含む前記補助映像を前記プロジェクタから前記作業場へ投影させ、
前記作業状況情報には、作業者の位置及び向きの変化を示す作業者状況の情報と、作業場の物体の位置の変化を示す作業環境の情報と、が含まれ、
投影制御工程では、作業者状況の情報と、作業環境の情報と、に基づいて特定される作業内容に基づいて、前記補助映像を作成することを特徴とする情報投影制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、主として、作業場に情報を投影する情報投影システムに関する。

【背景技術】

【0002】

従来から、部品の加工、塗装、組立て等の作業を行う作業場において、仮想画像を用いて作業を支援するシステムが知られている。特許文献１は、ヘッドマウントディスプレイ（以下、ＨＭＤ）を用いたこの種のシステムを開示する。

【0003】

特許文献１では、本体部品に筒状部品を組み付ける作業を支援するシステムが例として示されている。また、作業者が装着するＨＭＤには撮像部が設けられており、この撮像部で作業場のマーカを検出することで、撮像部の位置及び姿勢が推定される。また、筒状部品の３次元データは予め取得されている。ＨＭＤの表示部には、作業者が視認する実物の本体部品の近くに、３次元データに基づいて作成された筒状部品の仮想画像が表示される。また、ＨＭＤの表示部には、筒状部品を組み付けるための移動軌跡が更に表示される。これにより、組立て手順を作業者に直感的に理解させることができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１４－２２９０５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１のシステムでは、ＨＭＤに画像を表示する構成であるため、複数の作業者で同じ画像を共有することはできなかった。もちろん、作業者にそれぞれＨＭＤを装着させて同じ画像を表示させることは可能であるが、同じ画像が表示されていることを確かめる必要があったり、どの画像に着目しているかを他の作業者に伝える必要がある。また、作業を効率化するためには、更なる情報を作業者に伝えることが求められる。

【0006】

本発明は以上の事情に鑑みてされたものであり、その主要な目的は、作業に関する画像を用いて作業を支援するシステムにおいて、作業に関する画像を複数の作業者間で簡単に共有可能であり、かつ、検出された情報に基づく画像を作業者に把握させることが可能な構成を提供することにある。

【課題を解決するための手段】

【0007】

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。

【0008】

本発明の第１の観点によれば、作業場の外観を検出する複数の外観センサと、制御装置と、映像を投影するプロジェクタと、を備える情報投影システムが提供される。また、前記制御装置は、取得部と、解析部と、登録部と、投影制御部と、マッチング部と、を備える。前記取得部は、作業場の外観を前記外観センサで検出することで得られた外観情報を取得する。前記解析部は、前記取得部が取得した前記外観情報を解析して、前記作業場にある物体の形状及び位置を示すマップ情報を作成する。前記登録部は、複数の前記外観センサがそれぞれ検出した複数の前記外観情報から個別に作成された前記マップ情報、又は、当該複数の前記外観情報を統合して作成された前記マップ情報に基づいて、前記作業場での作業状況に関する作業状況情報を作成して登録する。前記投影制御部は、前記作業場での作業者の作業を補助する補助映像を前記作業状況情報に基づいて作成して前記プロジェクタへ出力して前記作業場へ投影させる。前記マッチング部は、前記マップ情報と前記物体の３次元データとのマッチングを行うことで、前記マップ情報に含まれる前記物体を特定する。前記投影制御部は、前記マッチング部が特定した前記物体に対応付けられた物体情報を含む前記補助映像を前記プロジェクタから前記作業場へ投影させる。前記作業状況情報には、作業者の位置及び向きの変化を示す作業者状況の情報と、作業場の物体の位置の変化を示す作業環境の情報と、が含まれる。投影制御部は、作業者状況の情報と、作業環境の情報と、に基づいて特定される作業内容に基づいて、前記補助映像を作成する。

【0009】

本発明の第２の観点によれば、作業場の外観を検出する複数の外観センサが検出した外観情報を取得するとともに、プロジェクタが投影するための映像を当該プロジェクタに出力する制御装置が提供される。また、前記制御装置は、解析部と、登録部と、投影制御部と、マッチング部と、を備える。前記解析部は、前記外観情報を解析して、前記作業場にある物体の形状及び位置を示すマップ情報を作成する。前記登録部は、複数の前記外観センサがそれぞれ検出した複数の前記外観情報から個別に作成された前記マップ情報、又は、当該複数の前記外観情報を統合して作成された前記マップ情報に基づいて、前記作業場での作業状況に関する作業状況情報を作成して登録する。前記投影制御部は、前記作業場での作業者の作業を補助する補助映像を前記作業状況情報に基づいて作成して前記プロジェクタへ出力して当該補助映像を前記作業場へ投影させる。前記マッチング部は、前記マップ情報と前記物体の３次元データとのマッチングを行うことで、前記マップ情報に含まれる前記物体を特定する。前記投影制御部は、前記マッチング部が特定した前記物体に対応付けられた物体情報を含む前記補助映像を前記プロジェクタから前記作業場へ投影させる。前記作業状況情報には、作業者の位置及び向きの変化を示す作業者状況の情報と、作業場の物体の位置の変化を示す作業環境の情報と、が含まれる。投影制御部は、作業者状況の情報と、作業環境の情報と、に基づいて特定される作業内容に基づいて、前記補助映像を作成する。

【0010】

本発明の第３の観点によれば、以下の工程をコンピュータに実行させて制御装置として動作させるための情報投影制御方法が提供される。即ち、この情報投影制御方法は、取得工程と、解析工程と、登録工程と、投影制御工程と、マッチング工程と、を含む。前記取得工程では、作業場の外観を外観センサで検出することで得られた外観情報を取得する。前記解析工程では、前記取得工程で取得した前記外観情報を解析して、前記作業場にある物体の形状及び位置を示すマップ情報を作成する。前記登録工程では、複数の前記外観センサがそれぞれ検出した複数の前記外観情報から個別に作成された前記マップ情報、又は、当該複数の前記外観情報を統合して作成された前記マップ情報に基づいて、前記作業場での作業状況に関する作業状況情報を作成して登録する。前記投影制御工程では、前記作業場での作業者の作業を補助する補助映像を前記作業状況情報に基づいて作成してプロジェクタへ出力して前記作業場へ投影させる。前記マッチング工程では、前記マップ情報と前記物体の３次元データとのマッチングを行うことで、前記マップ情報に含まれる前記物体を特定する。前記投影制御工程では、前記マッチング工程で特定した前記物体に対応付けられた物体情報を含む前記補助映像を前記プロジェクタから前記作業場へ投影させる。前記作業状況情報には、作業者の位置及び向きの変化を示す作業者状況の情報と、作業場の物体の位置の変化を示す作業環境の情報と、が含まれる。投影制御工程では、作業者状況の情報と、作業環境の情報と、に基づいて特定される作業内容に基づいて、前記補助映像を作成する。

【0011】

これにより、ＨＭＤに補助映像を表示する構成と異なり、投影された映像を複数の作業者間で簡単に共有できる。また、予め定められた情報ではなく検出した情報である作業状況情報に基づく補助映像が作業場に投影されるため、作業場の物体に関する様々な情報を作業者に把握させることができる。

【発明の効果】

【0012】

本発明によれば、その主要な目的は、作業に関する画像を用いて作業を支援するシステムにおいて、作業に関する画像を複数の作業者間で簡単に共有可能であり、かつ、検出された情報に基づく画像を作業者に把握させることが可能な構成を実現できる。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施形態に係る情報投影システムの構成を示す概略図。

【図2】物体の名称及び作業内容を示す補助映像が作業場に投影される様子を示す図。

【図3】作業状況情報に基づいて得られる作業者毎の作業状況及び作業工程毎の作業状況を示す表。

【図4】他の作業者が取得した情報に基づく補助映像が作業場に投影される様子を示す図。

【図5】作業者端末ではなく作業場にステレオカメラ及びプロジェクタが配置される変形例を示す図。

【発明を実施するための形態】

【0014】

次に、図面を参照して本発明の実施形態を説明する。図１は、本発明の一実施形態に係る情報投影システムの構成を示す概略図である。図２は、物体の名称及び作業内容を示す補助映像が作業場に投影される様子を示す図である。

【0015】

本実施形態の情報投影システム１は、部品の加工、塗装、組立て等の作業を行う作業場において、作業状況をリアルタイムで取得するとともに、作業者の作業を補助する補助映像を作業場に投影する。情報投影システム１は、複数の作業者端末１０と、それを管理及び制御する制御装置２０と、を備えている。

【0016】

作業者端末１０は、作業者が装着する装置である。図２に示すように、本実施形態の作業者端末１０は、作業者の頭に装着する構成である。作業者端末１０は、作業用ヘルメットと一体的に構成されていてもよいし、作業用ヘルメットに着脱可能であってもよい。また、作業者端末１０は、頭以外の箇所に装着可能な構成であってもよい。本実施形態では、作業場では複数の作業者が作業をしており、作業者毎に作業者端末１０が装着される。従って、情報投影システム１は複数の作業者端末１０を備えることとなる。「複数の作業者端末１０」とは、異なる作業者に取り付けられる端末（言い換えれば、離れた位置に配置されるとともに独立して位置を変更可能な端末）が複数（２以上）存在することを意味する。また、それぞれの作業者端末１０の構成は全く同じであってもよいし、異なっていてもよい。複数の作業者端末１０は、それぞれ、ステレオカメラ（外観センサ）１１と、プロジェクタ１２と、通信装置１３と、を備える。従って、情報投影システム１は、複数のステレオカメラ１１（外観センサ）を備えることとなる。外観センサとは、作業場の外観を取得するセンサである。また、「複数の外観センサ」とは、離れた位置に配置されるとともに独立して利用可能なデータを検出するセンサが複数（２以上）存在することを意味する。

【0017】

ステレオカメラ１１は、互いに適宜の距離だけ離して配置された一対の撮像素子（イメージセンサ）を備える。それぞれの撮像素子は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃоｕｐｌｅｄ Ｄｅｖｉｃｅ）として構成することができる。２つの撮像素子は互いに同期して動作し、作業場を同時に撮影することで、一対の画像データを作成する。本実施形態では、リアルタイムで検出した情報を補助映像として投影することが想定されているため、ステレオカメラ１１は例えば１秒間に複数回の撮影を行うことが好ましい。

【0018】

また、ステレオカメラ１１は、この一対の画像データを処理する画像処理部を備える。画像処理部は、ステレオカメラ１１により得られた一対の画像データに対して公知のステレオマッチング処理を行うことによって、それぞれの画像が対応する位置のズレ（視差）を求める。視差は、写ったものとの距離が近いほど、距離に反比例して大きくなる。画像処理部は、この視差に基づいて、画像データの各画素に距離の情報を対応付けた距離画像を作成する。ステレオカメラ１１は、２つの撮像素子を備えるが、それぞれの撮像素子が検出した画像を合わせて処理して１つの距離画像が作成されるため、１つの外観センサに相当する。また、撮像素子が作成した画像データ及び画像処理部が作成した距離画像は、作業場の外観を示す情報であるため、外観情報に相当する。

【0019】

距離画像の作成は、撮像素子が画像データを作成する毎にリアルタイムで行われる。従って、距離画像を撮像頻度と同じ頻度で作成することができる。なお、ステレオカメラ１１が撮像素子を備え、ステレオカメラ１１とは物理的に離れた別の筐体に画像処理部が配置されていてもよい。

【0020】

ステレオカメラ１１は、作業者の正面の画像データを作成するように、即ちレンズが作業者の目線と同じ方向を向くように配置されている。言い換えれば、作業者端末１０（ステレオカメラ１１）は作業者に対する向きが変わらないように当該作業者に固定可能な構成を有し、作業者端末１０を作業者に固定した状態において、ステレオカメラ１１の撮像方向が作業者の前方と一致する。これにより、作業者が目で見た情報を画像データとして取得することができる。

【0021】

プロジェクタ１２は、外部から入力された映像を投影することができる。プロジェクタ１２は、ステレオカメラ１１と同様の構成により、作業者の正面に映像を投影する。これにより、作業者は、自身の向きに関係なく、プロジェクタ１２が投影した映像を視認することができる。また、ステレオカメラ１１とプロジェクタ１２の位置関係（向きを含む）は、予め求められており、作業者端末１０又は制御装置２０に記憶されている。従って、例えば作業場におけるステレオカメラ１１の位置を特定することで、作業場におけるプロジェクタ１２の位置を特定できる。

【0022】

通信装置１３は、ステレオカメラ１１及びプロジェクタ１２と有線通信を行うためのコネクタ又は無線通信を行うための第１アンテナを備えており、ステレオカメラ１１及びプロジェクタ１２とデータをやり取りすることができる。また、通信装置１３は、外部の装置（特に制御装置２０）と無線通信するための第２アンテナを備えている。第２アンテナは第１アンテナと別体であってもよいし同じであってもよい。通信装置１３は、ステレオカメラ１１から入力された距離画像を第２アンテナを介して制御装置２０へ送信したり、制御装置２０が作成した補助映像を第２アンテナを介して受信してプロジェクタ１２へ出力したりする。

【0023】

制御装置２０は、ＣＰＵ、ＲＯＭ及びＲＡＭ等を備えたコンピュータとして構成されている。制御装置２０は、作業者端末１０から受信した距離画像及びその他の情報に基づいて補助映像を作成し、作業者端末１０へ送信する。図１に示すように、制御装置２０は、通信装置（取得部）２１と、解析部２２と、マッチング部２３と、物体情報データベース２４と、登録部２５と、作業状況情報データベース２６と、投影制御部２７と、を備える。制御装置２０が備える各部は、制御装置２０が行う処理毎に（制御装置２０が有する機能毎に）制御装置２０を概念的に分けたものである。本実施形態の制御装置２０は１台のコンピュータにより実現されているが、制御装置２０は複数台のコンピュータから構成されていてもよい。この場合、これらの複数のコンピュータは、ネットワークを介して接続される。

【0024】

通信装置２１は、外部の装置（特に作業者端末１０）と無線通信するための第３アンテナを備えている。通信装置２１は、制御装置２０の各部と無線又は有線により接続されており、データをやり取りすることができる。通信装置２１は、距離画像を作業者端末１０から取得する（取得工程）。通信装置２１は、作業者端末１０から取得した距離画像を第３アンテナを介して受信して解析部２２へ出力したり、投影制御部２７が作成した補助映像（詳細には補助映像を投影するためのデータ）を第３アンテナを介して作業者端末１０へ出力する。

【0025】

解析部２２は、通信装置２１から入力された距離画像に対してＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）処理を行う。解析部２２は、距離画像を解析することで、作業場にある物体の形状及び位置を示すマップ情報（環境地図）を作成するとともにステレオカメラ１１の位置及び向き（センサ位置及びセンサ向き）を推定する（解析工程）。なお、作業場にある物体とは、例えば、作業場に配置される設備、機器、工具、及びワーク（作業対象物）である。

【0026】

以下、マップ情報の作成方法について具体的に説明する。即ち、解析部２２は、距離画像を解析することにより、適宜の特徴点を設定し、その動きを取得する。そして、解析部２２は、距離画像から公知の手法によって複数の特徴点を抽出して追跡することで、画像に相当する平面内での特徴点の動きをベクトルで表現したデータを求める。解析部２２は、このデータに基づいて、マップ情報を生成する。マップ情報は、上述したように作業場にある物体の形状及び位置を示すデータであり、より詳細には、抽出した複数の特徴点（点群）の３次元位置を示すデータである。また、解析部２２は、入力された特徴点の位置及び距離の変化と、マップ情報における当該特徴点の位置と、に基づいて、ステレオカメラ１１の位置及び向きの変化を推定する。解析部２２が作成したマップ情報と、ステレオカメラ１１の位置及び向きと、それらの変化とが、マッチング部２３へ出力される。

【0027】

マッチング部２３は、マップ情報に含まれる物体を特定する処理を行う。具体的には、物体情報データベース２４には、作業場にある物体の３次元モデルデータと、当該物体を特定する識別情報（名称又はＩＤ）と、が対応付けて記憶されている。上述したように、マップ情報は複数の特徴点の３次元位置を示すデータである。また、作業場に配置される物体の輪郭の一部は、解析部２２によってマップ情報における特徴点として処理される。マッチング部２３は、解析部２２から取得したマップ情報に含まれる複数の特徴点から、物体情報データベース２４に記憶されている所定の物体（例えば工具Ａ）の３次元モデルデータに該当する特徴点を公知の手法で探索する。そして、マッチング部２３は、この物体に該当する特徴点を抽出し、当該特徴点の位置に基づいて、この物体の位置（例えば所定の代表点の位置）及び向きを特定する。マッチング部２３は、マップ情報の座標上に、この特定した物体の識別情報と、その位置及び向きを付加したデータを作成する。この処理を様々な物体に対して行うことで、作業場に配置される様々な物体のマップ情報の座標上における位置及び向き等を示すデータ（物体座標データ）が得られる。

【0028】

また、物体情報データベース２４には、物体に関する情報として、更に、物体の重さ、物体の軟らかさ、物体の変形度合、及び物体を用いた作業内容等が登録されている。これらの情報及び物体の識別情報を含めて、物体情報と称する。

【0029】

登録部２５は、解析部２２及びマッチング部２３が作成した情報に基づいて作業状況情報を作成して、作業状況情報データベース２６に登録する（登録工程）。作業状況情報とは、作業場での作業状況に関する情報であり、例えば作業者の作業内容、及び、作業場での作業の進捗状況が含まれる。具体的には、ステレオカメラ１１の位置及び向きの変化は、作業者の位置及び向きの変化（以下、作業者状況の変化）に対応する。また、作業者が作業を行うに従って、設備、機器、工具、又はワークの数、位置、向き、又は形状の変化（作業環境の変化）が生じる。また、登録部２５には、作業者の作業内容と、作業者状況の変化及び作業環境の変化と、の対応関係を示す情報が登録されている。登録部２５は、この対応関係と、検出された作業者状況の変化及び作業環境の変化と、を比較することで、作業者がどのような作業を何回行ったかを特定して作業状況情報データベース２６に登録する。登録部２５は、図３（ａ）に示すように、作業者毎に、担当作業、作業完了数、及び作業効率（作業完了数を単位時間で除算したもの）を算出して登録する。また、登録部２５は、作業者ではなく作業工程に着目してデータを整理することで、図３（ｂ）に示すように、作業工程毎に、作業完了数、作業目標数、進捗率（作業完了数を作業目標数で除算したもの）を算出して登録することもできる。なお、登録部２５は、作業工程毎ではなく作業全体の進捗率を算出する構成であってもよい。また、作業状況情報データベース２６には、作業状況情報として、ステレオカメラ１１が作成した画像データも登録される。このように、作業状況情報は、予め作成された情報ではなく、検出された情報を含んでいるため、リアルタイムに変化する情報である。また、登録部２５は、更に、解析部２２及びマッチング部２３が作成した情報（ステレオカメラ１１の位置及び姿勢、物体座標データ）を投影制御部２７へ出力する。

【0030】

なお、本実施形態では、解析部２２による解析、及び、マッチング部２３によりマッチングは、受信した外観情報毎に（言い換えれば作業者端末１０毎に）それぞれ行われる。これに代えて、複数の外観情報を統合した後に、解析部２２による解析、及び、マッチング部２３によりマッチングが行われる構成であってもよい。

【0031】

投影制御部２７は、物体情報データベース２４及び作業状況情報データベース２６に登録された情報及び登録部２５から入力された情報等に基づいて、補助映像を作成してプロジェクタ１２へ出力することで、この補助映像を作業場へ投影させる（投影制御工程）。投影制御部２７には、作業状況に応じた補助映像を作成するために、作業者の作業内容と、補助映像の内容と、の対応関係を示す情報が登録されている。投影制御部２７は、この対応関係と、作業状況情報データベース２６から得られた作業者の現在の作業内容と、を比較することで、現在の作業者の作業内容に応じて投影すべき補助映像の内容を特定する。補助映像の内容としては、例えば、物体情報に基づく補助映像と、作業状況情報に基づく補助映像と、がある。なお、投影制御部２７は、作業者毎に（作業者端末１０毎に）異なる補助映像を作成してプロジェクタ１２に投影させる。以下、図２及び図４を参照して、投影制御部２７が作成する補助映像について具体的に説明する。

【0032】

図２では、物体情報及び作業状況情報に基づいて作成された補助映像が作業場に投影される様子が示されている。図２に示す状況では、作業台４０の上に、工具４１と、第１部品４２と、第２部品４３が置かれている。また、図２に示す状況では、作業者は、第１部品４２を第２部品４３の上に移動させる作業が行われる。

【0033】

図２の上側の図では、補助映像が投影される前の状態が示されており、図２の下側の図では、補助映像が投影された後の状態が示されている。図２の下側の図では、物体の名称（識別情報）と、物体を用いた作業内容と、を含む補助映像が投影されている。なお、図２の下側の図では、補助映像が破線で示されている。

【0034】

投影制御部２７は、マッチング部２３から受信したデータに基づいて、物体の位置及び向き並びにステレオカメラ１１の位置及び向きをリアルタイムに把握可能であり、更にステレオカメラ１１とプロジェクタ１２の位置関係も予め記憶されている。そのため、投影制御部２７は、物体の位置及び向きを考慮した位置に補助映像を投影させることができる。具体的には、物体の名称等の文字を投影させる際には、物体の近傍であって、かつ、文字が視認できるように平面状の部分に対して、文字を投影させる。なお、投影制御部２７は、曲面に文字を投影させる場合は、投影先の曲面形状に応じて歪ませた文字を投影させることで、作業者が視認できる態様で曲面に文字を投影させることもできる。また、投影制御部２７は、作業内容を投影させる場合は、作業内容を示す文字に加え、第１部品４２の移動先及び移動方向を示す映像も補助映像として投影させる。

【0035】

このように補助映像を投影することで、複数人の作業者で補助映像を容易に共有できる。例えば、熟練者が初心者に対して、補助映像を指差しながら作業手順を教えることができる。ＨＭＤに仮想映像を表示するシステムでは、このような教え方が困難である。従って、情報投影システム１を用いることで、効率的に作業手順を教えることができる。また、投影制御部２７は、ステレオカメラ１１の位置及び姿勢をリアルタイムに取得可能であるため、仮に作業者端末１０がズレた場合であっても、装着位置を再調整することなく、正しい位置に補助映像を投影できる。また、作業者は、ＨＭＤを用いるシステムと異なり、透明型ディスプレイを介さずに作業場を直接視認できる。以上により、作業効率を向上させつつ、作業者の手間及び負担を軽減できる。

【0036】

図４には、作業状況情報データベース２６に登録されている作業状況情報が補助映像として投影される様子が示されている。図４に示す状況では、第３部品４４に形成された凹部４４ａに、第４部品４５を取り付ける作業が行われる。また、第３部品４４及び第４部品４５は、作業者と比較して非常に大きい部品であるため、２人の作業者がそれぞれ上側と下側の取付けを担当する。この状況では、２人の作業者が互いの作業状況を確認しながら第４部品４５の取付けを行う必要がある。しかし、第４部品４５は非常に大きいため、その作業は困難となる。

【0037】

この点、本実施形態では、ステレオカメラ１１が作成した画像データも作業状況情報として登録されており、この画像データが補助映像として投影される。具体的には、上側にいる第１作業者のプロジェクタ１２からは、下側にいる第２作業者のステレオカメラ１１で作成された画像データが補助映像として投影される。また、図２と同様に、物体の名称も同時に補助映像として投影される。一方、下側にいる第２作業者のプロジェクタ１２からは、上側にいる第１作業者のステレオカメラ１１で作成された画像データ及び物体の名称が補助映像として投影される。これにより、互いの作業状況を確認しながら作業を行うことができる。このように、図４に示す例では、他の作業者の作業者端末１０で取得された情報であって、かつ、作業者が行う作業に応じた補助映像が投影される。

【0038】

図４で示す例では、画像データと物体の名称が表示されるが、これらに代えて又は加えて、マップ情報から算出される物体の位置を補助映像として投影することもできる。例えば、マップ情報に基づいて、第３部品４４と第４部品４５のズレ量を数値化することが可能であるため、数値化したズレ量を補助映像として投影することもできる。また、図４で説明した状況は一例であり、例えば作業者より大きい大型部品や壁を挟んで向かい合うように位置する作業者同士で、互いの画像データを共有することができる。

【0039】

次に、図５を参照して、上記実施形態の変形例について説明する。図５は、作業者端末１０ではなく作業場にステレオカメラ１１１及びプロジェクタ１１２が配置される変形例を示す図である。

【0040】

本変形例では、作業場の例えば壁又は天井等にステレオカメラ１１１及びプロジェクタ１１２が配置されている。この構成であっても、ステレオカメラ１１１が作成した画像データ及び距離画像に基づいて、マップ情報を生成できる。また、本変形例の構成では、マッチング部２３がマッチングにより作業者を特定することで、作業者毎の情報を取得することもできる。

【0041】

また、ステレオカメラ１１１とプロジェクタ１１２は固定されているため、位置関係は事前に記憶しておくことができるので、マップ情報の物体の位置及び向きを考慮して、補助映像を投影することもできる。なお、ステレオカメラ１１１及びプロジェクタ１１２の少なくとも一方が、位置及び向きを変化可能に構成されている場合であっても、位置制御又は姿勢制御の内容に応じて位置関係を算出できるので、同様である。

【0042】

本変形例に代えて、ステレオカメラ１１１とプロジェクタ１１２の一方が作業者端末１０に配置され、他方が作業場に配置される構成であってもよい。この場合、作成されるマップ情報に基づいて、プロジェクタ１１２の位置及び向きを特定できる場合は、物体の位置及び向きを考慮して、補助映像を投影することができる。

【0043】

以上に説明したように、この情報投影システム１は、作業場の外観を検出する複数のステレオカメラ１１，１１１と、制御装置２０と、映像を投影するプロジェクタ１２，１１２と、を備える。制御装置２０は、通信装置２１と、解析部２２と、登録部２５と、投影制御部２７と、を備える。通信装置２１は、作業場の外観をステレオカメラ１１，１１１で検出することで得られた外観情報（一対の画像データ又は距離画像）を取得する。解析部２２は、通信装置２１が取得した外観情報を解析して、作業場にある物体の形状及び位置を示すマップ情報を作成する。登録部２５は、複数のステレオカメラ１１，１１１がそれぞれ検出した複数の外観情報から個別に作成されたマップ情報に基づいて、作業場での作業状況に関する作業状況情報を作成して登録する。投影制御部２７は、作業場での作業者の作業を補助する補助映像を作業状況情報に基づいて作成してプロジェクタ１２，１１２へ出力して作業場へ投影させる。

【0044】

これにより、ＨＭＤに補助映像を表示する構成と異なり、投影された映像を複数の作業者間で簡単に共有できる。また、予め定められた情報ではなく検出した情報である作業状況情報に基づく補助映像が作業場に投影されるため、作業場の物体に関する様々な情報を作業者に把握させることができる。

【0045】

また、上記実施形態の情報投影システム１において、通信装置２１は、作業場の作業者に装着されたステレオカメラ１１が検出した外観情報を取得する。

【0046】

これにより、作業者の位置及び向きを含む作業状況情報を作成できる。また、作業者が目で見た情報を作業状況情報に含めることができる。更に、ステレオカメラ１１が動くことになるため、様々な視点で得られた外観情報に基づいてマップ情報を作成できる。

【0047】

また、上記実施形態の情報投影システム１において、投影制御部２７は、作業者が装着しているプロジェクタ１２から、当該プロジェクタ１２を装着している作業者の作業を補助する補助映像を投影させる。

【0048】

これにより、作業者毎に必要な情報をプロジェクタ１２から投影させることができる。

【0049】

また、上記実施形態の情報投影システム１において、投影制御部２７は、第１作業者が装着したステレオカメラ１１が検出した外観情報に基づいて作成された補助映像を、第２作業者が装着したプロジェクタ１２から作業場へ投影させる。

【0050】

これにより、例えば第２作業者は、自身が直接確認できない情報（特に現在の作業状態に関する情報）を、第１作業者が装着したステレオカメラ１１を介して確認することができる。

【0051】

また、上記実施形態の情報投影システム１において、登録部２５は、作業状況情報に含まれる物体の数、位置、向き、及び形状の少なくとも何れかに基づいて、作業者の作業状況、及び、作業場での作業の進捗状況の少なくとも何れかを作成して登録する。

【0052】

これにより、現在の作業状態に関する情報に基づいて作業状況が判定されるので、正確な作業状況をリアルタイムで得ることができる。

【0053】

また、上記実施形態の情報投影システム１において、マップ情報と物体の３次元データとのマッチングを行うことで、マップ情報に含まれる物体を特定するマッチング部２３を備える。投影制御部２７は、マッチング部２３が特定した物体情報を含む補助映像をプロジェクタ１２から作業場へ投影させる。

【0054】

これにより、特定した物体に関する補助映像を投影できるので、作業者の作業効率を向上させたり、作業ミスを低減させたりすることができる。

【0055】

また、上記実施形態の情報投影システム１において、投影制御部２７は、マッチング部２３が特定した物体に対応付けられた物体情報を取得し、マップ情報に含まれる物体の形状及び位置に基づいて決定された投影箇所に、当該物体情報が含まれる補助映像をプロジェクタ１２から投影させる。

【0056】

これにより、物体の形状及び位置に基づいて決定された投影箇所に補助映像が投影されるので、作業者が視認できる位置及び態様で補助映像を映し出すことができる。また、物体に対応付けられた物体情報が表示されるので、作業者の作業を補助することができる。

【0057】

以上に本発明の好適な実施の形態及び変形例を説明したが、上記の構成は例えば以下のように変更することができる。

【0058】

外観センサとして、ステレオカメラ１１に代えて、単眼カメラが用いられても良い。この場合、解析部２２及びマッチング部２３は、以下の方法を用いて物体の位置及び姿勢を特定するとともに、当該物体を認識することができる。初めに、作業場に配置され得る物体を様々な方向及び距離から撮影した画像を作成する。これらの画像は、写真であってもよいし、３Ｄモデルに基づくＣＧ画像であってもよい。そして、これらの画像と、これらの画像を撮影した方向及び距離と、これらの画像が示す物体の識別情報等と、をコンピュータに機械学習させる。この機械学習により作成されるモデルを用いることで、物体の画像に基づいて、物体を認識するとともに、当該物体に対する撮像位置の相対位置を特定することができる。なお、この方法は、単眼カメラに限られず、ステレオカメラ１１にも適用できる。また、ステレオカメラ１１が単眼カメラである場合、解析部２２は、公知の単眼Ｖｉｓｕａｌ－ＳＬＡＭ処理を行って、本実施形態と同様の情報を検出しても良い。また、ステレオカメラ１１の代わりに、単眼カメラとジャイロセンサとを組み合わせた公知の構成を用いて、視差情報を取得してＳＬＡＭ技術に用いても良い。

【0059】

外観センサとして、ステレオカメラ１１に代えて、３次元計測が可能な３次元ＬＩＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉоｎ ａｎｄ Ｒａｎｇｉｎｇ）を用いてもよい。この場合、ステレオカメラ１１を用いる場合と比較して、対象物の３次元的な位置をより正確に計測することができる。また、レーザーを使用することによって、明るさ等の外部の影響を抑制した走査を行うことができる。

【0060】

上記実施形態では、作業状況情報として、様々な情報を例に挙げて説明したが、それらの一部のみが作成されて登録される構成であってもよいし、上記で説明した情報とは異なる情報が作成されて登録される構成であってもよい。また、例えば作業状況情報として画像データのみが登録される場合、マッチング部２３によるマッチング処理は不要となる。

【符号の説明】

【0061】

１ 情報投影システム
１０ 作業者端末
１１，１１１ ステレオカメラ（外観センサ）
１２，１１２ プロジェクタ
１３ 通信装置
２０ 制御装置
２１ 通信装置（取得部）
２２ 解析部
２３ マッチング部
２４ 物体情報データベース
２５ 登録部
２６ 作業状況情報データベース
２７ 投影制御部

【図1】

【図2】

【図3】

【図4】

【図5】