特開 2024-121502 情報処理装置、情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024121502

(43)【公開日】2024-09-06

(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240830BHJP

   G06T 7/00 20170101ALI20240830BHJP

   G09G 5/00 20060101ALI20240830BHJP

   G09G 5/38 20060101ALI20240830BHJP

   H04N 5/74 20060101ALI20240830BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 610

G09G5/00 550C

G09G5/00 550X

G09G5/00 510B

G09G5/38 100

H04N5/74 Z

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023028643

(22)【出願日】2023-02-27

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100140958

【弁理士】

【氏名又は名称】伊藤 学

(74)【代理人】

【識別番号】100137888

【弁理士】

【氏名又は名称】大山 夏子

(74)【代理人】

【識別番号】100190942

【弁理士】

【氏名又は名称】風間 竜司

(72)【発明者】

【氏名】貞富 博一

【テーマコード（参考）】

5C058

5C182

5L096

【Ｆターム（参考）】

5C058BA35

5C058EA02

5C058EA26

5C182AA04

5C182AA14

5C182BA14

5C182BA54

5C182BA68

5C182BB01

5C182BB11

5C182CB42

5L096AA06

5L096BA03

5L096CA04

5L096FA67

5L096FA69

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

【課題】対象物の撮像画像に基づき、情報を投影する投影位置を調整する。
【解決手段】収納棚が有する複数の収納部に収納された部品が取り付けられる対象物の撮像画像を取得する取得部と、前記対象物の基準位置及び基準姿勢のうち少なくとも一方を記憶する記憶部と、前記基準位置に対する、前記取得部によって取得された前記撮像画像における前記対象物の位置の相対差分、及び前記基準姿勢に対する、前記取得部によって取得された前記撮像画像における前記対象物の姿勢の相対差分のうち少なくとも一方を算出する算出部と、前記対象物の、前記位置及び姿勢の前記相対差分のうち少なくとも一方に応じた投影位置への情報の投影を制御する制御部と、を備える、情報処理装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

収納棚が有する複数の収納部に収納された部品が取り付けられる対象物の撮像画像を取得する取得部と、
前記対象物の基準位置及び基準姿勢のうち少なくとも一方を記憶する記憶部と、
前記基準位置に対する、前記取得部によって取得された前記撮像画像における前記対象物の位置の相対差分、及び前記基準姿勢に対する、前記取得部によって取得された前記撮像画像における前記対象物の姿勢の相対差分のうち少なくとも一方を算出する算出部と、
前記対象物の、前記位置及び姿勢の前記相対差分のうち少なくとも一方に応じた投影位置への情報の投影を制御する制御部と、
を備える、情報処理装置。

【請求項2】

前記情報は、前記部品を取り付ける取付部位を作業者に提示するための表示である、
請求項１に記載の情報処理装置。

【請求項3】

前記基準位置に対する前記対象物の位置の相対差分は、前記基準位置を表す二次元座標に対する前記対象物の位置を表す二次元座標の差分によって表され、
前記基準姿勢に対する前記対象物の姿勢の相対差分は、前記基準姿勢に対する前記対象物の姿勢の回転量によって表される、
請求項１または２に記載の情報処理装置。

【請求項4】

前記記憶部は、前記対象物が前記基準位置及び前記基準姿勢で設置された場合の、前記情報が投影される位置である、基準投影位置をさらに記憶し、
前記制御部は、前記基準投影位置を前記位置及び前記姿勢の前記相対差分だけ移動させた前記投影位置へ前記情報を投影することを制御する、
請求項３に記載の情報処理装置。

【請求項5】

前記情報処理装置は、
前記算出部によって算出された前記位置及び前記姿勢の前記相対差分のうち少なくとも一方が条件を満たさない場合、作業者に対して前記対象物の設置についての情報の通知を制御する通知制御部をさらに備える、
請求項３に記載の情報処理装置。

【請求項6】

前記条件は、前記回転量が閾値未満であるという条件である、
請求項５に記載の情報処理装置。

【請求項7】

前記記憶部は、部品を取り付ける対象として設定された対象物の画像をさらに記憶し、
前記情報処理装置は、
前記取得部によって取得された前記撮像画像における対象物と、前記記憶部に記憶された前記画像における対象物が整合しているか否かを判定する判定部をさらに備える、
請求項５に記載の情報処理装置。

【請求項8】

前記記憶部は、前記部品が前記対象物に正規に取り付けられた状態の画像である正規取付画像をさらに記憶し、
前記取得部は、前記部品が取り付けられた前記対象物の撮像画像である取付後撮像画像をさらに取得し、
前記判定部は、前記正規取付画像と前記取付後撮像画像を比較することにより、前記部品が前記対象物に正規に取り付けられているか否かをさらに判定する、
請求項７に記載の情報処理装置。

【請求項9】

前記制御部は、前記取得部が取得する前記取付後撮像画像に映る撮像範囲を、前記位置及び前記姿勢の前記相対差分に応じて移動させる、
請求項８に記載の情報処理装置。

【請求項10】

収納棚が有する複数の収納部に収納された部品が取り付けられる対象物の撮像画像を取得する取得部と、
前記対象物の基準位置及び基準姿勢のうち少なくとも一方を記憶する記憶部と、
前記基準位置に対する、前記取得部によって取得された前記撮像画像における前記対象物の位置の相対差分、及び前記基準姿勢に対する、前記取得部によって取得された前記撮像画像における前記対象物の姿勢の相対差分のうち少なくとも一方を算出する算出部と、
前記対象物の、前記位置及び姿勢の前記相対差分のうち少なくとも一方に応じた投影位置への情報の投影を制御する制御部と、
を備える、情報処理システム。

【請求項11】

コンピュータにより実行される、
収納棚が有する複数の収納部に収納された部品が取り付けられる対象物の撮像画像を取得する取得するステップと、
前記対象物の基準位置及び基準姿勢のうち少なくとも一方を記憶することと、
前記基準位置に対する、前記撮像画像における前記対象物の位置の相対差分、及び前記基準姿勢に対する、前記撮像画像における前記対象物の姿勢の相対差分のうち少なくとも一方を算出するステップと、
前記対象物の、前記位置及び姿勢の前記相対差分のうち少なくとも一方に応じた投影位置への情報の投影を制御するステップと、
を含む、情報処理方法。

【請求項12】

コンピュータを、
収納棚が有する複数の収納部に収納された部品が取り付けられる対象物の撮像画像を取得する取得部と、
前記対象物の基準位置及び基準姿勢のうち少なくとも一方を記憶する記憶部と、
前記基準位置に対する、前記取得部によって取得された前記撮像画像における前記対象物の位置の相対差分、及び前記基準姿勢に対する、前記取得部によって取得された前記撮像画像における前記対象物の姿勢の相対差分のうち少なくとも一方を算出する算出部と、
前記対象物の、前記位置及び姿勢の前記相対差分のうち少なくとも一方に応じた投影位置への情報の投影を制御する制御部と、
として機能させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

近年、対象物を撮像した撮像画像を処理することにより、情報を検出する技術が開発されている。例えば、特許文献１には、モデル（対象物）の撮像画像から、モデルの位置または姿勢を検出するための技術が開示されている。

【0003】

一方、複数の収納部を有する収納棚を用いた作業が、様々な分野で行われている。例えば、部品組立作業において、複数の収納部を有する収納棚を部品倉庫として用い、組み立て順序、及び取り出すべき部品等を指示する情報を、プロジェクタによって収納棚の所定の部材に投影する技術が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７－１２８３７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、収納棚から取り出した部品を取り付ける対象物に対して、部品の取付位置等の、部品組立作業を支援するための情報を投影することも考えられる。しかし、対象物に対して情報を投影する際に、対象物の置き方によっては投影がずれてしまうため、作業者が投影された情報を正しく認識できない可能性があった。

【0006】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、対象物の撮像画像に基づき、情報を投影する投影位置を調整することが可能な、新規かつ改良された技術を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のある観点によれば、収納棚が有する複数の収納部に収納された部品が取り付けられる対象物の撮像画像を取得する取得部と、前記対象物の基準位置及び基準姿勢のうち少なくとも一方を記憶する記憶部と、前記基準位置に対する、前記取得部によって取得された前記撮像画像における前記対象物の位置の相対差分、及び前記基準姿勢に対する、前記取得部によって取得された前記撮像画像における前記対象物の姿勢の相対差分のうち少なくとも一方を算出する算出部と、前記対象物の、前記位置及び姿勢の前記相対差分のうち少なくとも一方に応じた投影位置への情報の投影を制御する制御部と、を備える、情報処理装置が提供される。

【0008】

前記情報は、前記部品を取り付ける取付部位を作業者に提示するための表示であってもよい。

【0009】

前記基準位置に対する前記対象物の位置の相対差分は、前記基準位置を表す二次元座標に対する前記対象物の位置を表す二次元座標の差分によって表され、前記基準姿勢に対する前記対象物の姿勢の相対差分は、前記基準姿勢に対する前記対象物の姿勢の回転量によって表されてもよい。

【0010】

前記記憶部は、前記対象物が前記基準位置及び前記基準姿勢で設置された場合の、前記情報が投影される位置である、基準投影位置をさらに記憶し、前記制御部は、前記基準投影位置を前記位置及び前記姿勢の前記相対差分だけ移動させた前記投影位置へ前記情報を投影することを制御してもよい。

【0011】

前記情報処理装置は、前記算出部によって算出された前記位置及び前記姿勢の前記相対差分のうち少なくとも一方が条件を満たさない場合、作業者に対して前記対象物の設置についての情報の通知を制御する通知制御部をさらに備えてもよい。

【0012】

前記条件は、前記回転量が閾値未満であるという条件であってもよい。

【0013】

前記記憶部は、部品を取り付ける対象として設定された対象物の画像をさらに記憶し、前記情報処理装置は、前記取得部によって取得された前記撮像画像における対象物と、前記記憶部に記憶された前記画像における対象物が整合しているか否かを判定する判定部をさらに備えてもよい。

【0014】

前記記憶部は、前記部品が前記対象物に正規に取り付けられた状態の画像である正規取付画像をさらに記憶し、前記取得部は、前記部品が取り付けられた前記対象物の撮像画像である取付後撮像画像をさらに取得し、前記判定部は、前記正規取付画像と前記取付後撮像画像を比較することにより、前記部品が前記対象物に正規に取り付けられているか否かをさらに判定してもよい。

【0015】

前記制御部は、前記取得部が取得する前記取付後撮像画像に映る撮像範囲を、前記位置及び前記姿勢の前記相対差分に応じて移動させてもよい。

【0016】

また、上記課題を解決するために本発明の別の観点によれば、収納棚が有する複数の収納部に収納された部品が取り付けられる対象物の撮像画像を取得する取得部と、前記対象物の基準位置及び基準姿勢のうち少なくとも一方を記憶する記憶部と、前記基準位置に対する、前記取得部によって取得された前記撮像画像における前記対象物の位置の相対差分、及び前記基準姿勢に対する、前記取得部によって取得された前記撮像画像における前記対象物の姿勢の相対差分のうち少なくとも一方を算出する算出部と、前記対象物の、前記位置及び姿勢の前記相対差分のうち少なくとも一方に応じた投影位置への情報の投影を制御する制御部と、を備える、情報処理システムが提供される。

【0017】

また、上記課題を解決するために本発明の別の観点によれば、コンピュータにより実行される、収納棚が有する複数の収納部に収納された部品が取り付けられる対象物の撮像画像を取得する取得するステップと、前記対象物の基準位置及び基準姿勢のうち少なくとも一方を記憶することと、前記基準位置に対する、前記撮像画像における前記対象物の位置の相対差分、及び前記基準姿勢に対する、前記撮像画像における前記対象物の姿勢の相対差分のうち少なくとも一方を算出するステップと、前記対象物の、前記位置及び姿勢の前記相対差分のうち少なくとも一方に応じた投影位置への情報の投影を制御するステップと、を含む、情報処理方法が提供される。

【0018】

また、上記課題を解決するために本発明の別の観点によれば、コンピュータを、収納棚が有する複数の収納部に収納された部品が取り付けられる対象物の撮像画像を取得する取得部と、前記対象物の基準位置及び基準姿勢のうち少なくとも一方を記憶する記憶部と、前記基準位置に対する、前記取得部によって取得された前記撮像画像における前記対象物の位置の相対差分、及び前記基準姿勢に対する、前記取得部によって取得された前記撮像画像における前記対象物の姿勢の相対差分のうち少なくとも一方を算出する算出部と、前記対象物の、前記位置及び姿勢の前記相対差分のうち少なくとも一方に応じた投影位置への情報の投影を制御する制御部と、として機能させる、プログラムが提供される。

【発明の効果】

【0019】

以上説明したように本発明によれば、対象物の撮像画像に基づき、情報を投影する投影位置を調整することが可能である。

【図面の簡単な説明】

【0020】

【図1】本実施形態に係る作業支援システム１０の構成の一例を示す斜視図である。

【図2】情報処理装置１１の機構構成を示すブロック図である。

【図3】位置の相対差分及び姿勢の相対差分について説明するための説明図である。

【図4】投影制御部１４４によって制御される、図３に示した組立品Ｏへのハイライト表示の投影位置について説明するための説明図である。

【図5】情報処理装置１１の動作の流れを示すフローチャート図である。

【図6】部品の取付位置を示す表示の投影の制御の流れを示すフローチャート図である。

【図7】本実施形態に係る作業支援システム１０を具現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。

【発明を実施するための形態】

【0021】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0022】

＜１．システム構成例＞
まず、図１を参照して、本発明の一実施形態に係る情報処理装置が適用される作業支援システムについて説明する。図１は、本実施形態に係る作業支援システム１０の構成の一例を示す斜視図である。作業支援システム１０は、本実施形態に係る情報処理装置１１を含む。

【0023】

図１に示すように、作業支援システム１０は、情報処理装置１１と、収納棚１２と、作業台１３と、センサ部１４と、表示投影部１５と、ミラー１８とを備える。

【0024】

本実施形態に係る作業支援システム１０は、収納棚１２を用いた部品組立作業を支援するシステムである。収納棚１２は、部品組立作業に用いられる各種部品が収納される複数の収納部１２１を有する。作業者は、部品組立作業の流れに従って、複数の収納部１２１の各々に収納された部品を順次取り出すことで、取り出された部品を組立品に適切に取り付けて、製品を製造することができる。

【0025】

なお、図１では、収納棚１２から作業台１３へ向かう方向を前方向とし、前方向と反対に向かう方向を後方向とする。また、作業台１３から収納棚１２を正対して見たとき（すなわち、前方向側から後方向側を正対して見たとき）の上下左右の方向をそれぞれ上方向、下方向、左方向、及び右方向とする。

【0026】

収納棚１２は、複数の収納部１２１を備える。複数の収納部１２１には、部品組立作業において、組立品に取り付けられる部品がそれぞれ収納される。作業者は、収納棚１２を用いることで、いずれかの収納部１２１に手を入れて、収納部１２１に収納された部品を取り出し、取り出した部品を組立品に取り付けることができる。図１に示す例では、収納棚１２は、上下方向に４段、左右方向に４列の合計１６個の収納部１２１を備えるが、収納棚１２が備える収納部１２１の数は、特に限定されない。収納棚１２は、２０個、３０個、又は５０個等のさらに多くの収納部１２１を備えてもよい。

【0027】

作業台１３は、作業者が部品組立作業を行う際に用いる台である。作業台１３は、収納棚１２の全幅に亘って水平方向に延在する平坦な台面である上面１３１を備える。上面１３１は、後述する表示投影部１５から投影された画像が結像する投影可能領域としても機能する。

【0028】

また、上面１３１には、作業者によって部品が取り付けられる組立品Ｏ（対象物の一例）が設置される。作業者は、収納部１２１から取り出した部品を、組立品Ｏに取り付けることで、製品を組み立てる。組立品Ｏは、例えば、収納部１２１に収納される部品の一つであってもよい。また、組立品Ｏは、収納部１２１に収納されなくてもよく、例えば、組み立て途中の製品であってもよい。上面１３１に設置される組立品Ｏは、後述する表示投影部１５から投影された画像が結像する投影可能領域としても機能する。

【0029】

センサ部１４は、各種センサを含み、作業者が行う作業に関する情報をセンシングする。具体的には、センサ部１４は、静止画又は動画（以下、画像とも称する）を撮像可能なカメラを含み、作業者が行う作業又は上面１３１の様子を撮像した画像を取得してもよい。これによれば、センサ部１４は、センシング結果として、カメラにて撮像された作業者が行う作業又は上面１３１の様子の画像を情報処理装置１１に出力することができる。例えば、センサ部１４は、情報処理装置１１にＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）で接続されたライブカメラ（ＵＳＢカメラとも称される）を含んでもよい。ただし、センサ部１４が含むカメラの種類は上記に限定されない。例えば、センサ部１４は、赤外線カメラを含んでもよく、ステレオカメラ又はＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラなどを含んでもよい。

【0030】

また、作業支援システム１０は、複数のセンサ部１４を有してもよい。例えば、作業支援システム１０は、図１に示したように、標準的な身長の作業者の頭部の高さよりも上の位置（例えば、最上段の収納部１２１よりも上方の位置）、かつ収納棚１２の前面よりも前方の位置に配置されたセンサ部１４Ａを含んでもよい。センサ部１４Ａは、図１に示すように、ミラー１８を支持する支持フレーム１７に取り付けられてもよい。

【0031】

センサ部１４Ａは、作業支援システム１０の前方に位置する作業者が収納棚１２の収納部１２１に手を入れる画像を撮像することができる。これによれば、情報処理装置１１は、収納棚１２の撮像画像に基づいて、作業者がいずれの収納部１２１に手を入れて部品を取り出したのかを認識することができる。

【0032】

また、作業支援システム１０は、上方向から上面１３１を撮像するように上面１３１の真上に配置されたセンサ部１４Ｂ及びセンサ部１４Ｃを含んでもよい。センサ部１４Ｂ及びセンサ部１４Ｃは、例えば、図１に示すように、ミラー１８の下端に取り付けられたセンサ取付用フレーム１６に取り付けられてもよい。

【0033】

センサ部１４Ｂによって撮像された画像は、上面１３１に設置された組立品Ｏを含み得る。これにより、情報処理装置１１は、組立品Ｏの撮像画像に基づいて、組立品Ｏの位置及び姿勢を特定できる。このような特定を行うための、組立品Ｏの撮像画像を取得するセンサ部１４Ｂを、位置姿勢特定用カメラ１４Ｂとも称する。

【0034】

センサ部１４Ｃによって撮像された画像も、センサ部１４Ｂによる撮像画像と同様に、上面１３１に設置された組立品Ｏを含み得る。ここで、センサ部１４Ｃの撮像範囲は、情報処理装置１１によって制御されてもよい。例えば、情報処理装置１１は、センサ部１４Ｃの撮像範囲に組立品Ｏが収まるよう当該撮像範囲を移動させてもよい。センサ部１４Ｃの撮像範囲の移動方法は特に限定されず、センサ部１４Ｃの位置が、センサ取付用フレーム１６が有するレール（図示せず）上で移動されることによって移動されてもよい。また、センサ部１４Ｃの向きは、前後方向又は左右方向を軸として回転されることによって回転移動されてもよい。また、センサ部１４Ｃの撮像範囲は、センサ部１４Ｃに含まれるレンズの位置及び向きが調整されることにより、移動されてもよい。

【0035】

センサ部１４Ｃによる撮像により、情報処理装置１１は、組立品Ｏの撮像画像に基づいて、組立品Ｏに正しく部品が取り付けられたか否かを判定（検査）できる。このような検査を行うための、組立品Ｏの撮像画像を取得するセンサ部１４Ｃを、検査用カメラ１４Ｃとも称する。

【0036】

なお、センサ部１４に含まれるカメラの数及び設置場所は、図１に示した例に限定されない。センサ部１４は、例えば、作業支援システム１０の周囲の環境を撮像するように配置されたカメラ、又は作業支援システム１０及び作業者を含む作業風景を撮像するように配置されたカメラなどを含んでもよい。

【0037】

表示投影部１５は、情報処理装置１１による制御に基づいて、作業者の部品組立作業を支援するための情報を含む支援画像を投影によって表示させる。例えば、表示投影部１５は、プロジェクタによる、いわゆるプロジェクションマッピング技術を用いて、収納棚１２の前面、作業台１３の上面１３１、又は上面１３１に設置された組立品Ｏに支援画像を投影してもよい。

【0038】

組立品Ｏに投影される支援画像に含まれる情報は、例えば、作業者が部品を取り付ける取付部位を作業者に提示するための表示である。当該表示は、例えば、取付部位を円状又矩形状等のマーカでハイライトする表示であってもよいし、取付部位に取り付ける部品の向き及び形状を示す表示又は部品の画像の表示であってもよい。

【0039】

表示投影部１５は、例えば、図１に示すように、収納棚１２の上に配置されてもよい。表示投影部１５は、表示投影部１５に対向して設けられたミラー１８に向けて投影光を照射することで、ミラー１８にて反射された投影光を収納棚１２の前面、又は作業台１３の上面１３１に投影することができる。これによれば、表示投影部１５は、ミラー１８を介して、収納棚１２の前面、上面１３１、又は組立品Ｏに情報を投影することができる。

【0040】

なお、表示投影部１５は、収納棚１２の前面、又は上面１３１に投影光を直接投影可能な位置（例えば、作業支援システム１０が配置された空間の図示しない天井又は壁など）に配置されてもよい。また、表示投影部１５は、複数のプロジェクタを含んでもよい。例えば、表示投影部１５は、収納棚１２の前面に投影光を投影するプロジェクタと、上面１３１に投影光を投影するプロジェクタとを含んでもよい。

【0041】

ミラー１８は、例えば、図１に示すように、標準的な身長の作業者の頭部の高さよりも上の位置（例えば、最上段の収納部１２１よりも上方の位置）、かつ収納棚１２の前面よりも前方の位置に、表示投影部１５と対向して配置される。具体的には、ミラー１８は、収納棚１２の前面又は上面１３１と、表示投影部１５との両方に反射面が対向するように、作業台１３の上方かつ収納棚１２の斜め上方向に配置されてもよい。これによれば、ミラー１８は、表示投影部１５から照射された投影光を収納棚１２の前面又は上面１３１に向けて反射することができる。

【0042】

ミラー１８は、反射角度が上下方向に可変となるように、支持機構によって回動可能に支持されてもよい。これによれば、ミラー１８は、表示投影部１５から照射された投影光を任意の反射角度で反射することができる。したがって、ミラー１８は、表示投影部１５から照射された投影光を収納棚１２の前面又は上面１３１に対して選択的に反射することができる。

【0043】

情報処理装置１１には、作業者又は製品の情報が格納されたバーコード又は二次元コード（例えば、ＱＲコード（登録商標））等を読み取るコードリーダ１９が接続されてもよい。コードリーダ１９は、収納棚１２又は作業台１３の近傍に設けられる。コードリーダ１９は、バーコード等から作業者の識別情報（例えば作業者の識別番号及び氏名等）又は製品の識別情報（例えば製品の識別番号又は製品名等）を読み取り、情報処理装置１１に出力することができる。例えば、情報処理装置１１は、コードリーダ１９によるバーコードの読み取りによって、いずれの作業者によって作業が開始されたか、又はいずれの製品の組立が開始されたかを認識してもよい。

【0044】

なお、作業支援システム１０は、コードリーダ１９に替えて、又は加えて、作業者又は製品のＩＤ（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）カードを読み取るカードリーダ装置、指紋又は掌紋等の生体情報を認識する生体情報認識装置、又は識別番号を入力する識別番号入力装置を備えていてもよい。作業支援システム１０は、カードリーダ装置、生体情報認識装置、又は識別番号入力装置にて読み取った情報に基づいて、いずれの作業者によって作業が開始されたか、又はいずれの製品の組立が開始されたかを認識することも可能である。

【0045】

情報処理装置１１は、作業支援システム１０の動作全般を制御するコンピュータ等である。情報処理装置１１の機能構成については、図２を参照して後述する。

【0046】

＜２．情報処理装置の構成例＞
続いて、図２を参照して、本実施形態に係る情報処理装置１１の機能構成について説明する。図２は、情報処理装置１１の機構構成を示すブロック図である。

【0047】

図２に示すように、情報処理装置１１は、記憶部１１０と、Ｉ／Ｆ（インタフェース）部１２０と、制御部１４０とを備える。

【0048】

（記憶部１１０）
記憶部１１０は、制御部１４０を動作させるためのプログラム及びデータを記憶する記憶装置である。また、記憶部１１０は、制御部１４０の動作の過程で必要となる各種データを一時的に記憶してもよい。記憶部１１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成されてもよい。

【0049】

例えば、記憶部１１０は、部品を取り付ける対象として設定された組立品の画像を記憶する。また、記憶部１１０は、製品の識別情報と、当該製品を組み立てるための、部品を取り付ける対象として設定された組立品の画像とを紐づけて記憶してもよい。これにより、コードリーダ１９によってバーコードから製品の識別情報が読み取られた場合に、後述の判定部１４５は、記憶部１１０から部品を取り付ける対象として設定された組立品の画像を読み出すことが可能である。このような、部品を取り付ける対象として設定された組立品の画像を、組立品基準画像とも称する。

【0050】

また、記憶部１１０は、取付部位に取り付ける部品の形状又は部品の画像を記憶してもよい。

【0051】

また、記憶部１１０は、部品が組立品に正規に取り付けられた状態の画像である正規取付画像をさらに記憶してもよい。記憶部１１０は、組立品に複数の部品が取り付けられる場合には、部品がステップごとに１つずつ取り付けられる組み立て順序（組順）の、ステップごとの正規取付画像を記憶してもよい。

【0052】

また、記憶部１１０は、組立品の基準位置及び基準姿勢のうち少なくとも一方を記憶してもよい。組立品の基準位置及び基準姿勢とは、組立品に対して正規取付画像を投影する際の、基準となる位置及び姿勢である。組立品の基準位置及び基準姿勢は、例えば、作業者が組立品に部品を取り付けやすい位置及び姿勢であってもよい。また、組立品の基準位置及び基準姿勢は、表示投影部１５が組立品の取付部位に情報を投影可能なように設定される。なお、本実施形態では、記憶部１１０が組立品の基準位置及び基準姿勢の両方を記憶する場合について主に説明する。

【0053】

基準位置は、例えば、二次元座標によって表されてもよい。より具体的に、当該二次元座標は、上面１３１をＸＹ平面とするＸＹ座標系において示されてもよい。ＸＹ座標系の原点は、例えば、上面１３１の左前端であってもよい。なお、原点及び軸は、二次元座標によって上面１３１上での位置が特定可能であれば任意に設定されてよい。例えば、位置姿勢特定用カメラ１４Ｂの撮像範囲の左前端が原点に設定されてもよい。

【0054】

基準位置を表す二次元座標は、組立品の位置を特定できる点の二次元座標であればよい。例えば、基準位置を表す二次元座標は、組立品の特徴点等の任意の点の二次元座標であってもよいし、組立品の重心の二次元座標であってもよい。

【0055】

基準姿勢は、例えば、角度又は向きによって表されてもよい。例えば、基準姿勢は、基準姿勢で設置された組立品と向きが一致するように当該組立品基準画像を表示投影部１５が投影する場合の当該組立品基準画像の投影の角度によって表されてもよい。また、基準姿勢は、任意に設定される組立品の軸（基準軸）によって表されてもよい。

【0056】

記憶部１１０は、さらに、組立品が基準位置及び基準姿勢で設置された場合の、取付部位を作業者に提示するための表示等の情報が投影される位置である、基準投影位置を記憶する。基準投影位置は、基準位置と同様に、二次元座標によって表されてもよい。例えば、取付部位を作業者に提示するための表示が取付部位をハイライトする円状の表示である場合には、基準投影位置を表す二次元座標は、当該円の中心の二次元座標であってもよい。記憶部１１０は、組立品に複数の部品が取り付けられる場合には、複数の部品の各々の基準投影位置を記憶する。

【0057】

記憶部１１０は、種類の異なる複数の組立品の各々について、組立品基準画像、正規取付画像、基準位置、基準姿勢及び基準投影位置を記憶してもよい。

【0058】

（Ｉ／Ｆ部１２０）
Ｉ／Ｆ部１２０は、有線又は無線にて接続された外部装置とデータの入出力を行う。具体的には、Ｉ／Ｆ部１２０は、有線又は無線にて接続されたセンサ部１４から撮像画像を取得してもよく、有線又は無線にて接続されたコードリーダ１９から作業者又は製品の情報を取得してもよい。また、Ｉ／Ｆ部１２０は、有線又は無線にて接続された表示投影部１５に収納棚１２の前面、又は作業台１３の上面１３１に投影される支援画像に関する情報を出力してもよい。例えば、Ｉ／Ｆ部１２０は、ネットワークに接続するための通信デバイス等で構成されたインタフェースであってもよい。

【0059】

（制御部１４０）
制御部１４０は、作業支援システム１０の動作全般を制御する。制御部１４０は、画像取得部１４１と、指示生成部１４２と、算出部１４３と、投影制御部１４４と、判定部１４５を含む。

【0060】

例えば、制御部１４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの記憶装置とを含む。制御部１４０は、ＲＯＭに記憶されたプログラムをＲＡＭに一時的に展開し、展開したプログラムをＣＰＵにて実行することにより、作業支援システム１０の動作全般を制御することができる。

【0061】

（画像取得部１４１）
画像取得部１４１は、センサ部１４によって連続的に得られる収納棚１２又は上面１３１のリアルタイムの撮像画像をＩ／Ｆ部１２０を介して取得する、取得部として機能する。より具体的に、画像取得部１４１は、位置姿勢特定用カメラ１４Ｂによって撮像された、上面１３１に設置された組立品Ｏの位置姿勢特定用撮像画像を取得する。また、画像取得部１４１は、検査用カメラ１４Ｃによって撮像された、上面１３１に設置された、部品が取り付けられた組立品Ｏの撮像画像である取付後撮像画像を取得する。

【0062】

画像取得部１４１は、取得したリアルタイムの撮像画像を記憶部１１０に記憶させてもよい。例えば、画像取得部１４１は、過去一定時間のリアルタイムの撮像画像を記憶部１１０に記憶させてもよい。または、画像取得部１４１は、センサ部１４からリアルタイムの撮像画像を取得するごとに、記憶部１１０に記憶させたリアルタイムの撮像画像を上書き（更新）してもよい。

【0063】

（指示生成部１４２）
指示生成部１４２は、上面１３１に設置する組立品を指定する指示を生成する。具体的には、指示生成部１４２は、Ｉ／Ｆ部１２０によってコードリーダ１９から得られた製品の識別情報に紐づく組立品を指定する指示を生成する。また、指示生成部１４２は、収納棚１２に含まれる収納部１２１のうちの一の収納部１２１から部品を取り出す指示を生成する。具体的には、指示生成部１４２は、製品の識別情報に基づいて読み出される組立品の組順に従って、組立品に取り付けられる部品を収納部１２１から取り出す指示を順次生成する。組立品の組順は、製品の識別情報に紐づけられて記憶部１１０に記憶されてもよいし、Ｉ／Ｆ部１２０によって外部から得られてもよい。

【0064】

指示生成部１４２にて生成された指示は、例えば、後述の投影制御部１４４による制御に従って表示投影部１５支援画像が投影されることにより作業者に提示される。したがって、作業者は、部品組立作業の各工程において、組立品Ｏに取り付ける部品が収納された収納部１２１を理解し、収納部１２１から部品を取り出すことができる。

【0065】

（算出部１４３）
算出部１４３は、基準位置及び基準姿勢で設置された組立品Ｏに対する、画像取得部１４１によって取得された位置姿勢特定用撮像画像における組立品Ｏのずれを算出する。より具体的に、算出部１４３は、基準位置に対する、画像取得部１４１によって取得された位置姿勢特定用撮像画像における組立品Ｏの位置の相対差分を算出する。なお、本明細書において、基準位置に対する位置姿勢特定用撮像画像における組立品Ｏの位置の相対差分を、単に「位置の相対差分」とも称する。

【0066】

また、算出部１４３は、基準姿勢に対する、画像取得部１４１によって取得された位置姿勢特定用撮像画像における組立品Ｏの姿勢の相対差分を算出する。なお、本明細書において、基準姿勢に対する位置姿勢特定用撮像画像における組立品Ｏの姿勢の相対差分を、単に「姿勢の相対差分」とも称する。

【0067】

なお、記憶部１１０に基準位置及び基準姿勢のいずれか一方のみが記憶される場合、算出部１４３は、対応する位置の相対差分または姿勢の相対差分の一方のみを算出する。本実施形態では、算出部１４３が位置の相対差分及び姿勢の相対差分の両方を算出する場合について説明する。

【0068】

位置の相対差分は、例えば、基準位置を表す二次元座標に対する、位置姿勢特定用撮像画像における組立品Ｏの位置を表す二次元座標の差分によって表されてもよい。

【0069】

算出部１４３は、基準位置を特定するための二次元座標を特定するための原点及び軸と同一の原点及び軸を有する座標系を、位置姿勢特定用撮像画像に設定することにより、位置姿勢特定用撮像画像における組立品Ｏの位置の二次元座標を算出する。

【0070】

なお、位置姿勢特定用撮像画像における組立品Ｏの位置を表す二次元座標が示す点は、基準位置を表す二次元座標が示す点と、組立品Ｏ上での位置が一致する点である。例えば、基準位置を表す二次元座標が組立品Ｏの特徴点である場合には、位置姿勢特定用撮像画像における組立品Ｏの位置を表す二次元座標は、位置姿勢用画像における組立品Ｏの当該特徴点の位置の二次元座標である。

【0071】

算出部１４３は、位置姿勢特定用撮像画像における組立品Ｏと組立品基準画像における組立品Ｏが一致するような、組立品基準画像の位置をパターンマッチング等の手法で算出することで、位置姿勢特定用撮像画像における組立品Ｏの位置を算出してもよい。

【0072】

一方、姿勢の相対差分は、例えば、基準姿勢に対する位置姿勢特定用撮像画像における組立品Ｏの姿勢の回転量によって表されてもよい。当該回転量は、例えば、基準姿勢で設置された組立品Ｏの基準軸に対する、位置姿勢特定用撮像画像における組立品Ｏの基準軸の回転量であってもよい。

【0073】

また、基準姿勢に対する位置姿勢特定用撮像画像における組立品Ｏの姿勢の回転量は、位置姿勢特定用撮像画像における組立品Ｏと組立品基準画像における組立品Ｏが一致するような組立品基準画像の、位置姿勢特定用撮像画像に対する回転量であってもよい。算出部１４３は、位置姿勢特定用撮像画像を組立品基準画像とパターンマッチングすることにより、当該回転量を算出してもよい。

【0074】

なお、位置の相対差分と姿勢の相対差分の算出方法は上記で説明した例に限定されず、位置姿勢特定用撮像画像が画像処理されることによって算出されればよい。

【0075】

ここで、図３を用いて、算出部１４３によって算出される、位置の相対差分及び姿勢の相対差分について具体的に説明する。図３は、位置の相対差分及び姿勢の相対差分について説明するための説明図である。

【0076】

図３には、上面１３１に設置された組立品Ｏの撮像画像である、位置姿勢特定用撮像画像が示されている。ここでは説明を簡単にするために、上方向から見た場合の組立品Ｏの形状が長方形である例を示しているが、組立品Ｏの形状はこの例に限定されない。

【0077】

図３に示す位置姿勢特定用撮像画像においては、右方向がＸ軸で、後方向がＹ軸であって、原点が上面１３１の左下端であるＸＹ座標系が設定されている。また、図３には、位置姿勢特定用撮像画像に重畳された、基準位置および基準姿勢で設置された組立品Ｏの外形Ｒが示されている。

【0078】

外形Ｒに含まれる基準点ＰＲは、基準位置を示す点である。基準点ＰＲの二次元座標は、組立品Ｏの基準位置として記憶部１１０に予め記憶される。組立品Ｏに含まれる対象点ＰＯは、位置姿勢特定用撮像画像における組立品Ｏの位置を示す点である。対象点ＰＯは、組立品Ｏに対する位置が、外形Ｒに対する基準点ＰＲの位置と同一となる点である。

【0079】

算出部１４３は、基準点ＰＲに対する対象点ＰＯの二次元座標の差分を、位置の相対差分として算出する。より具体的に、算出部１４３は、基準点ＰＲのＸ成分に対する対象点ＰＯのＸ成分の差分Δｘと、基準点ＰＲのＹ成分に対する対象点ＰＯのＹ成分の差分Δｙを、位置の相対差分として算出する。

【0080】

また、算出部１４３は、外形Ｒに対する組立品Ｏの回転量を、姿勢の相対差分として算出する。図３には、組立品Ｏの基準軸が、組立品Ｏが基準位置および基準姿勢で設置された場合にＸ軸方向になるよう設定されている例が示されている。この場合、算出部１４３は、Ｘ軸方向に対する、位置姿勢特定用撮像画像における組立品Ｏの基準軸の回転量Δθを、姿勢の相対差分として算出する。

【0081】

（投影制御部１４４）
図２に戻って説明を続ける。投影制御部１４４は、表示投影部１５による、収納棚１２の前面又は上面１３１への支援画像の投影を制御する。投影制御部１４４は、支援画像の投影を制御することにより、作業者に対する情報の通知を制御する、通知制御部の一例である。

【0082】

例えば、投影制御部１４４は、指示生成部１４２にて生成した指示に基づいて、取り出す部品が収納された収納部１２１を指示する表示を、収納棚１２の前面のうち、収納部１２１の間口に投影するよう、表示投影部１５を制御する。

【0083】

また、投影制御部１４４は、上面１３１への組立品Ｏの設置場所の目安として、組立品Ｏの基準位置及び基準姿勢を示す支援画像を、上面１３１に投影するよう、表示投影部１５を制御してもよい。基準位置及び基準姿勢を示す支援画像は、基準位置及び基準姿勢で設置された組立品Ｏを表す組立品基準画像であってもよいし、当該組立品Ｏの外形を表す枠の表示等であってもよい。

【0084】

また、投影制御部１４４は、組立品Ｏの、位置の相対差分及び姿勢の相対差分のうち少なくとも一方に応じた投影位置への情報の投影を制御する。投影位置へ投影される情報は、例えば、取付部位を作業者に提示するための表示である。本実施形態では、投影位置へ投影される情報が、取付部位を作業者に提示するために取付部位を円状にハイライトするハイライト表示である場合の例について主に説明する。

【0085】

また、投影制御部１４４は、上面１３１へ、作業者に対して組立品Ｏへの部品の取り付け方等を指示する組立指示書を投影してもよい。

【0086】

投影制御部１４４は、記憶部１１０に記憶された基準投影位置を、位置の相対差分及び姿勢の相対差分だけ移動させた投影位置へハイライト表示を投影するよう、表示投影部１５を制御する。比較例として、投影制御部１４４が、常に基準投影位置へハイライト表示を投影するよう表示投影部１５を制御することも考えられる。しかし、この場合、組立品Ｏが基準位置及び基準姿勢からずれた位置に設置されると、ハイライト表示が実際の取付部位からずれてしまうため、作業者が取付部位に部品を取り付けることが困難になる。また、このような場合、作業者が基準位置及び基準姿勢で組立品を設置する必要があるため、作業者にとっての負担が大きい。さらに、作業者が基準位置及び基準姿勢で組立品を設置する時間が発生する。

【0087】

本実施形態による投影制御部１４４によれば、組立品Ｏが基準位置及び基準姿勢からずれた位置に設置された場合にも、作業者に対して取付部位を正確に提示することが可能である。また、かかる構成によれば、作業者が基準位置及び基準姿勢で組立品を設置する負担がかからない。さらに、かかる構成によれば、作業者に基準位置及び基準姿勢に合わせて組立品を設置する時間が発生しないため、組立作業の効率が高まる。

【0088】

ここで、図４を用いて、投影制御部１４４によって制御される投影位置について、具体的に説明する。図４は、投影制御部１４４によって制御される、図３に示した組立品Ｏへのハイライト表示の投影位置について説明するための説明図である。投影制御部１４４は、図４に示すような、外形Ｒに対する組立品Ｏの位置の相対差分である、Ｘ成分の差分Δｘ及びＹ成分の差分Δｙ、及び姿勢の相対差分であるΔθだけ、基準投影位置ＤＲを移動させた投影位置ＤＯへ、ハイライト表示を投影するよう表示投影部１５を制御する。

【0089】

なお、ここでは投影制御部１４４が取付部位を作業者に提示するための表示の投影位置のみを制御する場合について説明したが、投影制御部１４４は、当該表示の投影角度をさらに制御してもよい。この場合、記憶部１１０は、当該表示の基準投影角度を記憶する。基準投影角度は、基準投影角度によって当該表示が投影されることにより、基準位置及び基準姿勢で設置された組立品Ｏに取り付ける部品の角度を作業者に示すことが可能な角度である。投影制御部１４４は、当該表示を姿勢の相対差分だけ回転させて投影するよう表示投影部１５を制御する。かかる構成によれば、例えば当該表示が取付部位に取り付ける部品の形状を示す表示又は部品の画像の表示である場合に、作業者が正しい部品の向きを理解することが可能である。

【0090】

（判定部１４５）
図２に戻って説明を続ける。判定部１４５は、記憶部１１０に記憶された画像と、画像取得部１４１によって取得された画像とを比較することにより、各種の判定を行う。

【0091】

判定部１４５が行う判定の一例は、上面１３１に設置された組立品Ｏが、指示生成部１３２によって生成された指示で指定された組立品であるか否かの判定（設置判定とも言う。）である。より具体的に、判定部１４５は、画像取得部１４１によって取得された位置姿勢特定用撮像画像における組立品Ｏと、記憶部１１０に記憶された組立品基準画像における組立品Ｏが整合しているか否かを判定することにより、設置判定を行う。判定部１４５は、例えば、位置姿勢特定用撮像画像を組立品基準画像とパターンマッチングすることにより、設置判定を行う。なお、判定部１４５による設置判定方法は特に限定されず、例えば、ディープラーニングの手法が用いられてもよい。

【0092】

組立品Ｏが指示で指定された組立品ではないと判定された場合、投影制御部１４４は、作業者に対する、指定された製品を設置する指示を上面１３１に投影するよう表示投影部１５を制御してもよい。なお、組立品Ｏが指定された製品を設置する指示を投影する際に、指定された組立品の組立品基準画像又は製品名等の情報がさらに投影されてもよい。これにより、作業者は指定された組立品を理解することが可能である。

【0093】

一方、組立品Ｏが指示で指定された組立品であると判定された場合、判定部１４５は、算出部１４３によって算出された姿勢の相対差分及び位置の相対差分の少なくとも一方が条件を満たすか否かの判定（相対差分判定とも言う。）を行う。

【0094】

判定部１４５は、例えば、姿勢の相対差分を表す回転量が閾値未満であるという条件を満たすか否かを相対差分判定として判定してもよい。相対差分を表す回転量が閾値を超えるように組立品Ｏが設置された場合、例えば、組立品Ｏが基準姿勢と逆向きに設置された場合には、作業者が部品を取り付けにくく感じる可能性がある。また、作業者が誤った向きに部品を取り付けてしまう可能性も生じる。

【0095】

そのため、このような条件が満たされないと判定部１４５が判定した場合、投影制御部１４４は、組立品Ｏの設置についての情報を投影するよう表示投影部１５を制御することにより、作業者に対して通知を行う。組立品Ｏの設置についての情報は、例えば、組立品Ｏの設置向きが回転しすぎている旨の通知又は組立品Ｏを正しい向きに設置する指示であってもよいし、組立品Ｏの基準姿勢を表す表示（基準姿勢の組立品Ｏの組立品基準画像の表示等当該組立品Ｏの外形を表す枠の表示等）であってもよい。なお、回転量と比較される閾値は、例えば、９０°など、組立品Ｏに部品を取り付けやすい角度等に応じて任意に設定されればよい。

【0096】

また、判定部１４５は、位置の相対差分を表す二次元座標が閾値未満であるという条件を満たすか否かを相対差分判定として判定してもよい。相対差分を表す二次元座標が閾値を超えるように組立品Ｏが設置された場合、例えば、組立品Ｏが、作業者が作業を行う位置と離れた位置に設置された場合には、作業者が部品を取り付けにくく感じる可能性がある。

【0097】

そのため、このような条件が満たされないと判定部１４５が判定した場合、投影制御部１４４は、組立品Ｏの設置についての情報を投影することにより作業者に対して通知を行う。組立品Ｏの設置についての情報は、例えば、組立品Ｏの設置向きが基準位置から離れすぎている旨の通知であってもよいし、組立品Ｏの基準位置を表す表示（基準位置への組立品Ｏの画像表示等又は当該組立品Ｏの外形を表す枠の表示等）であってもよい。なお、二次元座標と比較される閾値は、任意に設定されればよい。

【0098】

判定部１４５が相対差分判定の条件が満たされたと判定した場合、投影制御部１４４は、組順に従って指示生成部１４２にて生成した指示に基づいて、取り出す部品が収納された収納部１２１を指示する表示を投影するよう、表示投影部１５を制御する。また、判定部１４５が相対差分判定の条件が満たされないと判定した場合には、投影制御部１４４は、判定部１４５により相対差分判定の条件が満たされると判定されるまで、組立品Ｏの設置についての情報を投影し続けてもよい。かかる構成によれば、作業者が指示しなくても、相対差分判定を満たす位置に組立品Ｏを設置することで自動的に組順に従った支援画像の投影が始まるため、作業者による指示の手間が削減され、作業効率が向上する。

【0099】

判定部１４５が行う判定の別の例は、組立品Ｏに部品が正しく取り付けられたか否かの判定（取付判定とも言う。）である。より具体的に、判定部１４５は、記憶部１１０に記憶された正規取付画像と、画像取得部１４１によって取得された取付後撮像画像を比較することにより、部品が組立品Ｏに正規に取り付けられているか否かを判定する。判定部１４５は、例えば、取付後撮像画像を正規取付画像とパターンマッチングすることにより、取付判定を行う。なお、判定部１４５による取付判定方法は特に限定されず、例えば、ディープラーニングの手法が用いられてもよい。

【0100】

ここで、判定部１４５は、取付判定を行う前に、画像取得部１４１が取得する取付後撮像画像に映る撮像範囲を、位置の相対差分及び姿勢の相対差分に応じて移動させてもよい。より具体的に、判定部１４５は、検査用カメラ１４Ｃの撮像範囲を、位置の相対差分及び姿勢の相対差分に応じて移動させてもよい。

【0101】

例えば、判定部１４５は、基準位置及び基準姿勢で設置された組立品Ｏが撮像範囲に収まるように設置された検査用カメラ１４Ｃの位置を、撮像位置の相対差分及び姿勢の相対差分だけ移動させてもよい。また、判定部１４５は、検査用カメラ１４Ｃの撮像範囲に組立品Ｏが収まるように、検査用カメラ１４Ｃの移動量を、位置の相対差分及び姿勢の相対差分を用いて算出してもよい。

【0102】

これにより、判定部１４５は、設置された組立品Ｏが基準位置及び基準姿勢からずれていた場合でも、取付判定を正確に行うことが可能である。すなわち、かかる構成によれば、設置された組立品Ｏが基準位置及び基準姿勢からずれていた場合でも、部品の取付間違いを発見することが可能である。

【0103】

判定部１４５が組立品Ｏに部品が正しく取り付けられたと判定した場合、投影制御部１４４は、組順に従って指示生成部１４２にて生成した指示に基づいて、次に取り出す部品が収納された収納部１２１を指示する表示を投影するよう表示投影部１５を制御する。なお、判定部１４５が取付判定の条件が満たされたと判定することで組順が終了する場合には、投影制御部１４４は、組順が終了した旨を投影するよう表示投影部１５を制御してもよい。

【0104】

一方、判定部１４５が組立品Ｏに部品が正しく取り付けられていないと判定した場合、投影制御部１４４は、作業者に対する、正しく部品を取り付ける指示、部品名、又は部品の画像等を上面１３１に投影するよう表示投影部１５を制御してもよい。

【0105】

ここまで、判定部１４５が行う各種判定について説明した。ここで、判定部１４５が各種判定を行うタイミングは、予め設定されていてもよい。当該タイミングは、作業者が行う作業に要すると見込まれる時間に応じて任意に設定されればよい。

【0106】

例えば、作業者の設置作業に要すると見込まれる時間が３０秒であれば、設置判定は、設置開始から３０秒の間行われ続けてもよいし、設置開始から３０秒後に行われてもよい。設置判定が設置開始から所定の時間に行われ続ける場合で、かつ所定の時間内に設置判定の条件が満たされない場合には、投影制御部１４４は、所定の時間が経過したタイミングで上面１３１に設置された組立品Ｏが指定された組立品でない旨の通知を投影してもよい。また、設置判定が設置開始から所定の時間に行われ続ける場合で、かつ所定の時間内に設置判定の条件が満たされた場合には、設置判定が満たされたと判定部１４５が判定したタイミングで、判定部１４５は設置判定を終了し、相対差分判定を開始してもよい。

【0107】

＜３．情報処理装置の動作例＞
続いて、図５を参照して、情報処理装置１１の動作例について説明する。図５は、情報処理装置１１の動作の流れを示すフローチャート図である。

【0108】

まず、Ｉ／Ｆ部１２０は、コードリーダ１９から、作業者によってバーコードから読み取られた、部品を取り付ける製品の識別情報を取得する（Ｓ１０１）。続いて、制御部１４０は、記憶部１１０に記憶された、取得された製品の識別情報に紐づく組立品基準画像及び組順を読み出す（Ｓ１０２）。

【0109】

続いて、画像取得部１４１は、上面１３１に設置された組立品Ｏの位置姿勢特定用撮像画像を取得する（Ｓ１０３）。続いて、判定部１４５は、位置姿勢特定用撮像画像及び組立品基準画像を用いて、上面１３１に設置された組立品Ｏが、製品の識別情報に紐づく、指定された組立品であるか否かの設置判定を行う（Ｓ１０４）。

【0110】

設置された組立品Ｏが指定された組立品でないと判定部１４５が判定した場合（Ｓ１０４／ＮＯ）、投影制御部１４４は、指定された組立品を設置する指示を投影するよう表示投影部１５を制御する（Ｓ１０５）。

【0111】

一方、設置された組立品Ｏが指定された組立品であると判定部１４５が判定した場合（Ｓ１０４／ＹＥＳ）、投影制御部１４４は、指示生成部１４２にて生成した指示に基づいて、取り出す部品が収納された収納部１２１を指示する表示を投影するよう表示投影部１５を制御する（Ｓ１０６）。

【0112】

続いて、投影制御部１４４は、部品の取付位置を示す表示を投影するよう表示投影部１５を制御する（Ｓ１０７）。部品の取付位置を示す表示の投影の制御については、図６のフローを用いて詳細に後述する。この際、算出部１４３によって位置の相対差分及び姿勢の相対差分が算出される。

【0113】

判定部１４５は、取付判定のために、位置の相対差分及び姿勢の相対差分だけ検査用カメラ１４Ｃの撮像範囲を移動させる（Ｓ１０８）。判定部１４５は、当該撮像範囲で撮像された取付後撮像画像に基づき、組立品Ｏに部品が正しく取り付けられたか否かの取付判定を行う（Ｓ１０９）。

【0114】

組立品Ｏに部品が正しく取り付けられていないと判定部１４５が判定した場合（Ｓ１０９／ＮＯ）、投影制御部１４４は、正しく部品を取り付ける指示を投影する（Ｓ１１０）。

【0115】

組立品Ｏに部品が正しく取り付けられたと判定部１４５が判定した場合（Ｓ１０９／ＹＥＳ）、指示生成部１４２は、組順が終了したかを判定する（Ｓ１１１）。組順が終了していない場合（Ｓ１１１／ＮＯ）、情報処理装置１１は、組順が終了するまでＳ１０６～Ｓ１１０の処理を繰り返す。組順が終了した場合（Ｓ１１１／ＹＥＳ）、情報処理装置１１は処理を終了する。

【0116】

続いて、図６を参照して、図５のＳ１０６で行われる部品の取付位置を示す表示の投影の制御の動作例について説明する。図６は、部品の取付位置を示す表示の投影の制御の流れを示すフローチャート図である。

【0117】

まず、算出部１４３は、記憶部１１０に記憶された組立品Ｏの基準位置及び基準姿勢を読み出す（Ｓ２０１）。続いて、算出部１４３は、位置姿勢特定用撮像画像における組立品Ｏの位置の二次元座標を算出する（Ｓ２０２）。

【0118】

算出部１４３は、組立品Ｏの位置の二次元座標と、基準位置を表す二次元座標に基づき、基準位置に対する組立品Ｏの位置の二次元座標の差分を位置の相対差分として算出する（Ｓ２０３）。また、算出部１４３は、位置姿勢特定用撮像画像と基準姿勢に基づき、基準姿勢に対する組立品Ｏの姿勢の回転量を姿勢の相対差分として算出する（Ｓ２０４）。なお、Ｓ２０２～Ｓ２０４の処理は、パターンマッチングの手法が用いられることにより並行して、又は一体化して行われてもよい。

【0119】

続いて、判定部１４５は、算出部１４３によって算出された回転量が閾値未満であるか否かを判定する、相対差分判定を行う（Ｓ２０５）。回転量が閾値以上である場合（Ｓ２０５／ＮＯ）、投影制御部１４４は、正しい向きに設置する指示を投影するよう表示投影部１５を制御し（Ｓ２０６）、処理をＳ２０２に戻す。そして、情報処理装置１１は、閾値未満である回転量が算出部１４３によって算出されたと判定部１４５が判定するまで、Ｓ２０２～Ｓ２０５の処理を繰り返す。一方、回転量が閾値未満である場合（Ｓ２０５／ＹＥＳ）、情報処理装置１１は、処理を図５のＳ１０８に進める。

【0120】

＜４．ハードウェア構成例＞
以上、本発明の実施形態を説明した。上述した作業支援システム１０により実施される各種の情報処理は、ソフトウェアと、以下に説明する作業支援システム１０のハードウェアとの協働により実現される。

【0121】

図７は、本実施形態に係る作業支援システム１０（より具体的には、例えば情報処理装置１１）を具現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。

【0122】

図７に示すように、情報処理装置９００は、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力機器９０８と、出力機器９０９と、ストレージ機器９１０と、ドライブ９１１と、通信機器９１３とを備える。

【0123】

ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラム及び演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラム、及びプログラムの実行において適宜変化するパラメータ等を一時記憶する。これらのＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３は、ＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。ＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３の協働により、上述した制御部１４０の機能が実現される。

【0124】

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、ホストバス９０４、ブリッジ９０５、及び外部バス９０６は、必ずしも分離されていなくともよく、１つのバスにこれらの機能が実装されてもよい。

【0125】

入力機器９０８は、マウス、キーボード、タッチパネル、ボタン、スイッチ、又はマイクロフォン等のユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路とから構成される。情報処理装置９００を操作するユーザは、入力機器９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり、処理動作を指示したりすることができる。

【0126】

また、入力機器９０８は、作業に関する情報を検出する装置により構成されてもよい。例えば、入力機器９０８は、画像センサ（例えば、カメラ）、深度センサ（例えば、ステレオカメラ又はＴｏＦセンサ）、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含んで構成されてもよい。

【0127】

出力機器９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプ等の表示装置、又はスピーカ等の音声出力装置を含む。

【0128】

ストレージ機器９１０は、データ格納用の機器である。ストレージ機器９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出装置、及び記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ機器９１０は、例えば、記憶部１１０の機能を実現し得る。

【0129】

ドライブ９１１は、記憶媒体用リーダライタであり、情報処理装置９００に外付けされる。ドライブ９１１は、装着される磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記憶媒体９１２に記録されている情報を読み出し、ＲＡＭ９０３に出力する。また、ドライブ９１１は、リムーバブル記憶媒体９１２に情報を書き込むことも可能である。

【0130】

通信機器９１３は、通信を行うための通信デバイス等で構成された通信インタフェースである。通信機器９１３は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であってもよく、有線による通信を行うワイヤー通信装置であってもよい。通信機器９１３は、例えば、Ｉ／Ｆ部１２０の機能を実現し得る。

【0131】

なお、情報処理装置９００のハードウェア構成は、図７に示す構成に限定されない。例えば、情報処理装置９００は、入力機器９０８又は出力機器９０９等を備えなくてもよい。また、図７に示す構成の一部又は全部は、１又は２以上のＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）で実現されてもよい。

【0132】

＜５．まとめ＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0133】

例えば、本明細書においてフローチャートを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

【0134】

また、ここまで、組立品Ｏの設置に関する情報及び作業者に対する指示等が上面１３１に投影される例について説明したが、作業者に対して示される情報は、上面１３１への投影以外の方法で作業者に提示されてもよい。例えば、作業者に対して示される情報は、図１に図示しないディスプレイ等に表示されることによって作業者に通知されてもよい。この場合、制御部１４０は、当該ディスプレイ等への表示を制御することにより通知を制御する通知制御部としても機能する。また、作業者に対して示される情報は、図１に図示しないスピーカ等の音声出力装置から出力された音声によって作業者に通知されてもよい。この場合、制御部１４０は、当該音声出力装置からの音声出力を制御することにより通知を制御する通知制御部としても機能する。

【0135】

また、本明細書において説明した情報処理装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組み合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。上記記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記憶媒体を用いずに、例えば、ネットワークを介して配信されてもよい。

【符号の説明】

【0136】

１０ 作業支援システム
１１ 情報処理装置
１２ 収納棚
１２１ 収納部
１３ 作業台
１３１ 台面
１４ センサ部
１５ 表示投影部
１６ センサ取付用フレーム
１７ 支持フレーム
１８ ミラー
１９ コードリーダ
１１０ 記憶部
１２０ Ｉ／Ｆ部
１４０ 制御部
１４１ 画像取得部
１４２ 指示生成部
１４３ 算出部
１４４ 投影制御部
１４５ 判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】