知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024130510
(43)【公開日】2024-09-30
(54)【発明の名称】作業支援システム、及び、方法
(51)【国際特許分類】
G06T 7/70 20170101AFI20240920BHJP
G01B 11/00 20060101ALI20240920BHJP
【ＦＩ】
G06T7/70 A
G01B11/00 H
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023040275
(22)【出願日】2023-03-15
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１） ウェブサイトでのプログラムの公開 令和５年１月１６日にｈｔｔｐｓ：／／ｗｗｗ．ｇａｋｋａｉ－ｗｅｂ．ｎｅｔ／ｉｐｓｊ／８５／ｐｒｏｇｒａｍ８５．ｈｔｍｌで情報処理学会第８５回全国大会プログラムを公開 （２）刊行物への発表による公開 令和５年２月１６日に一般社団法人情報処理学会発行，情報処理学会第８５回全国大会講演論文集，第４分冊第７貢（講演番号５Ｅ－０４）にて掲載 （３）集会での発表による公開 令和５年３月３日に国立大学法人電気通信大学における情報処理学会第８５回全国大会～ダイバーシティと情報処理～で発表
(71)【出願人】
【識別番号】591106462
【氏名又は名称】茨城県
(74)【代理人】
【識別番号】110003535
【氏名又は名称】スプリング弁理士法人
(72)【発明者】
【氏名】西本 圭志
(72)【発明者】
【氏名】平間 毅
【テーマコード（参考）】
2F065
5L096
【Ｆターム（参考）】
2F065AA04
2F065BB28
2F065CC16
2F065FF01
2F065FF05
2F065FF31
2F065FF42
5L096CA04
5L096CA05
5L096DA02
5L096FA15
5L096FA66
5L096FA67
5L096FA69
5L096HA04
(57)【要約】
【課題】 作業者への負担が少なく、効率的な作業指示が行える、作業支援システムの提供。
【解決手段】 透過型表示装置４と、位置検出装置と、制御装置４０とを備え、前記透過型表示装置は、その表示部２０が、対象ワーク１１、及び、ユーザの眼１７を結ぶ仮想線と交わるように配置可能に構成され、前記位置検出装置は、少なくとも前記ワーク、前記眼、及び、前記表示部のそれぞれの位置を算出するための情報を取得し、前記制御装置は、前記情報に基づきそれぞれの前記位置を算出する位置推定部５３と、前記仮想線と前記表示部との交点位置を算出し、前記ワークに重畳して表示させる指示マーカの前記表示部における表示位置を前記交点位置に基づき決定する表示指示部５４と、を備える作業支援システム。
【選択図】 図１
【解決手段】 透過型表示装置４と、位置検出装置と、制御装置４０とを備え、前記透過型表示装置は、その表示部２０が、対象ワーク１１、及び、ユーザの眼１７を結ぶ仮想線と交わるように配置可能に構成され、前記位置検出装置は、少なくとも前記ワーク、前記眼、及び、前記表示部のそれぞれの位置を算出するための情報を取得し、前記制御装置は、前記情報に基づきそれぞれの前記位置を算出する位置推定部５３と、前記仮想線と前記表示部との交点位置を算出し、前記ワークに重畳して表示させる指示マーカの前記表示部における表示位置を前記交点位置に基づき決定する表示指示部５４と、を備える作業支援システム。
【選択図】 図１
【特許請求の範囲】
【請求項1】
透過型表示装置と、位置検出装置と、制御装置とを備え、
前記透過型表示装置は、その表示部が、ワーク、及び、ユーザの眼を結ぶ仮想線と交わるように移動可能に構成され、
前記位置検出装置は、少なくとも前記ワーク、前記眼、及び、前記表示部のそれぞれの位置を算出するための情報を取得し、
前記制御装置は、
前記情報に基づきそれぞれの前記位置を算出する位置推定部と、
前記仮想線と前記表示部との交点位置を算出し、前記ワークに重畳して表示させる指示マーカの前記表示部における表示位置を前記交点位置に基づき決定する表示指示部と、を備える作業支援システム。
前記透過型表示装置は、その表示部が、ワーク、及び、ユーザの眼を結ぶ仮想線と交わるように移動可能に構成され、
前記位置検出装置は、少なくとも前記ワーク、前記眼、及び、前記表示部のそれぞれの位置を算出するための情報を取得し、
前記制御装置は、
前記情報に基づきそれぞれの前記位置を算出する位置推定部と、
前記仮想線と前記表示部との交点位置を算出し、前記ワークに重畳して表示させる指示マーカの前記表示部における表示位置を前記交点位置に基づき決定する表示指示部と、を備える作業支援システム。
【請求項2】
更に、前記透過型表示装置に固定された第１マーカを備え、
前記情報は、少なくとも前記眼の奥行き情報を含む深度付き画像を含み、
前記位置検出装置は、前記深度付き画像を取得し、
前記位置推定部は、前記情報に基づき前記位置を算出する、請求項１に記載の作業支援システム。
前記情報は、少なくとも前記眼の奥行き情報を含む深度付き画像を含み、
前記位置検出装置は、前記深度付き画像を取得し、
前記位置推定部は、前記情報に基づき前記位置を算出する、請求項１に記載の作業支援システム。
【請求項3】
前記第１マーカは、互いに異なるパターン模様が付された複数の面を有する立体基材からなる、請求項２に記載の作業支援システム。
【請求項4】
複数の前記面のうちの１つが、基準面とされ、
前記基準面と前記表示部との相対的な位置関係、及び、前記基準面とその他の前記面との相対的な位置関係が、前記制御装置に予め記憶され、
前記位置推定部は、
前記深度付き画像に前記基準面以外の前記面のみが含まれる場合、２つの前記相対的な位置関係に基づき、前記表示部の前記位置を算出する、請求項３に記載の作業支援システム。
前記基準面と前記表示部との相対的な位置関係、及び、前記基準面とその他の前記面との相対的な位置関係が、前記制御装置に予め記憶され、
前記位置推定部は、
前記深度付き画像に前記基準面以外の前記面のみが含まれる場合、２つの前記相対的な位置関係に基づき、前記表示部の前記位置を算出する、請求項３に記載の作業支援システム。
【請求項5】
前記位置推定部は、搬送面上を所定の送り速度で所定の搬送方向へと搬送される前記ワークの前記位置を、
前記送り速度、及び、前記搬送面の傾きから算出される前記ワークの移動速度ベクトルに基づき、基準位置からの変位として算出する、請求項２に記載の作業支援システム。
前記送り速度、及び、前記搬送面の傾きから算出される前記ワークの移動速度ベクトルに基づき、基準位置からの変位として算出する、請求項２に記載の作業支援システム。
【請求項6】
前記位置検出装置は、２つの撮像装置を含み、
２つの前記撮像装置の少なくとも一方は、前記深度付き画像を取得可能に構成された第１撮像装置であり、
前記第１撮像装置は、前記眼、及び、前記第１マーカの前記深度付き画像を取得し、
他の前記撮像装置は、搬送方向上流側の前記搬送面上の基準位置にある前記ワークの画像を取得し、
前記制御装置は、２つの前記撮像装置の座標系を、２つの前記撮像装置の撮像範囲の重複箇所に載置された第２マーカをそれぞれ含む予め取得された画像に基づき変換する座標系変換式を算出する座標変換部を更に備える、請求項５に記載の作業支援システム。
２つの前記撮像装置の少なくとも一方は、前記深度付き画像を取得可能に構成された第１撮像装置であり、
前記第１撮像装置は、前記眼、及び、前記第１マーカの前記深度付き画像を取得し、
他の前記撮像装置は、搬送方向上流側の前記搬送面上の基準位置にある前記ワークの画像を取得し、
前記制御装置は、２つの前記撮像装置の座標系を、２つの前記撮像装置の撮像範囲の重複箇所に載置された第２マーカをそれぞれ含む予め取得された画像に基づき変換する座標系変換式を算出する座標変換部を更に備える、請求項５に記載の作業支援システム。
【請求項7】
前記制御装置は、前記搬送面上の少なくとも３箇所に載置された第３マーカを他の前記撮像装置により撮像した画像に基づき、前記搬送面の傾きを算出する傾き算出部を更に備える、請求項６に記載の作業支援システム。
【請求項8】
少なくとも前記第１撮像装置が深度カメラである、請求項６に記載の作業支援システム。
【請求項9】
透過型表示装置と、位置検出装置と、制御装置とを備える、作業支援システムを用いて、前記透過型表示装置の表示部に、ワークに重畳させて、指示マーカを表示させる方法であって、
前記ワーク、ユーザの眼、及び、前記表示部の位置を算出するための情報を取得することと、
前記情報に基づき前記位置をそれぞれ算出することと、
前記ワーク、及び、ユーザの眼を結ぶ仮想線と前記表示部との交点位置を算出し、前記指示マーカの前記表示部における表示位置を前記交点位置に基づき決定することと、を含む方法。
前記ワーク、ユーザの眼、及び、前記表示部の位置を算出するための情報を取得することと、
前記情報に基づき前記位置をそれぞれ算出することと、
前記ワーク、及び、ユーザの眼を結ぶ仮想線と前記表示部との交点位置を算出し、前記指示マーカの前記表示部における表示位置を前記交点位置に基づき決定することと、を含む方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業支援システム、及び、方法に関する。
【背景技術】
【0002】
対象物（ワーク）を作業者に目視させ、作業者によりワークに対して何らかの作業が行われる場合に、作業対象となるワークの識別、作業対象となるワークの部位の識別、及び、作業手順に関するガイド等をオンサイトで、かつ、リアルタイムに作業者に伝達するための方法が種々検討されている。
【0003】
このような技術として、特許文献１には、「製造ラインにおいて搬送装置によって搬送される複数の検査対象物の検査を支援する検査支援装置であって、前記搬送装置によって搬送されている複数の検査対象物を撮影することにより生成された画像を取得する取得手段と、前記取得手段で取得した前記画像に基づいて、前記複数の検査対象物のなかに正常でない検査対象物があるか否かを判定する判定手段と、前記判定手段によって正常でないと判定された検査対象物の位置を作業者に知らせるよう表示装置に指示する指示手段と、を有することを特徴とする検査支援装置。」が記載されている。
【0004】
また、特許文献２には、「作業の支援者が作業者に対して指示を行うための作業支援装置と、前記作業者が装着する頭部装着型表示装置と、を有する作業支援システムであって、前記作業支援装置は、支援者の手指を撮影するハンド位置撮影部と、撮影された前記支援者の手指の位置又は動き情報を演算するジェスチャ判定部と、前記手指の位置又は動き情報を前記頭部装着型表示装置へ送信するハンド位置情報送信部と、前記頭部装着型表示装置から送られてくる映像情報を受信する映像受信部と、受信した前記映像情報を表示する映像表示部と、を備え、前記頭部装着型表示装置は、透過表示された現実空間の像に仮想映像を重畳して表示する透過型表示部と、前記作業支援装置から送信される前記支援者の手指の位置又は動き情報を受信するハンド位置情報受信部と、前記支援者の手指の位置又は動き情報に基づいて前記透過型表示部へ前記支援者の手指の仮想映像を表示するバーチャルハンド表示部と、前記透過型表示部に表示される現実空間の像及び仮想映像を映像情報として前記作業支援装置へ送信する映像送信部と、を備えたことを特徴とする作業支援システム。」が記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２１－５１７０２号公報
【特許文献2】特開２０２１－３９５６７号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１、及び、特許文献２のような従来技術においては、プロジェクションマッピング、及び、頭部装着型表示装置等（スマートグラス等）を用いて作業者に指示内容を伝達していた。上記以外にも、作業者への指示をＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が適用されるタブレット端末等への表示によって伝達する技術も知られている。
【0007】
しかし、本発明者らの検討によれば、プロジェクションマッピングによる作業指示は、作業者の手元に光を照射して何らかの表示を行おうとするもので、その光を遮るもの（例えば、作業者の頭部や体）があると、意図した位置に伝達すべき内容を表示できないという問題がある。
また、頭部装着型表示装置を作業者に長時間着用させると、作業者の心身への負担が大きくなりやすい問題がある。
また、タブレット端末を用いる技術では、端末の画面上で指示を行いつつ、作業に際しては、端末の画面内における対象物を見ながら行うか、又は、画面内と実物の対象物とを見比べながら作業を行わなければならない場合があった。更に、端末自体を作業者が把持する場合、作業効率に劣る問題があった。
また、頭部装着型表示装置を作業者に長時間着用させると、作業者の心身への負担が大きくなりやすい問題がある。
また、タブレット端末を用いる技術では、端末の画面上で指示を行いつつ、作業に際しては、端末の画面内における対象物を見ながら行うか、又は、画面内と実物の対象物とを見比べながら作業を行わなければならない場合があった。更に、端末自体を作業者が把持する場合、作業効率に劣る問題があった。
【0008】
本発明は上記のような問題を解決するものであり、作業者への負担が少なく、効率的な作業指示が行える、作業支援システムの提供を課題とする。また、本発明は、方法の提供も課題とする。
【課題を解決するための手段】
【0009】
本発明者らは、上記課題を解決すべく鋭意検討した結果、以下の構成により上記課題を解決することができることを見出した。
【0010】
［１］ 透過型表示装置と、位置検出装置と、制御装置とを備え、上記透過型表示装置は、その表示部が、ワーク、及び、ユーザの眼を結ぶ仮想線と交わるように移動可能に構成され、上記位置検出装置は、少なくとも上記ワーク、上記眼、及び、上記表示部のそれぞれの位置を算出するための情報を取得し、上記制御装置は、上記情報に基づきそれぞれの上記位置を算出する位置推定部と、上記仮想線と上記表示部との交点位置を算出し、上記ワークに重畳して表示させる指示マーカの上記表示部における表示位置を上記交点位置に基づき決定する表示指示部と、を備える作業支援システム。
［２］ 更に、上記透過型表示装置に固定された第１マーカを備え、上記情報は、少なくとも上記眼の奥行き情報を含む深度付き画像を含み、上記位置検出装置は、上記深度付き画像を取得し、上記位置推定部は、上記情報に基づき上記位置を算出する、［１］に記載の作業支援システム。
［３］ 上記第１マーカは、互いに異なるパターン模様が付された複数の面を有する立体基材からなる、［２］に記載の作業支援システム。
［４］ 複数の上記面のうちの１つが、基準面とされ、上記基準面と上記表示部との相対的な位置関係、及び、上記基準面とその他の上記面との相対的な位置関係が、上記制御装置に予め記憶され、上記位置推定部は、上記深度付き画像に上記基準面以外の上記面のみが含まれる場合、２つの上記相対的な位置関係に基づき、上記表示部の位置を算出する、［３］に記載の作業支援システム。
［５］ 上記位置推定部は、搬送面上を所定の送り速度で所定の搬送方向へと搬送される上記ワークの上記位置を、上記送り速度、及び、上記搬送面の傾きから算出される上記ワークの移動速度ベクトルに基づき、基準位置からの変位として算出する、［２］に記載の作業支援システム。
［６］ 上記位置検出装置は、２つの撮像装置を含み、２つの上記撮像装置の少なくとも一方は、上記深度付き画像を取得可能に構成された第１撮像装置であり、上記第１撮像装置は、上記眼、及び、上記第１マーカの上記深度付き画像を取得し、他の上記撮像装置は、搬送方向上流側の上記搬送面上の基準位置にある上記ワークの画像を取得し、上記制御装置は、２つの上記撮像装置の座標系を、２つの上記撮像装置の撮像範囲の重複箇所に載置された第２マーカをそれぞれ含む予め取得された画像に基づき変換する座標系変換式を算出する座標変換部を更に備える、［５］に記載の作業支援システム。
［７］ 上記制御装置は、上記搬送面上の少なくとも３箇所に載置された第３マーカを他の上記撮像装置により撮像した画像に基づき、上記搬送面の傾きを算出する傾き算出部を更に備える、［６］に記載の作業支援システム。
［８］ 少なくとも上記第１撮像装置が深度カメラである、［６］に記載の作業支援システム。
［９］ 透過型表示装置と、位置検出装置と、制御装置とを備える、作業支援システムを用いて、上記透過型表示装置の表示部に、ワークに重畳させて、指示マーカを表示させる方法であって、上記ワーク、ユーザの眼、及び、上記表示部の位置を算出するための情報を取得することと、上記情報に基づき上記位置をそれぞれ算出することと、上記ワーク、及び、ユーザの眼を結ぶ仮想線と上記表示部との交点位置を算出し、上記指示マーカの上記表示部における表示位置を上記交点位置に基づき決定することと、を含む方法。
［２］ 更に、上記透過型表示装置に固定された第１マーカを備え、上記情報は、少なくとも上記眼の奥行き情報を含む深度付き画像を含み、上記位置検出装置は、上記深度付き画像を取得し、上記位置推定部は、上記情報に基づき上記位置を算出する、［１］に記載の作業支援システム。
［３］ 上記第１マーカは、互いに異なるパターン模様が付された複数の面を有する立体基材からなる、［２］に記載の作業支援システム。
［４］ 複数の上記面のうちの１つが、基準面とされ、上記基準面と上記表示部との相対的な位置関係、及び、上記基準面とその他の上記面との相対的な位置関係が、上記制御装置に予め記憶され、上記位置推定部は、上記深度付き画像に上記基準面以外の上記面のみが含まれる場合、２つの上記相対的な位置関係に基づき、上記表示部の位置を算出する、［３］に記載の作業支援システム。
［５］ 上記位置推定部は、搬送面上を所定の送り速度で所定の搬送方向へと搬送される上記ワークの上記位置を、上記送り速度、及び、上記搬送面の傾きから算出される上記ワークの移動速度ベクトルに基づき、基準位置からの変位として算出する、［２］に記載の作業支援システム。
［６］ 上記位置検出装置は、２つの撮像装置を含み、２つの上記撮像装置の少なくとも一方は、上記深度付き画像を取得可能に構成された第１撮像装置であり、上記第１撮像装置は、上記眼、及び、上記第１マーカの上記深度付き画像を取得し、他の上記撮像装置は、搬送方向上流側の上記搬送面上の基準位置にある上記ワークの画像を取得し、上記制御装置は、２つの上記撮像装置の座標系を、２つの上記撮像装置の撮像範囲の重複箇所に載置された第２マーカをそれぞれ含む予め取得された画像に基づき変換する座標系変換式を算出する座標変換部を更に備える、［５］に記載の作業支援システム。
［７］ 上記制御装置は、上記搬送面上の少なくとも３箇所に載置された第３マーカを他の上記撮像装置により撮像した画像に基づき、上記搬送面の傾きを算出する傾き算出部を更に備える、［６］に記載の作業支援システム。
［８］ 少なくとも上記第１撮像装置が深度カメラである、［６］に記載の作業支援システム。
［９］ 透過型表示装置と、位置検出装置と、制御装置とを備える、作業支援システムを用いて、上記透過型表示装置の表示部に、ワークに重畳させて、指示マーカを表示させる方法であって、上記ワーク、ユーザの眼、及び、上記表示部の位置を算出するための情報を取得することと、上記情報に基づき上記位置をそれぞれ算出することと、上記ワーク、及び、ユーザの眼を結ぶ仮想線と上記表示部との交点位置を算出し、上記指示マーカの上記表示部における表示位置を上記交点位置に基づき決定することと、を含む方法。
【発明の効果】
【0011】
本発明によれば、作業者への負担が少なく、効率的な作業指示が行える、作業支援システムが提供される。また、本発明によれば、方法も提供される。
【図面の簡単な説明】
【0012】
【図2】作業支援システムのハードウェア構成図である。
【図3】作業支援システムの機能ブロック図である。
【図5】本発明の方法の実施例のフローチャートである。
【図6】互いに異なるパターン画像が付された複数の面を有する立体基材からなる第１マーカを用いた表示部の位置、姿勢の推定方法のフロー図である。
【図7】本発明の作業支援システムにおいて用いられる第１マーカの変形例の説明図である。
【発明を実施するための形態】
【0013】
以下、本発明について詳細に説明する。
以下に記載する構成要件の説明は、本発明の代表的な実施形態に基づいてなされることがあるが、本発明はそのような実施形態に制限されるものではない。
なお、本明細書において、「～」を用いて表される数値範囲は、「～」の前後に記載される数値を下限値及び上限値として含む範囲を意味する。
以下に記載する構成要件の説明は、本発明の代表的な実施形態に基づいてなされることがあるが、本発明はそのような実施形態に制限されるものではない。
なお、本明細書において、「～」を用いて表される数値範囲は、「～」の前後に記載される数値を下限値及び上限値として含む範囲を意味する。
【0014】
また、以下に示す実施形態は、本発明の技術的思想を具体化した一例であって、本発明の技術的思想は、構成部品の材質、形状、構造、及び、配置等を下記の実施形態に特定するものではない。また、図面は模式的なものである。そのため、厚みと平面寸法との関係、比率等は現実のものとは異なる場合があり、また、図面相互間においても互いの寸法の関係や比率が異なることがある。
【0015】
［作業支援システム］
図１は、本発明の作業支援システムの第１実施例の説明図である。図１（Ａ）は作業支援システムの正面図、図１（Ｂ）は平面図である。それぞれの図には、説明のための座標軸が示されている。なお、図１（Ｂ）では、後述するベース１等をはじめとする一部の部材の図示が省略されている。
また、図１（Ｃ）は後述する第１マーカの斜視図である。また、図２は、作業支援システム１００のハードウェア構成図である。
図１は、本発明の作業支援システムの第１実施例の説明図である。図１（Ａ）は作業支援システムの正面図、図１（Ｂ）は平面図である。それぞれの図には、説明のための座標軸が示されている。なお、図１（Ｂ）では、後述するベース１等をはじめとする一部の部材の図示が省略されている。
また、図１（Ｃ）は後述する第１マーカの斜視図である。また、図２は、作業支援システム１００のハードウェア構成図である。
【0016】
まず、作業支援システム１００の概要、及び、用途等について説明する。
作業支援システム１００は、ワーク搬送機構２の搬送面２３上（以下、「搬送ライン」ともいう。）を、搬送方向１５に沿って移動する対象ワーク１１を、同時に搬送ライン上を移動するワーク１０の中から作業者３に選び取らせて、所定の処理を行わせるために使用される。具体的には、ワーク１０が良品で、対象ワーク１１が不良品である場合、対象ワーク１１を搬送ラインから除去させるために使用される。なお、上記は説明のために示される用途の一例であり、本発明の作業支援システムの用途を限定するものではない。他の用途等については、後段の第２実施例等において詳述する。
作業支援システム１００は、ワーク搬送機構２の搬送面２３上（以下、「搬送ライン」ともいう。）を、搬送方向１５に沿って移動する対象ワーク１１を、同時に搬送ライン上を移動するワーク１０の中から作業者３に選び取らせて、所定の処理を行わせるために使用される。具体的には、ワーク１０が良品で、対象ワーク１１が不良品である場合、対象ワーク１１を搬送ラインから除去させるために使用される。なお、上記は説明のために示される用途の一例であり、本発明の作業支援システムの用途を限定するものではない。他の用途等については、後段の第２実施例等において詳述する。
【0017】
上記の用途では、搬送ライン上を移動する多数のワーク１０と対象ワーク１１とを、限られた時間の中で作業者３に区別させるため、透過型表示装置４の表示部２０に、作業者３への指示を表示する。具体例として、図１（Ｂ）では、指示マーカ２１が対象ワーク１１ａに重畳表示されている。
【0018】
指示マーカ２１は、対象ワーク１１ａの移動に追従する。言い換えれば対象ワーク１１aの搬送方向１５への移動に伴って指示マーカ２１も表示部２０上を移動し、常に重畳表示されるよう調整される。
作業者３は、搬送面２３上を搬送される、多数のワーク１０、及び、対象ワーク１１の中から、指示マーカ２１を参考にして、簡単に対象ワーク１１ａを選び取り、所定の作業（ここでは、除去）をすることができる。
作業者３は、搬送面２３上を搬送される、多数のワーク１０、及び、対象ワーク１１の中から、指示マーカ２１を参考にして、簡単に対象ワーク１１ａを選び取り、所定の作業（ここでは、除去）をすることができる。
【0019】
本発明の特徴点の一つは、透過型表示装置４（光透過型表示装置）を用いて、作業者３への情報伝達を行う点にある。透過型表示装置４は、枠体により挟持される表示部２０を有する表示デバイスである。表示部２０は、公知の光透過型液晶パネル、及び／又は、光透過型（有機）ＥＬパネル等により構成されるディスプレイパネルである。
透過型表示装置４は、その表示部２０に任意の画像、及び、文字等を表示でき、更に、表示部２０における任意の箇所において、可視光の少なくとも一部を透過させ、その背面側を見通すことができるよう構成される。言い換えれば、透過型表示装置４は、その表示部２０を介して外界光と映像光とを重複して視認させ得る表示デバイスである。
透過型表示装置４は、その表示部２０に任意の画像、及び、文字等を表示でき、更に、表示部２０における任意の箇所において、可視光の少なくとも一部を透過させ、その背面側を見通すことができるよう構成される。言い換えれば、透過型表示装置４は、その表示部２０を介して外界光と映像光とを重複して視認させ得る表示デバイスである。
【0020】
ここで「重畳表示」「重畳して表示」とは、作業者３から見たときに（作業者３が看取するイメージ２２において）対象ワーク１１ｂと、指示マーカ２１Ａとが重なり合って両者が認識されるように表示されることを意味する。
このように構成された作業支援システム１００によれば、作業者３への指示に際し、プロジェクションマッピング技術を用いないため、作業者３の姿勢等により、光が遮られ、指示がうまく伝達されないという不具合は解消される。
また、ウェアラブルデバイスを用いなくても的確な情報伝達が可能なため、作業者３の負担が軽減される。
このように構成された作業支援システム１００によれば、作業者３への指示に際し、プロジェクションマッピング技術を用いないため、作業者３の姿勢等により、光が遮られ、指示がうまく伝達されないという不具合は解消される。
また、ウェアラブルデバイスを用いなくても的確な情報伝達が可能なため、作業者３の負担が軽減される。
【0021】
また、透過型表示装置４は自在アーム１２を介してベース１に固定され、把持する必要がないので、作業効率も落ちない。更に、作業者３は、指示マーカ２１、対象ワーク１１ａ（実物）、及び、自身の手元（実物）を一度に視認できる。透過型表示装置４の表示部２０を介して、自身の手元を直接見ることができるため、ＡＲ、ＶＲ技術等と比較して作業が直感的で効率的になりやすい。
【0022】
なお、図１（Ｂ）の平面視においては、表示された指示マーカ２１と、対象ワーク１１ａとは、必ずしも重なる位置となっていない。これは、作業者３の眼１７の位置、透過型表示装置４の位置・姿勢（傾き）を考慮し、イメージ２２において所望の位置に、所望の形状の指示マーカ２１Ａが得られるよう、表示部２０に実際に表示される指示マーカ２１の位置・形状が調整されるためである。この調整の方法については、後述する。
【0023】
次に、作業支援システム１００を構成する各ハードウェアについて説明する。
作業支援システム１００は、透過型表示装置４と、位置検出装置を構成する深度カメラ５（第１撮像装置）、及び、カメラ６（他の撮像装置）と、制御装置４０（図１には図示されない）とを備える。透過型表示装置４、深度カメラ５、及び、カメラ６は、それぞれ、ベース１に支持される。
作業支援システム１００は、透過型表示装置４と、位置検出装置を構成する深度カメラ５（第１撮像装置）、及び、カメラ６（他の撮像装置）と、制御装置４０（図１には図示されない）とを備える。透過型表示装置４、深度カメラ５、及び、カメラ６は、それぞれ、ベース１に支持される。
【0024】
透過型表示装置４は、自在アーム１２を介してベース１に固定される。自在アーム１２は、透過型表示装置４を６自由度（Ｘ軸、Ｙ軸、Ｚ軸、ヨー軸、ピッチ軸、及び、ロール軸）で移動可能に支持する。
表示部２０には、作業者３に対する指示マーカ２１が表示される。作業者３は、指示マーカ２１を視認しやすいよう、自身の身長、及び、作業姿勢等にあわせて、透過型表示装置４の位置・姿勢を調整できる。
表示部２０には、作業者３に対する指示マーカ２１が表示される。作業者３は、指示マーカ２１を視認しやすいよう、自身の身長、及び、作業姿勢等にあわせて、透過型表示装置４の位置・姿勢を調整できる。
【0025】
透過型表示装置４には、その位置、及び、傾き（姿勢）を推測するのに使用される第１マーカ１６が固定される。
第１マーカ１６は、六面体の基材３０と、その各面に付されたパターン模様により構成される。基材３０は、底面以外の側面３１、３３、及び、天面３２に、互いに異なるパターン模様３１０、３２０、３３０をそれぞれ有する。なお、図示しない背面側２面についても、パターン模様をそれぞれ有している。第１マーカ１６は、後述するとおり、透過型表示装置４（表示部２０）の位置、及び、姿勢を計算するために用いられる。
第１マーカ１６は、六面体の基材３０と、その各面に付されたパターン模様により構成される。基材３０は、底面以外の側面３１、３３、及び、天面３２に、互いに異なるパターン模様３１０、３２０、３３０をそれぞれ有する。なお、図示しない背面側２面についても、パターン模様をそれぞれ有している。第１マーカ１６は、後述するとおり、透過型表示装置４（表示部２０）の位置、及び、姿勢を計算するために用いられる。
【0026】
パターン模様は、それぞれ独立に識別され、固有の情報と結びつけられる識別のための図形である。このようなパターン模様としては、「ＡｒＵｃｏマーカ」、「同心円マーカ」、「ＱＲコード（登録商標）」等が知られる。第１マーカ１６、後述する第２マーカ、及び、第３マーカは、上記パターン模様により識別される。
【0027】
深度カメラ５は、奥行き情報を含む深度付き画像を取得可能な撮像装置である。深度カメラ５は、近赤外光の照射により対象物の奥行き情報を取得するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）形式の撮像装置である。なお、深度カメラの測距方式は、上記に限定されず、２つの撮像素子から構成されるステレオカメラ方式としてもよい。また、近赤外光の照射による測距装置とカメラとを組み合わせた装置も使用できる。
【0028】
なお、第１マーカ１６として、画像に基いてその位置・姿勢を計算可能なパターン模様（「ＡｒＵｃｏマーカ」等）、及び、対応するアルゴリズムを用いる場合、透過型表示装置４の位置の算出には、深度付き画像は必須ではない。すなわち、一般的なカメラにより取得される深度情報を有しない画像から、第１マーカ１６の位置・姿勢（透過型表示装置４の位置・姿勢）を推測できる。
この場合、深度カメラ５による画像取得に代えて、一般的なカメラで作業者３の眼１７と、第１マーカ１６とを含む画像を取得し、更に、測距装置にて、眼１７の深度（距離）を測定する形態とすることもできる。
以下では、深度カメラ５により、第１マーカ１６、及び、眼１７の深度付き画像を取得し、位置を算出する形態について説明する。
この場合、深度カメラ５による画像取得に代えて、一般的なカメラで作業者３の眼１７と、第１マーカ１６とを含む画像を取得し、更に、測距装置にて、眼１７の深度（距離）を測定する形態とすることもできる。
以下では、深度カメラ５により、第１マーカ１６、及び、眼１７の深度付き画像を取得し、位置を算出する形態について説明する。
【0029】
深度カメラ５はアーム１３によりベース１に固定される。深度カメラ５による撮像範囲には、作業者３の眼１７、及び、透過型表示装置４に固定された第１マーカ１６を含む。深度カメラ５の固定位置は、上記を撮像範囲に含めばよく、特に限定されない。
【0030】
作業支援システム１００は、位置検出装置のひとつとして、更に、カメラ６を備える。カメラ６は、固定アーム１４によってベース１に固定される。カメラ６は、ワーク搬送機構２の搬送面２３を向くように固定される。
カメラ６の撮像範囲（領域Ｒ１）は、透過型表示装置４に対して、搬送方向１５の上流側にある。カメラ６により撮像される領域Ｒ１に含まれるワーク１０、及び、対象ワーク１１は、撮像後、所定時間が経過すると、透過型表示装置４側（具体的には領域Ｒ２）に移動する。
カメラ６の撮像範囲（領域Ｒ１）は、透過型表示装置４に対して、搬送方向１５の上流側にある。カメラ６により撮像される領域Ｒ１に含まれるワーク１０、及び、対象ワーク１１は、撮像後、所定時間が経過すると、透過型表示装置４側（具体的には領域Ｒ２）に移動する。
【0031】
ワーク搬送機構２は、その搬送面２３においてワーク１０、及び、対象ワーク１１を支持し、所定の搬送方向１５に、所定の送り速度で、これらを移動させる。ワーク搬送機構２は、典型的にはベルトコンベアであってよい。
搬送面２３上を搬送されるワーク１０、及び、対象ワーク１１は、搬送面に載置され、搬送され得るものであれば、特に限定されない。例えば、機械、その部品、水産／農畜産物又はその加工品等であってよい。
搬送面２３上を搬送されるワーク１０、及び、対象ワーク１１は、搬送面に載置され、搬送され得るものであれば、特に限定されない。例えば、機械、その部品、水産／農畜産物又はその加工品等であってよい。
【0032】
作業者３は、搬送面２３を搬送されるワーク１０、及び、対象ワーク１１を見ながら、透過型表示装置４の表示部２０に表示される指示マーカ２１に基づき、対象ワーク１１を判別し、所定の作業を行う。
具体的には、ワーク１０、及び、対象ワーク１１が搬送面２３を搬送方向１５に移動して、領域Ｒ２付近まで進むと、透過型表示装置４の表示部２０には、対象ワーク１１ａに重畳して指示マーカ２１が現れる。
具体的には、ワーク１０、及び、対象ワーク１１が搬送面２３を搬送方向１５に移動して、領域Ｒ２付近まで進むと、透過型表示装置４の表示部２０には、対象ワーク１１ａに重畳して指示マーカ２１が現れる。
【0033】
図２に戻り、制御装置４０は、プロセッサ４１と、記憶デバイス４２と、入出力インターフェース４３（入出力Ｉ／Ｆ）と、を備える。制御装置４０は、典型的にはコンピュータである。
【0034】
プロセッサ４１は、例えば、マイクロプロセッサ、プロセッサコア、マルチプロセッサ、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、及び、ＧＰＧＰＵ（Ｇｅｎｅｒａｌ－ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ）等である。
【0035】
記憶デバイス４２は、各種プログラム、及び、データを一時的に、及び／又は、非一時的に記憶する機能を有し、プロセッサの作業エリアを提供する。
記憶デバイス４２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ、及び、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等である。
記憶デバイス４２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ、及び、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等である。
【0036】
入出力インターフェース４３には、深度カメラ５、カメラ６、及び、透過型表示装置４等が接続される。また、ワーク搬送機構２が接続されてもよい。更に、他の入力デバイス、又は、出力デバイスが接続されてもよい。
入出力インターフェース４３を介して制御装置４０と接続される（図示しない）入力デバイスは、制御装置４０への各種情報入力、及び、指示の入力のためのデバイスである。入力デバイスは、キーボード、マウス、スキャナ、及び、タッチパネル等でよい。
入出力インターフェース４３を介して制御装置４０と接続される（図示しない）入力デバイスは、制御装置４０への各種情報入力、及び、指示の入力のためのデバイスである。入力デバイスは、キーボード、マウス、スキャナ、及び、タッチパネル等でよい。
【0037】
また、入出力インターフェース４３を介して制御装置４０と接続される（図示しない）出力デバイスは、各部のステータス、及び、各種結果等を出力するためのデバイスである。出力デバイスは、透過型表示装置４とは異なるデバイスであってよく、液晶ディスプレイ、及び、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等でよい。
また、出力デバイスは、入力デバイスと一体として構成されていてもよい。この場合、出力デバイスがタッチパネルディスプレイであって、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供する形態が挙げられる。
また、出力デバイスは、入力デバイスと一体として構成されていてもよい。この場合、出力デバイスがタッチパネルディスプレイであって、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供する形態が挙げられる。
【0038】
制御装置４０は、図示しない通信インターフェースを備えてもよく、これを介してインターネット、ワイド・エリア・ネットワーク、及び、ローカル・エリア・ネットワーク等のコンピュータネットワークと接続されてもよい。
この場合、入力デバイスに代えて、コンピュータネットワークから各種指示を受信したり、コンピュータネットワークを介して外部へと情報を出力してもよい。
この場合、入力デバイスに代えて、コンピュータネットワークから各種指示を受信したり、コンピュータネットワークを介して外部へと情報を出力してもよい。
【0039】
作業支援システム１００は、ワーク１０及び対象ワーク１１を搬送するワーク搬送機構２に適用され得る。なお、ワーク搬送機構２は、作業支援システム１００を構成しない。本発明の作業支援システムは、ワーク搬送機構２に代えて、後述する第２実施例のように、対象ワーク１１を支持するワーク支持台に適用することもできる。
【0040】
次に、各部の機能等について説明する。
図３は、作業支援システム１００の機能ブロック図である。作業支援システム１００は、深度カメラ５と、カメラ６と、透過型表示装置４と、制御部５０と、記憶部５７とから構成される。制御部５０は、傾き算出部５１、座標変換部５２、位置推定部５３、表示指示部５４、及び、画像解析部５６を備える。また、制御部５０は、ワーク搬送機構２とも接続される。各部は、互いにデータの送受信が可能なように構成される。
図３は、作業支援システム１００の機能ブロック図である。作業支援システム１００は、深度カメラ５と、カメラ６と、透過型表示装置４と、制御部５０と、記憶部５７とから構成される。制御部５０は、傾き算出部５１、座標変換部５２、位置推定部５３、表示指示部５４、及び、画像解析部５６を備える。また、制御部５０は、ワーク搬送機構２とも接続される。各部は、互いにデータの送受信が可能なように構成される。
【0041】
制御部５０は、記憶デバイス４２に記憶されたプログラムをプロセッサ４１が実行することで実現される機能である。制御部５０は、作業支援システム１００の各部を制御し、その機能を実現させる。
【0042】
画像解析部５６は、記憶デバイス４２に記憶されたプログラムをプロセッサ４１が実行することで実現される機能である。画像解析部５６は、深度カメラ５から取得される深度データ付き画像から、作業者３の眼１７を識別する。作業者の眼１７の識別方法は特に限定されず、公知の顔認識アルゴリズム（例えば「ＩｎｓｉｇｈｔＦａｃｅ」）等を応用して行うことができる。
また、認識された作業者３の眼１７に代えて、画像から認識された作業者３の「顔」を眼１７の位置とする形態であってもよい。この場合、計算がより単純化され、処理が高速となる。
また、認識された作業者３の眼１７に代えて、画像から認識された作業者３の「顔」を眼１７の位置とする形態であってもよい。この場合、計算がより単純化され、処理が高速となる。
【0043】
また、画像解析部５６は、カメラ６により取得された画像から、記憶部５７に予め記憶された基準に基づき、ワーク１０、及び、対象ワーク１１を識別する。更に、外部ａｃ１から入力される対象ワーク情報（ワーク１０と対象ワーク１１との画像上の識別に関する情報）をもとに、ワーク１０、及び、対象ワーク１１区別する。
また、深度カメラ５の取得画像から、第１マーカ１６を識別する。
また、深度カメラ５の取得画像から、第１マーカ１６を識別する。
【0044】
カメラ６の取得画像中のワーク１０の認識方法は特に限定されず、公知のアルゴリズムを適宜適用可能である。このようなアルゴリズムとしては、ワーク１０の三次元位置を検出可能なアルゴリズムが使用でき、例えば、画像解析により画像中の作業対象物の色を認識して対象物の三次元位置を検出するもの、AI（人工知能）の学習によって画像中のワーク１０の三次元位置を検出するもの等すでに公知である。
【0045】
外部ａｃ１から入力される対象ワーク情報は、作業支援システム１００のユーザ、又は、作業支援システム１００に接続された学習済みの分類器によって指示される対象ワーク１１の識別に関する情報である。すなわち、カメラ６により取得された画像における識別されたワーク１０のうち、いずれを対象ワーク１１と判定するかの基準となる情報である。
【0046】
作業支援システム１００は、ワーク搬送機構２の上流側にカメラ６を有し、透過型表示装置４の搬送方向上流側で、ワーク１０、及び、対象ワーク１１を識別する。
その後、ワーク１０、及び、対象ワーク１１は、搬送面２３上を移動し、透過型表示装置４の下の領域Ｒ２に達した時点で、指示マーカ２１が表示部２０に表示される。詳細は後述するが、ワーク１０、及び、対象ワーク１１の位置は、カメラ６による識別結果、移動速度ベクトルに基づき、基準位置からの変位として予測される。具体的には、撮像された時間、位置を基準位置とし、所定時間経過後の変位を移動ベクトルをもとに算出する。
その後、ワーク１０、及び、対象ワーク１１は、搬送面２３上を移動し、透過型表示装置４の下の領域Ｒ２に達した時点で、指示マーカ２１が表示部２０に表示される。詳細は後述するが、ワーク１０、及び、対象ワーク１１の位置は、カメラ６による識別結果、移動速度ベクトルに基づき、基準位置からの変位として予測される。具体的には、撮像された時間、位置を基準位置とし、所定時間経過後の変位を移動ベクトルをもとに算出する。
【0047】
従って、ワーク１０、及び、対象ワーク１１が検出されてから、実際に透過型表示装置４下（領域Ｒ２）に移動するまでに、所定の時間的猶予がある。その時間内に、カメラ６の取得画像をもとに、対象ワーク１１が分類器等によって計算、特定され、制御装置４０に渡される。この点では、カメラ６は搬送面２３のより上流側を撮像可能に構成されることが好ましい。
【0048】
傾き算出部５１は、記憶デバイス４２に記憶されたプログラムをプロセッサ４１が実行することで実現される機能である。傾き算出部５１は、搬送面２３上の少なくとも３箇所に一時的に設置された第３マーカを含むように、カメラ６により取得された画像に基づき、搬送面２３の傾きを算出する。なお、使用される第３マーカは、第１マーカと同様のものであってもよいし、平板状の基材の一方側の主面に固有のパターン模様が付された、より簡便なものであってもよい。なお、第３マーカが有するパターン模様はそれぞれ独立である。
【0049】
画像解析部５６により、第３マーカがそれぞれ認識されると、それぞれの相対的な位置関係、及び、傾き等によって、搬送面の傾きが算出される。言い換えれば、搬送面の平面方程式が算出され得る。
なお、搬送面２３の傾きは予め記憶されていてもよく、この場合、第３マーカによる傾きの算出は省略され得る。
なお、搬送面２３の傾きは予め記憶されていてもよく、この場合、第３マーカによる傾きの算出は省略され得る。
【0050】
傾き算出部５１は、更に、ワーク搬送機構２から提供される（又は、予め取得される）送り速度と、上記計算された搬送面２３の傾きとから、ワーク１０、及び、対象ワーク１１の移動速度ベクトルを算出する。
なお、ワーク搬送機構２の送り速度が予め取得（記憶）される場合には、ワーク搬送機構２は、制御部５０と接続されていなくてもよい。
なお、ワーク搬送機構２の送り速度が予め取得（記憶）される場合には、ワーク搬送機構２は、制御部５０と接続されていなくてもよい。
【0051】
座標変換部５２は、記憶デバイス４２に記憶されたプログラムをプロセッサ４１が実行することで実現される機能である。座標変換部５２は、位置検出装置を構成する深度カメラ５及びカメラ６の座標系を変換するための座標系変換式を算出する。
座標系の変換方法は特に限定されないが、より簡便に実行できる観点で、深度カメラ５及びカメラ６の撮像範囲の重複箇所に一時的に載置された第２マーカの画像を予め取得し、画像解析部５６によって、第２マーカを識別し、それぞれの取得画像における第２マーカの位置から、互いの座標系を変換するための座標系変換式を算出することが好ましい。すなわち、第２マーカを基準に、それぞれの座標系を合わせることが好ましい。なお、第２マーカは、第１マーカ、又は、第３マーカと同様のもの（ＡＲマーカ等）が使用できる。
座標系の変換方法は特に限定されないが、より簡便に実行できる観点で、深度カメラ５及びカメラ６の撮像範囲の重複箇所に一時的に載置された第２マーカの画像を予め取得し、画像解析部５６によって、第２マーカを識別し、それぞれの取得画像における第２マーカの位置から、互いの座標系を変換するための座標系変換式を算出することが好ましい。すなわち、第２マーカを基準に、それぞれの座標系を合わせることが好ましい。なお、第２マーカは、第１マーカ、又は、第３マーカと同様のもの（ＡＲマーカ等）が使用できる。
【0052】
位置推定部５３は、記憶デバイス４２に記憶されたプログラムをプロセッサ４１が実行することで実現される機能である。位置推定部５３は、各部で得られた情報をもとに、作業者３の眼１７の位置、及び、第１マーカ１６の位置（・姿勢）、及び、対象ワーク１１ａの位置を算出する。
作業者３の眼１７の位置、及び、第１マーカ１６の位置・姿勢は、深度カメラ５の深度データ付き画像、及び、その識別結果からリアルタイムに計算され得る。
作業者３の眼１７の位置、及び、第１マーカ１６の位置・姿勢は、深度カメラ５の深度データ付き画像、及び、その識別結果からリアルタイムに計算され得る。
【0053】
また、対象ワーク１１ａの位置は、所定の時刻においてカメラ６により取得された対象ワーク１１ａの画像（領域Ｒ１にあったときのもの）、移動速度ベクトル、及び、位置を予想すべき時刻（例えば現在時刻）から算出される。
例えば、作業者３の眼１７の位置、及び、第１マーカ１６の位置・姿勢をリアルタイムに（所定の短い間隔で）算出する場合、所定の短い時間間隔で対象ワーク１１ａの位置を予測すれば、それぞれの位置（・姿勢）がほぼリアルタイムに算出され得る。
例えば、作業者３の眼１７の位置、及び、第１マーカ１６の位置・姿勢をリアルタイムに（所定の短い間隔で）算出する場合、所定の短い時間間隔で対象ワーク１１ａの位置を予測すれば、それぞれの位置（・姿勢）がほぼリアルタイムに算出され得る。
【0054】
表示指示部５４は、記憶デバイス４２に記憶されたプログラムをプロセッサ４１が実行することで実現される機能である。表示指示部５４は、計算された作業者の眼１７の位置、表示部２０の位置・姿勢、及び、搬送面２３上の対象ワーク１１ａの位置から、対象ワーク１１ａに重畳表示させる指示マーカ２１の表示部２０内における位置（表示位置）を決定する。
【0055】
図４は、表示位置の決定方法の説明図である。図４（Ａ）は、搬送面２３、表示部２０、及び、眼１７の位置関係を表す斜視図である。また、図４（Ｂ）はＡ－Ａ断面模式図である。なお、図４（Ａ）では、第１マーカ１６の図示は省略されている。
【0056】
対象ワーク１１ａは、ある時刻（タイミング）において、カメラ６の撮像範囲である領域Ｒ１において画像として捉えられる（図中、対象ワーク１１ｃ）。この画像から対象ワーク１１ｃの当該時刻における位置（基準位置）が算出される。
対象ワーク１１ａの任意の時刻における位置は、上記基準位置と、移動速度ベクトルｖｅｃとから、変位として算出される。
対象ワーク１１ａの任意の時刻における位置は、上記基準位置と、移動速度ベクトルｖｅｃとから、変位として算出される。
【0057】
次に、作業者３が、透過型表示装置４の表示部２０を介して視認できる範囲である領域Ｒ２について説明する。表示部２０の厚みが十分に薄く、その材質等の影響により、屈折による影響が無視できる程度に小さい場合、領域Ｒ２は、眼１７の位置と、透過型表示装置４の表示部２０の端部とを結ぶ線（ＢＬ１、ＢＬ２、ＢＬ３、ＢＬ４）を外挿し、搬送面２３との交点を求め、これを結ぶ範囲となる。
対象ワーク１１ａが搬送面２３上を移動し、この領域Ｒ２に入ると、重畳表示が可能となる。
対象ワーク１１ａが搬送面２３上を移動し、この領域Ｒ２に入ると、重畳表示が可能となる。
【0058】
指示マーカの表示位置は、眼１７の位置、及び、対象ワーク１１ａの位置から計算される仮想線ＬＮと、表示部２０との交点位置ｐｏｓ１に基づき決定される。
交点位置ｐｏｓ１は、深度カメラ５の座標系で検出された眼１７の位置、及び、第１マーカ１６の位置・姿勢、並びに、上述のとおり算出される対象ワーク１１ａの位置をもとに、仮想線ＬＮの直線方程式、及び、表示部２０の平面方程式を算出し、その交点として算出される。
交点位置ｐｏｓ１は、深度カメラ５の座標系で検出された眼１７の位置、及び、第１マーカ１６の位置・姿勢、並びに、上述のとおり算出される対象ワーク１１ａの位置をもとに、仮想線ＬＮの直線方程式、及び、表示部２０の平面方程式を算出し、その交点として算出される。
【0059】
光の屈折による影響が無視できるほどに小さい場合、交点位置ｐｏｓ１に指示マーカ２１が表示されると、作業者３から見ると、対象ワーク１１ａに指示マーカ２１が重畳表示されて認識される。
また、表示部２０の材質、及び、厚み等によって、光の屈折による影響を考慮する必要があれば、交点位置ｐｏｓ１を基準に指示マーカ２１の表示位置が調整され得る。
表示指示部５４により決定された指示マーカ２１の表示位置に従い、制御部５０により透過型表示装置４が制御され、指示マーカ２１が表示部２０に表示される。
また、表示部２０の材質、及び、厚み等によって、光の屈折による影響を考慮する必要があれば、交点位置ｐｏｓ１を基準に指示マーカ２１の表示位置が調整され得る。
表示指示部５４により決定された指示マーカ２１の表示位置に従い、制御部５０により透過型表示装置４が制御され、指示マーカ２１が表示部２０に表示される。
【0060】
次に、作業支援システム１００によって作業対象となる対象ワーク１１ａに指示マーカ２１を重畳表示させる方法について説明する。図５は、上記方法のフローチャートである。
まず、ステップＳ１１として、座標変換部５２により、深度カメラ５と、カメラ６との座標系を互いに変換するための座標系変換式が算出される。
まず、ステップＳ１１として、座標変換部５２により、深度カメラ５と、カメラ６との座標系を互いに変換するための座標系変換式が算出される。
【0061】
具体的には、まず、両者の撮像範囲の重複箇所に一時的に載置された第２マーカを両者でそれぞれ撮像して画像を取得する。
このとき、第２マーカの載置される場所は特に限定されない。搬送面２３上であってもよいし、それ以外の場所であってもよい。
典型的には、ベルトコンベアであるワーク搬送機構２を停止させ、一時的に搬送面２３上に第２マーカを載置し、この画像を、それぞれの撮像装置で撮像することが好ましい。これらの画像において、第２マーカを基準として座標系変換式が算出される。
このとき、第２マーカの載置される場所は特に限定されない。搬送面２３上であってもよいし、それ以外の場所であってもよい。
典型的には、ベルトコンベアであるワーク搬送機構２を停止させ、一時的に搬送面２３上に第２マーカを載置し、この画像を、それぞれの撮像装置で撮像することが好ましい。これらの画像において、第２マーカを基準として座標系変換式が算出される。
【0062】
次に、傾き算出部５１によって、搬送面の傾きが算出され、ワーク搬送機構２の送り速度とあわせて、ワーク１０、対象ワーク１１の移動速度ベクトルｖｅｃが算出される（ステップＳ１２）。
搬送面２３の傾きは、カメラ６の撮像範囲内であって、搬送面２３上の少なくとも３箇所に設置された第３マーカを含む画像に基づき算出される。すなわち、３つのマーカの相対的な位置関係、及び、傾きから、搬送面２３の傾き（平面方程式）が算出される。これと、ワーク搬送機構２の送り速度を併せて、ワーク１０、及び、対象ワーク１１ａの移動速度ベクトルｖｅｃが算出される。
なお、搬送面２３の傾きは、予め記憶されていてもよく、この場合、第３マーカによるキャリブレーションは省略され得る。
搬送面２３の傾きは、カメラ６の撮像範囲内であって、搬送面２３上の少なくとも３箇所に設置された第３マーカを含む画像に基づき算出される。すなわち、３つのマーカの相対的な位置関係、及び、傾きから、搬送面２３の傾き（平面方程式）が算出される。これと、ワーク搬送機構２の送り速度を併せて、ワーク１０、及び、対象ワーク１１ａの移動速度ベクトルｖｅｃが算出される。
なお、搬送面２３の傾きは、予め記憶されていてもよく、この場合、第３マーカによるキャリブレーションは省略され得る。
【0063】
なお、上記ステップＳ１１、及び、ステップＳ１２はこの順番で実施される必要はなく、逆の順番で実施されてもよい。また、第２マーカと第３マーカとを兼ねるマーカを用いて、一度に実施されてもよい。
ステップＳ１１、及び、ステップＳ１２は、作業支援システム１００のキャリブレーションの意義を有する工程であり、事前に実施されていれば、使用の都度行わなくてもよい。すなわち、すでに座標系変換式、及び、移動速度ベクトルｖｅｃが記憶部に記憶されていれば、ステップＳ１１、及び、ステップＳ１２は、省略されてもよい。
ステップＳ１１、及び、ステップＳ１２は、作業支援システム１００のキャリブレーションの意義を有する工程であり、事前に実施されていれば、使用の都度行わなくてもよい。すなわち、すでに座標系変換式、及び、移動速度ベクトルｖｅｃが記憶部に記憶されていれば、ステップＳ１１、及び、ステップＳ１２は、省略されてもよい。
【0064】
次に、ステップＳ１３として、カメラ６により領域Ｒ１の画像が取得される。このとき、搬送面２３上には、搬送面２３を所定の方向に搬送されるワーク１０、及び、対象ワーク１１が載置されている。画像の取得間隔は特に限定されないが、一形態として、１／６０～１／１０秒等であってよい。
取得された画像は、取得された時刻と共に記録され、画像解析部５６に渡される。
取得された画像は、取得された時刻と共に記録され、画像解析部５６に渡される。
【0065】
次に、ステップＳ１４として、深度カメラ５により、眼１７、及び、第１マーカ１６を含む画像が取得される。画像の取得間隔は特に限定されず、カメラ６と同一であっても異なってもよい。取得された画像は、取得された時刻、及び、奥行きデータと共に記録され、画像解析部５６に渡される。
【0066】
なお、ステップＳ１３、及び、ステップＳ１４とは、順次行われてもよいし、同時に行われもよく、作業支援システム１００の使用の期間中、所定の間隔をもって常に行われることが好ましい。
次に、ステップＳ１５として、画像解析部５６により、深度カメラ５により取得された画像における、作業者３の眼１７、及び、第１マーカ１６が識別される。また、カメラ６により取得された画像における、対象ワーク１１が識別される。識別の方法は特に限定されず、公知の方法が使用できる。
次に、ステップＳ１５として、画像解析部５６により、深度カメラ５により取得された画像における、作業者３の眼１７、及び、第１マーカ１６が識別される。また、カメラ６により取得された画像における、対象ワーク１１が識別される。識別の方法は特に限定されず、公知の方法が使用できる。
【0067】
次に、ステップＳ１６として、位置推定部５３によって、上記識別結果から、作業者３の眼１７の位置、第１マーカ１６の位置・姿勢、及び、ワークの位置が推定される。
眼１７の位置は、深度カメラ５により取得された画像において、画像解析部５６による識別結果（その結果として得られる座標）、及び、付加された深度情報（奥行き情報）から、その位置が計算される。
眼１７の位置は、深度カメラ５により取得された画像において、画像解析部５６による識別結果（その結果として得られる座標）、及び、付加された深度情報（奥行き情報）から、その位置が計算される。
【0068】
ワークの位置は、カメラ６により取得された画像における識別結果（その結果として得られる座標）、移動速度ベクトル、及び、推定すべき時刻から算出される。すなわち、画像の取得時刻における位置を基準位置とし、それより後の時刻である、推定すべき時刻における位置を、基準位置からの変位として推定する。
【0069】
第１マーカ１６の位置・姿勢から、表示部２０の位置・姿勢を算出する方法は特に限定されないが、より正確に算出できる点で、互いに異なるパターン画像が付された複数の面を有する立体基材からなる第１マーカ１６を用いた、以下の方法が好ましい。
【0070】
図６は、互いに異なるパターン画像が付された複数の面を有する立体基材からなる第１マーカ１６を用いた表示部２０の位置、姿勢の推定方法のフロー図である。
図６のフローは、図５のフローのステップＳ１５に続いて、ステップＳ１６の一部として行われる。すなわち、図６のフローにおけるステップＳ３１～ステップＳ３７は、図５のフローのステップＳ１６に含まれていてよい。
図６のフローは、図５のフローのステップＳ１５に続いて、ステップＳ１６の一部として行われる。すなわち、図６のフローにおけるステップＳ３１～ステップＳ３７は、図５のフローのステップＳ１６に含まれていてよい。
【0071】
ステップＳ１５に続いて、ステップＳ３１では、画像解析部５６により、深度カメラ５の取得画像に、第１マーカ１６が含まれているか判断される。
透過型表示装置４は、所定の自由度（例えば６自由度）で移動可能に自在アーム１２よって支持されている。作業者３は、自身の作業姿勢、身長等に合わせて、透過型表示装置４を自由に移動させることができる。
透過型表示装置４は、所定の自由度（例えば６自由度）で移動可能に自在アーム１２よって支持されている。作業者３は、自身の作業姿勢、身長等に合わせて、透過型表示装置４を自由に移動させることができる。
【0072】
そのため、深度カメラ５の撮像範囲内に第１マーカ１６が入らない場合がある（ステップＳ３１：ＮＯ）。この場合、位置の推定ができないため、フローは終了する。この場合は、第１マーカ１６が検出できないことをユーザに知らせる表示を透過型表示装置４に表示させてもよい。
なお、深度カメラ５の撮像範囲から、第１マーカ１６が逸脱しないよう、自在アーム１２の可動範囲が予め制限されることが好ましい。この場合、ステップＳ３１は省略され得る。
なお、深度カメラ５の撮像範囲から、第１マーカ１６が逸脱しないよう、自在アーム１２の可動範囲が予め制限されることが好ましい。この場合、ステップＳ３１は省略され得る。
【0073】
一方、ステップＳ３１において、深度カメラ５の取得画像に第１マーカが含まれる場合（ステップＳ３１：ＹＥＳ）、位置推定部５３は、画像中に第１マーカ１６の複数の面が含まれるかについて判定を行う（ステップＳ３２）。画像に第１マーカ１６の複数の面が含まれる（２つ以上の面が写っている）場合（ステップＳ３２：ＹＥＳ）、角度が最も大きい面が選択される（ステップＳ３３）。
一方、画像に第１マーカ１６の複数の面が含まれない（１つの面しか写っていない、又は、１つの面以外は識別できない）場合（ステップＳ３２：ＮＯ）、ステップＳ３３はスキップされる。
なお、角度が最も大きいとは、深度カメラ５の視線方向に対する第１マーカ１６の面のなす角が最も大きいことを意味する。
一方、画像に第１マーカ１６の複数の面が含まれない（１つの面しか写っていない、又は、１つの面以外は識別できない）場合（ステップＳ３２：ＮＯ）、ステップＳ３３はスキップされる。
なお、角度が最も大きいとは、深度カメラ５の視線方向に対する第１マーカ１６の面のなす角が最も大きいことを意味する。
【0074】
次に、ステップＳ３４として、当該面が基準面かどうかが判定される。なお、ステップＳ３２において、画像に複数の面が含まれない（ステップＳ３２：ＮＯ）場合には、その面について、基準面への該当性が当ステップにおいて判定される。
基準面は、第１マーカ１６の複数ある面のうちの１つで、予め定められ、特定のパターン模様により識別される。基準面については、透過型表示装置４の表示部２０との位置・姿勢の関係が予め記憶部５７に記憶されている。一方、第１マーカの複数ある面のうち、基準面以外の面（他の面）については、それぞれ特定のパターン模様により個別に識別されるものの、表示部２０との位置・姿勢の関係は記憶されず、それぞれ基準面との位置・姿勢関係だけが記憶部５７に記憶される。
基準面は、第１マーカ１６の複数ある面のうちの１つで、予め定められ、特定のパターン模様により識別される。基準面については、透過型表示装置４の表示部２０との位置・姿勢の関係が予め記憶部５７に記憶されている。一方、第１マーカの複数ある面のうち、基準面以外の面（他の面）については、それぞれ特定のパターン模様により個別に識別されるものの、表示部２０との位置・姿勢の関係は記憶されず、それぞれ基準面との位置・姿勢関係だけが記憶部５７に記憶される。
【0075】
ステップＳ３３において選択された面、又は、１つだけ識別された面（ステップＳ３２：ＮＯ）を計算対象面と呼ぶとき、計算対象面が基準面でない場合（ステップＳ３４：ＮＯ）、位置推定部５３により、当該面（「他の面」）の位置・姿勢が算出される。上述のとおり、他の面は、表示部２０との相対的な位置関係に関するデータを有していないため、ここから直接には、表示部２０の位置・姿勢は算出されない。
【0076】
ステップＳ３６では、記憶部５７に予め記憶された他の面と基準面との相対的な位置・姿勢関係が参照され、他の面の位置・姿勢が、基準面の位置・姿勢に変換して算出される。
なお、計算対象面が基準面であるとき（ステップＳ３４：ＹＥＳ）、ステップＳ３５はスキップされ、ステップＳ３６が実行される。
なお、計算対象面が基準面であるとき（ステップＳ３４：ＹＥＳ）、ステップＳ３５はスキップされ、ステップＳ３６が実行される。
【0077】
次に、ステップＳ３７として、表示部２０の位置・姿勢が算出される。
基準面と表示部２０との位置・姿勢の相対的な関係は、予め記憶部５７に記憶されており、基準面の位置・姿勢が算出されると、その関係を参照することで、表示部２０の位置・姿勢が算出できる。
基準面と表示部２０との位置・姿勢の相対的な関係は、予め記憶部５７に記憶されており、基準面の位置・姿勢が算出されると、その関係を参照することで、表示部２０の位置・姿勢が算出できる。
【0078】
上記方法によれば、第１マーカ１６の各面のうち、表示部２０との相対的な位置関係については、基準面との関係で記憶されていればよく、他の面と表示部２０との相対的な位置関係は記憶される必要はない。計算対象面の位置・姿勢を、基準面を介して、表示部２０の位置・姿勢に関単に変換できる。
【0079】
上記構成では、透過型表示装置４との関係については、基準面だけが規定されればよいため、透過型表示装置４を他機種に交換するような場合であっても、プログラムの修正が最小限で済むという利点がある。
また、第１マーカ１６の基材３０は、任意の形状とすることが可能であるため、一般に透過型表示装置４よりもより単純な形状（例えば、正多面体等）とすることができる。第１マーカ１６の各面と透過型表示装置４の変換に係るデータを予め準備して記憶部５７に記憶させるより、透過型表示装置４との関係は基準面だけが有しており、他の面と基準面とは、より単純な変換式のみを有している形態の方が、データ量も少なく、処理も高速となりやすい。
また、第１マーカ１６の基材３０は、任意の形状とすることが可能であるため、一般に透過型表示装置４よりもより単純な形状（例えば、正多面体等）とすることができる。第１マーカ１６の各面と透過型表示装置４の変換に係るデータを予め準備して記憶部５７に記憶させるより、透過型表示装置４との関係は基準面だけが有しており、他の面と基準面とは、より単純な変換式のみを有している形態の方が、データ量も少なく、処理も高速となりやすい。
【0080】
上記のようにして、対象ワーク１１ａ、及び、眼１７の位置が算出され、第１マーカ１６の位置・姿勢から、表示部２０の位置・姿勢が算出される（図５：ステップＳ１６）。
【0081】
図５に戻り、次に、ステップＳ１７として、表示指示部５４によって眼１７と対象ワーク１１ａとを結ぶ直線方程式が算出される。なお、眼１７の位置は、典型的には、深度カメラ５の画像、すなわち、深度カメラ５の座標系により決定される。一方、対象ワーク１１ａの位置は、ある時刻におけるカメラ６の取得画像における位置（基準位置）をスタートとして、移動速度ベクトルを加味して、所定の時間経過後の位置（所定時刻における位置）として、リアルタイムで推定される。
なお、深度カメラ５、及び、カメラ６の座標系は、座標変換部５２により算出された座標系変換式により互いに変換、統一化される。所定の時刻における眼１７と対象ワーク１１ａとの位置関係から、直線方程式が算出され得る。
なお、深度カメラ５、及び、カメラ６の座標系は、座標変換部５２により算出された座標系変換式により互いに変換、統一化される。所定の時刻における眼１７と対象ワーク１１ａとの位置関係から、直線方程式が算出され得る。
【0082】
この直線方程式により算出される仮想線ＬＮは、いわば、作業者３が対象ワーク１１ａを視認する場合の視線と言える。この仮想線ＬＮは、対象ワーク１１ａ、及び、眼１７の位置の移動に伴ってリアルタイムで更新され得る。
次に、ステップＳ１８として、表示指示部５４によって、表示部２０の平面方程式が算出される。記憶部５７には、表示部２０の大きさが予め記憶されており、位置推定部５３により算出した位置・姿勢と併せて、平面方程式と、表示部２０の境界とが算出される。
次に、ステップＳ１８として、表示指示部５４によって、表示部２０の平面方程式が算出される。記憶部５７には、表示部２０の大きさが予め記憶されており、位置推定部５３により算出した位置・姿勢と併せて、平面方程式と、表示部２０の境界とが算出される。
【0083】
次に、表示指示部５４は、算出された表示部２０の平面方程式、その境界、及び、仮想線ＬＮの直線方程式から、平面方程式と直線方程式とが交点を有するかを判定する。
例えば、対象ワーク１１ａが、まだ領域Ｒ１内にあり、領域Ｒ２は未だ到達していない場合、算出される仮想線ＬＮと表示部２０の平面とは、交点を有さない場合がある（ステップＳ１９：ＮＯ）。この場合、作業者３が対象ワーク１１ａを見たとしても、その視線の範囲内には表示部２０が存在しないため、重畳表示を行う事はできない。その場合、再度、ステップＳ１６～ステップＳ１８までの手順が繰り返される。
例えば、対象ワーク１１ａが、まだ領域Ｒ１内にあり、領域Ｒ２は未だ到達していない場合、算出される仮想線ＬＮと表示部２０の平面とは、交点を有さない場合がある（ステップＳ１９：ＮＯ）。この場合、作業者３が対象ワーク１１ａを見たとしても、その視線の範囲内には表示部２０が存在しないため、重畳表示を行う事はできない。その場合、再度、ステップＳ１６～ステップＳ１８までの手順が繰り返される。
【0084】
一方で、領域Ｒ１内にあったワークが、時間経過とともに領域Ｒ２まで移動してきた場合、仮想線ＬＮと表示部２０の平面とは交点を有する（ステップＳ１９：ＹＥＳ）。このとき、作業者３は、表示部２０を介して対象ワーク１１ａを視認できる。
【0085】
表示指示部５４は、表示部２０と仮想線ＬＮとが交点を有する場合（ステップＳ１９：ＹＥＳ）、交点位置ｐｏｓ１を算出する（ステップＳ２０）。
次に、ステップＳ２１として、表示指示部５４は、交点位置ｐｏｓ１に基づき、指示マーカ２１の表示位置を決定し、表示部２０に指示マーカ２１を表示させる。交点位置と指示マーカ２１の表示位置の関係は、例えば、表示部２０の材質、及び、厚み等により、光の屈折の影響が十分に小さい場合には、交点位置に指示マーカを表示させるよう制御する。
次に、ステップＳ２１として、表示指示部５４は、交点位置ｐｏｓ１に基づき、指示マーカ２１の表示位置を決定し、表示部２０に指示マーカ２１を表示させる。交点位置と指示マーカ２１の表示位置の関係は、例えば、表示部２０の材質、及び、厚み等により、光の屈折の影響が十分に小さい場合には、交点位置に指示マーカを表示させるよう制御する。
【0086】
一方で、表示部２０の材質、及び、厚み等によっては、光の屈折の影響が無視できない場合には、予めこの関係が記憶部５７に記憶され、交点位置ｐｏｓ１を基準として、表示位置が調整される。また、指示マーカの形状についても、仮想線ＬＮと、表示部２０とのなす角等に基づき、変形させて表示させてもよい。
例えば、指示マーカ２１を対象ワーク１１ａの周囲を囲むような円として作業者３に看取させたい場合、なす角に基づき、表示部２０に表示させる図形を楕円とする方法等が挙げられる。
例えば、指示マーカ２１を対象ワーク１１ａの周囲を囲むような円として作業者３に看取させたい場合、なす角に基づき、表示部２０に表示させる図形を楕円とする方法等が挙げられる。
【0087】
上記作業支援システム１００によれば、プロジェクションマッピング技術を使った作業支援システムと比較して、指示マーカ２１が投影されたものではないため、作業者３の姿勢や位置にかかわらず、所望の位置に表示できる。また、ウェアラブル端末を用いないため、長時間の作業であっても、作業者へ負担が少ない。
また、移動可能に支持された透過型表示装置４を用いて指示マーカを表示するため、タブレット端末のように作業者自身がディスプレイ装置を把持する必要がないため、作業性に優れる。更に、透過型表示装置４を介して、指示マーカと、対象ワーク（の実物）とを両方確認できる点でより直感的な作業が可能となる。
また、移動可能に支持された透過型表示装置４を用いて指示マーカを表示するため、タブレット端末のように作業者自身がディスプレイ装置を把持する必要がないため、作業性に優れる。更に、透過型表示装置４を介して、指示マーカと、対象ワーク（の実物）とを両方確認できる点でより直感的な作業が可能となる。
【0088】
［第１マーカの変形例］
図７は、本発明の作業支援システムにおいて用いられる第１マーカの変形例の説明図である。図７（ａ）は、第１マーカ６００の正面図、（ｂ）は平面図、図（ｃ）は右側面図、（ｅ）は斜視図である。
第１マーカ６００は、六面体の側面のうちの１つ（面６１）を中心にこれと辺を共有して隣接する側面６２、６４、及び、天面６３を、共有する辺を軸として基準面である面６１側に所定の角度分、展開したような形態とした多面体基材６０と、それぞれの面に配置された互いに独立したパターン模様６１０、６２０、６３０、６４０を備える。
図７は、本発明の作業支援システムにおいて用いられる第１マーカの変形例の説明図である。図７（ａ）は、第１マーカ６００の正面図、（ｂ）は平面図、図（ｃ）は右側面図、（ｅ）は斜視図である。
第１マーカ６００は、六面体の側面のうちの１つ（面６１）を中心にこれと辺を共有して隣接する側面６２、６４、及び、天面６３を、共有する辺を軸として基準面である面６１側に所定の角度分、展開したような形態とした多面体基材６０と、それぞれの面に配置された互いに独立したパターン模様６１０、６２０、６３０、６４０を備える。
【0089】
第１マーカ６００は、図示されない底面６５側で、透過型表示装置４上に載置される。また、深度カメラ５側に、面６１を向けて載置される。多面体基材６０において、基準面である面６１に接する２つの側面６２、６４は、それぞれ、平面視で、面６１の延在方向に沿う基準線Ｌ１とのなす角α、βが０ｄｅｇを超えて９０ｄｅｇ未満となるように、面６１と共有する１辺を軸に面６１側に開かれている。
α、βの大きさは特に限定されず、深度カメラ５で画像を取得した際に、計算値の信頼性がより向上しやすい観点から、１０～８０ｄｅｇが好ましく、２０～７０ｄｅｇがより好ましく、３０～６０ｄｅｇが更に好ましい。
α、βの大きさは特に限定されず、深度カメラ５で画像を取得した際に、計算値の信頼性がより向上しやすい観点から、１０～８０ｄｅｇが好ましく、２０～７０ｄｅｇがより好ましく、３０～６０ｄｅｇが更に好ましい。
【0090】
また、天面６３も、側面視で面６１（基準面）の延在方向に沿う基準線Ｌ２とのなす角γが０ｄｅｇを超えて９０ｄｅｇ未満となるように、面６１と共有する１辺を軸に面６１側に開かれている。
γの大きさは特に限定されず、深度カメラ５で画像を取得した際に、計算値の信頼性がより向上しやすい観点から、１０～８０ｄｅｇが好ましく、２０～７０ｄｅｇがより好ましく、３０～６０ｄｅｇが更に好ましい。
なお、第１マーカ６００は、面６１を基準面としているが、基準面は側面６２，６４、及び、天面６３のいずれであってもよい。
γの大きさは特に限定されず、深度カメラ５で画像を取得した際に、計算値の信頼性がより向上しやすい観点から、１０～８０ｄｅｇが好ましく、２０～７０ｄｅｇがより好ましく、３０～６０ｄｅｇが更に好ましい。
なお、第１マーカ６００は、面６１を基準面としているが、基準面は側面６２，６４、及び、天面６３のいずれであってもよい。
【0091】
このような形状を有する第１マーカ６００によれば、基準面である面６１を深度カメラ５側にして（深度カメラ５に近い方向に置いて）撮像した際に、２つ以上の面が画像に収まりやすい。更に、それぞれの面には互いに、９０ｄｅｇ未満の角度をもって開かれているため、いずれか一方、又は、両方の面が、信頼性の高い計算値が取得しやすい角度になりやすい。すなわち、画像の法線（奥行き）方向に対して、パターン画像が、１０～８０ｄｅｇ（好ましくは、２０～７０ｄｅｇ、より好ましくは３０～６０ｄｅｇ）傾いた状態となりやすい。
上記第１マーカ６００を備える作業支援システム１００は、より精度よく透過型表示装置４の位置を推定できる。
上記第１マーカ６００を備える作業支援システム１００は、より精度よく透過型表示装置４の位置を推定できる。
【0092】
［作業支援システムの第２実施例］
図８は、本発明の作業支援システムの第２実施例の説明図である。図８（Ａ）は、作業支援システムの正面図、図８（Ｂ）は、平面図である。また、図９は作業支援システムのハードウェア構成図である。
図８は、本発明の作業支援システムの第２実施例の説明図である。図８（Ａ）は、作業支援システムの正面図、図８（Ｂ）は、平面図である。また、図９は作業支援システムのハードウェア構成図である。
【0093】
作業支援システム２００は、ワーク支持台７０上の所定の位置に載置された定型の対象ワーク１１における作業箇所の指示を行うために使用される。
作業支援システム２００は、カメラ６を有さない。対象ワーク１１は、定型であり（例えば、プリント基板）ワーク支持台７０上の所定の箇所に固定される。そのため、対象ワーク１１の位置は予め記憶デバイス４２に記憶される。
作業支援システム２００は、カメラ６を有さない。対象ワーク１１は、定型であり（例えば、プリント基板）ワーク支持台７０上の所定の箇所に固定される。そのため、対象ワーク１１の位置は予め記憶デバイス４２に記憶される。
【0094】
その他の構成は第１実施例と同様である。指示マーカ２１a、２１ｂ、２１ｃは、それぞれ、対象ワーク１１の特定箇所に向けて重畳して表示されるよう、表示位置が調整される。
表示位置は、深度カメラ５の画像から計算される眼１７の位置、透過型表示装置（表示部２０）の位置・姿勢、及び、対象ワーク１１における（予め記憶された）特定箇所の位置をもとに決定される。
表示位置は、深度カメラ５の画像から計算される眼１７の位置、透過型表示装置（表示部２０）の位置・姿勢、及び、対象ワーク１１における（予め記憶された）特定箇所の位置をもとに決定される。
【0095】
すなわち、眼１７の位置と、予め記憶された対象ワーク１１上の特定箇所の位置とから、直線方程式が算出される。これと、表示部２０の平面方程式との交点位置に基づき、指示マーカ２１ａ、２１ｂ、２１ｃの表示位置が調整される。
【0096】
作業支援システム２００によれば、静止した対象ワーク１１に対して、位置検出装置として、１つの深度カメラ５を用いて、所望の位置に指示マーカ２１ａ、２１ｂ、２１ｃを重畳表示させることができる。作業支援システム２００は、例えば、対象ワーク１１をプリント基板とする手はんだ付け工程等において、作業者３に対して、作業手順やプリント基板上の作業位置等を指示、伝達するために好ましく使用できる。
【符号の説明】
【0097】
１ ベース、２ ワーク搬送機構、３ 作業者、４ 透過型表示装置、５ 深度カメラ、６ カメラ、１０ ワーク、１１ 対象ワーク、１２ アーム、１３ アーム、１４ 固定アーム、１５ 搬送方向、１６ 第１マーカ、１７ 眼、２０ 表示部、２１ 指示マーカ、２３ 搬送面、３０ 基材、３１ 側面、３２ 天面、３３ 側面、４０ 制御装置、４１ プロセッサ、４２ 記憶デバイス、４３ 入出力インターフェース、５０ 制御部、５１ 算出部、５２ 座標変換部、５３ 位置推定部、５４ 表示指示部、５６ 画像解析部、５７ 記憶部、６０ 多面体基材、６１ 面、６２ 側面、６３ 天面、６４ 側面、６５ 底面、７０ ワーク支持台、１００ 作業支援システム、２００ 作業支援システム、６００ 第１マーカ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】