(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023178548
(43)【公開日】2023-12-18
(54)【発明の名称】作業支援装置、作業支援方法および作業支援プログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20231211BHJP
G06F 3/04845 20220101ALI20231211BHJP
G06T 19/00 20110101ALI20231211BHJP
【ＦＩ】
G06F3/01 510
G06F3/01 570
G06F3/04845
G06T19/00 600
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2022091292
(22)【出願日】2022-06-06
(71)【出願人】
【識別番号】000005234
【氏名又は名称】富士電機株式会社
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】城戸 武志
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050AA03
5B050BA06
5B050BA09
5B050BA12
5B050BA13
5B050CA07
5B050DA01
5B050EA07
5B050EA19
5B050EA26
5B050FA02
5E555AA02
5E555AA63
5E555AA64
5E555AA76
5E555BA38
5E555BB38
5E555BC08
5E555BC17
5E555BE17
5E555CA42
5E555CA44
5E555CB33
5E555CB66
5E555CC23
5E555DA08
5E555DB20
5E555DC09
5E555DC21
5E555DC25
5E555DD06
5E555EA05
5E555EA07
5E555EA09
5E555FA00
(57)【要約】
【課題】作業支援装置においては、作業支援のための仮想オブジェクトを操作しやすいことが好ましい。
【解決手段】リアルタイムの現実画像であって３次元空間の現実画像に仮想オブジェクトを重畳表示する作業支援装置であって、現実画像における、操作者の身体の一部の位置および大きさを検知する検知部と、仮想オブジェクトを、検知部により検知された大きさに応じた大きさに調整する調整部と、仮想オブジェクトを現実画像に重畳表示する表示部と、を備え、表示部は、検知部により検知された位置に調整部により調整された大きさで仮想オブジェクトを重畳表示する、作業支援装置を提供する。
【選択図】図２
【解決手段】リアルタイムの現実画像であって３次元空間の現実画像に仮想オブジェクトを重畳表示する作業支援装置であって、現実画像における、操作者の身体の一部の位置および大きさを検知する検知部と、仮想オブジェクトを、検知部により検知された大きさに応じた大きさに調整する調整部と、仮想オブジェクトを現実画像に重畳表示する表示部と、を備え、表示部は、検知部により検知された位置に調整部により調整された大きさで仮想オブジェクトを重畳表示する、作業支援装置を提供する。
【選択図】図２
【特許請求の範囲】
【請求項1】
リアルタイムの現実画像であって３次元空間の現実画像に仮想オブジェクトを重畳表示する作業支援装置であって、
前記現実画像における、操作者の身体の一部の位置および大きさを検知する検知部と、
前記仮想オブジェクトを、前記検知部により検知された前記大きさに応じた大きさに調整する調整部と、
前記仮想オブジェクトを前記現実画像に重畳表示する表示部と、
を備え、
前記表示部は、前記検知部により検知された前記位置に、前記調整部により調整された前記大きさで、前記仮想オブジェクトを重畳表示する、
作業支援装置。
前記現実画像における、操作者の身体の一部の位置および大きさを検知する検知部と、
前記仮想オブジェクトを、前記検知部により検知された前記大きさに応じた大きさに調整する調整部と、
前記仮想オブジェクトを前記現実画像に重畳表示する表示部と、
を備え、
前記表示部は、前記検知部により検知された前記位置に、前記調整部により調整された前記大きさで、前記仮想オブジェクトを重畳表示する、
作業支援装置。
【請求項2】
前記検知部は、前記操作者の身体の一部の向きをさらに検知し、
前記調整部は、前記仮想オブジェクトを、前記検知部により検知された前記向きに応じた向きにさらに調整し、
前記表示部は、前記調整部により調整された前記向きに、前記仮想オブジェクトを重畳表示する、
請求項１に記載の作業支援装置。
前記調整部は、前記仮想オブジェクトを、前記検知部により検知された前記向きに応じた向きにさらに調整し、
前記表示部は、前記調整部により調整された前記向きに、前記仮想オブジェクトを重畳表示する、
請求項１に記載の作業支援装置。
【請求項3】
前記検知部は、前記操作者の手の位置および大きさを検知し、
前記調整部は、前記仮想オブジェクトを、前記操作者の手の前記大きさに応じた大きさに調整し、
前記表示部は、前記検知部により検知された前記操作者の手の前記位置に、前記調整部により調整された前記大きさで、前記仮想オブジェクトを重畳表示する、
請求項１または２に記載の作業支援装置。
前記調整部は、前記仮想オブジェクトを、前記操作者の手の前記大きさに応じた大きさに調整し、
前記表示部は、前記検知部により検知された前記操作者の手の前記位置に、前記調整部により調整された前記大きさで、前記仮想オブジェクトを重畳表示する、
請求項１または２に記載の作業支援装置。
【請求項4】
前記検知部は、前記操作者の手における掌または甲を検知し、
前記検知部により、前記掌が検知された場合、前記表示部は一の前記仮想オブジェクトを重畳表示し、前記甲が検知された場合、前記表示部は他の前記仮想オブジェクトを重畳表示する、
請求項３に記載の作業支援装置。
前記検知部により、前記掌が検知された場合、前記表示部は一の前記仮想オブジェクトを重畳表示し、前記甲が検知された場合、前記表示部は他の前記仮想オブジェクトを重畳表示する、
請求項３に記載の作業支援装置。
【請求項5】
前記検知部は、前記操作者の身体の状態を示すジェスチャをさらに検知し、
前記調整部は、前記検知部により検知された前記ジェスチャにさらに基づいて、前記仮想オブジェクトの前記大きさをさらに調整する、
請求項３に記載の作業支援装置。
前記調整部は、前記検知部により検知された前記ジェスチャにさらに基づいて、前記仮想オブジェクトの前記大きさをさらに調整する、
請求項３に記載の作業支援装置。
【請求項6】
前記検知部は、前記操作者の一方の手の位置および大きさを検知し、前記操作者の他方の手の状態を示す前記ジェスチャを検知する、請求項５に記載の作業支援装置。
【請求項7】
前記表示部は、前記操作者が前記操作者の手の前記位置を視認する方向において、前記位置から前記操作者側に予め定められた距離、離隔した位置に、前記仮想オブジェクトを表示する、請求項３に記載の作業支援装置。
【請求項8】
前記検知部は、前記操作者の手の凹凸情報をさらに検知し、
前記調整部は、前記検知部により検知された前記凹凸情報に基づいて、前記操作者が前記操作者の手の前記位置を視認する方向における、前記仮想オブジェクトを表示する位置を調整し、
前記表示部は、前記調整部により調整された、前記方向における前記位置に、前記仮想オブジェクトを重畳表示する、
請求項３に記載の作業支援装置。
前記調整部は、前記検知部により検知された前記凹凸情報に基づいて、前記操作者が前記操作者の手の前記位置を視認する方向における、前記仮想オブジェクトを表示する位置を調整し、
前記表示部は、前記調整部により調整された、前記方向における前記位置に、前記仮想オブジェクトを重畳表示する、
請求項３に記載の作業支援装置。
【請求項9】
前記検知部は、前記操作者の手における掌または甲を検知し、
前記検知部により、前記掌が検知された場合、前記調整部は、前記仮想オブジェクトを表示する位置を、前記方向における第１の前記位置に調整し、前記甲が検知された場合、前記調整部は、前記仮想オブジェクトを表示する位置を、第１の前記位置とは異なる第２の前記位置に調整する、
請求項８に記載の作業支援装置。
前記検知部により、前記掌が検知された場合、前記調整部は、前記仮想オブジェクトを表示する位置を、前記方向における第１の前記位置に調整し、前記甲が検知された場合、前記調整部は、前記仮想オブジェクトを表示する位置を、第１の前記位置とは異なる第２の前記位置に調整する、
請求項８に記載の作業支援装置。
【請求項10】
前記検知部は、前記操作者の身体の状態を示すジェスチャをさらに検知し、
前記調整部は、前記検知部により検知された前記ジェスチャにさらに基づいて、前記方向における、前記仮想オブジェクトを表示する位置をさらに調整する、
請求項８に記載の作業支援装置。
前記調整部は、前記検知部により検知された前記ジェスチャにさらに基づいて、前記方向における、前記仮想オブジェクトを表示する位置をさらに調整する、
請求項８に記載の作業支援装置。
【請求項11】
前記検知部は、前記操作者の一方の手の位置および大きさを検知し、前記操作者の他方の手の状態を示す前記ジェスチャを検知する、請求項１０に記載の作業支援装置。
【請求項12】
前記仮想オブジェクトには、前記操作者により操作されるボタンが表示され、
前記検知部は、前記操作者の手における指の位置をさらに検知し、
前記調整部は、前記検知部により検知された前記操作者の手における指の前記位置に基づいて、前記ボタンの位置を調整し、
前記表示部は、前記調整部により前記ボタンの前記位置が調整された前記仮想オブジェクトを、重畳表示する、
請求項３に記載の作業支援装置。
前記検知部は、前記操作者の手における指の位置をさらに検知し、
前記調整部は、前記検知部により検知された前記操作者の手における指の前記位置に基づいて、前記ボタンの位置を調整し、
前記表示部は、前記調整部により前記ボタンの前記位置が調整された前記仮想オブジェクトを、重畳表示する、
請求項３に記載の作業支援装置。
【請求項13】
前記調整部は、前記検知部により検知された前記操作者の手における指の前記位置に、前記ボタンの位置を調整する、請求項１２に記載の作業支援装置。
【請求項14】
前記検知部は、前記操作者の手における指の動作に伴う、前記操作者の手における指の位置の変化を取得し、
前記調整部は、前記検知部により取得された、前記操作者の手における指の位置の前記変化に応じて、前記ボタンの位置を調整する、
請求項１２に記載の作業支援装置。
前記調整部は、前記検知部により取得された、前記操作者の手における指の位置の前記変化に応じて、前記ボタンの位置を調整する、
請求項１２に記載の作業支援装置。
【請求項15】
前記検知部は、前記操作者の手の指における関節の位置をさらに検知し、
前記調整部は、前記検知部により検知された前記操作者の手の指における前記関節の位置に基づいて、前記ボタンの位置を調整する、
請求項１２に記載の作業支援装置。
前記調整部は、前記検知部により検知された前記操作者の手の指における前記関節の位置に基づいて、前記ボタンの位置を調整する、
請求項１２に記載の作業支援装置。
【請求項16】
前記検知部は、前記操作者の手首の位置をさらに検知し、
前記調整部は、前記仮想オブジェクトの基準位置を、前記検知部により検知された前記操作者の手首の前記位置に調整する、
請求項３に記載の作業支援装置。
前記調整部は、前記仮想オブジェクトの基準位置を、前記検知部により検知された前記操作者の手首の前記位置に調整する、
請求項３に記載の作業支援装置。
【請求項17】
リアルタイムの現実画像であって３次元空間の現実画像に仮想オブジェクトを重畳表示する作業支援方法であって、
検知部が、前記現実画像における、操作者の身体の一部の位置および大きさを検知する検知ステップと、
調整部が、前記仮想オブジェクトを、前記検知ステップにおいて検知された前記大きさに応じた大きさに調整する調整ステップと、
表示部が、前記仮想オブジェクトを前記現実画像に重畳表示する表示ステップと、
を備え、
前記表示ステップは、前記表示部が、前記検知ステップにおいて検知された前記位置に、前記調整ステップにおいて調整された前記大きさで、前記仮想オブジェクトを重畳表示するステップである、
作業支援方法。
検知部が、前記現実画像における、操作者の身体の一部の位置および大きさを検知する検知ステップと、
調整部が、前記仮想オブジェクトを、前記検知ステップにおいて検知された前記大きさに応じた大きさに調整する調整ステップと、
表示部が、前記仮想オブジェクトを前記現実画像に重畳表示する表示ステップと、
を備え、
前記表示ステップは、前記表示部が、前記検知ステップにおいて検知された前記位置に、前記調整ステップにおいて調整された前記大きさで、前記仮想オブジェクトを重畳表示するステップである、
作業支援方法。
【請求項18】
コンピュータを、請求項１または２に記載の作業支援装置として機能させるための作業支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業支援装置、作業支援方法および作業支援プログラムに関する。
【背景技術】
【0002】
特許文献１には、「・・・映像表示装置において、処理負荷をあまりかけずに、操作しやすく、ユーザの意思に応じて操作領域が定まるようにする。」と記載されている（要約書）。
特許文献２には、「操作性が良好で、操作手法が分かり易いアイコン操作装置を提供する。」と記載されている（要約書）。
特許文献３には、「指示装置による操作入力を最小限に低減しあるいは完全に省略する。」と記載されている（要約書）。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２０１１－８１５０６号公報
［特許文献２］ 特開２０１４－６７３８８号公報
［特許文献３］ 特開２００５－４０６１３号公報
特許文献２には、「操作性が良好で、操作手法が分かり易いアイコン操作装置を提供する。」と記載されている（要約書）。
特許文献３には、「指示装置による操作入力を最小限に低減しあるいは完全に省略する。」と記載されている（要約書）。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２０１１－８１５０６号公報
［特許文献２］ 特開２０１４－６７３８８号公報
［特許文献３］ 特開２００５－４０６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【0003】
作業支援装置においては、作業支援のための仮想オブジェクトを操作しやすいことが好ましい。
【課題を解決するための手段】
【0004】
本発明の第１の態様においては、作業支援装置を提供する。作業支援装置は、リアルタイムの現実画像であって３次元空間の現実画像に仮想オブジェクトを重畳表示する。作業支援装置は、現実画像における、操作者の身体の一部の位置および大きさを検知する検知部と、仮想オブジェクトを、検知部により検知された大きさに応じた大きさに調整する調整部と、仮想オブジェクトを現実画像に重畳表示する表示部とを備える。表示部は、検知部により検知された位置に、調整部により調整された大きさで、仮想オブジェクトを重畳表示する。
【0005】
検知部は、操作者の身体の一部の向きをさらに検知してよい。調整部は、仮想オブジェクトを、検知部により検知された向きに応じた向きにさらに調整してよい。表示部は、調整部により調整された向きに、仮想オブジェクトを重畳表示してよい。
【0006】
検知部は、操作者の手の位置および大きさを検知してよい。調整部は、仮想オブジェクトを、操作者の手の大きさに応じた大きさに調整してよい。表示部は、検知部により検知された操作者の手の位置に、調整部により調整された大きさで、仮想オブジェクトを重畳表示してよい。
【0007】
検知部は、操作者の手における掌または甲を検知してよい。検知部により、掌が検知された場合、表示部は一の仮想オブジェクトを重畳表示し、甲が検知された場合、表示部は他の仮想オブジェクトを重畳表示してよい。
【0008】
検知部は、操作者の身体の状態を示すジェスチャをさらに検知してよい。調整部は、検知部により検知されたジェスチャにさらに基づいて、仮想オブジェクトの大きさをさらに調整してよい。
【0009】
検知部は、操作者の一方の手の位置および大きさを検知し、操作者の他方の手の状態を示すジェスチャを検知してよい。
【0010】
表示部は、操作者が操作者の手の位置を視認する方向において、位置から操作者側に予め定められた距離、離隔した位置に、仮想オブジェクトを表示してよい。
【0011】
検知部は、操作者の手の凹凸情報をさらに検知してよい。調整部は、検知部により検知された凹凸情報に基づいて、操作者が操作者の手の位置を視認する方向における、仮想オブジェクトを表示する位置を調整してよい。表示部は、調整部により調整された、方向における位置に、仮想オブジェクトを重畳表示してよい。
【0012】
検知部は、操作者の手における掌または甲を検知してよい。検知部により、掌が検知された場合、調整部は、仮想オブジェクトを表示する位置を、方向における第１の位置に調整してよく、甲が検知された場合、調整部は、仮想オブジェクトを表示する位置を、第１の位置とは異なる第２の位置に調整してよい。
【0013】
検知部は、操作者の身体の状態を示すジェスチャをさらに検知してよい。調整部は、検知部により検知されたジェスチャにさらに基づいて、方向における、仮想オブジェクトを表示する位置をさらに調整してよい。
【0014】
検知部は、操作者の一方の手の位置および大きさを検知し、操作者の他方の手の状態を示すジェスチャを検知してよい。
【0015】
仮想オブジェクトには、操作者により操作されるボタンが表示されてよい。検知部は、操作者の手の指の位置をさらに検知してよい。調整部は、検知部により検知された操作者の手の指の位置に基づいて、ボタンの位置を調整してよい。表示部は、調整部によりボタンの位置が調整された仮想オブジェクトを、重畳表示してよい。
【0016】
調整部は、検知部により検知された操作者の手の指の位置に、ボタンの位置を調整してよい。
【0017】
検知部は、操作者の手の指の動作に伴う、操作者の手の指の位置の変化を取得してよい。調整部は、検知部により取得された、操作者の手の指の位置の変化に応じて、ボタンの位置を調整してよい。
【0018】
検知部は、操作者の手の指における関節の位置をさらに検知してよい。調整部は、検知部により検知された操作者の手の指における関節の位置に基づいて、ボタンの位置を調整してよい。
【0019】
検知部は、操作者の手首の位置をさらに検知してよい。調整部は、仮想オブジェクトの基準位置を、検知部により検知された操作者の手首の位置に調整してよい。
【0020】
本発明の第２の態様においては、作業支援方法を提供する。作業支援方法は、リアルタイムの現実画像であって３次元空間の現実画像に仮想オブジェクトを重畳表示する。作業支援方法は、検知部が、現実画像における、操作者の身体の一部の位置および大きさを検知する検知ステップと、調整部が、仮想オブジェクトを、検知ステップにおいて検知された大きさに応じた大きさに調整する調整ステップと、表示部が、仮想オブジェクトを現実画像に重畳表示する表示ステップとを備える。表示ステップは、表示部が、検知ステップにおいて検知された位置に、調整ステップにおいて調整された大きさで、仮想オブジェクトを重畳表示するステップである。
【0021】
本発明の第３の態様においては、作業支援プログラムを提供する。作業支援プログラムは、コンピュータを作業支援装置として機能させる。
【0022】
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0023】
【図1】本発明の一つの実施形態に係る作業環境２００の一例を示す図である。
【図3】本発明の一つの実施形態に係る作業支援装置１００の一例を示すブロック図である。
【図4】比較例の作業支援装置３００により重畳表示される仮想オブジェクト１１２を示す図である。
【図5】現実画像１０における操作者９０の手９４の一例を示す図である。
【図6】仮想オブジェクト１２の一例を示す図である。
【図9】位置Ｐｑと位置Ｐｕとの配置を示す他の例を示す図である。
【図11】本発明の一つの実施形態に係る作業支援方法の一例を示すフローチャートである。
【図12】本発明の一つの実施形態に係る作業支援装置１００が全体的または部分的に具現化されてよいコンピュータ２２００の一例を示す図である。
【発明を実施するための形態】
【0024】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0025】
図１は、本発明の一つの実施形態に係る作業環境２００の一例を示す図である。作業環境２００は、例えば工場等における部屋である。本例において、作業環境２００には設備１１０が配置されている。本例においては、操作者９０が作業環境２００において設備１１０を操作している。
【0026】
作業支援装置１００は、設備１１０に対する操作者９０の操作を支援する装置である。本例において、作業支援装置１００は操作者９０に装着されるヘッドマウントディスプレイ（ＨＭＤ）方式のウェアラブル端末である。作業支援装置１００が当該ウェアラブル端末である場合、当該ヘッドマウントディスプレイ（ＨＭＤ）には現実画像１０（後述）が表示される。現実画像１０（後述）は、リアルタイムの画像であり、且つ、３次元空間の画像である。操作者９０は、現実画像１０（後述）を視認しながら設備１１０を操作する。
【0027】
マーカ１２０および作業支援情報１３０は、現実画像１０（後述）に表示される。マーカ１２０および作業支援情報１３０は、現実画像１０（後述）における設備１１０の位置に表示されてよい。作業支援情報１３０は、現実画像１０（後述）におけるマーカ１２０の位置を基準とする、予め定められた位置に表示されてよい。作業支援情報１３０は、設備１１０に対する操作者９０の操作を支援する情報である。作業支援情報１３０は、例えば設備１１０に対する操作の順番等の情報である。操作者９０の身体９２および手９４については、後述する。
【0028】
図２は、作業支援装置１００（図１参照）が表示する現実画像１０の一例を示す図である。現実画像１０には、仮想オブジェクト１２が重畳表示される。本例の仮想オブジェクト１２は、操作者９０（図１参照）が操作するＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）である。
【0029】
現実画像１０は、操作者９０（図１参照）が実際に視認している画像であってよい。現実画像１０が当該画像である場合、当該画像に仮想オブジェクト１２が重畳表示されてよい。現実画像１０は、撮像部６０（後述）により撮像された撮像画像であってもよい。現実画像１０が当該撮像画像である場合、現実画像１０は、当該撮像画像に仮想オブジェクト１２が重畳表示された合成画像であってよい。
【0030】
本例において、仮想オブジェクト１２は、スマートフォンの形状を模した形状で表示されている。本例において、仮想オブジェクト１２は、操作者９０（図１参照）の一方の手９４－１の掌９８（後述）の上方に表示されている。仮想オブジェクト１２には、ボタン１４が表示されてよい。本例において、ボタン１４は、操作者９０の他方の手９４－２の指９６で操作されている。手９４とは、操作者９０の身体９２における、手首９５よりも指９６側を指す。
【0031】
図３は、本発明の一つの実施形態に係る作業支援装置１００の一例を示すブロック図である。作業支援装置１００は、検知部６２、調整部６４および表示部６６を備える。作業支援装置１００は、撮像部６０、制御部６３および記憶部６８を備えてよい。
【0032】
作業支援装置１００は、コンピュータにより実現されてよい。制御部６３は、当該コンピュータのＣＰＵであってよい。制御部６３、検知部６２および調整部６４が、一つの当該ＣＰＵであってもよい。作業支援装置１００がコンピュータにより実現される場合、当該コンピュータには、当該コンピュータを作業支援装置１００として機能させるための処理プログラムがインストールされていてよく、後述する作業支援方法を実行させるため処理プログラムがインストールされていてもよい。
【0033】
検知部６２は、現実画像１０（図２参照）における、操作者９０の身体９２（図１参照）の一部の位置および大きさを検知する。検知部６２は、現実画像１０における、操作者９０の手９４の位置および大きさを検知してよい。検知部６２は、操作者９０の身体９２の動作を検知してよい。検知部６２には、身体９２の動作を検知する加速度センサが含まれてよい。
【0034】
調整部６４は、検知部６２により検知された身体９２の一部の大きさに応じた大きさに、仮想オブジェクト１２の大きさを調整する。調整部６４は、検知部６２により検知された手９４の大きさに応じた大きさに、仮想オブジェクト１２の大きさを調整してよい。
【0035】
表示部６６は、検知部６２により検知された身体９２の一部の位置に、調整部６４により調整された大きさで仮想オブジェクト１２を重畳表示する。これにより、操作者９０は仮想オブジェクト１２を操作しやすくなる。操作者９０は、仮想オブジェクト１２を操作する場合に、身体９２の一部を誤って設備１１０に衝突させにくくなる。
【0036】
表示部６６は、検知部６２により検知された手９４の位置に、調整部６４により調整された大きさで仮想オブジェクト１２を重畳表示してよい。これにより、図２の例では、操作者９０はスマートフォンを操作する感覚で仮想オブジェクト１２を操作できる。図２の例では、操作者９０が仮想オブジェクト１２を操作する場合、指９６が手９４－１の掌９８（後述）に当たり得る。このため、操作者９０の腕等が疲労しにくい。
【0037】
撮像部６０は、現実画像１０（図２参照）を撮像してよい。現実画像１０が、操作者９０（図１）が実際に視認している画像ではない場合、撮像部６０は現実画像１０を撮像してよく、表示部６６は撮像部６０により撮像された現実画像１０を表示してよい。撮像部６０は、ＣＣＤ等の撮像素子を有するカメラであってよい。現実画像１０が、操作者９０（図１）が実際に視認している画像である場合、撮像部６０は現実画像１０を撮像しなくてよい。
【0038】
記憶部６８は、作業支援情報１３０（図１参照）およびジェスチャ情報（後述）を記憶してよい。記憶部６８については、後述する。
【0039】
表示部６６は、操作者９０（図１参照）に対して、仮想オブジェクト１２を含む３次元空間の現実画像１０（図２参照）を提供する。表示部６６は、液晶表示装置、有機ＥＬ表示装置、ホログラム表示装置、または、その他の表示装置であってよい。制御部６３は、現実画像１０を表示するように表示部６６を制御する。制御部６３は、表示部６６に表示させる現実画像１０のデータを出力してよい。
【0040】
作業支援装置１００の各ブロックは、ヘッドマウントディスプレイ（ＨＭＤ）等の単一の筐体に収容されてよく、複数の筐体に分散されて収容されてもよい。作業支援装置１００の各ブロックが複数の筐体に分散されて収容される場合、各ブロックは無線により通信してよい。
【0041】
図４は、比較例の作業支援装置３００により重畳表示される仮想オブジェクト１１２を示す図である。作業支援装置３００においては、仮想オブジェクト１１２は、現実画像１０におけるマーカ１２０の位置を基準とする、設備１１０の予め定められた位置に表示される。作業支援装置３００は、操作者９０の身体９２の一部の位置に仮想オブジェクト１１２を表示しない。作業支援装置３００は、操作者９０の身体９２の一部の大きさに応じた大きさで、仮想オブジェクト１１２を表示しない。このため、操作者９０は、仮想オブジェクト１１２を操作する場合に身体９２の一部を誤って設備１１０に衝突させてしまい得る。操作者９０は、作業環境２００における空間に表示されている仮想オブジェクト１１２を操作するので、操作者９０の腕等が疲労しやすい。
【0042】
図５は、現実画像１０における操作者９０の手９４の一例を示す図である。撮像部６０（図３参照）は、操作者９０の身体９２の一部を撮像してよい。本例においては、撮像部６０は操作者９０の手９４を撮像する。表示部６６（図３参照）は、撮像部６０により撮像された身体９２の一部を、現実画像１０に表示してよい。
【0043】
検知部６２（図３参照）は、操作者９０の手９４における掌９８または甲９９を検知してよい。検知部６２は、撮像部６０により撮像された手９４の画像に基づいて、当該手９４における掌９８および甲９９のいずれが、操作者９０が視認し得る側に向いているかを判定してよい。検知部６２は、掌９８および甲９９のいずれが、操作者９０が視認し得る側に向いているかを判定することにより、掌９８または甲９９を検知してよい。本例においては、検知部６２は、掌９８が操作者９０が視認し得る側に向いていると判定する。
【0044】
現実画像１０における手９４の手首９５の位置を位置Ｐｓとし、親指９６－１の先端位置を位置Ｐａ４とし、人差し指９６－２の先端位置を位置Ｐｂ４とし、中指９６－３の先端位置を位置Ｐｃ４とし、薬指９６－４の先端位置を位置Ｐｄ４とし、小指９６－５の先端位置を位置Ｐｅ４とする。手９４における位置Ｐｓと位置Ｐａ４との間の複数の位置を位置Ｐａ１～位置Ｐａ３とし、位置Ｐｓと位置Ｐｂ４との間の複数の位置を位置Ｐｂ１～位置Ｐｂ３とし、位置Ｐｓと位置Ｐｃ４との間の複数の位置を位置Ｐｃ１～位置Ｐｃ３とし、位置Ｐｓと位置Ｐｄ４との間の複数の位置を位置Ｐｄ１～位置Ｐｄ３とし、位置Ｐｓと位置Ｐｅ４との間の複数の位置を位置Ｐｅ１～位置Ｐｅ３とする。
【0045】
位置Ｐａ１～位置Ｐａ３、位置Ｐｂ１～位置Ｐｂ３、位置Ｐｃ１～位置Ｐｃ３、位置Ｐｄ１～位置Ｐｄ３および位置Ｐｅ１～位置Ｐｅ３は、関節９１の位置であってよい。本例においては、位置Ｐａ１～位置Ｐａ３は親指９６－１における関節９１の位置であり、位置Ｐｂ１～位置Ｐｂ３は人差し指９６－２における関節９１の位置であり、位置Ｐｃ１～位置Ｐｃ３は中指９６－３における関節９１の位置であり、位置Ｐｄ１～位置Ｐｄ３は薬指９６－４における関節９１の位置であり、位置Ｐｅ１～位置Ｐｅ３は小指９６－５における関節９１の位置である。
【0046】
検知部６２（図３参照）は、操作者９０の身体９２の一部における複数の位置を検知してよい。検知部６２は、操作者９０の手９４における複数の位置を検知してよい。検知部６２は、操作者９０の手９４における指９６の位置を検知してよい。指９６の位置とは、位置Ｐａ４、位置Ｐｂ４、位置Ｐｃ４、位置Ｐｄ４および位置Ｐｅ４の少なくとも一つを指してよく、位置Ｐａ１～位置Ｐａ３、位置Ｐｂ１～位置Ｐｂ３、位置Ｐｃ１～位置Ｐｃ３、位置Ｐｄ１～位置Ｐｄ３および位置Ｐｅ１～位置Ｐｅ３の少なくとも一つを指してもよい。
【0047】
調整部６４（図３参照）は、検知部６２（図３参照）により検知された指９６の位置に基づいて、ボタン１４（図２参照）の位置を調整してよい。調整部６４は、他方の手９４－２の指９６（図２参照）でボタン１４を操作する場合に、他方の手９４－２の指９６が一方の手９４－１の指９６に当たる位置に、ボタン１４の位置を調整してよい。調整部６４は、指９６の当該位置にボタン１４の位置を調整してよい。表示部６６（図３参照）は、調整部６４によりボタン１４の位置が調整された仮想オブジェクト１２を、現実画像１０に重畳表示してよい。これにより、操作者９０が仮想オブジェクト１２を操作する場合、他方の手９４－２の指９６が一方の手９４－１の指９６に当たり得る。このため、操作者９０の腕等が疲労しにくい。
【0048】
検知部６２（図３参照）は、操作者９０の手９４の指９６における関節９１の位置をさらに検知してよい。本例においては、検知部６２は、位置Ｐａ１～位置Ｐａ３、位置Ｐｂ１～位置Ｐｂ３、位置Ｐｃ１～位置Ｐｃ３、位置Ｐｄ１～位置Ｐｄ３および位置Ｐｅ１～位置Ｐｅ３の少なくとも一つを検知する。調整部６４（図３参照）は、検知部６２により検知された関節９１の位置に基づいて、ボタン１４（図２参照）の位置を調整してよい。調整部６４は、関節９１の位置にボタン１４の位置を調整してよく、指９６における関節９１以外の位置にボタン１４の位置を調整してもよい。関節９１以外の当該位置とは、例えば図５における位置Ｐｂ２と位置Ｐｂ３との間である。
【0049】
検知部６２（図３参照）は、手９４における第１方向ｄｒ１の距離ｄｗと、第２方向ｄｒ２の距離ｄｈとに基づいて、手９４の大きさを検知してよい。第２方向ｄｒ２は、第１方向ｄｒ１に交差する方向である。本例において、第１方向ｄｒ１は位置Ｐｓから位置Ｐｃ４への方向であり、第２方向ｄｒ２は位置Ｐｅ１から位置Ｐａ４への方向である。本例において、距離ｄｗは位置Ｐｓと位置Ｐｃ４との間の距離であり、距離ｄｈは位置Ｐｅ１と位置Ｐａ４との間の距離である。
【0050】
検知部６２（図３参照）は、手９４における複数の位置に基づいて、手９４の大きさを検知してよい。本例においては、検知部６２は位置Ｐｓ、位置Ｐａ４、位置Ｐｃ４および位置Ｐｅ１に基づいて手９４の大きさを検知する。本例において、検知部６２は位置Ｐｓと位置Ｐｃ４とに基づいて距離ｄｗを取得し、位置Ｐｅ１と位置Ｐａ４とに基づいて距離ｄｈを取得する。
【0051】
図６は、仮想オブジェクト１２の一例を示す図である。仮想オブジェクト１２における第１方向ｄｖ１の幅を幅Ｗとし、第２方向ｄｖ２の高さを高さｈとする。第２方向ｄｖ２は、第１方向ｄｖ１に交差する方向である。本例においては、第２方向ｄｖ２は第１方向ｄｒ１に直交する方向である。
【0052】
幅Ｗおよび高さｈは、予め定められていてよい。幅Ｗおよび高さｈは、人間の手９４の標準的な大きさに基づいて定められていてよい。
【0053】
仮想オブジェクト１２には、基準位置Ｐｖが予め定められていてよい。検知部６２（図３参照）は、操作者９０の手首９５の位置Ｐｓ（図５参照）を検知してよい。調整部６４（図３参照）は、仮想オブジェクト１２の基準位置Ｐｖを位置Ｐｓに調整してよい。
【0054】
調整部６４（図３参照）は、距離ｄｗおよび距離ｄｈ（図５参照）に基づいて、仮想オブジェクト１２の大きさを調整してよい。調整部６４は、距離ｄｗおよび距離ｄｈに基づいて、仮想オブジェクト１２の幅Ｗおよび高さｈを調整してよい。調整部６４は、距離ｄｗと幅Ｗとの比Ｒ１（＝ｄｗ／Ｗ）、および、距離ｄｈと高さｈとの比Ｒ２（＝ｄｈ／ｈ）を算出してよい。調整部６４は、Ｒ１とＲ２のうち小さい方の比に対応する大きさに、仮想オブジェクト１２の大きさを調整してよい。
【0055】
表示部６６（図３参照）は、検知部６２（図３参照）により検知された手９４の位置に、調整部６４（図３参照）により調整された大きさで、仮想オブジェクト１２を重畳表示してよい。本例においては、調整部６４（図３参照）が基準位置Ｐｖを位置Ｐｓに調整することにより、表示部６６は手９４の位置に仮想オブジェクト１２を重畳表示する。
【0056】
本例においては、表示部６６は、Ｒ１とＲ２のうち小さい方の比に対応する大きさに調整された仮想オブジェクト１２を、手９４の位置に表示する。これにより、現実画像１０における手９４の範囲内に、仮想オブジェクト１２が表示されやすくなる。図２は、表示部６６が仮想オブジェクト１２をこのように重畳表示した場合の一例である。
【0057】
表示部６６（図３参照）が、図２に示されるように仮想オブジェクト１２を重畳表示することにより、操作者９０は、一方の手９４－１にスマートフォンを持ち他方の手９４－２（図２参照）で当該スマートフォンを操作する感覚で、仮想オブジェクト１２を操作できる。操作者９０が仮想オブジェクト１２を操作する場合に、他方の手９４－２の指９６（図２参照）が一方の手９４－１の掌９８に当たりやすくなる。このため、操作者９０の腕等が疲労しにくくなる。
【0058】
検知部６２（図３参照）は、操作者９０の身体９２の一部の向きをさらに検知してよい。本例においては、検知部６２は操作者９０の手９４－１（図５参照）の向きを検知する。手９４－１の当該向きは、第１方向ｄｒ１（図５参照）であってよい。
【0059】
調整部６４（図３参照）は、仮想オブジェクト１２を、検知部６２（図３参照）により検知された向きに応じた向きに調整してよい。本例においては、調整部６４は仮想オブジェクト１２（図５参照）を第１方向ｄｒ１（図５参照）に応じた向きに調整する。仮想オブジェクト１２を第１方向ｄｒ１に応じた向きに調整するとは、仮想オブジェクト１２の第１方向ｄｖ１を、手９４－１の第１方向ｄｒ１に一致させることを指してよい。表示部６６（図３参照）は、調整部６４により調整された向きに、仮想オブジェクト１２を重畳表示してよい。これにより、現実画像１０における手９４の範囲内に、仮想オブジェクト１２が表示されやすくなる。
【0060】
検知部６２（図３参照）により掌９８（図５参照）が検知された場合、表示部６６（図３参照）は、一の仮想オブジェクト１２を重畳表示してよい。検知部６２により甲９９が検知された場合、表示部６６（図３参照）は、他の仮想オブジェクト１２を重畳表示してよい。即ち、表示部６６は、検知部６２により掌９８が検知された場合と甲９９が検知された場合とで、異なる仮想オブジェクト１２を重畳表示してよい。検知部６２により甲９９が検知された場合とは、検知部６２により、甲９９が操作者９０が視認し得る側に向いていると判定された場合を指す。
【0061】
検知部６２（図３参照）により、一方の手９４－１の掌９８が検知された場合、表示部６６（図３参照）は、当該一方の手９４－１の指９６で操作するためのボタン１４（図２参照）が表示された仮想オブジェクト１２を重畳表示してよい。当該ボタン１４は、例えば当該仮想オブジェクト１２の外縁に表示される。これにより、操作者９０は、例えば一方の手９４－１でスマートフォンを持ちつつ、当該一方の手９４－１の指９６で当該スマートフォンの電源ボタンを操作する感覚で、仮想オブジェクト１２を操作できる。
【0062】
検知部６２（図３参照）により、一方の手９４－１の甲９９が検知された場合、表示部６６（図３参照）は、当該甲９９に仮想オブジェクト１２を重畳表示してよい。これにより、操作者９０は、設備１１０（図１参照）の操作のための物体を当該一方の手９４－１で持ちつつ、当該一方の手９４－１の甲９９に表示された仮想オブジェクト１２を、他方の手９４－２の指９６で操作できる。このため、当該仮想オブジェクト１２の外縁には、ボタン１４が表示されなくてよい。
【0063】
一の仮想オブジェクト１２は一の種類の仮想オブジェクト１２であってよく、他の仮想オブジェクト１２は他の種類の仮想オブジェクト１２であってよい。本例においては、一の種類の仮想オブジェクト１２とは、一方の手９４－１の掌９８に表示された仮想オブジェクト１２を、当該一方の手９４－１の指９６で操作するのに適した種類の仮想オブジェクト１２を指す。本例においては、他の種類の仮想オブジェクト１２とは、一方の手９４－１の掌９８に表示された仮想オブジェクト１２を、他方の手９４－２の指９６で操作するのに適した種類の仮想オブジェクト１２を指す。
【0064】
検知部６２（図３参照）は、操作者９０の手９４における指９６の動作に伴う、当該指９６の位置の変化を取得してよい。調整部６４（図３参照）は、検知部６２により取得された、当該指９６の位置の変化に応じて、ボタン１４（図２参照）の位置を調整してよい。表示部６６（図３参照）は、調整部６４によりボタン１４の位置が調整された仮想オブジェクト１２を、現実画像１０に重畳表示してよい。
【0065】
指９６の動作に伴い、当該指９６が操作しやすいボタン１４（図２参照）の位置は変化し得る。特に、検知部６２（図３参照）により一方の手９４－１の掌９８が検知された場合において、当該一方の手９４－１の指９６で操作するためのボタン１４が表示された仮想オブジェクト１２を、表示部６６（図３参照）が表示する場合、指９６の動作に伴い、当該指９６が操作しやすい位置にボタン１４の位置が変化すると、操作者９０は、当該指を動作させながらボタン１４を操作し得る。
【0066】
検知部６２（図３参照）は、操作者９０の手９４における指９６の動作に伴う、当該指９６の位置の変化を連続的に取得してよい。調整部６４（図３参照）は、当該指９６の位置の連続的な変化に応じて、ボタン１４（図２参照）の位置を連続的に調整してよい。表示部６６（図３参照）は、ボタン１４の位置が連続的に調整された仮想オブジェクト１２を、連続的に表示してよい。調整部６４がボタン１４の位置を連続的に調整するとは、検知部６２により指９６の位置の変化が取得された時点から、調整部６４がボタン１４の位置を調整する時点までの時間が、１秒未満であることを指してよく、０．５秒未満であることを指してもよく、０．２秒未満であることを指してもよい。
【0067】
図７は、図１における操作者９０を拡大した図である。操作者９０が手９４の位置を視認する方向を、方向ｄｐとする。方向ｄｐにおける、操作者９０の位置を位置Ｐｑとする。位置Ｐｑは、操作者９０の頭部の位置であってよく、操作者９０の眼の位置であってもよい。操作者９０がヘッドマウントディスプレイ（ＨＭＤ）を装着している場合、位置Ｐｑは当該ＨＭＤの位置であってもよい。方向ｄｐにおける、手９４の位置を位置Ｐｕとする。本例においては、位置Ｐｕは方向ｄｐにおける掌９８の位置である。
【0068】
方向ｄｐにおいて、位置Ｐｕから操作者９０側に予め定められた距離ｄｆ、離隔した位置を、位置Ｐｔとする。表示部６６（図３参照）は、仮想オブジェクト１２（図２参照）を位置Ｐｔに表示してよい。これにより、操作者９０は仮想オブジェクト１２を確実に操作できる。仮想オブジェクト１２が、位置Ｐｕから操作者９０側とは反対側に離隔して表示された場合、操作者９０は、仮想オブジェクト１２を操作することが困難になり得る。
【0069】
【0070】
手９４の位置Ｐｕには、手９４における複数の位置が含まれてよい。本例においては、位置Ｐｕには第１位置Ｐｕ１および第２位置Ｐｕ２が含まれる。本例において、第１位置Ｐｕ１は位置Ｐｕのうち位置Ｐｑから最も離隔した位置であり、第２位置Ｐｕ２は位置Ｐｕのうち位置Ｐｑに最も近接した位置である。本例において、第１位置Ｐｕ１は掌９８の底部であり、第２位置Ｐｕ２は手首９５の位置である。第２位置Ｐｕ２は、親指９６－１～小指９６－５のいずれかの先端である場合もあり得る。
【0071】
検知部６２（図３参照）は、操作者９０から、手９４における複数の位置のそれぞれまでの距離を取得してよい。本例においては、検知部６２は、操作者９０のヘッドマウントディスプレイ（ＨＭＤ）の位置Ｐｑから、位置Ｐｕ１までの距離および位置Ｐｕ２までの距離をそれぞれ取得する。位置Ｐｑから位置Ｐｕ１までの距離を第１距離ｄ１とし、位置Ｐｑから位置Ｐｕ２までの距離を第２距離ｄ２とする。本例において、第１距離ｄ１は操作者９０から手９４までの最大距離であり、第２距離ｄ２は操作者９０から手９４までの最小距離である。
【0072】
検知部６２（図３参照）は、操作者９０の手９４の凹凸情報を検知してよい。当該凹凸情報を、凹凸情報Ｉｕとする。検知部６２は、操作者９０から、手９４における複数の位置のそれぞれまでの距離に基づいて、凹凸情報Ｉｕを検知してよい。本例においては、検知部６２は、第１距離ｄ１と第２距離ｄ２とに基づいて凹凸情報Ｉｕを検知する。
【0073】
検知部６２（図３参照）は、第１方向ｄｒ１の距離ｄｗ（図５参照）および第２方向ｄｒ２の距離ｄｈ（図５参照）の少なくとも一方を取得してよい。上述したとおり、図５の例では、第１方向ｄｒ１は位置Ｐｓ（手首９５の位置）から位置Ｐｃ４（中指９６－３の先端位置）への方向であり、第２方向ｄｒ２は位置Ｐｅ１（小指９６－５の関節９１の位置）から位置Ｐａ４（親指９６－１の先端位置）への方向である。上述したとおり、図５の例では、距離ｄｗは位置Ｐｓと位置Ｐｃ４との間の距離であり、距離ｄｈは位置Ｐｅ１と位置Ｐａ４との間の距離である。
【0074】
検知部６２（図３参照）は、第１距離ｄ１と第２距離ｄ２との差分と、距離ｄｗおよび距離ｄｈの少なくとも一方とに基づいて、凹凸情報Ｉｕを検知してもよい。凹凸情報Ｉｕは、距離ｄｗに対する当該差分の割合であってよく、距離ｈに対する当該差分の割合であってもよい。
【0075】
調整部６４（図３参照）は、凹凸情報Ｉｕに基づいて、方向ｄｐ（図７参照）における、仮想オブジェクト１２を表示する位置を調整してよい。当該位置を、位置Ｐｔ'とする。位置Ｐｔ'は、位置Ｐｕ２と位置Ｐｑとの間の位置であってよい。位置Ｐｔ'は、方向ｄｐにおけるボタン１４（図２参照）の位置であってよい。
【0076】
表示部６６（図３参照）は、調整部６４により調整された位置Ｐｔ'に仮想オブジェクト１２を表示してよい。図２の例では、表示部６６は、仮想オブジェクト１２における三つのボタン１４で形成される面を、位置Ｐｔ'に表示してよい。本例においては、仮想オブジェクト１２が凹凸情報Ｉｕに基づく位置Ｐｔ'に表示されるので、凹凸情報Ｉｕに基づかない場合よりも、操作者９０は快適に仮想オブジェクト１２を操作できる。
【0077】
図９は、位置Ｐｑと位置Ｐｕとの配置を示す他の例を示す図である。本例においては、操作者９０が甲９９を視認している。
【0078】
本例においては、位置Ｐｕには第３位置Ｐｕ３および第４位置Ｐｕ４が含まれる。本例において、第３位置Ｐｕ３は位置Ｐｕのうち位置Ｐｑから最も離隔した位置であり、第４位置Ｐｕ４は位置Ｐｕのうち位置Ｐｑに最も近接した位置である。本例において、第３位置Ｐｕ３は甲９９の底部であり、第４位置Ｐｕ４は中指９６－３の関節９１（図５参照）の位置Ｐｃ１（図５参照）である。第４位置Ｐｕ４は、位置Ｐｂ１、位置Ｐｄ１および位置Ｐｅ１のいずれかでもあり得る。
【0079】
本例においては、検知部６２（図３参照）は、操作者９０のヘッドマウントディスプレイ（ＨＭＤ）の位置Ｐｑから、位置Ｐｕ３までの距離および位置Ｐｕ４までの距離をそれぞれ取得する。位置Ｐｑから位置Ｐｕ３までの距離を第３距離ｄ３とし、位置Ｐｑから位置Ｐｕ４までの距離を第４距離ｄ４とする。本例において、第３距離ｄ３は操作者９０から手９４までの最大距離であり、第４距離ｄ４は操作者９０から手９４までの最小距離である。
【0080】
本例においては、検知部６２（図３参照）は、第３距離ｄ３と第４距離ｄ４とに基づいて凹凸情報を検知する。当該凹凸情報を、凹凸情報Ｉｕ'とする。検知部６２は、第３距離ｄ３と第４距離ｄ４との差分と、距離ｄｗおよび距離ｄｈの少なくとも一方とに基づいて、凹凸情報Ｉｕ'を検知してもよい。凹凸情報Ｉｕ'は、距離ｄｗに対する当該差分の割合であってよく、距離ｈに対する当該差分の割合であってもよい。
【0081】
調整部６４（図３参照）は、凹凸情報Ｉｕ'に基づいて、方向ｄｐ（図７参照）における、仮想オブジェクト１２を表示する位置を調整してよい。当該位置を、位置Ｐｔ''とする。位置Ｐｔ''は、位置Ｐｕ４と位置Ｐｑとの間の位置であってよい。位置Ｐｔ''は、方向ｄｐにおけるボタン１４（図２参照）の位置であってよい。
【0082】
表示部６６（図３参照）は、調整部６４により調整された位置Ｐｔ''に仮想オブジェクト１２を表示してよい。図２の例では、表示部６６は、仮想オブジェクト１２における三つのボタン１４で形成される面を、位置Ｐｔ''に表示してよい。
【0083】
検知部６２（図３参照）は、操作者９０の手９４における掌９８または甲９９を検知してよい。本例においては、検知部６２は、撮像部６０（図３参照）により撮像された手９４の画像に基づいて、当該手９４における掌９８および甲９９のいずれが、操作者９０が視認し得る側に向いているかを判定する。
【0084】
検知部６２（図３参照）により掌９８が検知された場合、調整部６４（図３参照）は仮想オブジェクト１２を表示する位置を第１の位置に調整し、甲９９が検知された場合、調整部６４は仮想オブジェクト１２を表示する位置を第２の位置に調整してよい。図８および図９の例では、当該第１の位置は位置Ｐｔ'であり、当該第２の位置は位置Ｐｔ''である。当該第１の位置は、当該第２の位置と異なっていてよい。凹凸情報Ｉｕと凹凸情報Ｉｕ'とは異なり得るので、位置Ｐｔ'と位置Ｐｔ''とは異なり得る。位置Ｐｔ'と位置Ｐｔ''とが異なるとは、第２距離ｄ２（図８参照）と第４距離ｄ４とが等しい場合に、方向ｄｐにおける位置Ｐｕ２と位置Ｐｔ'との距離と、方向ｄｐにおける位置Ｐｕ４と位置Ｐｔ''との距離とが異なることを指してよい。
【0085】
検知部６２（図３参照）により掌９８が検知された場合、表示部６６（図３参照）は位置Ｐｔ'に仮想オブジェクト１２を表示してよく、甲９９が検知された場合、表示部６６は位置Ｐｔ''に仮想オブジェクト１２を表示してよい。本例においては、掌９８が検知された場合と甲９９が検知された場合とで、操作者９０が最も快適に操作できる位置に仮想オブジェクト１２が表示されやすくなる。
【0086】
図１０は、操作者９０の身体９２（図１参照）の動作に伴う、仮想オブジェクト１２の表示の一例を示す図である。本例においては、仮想オブジェクト１２は、手９４の動作に伴い表示される。検知部６２は、操作者９０の身体９２の状態を示すジェスチャを検知してよい。本例においては、検知部６２は操作者９０の手９４の状態を示すジェスチャを検知する。図１０の例において、検知部６２は破線矢印で指された当該ジェスチャを検知する。
【0087】
記憶部６８（図３参照）には、ジェスチャ情報と、表示部６６（図３参照）による表示態様とが記憶されていてよい。記憶部６８には、複数のジェスチャ情報と、複数の当該表示態様とが対応付けて記憶されていてよい。ジェスチャ情報とは、手９４を開く、指９６を指し示す、等の情報である。表示部６６による表示態様とは、表示部６６が仮想オブジェクト１２を表示することを指してよく、作業支援情報１３０を表示することを指してもよい。記憶部６８には、仮想オブジェクト１２の複数の表示態様が記憶されていてよい。
【0088】
仮想オブジェクト１２の複数の表示態様のそれぞれごとに、ボタン１４の位置および数が異なっていてよく、ボタン１４に対応する、作業支援装置１００への操作の内容が異なっていてもよい。本例においては、手９４を開くジェスチャ（ハンドジェスチャ）は、表示部６６が仮想オブジェクト１２を表示する動作と対応付けられ、指９６を指すジェスチャ（フィンガージェスチャ）は、表示部６６がボタン１４の位置、数および作業支援装置１００への操作内容の少なくとも一つを変化させる動作と対応付けられている。
【0089】
表示部６６は、検知部６２により検知された、身体９２の状態を示すジェスチャに基づいて、仮想オブジェクト１２を表示してよく、作業支援情報１３０を表示してもよい。制御部６３（図３参照）は、身体９２の状態を示すジェスチャに対応するジェスチャ情報を、記憶部６８から読み出してよい。制御部６３は、当該ジェスチャ情報に対応する表示態様を、記憶部６８から読み出してよい。表示部６６は、記憶部６８から読み出された当該表示態様で、仮想オブジェクト１２および作業支援情報１３０の少なくとも一方を表示してよい。図１０の例において、表示部６６は実線矢印で指された仮想オブジェクト１２を表示する。
【0090】
調整部６４は、検知部６２により検知されたジェスチャに基づいて、仮想オブジェクト１２の大きさを調整してもよい。仮想オブジェクト１２の大きさを調整するためのジェスチャは、予め定められていてよい。当該ジェスチャに対応するジェスチャ情報は、記憶部６８（図３参照）に記憶されていてよい。操作者９０が操作し易い、仮想オブジェクト１２の大きさは、操作者９０ごとに異なり得る。本例においては、操作者９０は、仮想オブジェクト１２の大きさを操作者９０が操作し易い大きさに調整できる。
【0091】
検知部６２は、操作者９０の一方の手９４－１（図２参照）の位置および大きさを検知し、他方の手９４－２（図２参照）の状態を示すジェスチャを検知してよい。図２の例では、検知部６２は操作者９０の左手の位置および大きさを検知し、右手の状態を示すジェスチャを検知する。図２の例では、左手は仮想オブジェクト１２を把持していることを想定した状態であるので、操作者９０は左手を動作させにくい。図２の例では、操作者９０は左手よりも右手を動作させやすい。
【0092】
図２の例では、検知部６２は右手の状態を示すジェスチャを検知する。図２の例では、調整部６４は、右手の状態のジェスチャに基づいて仮想オブジェクト１２の大きさを調整する。一方の手９４－１に表示された仮想オブジェクト１２が大き過ぎる、または、小さすぎる場合、操作者９０は、他方の手９４－２で仮想オブジェクト１２の大きさを微調整できる。
【0093】
図９の例において、指９６を指すジェスチャ（フィンガージェスチャ）は、表示部６６が、方向ｄｐ（図７～図９参照）における仮想オブジェクト１２の位置を変化させる動作と対応付けられていてもよい。一のジェスチャが、仮想オブジェクト１２を操作者９０側（位置Ｐｑ（図７～図９参照）側）に近付ける動作と対応付けられていてよく、他のジェスチャが、仮想オブジェクト１２を手９４側（位置Ｐｕ（図７～図９参照）側）に近付ける動作と対応付けられていてよい。調整部６４は、検知部６２により検知されたジェスチャに基づいて、方向ｄｐにおける、仮想オブジェクト１２を表示する位置を調整してよい。
【0094】
操作者９０が操作し易い、仮想オブジェクト１２の方向ｄｐ（図７～図９参照）における位置は、操作者９０ごとに異なり得る。本例においては、操作者９０は、仮想オブジェクト１２の方向ｄｐにおける位置を、操作者９０が操作し易い位置に調整できる。調整部６４は、一方の手９４－１（図２参照）の状態を示すジェスチャに基づいて、方向ｄｐにおける、仮想オブジェクト１２を表示する位置を調整してもよい。
【0095】
図１１は、本発明の一つの実施形態に係る作業支援方法の一例を示すフローチャートである。作業支援方法は、リアルタイムの現実画像１０（図２参照）に仮想オブジェクト１２を重畳表示する。作業支援方法は、３次元空間の現実画像１０に仮想オブジェクト１２を重畳表示する。作業支援方法を、作業支援装置１００（図３参照）を例に説明する。図１１においては、仮想オブジェクト１２は仮想Ｏｂ１２と表示されている。
【0096】
作業支援方法は、検知ステップＳ１００、調整ステップＳ１１０および表示ステップＳ１１２を備える。作業支援方法は、起動ステップＳ９０、読込ステップＳ９２、判定ステップＳ１０４、判定ステップＳ１２４をさらに備えてよい。
【0097】
起動ステップＳ９０は、制御部６３（図３参照）が撮像部６０（図３参照）を起動するステップである。読込ステップＳ９２は、制御部６３（図３参照）が、記憶部６８（図３参照）に記憶されたジェスチャ情報を読込むステップである。
【0098】
検知ステップＳ１００は、検知部６２（図３参照）が、現実画像１０における、操作者９０の身体９２の一部の位置および大きさを検知するステップである。検知ステップＳ１００の後、作業支援方法は検知ステップＳ１０４に進む。
【0099】
判定ステップＳ１０４は、検知部６２（図３参照）がジェスチャを検知したかを判定するステップである。判定ステップＳ１０４は、制御部６３（図３参照）が、当該ジェスチャ情報に対応する表示態様を記憶部６８から読み出すステップを含んでよい。判定ステップＳ１０４においてジェスチャを検知したと判定された場合、検知部６２は、当該ジェスチャ情報に対応する表示態様を検知してよい。判定ステップＳ１０４においてジェスチャを検知しないと判定された場合、作業支援方法は検知ステップＳ１００に戻る。
【0100】
判定ステップＳ１０４において、仮想オブジェクト１２を表示させるジェスチャが検知された場合、作業支援方法は調整ステップＳ１１０に進む。判定ステップＳ１０４において、ボタン１４（図２参照）を操作するジェスチャが検知された場合、作業支援方法は判定ステップＳ１０６に進む。図１０の例では、仮想オブジェクト１２を表示させるジェスチャはハンドジェスチャであり、ボタン１４を操作するジェスチャはフィンガージェスチャである。
【0101】
調整ステップＳ１１０は、調整部６４（図３参照）が、仮想オブジェクト１２を、検知ステップＳ１００において検知された大きさに応じた大きさに調整するステップである。表示ステップＳ１１２は、表示部６６（図３参照）が仮想オブジェクト１２を現実画像１０（図２参照）に重畳表示するステップである。表示ステップＳ１１２は、表示部６６が、検知ステップＳ１００において検知された位置に、調整ステップＳ１１０において調整された大きさで、仮想オブジェクト１２を重畳表示するステップである。表示ステップＳ１１２の後、作業支援方法は判定ステップＳ１２４に進む。
【0102】
判定ステップＳ１２４は、検知部６２（図３参照）が、作業を続けるジェスチャを検知したか、または、作業を終了するジェスチャを検知したかを判定するステップである。判定ステップＳ１２４において作業を続けるジェスチャを検知したと判定された場合、作業支援方法は検知ステップＳ１００に戻る。判定ステップＳ１２４において作業を終了するジェスチャを検知したと判定された場合、作業支援方法は、作業支援装置１００の動作を終了させる。
【0103】
判定ステップＳ１０６は、検知部６２（図３参照）が、指９６がボタン１４に衝突したか（図１０参照）を判定するステップである。指９６がボタン１４に衝突したかは、二つ以上のオブジェクトの交差の検出に係る既存のプログラム処理により、判定されてよい。判定ステップＳ１０４において指９６がボタン１４に衝突したと判定された場合、検知部６２は、当該ボタン１４に対応する表示態様を検知してよい。判定ステップＳ１０４において指９６がボタン１４に衝突しないと判定された場合、作業支援方法は判定ステップＳ１２４に移る。
【0104】
判定ステップＳ１０６において、仮想オブジェクト１２の更新に対応するボタン１４に衝突したと判定された場合、作業支援方法は表示ステップＳ１０８に移る。判定ステップＳ１０６において、作業支援情報１３０の表示に対応するボタン１４に衝突したと判定された場合、作業支援方法は取得ステップＳ１１４に移る。
【0105】
表示ステップＳ１０８は、表示部６６が、仮想オブジェクト１２を更新するかまたはボタン１４を更新するステップである。表示ステップＳ１０８の後、作業支援方法は調整ステップＳ１１０に移る。
【0106】
取得ステップＳ１１４は、検知部６２（図３参照）がマーカ１２０（図１参照）の座標を取得するステップである。検知部６２は、撮像部６０（図３参照）によりマーカ１２０の画像に基づいて、マーカ１２０の座標を取得してよい。
【0107】
調整ステップＳ１１６は、調整部６４（図３参照）が、取得ステップＳ１１４において取得されたマーカ１２０の座標に基づいて、作業支援情報１３０の表示位置を調整するステップである。読込ステップＳ１１８は、制御部６３（図３参照）が、記憶部６８（図３参照）に記憶された作業支援情報１３０を読込むステップである。表示ステップＳ１２０は、表示部６６（図３参照）が、読込ステップＳ１１８において読み込まれた作業支援情報１３０を、調整ステップＳ１１６において調整された位置に重畳表示するステップである。
【0108】
図１２は、本発明の一つの実施形態に係る作業支援装置１００が全体的または部分的に具現化されてよいコンピュータ２２００の一例を示す図である。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る作業支援装置１００に関連付けられる操作、または、作業支援装置１００の一または複数のセクションとして機能させることができ、または当該操作または当該一または複数のセクションを実行させることができ、またはコンピュータ２２００に、本発明の作業支援方法に係る各段階（図１０参照）を実行させることができる。当該プログラムは、コンピュータ２２００に本明細書に記載されたフローチャート（図１１）およびブロック図（図３）におけるブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。
【0109】
本発明の一つの実施形態に係るコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６およびディスプレイデバイス２２１８を含む。ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６およびディスプレイデバイス２２１８は、ホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００は、通信インターフェース２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６およびＩＣカードドライブ等の入出力ユニットをさらに含む。通信インターフェース２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６およびＩＣカードドライブ等は、入出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータは、ＲＯＭ２２３０およびキーボード２２４２等のレガシの入出力ユニットをさらに含む。ＲＯＭ２２３０およびキーボード２２４２等は、Ｉ／Ｏチップ２２４０を介して入出力コントローラ２２２０に接続されている。
【0110】
ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作することにより、各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはＲＡＭ２２１４の中に、ＣＰＵ２２１２によって生成されたイメージデータを取得することにより、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。
【0111】
通信インターフェース２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ－ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ２２０１から読み取り、読み取ったプログラムまたはデータを、ＲＡＭ２２１４を介してハードディスクドライブ２２２４に提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取るか、または、プログラムおよびデータをＩＣカードに書き込む。
【0112】
ＲＯＭ２２３０は、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、または、コンピュータ２２００のハードウェアに依存するプログラムを格納する。Ｉ／Ｏチップ２２４０は、様々な入出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ２２２０に接続してよい。
【0113】
プログラムが、ＤＶＤ－ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い、情報の操作または処理を実現することによって構成されてよい。
【0114】
例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェース２２２２に対し、通信処理を命令してよい。通信インターフェース２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭ２２０１またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
【0115】
ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６（ＤＶＤ－ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにしてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４上のデータに対し、様々なタイプの処理を実行してよい。ＣＰＵ２２１２は、次に、処理されたデータを外部記録媒体にライトバックしてよい。
【0116】
様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理されてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示に記載された、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索または置換等を含む、様々なタイプの処理を実行してよい。ＣＰＵ２２１２は、結果をＲＡＭ２２１４に対しライトバックしてよい。
【0117】
ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、第２の属性値を読み取ることにより、予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
【0118】
上述したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００のコンピュータ可読媒体に格納されてよい。専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能である。プログラムは、当該記録媒体によりコンピュータ２２００に提供されてよい。
【0119】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0120】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0121】
１０・・・現実画像、１２・・・仮想オブジェクト、１４・・・ボタン、６０・・・撮像部、６２・・・検知部、６３・・・制御部、６４・・・調整部、６６・・・表示部、６８・・・記憶部、９０・・・操作者、９１・・・関節、９２・・・身体、９４・・・手、９５・・・手首、９６・・・指、９８・・・掌、９９・・・甲、１００・・・作業支援装置、１１０・・・設備、１１２・・・仮想オブジェクト、１２０・・・マーカ、１３０・・・作業支援情報、２００・・・作業環境、３００・・・作業支援装置、２２００・・・コンピュータ、２２０１・・・ＤＶＤ－ＲＯＭ、２２１０・・・ホストコントローラ、２２１２・・・ＣＰＵ、２２１４・・・ＲＡＭ、２２１６・・・グラフィックコントローラ、２２１８・・・ディスプレイデバイス、２２２０・・・入出力コントローラ、２２２２・・・通信インターフェース、２２２４・・・ハードディスクドライブ、２２２６・・・ＤＶＤ－ＲＯＭドライブ、２２３０・・・ＲＯＭ、２２４０・・・Ｉ／Ｏチップ、２２４２・・・キーボード
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】