特許 6773609 遠隔支援システム、情報提示システム、表示システムおよび手術支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6773609

(24)【登録日】2020年10月5日

(45)【発行日】2020年10月21日

(54)【発明の名称】遠隔支援システム、情報提示システム、表示システムおよび手術支援システム

(51)【国際特許分類】

   A61B 34/10 20160101AFI20201012BHJP

【ＦＩ】

   A61B34/10

【請求項の数】8

【全頁数】26

(21)【出願番号】特願2017-122771(P2017-122771)

(22)【出願日】2017年6月23日

(65)【公開番号】特開2019-5095(P2019-5095A)

(43)【公開日】2019年1月17日

【審査請求日】2019年4月3日

【前置審査】

(73)【特許権者】

【識別番号】500248010

【氏名又は名称】ウエストユニティス株式会社

(74)【代理人】

【識別番号】100092956

【弁理士】

【氏名又は名称】古谷 栄男

(74)【代理人】

【識別番号】100101018

【弁理士】

【氏名又は名称】松下 正

(72)【発明者】

【氏名】福田 登仁

【審査官】 宮下 浩次

(56)【参考文献】

【文献】 特開２０１５−０９９１８４（ＪＰ，Ａ）

【文献】 特開２０１７−０６４３０７（ＪＰ，Ａ）

【文献】 国際公開第２０１７／０５８７１０（ＷＯ，Ａ１）

【文献】 国際公開第２０１７／０５６７７５（ＷＯ，Ａ１）

【文献】 国際公開第２０１７／０３８３７５（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３４／００ − ３４／３７

(57)【特許請求の範囲】

【請求項1】

支援側装置と作業側装置とを備えた遠隔作業支援システムであって、
前記作業側装置は、
可動物または固定物に装着され、作業対象領域を撮像して撮像画像を生成する撮像部と、
送信部により、前記撮像画像を前記支援側装置に送信する撮像画像送信手段と、
可動物または固定物に装着され、与えられた支援画像データに基づいて、前記作業対象領域に支援画像を投影する投影部と、
前記撮像画像に含まれる前記作業対象領域に設けられたマーカの画像または前記撮像画像に含まれる前記作業対象領域の特徴点に基づいて、あるいはその双方に基づいて、前記作業対象領域の所定部位を基準として前記支援画像が表示されるように前記支援画像データを補正する補正手段とを備え、
前記支援側装置は、
受信部により、送信されてきた撮像画像を受信する撮像画像受信手段と、
受信した撮像画像を表示する撮像画像表示部と、
支援開始指令が与えられたタイミングにおける撮像画像を静止画とした基準撮像画像において、支援者の操作によって作業対象領域の所望の位置に支援画像を入力する支援画像入力部と、
送信部により、前記支援開始指令が与えられた旨を前記作業側装置に送信する支援開始送信手段と、
送信部により、撮像画像上の位置を特定した支援画像データを前記作業側装置に送信する支援画像送信手段と、
を備えたことを特徴とする遠隔作業支援システムにおいて、
前記補正手段は、前記マーカまたは前記作業対象領域の特徴点の撮像画像に基づいて、前記投影部と前記マーカまたは特徴点との位置関係を推定する推定手段を備えており、
前記推定手段は、前記支援開始指令が与えられた旨を支援装置から受けて、当該支援開始指令が与えられた際の撮像画像を基準撮像画像として、当該支援開始指令が与えられた時点における前記投影部と前記マーカまたは特徴点との位置関係および支援画像の位置を推定するとともに、現在の撮像画像中の前記マーカまたは前記作業対象領域の特徴点に基づいて、支援画像が前記作業対象領域の所定部位を基準として正しく表示されるように、支援画像データを補正することを特徴とする遠隔作業支援システム。

【請求項2】

遠隔作業支援システムのための作業側装置であって、
可動物または固定物に装着され、作業対象領域を撮像して撮像画像を生成する撮像部と、
送信部により、前記撮像画像を支援側装置に送信する撮像画像送信手段と、
前記撮像画像を受けた前記支援側装置において支援者の操作によって撮像画像の所望の位置に入力された支援画像データに基づいて、前記作業対象領域に支援画像を投影する投影部と、
前記撮像画像に含まれる前記作業対象領域に設けられたマーカの画像または前記撮像画像に含まれる前記作業対象領域の特徴点に基づいて、あるいはその双方に基づいて、前記作業対象領域の所定部位を基準として前記支援画像が表示されるように前記支援画像データを補正する補正手段とを備え、
前記補正手段は、前記マーカまたは前記作業対象領域の特徴点の撮像画像に基づいて、前記投影部と前記マーカまたは特徴点との位置関係を推定する推定手段を備えており、
前記推定手段は、前記支援開始指令が与えられた旨を支援装置から受けて、当該支援開始指令が与えられた際の撮像画像を基準撮像画像として、当該支援開始指令が与えられた時点における前記投影部と前記マーカまたは特徴点との位置関係および支援画像の位置を推定するとともに、現在の撮像画像中の前記マーカまたは前記作業対象領域の特徴点に基づいて、支援画像が前記作業対象領域の所定部位を基準として正しく表示されるように、支援画像データを補正することを特徴とする作業側装置。

【請求項3】

可動物または固定物に装着され、作業対象領域を撮像して撮像画像を生成する撮像部と前記撮像画像を受けた前記支援側装置において支援者の操作によって撮像画像の所望の位置に入力された支援画像データに基づいて、前記作業対象領域に支援画像を投影する投影部とを有する遠隔作業支援システムのための作業側装置をコンピュータによって実現するための作業側プログラムであって、コンピュータを、
送信部により、前記撮像画像を前記支援側装置に送信する撮像画像送信手段と、
前記撮像画像に含まれる前記作業対象領域に設けられたマーカの画像または前記撮像画像に含まれる前記作業対象領域の特徴点に基づいて、前記作業対象領域の所定部位を基準として前記支援画像が表示されるように前記支援画像データを補正する補正手段として機能させるための作業側プログラムにおいて、
前記補正手段は、前記マーカまたは前記作業対象領域の特徴点の撮像画像に基づいて、前記投影部と前記マーカまたは特徴点との位置関係を推定する推定手段を備えており、
前記推定手段は、前記支援開始指令が与えられた旨を支援装置から受けて、当該支援開始指令が与えられた際の撮像画像を基準撮像画像として、当該支援開始指令が与えられた時点における前記投影部と前記マーカまたは特徴点との位置関係および支援画像の位置を推定するとともに、現在の撮像画像中の前記マーカまたは前記作業対象領域の特徴点に基づいて、支援画像が前記作業対象領域の所定部位を基準として正しく表示されるように、支援画像データを補正することを特徴とする作業側プログラム。

【請求項4】

請求項１のシステムにおいて、
前記撮像画像表示部は、支援開始指令が与えられた際に表示されていた撮像画像を、支援画像入力のための静止画として表示することを特徴とするシステム。

【請求項5】

請求項１〜４のいずれかのシステム、装置またはプログラムにおいて、
前記投影部は、支援画像に加えて、前記撮像されたマーカまたは特徴点の画像を投影し、
前記補正手段は、前記マーカの投影画像と実際のマーカが合致するように、または、前記作業対象領域の特徴点の投影画像と実際の特徴点が合致するように、支援画像データまたは投影画像データを補正することを特徴とするシステム、装置またはプログラム。

【請求項6】

請求項１〜５のいずれかのシステム、装置またはプログラムにおいて、
前記撮像画像に含まれる要素画像に対応付けて記録されている支援画像を読み出して補正手段に与える支援画像選択手段をさらに備えることを特徴とするシステム、装置またはプログラム。

【請求項7】

請求項１〜６のいずれかのシステム、装置またはプログラムにおいて、
前記可動物は、ユーザの身体の一部であることを特徴とするシステム、装置またはプログラム。

【請求項8】

請求項１〜７のいずれかのシステム、装置またはプログラムにおいて、
前記投影部は、レーザプロジェクタを備えて構成されており、
前記撮像画像中に人が含まれる場合、当該人の少なくとも目の部分は、前記レーザプロジェクタによるレーザ照射を行わないように制御することを特徴とするシステム、装置またはプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、プロジェクタを用いた遠隔支援システム等に関するものである。

【背景技術】

【0002】

プロジェクタにより、物体表面などに画像を投影するシステムが提案されている。たとえば、プリンタ機器の適切な場所に印刷待ちのジョブを表示したり、ジョブ完了までの予想時間を表示したりするような情報提示に用いることができる。

【0003】

特許文献１には、このような表示を行う際に、プロジェクタと物体との位置関係を把握し、物体表面に歪み無く画像が表示されるように制御するシステムが開示されている。物体表面とプロジェクタとの位置関係（距離や角度など）を検出し、これに応じてプロジェクタから投影する画像を修正して、物体表面に歪みのない画像を投影している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特表２００６−５０７７１３

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１のような従来技術では、プロジェクタと物体との位置関係が動的に変化した場合には、物体表面に安定した画像を投影することはできなかった。このため、人体など移動するものに装着したプロジェクタから、作業場所や案内などを表示する場合に用いることが困難であった。

【0006】

この発明は上記のような問題点を解決して、プロジェクタと投影対象との位置関係が動的に変化する場合であっても、投影対象の所定の位置に画像を表示することのできる支援システム等を提供することを目的とする。

【課題を解決するための手段】

【0007】

この発明の独立して適用可能ないくつかの特徴を列挙する。

【0008】

(1)この発明に係る遠隔作業支援システムは、支援側装置と作業側装置とを備えた遠隔作業支援システムであって、
前記作業側装置は、可動物または固定物に装着され、作業対象領域を撮像して撮像画像を生成する撮像部と、送信部により、前記撮像画像を前記支援側装置に送信する撮像画像送信手段と、可動物または固定物に装着され、与えられた支援画像データに基づいて、前記作業対象領域に支援画像を投影する投影部と、前記撮像画像に含まれる前記作業対象領域に設けられたマーカの画像または前記撮像画像に含まれる前記作業対象領域の特徴点に基づいて、あるいはその双方に基づいて、前記作業対象領域の所定部位を基準として前記支援画像が表示されるように前記支援画像データを補正する補正手段とを備え、
前記支援側装置は、受信部により、送信されてきた撮像画像を受信する撮像画像受信手段と、受信した撮像画像を表示する撮像画像表示部と、表示部に表示された撮像画像上で、作業対象領域の所望の位置に支援画像を入力する支援画像入力部と、送信部により、撮像画像上の位置を特定した支援画像データを前記作業側装置に送信する支援画像送信手段とを備えたことを特徴としている。

【0009】

したがって、遠隔から支援画像を送信し、投影部や対象物が移動したとしても作業対象領域の指定の位置にこれを適切に表示することができる。

【0010】

(2)(3)この発明に係る作業側装置は、遠隔作業支援システムのための作業側装置であって、可動物または固定物に装着され、作業対象領域を撮像して撮像画像を生成する撮像部と、送信部により、前記撮像画像を前記支援側装置に送信する撮像画像送信手段と、可動物または固定物に装着され、与えられた支援画像データに基づいて、前記作業対象領域に支援画像を投影する投影部と、前記撮像画像に含まれる前記作業対象領域に設けられたマーカの画像または前記撮像画像に含まれる前記作業対象領域の特徴点に基づいて、あるいはその双方に基づいて、前記作業対象領域の所定部位を基準として前記支援画像が表示されるように前記支援画像データを補正する補正手段とを備えている。

【0011】

したがって、遠隔から支援画像を送信し、投影部や対象物が移動したとしても作業対象領域の指定の位置にこれを適切に表示することができる。

【0012】

(4)(5)この発明に係る支援側装置は、作業側において、可動物または固定物に装着され、作業対象領域を撮像して撮像画像を生成する撮像部と、可動物または固定物に装着され、与えられた支援画像データに基づいて、前記作業対象領域に支援画像を投影する投影部とを有する遠隔作業支援システムのための支援側装置であって、受信部により、送信されてきた撮像画像を受信する撮像画像受信手段と、受信した撮像画像を表示する撮像画像表示部と、表示部に表示された撮像画像上で、作業対象領域の所望の位置に支援画像を入力する支援画像入力部と、前記投影部により、前記支援画像入力部によって入力された支援画像を、前記作業側の前記作業対象領域に投影するために、送信部により、撮像画像上の位置を特定した支援画像データを前記作業側装置に送信する支援画像送信手段とを備えている。

【0013】

したがって、遠隔から支援画像を送信し、投影部や対象物が移動したとしても作業対象領域の指定の位置にこれを適切に表示することができる。

【0014】

(6)(7)この発明に係る情報提示システムは、可動物または固定物に装着され、投影対象を撮像して撮像画像を生成する撮像部と、前記可動物または固定物に装着され、与えられた投影画像データに基づいて、前記投影対象に投影画像を投影する投影部と、前記撮像画像に含まれる前記投影対象に設けられたマーカの画像または前記撮像画像に含まれる前記投影対象の特徴点に基づいて、前記投影対象の所定部位を基準として前記投影画像が表示されるように前記投影画像データを補正する補正手段とを備えている。

【0015】

したがって、投影部や対象物が移動したとしても投影対象の所望の位置に固定して投影画像を表示することができる。

【0016】

(8)この発明に係るシステムは、補正手段は、前記マーカまたは前記作業対象領域の特徴点の撮像画像に基づいて、前記投影部と前記マーカまたは特徴点との位置関係を推定する推定手段を備えており、当該推定された位置関係に基づいて、支援画像データまたは投影画像データを補正することを特徴としている。

【0017】

したがって、推定した位置関係に基づいて、所定の位置に支援画像または投影画像を安定して表示することができる。

【0018】

(9)この発明に係るシステムは、投影部は、支援画像に加えて、前記撮像されたマーカまたは特徴点の画像を投影し、補正手段は、前記マーカの投影画像と実際のマーカが合致するように、または、前記作業対象領域の特徴点の投影画像と実際の特徴点が合致するように、支援画像データまたは投影画像データを補正することを特徴としている。

【0019】

したがって、所定の位置に支援画像または投影画像を安定して表示することができる。

【0020】

(10)この発明に係るシステムは、撮像画像に含まれる要素画像に対応付けて記録されている支援画像を読み出して補正手段に与える支援画像選択手段をさらに備えることを特徴としている。

【0021】

したがって、撮像した要素に対応付けて支援画像を表示することができる。

【0022】

(11)この発明に係るシステムは、可動物は、ユーザの身体の一部であることを特徴としている。

【0023】

したがって、ユーザが動いたり体を動かしたりしても、安定した画像表示を行うことができる。

【0024】

(12)この発明に係るシステムは、投影部は、レーザプロジェクタを備えて構成されており、撮像画像中に人が含まれる場合、当該人の少なくとも目の部分は、前記レーザプロジェクタによるレーザ照射を行わないように制御することを特徴としている。

【0025】

したがって、レーザによる危険を確実に防止することができる。

【0026】

(13)(14)この発明に係る手術システムは、与えられた患者の体内を示す非可視光画像データに基づいて、手術部位に患者の体内を示す非可視光画像を投影するための投影部と、手術部位を可視光線以外の照射によって撮像して、手術部位に設けられたマーカの非可視光画像を含む非可視光画像を生成する非可視光画像撮像部と、手術部位を可視光線によって撮像して、少なくとも、前記投影部によって投影されたマーカと、前記手術部位に設けられた実際のマーカを含む可視光画像を生成する可視光画像撮像部と、前記可視光画像に基づいて、前記手術部位と前記投影部との位置関係がリアルタイムに変化したとしても、前記手術部位における体内の位置に合致するように体内の非可視光画像が表示されるように、前記非可視光画像データを補正する補正手段とを備えている。

【0027】

したがって、患者の体の上に非可視光画像を表示しながら、処置や手術を行うことを実現できる。

【0028】

(15)(16)この発明に係る手術支援システムは、与えられた患者の体内を示す非可視光画像データに基づいて、手術部位に患者の体内を示す非可視光画像を投影するための投影部と、手術部位を可視光線以外の照射によって撮像して、手術部位に設けられたマーカの非可視光画像を含む非可視光画像を生成する非可視光画像撮像部と、前記非可視光画像に含まれるマーカの非可視光画像に基づいて、前記手術部位と前記投影部との位置関係がリアルタイムに変化したとしても、前記手術部位における体内の位置に合致するように体内の非可視光画像が表示されるように、前記非可視光画像データを補正する補正手段とを備えている。

【0029】

したがって、患者の体の上に非可視光画像を表示しながら、処置や手術を行うことを実現できる。

【0030】

(17)この発明に係る手術システムは、非可視光画像は、レントゲン画像、ＰＥＴ画像、ＳＰＥＣＴ画像のいずれかであり、可視光画像は、通常のカメラ画像であることを特徴としている。

【0031】

したがって、医用画像を患者の体の対応する部位に表示することができる。

【0032】

(18)(19)この発明に係る表示システムは、可動物または固定物に装着され、投影対象を撮像して撮像画像を生成する撮像部と、前記可動物または固定物に装着され、与えられた投影画像データに基づいて、前記投影対象に投影画像を投影する投影部と、前記撮像画像に基づいて、投影対象の平坦で模様の少ない領域を探し出し、当該領域に前記投影画像が表示されるように投影画像データを補正する補正手段とを備えている。

【0033】

したがって、視認性のよい場所に表示を行うことができる。

【0034】

この発明において「撮像部」は、対象領域を撮像して撮像画像を出力するものをいい、通常のカメラだけでなく、レントゲン画像などを撮像するものも含む概念である。

【0035】

「撮像画像送信手段」は、実施形態においては、ステップＳ１がこれに対応する。

【0036】

「投影部」は、対象領域に投影を行うものをいい、レーザプロジェクタや通常のプロジェクタなどを含む概念である。

【0037】

「補正手段」は、実施形態においては、ステップＳ４、Ｓ５、ステップＳ５３、ステップＳ６７、ステップＳ７３などがこれに対応する。

【0038】

「撮像画像受信手段」は、実施形態においては、ステップＳ４１がこれに対応する。

【0039】

「支援画像入力部」は、支援画像を入力するためのものをいい、マウス、タッチパッド、タッチスクリーンなどを含む概念である。

【0040】

「支援画像送信手段」は、実施形態においては、ステップＳ４５がこれに対応する。

【0041】

「非可視光画像」は、レントゲン、電子、赤外線など可視光以外の照射によって生成した画像をいい、当該画像自体は可視的であってもよい。

【0042】

「非可視光画像撮像部」は、実施形態では、レントゲン撮像装置、ＰＥＴ装置、ＳＰＥＣＴ装置などがこれに対応する。

【0043】

「可視光画像撮像部」は、実施形態では、カメラがこれに対応する。

【0044】

「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。

【図面の簡単な説明】

【0045】

【図1】この発明の一実施形態による遠隔支援システムの機能構成図である。

【図2】遠隔支援システムの現場側の状態を示す図である。

【図3】ウエアラブルコンピュータ５２の外観を示す図である。

【図4】ウエアラブルコンピュータ５２のハードウエア構成である。

【図5】支援側装置３０のハードウエア構成である。

【図6】支援処理を示すフロチャートである。

【図7】支援側装置の表示画面例である。

【図8】支援側装置の表示画面例である。

【図9】支援データのデータ構成である。

【図10】支援装置側の画像と、現場において表示される画像との関係を示す図である。

【図11】アノテーション画像の補正を示す図である。

【図12】アノテーション画像の補正を示す図である。

【図13】マーカ画像とマーカとの位置合わせを示す図である。

【図14】第２の実施形態による手術支援システムの機能構成図である。

【図15】手術支援システムの使用状況を示す図である。

【図16】コンピュータ１１０のハードウエア構成である。

【図17】ナビゲーションプログラム１３２のフローチャートである。

【図18】第３の実施形態による情報提示システムの機能構成図である。

【図19】情報提示システムの使用状態を示す図である。

【図20】情報提示プログラムのフローチャートである。

【図21】要素画像と支援画像の対応関係を示すデータである。

【図22】第４の実施形態による表示システムの機能構成図である。

【図23】表示プログラムのフローチャートである。

【図24】表示システムにて表示を行う対象領域の例である。

【発明を実施するための形態】

【0046】

１．第１の実施形態
1.1システムの機能構成
図１に、この発明の一実施形態によるナビゲーションシステムの機能構成を示す。ここでは、機器の調整や修理に訪れた作業者に対して、遠隔にいる支援者が、作業の支援を行う場合について説明する。

【0047】

投影対象は、たとえば、スイッチ４ａ、４ｂ、４ｃ、４ｄ等が設けられた機器の表面であるとする。スイッチ４ａ、４ｂ、４ｃ、４ｄに近接して、マーカ６が貼り付けられている。このマーカ６は、複数の特徴点を有し、その特徴点の位置関係が予め分かっているものである。また、マーカ６の複数の特徴点は、上下左右に非対称であることが好ましい。

【0048】

機器の近傍にいる作業者は、作業側装置１０を装着している。作業側装置１０の投影部１２は、支援側装置３０からの支援画像データに基づいて、機器に向けて投影を行う。図においては、投影領域２が、投影部１２によって投影される領域である。

【0049】

撮像部１３は、投影部１２によって投影された投影領域２を撮像する。このとき、マーカ６も撮像されることになる。

【0050】

補正手段１４は、撮像されたマーカ６の画像に基づいて、投影部１２とマーカ６の位置関係（方向、距離）を推定する。

【0051】

また、撮像部１３による撮像画像は、送信画像送信手段１８によって支援側装置３０に送信される。

【0052】

支援側装置３０の撮像画像受信手段２２は、これを受信する。受信された撮像画像は撮像画像表示部２４に表示される。したがって、遠隔にいる支援者は、撮像画像表示２４に表示された画像によって、作業者の見ている状況を知ることができる。

【0053】

支援者は、音声通信（図示せず）によって作業者に支援を行うが、これだけでは不明瞭であるから、機器に支援画像を投影することで、より優れた支援を行えるようにしている。

【0054】

たとえば、支援者が機器のスイッチ４ｃを操作すべきであると考えた場合、撮像画像表示部２４の画面を見ながら、支援画像入力部２６を操作する。そして、撮像画像中のスイッチ４ｃの周囲を取り囲むように丸印を描画する。支援画像入力部２６はこれを受けて、当該支援画像（丸印の画像）を作業側装置１０に送信する。

【0055】

作業側装置１０の支援画像受信手段２０は、これを受信して、補正手段１６に与える。補正手段１６は、先に推定した位置関係に基づいて、投影部１２が支援画像データを投影したときに、上記丸印が歪みなく、スイッチ４ｃの周りに正しく表示されるように、支援画像データを補正する。

【0056】

このようにして、支援者の意図する支援画像が、作業側においてリアルタイムに投影されるようにすることができる。

【0057】

作業者が動くことにより、投影部１２の投影領域２が２ｘに移動したとする。この場合も、補正手段１６により、スイッチ４ｃの周りに歪み無く丸印が表示されるように支援画像データが補正される。

【0058】

以上のようにして、作業者が動いて、装着した作業側装置１０の投影部１２の方向や距離が変わったとしても、支援者が意図するスイッチ４ｃの周りに丸印が安定して表示される。

【0059】

1.2外観及びハードウエア構成
図２に、作業側装置であるウエアラブルコンピュータ５２を装着した作業者５０を示す。作業者５０は、修理や保守などの作業対象である機器９の前に到着すると、首にウエアラブルコンピュータ５２を装着する。

【0060】

図３に、ウエアラブルコンピュータ５２を示す。リング部５４の接続部５３が、マグネットによって着脱可能となっている。取り付け時には、接続部５３にてリング部５４を開き、首に装着した後にリング部５４を閉じる。リング部５４の前方には、投影部であるレーザプロジェクタ１２、撮像部であるカメラ１３が設けられている。

【0061】

左右本体部５６、５８には、それぞれ、コンピュータなどの電子回路、バッテリーが収納されている。

【0062】

図４に、ウエアラブルコンピュータ５２のハードウエア構成を示す。ＣＰＵ６０には、メモリ６２、通信回路６４、不揮発性メモリ６６、レーザプロジェクタ１２、カメラ１３、マイク／スピーカ１５が接続されている。

【0063】

通信回路６４は、インターネットを介して支援側装置３０と通信するためのものである。不揮発性メモリ６６には、オペレーティングシステム６８、作業側プログラム７０が記録されている。作業側プログラム７０は、オペレーティングシステム６８と協働してその機能を発揮するものである。

【0064】

図５に、支援側装置３０のハードウエア構成を示す。ＣＰＵ８０には、メモリ８２、通信回路８４、ハードディスク８６、ＤＶＤ−ＲＯＭドライブ８８、キーボード／マウス９０、ディスプレイ９２、マイク／スピーカ９３が接続されている。

【0065】

通信回路８４は、インターネットを介してウエアラブルコンピュータ５２と通信するためのものである。ハードディスク８６には、オペレーティングシステム９４、支援側プログラム９６が記録されている。支援側プログラム９６は、オペレーティングシステム９４と協働してその機能を発揮するものである。これらプログラムは、ＤＶＤ−ＲＯＭ９８に記録されていたものを、ＤＶＤ−ＲＯＭドライブ８８を介して、ハードディスク８６にインストールしたものである。

【0066】

1.3遠隔支援処理
図６に、遠隔支援処理における、作業側プログラム７０と支援側プログラム９６のフローチャートを示す。

【0067】

ウエアラブルコンピュータ５２のＣＰＵ６０（以下、ウエアラブルコンピュータ５２と省略することがある）は、カメラ１３によって撮像した機器の画像を、通信回線６４を介して支援側装置３０に送信する（ステップＳ１）。支援側装置３０のＣＰＵ８０（以下、支援側装置３０と省略することがある）は、通信回路８２によってこれを受信し、ハードディスク８６に記録する（ステップＳ４１）。

【0068】

支援側装置３０は、受信した撮像画像をディスプレイ９２に表示する（ステップＳ４１）。支援者は、このディスプレイ９２に表示された撮像画像を見て、作業者のいる現場の状況を把握する。

【0069】

図１０Ａの左側が現場の状況であり、図１０Ａの右側が支援者側のディスプレイ９２の画面である。図１０Ａにおいて、破線は投影領域（＝撮像領域）２を示している。

【0070】

図７に、図１０Ａ右側に示すディスプレイ９２表示画面の詳細をを示す。機器のスイッチ４ａ、４ｂ、４ｃとともに、マーカ６が映し出されている。このマーカ６の大きさは既知である。なお、マーカ６は、予め、機器に貼り付けておいてもよいし、作業者がその場所に行った時に貼り付けるようにしてもよい。

【0071】

次に、支援者はディスプレイ９２に表示された撮像画像を見ながら、作業者に対しマイク／スピーカ９３を使って支援を行う。この際、音声だけでは適切な支援を行うのが困難であるので、以下のようにして、作業者の側にある機器に直接、アノテーションを表示するようにしている。

【0072】

たとえば、支援者がディスプレイ９２を見て、作業者に対し機器のスイッチ４ｂをオンにするよう支援をしたいと考えたとする。この場合、、キーボード／マウス９０を操作して、図７の支援開始ボタン１０２をクリックする。これにより、支援側装置３０は、支援開始ボタン１０２がクリックされた時点において表示されていた撮像画像を静止画として表示する。すなわち、図１０Ｂ右側に示すように、リアルタムに表示されていた撮像画像を、支援開始ボタン１０２がクリックされた時点の静止画として固定表示する。

【0073】

したがって、作業者が頭を動かしたり移動したりして、撮像範囲２が変化したとしても、図１０Ｃに示すように、支援者側のディスプレイ９２の表示は固定される。

【0074】

さらに、支援側装置３０は、通信回路８４により、支援アノテーションが開始された旨をウエアラブルコンピュータ５２に送信する（ステップＳ４３）。ウエアラブルコンピュータ５２は、これを受けて、その時点で撮像された撮像画像を基準撮像画像として不揮発性メモリ６６に記録する（ステップＳ２）。すなわち、支援側装置３０においてアノテーション入力のために表示されている撮像画像と同じ撮像画像を基準撮像画像として記録する。

【0075】

支援者は、支援側装置３０のディスプレイ９２を見ながら、キーボード／マウス９０を操作して、図８に示すように、スイッチ４ｂの周りにアノテーション８（ここでは丸印）を描画する。支援者は、アノテーション８の描画が終了すると、描画終了ボタン１０４をクリックする（ステップＳ４４）。図１０Ｃ右側の図参照のこと。支援装置３０は、これを受けて、アノテーション８の画像と座標位置を、ウエアラブルコンピュータ５２に送信する（ステップＳ４５）。

【0076】

図９に、送信されるデータのデータ構造を示す。画像データは、アノテーション８の実体データである。ここでは、丸の画像データとなる。丸印などの場合には、半径、線の種類などのデータによって表してもよい。座標は、当該画像の基準位置の座標である。円の中心を基準位置とした場合、図８に示すように、画面左上からの距離Ｘ、Ｙによって示される。基準位置としては、円の中心、左上の座標などを用いることができる。

【0077】

ウエアラブルコンピュータ５２は、これを受信し、ステップＳ２において記録した基準撮像画像のマーカ６に基づいて、送信されてきたアノテーション画像の位置や大きさを推定する（ステップＳ３）。すなわち、図８に示す基準撮像画像上で、スイッチ４ｂの周囲にアノテーション８があることを決定する（マーカ６とのとの関係において、アノテーション８のあるべき位置を決定する）。

【0078】

次に、ウエアラブルコンピュータ５２は、決定した位置（スイッチ４ｂの周囲）にアノテーション８が正しく表示されるように、現在の撮像画像に基づいて支援画像を修正する（ステップＳ５）。

【0079】

支援画像の修正処理について説明すると以下のとおりである。図８が、基準撮像画像におけるアノテーション８を示す図である。この基準撮像画像は、図１０Ｂの右側に示すような撮像範囲２にて撮像されたものである。

【0080】

もし、レーザプロジェクタ１２、カメラ１３が固定されているのであれば、基準撮像画像に含まれるマーカ画像により、レーザプロジェクタ１２（カメラ１３）とマーカ６との角度、距離を算出し、図１１Ａに示すようにアノテーション画像を補正すればよい。図１１Ａにおいて、破線で示すのがレーザプロジェクタ１２に入力可能な投影画像領域９である。実線が修正された支援画像の外枠である。矩形の支援画像を、実線に示すように変形して修正している。図１１Ａでは、支援画像の左上を左右に縮小し、左上を上下に縮小している。このような変形は、図１０Ｂ右側の撮像領域２に対応するものである。これに伴って、アノテーション８の画像も変形されて楕円になる。修正されたアノテーション画像は、図１１Ｂのようになる。

【0081】

修正されたアノテーション画像が、レーザプロジェクタ１２によって投影されると、アノテーション８が正しい位置（スイッチ４ｂの周り）に、意図した形状（円形）にて表示されることになる。なお、レーザプロジェクタ１２を用いた場合、アノテーション画像のある部分だけ照射を行うことができるので、その他の箇所には照射は行われず、アノテーション８を違和感なく表示させることができる。

【0082】

レーザプロジェクタ１２、カメラ１３が固定されているのであれば、上記のように修正を行うだけでよい。しかし、この実施形態では、レーザプロジェクタ１２、カメラ１３が作業者に取り付けられており、リアルタイムにその位置が変化することになる。このため、作業者との関係においては、アノテーション８が正しく表示されたとしても（たとえば、常に作業者の真正面に表示されたとしても）、スイッチ４ｂの周りに表示されない事態となってしまう。

【0083】

そこで、この実施形態では、作業者が動いたとしても、最新の撮像画像に含まれるマーカ画像に基づき、表示されるべき部位において安定的に表示されるようにアノテーション画像を修正している。たとえば、作業者が左側に移動した場合、図１２Ａに示すように、アノテーション画像の右側部分１５は削除するように修正を行う。したがって、修正されたアノテーション画像は図１２Ｂのようになる。これにより、作業者の移動にも拘わらず、アノテーション８はスイッチ４ｂの周りに表示されることになる。

【0084】

なお、作業者との距離や角度が変化した場合も、同様にアノテーション画像を修正することで、正しい位置に正しい形状でアノテーションを表示することができる。

【0085】

ウエアラブルコンピュータ５２は、このようにして修正されたアノテーション画像を、レーザプロジェクタ１２によって投影する（ステップＳ６）。このようにして、意図した位置に意図した形状でアノテーション８が表示される。

【0086】

以上の処理を繰り返すことで、アノテーション８を安定して表示させることができる。なお、支援側装置３０から新たに支援アノテーションの開始が送信されてくるまでは、ウエアラブルコンピュータ５２の側は、ステップＳ２、Ｓ３は行わなくともよい。

【0087】

1.4その他の例
(1)上記実施形態では、マーカ６の撮像画像を用いてレーザプロジェクタ１２（カメラ１３）と投影対象（マーカ６）との位置関係を推定するようにしている。しかし、マーカを用いずに、画像中の各特徴点との距離を深度センサや距離センサ等によって計測し、レーザプロジェクタ１２（カメラ１３）と投影対象の位置関係を推定するようにしてもよい。また、画像の特徴点との距離を深度センサや距離センサ等によって計測し、その特徴点の移動をオプチカルフローなどによって判断して、前記位置関係を推定するようにしてもよい。

【0088】

また、予め作業場所おける特徴点の画像を不揮発性メモリ６６に記憶しておき（あるいは支援側装置３０に記録しておいてダウンロードしても良い）、これをレーザプロジェクタ１２によって表示するようにしてもよい。このようにして、作業場所に表示されたスイッチの画像（特徴点の画像）４１ａ、４１ｂ、４１ｃを図１３に示す。画像４１ａはスイッチ４ａの画像、画像４１ｂはスイッチ４ｂの画像、画像４１ｃはスイッチ４ｃの画像である。

【0089】

図１３に示すように、実際のスイッチ４ａ、４ｂ、４ｃと投影された画像４１ａ、４１ｂ、４１ｃはずれている。作業者は、ウエアラブルコンピュータ５２のタッチパネル（図示せず）を操作し、画像４１ａ、４１ｂ、４１ｃをそれぞれ矢印の方向に移動させて（ドラッグして）、また、大きさを変更して（ピンチ操作をして）、実際のスイッチ４ａ、４ｂ、４ｃと合致させる。

【0090】

ウエアラブルコンピュータ５２は、当初の画像の設定値（方向、角度など）および上記の操作量に基づいて、レーザプロジェクタ１２（カメラ１３）と投影対象の位置関係を推定する。この場合も、マーカを用いる必要はない。

【0091】

(2)上記実施形態では、図形をアノテーションとして投影するようにしている。しかし、文字などをアノテーションとして投影するようにしてもよい。

【0092】

(3)上記実施形態では、複数の特徴点を持つマーカＭを用いている。しかし、特徴点が一つ（単純な丸印など）のマーカＭを複数個用いるようにしてもよい。この場合、各マーカＭの配置は、予め定められた位置に置くようにする。

【0093】

(4)上記実施形態では、レーザプロジェクタ１２を用いているが、通常のプロジェクタを用いてもよい。

【0094】

(5)上記実施形態では、補正手段１６は、レーザプロジェクタ１２と投影対象の位置関係を推定し、この推定した位置関係に基づいて、支援画像を補正するようにしている。しかし、以下のようにして補正を行ってもよい。投影部１２から撮像したマーカ６の画像も投影するようにし、投影されたマーカ６の画像と、実際のマーカ６が合致するように（撮像部１３の撮像画像によって確認できる）、投影部１２から投影する画像（支援画像およびマーカ６の画像）を補正する。

【0095】

(6)上記実施形態では、スイッチ４を対象として支援画像を表示するようにしている。しかし、支援画像を表示する対象は、表示器、コネクタなど、支援が必要な部位であればどこであってもよい。

【0096】

(7)上記実施形態では、支援画像の照射方向に人がいる場合であっても、支援画像を投影するようにしている。しかし、カメラ１３にて撮像した方向に人がいる場合、当該人の方向に対してはレーザを照射しないように制御してもよい。精度よく制御できるのであれば、当該人の目の位置を認識し、目の方向に対してはレーザを照射しないようにしてもよい。

【0097】

(8)上記実施形態では、人の首ににレーザプロジェクタ１２、カメラ１３を固定している。しかし、手首、頭などその他の人体の一部に固定するようにしてもよい。また、眼鏡、ベルト、ネックレスなどの部材を介して人体の一部に固定するようにしてもよい。

【0098】

(9)上記実施形態およびその他の例は、その本質に反しない限り、他の実施形態にも適用することができる。

【0099】

２．第２の実施形態
2.1システムの機能構成
図１４に、この発明の一実施形態によるナビゲーションシステムの機能構成を示す。ここでは、医師などが手術を行う際に、ナビゲーションを行う場合について説明する。

【0100】

レントゲン撮像部１３は、非可視光画像撮像部としてのレントゲン写真撮像装置である。非可視光画像撮像部としては、レントゲン写真撮像装置の他、ＰＥＴ装置、ＳＰＥＣＴ装置などを用いることができる。

【0101】

このレントゲン撮像部１３は、手術対象である患者の患部のレントゲン写真を撮像するものである。なお、この実施形態では、患者の患部に複数のマーカＭ（金属などレントゲン写真にて判別できるもの）を貼り付けるようにしている。図において、破線で示すのは撮像領域２である。

【0102】

投影部１２は、レントゲン撮像部１３によって撮像されたレントゲン写真を投影領域２（撮像流域２と重複している）に投影する。たとえば、撮像領域２が患者の関節であった場合、関節のレントゲン写真とともに撮像されたマーカＭが投影されることになる。

【0103】

撮像部１５は、可視光画像撮像部としての通常のカメラである。撮像部１５は、投影部によって投影されたマーカＭのレントゲン画像と、実際のマーカＭの双方を撮像する。

【0104】

補正手段１６は、撮像部１５の撮像画像に基づき、投影された複数のマーカＭの画像と患部に貼られた複数のマーカＭが合致するように、投影部１２に与える投影画像を修正する。このようにマーカＭの画像をマーカＭに合致させることにより、患部に投影されたレントゲン画像が、骨のある位置に合致して表示されることになる。また、骨の中に入った手術器具２１（たとえば手術用ドリル）の位置も、レントゲン写真として対応する位置に表示されることになる。

【0105】

患者が動いて患部が移動すると、マーカＭも移動するので、撮像部１３によって撮像されるレントゲン画像においてマーカＭの画像が変化することになる。補正手段１６は、マーカＭの画像がマーカＭと合致するように、推定された位置関係に基づいて、投影画像を補正する。これにより、患部が移動したとしても、それに追随して、骨のある位置に対応するようにレントゲン画像を表示することができる。

【0106】

したがって、医師は、このレントゲン画像によって骨と手術器具２１の関係を正しく把握し、手術を正確に行うことができる。

【0107】

2.2外観及びハードウエア構成
図１５に、医師による手術支援システム１１の使用状態を示す。手術台の上に患者が横たわっており、覆布１００がかけられている。覆布１００の一部には、開口部１０２が設けられ、患部が見えるようになっている。この患部のレントゲン写真を撮像するためのレントゲン撮像装置１３が設けられている。また、ほぼ同じ位置に、同じ方向を向いて、患部に対して投影を行うレーザプロジェクタ１２が設けられている。さらに、通常のカメラ１５が設けられている。なお、通常のカメラ１５は、少なくとも患部が撮像できることが必要であり、レントゲン撮像装置１３やレーザプロジェクタ１２と同じ位置・方向であることが好ましい。

【0108】

制御部１０４は、レントゲン撮像装置１３からのレントゲン画像を受けて、カメラ１５の撮像画像に基づいて、レントゲン画像を補正し、レーザプロジェクタ１２によって投影する。

【0109】

医師は、患部に投影された患部のレントゲン画像と手術用ドリルの先端部のレントゲン画像に基づいて、手術に必要な正しい位置に穴をあけることができる。

【0110】

図１６に、制御部１０４をコンピュータ１１０によって構成した場合のハードウエア構成を示す。ＣＰＵ１２０には、メモリ１２２、ハードディスク１２６、ＤＶＤ−ＲＯＭドライブ１２８、レーザプロジェクタ１２、レントゲン撮像装置１３、カメラ１５が接続されている。

【0111】

ハードディスク１２６には、オペレーティングシステム１３０、ナビゲーションプログラム１３２が記録されている。ナビゲーションプログラム１３２は、オペレーティングシステム１３０と協働してその機能を発揮するものである。これらプログラムは、ＤＶＤ−ＲＯＭ１３４に記録されていたものを、ＤＶＤ−ＲＯＭドライブ１２８を介して、ハードディスク１２６にインストールしたものである。

【0112】

2.3支援処理
手術や処置を行う際に、手術台１００の上に横たわった患者の患部に複数のマーカＭを貼り付ける。たとえば、大腿骨の手術を行う場合、大腿骨周辺の皮膚表面にマーカＭを貼り付ける。この実施形態では、マーカＭとして、レントゲン画像としてその他の部分と認識可能な材質（セラミックなど）を用いている。また、この実施形態では、第１の実施形態とは異なり、マーカＭとして複数の特徴点が認識可能なものではなく、全体を一つの特徴点として認識するためのものを用いている。したがって、複数のマーカＭ（少なくとも３つ）を用いることが必要である。

【0113】

図１７に、ナビゲーションプログラム１３２のフローチャートを示す。コンピュータ１１０のＣＰＵ１２０（以下、コンピュータ１１０と省略することがある）は、レントゲン画像撮像装置１３によって撮像された患部のレントゲン画像を取得する（ステップＳ５１）。さらに、カメラ１５によって撮像された患部の画像を取得する（ステップＳ５２）。

【0114】

コンピュータ１１０は、このレントゲン画像をレーザプロジェクタ１２によって患部に投影する（ステップＳ５４）。このレントゲン画像には、患部の骨のレントゲン画像だけでなく、マーカＭの画像も含まれることになる。

【0115】

ただし、マーカＭの画像は、実際の患部に貼られたマーカＭとは異なった位置に表示されることになる。そこで、コンピュータ１１０は、レントゲン画像に対応するカメラ画像を参照して、両者が合致するように制御を行う。すなわち、投影された複数のマーカＭのレントゲン画像が、それぞれ患部に貼られた対応する実際のマーカＭと合致するように、レントゲン画像を補正する（ステップＳ５３）。これにより、レントゲン画像による骨の画像と実際の骨の位置とを対応させることができる。

【0116】

一旦、マーカＭを合致させることができれば、患部が動いたとしても、以降はこのときの補正パラメータを用いてレントゲン画像を修正すれば、マーカＭの位置が合致することになる。もちろん、ずれが生じた場合には、再補正を行えばよい。

【0117】

以上のようにして、患部の皮膚表面にレントゲン画像が骨の位置に合致するように表示される。したがって、医師はこのレントゲン画像を見ながら位置を確認しつつ、手術用ドリル２１などで処置を行うことができる。また、手術用ドリル２１の先端のドリル部分は金属であることから、これもレントゲン画像に現れるので、正しい方向・位置に穴を開けることができているかどうかを確認することができる。

【0118】

2.4その他の例
(1)上記実施形態では、マーカＭを複数個患部に貼り付け、このレントゲン画像に基づいて、投影画像を修正するようにしている。しかし、特徴点の複数個ある１つのマーカＭ（第１の実施形態におけるマーカ６）を用いるようにしてもよい。マーカＭの各特徴点のレントゲン画像上の位置が、実際のマーカＭの特徴点に合致するように、投影画像を修正する。

【0119】

この場合、マーカＭの模様（たとえばＭの文字）は、レントゲン画像において区別できるような材質とすることが好ましい。たとえば、マーカＭの基板をプラスチック（レントゲン透過性材料）とし、模様をセラミック（レントゲン非透過性材料）としたり、マーカＭの基板を模様をセラミック（レントゲン非透過性材料）とし、プラスチック（レントゲン透過性材料）としたりすることができる。

【0120】

(2)上記実施形態では、レントゲン画像を用いた場合について説明したが、ＰＥＴ画像、ＳＰＥＣＴ画像についても同じように適用することができる。この場合、マーカＭは、ＰＥＴ画像、ＳＰＥＣＴ画像などで区別可能となるような材質を用いるようにする。

【0121】

(3)上記実施形態では、レントゲン撮像装置１３とは別にカメラ１５を設けるようにしている。しかし、カメラ１５を設けずに、レントゲン画像の補正を行うようにしてもよい。

【0122】

この場合、第１の実施形態と同じように、複数の特徴点が既知であるマーカや定められた間隔・位置に複数のマーカを配置するようにする。このようにすれば、レントゲン画像に基づいて、レーザプロジェクタ１２から患部までの位置関係を推定し、推定した位置関係に基づいて、患部の皮膚表面にレントゲン画像が骨の位置に合致して表示されるように、レントゲン画像を補正することができる。

【0123】

(4)上記実施形態では、作業者にカメラ１３、レーザプロジェクタ１２を固定しているが、ロボット、車などに固定するようにしてもよい。また、柱など移動しないものにカメラ１３、レーザプロジェクタ１２を固定してもよい。

【0124】

(5)上記実施形態では、投影画像を補正することによって位置合わせを行うようにしている。しかし、レーザプロジェクタ１２またはレントゲン撮像装置のいずれか一方のみを移動（方向・位置などの移動）させることで位置合わせを行うようにしてもよい。この場合、自動で位置合わせを行ってもよいし、手動で位置合わせを行ってもよい。

【0125】

(6)上記実施形態およびその他の例は、その本質に反しない限り、他の実施形態にも適用することができる。

【0126】

３．第３の実施形態
3.1システムの機能構成
図１８に、この発明の一実施形態によるナビゲーションシステム２７の機能構成を示す。投影対象２は、たとえば機器のパネルなどである。図１８に示す例では、投影対象２である機器のパネルには、コネクタ５ａやＬＥＤ表示器５ｂなどが設けられている。この実施形態では、マーカは設けられていない。ここでは、作業者に対して、パネルに設けられているコネクタなどの説明をナビゲーションする場合の動作について説明する。

【0127】

投影部１２は、たとえば、作業者の頭部に装着されたレーザプロジェクタなどであり、投影対象２に対して投影を行うものである。ここでは、コネクタ５ａやＬＥＤ表示器５ｂに関して、それを説明するアノテーション８ａ、８ｂを投影するものとする。この投影部１２と同じ位置、同じ向きに撮像部１３が装着されている。したがって、撮像部１３は、投影部１２による投影対象２を撮像することになる。なお、この実施形態では、撮像部１３は、通常のカメラを用いている。

【0128】

ナビゲーションシステム２７には、予め、コネクタ５ａやＬＥＤ表示器５ｂなどの画像（正面から見た画像）に対応付けて、当該画像およびその説明が支援画像２３として記録されている。

【0129】

支援画像選択手段２１は、撮像したパネルの画像中に、予め記録しているコネクタ５ａやＬＥＤ表示器５ｂなどの画像と合致するものを見いだす。さらに、見いだした画像に対応する、支援画像２３（画像および説明）を読み出して、補正手段１６に与える。

【0130】

補正手段１６は、投影部１２によって投影された画像（たとえばコネクタ５ａの画像）が、パネル上にある実際の要素（たとえばコネクタ５ａ）に合致して表示されるように、支援画像２３を補正する。

【0131】

したがって、それぞれ、コネクタ５ａやＬＥＤ表示器５ｂなどに関連づけて、正しい位置に支援画像２３の説明８ａ、８ｂが表示される。

【0132】

このようにして、作業者の動きに拘わらず、作業者が見ているパネル上の要素について、その説明を要素に対応付けて安定して表示することができる。

【0133】

3.2外観及びハードウエア構成
図１９に、作業側装置であるウエアラブルコンピュータ５２を装着した作業者５０を示す。作業者５０は、修理や保守などの作業対象である機器９の前に到着すると、首にウエアラブルコンピュータ５２を装着する。

【0134】

ウエアラブルコンピュータ５２の外観は図３に示すとおりである。また、ハードウエア構成は、図４に示すとおりである。なお、不揮発性メモリ６６には、支援プログラム７１が記録されている。

【0135】

3.3支援処理
図２０に、支援プログラム７１のフローチャートを示す。ウエアラブルコンピュータ５２のＣＰＵ６０（以下、ウエアラブルコンピュータ５２と省略することがある）は、カメラ１３の画像を取得する（ステップＳ６１）。ウエアラブルコンピュータ５２は、このカメラ画像を２値化し、クラスタリングを行って要素画像に分割する（ステップＳ６２）。したがって、カメラ画像中から、パネルにあるスイッチ、コネクタ、表示器、つまみ、ボタンなどの要素画像を抽出することができる。

【0136】

次に、ウエアラブルコンピュータ５２は、抽出した画像要素が、予め記録されている画像と合致するものがあるかどうかを判断する（ステップＳ６４）。

【0137】

ウエアラブルコンピュータ５２の不揮発性メモリ６６には、図２１に示すように、予めいくつかの機器のパネルにある要素の画像が記録されている。対応する要素画像が見いだされなければ、ウエアラブルコンピュータ５２は、抽出した次の要素画像について同じ処理を繰り返す。

【0138】

対応する要素画像が見いだされれば、ウエアラブルコンピュータ５２は、当該要素画像に対応して記録されている支援画像を読み出す（ステップＳ６５）。この実施形態では、当該要素に対する説明の画像だけでなく要素画像そのものも、支援画像に含めるようにしている。これは、要素画像を投影することによって位置合わせを行うためのである。

【0139】

以上の処理を繰り返し、抽出した要素画像に対応する要素画像があれば、支援画像を読みだす。抽出した全ての要素画像に対する処理を終了すると、ウェアラブルコンピュータ５２は、読み出した各要素の支援画像を一つの支援画像にまとめる。この際、各支援画像に対応づけて記録されている他の要素画像との位置関係（項目名「関連」）のデータに基づいてまとめる。「関連」の項目には、近傍の要素画像の代表点（右下の特徴点など）と当該要素画像の代表点との関係が座標によって示されているので、これに基づいて複数の支援画像を一つにまとめる。

【0140】

続いて、ウエアラブルコンピュータ５２は、このようにして生成した支援画像をレーザプロジェクタ１２から投影する（ステップＳ６８）。投影された支援画像には、コネクタなどの要素画像が含まれている。この要素画像と、実際の要素（コネクタなど）とはずれて表示されることになる。

【0141】

そこで、ウエアラブルコンピュータ５２は、投影された要素画像と実際の要素が合致するように、支援画像を補正する（ステップＳ６７）。したがって、支援画像に含まれる説明画像が、実際の要素との関係において正しく表示されることになる。

【0142】

また、作業者が移動したり頭を動かしたりしても、支援画像は正しい位置に固定されて表示されることになる。

【0143】

3.4その他の例
(1)上記実施形態では、複数の要素に対して同時に支援画像（説明画像）を表示するようにしている。しかし、カメラ画像の最も中心に近い位置にある要素に対してのみ支援画像（説明画像）を表示するようにしてもよい。この場合、支援画像をまとめて一つ支援画像にする必要はない。

【0144】

(2)上記実施形態では、作業者にカメラ１３、レーザプロジェクタ１２を固定しているが、ロボット、車などに固定するようにしてもよい。また、柱など移動しないものにカメラ１３、レーザプロジェクタ１２を固定してもよい。

【0145】

(3)上記実施形態では、マーカや特徴点を用いずに支援画像の位置合わせを行っている。しかし、第１の実施形態や第２の実施形態に示すように、マーカを用いて位置合わせを行うようにしてもよい。

【0146】

(4)上記実施形態およびその他の例は、その本質に反しない限り、他の実施形態にも適用することができる。

【0147】

４．第４の実施形態
4.1システムの機能構成
図２２に、この発明の第４の実施形態による表示システムの機能構成を示す。撮像部１３は投影対象２を撮像する。投影対象２には、柱３３による凹凸があり、上部には模様３１が描かれている。補正手段１６は、撮像画像に基づいて、模様がなく平坦な部分を見いだす。さらに、投影画像が当該平坦で模様のない部分に表示されるように、投影画像データを補正する。投影部１２は、補正された投影画像データを投影する。

【0148】

したがって、投影画像であるアノテーション８は、平坦で模様の無い部分に表示される。このようにして、投影画像データを補正することで、より見やすい位置にアノテーション８を表示することができる。

【0149】

4.2外観及びハードウエア構成
ウエアラブルコンピュータ５２の外観は図３に示すとおりである。また、ハードウエア構成は、図４に示すとおりである。なお、不揮発性メモリ６６には、表示プログラム７３が記録されている。

【0150】

4.3表示処理
図２３に、表示プログラム７３のフローチャートを示す。ウエアラブルコンピュータ５２のＣＰＵ６０（以下、ウエアラブルコンピュータ５２と省略することがある）は、カメラ１３の画像を取得する（ステップＳ７１）。次に、撮像画像に基づいて、平坦で模様の無い部分を決定する（ステップＳ７２）。たとえば、これは、コントラストが一様な部分あるいは濃度が一様な部分を選択することによって決定することができる。

【0151】

たとえば、投影対象２が、図２４に示すように、柱３３の凸部があり、模様部分３１があるとする。柱３３の部分は、その境界において影ができるので濃度が一様とならない。また、模様部分３１も濃度が一様でない。したがって、これらの領域を除いた部分が、平坦・無模様の領域とされる。なお、日光の当たっている部分と、日光の当たっていない部分がある場合、別の領域として認識される。

【0152】

ウエアラブルコンピュータ５２は、投影画像がこれら平坦・無模様の領域のうち、最も投影範囲の中心に近い領域を表示のための領域と決定する。決定した領域に投影画像８が投影されるように、投影画像データを補正する（ステップＳ７３）。このようにして補正した投影画像データを、レーザプロジェクタ１２から表示する（ステップＳ７４）。

【0153】

4.4その他の例
(1)上記実施形態では、マーカＭを用いていないが、マーカＭの撮像画像を用いて投影画像データを補正するようにしてもよい。

【0154】

(2)上記実施形態では、平坦・無模様部分に投影画像を表示するようにしている。これに加えて、あるいはこれとは別に、投影画像の色が区別できる色を持つ領域（たとえば補色関係にある色を持つ領域）に投影画像を表示するように制御してもよい。また、投影画像を投影すべき領域の色をカメラ画像から取得し、当該領域の色と、投影画像の色が同じような色で区別がつきにくい場合には、投影画像の色を区別がつきやすい色に補正するようにしてもよい。

【0155】

(3)上記実施形態およびその他の例は、その本質に反しない限り、他の実施形態にも適用することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】