特許 5749319 センサの位置合わせ用携帯端末機

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5749319

(24)【登録日】2015年5月22日

(45)【発行日】2015年7月15日

(54)【発明の名称】センサの位置合わせ用携帯端末機

(51)【国際特許分類】

   H04N 5/232 20060101AFI20150625BHJP

   G01B 11/00 20060101ALI20150625BHJP

   G06F 3/048 20130101ALI20150625BHJP

   H04N 5/225 20060101ALI20150625BHJP

【ＦＩ】

   H04N5/232 Z

   G01B11/00 H

   G06F3/048 656A

   G06F3/048 653A

   H04N5/225 F

   H04N5/225 Z

【請求項の数】15

【全頁数】11

(21)【出願番号】特願2013-238752(P2013-238752)

(22)【出願日】2013年11月19日

(65)【公開番号】特開2014-107867(P2014-107867A)

(43)【公開日】2014年6月9日

【審査請求日】2013年11月19日

(31)【優先権主張番号】10 2012 111 345.9

(32)【優先日】2012年11月23日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】591005615

【氏名又は名称】ジック アーゲー

(74)【代理人】

【識別番号】110001069

【氏名又は名称】特許業務法人京都国際特許事務所

(72)【発明者】

【氏名】ラインハルト ハイツマン

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 実開平０３−０５６０９４（ＪＰ，Ｕ）

【文献】 国際公開第２００４／０３６１４５（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０１Ｂ １１／００ −１１／３０

Ｇ０１Ｓ ７／００ − ７／５１

Ｇ０１Ｓ １３／００ −１３／９５

Ｇ０１Ｓ １７／００ −１７／９５

Ｇ０６Ｆ ３／０１ ， ３／０４８− ３／０４８９

(57)【特許請求の範囲】

【請求項1】

現在の位置合わせ状態を示す重畳画像を示すためのディスプレイ（１０４）を備えた、センサ（１０）の位置合わせのための携帯端末機（１００）であって、前記重畳画像が、前記センサ（１０）の監視領域（１８）の視界画像および前記センサ（１０）によって生成される光点（２２）の位置の目標表示（１１６）に基づいており、
前記端末機（１００）が、該端末機（１００）の外部にある前記センサ（１０）から前記視界画像および前記視界画像内の前記光点（２２）の位置に関する情報を受信するためのインターフェース（１０８）と、前記重畳画像を生成するための融合部（１１４）とを備えていることを特徴とする、端末機（１００）。

【請求項2】

前記監視領域（１８）の追加の視界画像を撮影するための独自の画像センサ（１１０）を備え、
前記融合部（１１４）が、前記追加の視界画像にも基づいて前記重畳画像を生成するように構成されている、請求項１に記載の端末機（１００）。

【請求項3】

前記融合部（１１４）が、前記追加の視界画像内の前記光点（２２）の位置を確定するために、前記センサ（１０）の前記視界画像と前記独自の画像センサ（１１０）の前記追加の視界画像とを互いに一致させるように構成されている、請求項２に記載の端末機（１００）。

【請求項4】

姿勢および／または加速度センサ（１１２）を備え、
前記融合部（１１４）が、前記端末機（１００）の方位および／または位置の変化を測定し、前記重畳画像への前記目標表示（１１６）の融合の際に前記方位および／または位置の変化を考慮するように構成されている、請求項１から３のいずれか一項に記載の端末機（１００）。

【請求項5】

位置センサ（１１２）を備えており、
前記融合部（１１４）が、前記位置センサ（１１２）によって測定される前記端末機（１００）の位置を、前記重畳画像への前記目標表示（１１６）の融合の際に考慮するように構成されている、請求項１から４のいずれか一項に記載の端末機（１００）。

【請求項6】

前記融合部（１１４）が、前記重畳画像から前記センサ（１０）の視点を逆算するように構成されている、請求項１から５のいずれか一項に記載の端末機（１００）。

【請求項7】

物体（２０）に当たる際に光点（２２）を生成する光信号（１６）を投射するための投光器（１２）と、監視領域（１８）の少なくとも一部の視界画像を撮影するための画像センサ（２６）と、前記視界画像内の前記光点（２２）の位置を確定するための光点位置確定部（３４）とを備えた、前記監視領域（１８）内の前記物体（２０）を検出するための光電センサ（１０）であって、
前記センサ（１０）が、前記視界画像と前記光点（２２）の位置とを出力するためのインターフェース（３２）を備えていることを特徴とする、センサ（１０）。

【請求項8】

前記光点位置確定部（３４）が、前記光点（２２）の位置を予め保存しておくための記憶装置を備えている、請求項７に記載のセンサ（１０）。

【請求項9】

前記光点位置確定部（３４）が、画像処理を用いて前記光点（２２）の位置を確定するように形成されている、請求項７または８に記載のセンサ（１０）。

【請求項10】

前記インターフェース（３２）への出力に向けて前記視界画像を準備するための前処理部（２８）を備えている、請求項７から９のいずれか一項に記載のセンサ（１０）。

【請求項11】

請求項１から６のいずれか一項に記載の携帯端末機（１００）と、請求項７から１０のいずれか一項に記載の光電センサ（１０）と、
を備え、
前記携帯端末機（１００）を用いて、前記光電センサ（１０）の位置合わせが行われるシステム。

【請求項12】

前記センサ（１０）の前記インターフェース（３２）および前記端末機（１００）の前記インターフェース（１０８）が、無線インターフェース（３２、１０８）である、請求項１１に記載のシステム。

【請求項13】

監視領域（１８）内の物体（２０）を検出するためのセンサ（１０）の位置合わせ方法であって、現在の位置合わせ状態を示す重畳画像が端末機（１００）に表示され、該重畳画像が、前記監視領域（１８）の少なくとも一部と前記センサ（１０）によって生成される光点（２２）の位置の目標表示（１１６）とを示すような方法において、
前記センサ（１０）が、前記監視領域（１８）の視界画像を撮影し、前記視界画像内の前記光点（２２）の位置を確定し、前記視界画像と前記位置とを前記端末機（１００）に転送し、前記端末機（１００）が、前記視界画像と前記位置とに基づいて前記重畳画像を生成および表示することを特徴とする、方法。

【請求項14】

前記端末機（１００）が、前記監視領域（１８）の追加の視界画像を撮影し、前記追加の視界画像内の前記光点（２２）の位置を確定するために、前記センサ（１０）の前記視界画像と前記追加の視界画像とを互いに一致させ、前記端末機（１００）がさらに前記目標表示（１１６）が重畳された前記追加の視界画像を重畳画像として表示する、請求項１３に記載の方法。

【請求項15】

前記端末機（１００）が、第一の時点において、前記センサ（１０）に対して既知の位置および方位に移動され、姿勢、加速度、および／または位置センサ（１１２）のデータに基づいて、第二の時点における前記センサ（１０）に対する位置および方位が測定され、それにより、前記端末機（１００）の移動によって前記第一の時点と前記第二の時点との間に生じた視点の変化が、前記重畳画像への前記目標表示（１１６）の融合の際に考慮される、請求項１３または１４に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、請求項１、請求項７、および請求項１３のプリアンブルにそれぞれ記載の、センサの位置合わせのための携帯端末機、監視領域内の物体を検出するための光電センサ、および携帯端末機を用いた検出のためのセンサの位置合わせ方法に関する。

【背景技術】

【0002】

多くの光電センサは、光線を投射し、その監視領域内の物体によって反射される自身の投光を評価する。このようなセンサでは、投光が物体上に生成する光点をセンサの目的に適した位置へ移動させる際に、非常に正確な位置合わせが要求される場合が多い。そのようにして、例えば、反射型光バリアがその反射器に向けて、またはデータ光バリアがその対向素子に向けて、また光格子では送信バーが受信バーに向けて位置合わせされ、距離スキャナでは測定対象の物体の探索やレーザ・スキャナの監視平面の設定が成される。

【0003】

投光が十分に視認可能な光点を残せば、位置合わせを比較的容易に目視で行うことができる。しかし、遠方から光点を十分に認識できる程光点の強度が十分であるとは限らず、また、とりわけ多くのセンサが、例えば赤外領域または紫外領域の不可視光を利用している、という２つの理由により、そうではない場合が多い。

【0004】

そのため、従来技術において多数の位置合わせ補助装置が知られている。ある従来の解決法では、センサが受信レベルを表示するとともに、可能であれば、位置感応型受光器を用いて、位置合わせを改善するためにセンサをどの方向に向けるべきかを指示する。光格子またはデータ光バリアにおけるような自己発光式の対向素子の場合には、受信強度に関するフィードバックを与えることができる。別の解決方法では、元々ある投光器に対して平行に可視光を発する追加のパイロット投光器、またはレチクル（十字線）を設けること等によって、光点をより見えやすくすることを試みている。さらに、固定された光線方向を前提とし、センサを実際の光点とは無関係に位置合わせすることが考えられる。これには、照門および照星を介したセンサの照準補助装置、または水準器の使用が役立ち得る。

【0005】

これらの解決法の多くは、その時々のセンサタイプに特別に適合させなければならない。このため、センサの開発および製造のための費用が必要になる。それにもかかわらず、操作性が依然として限られている。

【0006】

携帯無線装置について、それ自身のカメラでいわゆる拡張現実画像を表示することが知られている。この方法では、ライブ画像上に追加情報が融合される。この種の技術は、例えば住宅見学会または太陽光発電施設計画のために、任意に選択可能な一年中のある日の太陽軌道を表示する、というように応用されている。しかし、センサの位置合わせにこれを応用することは想定されておらず、適切ではない。

【0007】

また、既知のカメラでは、選択可能な焦点領域が画像探索時に表示され、加えてその領域の一部が距離センサによって精確に測定される。しかし、これはせいぜいカメラ自体の位置合わせに役立つ程度であり、外部の光電センサの位置合わせの際には全く役に立たない。

【発明の概要】

【発明が解決しようとする課題】

【0008】

したがって、本発明は、光電センサの位置合わせを改善することを課題とする。

【課題を解決するための手段】

【0009】

この課題は、請求項１、請求項７、および請求項１３にそれぞれ記載の、センサの位置合わせのための携帯端末機、監視領域内の物体を検出するための光電センサ、および携帯端末機を用いた検出のためのセンサの位置合わせ方法によって解決される。本発明は、位置合わせに必要なセンサの評価および表示を携帯端末機に担わせる、という基本思想に基づいている。このために、本発明は一方で、センサの視界画像および視界画像内の光点の位置をセンサから受信し、これらに基づいて、視界とセンサによって生成される光点の位置の目標表示との重畳画像を生成し、該画像において位置合わせ状態を可視化することができる携帯端末機を備えている。他方で、その視界画像および視界画像内の光点の位置を携帯端末機に供給するための付属のセンサが提示される。本明細書では、携帯端末機を、ノートパソコンまたはタブレット、および、特に携帯無線装置あるいはスマートフォンのような、最も広い意味での可搬式コンピュータとして理解することとする。

【0010】

本発明には、センサの位置合わせが大幅に容易になるとともに、特殊なセンサについての特別な知識を必要としない、特に直感的で、操作性が良く、汎用性のある位置合わせ補助装置によって支援されるという利点がある。良好な使用感、高度な演算能力、および高解像度の表示は、センサによってではなく、端末機によって実現される。その時々の最新のハードウェアのこのような端末機は、大抵センサから独立して入手できる。センサはその演算能力および可視化機能の点で極めて簡素かつ低コストであり、そのまま長年にわたって使用し続けることができる一方、位置合わせ手段は最新の状態にできるので、使用者は、センサが古くなったと感じることなどなく、容易に素早く快適に操作することができる。使用者は、スマートフォンのような使い慣れた独自の端末を用いて位置合わせを行うことさえでき、未知の技術を習得する必要は全くない。携帯式の家庭用電子機器における進歩との理想的な相乗効果が生じ、この進歩をセンサの発展から分離して利用することができる。

【0011】

好ましくは、端末機は、監視領域の追加の視界画像を撮影するための独自の画像センサを備えており、融合部が、その追加の視界画像にも基づいて重畳画像を生成するように構成されている。つまり、端末機は、独自のカメラを使用して独自の視界を撮影する。このカメラは大抵の携帯機に元々搭載されており、高性能および高分解能を有しているので、センサが使用者に供給する視界画像は良好でなくてもよい。このため、比較的低性能な、したがって安価な画像センサで間に合わせることができる。というのは、センサの視界画像は、端末機の独自のカメラによる追加の視界画像内の光点の位置を適合させるためのみに、そして場合によってはさらに、追加の視界画像の画像品質を空隙の充填または画像領域の妥当性確認によって向上させるためのみに使用されるからである。

【0012】

端末機の画像センサが光点の波長に対して感度を有していない場合、共に示される光点の画像情報自体をセンサの視界画像から取り出してもよい。端末機は、追加の視界を撮影するために、センサとほぼ同じ視点で撮影しなければならない。しかし、好適な実施形態では、融合部が残存する視差を算出するので、これに関して過度の正確性が使用者に要求されることはない。

【0013】

好ましくは、融合部は、追加の視界画像内の光点の位置を確定するために、センサの視界画像と独自の画像センサの追加の視界画像とを互いに一致させるように構成されている。最も単純な場合には、次のことが想定される。つまり、センサの視界画像の画像領域と端末機の独自の画像センサの追加の視界画像の画像領域とが互いに一致し、その結果、追加の視界画像において目標表示が重畳される位置と、センサがその独自の視界画像について確定した位置とがぴったり一致する。

【0014】

移動、回転、および拡大縮小のような操作によって、センサの視界画像が端末機の画像センサの追加の視界画像に組み込まれることにより、両方の視界画像の整合性が著しく高まる。これは、例えば両方の視界画像の相関付けによって達成されるが、この相関付けを画像全体ではなく、画像内で選択された特徴部分または関心領域（ＲＯＩ、ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）に限定することもできる。その後については、センサの視点を端末機の視点に変換し、この変換規則を利用して追加の視界画像内の正しい位置に目標表示を融合する操作が知られている。

【0015】

端末の画像センサが光点の波長に対して感度を有していれば、画像処理によって直接光点の位置を特定することを試みることができる。その際に確定される光点の位置は、両方の視界画像を整合させる際の開始点として、あるいは妥当性確認のために使用することができる。

【0016】

好ましくは、端末機は、姿勢および／または加速度センサを備えており、融合部は、端末機の方位および／または位置の変化を測定し、重畳画像への目標表示の融合の際にこの変化を考慮するように構成されている。この種のセンサは、多くの高価な携帯無線装置にとっては装備の一部となっている。これを用いれば、最初にセンサと端末機との間で位置および方位を調整し、それに基づいてその後の端末機の移動を積算することにより、センサに対する端末機の現在の視点についての情報を得ることができる。これにより、光点の位置を端末機の現在の位置および方位に換算することができる。

【0017】

好ましくは、端末機は位置センサを備えており、融合部は、位置センサによって測定された端末機の位置を、重畳画像への目標表示の融合の際に考慮するように構成されている。例えば、位置検出はＧＰＳ、ガリレオ（欧州の全地球測位衛星システム）、または同等の、場合によっては外部または内部用の独自システムによっても行われる。位置センサが方位を検出しなければ、姿勢センサを追加してもよい。センサの位置および方位が分かっている場合（事実、これはセンサと端末機が物理的に接触している間に端末機の位置センサを用いてティーチングにより測定することができる）、検出された現在位置は、目標表示を重畳画像内の正しい位置に移動させるための別の選択肢である。

【0018】

相関付けによる画像融合、姿勢および／または加速度センサによる、センサと端末機との間の経路の測定、および位置センサによる端末機の現在位置の測定は、センサおよび端末機の視点を互いに変換して重畳画像内に目標表示を正しく表示するための、３つの可能手段である。これらの手段を互いに組み合わせることによって、より正確な結果を得たり、エラーを発見したりすることができる。

【0019】

好ましくは、融合部は、重畳画像からセンサの視点を逆算するように構成されている。この場合、端末機の画像センサのより高品質な追加の視界画像が表示されるが、これがあたかもセンサの視点から撮影されたかのように表示される。視差は、例えば前段落において要約した方法を用いて測定される。しかし、そのためには、センサと端末機の視点が大きく違っていてはならない。さもなければ、あまり適切ではない画像情報が使用されることになる。しかし、少なくとも、光点の位置に心合わせされたセンサの視界画像との重畳画像を表示することが可能であり、この重畳画像を、端末機の画像センサの画像情報を用いて、端末機の視点に応じて改善することができる。

【0020】

本発明による、監視領域内の物体を検出するためのセンサは、物体に当たる際に、投光器を用いて、好適には可視スペクトル外の、または人間の目では見えない、またはほとんど認識できない程に、広がりが小さいあるいは低強度の投光を用いて光点を生成する。そうでなければ、人間が光点自体を位置合わせに直接利用することが可能であろう。センサは視界画像を撮影し、自身の視界画像に関して光点の位置を測定または認識し、本発明による端末機において使用するために視界画像および位置を出力する。センサは、例えば、距離スキャナまたは光バリア、特にデータ光バリアのような、単一光線システムである。しかし、レーザ・スキャナまたは光格子のような、他のセンサも考えられる。センサは位置合わせのためにわずかなハードウェア機器のみを必要とし、独自のディスプレイ・ドライバ、高価なディスプレイ、または高分解能の画像センサを必要とせず、しかも、全ての複雑な評価を端末内で行うことができるので、演算能力を実質的に必要としない。当然ながら、これにより、センサにもそのようなハードウェア機器が備えられることを除外するものではない。

【0021】

好ましくは、光点位置確定部は、光点の位置を予め保存しておくための記憶装置を備えている。センサは、これを用いて自身に対する投光器の位置合わせ状態を認識し、それにより、視界画像を撮影するための自身の画像センサに対する位置合わせ状態をも認識する。この自身の位置合わせは、公差モデルによって簡単に確定することができるが、公差モデルでは、センサの型式によってそれ自身の位置合わせが確定されることが究極的に仮定される。その際に生じる公差をより正確に把握したい場合は、製造過程中または最終検査時のセンサ部品の調整の際に初期ティーチングを行うことも可能である。ここでは、専門家によって定義された周囲条件および標準化された方法が与えられているので、簡単で直感的な方法はそれほど重要ではない。これに対して、本発明が取り組む位置合わせは、好適にはセンサそのものではなく、センサの使用時の周囲に対する位置合わせに関する。

【0022】

好ましくは、光点位置確定部は、画像処理を用いて光点の位置を確定するように構成されている。センサは、その物体検出の目的を果たすために、可視スペクトル外の投光においても必然的に光点を検出することができる。ただし、そのために、必ずしも画像センサを使用して視界画像を撮影しなければならないというわけではない。しかし、この画像センサが光点に対して感度を有している場合、画像処理によって、視界画像から端末機へ出力すべき量として要求される光点の位置を、センサ独自の視野について、つまりセンサの視界画像に対して決定することができる。

【0023】

センサが距離測定を行うように設計されていれば、保存された、ティーチングされた、または測定された光点の位置は、さらにその時々の物体距離との依存関係を示すものであってもよい。つまり、個々の位置ではなく、距離に依存した関数が用意される。

【0024】

好ましくは、センサは、インターフェースへの出力に向けて視界画像を準備するための前処理部を備えている。その場合、これには多少の内部演算能力が要求されるが、必要な帯域幅を低減する助けとなる。この種の前処理の例としては、圧縮、２値化、関心領域への限定、特に、光点または特徴的な物体、またはおそらく端末機の融合アルゴリズムから認識可能である画像の特徴部あるいは物体の縁部を有する領域への限定が挙げられる。

【0025】

有利な発展形態では、本発明による光電センサを本発明による携帯端末機を用いて位置合わせするための配置が与えられている。その場合、センサおよび端末機のインターフェースは、好適には無線である。このために、Ｂｌｕｅｔｏｏｔｈ、３Ｇ、ＬＴＥ、ＷＬＡＮ、ＩＲ等のような、事実上全ての既知のおよび将来適用される規格が考慮の対象となる。携帯端末機にはもとより大抵多数のこの種のインターフェースが備えられているので、目的にかなった選択をセンサに対して行うことができる。

【0026】

本発明による方法は、同様にさらなる特徴によって構成することができ、その際も同様の利点を発揮する。このようなさらなる特徴は、完結的ではなく例示的に、独立請求項に続く従属請求項に記載されている。

【0027】

以下では本発明を、実施例に基づき、添付図面を参照しながら、さらなる利点および特徴の観点も含めて説明する。

【図面の簡単な説明】

【0028】

【図1】センサおよびセンサの位置合わせを補助するための端末機の概略図である。

【図2】図１による端末機に表示された、センサの視界とセンサの光点の目標表示との重畳画像の例である。

【図3】端末機に表示された重畳画像のさらなる例である。

【図4】端末機に表示された重畳画像のさらなる例である。

【発明を実施するための形態】

【0029】

図１は、センサ１０およびセンサ１０の位置合わせを補助するための端末機１００の概略図である。図示のセンサ１０は、光伝播時間の原理に従った単一光線の距離センサ形式のレーザ測定装置である。しかし、本発明による位置合わせは、具体的なセンサ原理またはセンサ構造に依存しないので、このタイプのセンサを単に例示的なものとして理解するべきである。つまり、距離スキャナの代わりに、導入部でそのいくつかを挙げた他のセンサ、特に、三角測量原理に従った距離スキャナ、光バリア、データ光バリア、レーザ・スキャナ、または光格子も考慮の対象となる。

【0030】

センサ１０は、光源１２、例えばレーザ・ダイオードまたはＬＥＤを用いて、投射光学系１４を介して、投射光線１６を監視領域１８内へ投射する。多くの場合、センサ１０は、人間の目には見えない波長を利用するので、物体２０に衝突した際に発生する光点２２を裸眼で認識することはできない。物体２０に当たって拡散反射される光は、受光光学系２４を介して受光器２６上に入射する。その際、投光器１２の光軸と受光器２６の光軸との間の位置ずれは、図示上は比較的大きく見えるが、これは実用においてはほとんど問題とならない。加えて、スプリッタ・ミラーを備えたオート・コリメーション配置のような、投光器１２および受光器２６の他の既知の配置原理も考えられる。

【0031】

センサはさらに、投光器１２と受光器２６とに接続された制御評価部２８を含んでいる。受光器２６によって生成される受光信号は評価部２８へ導かれ、評価部２８は、その受光信号から、既知の方法で投射光線１６の投射と拡散反射光の記録との間の光伝播時間を測定することによって、物体２０までの距離を測定する。２値の物体検出信号のような、他の評価も可能である。評価結果は、評価部２８によって出力３０に供給される。

【0032】

前記センサ機能は、センサ１０が所望の監視領域１８上に位置合わせされるということに基づいている。例えば、投射光線１６は、監視領域１８内に物体がなければ不図示の反射器に当たる。

【0033】

センサ１０は、位置合わせを支援するために、評価部２８を用いて監視領域１８の視界画像を、好適には無線であるインターフェース３２へ出力する。この視界画像は、画像センサとして構成された受光器２６によって生成される。あるいは、センサ１０に２つの個別の受光器、すなわち、視界画像撮影用の画像センサおよび物体検出用の受光器を設けてもよい。

【0034】

評価部２８は、さらなる情報として、視界画像内の光点の位置をインターフェース３２へ出力する。評価部はこのために光点位置確定部３４を備えている。これは、最も単純な場合には、センサ１０の型式に依存する光点位置のための単なる記憶装置であって、この光点位置が個別のセンサ１０にも採用される。代替として、光点位置は、製造または最終検査の枠内のティーチング工程において保存され、または画像処理によって視界画像から測定される。光点位置確定部は、位置に加えて、光点の形状またはサイズを測定および出力することができる。

【0035】

端末機１００、例えばスマートフォンは、目に見える部品として例示的に２つの操作ボタン１０２とディスプレイ１０４とを含んでいる。プロセッサ１０６は操作ボタン１０２での入力を評価し、ディスプレイ１０４に対して必要なデータを生成する。無線インターフェース１０８を介して、センサ１０の視界画像および光点位置を受信することができる。オプションとして、端末機１００には独自のセンサが設けられる。これには、自身のカメラ１１０および姿勢、移動、または／および位置センサ１１２が含まれる。端末機１００の内部または裏側に位置する要素は破線で示されている。

【0036】

融合部１１４は、センサ１０の情報、およびいくつかの実施形態ではこれに加えて自身のセンサ１１０、１１２の情報をつなぎ合わせて、物体２０および目標表示１１６を有するセンサ１０の視界の重畳画像を得る。この重畳画像は、センサ１０の光点２２の位置に基づいた現在の位置合わせ状態を使用者に対して可視化するために、ディスプレイ１０４に表される。

【0037】

端末機１００の装備、センサ１０によって供給される視界画像の品質、および光点位置の精度によっては、様々な実施形態が考えられるが、以下ではこれらをディスプレイ１０４に表示された例示的な重畳画像に基づいて説明する。その際、物体２０としてそれぞれ反射器が示されるが、これは例示のために過ぎず、本発明をこの例に限定するものではない。

【0038】

図２は、端末機１００がセンサ１０のディスプレイとしてのみ使用される実施形態のディスプレイを示している。光点位置確定部３４は、公差モデルを介して光点位置の信頼領域を決定するが、この公差モデルは、投光器１２の光軸と受光器２６の光軸との内部公差、および、受光器２６に画像センサと受光器という２つの構成要素が設けられている場合には両者の内部公差をも考慮している。さらに、この公差モデルを距離補正することもできる。この実施形態によれば、センサ１０は測定とは無関係に光点位置を認識する。融合部はセンサ１０の視界画像に目標表示を重畳する。図では、光点の位置および信頼領域を可視化した円形である目標表示が重畳されている。

【0039】

図３は、同様の実施形態のディスプレイを示しているが、本実施形態では、光点位置が正確に分かっており、したがってより的確な目標表示によって強調表示されている。つまり、公差モデルの代わりに、光点２２の位置、形状、およびサイズを、製造時または最終検査における調整の際に、視界画像に合わせて調整することができる。例えば、センサ１０は、２０ｍのような決められた距離にある光点が視界画像内で中心になるように補正される。さらなる代替手段として、光点位置確定部３４が画像処理を用いて光点の視界画像内の位置を特定する。このためには、そもそも視界画像が光点２２のスペクトルを認識できなければならず、加えて十分なコントラストを備えている必要がある。これらの全ての場合において、公差モデルによって予測された信頼領域内のみの場合に比べて、光点位置をより正確に知ることができる。

【0040】

図４は、改善された重畳画像のディスプレイを示している。この改善のために、センサ１０の視界画像が直接表示されるのではなく、概して基本的により高品質であり高分解能である端末機１００自身のカメラ１１０の視界画像が表示されている。融合部１１４は、センサ１０の視界画像および自身の視界画像から、相関付けによって融合画像を決定、つまり両方の画像を組み合わせる。これにより、センサ１０の視界画像に関してセンサ１０によって供給される光点位置を、端末機１００の視界画像に関する光点位置に換算するための変換規則が決定される。図４は、破線の長方形１１８を用いて、そのようにして見出される端末機１００の視界画像内のセンサ１０の視界画像の境界を示している。相関付けが成功し得るには、視界画像の画像が十分に重複するとともに、可能であれば、視点がある程度一致していなければならない。

【0041】

融合部１１４は、変換規則に基づいて、端末機１００自身のカメラで撮影した視界画像内の正しい位置に目標表示１１６を融合させる。端末機１００のカメラ１１０は光点２２の波長に対して全く感度を有していない場合には、追加的にセンサ１０の視界画像からの画像情報、例えば光点２２自体を、重畳画像に移すこともできる。

【0042】

相関付けの準備を行うとともに、インターフェース３２、１０８への転送の帯域幅要件を低減するために、センサ側で予め前処理を行うことができる。このために、例えば、センサ１０の視界画像が、評価部２８によって圧縮、２値化、縁部またはその他の画像上の特徴部の検出が行われ、または関心領域が定義される。その場合、相関付けが変換規則の決定にとって重要である情報に限定される。

【0043】

両方の画像の相関付けにより、センサ１０および端末機１００の異なる視点を補償することが可能となり得る。代替または追加として、端末機１００のさらなる情報を参照し、さらに確かなシステムを得ることができる。

【0044】

このために、初期の参照用として、端末機１００およびセンサ１０を互いに対して定義された位置へ移動させ、例えば、端末機１００をセンサ１０に当接させる。この位置が０点位置として定義あるいは端末機にティーチングされる。端末機１００の引き続きの移動は、姿勢および／または加速度センサ１１２によって測定される、その都度の姿勢変化および／または加速の積分によって追跡される。このように、その後もセンサ１０に関する現在位置が端末機に認識され、視点の変化を重畳画像の生成の際に考慮することができる。このような相対的位置決めの代替として、例えばＧＰＳまたはガリレオのようなシステムに基づく絶対位置センサ１１２が使用される。その位置と初期位置とを比較した結果に基づいても、同様に端末機１００のセンサ１０に対する相対位置および方位を測定し、視点の変化を重畳画像の融合に反映させることができる。

【0045】

重畳画像が絶えず更新、つまりライブ画像のように可能な限り待ち時間無く表示されれば、使用者にとっては快適である。しかし、演算の多いリアルタイム処理を用いないスナップショット操作も考えられる。これにもまた利点がある。例えば、演算能力に対する要求を低減し、揺れおよびブレを防ぎ、使用者が端末機を自身の前に置き、両手を自由に使ってセンサを新たに位置合わせすることができ、また、インターフェース３２、１０８における帯域幅不足を防ぐことができる。

【0046】

ディスプレイ１０４とセンサ１０とが分離されていることから、センサ１０の方位を変更するために端末機を介してセンサ１０のアクチュエータまたは保持具を制御することによって、接近不能なセンサ１０を位置合わせすることも原理的に可能である。

【図1】

【図2】

【図3】

【図4】