特許 7178385 撮像システムおよび観察方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-16

(45)【発行日】2022-11-25

(54)【発明の名称】撮像システムおよび観察方法

(51)【国際特許分類】

   A61B 1/00 20060101AFI20221117BHJP

   A61B 1/045 20060101ALI20221117BHJP

   G02B 23/24 20060101ALI20221117BHJP

   G02B 23/26 20060101ALI20221117BHJP

【ＦＩ】

A61B1/00 522

A61B1/00 552

A61B1/045 610

G02B23/24 B

G02B23/26 C

【請求項の数】 19

【外国語出願】

(21)【出願番号】P 2020093928

(22)【出願日】2020-05-29

(65)【公開番号】P2021000438

(43)【公開日】2021-01-07

【審査請求日】2020-08-31

【審判番号】

【審判請求日】2022-01-26

(31)【優先権主張番号】10 2019 114 817.0

(32)【優先日】2019-06-03

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】520189935

【氏名又は名称】カール ストルツ ソシエタス エウロペア ウント コンパニー コマンデイトゲゼルシャフト

(74)【代理人】

【識別番号】110000556

【氏名又は名称】特許業務法人 有古特許事務所

(72)【発明者】

【氏名】ショホ， ディーター

(72)【発明者】

【氏名】ツェプフ， マリウス

【合議体】

【審判長】福島 浩司

【審判官】長井 真一

【審判官】伊藤 幸仙

(56)【参考文献】

【文献】韓国登録特許第１０－１５００７１７（ＫＲ，Ｂ１）

【文献】特開２００１－１４５６４０（ＪＰ，Ａ）

【文献】特表２０１７－５１６５０７（ＪＰ，Ａ）

【文献】特開平９－１２２０７１（ＪＰ，Ａ）

【文献】特開２０００－１８０７３５（ＪＰ，Ａ）

【文献】国際公開第２００５／１１０１９４（ＷＯ，Ａ１）

【文献】米国特許出願公開第２００５／０１５４２６０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

A61B 1/00-1/32

(57)【特許請求の範囲】

【請求項1】

立体観察のために組み合わせることができる第1の画像データおよび第2の画像データを検出するための画像取得ユニット（30、70、130）を備える観察器具（10、50、110）と、
位置基準（166）に対する前記観察器具（10、50、110）の回転による向きを検出するための少なくとも1つの位置センサ（144、146）と、
前記観察器具（10、50、110）の前記回転による向きに応じて第1の表現モードおよび第2の表現モードで動作することができる制御装置（150）と、
を備えており、
前記制御装置（150）は、前記第1の表現モードにおいては前記第1の画像データおよび前記第2の画像データに基づくステレオ信号を含み、前記第2の表現モードにおいては前記第1の画像データまたは前記第2の画像データに基づくモノラル信号を含む画像信号を出力するように構成され、
前記制御装置（150）は、基準水平線に対する前記観察器具（10、50、110）の前記回転による向きに応じて、前記第2の表現モードにおいて前記画像信号を用いて出力される画像を連続的に正立させるように構成されている、立体撮像システム。

【請求項2】

前記制御装置（150）は、基準水平線である表示水平線に対する表示画像の向きが変化せず、または所定の限界内でのみ変化するように、前記第2の表現モードにおける出力画像の向きを設定するように適合されている、請求項１に記載の立体撮像システム。

【請求項3】

前記制御装置（150）は、前記第1の表現モードにおいて、前記観察器具（10、50、110）の前記向きの変化が出力画像の向きの変化に関連付けられるように、正立されていない状態で出力画像を出力するように適合されている、請求項１または２に記載の立体撮像システム。

【請求項4】

前記制御装置（150）は、前記第1の表現モードと前記第2の表現モードとの間の切り替え時に適合された移行を可能にするようにさらに動作することができ、前記移行は前記第1の表現モードと前記第2の表現モードとの間の切り替え角度における前記第2の表現モードの前記モノラル信号の向きと前記第1の表現モードの前記ステレオ信号の向きとの間の適合を含む、請求項３に記載の立体撮像システム。

【請求項5】

前記制御装置（150）は、前記観察器具（10、50、110）の第1の回転角度範囲において、前記第1の表現モードで動作することができ、前記制御装置（150）は、前記観察器具（10、50、110）の第2の回転角度範囲において、前記第2の表現モードで動作することができる、請求項１乃至４のいずれか一項に記載の立体撮像システム。

【請求項6】

前記第１の回転角度範囲は、互いに180°オフセットされた２つの部分を含む、請求項５に記載の立体撮像システム。

【請求項7】

前記制御装置（150）は、前記第1の画像信号と前記第2の画像信号とを入れ換え、前記第1の画像信号および前記第2の画像信号を約180°回転させるように適合されている、請求項６に記載の立体撮像システム。

【請求項8】

前記第2の回転角度範囲は、基準水平線である位置基準（166）に対して90°回転された前記観察器具（10、50、110）の少なくとも1つの位置を含む、請求項５乃至７のいずれか一項に記載の立体撮像システム。

【請求項9】

前記第1の回転角度範囲は、0°が前記位置基準（166）に対する前記観察器具（10、50、110）の理想的な向きを表す角度目盛りに関して、310°と350°との間の第1の限界と10°と50°との間の第2の限界とを有する範囲をカバーする第1の部分を含み、前記第1の回転角度範囲は、前記第1の部分に対して180°オフセットされた第2の部分を含む、請求項５乃至８のいずれか一項に記載の立体撮像システム。

【請求項10】

前記制御装置（150）は、前記第2の表現モードにおいて、前記第1の表現モードと前記第2の表現モードとの間のスキップの少ない移行またはスキップのない移行が生じるように、回転角度に応じて出力画像の向きを設定するように構成されている、請求項３又は４に記載の立体撮像システム。

【請求項11】

前記制御装置（150）は、前記第2の表現モードにおいて、正立されていない状態と正立状態との間において、前記回転角度に応じて、出力される画像を補間する、請求項10に記載の立体撮像システム。

【請求項12】

前記制御装置（150）は、前記第1の表現モードと前記第2の表現モードとの間の移行に関連付けられ、画像が対応する向きをとる切り替え角度と、前記第2の表現モードにおける前記観察器具の限界角度または限界角度範囲との間において、前記第2の表現モードにおいて出力される画像を正立させるように構成されている、請求項10または11に記載の立体撮像システム。

【請求項13】

前記切り替え角度は、0°が前記位置基準（166）に対する前記観察器具（10、50、110）の理想的な向きを表す角度目盛りに関して、25°と50°との間である、請求項12に記載の立体撮像システム。

【請求項14】

前記制御装置（150）は、前記観察器具がさらなる切り替え角度に向かって回転されるときに表示画像の向きが前記さらなる切り替え角度へと適合されるように、前記限界角度または限界角度範囲と前記さらなる切り替え角度との間で、前記第2の表現モードにおいて出力される画像を回転させるように適合されている、請求項12または13に記載の立体撮像システム。

【請求項15】

前記さらなる切り替え角度は、0°が前記位置基準（166）に対する前記観察器具（10、50、110）の理想的な向きを表す角度目盛りに関して、130°と155°との間であり、前記限界角度は90°である、請求項14に記載の立体撮像システム。

【請求項16】

前記観察器具（10、50、110）は、斜めの視線方向を有する器具として配置される、請求項1～15のいずれか一項に記載の立体撮像システム。

【請求項17】

前記観察器具（10、50、110）は、前記画像取得ユニット（30、70、130）を保持し、前記画像取得ユニット（30、70、130）は、立体画像センサまたは互いにオフセットされた2つの個別のセンサ（180、182）を備える、請求項1～16のいずれか一項に記載の立体撮像システム。

【請求項18】

立体観察のために組み合わせることができる第1の画像データおよび第2の画像データを検出するための画像取得ユニット（30、70、130）を備える観察器具（10、50、110）を用意するステップと、
位置基準（166）に対する前記観察器具（10、50、110）の回転による向きを検出するステップと、
前記観察器具（10、50、110）の前記回転による向きに応じて撮像システム（100）を第1の表現モードまたは第2の表現モードで動作させるステップと、
を含んでおり、
前記撮像システム（100）を前記第1の表現モードまたは前記第2の表現モードで動作させるステップは、
前記第1の表現モードにおいて、前記第1の画像データおよび前記第2の画像データに基づくステレオ信号を含む画像信号を出力することと、
前記第2の表現モードにおいて、モノラル信号を含む画像信号を出力することと、
少なくとも前記第2の表現モードにおいて、基準水平線に対する前記検出された向きに応じて出力画像を連続的に正立させることと
を含む、立体観察方法。

【請求項19】

プログラムコードを含むコンピュータプログラムであって、前記プログラムコードは、当該コンピュータプログラムが請求項１乃至１７のいずれか一項に記載の立体撮像システム（100）の前記制御装置（150）上で実行されたときに、
位置基準（166）に対する前記観察器具（10、50、110）の回転による向きを検出するステップと、
前記観察器具（10、50、110）の前記回転による向きに応じて撮像システム（100）を第1の表現モードまたは第2の表現モードで動作させるステップとを該立体撮像システムに実行させるように構成されており、
前記撮像システム（100）を前記第1の表現モードまたは前記第2の表現モードで動作させるステップは、
前記第1の表現モードにおいて、前記第1の画像データおよび前記第2の画像データに基づくステレオ信号を含む画像信号を出力することと、
前記第2の表現モードにおいて、モノラル信号を含む画像信号を出力することと、
少なくとも前記第2の表現モードにおいて、基準水平線に対する前記検出された向きに応じて出力画像を連続的に正立させることと、
を含むコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、立体観察のために組み合わせることができる第1の画像データおよび第2の画像データを検出するための画像取得ユニットを有する観察器具を備える立体撮像システムに関する。

【0002】

とくに、本開示は、医療用撮像システムに関する。そのような撮像システムは、ヒトおよび／または動物の身体を観察するために規則正しく使用されている。

【背景技術】

【0003】

立体観察に適した撮像システムは、通常は、立体観察光学系と、例えば互いにオフセットされた2つの画像センサなどの立体画像センサとを有する観察器具を備える。したがって、2つの観察チャネルが存在する。画像センサは、通常は、CCDセンサ、CMOSセンサ、などを備える。互いにオフセットされた2つの画像センサを使用する場合、2つの画像センサの一方が観察者の右眼（第1の観察チャネル）に割り当てられ、2つの画像センサのもう一方が左眼（第2の観察チャネル）に割り当てられる。

【0004】

立体観察に適した撮像システムは、3D撮像システムと呼ばれることもある。言うまでもなく、これらのシステムにおいて、必ずしも3Dデータが取得されるわけではない。しかしながら、このやり方で生成された3D画像によって、観察者は奥行きを知覚することができる。

【0005】

医療用撮像システムは、例えば内視鏡観察のためのシステムを含む。本開示の目的において、内視鏡撮像システムは、プローブ状の器具を身体の自然の開口部または人工的に作成された開口部へと挿入して、身体の内部の画像を取得することができる設計を含む。これは、いわゆるビデオ内視鏡検査システムも含む。

【0006】

米国特許第9，848，758号明細書から、立体内視鏡として構成された器具が知られており、左右のチャネルの画像データが補正され、補正データが左右のそれぞれのチャネルのために実際に提供されることを保証するために、内視鏡の組み立て時の試験に基づいて識別情報が取得される。

【0007】

国際公開第2010／105946号パンフレットから、画像センサおよび慣性センサを遠位端に備える内視鏡が知られており、慣性センサは、重力場に対する画像センサの傾斜を検出するように構成され、この内視鏡は、制御装置をさらに備え、画像センサは、画像データを生成するための画像ピクセルのアレイを備え、慣性センサは、傾斜を表す傾斜信号を生成するように構成され、制御装置は、傾斜信号を画像データと組み合わせて、画像データの一部を傾斜信号で置き換えることによって組合せ信号とするように構成されている。

【0008】

独国特許出願公開第10 2017 219 621号明細書から、異なる向きにて配置され、視軸を互いに対して傾けることができる内視鏡および顕微鏡を備えた、医療用視覚化システムが知られている。内視鏡は、モーションセンサを備えており、顕微鏡の視軸に対する内視鏡の視軸の角度が検出される。顕微鏡データに基づく第1の画像および内視鏡データに基づく第2の画像を表示する表示装置が用意され、第2の画像の向きを、内視鏡の視軸の角度に応じた向きにすることができる。

【0009】

国際公開第2016／012248号パンフレットから、遠位側に画像センサが配置された立体内視鏡が知られている。真っ直ぐな視線方向を有する実施形態および斜めの視線方向を有する実施形態が記載されている。

【0010】

米国特許第7，108，657号明細書から、互いにオフセットさせた2つの画像センサを備える内視鏡視覚化装置が知られており、2つの画像センサの各々を、それぞれのセンサ面に垂直な軸を中心にして回転可能にすることが提案されている。このやり方で、取得画像を回転させることができる。したがって、画像の正立の機能が提供される。

【0011】

米国特許第7，037，258号明細書から、画像の正立のための手段を備えるビデオ内視鏡が知られている。この内視鏡は、単眼の器具として設計されている。したがって、これは観察チャネルを1つ有する器具である。画像は、それぞれ電子的に回転および正立させられる。

【0012】

米国特許第7，134，992号明細書から、画像の正立のための手段を備える別のビデオ内視鏡が知られている。割り出された器具の向きに応じて、取得画像を正立させることが提案されている。この内視鏡は、遠位端に配置された画像センサを備える。観察チャネルが1つである単眼の観察器具である。向きを検出するために加速度センサが使用される。

【0013】

さらに、本開示は、身体の外側から身体を観察するように構成された医療用撮像システムに関する。換言すると、これらのシステムにおいては、器具を少なくとも部分的に身体の開口部へと挿入することは、意図されていない。そのようなシステム、とくにはそれらの観察器具は、例えば外視鏡と呼ばれる。立体視の光学系を有するそのような外視鏡が、米国特許第10，122，897号明細書から知られている。そこでは、必要に応じて器具の画像を正立させるために光学ユニットを回転可能にすることが提案されている。このようにして、たとえ器具の向きおよび／または位置が変化した場合でも立体観察が可能になるように、立体視の光学系のステレオベースの向きを適合させることができる。

【発明の概要】

【発明が解決しようとする課題】

【0014】

少なくとも典型的な実施形態において、本開示は、白色光観察のための撮像システムおよび器具に関する。これは、可視光、とくには電磁スペクトルのうちのヒトの眼に見える部分の検出を含む。これは、例えば380nm～750nm（ナノメートル）の範囲を含む。しかしながら、これを限定と理解すべきではない。

【0015】

とくに、これは、本開示による撮像システムが、赤外もしくは近赤外範囲および／または紫外範囲での観察のための画像情報を取得することもできる可能性を、排除しない。これは、例えば、PDD（光線力学的診断）および／またはPDT（光線力学的治療）のための器具ならびに蛍光観察のための器具において考えられる。

【0016】

しかしながら、少なくとも多くの実施形態において、これは、放射線撮像方法（例えば、放射線撮影、コンピュータ断層撮影、磁気共鳴映像法、超音波観察）を含まないはずである。したがって、本開示は、スライス画像観察のための撮像システムには注目しない。しかしながら、本開示の本質的な態様は、表面または表面に近い対象の観察に言及する。それにもかかわらず、組み合わせられた撮像システムが考えられることを、理解すべきである。

【0017】

前述の種類の観察器具を使用する場合、観察される画像部分を変更するために、例えば観察器具をそれらの長手軸（器具のシャフトまたは観察光学系の軸）を中心にして回転させ、または他のやり方で動かすことが、多くの場合に必要である。これは、とくには手持ち式および／または手で誘導される器具に当てはまる。しかしながら、堅固に取り付けられた器具においても、器具およびその観察光学系を所望のやり方で位置決めするために、運動の自由度を提供することができる。

【0018】

画像センサを1つだけ備える観察器具の場合、基準水平線（例えばモニタなどの表示装置によって定められる）に対する画像センサの向きを、画像を機械的または電子的に回転させることによって調整することができる。このようにして、画像の正立を実行することができる。本開示の目的において、画像の正立は、たとえ画像センサおよび／または観察光学系が（ローリング運動に関して）回転したとしても、表示画像の向き（上下左右の方向など）がおおむねまたは完全に維持される機能であると理解される。この定義は、例えばレンズの「法線」が回転軸に平行でない器具など、視線方向が斜めである観察器具にも、同様に適用することができる。対物レンズの場合、「法線」は、例えば光軸である。例えば、レンズと同心な画像センサの場合、「法線」は、例えばセンサ面に垂直である。通常は、レンズの光軸は、視線方向を定義するために不可欠である。

【0019】

しかしながら、画像を正立させず、したがって表示画像が器具の回転またはローリングに伴って回転することも考えられる。対応する表現モードを随意により選択することができる。

【0020】

立体観察用に設計された器具において、画像の正立は、さまざまな課題を呈する。その主な理由は、いわゆるステレオベース、すなわち立体観察および立体表現のために組み合わせられる2つの観察チャネルおよび／または画像センサの間のオフセット（距離および／または角度）である。ステレオベースは、理想的には表示装置の基準水平線に、理想的には基準水平線に平行またはほぼ平行に整列させられる。表示装置の基準水平線は、通常は水平に対応する。頭部を真っ直ぐ前方に向けた観察者は、自身の眼（両眼を通る仮想の線）をそれに平行に整列させる。

【0021】

医療または産業の環境における撮像システムの一般的な設計目標は、プローブ部分を小さく保つことである。これは、画像取得ユニットの小型化も含むことができる。これは、例えばプローブおよび／またはレンズアセンブリの直径に当てはまる。この設計目標は、神経外科（脳外科手術、脊椎外科手術、など）で使用される内視鏡器具に関してさらに重要である。しかしながら、これは、画像の正立のための機械的な解決策をより困難にする。

【0022】

一般に、内視鏡器具のシャフトアセンブリを、シャフトの直径ができるだけ小さくなるように設計することが望しい。これにより、アクセス開口部を作成するときの患者の外傷を最小限に抑えることができる。したがって、この設計目標は、一般に、最小限の侵襲での手術のための器具に当てはまる。

【0023】

それにもかかわらず、（シャフトの直径に関して）可能な限り小さい器具で立体画像を取得および／または観察することも必要とされる。内視鏡などの立体視のための器具の1つの手法は、器具の遠位端またはその近くに2つの画像センサを配置することであってもよい。2つの画像センサは、規則正しく隣同士に配置され、したがってその領域における器具の全体的な直径に影響を及ぼす。この領域において、機械的な画像の正立のための追加の設備を設けることは、きわめて高価になると考えられる。

【0024】

それにもかかわらず、そのような器具でさえ、使用中にシャフトの長手軸を中心にして回転させられることが多い。これは、視線方向が斜めである器具にとくに当てはまる。しかしながら、すでに上述したように、これは、少なくともローリング運動の間も画像を直立状態に保つべき場合に、立体的知覚に関する課題を引き起こす。反対に、直立位置が維持されない場合、「画像内」の向きが、観察者の視点から、より困難になる。

【0025】

画像センサが1つのみの器具、すなわち観察チャネルが1つのみの器具（単眼の器具）は、この点で問題がより少ない。取得画像を、機械的に（手動またはアクチュエータによって実際に）正立させることができ、または電子的に正立させること（デジタル正立）ができる。機械的な正立は、器具のシャフトおよび／または取り付け部品に対してセンサを回転させることを含む。電子的な画像の正立は、必要に応じて画像が直立して再現されることを保証するための画像処理手段を含む。

【0026】

この背景に対して、本開示の目的は、器具および／または器具の画像取得ユニットの回転の場合でさえも、現実的に知覚することができる表現を可能にし、必要に応じて再現画像を正立させることができる観察器具を備える立体撮像システムおよび立体観察のための方法を提示することである。それでもなお、可能な限り大きい回転範囲において立体（または、3D）表現が可能でなければならない。好ましくは、直感的な動作が可能である。好ましくは、この撮像システムおよび／または方法は、少なくとも1つの観察チャネルを使用できるように、立体的な検出および表現が有用でない状態での基本的な機能を依然として可能にする。

【0027】

さらに、立体撮像システムを制御するための対応するコンピュータプログラムが、本開示の文脈において提示されるはずである。

【課題を解決するための手段】

【0028】

第1の態様によれば、この目的は、
・立体観察のために組み合わせることができる第1の画像データおよび第2の画像データを検出するための画像取得ユニットを備える観察器具と、
・位置基準に対する上記器具の向き、とくには回転による向きを検出するための少なくとも1つの位置センサと、
・上記器具の上記向きに応じて第1の表現モードおよび第2の表現モードで動作することができる制御装置と
を備えており、
上記制御装置は、上記第1の表現モードにおいては上記第1の画像データおよび上記第2の画像データに基づくステレオ信号を含み、上記第2の表現モードにおいては上記第1の画像データまたは上記第2の画像データに基づくモノラル信号を含む画像信号を出力するように構成され、
上記制御装置は、上記向きに応じて、上記第2の表現モードにおいて上記画像信号を用いて出力される画像を正立させるように構成されている、
立体撮像システム、とくには医療用撮像システムによって達成される。

【0029】

このようにして、本発明の目的は完全に達成される。

【0030】

本発明によれば、一方では、立体観察の能力が使用される。これは、ステレオベースの向きが位置基準（例えば、水平線および／または人工的な水平線）から逸脱せず、または妥当な限界内の逸脱でしかないような画像取得ユニットの位置（とくには、回転位置）の場合に当てはまる。

【0031】

しかしながら、向き（回転位置および／またはロール位置）に関して位置センサによってもたらされる信号が、画像取得ユニットの回転ゆえに立体機能がもはや有用でないことを示している場合、制御装置は、（1つの観察チャネルのみを使用する）モノラル信号を出力することができる。これは、操作者が、例えば画像において見て取ることができる手術器具を制御している場合に、画像内で自身を充分に向けることがもはやできない場合であり得る。

【0032】

上述の手段は、画像の正立、とくには電子式での画像の正立が可能になるという利点を有する。現時点の回転角度に応じて、2つの観察チャネルに基づく立体視表現または1つの観察チャネルに基づく単眼視表現が可能である。

【0033】

これは、実際に、観察器具および／またはその画像取得ユニットの特定の向きにおいて、奥行きの印象のない2次元表現のみが使用されることを意味する。それにもかかわらず、この種類の表現も観察に使用することができる。

【0034】

しかしながら、位置センサが、画像取得ユニットの現時点の回転による向き（ロール位置）が立体視再現、すなわち奥行きの印象を有する表現（3D再現）を可能にすると判断する場合、立体視表現へと切り替えることが可能である。画像の正立に関して、画像取得ユニットが約180°回転させられた場合、表現のための2つの観察チャネルを入れ替え、それらの画像情報をそれぞれ180°回転させることが考えられる。このようにして、少なくとも小さな回転角度範囲（約180°程度）について、画像の正立が立体視表現においても可能であり得る。

【0035】

この手法によれば、少なくとも典型的な実施形態において、一方では立体観察が可能であり、他方では電子的な画像の正立が可能である器具を提供することができる。これは、典型的な実施形態に関係し、限定であると理解されるべきではない。

【0036】

それにもかかわらず、この手法は、シャフトの直径が小さい器具、すなわち最低限の侵襲での手術、とくには神経外科（脳外科手術、脊髄手術）のための器具にとくに適する。典型的な実施形態において、観察器具は、医療用観察器具である。シャフトの直径が小さいほど、画像を正立させるための機械的な解決策の実装が難しくなる。

【0037】

観察器具は、一般に、ビデオ内視鏡またはビデオ外視鏡として構成される。ビデオ内視鏡は、身体の内部を観察するように構成されており、身体の自然の開口部または人工的な開口部を通って体内へと挿入可能である。ビデオ外視鏡は、体外から身体を観察するように構成される。器具は、ヒト医療用として設計されていてもよく、必要に応じて獣医学用として設計されていてもよい。それにもかかわらず、ビデオ内視鏡およびビデオ外視鏡について、産業の用途も考えられる。

【0038】

位置センサによって割り出された位置信号が参照する位置基準は、例えば、水平線（おそらくは人工的な水平線）であってよい。位置基準は、例えば、再現画像を眺めるときの観察者の瞳孔間距離（および／または、対応するベクトルの向き）からもたらされる。

【0039】

例えば、画像取得ユニットは、互いに間隔を開けて配置される2つの画像センサを備える。これらは互いに平行であってもよいが、お互いに対してわずかに傾けられてもよい。2つの画像センサ（右および左）の各々に、2つの観察チャネルの一方が割り当てられる。2つの画像センサを、1つの対物面における物体の立体的観察のために組み合わせることができる。2つの画像センサは、互いに間隔を空けて配置され、したがって観察者の眼の視差へと調整される。

【0040】

この構成を限定と理解すべきではない。一般に、ステレオベースは、レンズユニットの遠位側の開口および／またはそれらの相互の距離からもたらされる。これは、画像センサの位置および／またはそれらの相互の距離にも関係する。

【0041】

モノラル表現および／または2D観察の場合、2つのチャネルのうちの1つだけ、すなわち2つの画像センサのうちの1つだけが使用される。これは、必ずしも2つの画像センサのうち1つだけが実際に信号をもたらすことを意味しない。しかしながら、少なくとも画像表現の場合に、2つのチャネルのうちの一方の信号のみが使用される。

【0042】

器具の向きは、位置センサによって、例えば水平線などの基準に対して検出される。基準は、一般的に有効な（グローバル）基準であってもよく、またはケースバイケースで定義される基準であってよい。一般に、水平線が、観察者の両眼の位置および向きを反映する基準として使用される。

【0043】

第1の表現モードにおいては、第1の画像データおよび第2の画像データが、立体表現（3D再現）が可能であるようなやり方で組み合わせられる。第2の表現モードにおいては、第1の画像データまたは第2の画像データのいずれかが、モノラル表現（2D再現）を可能にするために使用される。

【0044】

少なくとも典型的な実施形態によれば、観察器具は、手持ち式または手で誘導される器具である。しかしながら、これを限定と理解すべきではない。別の実施形態によれば、観察器具は、三脚または同様の何かに取り付けられる。器具の向き、とくにはロールの向きを、操作者が直接変更でき、かつ／またはモータ駆動機構によって変更することができる。本開示による方法を、それに応じて構成することが可能である。

【0045】

本開示の別の態様によれば、本発明の目的は、
・立体観察のために組み合わせることができる第1の画像データおよび第2の画像データを検出するための画像取得ユニットを備える観察器具を用意するステップと、
・位置基準に対する上記器具の向き、とくには回転による向きを検出するステップと、
・上記器具の上記向きに応じて撮像システムを第1の表現モードまたは第2の表現モードで動作させるステップと
を含んでおり、上記撮像システムを上記第1の表現モードまたは上記第2の表現モードで動作させるステップは、
上記第1の表現モードにおいて、上記第1の画像データおよび上記第2の画像データに基づくステレオ信号を含む画像信号を出力することと、
上記第2の表現モードにおいて、モノラル信号を含む画像信号を出力することと、
必要に応じて、少なくとも上記第2の表現モードにおいて、上記検出された向きに応じて出力画像を正立させることと
を含む、立体観察方法によって達成される。

【0046】

やはりこのやり方で、本発明の目的は完全に達成される。

【0047】

この方法は、立体観察のための撮像方法と呼ばれることもある。この方法を、本開示の文脈において説明される撮像システムの典型的な実施形態に従って構成でき、その逆も同様であることを、理解すべきである。

【0048】

典型的な実施形態において、この方法は、撮像システムを制御するための制御装置の提供を含む。

【0049】

この方法のさらなる典型的な実施形態において、この方法は、立体観察を行うように構成された観察器具と、上記器具の向き、とくには回転による向きを検出するための少なくとも1つの位置センサと、上記器具の向きに応じて少なくとも第1の表現モードまたは第2の表現モードで動作することができる制御装置とを備える立体撮像システムの提供を含み、上記制御装置は、上記第1の表現モードにおいては上記第1の画像データおよび上記第2の画像データに基づくステレオ信号を含み、上記第2の表現モードにおいては上記第1の画像データまたは上記第2の画像データに基づくモノラル信号を含む画像信号を出力するように構成され、上記制御装置は、上記画像信号を使用して、上記向きに応じて上記第2の表現モードにおいて出力画像を正立させるように構成される。

【0050】

第1の表現モードにおいて、出力画像は、少なくとも典型的な実施形態においては正立されず、すなわち正立されずに出力される。したがって、表示画像は、位置基準に対する器具の回転角度（ロール角度）と共に回転することになる。

【0051】

撮像システムまたは方法の典型的な実施形態によれば、制御装置は、表示水平線に対する表示画像の向きが変化せず、または所定の限界内でしか変化しないように、第2の表現モードにおける出力画像の向きを設定するように構成される。このように向きを設定することで、正立された画像が表示される。

【0052】

このやり方で、画像の正立を実現することができる。本開示の文脈において、画像の正立という用語は、たとえ器具が回転したときでさえも、再現画像がその向き（上－下－右－左）を保つ機能を表す。とくには、これは、いわゆるローリング運動、すなわち画像取得ユニットおよび／またはそれに結合したレンズアセンブリの回転に関する。回転は、ローリング運動の軸を定める。例えば、内視鏡の場合、回転は、器具のシャフトの長手軸を中心とすることができる。しかしながら、堅固な長手軸を持たない可撓性または部分的に偏向可能な観察器具も知られている。さらに、シャフトおよびシャフトに取り付けられた観察ヘッドを備えており、回転がシャフトの長手軸を中心とせず、観察ヘッドを通る軸を中心とする観察器具も知られている。この軸は、例えばシャフトの長手軸に垂直である。

【0053】

撮像システムまたは方法の別の典型的な実施形態によれば、上記制御装置は、上記第1の表現モードにおいて、上記器具の上記向きの変化が出力画像の向きの変化に関連付けられるように、正立されていない状態で画像を出力するように構成される。

【0054】

「正立されていない」という用語は、本開示の文脈において、出力される画像が非正立の状態で、すなわち正立されることなく出力されるようなやり方であると理解されるべきである。したがって、器具が長手軸を中心にして5°回転させられたとき、出力される画像内の物体も表示の際に5°回転することになる。

【0055】

第1の表現モードの特定の状況下で、立体視の効果（奥行きの印象を伴う3D効果）が観察者にとって知覚可能であると同時に、画像の向きがわずかに減少するわずかな回転角度が許容されることが観察されている。したがって、限られた回転角度（ロール角度とも呼ばれる）の範囲内で第1の表現モードにおいて立体表現を維持することが提案される。これにより、撮像システムはわずかな回転運動に対してより寛容になる。

【0056】

撮像システムまたは方法の別の典型的な実施形態によれば、上記制御装置は、上記器具の第1の回転角度範囲において、上記第1の表現モードで動作することができ、上記制御装置は、上記器具の第2の回転角度範囲において、上記第2の表現モードで動作することができる。例えば、第1の回転角度範囲は、位置基準に対する器具の少なくとも1つの中立位置を含む。回転角度範囲は、利用可能な回転角度の少なくとも1つの所定のサブ部分である。

【0057】

中立位置は、例えば、水平（または、人工水平線）に対する2つの画像センサおよび／または2つのチャネルの開口の間の接続線の平行な向きを含む。中立位置および／または初期位置を、適切な制御要素を使用して、ケースバイケースで定めてもよいことを、理解すべきである。

【0058】

例えば、中立位置は、位置基準（例えば、水平線）に対する直立状態（ステレオベースに対して垂直）を含む。回転角度を、中立位置から出発して測定することができる。ロール角度は、通常は、（シャフトおよび／または画像取得ユニットの）長手軸を中心とする回転を表す角度である。

【0059】

中立位置を定義する水平線を、少なくとも典型的な実施形態によれば、動作中に調整することができる。これにより、例えば観察器具を運ぶことによる全体としての移動に対処することができる。これは、例えば、観察器具を運んでいる間の患者の位置変化に関連する。人工水平線の調整を、患者および観察器具が回転するが、他の器具は回転しない場合に、表示画像内の他の器具の位置および向きをおおむね維持するために使用することができる。

【0060】

可能な回転角度範囲を、（360°の完全な円に対して）度を単位に定義することができ、または12時間の時計盤に対して時および分で定義することができる。したがって、中立位置は、0°および／または0時の向きに対応する。これに対して180°回転した位置は、180°および／または6時の向きに対応する。これに応じて、回転角度の中間位置が得られる。典型的な実施形態において、第1の回転角度範囲および第2の回転角度範囲を互いに合わせると、360°になる。

【0061】

例えば、第1の回転角度範囲は、11時と1時との間および／または330°と30°との間の範囲を含む。したがって、第2の回転角度範囲は、1時と11時との間および／または30°と330°との間の範囲をカバーすることができる。その場合、器具は長手軸を中心にして完全に回転可能になる。

【0062】

しかしながら、器具を長手軸を中心にして完全に回転可能にはしないこと（および／または、そのような部分的な領域に対してのみ画像の正立を設定すること）も考えられる。例として、9時と3時との間および／または270°と90°との間の部分領域が考えられる。したがって、第1の回転角度範囲は、やはり11時と1時との間および／または330°と30°との間の範囲を含むことができる。しかしながら、第2の回転角度範囲は、9時と11時との間および1時と3時との間の（部分的な）部分（270°と330°との間の第1の部分および30°と90°との間の第2の部分に対応）を含む。

【0063】

撮像システムまたは方法の別の典型的な実施形態によれば、第1の回転角度範囲は、互いに180°オフセットされた2つの部分を有する。器具が中立位置から180°回転すると、画像取得ユニットならびに／または第1および第2の画像データのための2つの画像センサは、再び位置基準（水平線）に平行に整列する。画像センサは逆になっている。このような約180°のローリング運動は、一般に反転と呼ばれる。この180度ずれた部分でも、立体表現が可能である。これは、（静的な）画像の正立も含むことができる。画像の正立のために、第1の観察チャネルおよび第2の観察チャネルの画像情報（第1および第2の画像データ）を入れ替え（右を左で差し替え、逆も同様）、これらの部分（右および左）をそれぞれ180°回転させなければならないことになる。それにもかかわらず、この「静的な」画像の正立に加えて、180°から出発する小さな回転についての継続的な正立は存在しない。

【0064】

したがって、第1の回転角度範囲は、2つの部分を有する範囲を含む。第1の部分は、例えば11時と1時との間および／または330°と30°との間である。第2の部分は、5時と7時との間および／または150度と210度との間に与えられる。したがって、第2の回転角度範囲は、第1の部分および第2の部分を含む。第1の部分は、1時と5時との間および／または30度と150度との間の範囲を含む。第2の部分は、7時と11時との間および／または210度と330度との間の範囲を有する。第2の部分は、7時と11時との間および210度と330度との間の範囲を含む。したがって、11時と1時（および／または、330°と30°）との間および5時と7時（および／または、150°と210°）との間の範囲は、立体観察および画像再現を可能にする。言うまでもなく、第1の回転角度範囲および第2の回転角度範囲に関する上記の情報は、例示の性質のものであり、限定と理解されるべきではない。第1の回転角度範囲を、垂直（0°位置）に対して対称的に整列させることができる。しかしながら、加えて、垂直に対して非対称な角度範囲も考えられる。

【0065】

撮像システムまたは方法の別の典型的な実施形態によれば、上記制御装置は、上記第1の画像信号と上記第2の画像信号とを入れ換え、上記第1の画像信号および上記第2の画像信号を約180°回転させるように構成される。

【0066】

これは、好ましくは、第1の回転角度範囲のうちの、中立位置の180°反対側にある部分で行われる。このようにして、3D機能を有する静的な画像の正立を、反転時にも提供することができる。

【0067】

したがって、この典型的な実施形態による第1の表現モードは、2つの動作モードを含む。第1のモードは、位置基準（例えば、中立位置を定める）による元の向きに関する。第2のモードは、反転モード（180度回転）である。したがって、第1の部分を基準部分と呼び、第2の部分を反転部分と呼ぶこともできる。

【0068】

撮像システムまたは方法の別の典型的な実施形態によれば、上記第2の回転角度範囲は、上記位置基準に対して90°回転された上記器具の少なくとも1つの位置を含む。これは、270°の回転位置にも当てはまる。少なくともこのような範囲（ロール角度が90°および／または270°）において、立体機能は、直立した画像が望まれる場合には容易には使用することができない。したがって、この範囲においては観察チャネルを1つだけ使用して、2D画像を出力することが妥当である。次いで、この画像を、少なくとも典型的な実施形態において、必要に応じて電子的に回転させて、画像を正立させることができる。

【0069】

撮像システムまたは方法の別の典型的な実施形態によれば、上記第1の回転角度範囲は、0°（度）が上記位置基準に対する上記器具の理想的な向きを表す角度目盛りに関して、310°と350°との間の第1の限界と10°と50°との間の第2の限界とを有する範囲をカバーする第1の部分を含み、上記第1の回転角度範囲は、好ましくは、上記第1の部分に対して180°オフセットされた第2の部分を含む。

【0070】

例えば、第1の回転角度範囲は、垂直（0°）に関して対称的に配置される。したがって、第1の回転角度範囲は、垂直に対して＋／－10°（プラス／マイナス10°）と＋／－50°との間の範囲をカバーし、すなわち小さい範囲に関する0°＋／－10°および大きい範囲に関する0°＋／－50°をカバーする。例えば、第1の回転角度範囲は、0°＋／－45°の範囲をカバーする。別の例において、第1の回転角度範囲は、0°＋／－30°の範囲をカバーする。したがって、第2の部分は、例えば180°＋／－30°または180°＋／－45°など、180°＋／－10°から180°＋／－50°までの範囲をカバーすることができる。

【0071】

絶対的には、典型的な実施形態における第1の回転角度範囲の第1の部分は、330°と30°との間に広がり、第1の回転角度範囲の第2の部分は、150°と210°との間に広がる。器具を第2の表現モードで動作させることができる第2の回転角度範囲は、第1の回転角度範囲に対して相補的であってもよく、例えば30°と150°との間の第1の部分および210°と330°との間の第2の部分を有する。

【0072】

別の典型的な実施形態において、第1の回転角度範囲の第1の部分は、315°と45°との間に広がり、第1の回転角度範囲の第2の部分は、135°と225°との間に広がる。したがって、この典型的な実施形態における第2の回転角度範囲は、45°と135°との間の第1の部分および225°と315°との間の第2の部分を含む。

【0073】

第3の典型的な実施形態において、第1の回転角度範囲の第1の部分は、345°と15°との間に広がり、第1の回転角度範囲の第2の部分は、165°と195°との間に広がる。したがって、この典型的な実施形態における第2の回転角度範囲は、15°と165°との間の第1の部分および195°と345°との間の第2の部分を含む。

【0074】

言うまでもなく、第1の回転角度範囲、すなわち第1の表現モード、および第2の回転角度範囲、すなわち第2の表現モードについて、他の典型的な実施形態も考えられる。

【0075】

第1の回転角度の範囲、すなわち立体表現はあるが包括的な画像の正立はない範囲は、操作者が画像内で自身を依然としてうまく向けることができるようなやり方で選択され、これは、多くの場合、わずかに傾斜した位置に当てはまる。これは、立体表現という利点を有する。撮像システムの具体的な使用に応じ、かつ／またはさまざまな操作者の客観的および主観的な好みに応じて、第1の回転角度範囲および／または第2の回転角度範囲を定めることができる。

【0076】

第1の回転角度範囲を固定することが考えられる。また、第1の回転角度範囲について、操作者が選択することができる少数の変種（0°にあり、必要に応じて180°にある垂直に対してそれぞれ約＋／－30°または＋／－45°）を持つことも考えられる。また、第1の回転角度範囲、したがって第2の回転角度範囲も、広い限界内で自由に定める可能性を、操作者に与えることも考えられる。

【0077】

一般に、各部分は、少なくとも355°から5°（すなわち、少なくとも＋／－5°）および少なくとも175°から185°の範囲をカバーすることができる。これは、第1の角度範囲が、0°位置および必要であれば180°位置に対してそれぞれ＋／－30°と＋／－45°との間の値を含む典型的な実施形態を含む。しかしながら、これを限定と理解すべきではない。他の角度範囲も考えられる。2つの回転角度範囲の一方が定められた場合、対応する他の回転角度範囲を導出することができる。この例において、2つの回転角度範囲は互いに合わさって360度になる。完全な円において、2つの回転角度範囲の各々を、180°オフセットさせて2回もたらすことができる。

【0078】

別の典型的な実施形態によれば、第1の回転角度範囲部分は、315°と45°との間および135°と225°との間を含む。したがって、第2の回転角度範囲は、45°と135°との間および215°と315°との間の角度部分を含む。別の典型的な実施形態によれば、第1の回転角度範囲部分は、330°と30°との間および150°と210°との間である。したがって、第2の回転角度範囲部分は、30°と150°との間および210°と330°との間である。しかしながら、これを限定と理解すべきではない。

【0079】

撮像システムまたは方法の別の典型的な実施形態によれば、上記制御装置は、上記第1の表現モードと上記第2の表現モードとの間の切り替え時に適合された移行を可能にするように動作することができ、上記移行は、好ましくは、上記第1の表現モードと上記第2の表現モードとの間の切り替え角度における上記第2の表現モードの上記モノラル信号の向きと上記第1の表現モードの上記ステレオ信号の向きとの間の適合を含む。

【0080】

移行（移行モードとも呼ばれる）により、立体表現と2D表現との間の変化が、操作者にとってより調和したものになる。第1の表現モード（立体）において出力される画像信号は、通常は、右眼および左眼について別々に処理される。これは、例えば、2つのわずかに異なる角度から観察対象の物体を示す視野を含むことができる。したがって、第1の表現モードと第2の表現モードとの間の切り替え時（および、その反対）に、2つの異なる視野による表示と、右眼および左眼について均一な画像による表示との間の変化が存在する。例えば、移行時に、2つの視野の一方が意図的にフェードアウトされ、結果として他方の視野が両方の眼にとって決定的になる（他方の表現モードにおいては、この反対）。

【0081】

撮像システムまたは方法の別の典型的な実施形態によれば、上記制御装置は、上記第2の表現モードにおいて、好ましくは上記第1の表現モードと上記第2の表現モードとの間のスキップの少ない移行またはスキップのない移行が生じるように、上記回転角度に応じて出力画像の向きを設定するように構成される。

【0082】

このようにして、画像の「ジャンプ」が生じない安定またはほぼ安定した移行が可能になる。器具を回転させたときに、画像の回転による向きにジャンプする変化が好ましくは存在せず、第1および第2の表現モードの間の変化が存在する。換言すると、少なくとも典型的な実施形態において、回転角度に対して、第1の表現モードと第2の表現モードとの間でスキップが少ない、またはスキップのない移行が可能である。言うまでもなく、より小さいジャンプがきわめて好都合かつ可能である。しかしながら、これらのジャンプは、表示画像内の観察者の視覚的な向きに悪影響を有してはならない。

【0083】

この設計は、少なくとも典型的な実施形態において、第1の表現モードが、画像が立体的に取得されて対物面上に再現される許容角度範囲（約330°～30°、またはそれ以上）を含み、この（小さな）範囲においては画像の厳密な正立が省略されるという事実を考慮している。立体表現は、通常は、表示画像が器具の回転とともに回転する場合にのみ有用である。

【0084】

しかしながら、その後に第1の表現モードが可能である第1の角度範囲を離れると、第2の表現モードへの突然の移行が、位置基準に対する画像の即座の正立をもたらす可能性がある。これは、観察者の視点から画像が「前方にジャンプ」および／または「後方にジャンプ」するという結果をもたらす。したがって、少なくとも典型的な実施形態において、この移行を急激でないものにする移行モードを提供することが意図される。

【0085】

撮像システムまたは方法の別の典型的な実施形態によれば、上記制御装置は、上記第2の表現モードにおいて、上記正立されていない状態と上記正立状態との間において出力される画像を補間する。

【0086】

このようにして、適切な補間ステップを使用して、移行を滑らかであり、理想的にはジャークがなく、あるいはジャークが少ないものにすることができる。これは知覚を改善し、観察中のユーザの過度の視覚的ストレスを回避する。

【0087】

器具の回転角度に応じて、出力される画像の向きが変化するが、画像は依然として正立している。画像の補間（および／または、画像の向きの補間）は、第1の表現モードと第2の表現モードとの間の移行におけるジャンプを回避し、または少なくとも低減するのに役に立つ。例えば、補間は、第1の表現モードと第2の表現モードとの間の移行における実際の回転と、（理想的またはほぼ理想的な）正立画像に対応する公称の向きとの間で実行される。

【0088】

これは、第1の表現モードと第2の表現モードとの間の移行の瞬間に、画像の「ジャンプ」および／または画像の突然の回転が存在しないことを意味する。代わりに、画像は継続的に移動および／または回転する。したがって、観察者は、第1の表現モードと第2の表現モードの間の変化（3Dと2Dとの間の変化も含む）に気づく。さらに、第1の表現モードを、画像取得ユニットが位置基準に対して絶対的に正確な向きでなくても立体効果が可能であるように、立体表現において充分に寛容にすることができる。

【0089】

撮像システムまたは方法の別の典型的な実施形態によれば、上記制御装置は、上記第1の表現モードと上記第2の表現モードとの間の移行に割り当てられた切り替え角度であって、とくには画像がこの切り替え角度に対応する向きをとる切り替え角度と、上記第2の表現モードにおける上記器具の限界角度または限界角度範囲との間において、上記第2の表現モードにおいて出力される画像を正立させるように構成される。

【0090】

例として、限界角度は、再現画像が完全に正立する範囲、すなわち再現画像の向きが位置基準および／または選択された人工水平線によって定められる公称の向きに対応する範囲を表す。例として、限界角度は、90°および270°という器具の回転による向きに関連付けられる。したがって、2つの限界角度が存在し得る。また、特定の角度位置においてだけでなく、ある限界角度範囲内で画像の完全な正立を提供することも考えられる。このような限界角度範囲は、90°＋／－15°の範囲をカバーすることができる。対をなす第2の限界角度範囲が、270°＋／－15°の範囲をカバーすることができる。これは、器具がこの範囲内で回転される場合に、表示される画像はその正立を変化させず、またはわずかにしか変化させないことを意味する。

【0091】

撮像システムまたは方法の別の典型的な実施形態によれば、上記切り替え角度は、0°が上記位置基準に対する上記器具の理想的な向きを表す角度目盛りに関して、25°と50°との間であり、好ましくは30°と45°との間である。したがって、第1の角度範囲が対称である場合、例えば310°と335°との間の範囲、好ましくは315°～330°に、垂直に対して対称的なさらなる切り替え角度が存在する。切り替え角度は、典型的な実施形態において、第1の表現モードにおける第1の回転角度範囲の限界に対応する。

【0092】

撮像システムまたは方法の別の典型的な実施形態によれば、上記制御装置は、上記器具がさらなる切り替え角度に向かって回転されるときに表示画像の向きがさらなる切り替え角度へと適合されるように、上記限界角度または限界角度範囲と上記さらなる切り替え角度との間で、上記第2の表現モードにおいて出力される画像を回転させるように構成される。

【0093】

さらなる切り替え角度は、器具の上下逆さまの向きにおける第2の表現モードと第1の表現モードとの間の移行を表し、立体表現のための器具の少なくとも約180°回転した位置を考慮して、少なくとも典型的な実施形態においては、第1の画像信号および第2の画像信号が交換され、それぞれが180°回転される。画像は基本的に直立しているが、特定の回転角度が、堅牢な立体表現のために許容される。

【0094】

したがって、典型的な実施形態において、再現画像は、（第1の）切り替え角度を超えて回転された状態では示されない。第1の例において、これは、第1の表現モードおよび第2の表現モードにおいて、表示画像が＋／－45°の範囲内で回転された状態でのみ示されることを意味する。別の典型的な実施形態においては、第1の表現モードおよび第2の表現モードにおいて、表示画像は＋／－30°の範囲内で回転された状態でのみ示される。

【0095】

撮像システムまたは方法の別の典型的な実施形態によれば、上記さらなる切り替え角度は、0°が上記位置基準に対する上記器具の理想的な向きを表す角度目盛りに関して、約90°の限界角度において、130°と155°との間であり、好ましくは135°と150°との間である。したがって、第1の角度範囲の対称的な向きにより、例えば205°と230°との間、好ましくは210°と225°との間の範囲に、垂直に対して対称的なさらなる切り替え角度が存在する。

【0096】

器具の別の典型的な実施形態によれば、上記制御装置は、上記位置基準の変更、とりわけ画像取得ユニットの向きによって与えられる理想的な位置基準からの変更を可能にする。通常は、位置基準は、画像取得ユニットの2つの開口の配置から生じる。例えば、2つの開口が水平面内で互いにオフセットされている（ステレオベースの向きが水平である）場合、器具は、観察者が直立した画像を立体的に知覚することができる理想的な向きにある。

【0097】

したがって、この向きは、第2の表現モードにおける画像の正立の基準にもなる。しかしながら、位置基準の調整が望まれる既知の用途も存在する。これは、例えば、観察対象（例えば、患者）の位置が変わるが、同時に観察対象と観察器具によって出力される（正立）画像との間の割り当てを維持すべき場合であり得る。この場合、（例えば、理想的な向きにある）元の水平線に対する選択されたオフセット（オフセット角度）から生じる人工的な水平線を定めることができる。

【0098】

調整された人工水平線によるこのような動作モードにおいて、新たに調整された人工水平線は、今や器具の向きの新たな位置基準を表すことができる。第2の表現モードにおいて、表示画像を、新たな位置参照を考慮して正立させることができる。変更された人工水平線による第1の表現モードにおいて、画像取得ユニットの物理的な向きは不変であると理解される。第2の表現モードから第1の表現モードへの切り替え時に、正立の2D画像と非正立の立体画像との間の移行が存在する。したがって、画像が「前方」または「後方」にジャンプすることとなり、上記でさらに説明したように移行を滑らかにすることが可能である。画像が「前方」にジャンプするか、あるいは「後方」にジャンプするかは、回転の方向に依存する。第1の表現モードが、第1の部分（中立位置）に対して180°オフセットされた第2の部分（反転位置）を含む場合も、同様の状況が発生する可能性がある。

【0099】

画像取得ユニットの回転位置／向きを検出するために、例として、少なくとも1つの位置センサが設けられる。位置センサは、観察器具および／または画像取得ユニットのローリング位置（長手軸を中心とする回転）を検出する。例えば、立体内視鏡の場合、位置センサは、器具のシャフトのローリング位置を検出する。

【0100】

位置センサのさまざまな設計が考えられる。これは、1つ以上の加速度センサを含むことができる。加速度センサは相対位置を検出することができる。絶対的な位置／向きを検出するためには、ジャイロスコープまたは同様のセンサが適する。言うまでもなく、位置センサは、少なくとも1つの個別のセンサを含むことができる。典型的な実施形態において、位置センサは器具内に配置される。例えば、位置センサは、器具のシャフト、ハンドル、または観察ヘッド内に配置される。

【0101】

位置センサを、器具の近位端または遠位端に配置することができる。いくつかのセンサが組み込まれる場合、それらを空間的に分散せることができる。空間的分散は、位置センサ間の相対的な向きを考慮した位置および／または向きの検出を可能にする。

【0102】

しかしながら、位置センサを少なくとも部分的にソフトウェアによって実現することも考えられる。位置センサは、必ずしも個別のセンサである必要はない。また、位置センサは、器具上または器具内に配置されたトラッカであってもよく、外部のナビゲーションシステムによって光学的に検出され、磁場の変化によって検出され、または直接の電磁信号の伝達によって検出され、器具の位置の計算を可能にする。取得および再現画像の位置も、とくには動きを追跡するときに、画像処理操作によって検出することができる。これは、例えば、少なくとも第2の表現モードにおいて、画像内の位置が割り出され、この位置が器具および／または画像取得ユニットの運動の最中に常に維持されるように、パターン認識を含むことができる。

【0103】

撮像システムまたは方法の別の典型的な実施形態によれば、観察器具は、斜めの視線方向を有する器具として配置される。本開示の目的において、斜めの視線方向は、例えば、シャフトの長手軸（回転軸）に対するレンズの光軸の傾斜であると理解される。

【0104】

例えば、10°、15°、20°、30°、または45°傾斜した視線方向を有する器具が知られている。このような傾斜角度も、本開示の文脈において考えられる。しかしながら、これを限定のやり方で理解すべきではない。少なくとも典型的な実施形態において、斜めの視線方向という用語は、完全に横方向の視線方向（長手軸に対して90°傾斜）を含まない。このような器具は、ラテラルビュー器具と呼ばれる。

【0105】

傾斜の角度を長手軸に対して調整することができる可変の視線方向を有する器具も知られている。斜めの視線方向を有する器具は、斜めビュー器具と呼ばれることもある。視線方向の傾斜の角度は、長手軸に対して10°～60°の間の典型的な範囲をカバーする。

【0106】

斜めの視線方向を有する器具は、立体観察が必要とされる場合、シャフトの軸を中心にしたローリング運動の際に特別な課題を提示する。斜めの視線方向を有する器具は、多くの場合に、現時点の視野を変更し、かつ／または視野内の物体の表示を変更するために、シャフトの軸を中心にして意図的に回転される。このようにして、それぞれのロール角度に応じて、異なる範囲および／または観察対象を観察することができる。しかしながら、これは、少なくとも典型的な実施形態において、回転範囲の特定の部分を立体的に記録できる一方で、他の部分は、少なくとも画像の正立が望まれるときに、単眼による取得および再現しかできないことを意味する。

【0107】

立体観察の場合において、個々の画像がそれぞれ別々に正立される場合、器具の回転（ローリング運動）時に、右眼および左眼による立体観察が可能であるように、ステレオベースの向きも回転角度に応じて調整する必要があると考えられる。したがって、ステレオベースを表現時の所望の画像の向きおよび画像取得ユニットの所与の回転による向きに合わせて調整するために、画像センサおよび／または画像取得ユニットのレンズの追加の組み合わせられた内部枢動運動が必要になると考えられる。しかしながら、これは、機械的な手段ではほとんど実現不可能である。加えて、斜めの視線方向は、画像取得ユニットのあらゆる回転による向きに関する正立された立体画像の構成をより困難にする。

【0108】

撮像システムまたは方法の別の典型的な実施形態によれば、上記観察器具は、上記画像取得ユニットを保持し、上記画像取得ユニットは、立体画像センサまたは互いにオフセットされた2つの個別のセンサを備える。

【0109】

画像取得ユニットのセンサは、典型的には、器具および／または器具のシャフトの遠位端またはその近くに配置される。別の実施形態によれば、画像取得ユニットのセンサは、器具および／または器具のシャフトの近位端またはその近くに配置される。

【0110】

別の典型的な実施形態によれば、撮像システムは、少なくとも1つのディスプレイ、とくには3D画面および／または3D眼鏡を備える表示ユニットをさらに有する。例として、3D眼鏡を3D表示画面と組み合わせて使用することができる。しかしながら、3D眼鏡が自身のディスプレイを有することも知られている。このような表示ユニットは、HMD（ヘッドマウントディスプレイ）として知られている。本開示による方法は、そのような装置を使用することができる。

【0111】

好ましくは、ディスプレイは、両方の観察チャネルの画像データを使用する立体モードでの表現（3D再生）に適し、1つの観察チャネルのみの画像データを使用するモノラルモードでの表現（2D再生）にも適する。

【0112】

全体として、器具を、少なくとも特定の実施形態においては、さまざまなグローバルモードで動作させることができる。典型的な設計においては、4つのグローバル動作モードが存在する。

【0113】

第1のグローバルモードにおいては、器具を、可能な場合の立体表現と、必要であれば画像の正立を含む、立体表現のない領域におけるモノラル表現とを可能にするために、少なくとも第1の表現モード（立体表現）および第2の表現モード（モノラル表現）で、オンデマンドで動作させることができる。言うまでもなく、少なくとも典型的な実施形態において、本開示による移行モードも考えられる。

【0114】

第2のグローバルモードにおいては、器具を、画像の正立が実行される第2の表現モード（モノラル表現）で動作させることができる。典型的な実施形態において、これは、立体表現がこのモードでは使用されないことを意味する。

【0115】

第3のグローバルモードにおいては、器具を、やはりモノラル表現モード（1つの場のみの表現）で動作させることができる。しかしながら、第3のグローバルモードは、真っ直ぐにすることを含まない。典型的な実施形態において、これは、立体表現がこのモードでは使用されないことを意味する。

【0116】

第4のグローバルモードにおいては、器具を、第1の表現モード（立体表現）で動作させることができる。典型的な実施形態において、これは、画像の正立を含まない。典型的な実施形態において、これは、このモードではモノラル表現が使用されないことを意味する。

【0117】

言うまでもなく、特定の実施形態は、これらのグローバルモードのうちの2つ、3つ、または4つを使用することを含む。

【0118】

さらに、本開示の目的は、プログラムコードを含むコンピュータプログラムであって、プログラムコードは、このコンピュータプログラムが撮像システムの制御装置上で実行されたときに、本明細書に記載の実施形態のうちの1つにおける方法の各ステップを撮像システムに実行させるように構成されているコンピュータプログラムによって達成される。

【0119】

本発明の範囲から逸脱することなく、本発明の上述の特徴および以下で説明される特徴を、それぞれ特定された組合せだけでなく、他の組合せにて適用しても、単独で適用してもよいことを、理解すべきである。

【0120】

本発明のさらなる特徴および利点は、図面を参照して、複数の典型的な実施形態の以下の説明によって開示される。

【図面の簡単な説明】

【0121】

【図1】内視鏡の形態の観察器具の切断斜視背面図である。

【図2】図1に示した器具の一部分の切断側面図である。

【図3】外視鏡の形態の観察器具の斜視正面図である。

【図4】図3に示した器具の一部分の切断側面図である。

【図5】内視鏡の形態の観察器具を備える撮像システムの簡単な概略図である。

【図6】立体機能を備えた撮像システムの簡単な概略図である。

【図7】立体観察用の画像取得ユニットの正面図である。

【図8】図7による画像取得ユニットの別の図であり、図7と比べて回転されて示されている。

【図9】表示モードと観察器具の現時点の回転による向きとの間の関係を示す簡単な概略図である。

【図10】表示モードと観察器具の現時点の回転による向きとの間の関係を示す簡単な概略図である。

【図11】表示モードと観察器具の現時点の回転による向きとの間の関係を示す簡単な概略図である。

【図12】表示モードと観察器具の現時点の回転による向きとの間の関係を示す簡単な概略図である。

【図13】表示モードと観察器具の現時点の回転による向きとの間の関係を示す簡単な概略図である。

【図14】表示モードと観察器具の現時点の回転による向きとの間の関係を示す簡単な概略図である。

【図15】立体表現中の画像の構成を示す簡単な概略図である。

【図16】図15による構成のさらなる図であり、180°回転されたときの画像の構成を示している。

【図17】第1の表現モードと第2の表現モードとの間の切り替えを示す別の簡単な概略図である。

【図18】観察器具による立体観察のための方法の実施形態を説明する図式的に簡略化されたブロック図である。

【図19】観察器具による立体観察のための方法のさらなる実施形態を説明する別の図式的に簡略化されたブロック図である。

【発明を実施するための形態】

【0122】

図1は、内視鏡12の形態の観察器具10の典型的な実施形態の斜視図を示している。図2は、これに対応する、一部分の側面からの図を示している。観察器具10は、典型的に、立体内視鏡12として設計されている。内視鏡12は、体内を観察するように構成されている。

【0123】

内視鏡12および同様の観察器具10について、医療および非医療（技術）への応用が、一般的に知られている。内視鏡12は、長手軸16を定めるシャフト14を備える。例として、シャフト14は、遠位端および近位端を備える。本開示の文脈において、遠位端は、観察者（器具の操作者）から遠ざかる方を向き、観察の対象に面する端部である。さらに、本開示の文脈において、近位端は、観察の対象から遠ざかる方を向き、観察者（器具の操作者）に面する端部である。

【0124】

シャフト14の近位端に、内視鏡12は、ハウジング20を備える。操作者は、ハウジング20の領域において、内視鏡12を把持および案内することができる。体内の観察のための医療器具10として使用される場合、器具10のシャフト14を、身体の自然の開口部または人工の開口部へと少なくとも部分的に挿入することができる。

【0125】

ハウジング20は、例えば、操作要素22および接続部24、26を備える。接続部24、26は、例えば、電源ライン、信号ライン、照明接続部、および医療処置の最中に必要とされる液体または気体のための接続部に関係する。

【0126】

図2は、器具10が、典型的には斜め視野内視鏡12として設計されることを示している。シャフト14の遠位端に、視覚／視野32のコーンを有する画像取得ユニット30が示されている。視野32および／または視野の中心（軸34）は、長手軸16に対して傾斜している。傾斜の角度は、30°、45°、60°、などであってよい。より大きな傾斜角度またはより小さな傾斜角度も考えられる。視線方向（傾斜の調整可能な角度）を調整することができる斜め視野内視鏡12も知られている。軸34は、典型的には、画像取得ユニット30のセンサ表面の法線として配置される。

【0127】

さらに、図2において、36で示されている両矢印は、シャフト14の長手軸16を中心とする器具10の回転運動を示している。このような運動を、ローリング運動と呼ぶことができる。したがって、この典型的な実施形態における長手軸16は、回転軸である。矢印36による運動は、長手軸16に対して傾斜した画像取得ユニット30も回転させる。したがって、このようなローリング運動は、たとえ器具10を他のやり方で動かさなくても、対象の視野の著しく広い範囲を観察することを可能にする。

【0128】

図3および図4は、外視鏡52として設計された別の観察器具50を示している。一例として、器具50は、長手軸56を有するシャフト54を備えた立体外視鏡52である。シャフト54の近位端に、外視鏡52は、制御要素62を有するハウジング60を備える。さらに、ハウジング60上、とりわけハウジング60の近位端に、接続部64、66が形成される。外視鏡52も、操作者がハウジング60の領域において保持し、したがって案内および位置決めすることができる。また、外視鏡52を三脚などに取り付けることも可能であると考えられる。これは、受動三脚（動力による調整を備えない）または能動マニピュレータ（ロボットに匹敵）であってよい。しかしながら、手持ち式の／手で案内される器具50としての使用も考えられる。

【0129】

シャフト54の遠位端に、器具50は、画像取得ユニット70を有する観察ヘッド68を備える。典型的な実施形態において、画像取得ユニット70は、視野および／またはビューイングコーン72を含み、その軸が74で示されている。図3および図4に示される典型的な実施形態において、軸74は、シャフト54に沿った長手軸56に対してほぼ垂直に整列される。軸74は、画像取得ユニット70のセンサ表面の法線であるが、これを限定であると理解すべきではない。軸74は、画像センサがどのように整列されているかにかかわらず、画像取得ユニット70の光学装置の光軸であってもよい。

【0130】

さらに、図4において、作動距離が78で示されている。言うまでもなく、器具50の他の寸法に対する作動距離78は、必ずしも正確な縮尺で示されている必要はない。一般に、図3および図4による外視鏡52は、図1および図2による内視鏡12とは対照的に、対象（患者、技術的物体）を外側（体外）から観察するように構成される。この点で、外視鏡は、顕微鏡などの他の観察器具に似ている。

【0131】

図4において、76が、やはり画像取得ユニット70の回転運動／ローリング運動を示している。画像取得ユニット70を、軸74を中心にして回転させることができるように、外視鏡52を構成することが考えられる。斜め視野の器具の場合には、異なる回転軸を与えることができる。図3および図4に従って設計されるとき、画像取得ユニット70は、観察ヘッド68内で回転可能である。したがって、外視鏡52の全体が回転することはない。回転76に関して、一方では手動操作を、他方ではモータ動作を提供することができる。

【0132】

外視鏡の作動距離78は、通常は、内視鏡の作動距離よりも大幅に長い。作動距離78は、例えば、100mm（ミリメートル）から500mmまでの範囲をカバーすることができる。しかしながら、これを限定と理解すべきではない。通常は、外視鏡は、内視鏡の被写界深度よりも大幅に大きい、充分に大きな被写界深度も有する。例として、被写界深度は、少なくとも5mm、好ましくは少なくとも10mm、より好ましくは少なくとも20mmの範囲を含むことができる。しかしながら、これも限定と理解すべきではない。

【0133】

例として、焦点調整を有する外視鏡52が提供される。一例として、20mmという固定の被写界深度を有する内視鏡12が提供される。換言すると、外視鏡および内視鏡の両方に、焦点深度を調整するための装置を取り付けることができる。しかしながら、被写界深度が固定である光学装置も考えられる。

【0134】

内視鏡12での観察および外視鏡52での観察に関して、立体撮像が可能であると有利である。立体視は、奥行きの印象（空間的印象）を可能にし、観察範囲における他の器具でのナビゲーションを容易にする。

【0135】

したがって、（立体観察の意味での）3D機能を有する内視鏡12および外視鏡52の両方が知られている。通常は、そのような器具は、互いにオフセットされた2つの画像センサを備え、または対応するオフセットされたセンサ領域を持つ立体センサを備える。立体観察は、右眼および左眼での立体視に適合させた、2つの間隔を空けて位置する開口を有する2つの観察チャネルによって可能にされる。

【0136】

例として、立体表現のために、特定の手段（3D眼鏡）を使用することによって立体効果を利用可能にする、いわゆる3Dモニタが知られている。さらに、いわゆるHMD（ヘッドマウントディスプレイ）、すなわち観察者自身が着用する立体効果を備えたビデオ眼鏡が知られている。

【0137】

しかしながら、立体的な観察および表現は、器具がロールし、ステレオベース（2つのセンサ／センサ表面を互いにオフセットさせる仮想線）が基準水平線に対して変化する場合、限界に達する。これは、画像の正立が望まれる場合にとくに当てはまる。基準水平線は、通常は、表示ユニットの配置によって定められ、最終的にはヒトの眼の配置（眼の距離、視差）によって定められる。

【0138】

したがって、画像取得ユニットのステレオベースが少なくとも基準水平線にほぼ対応しなくなった場合、画像の正立を維持しながら、立体表示を充分に高い品質で保証することは、もはや不可能である。これは、少なくとも出力画像の向きを「人工的に」維持しようとする場合に当てはまる。画像の正立を伴わない立体観察も可能であるが、非正立画像における向きは、回転角度が大きくなるにつれてさらに困難になる。したがって、立体観察器具において（デジタル）画像の正立のための手段を容易に実行することは不可能である。3D画像は、通常は、2つの観察チャネルに基づいて形成される。画像の正立（デジタル式／電子式、またはそれぞれのセンサを回転させるための対応するアクチュエータによる）は、今や第1のチャネルおよび第2のチャネルのそれぞれの単一の画像を回転させて正立させる。しかしながら、角度範囲が大きくなると、基準水平線とステレオベースの位置との間にもはや充分な対応が存在しないことになる。本開示は、この問題領域に関する。

【0139】

図5および図6を参照すると、2つの図式的に簡略化されたブロック図によって、立体内視鏡112の形態の観察器具110を備えた撮像システム100の典型的な実施形態が示されている。内視鏡112は、長手軸116を定めるシャフト114を備える。シャフト114の遠位端に、画像取得ユニット130が存在する。図5による典型的な実施形態において、画像取得ユニット130は、軸134が長手軸116に対して傾斜するように、シャフト114に対して傾けられた向きにある。さらに、内視鏡112は、シャフト114の近位端にハウジング120を備える。画像取得ユニット130は、観察対象140へと向けられる。図5の湾曲した両矢印136は、長手軸116を中心とする器具112のローリング運動を示している。

【0140】

典型的な実施形態において、ハウジング120は、例として、第1のセンサ144を備えるセンサユニット142をさらに含む。例として、第1のセンサ144は、1つ以上の加速度センサである。このようにして、器具110の位置の変化／位置を検出することができる。さらに、センサユニット142は、例えばジャイロスコープなどの第2のセンサ146を備える。センサ144、146を、位置センサと呼ぶことができる。したがって、センサユニット142は、絶対測定位置センサ146および相対測定位置センサ144を備えることができる。さらに、センサユニット142が、例えば画像取得ユニット130の近くなど、器具112上の別の位置に設けられてよいことを、理解すべきである。少なくとも1つの位置センサ144、146を備えるセンサユニット142の他の構成を、さらなる苦労を必要とせずに考え出すことができる。

【0141】

また、センサユニット142または位置センサ144、146のうちの少なくとも1つを、観察器具110の外部に備えることも考えられる。例として、器具110の位置／向きの監視を、外部センサ（マーカの光学的または電磁的追跡など）を介して実現することも可能である。原理的には、少なくとも1つの位置センサのデジタル的な実現も考えられる。これには、例えば、画像処理プロセス（パターン認識、モーショントラッキング、など）が含まれる。器具および／または画像取得ユニットの向き、とりわけ現在のロール位置を検出するように組み合わせられた構成を、さらなる苦労を必要とせずに考え出すことができる。

【0142】

器具110は、少なくとも1つの制御ユニット152を有する制御装置150に信号線（有線または無線）を介して接続される。制御装置150は、少なくとも部分的に器具110に統合されてもよい。しかしながら、制御装置150は、別個の制御装置として配置されてもよい。制御装置150を、一般に、中央制御装置または非集中／分散型制御装置として設計することができる。制御装置150は、器具110からデータを受け取るように構成される。このデータは、画像取得ユニット130で取得された画像情報／画像信号に基づく。制御装置150は、データを処理し、とくにに画像データを処理および準備するように構成される。

【0143】

制御装置150の典型的な実施形態は、いわゆるカメラプラットフォームとして、「IMAGE1 S」の名称で、本出願の出願人によって販売されている。通常は、立体観察システムは、器具（内視鏡または外視鏡）に加えて、そのようなカメラプラットフォームおよび少なくとも1つの表示ユニット（3Dモニタなど）を備える。

【0144】

図5による設計において、制御装置150は、立体再生のための表示ユニット160に信号線を介して（無線または有線で）接続される。表示ユニット160は、典型的には、モニタとして設計され、とくには3Dモニタとして設計される。言うまでもなく、特定の状況下では、3D画像（立体画像）を眺めるために、適切な眼鏡などのさらなる機器が必要となる場合がある。表示ユニット160は、観察された物体140の表現を可能にする（表示された画像を示す参照符号164を参照されたい）。さらに、図5において、位置基準が166で示されている。位置基準166は、少なくとも1つの水平線または座標系を含み、再現された画像162は、この水平線または座標系に基づいて配向される。画像取得ユニット130、観察対象140、およびディスプレイ162上の表示画像164の間の適切な向きにより、立体的表現が可能である。

【0145】

図5に示される配置は、器具110との使用に適した光源または他のユニットによって補足されてもよいと理解される。

【0146】

図5に加えて、図6は、撮像システム100の典型的な実施形態のさらなる設計の特徴を示している。画像取得ユニット130が、シャフト114の遠位端に形成されている。画像取得ユニット130は、図示の典型的な実施形態においてはシャフト114の遠位端にやはり位置する第1の画像センサ180および第2の画像センサ182を含む。しかしながら、これを限定と理解すべきではない。近位側に画像センサを配置した実施形態も考えられる。

【0147】

画像センサ180、182の前に、レンズアセンブリ184が存在する。レンズアセンブリ184は、例えば、カバーガラス186と、画像センサ180、182に関連付けられた開口を有する光学ユニット188、190とを備える。光学ユニット188、190は、画像センサ180、182のそれぞれの視野を定める。2つの画像センサ180、182の各々は、観察チャネル194、196に関連付けられる。2つの観察チャネル194、196の一方を右チャネルと呼ぶことができ、他方を左チャネルと呼ぶことができる。したがって、2つの画像センサ180、182の一方を右センサと呼ぶことができ、他方を左センサと呼ぶことができる。

【0148】

図6に示される典型的な実施形態において、観察チャネルという用語は、必ずしも光学的な観察チャネルを指すとは限らない。代わりに、チャネル194、196は、通常は、右および左の画像センサ180、182によって取得された画像データを制御装置150へと送信するためのチャネルとして設計される。制御装置150は、画像データを処理および準備するために使用される。さらに、2つの出力チャネル200、202が制御装置150の出力に設けられ、これらを右および左出力チャネル200、202と呼ぶことができる。（右眼用および左眼用の視野などの）画像情報が両方の出力チャネル200、202を介して提供される場合、適切な表示ユニット160を、立体表現（3D表示）を行うように制御することができる。図6は、また位置基準166に関連付けられ配列された観察対象のそのような3D表現164を示している。

【0149】

図7および図8は、2つの画像センサ180、182を有する画像取得ユニット130の典型的な実施形態の正面図を示している。図示の典型的な実施形態において、画像取得ユニット130は、器具110のシャフト114に取り付けられている。しかしながら、これを限定と理解すべきではない。2つの画像センサ180、182は、ステレオベース（例えば、光学ユニット188、190の開口間の距離）に適合させた距離216だけ互いに離れている。2つの画像センサ180、182の相対位置は、センサの水平線218をさらに定める。2つの画像センサ180、182のセンサ水平線218が位置基準166（とくには、人工水平線）と一致する場合、正立させた3D表現が可能である。

【0150】

図8は、図7の向きに対して回転された画像取得ユニット130の状態を示している。したがって、（新たな）センサ水平線220は、以前のセンサ水平線218に対して特定の角度222だけ回転されている。しかしながら、以前のセンサ水平線218が位置基準166の人工水平線に平行に向けられている場合、これは、新たなセンサ水平線220の場合にはもはや当てはまらない。回転されたベース216に加えて、226と標記された高さのオフセットが存在することも明らかである。

【0151】

図8における回転／傾斜は、とくには回転する画像取得ユニット130においても画像の正立が望まれ、すなわち「直立した」表現画像164が望まれる場合に、3D表示を困難にする。これは、（例えば、ローリング軸でもあるシャフト114の長手軸に対して）斜めの視線方向を有する器具110にさらに当てはまる。

【0152】

本開示は、異なる表現モードによってこれらの欠点に対処する。一方では、可能な限り、3D表現に重点が置かれる。しかしながら、画像取得ユニットの所与の回転位置ゆえに3D表現が有用でないと思われる場合、観察者に2D表現が提供される。2Dモードにおいて、（デジタルの）画像の正立を保証することができる。2Dモードは、観察者の視点からの眺めの向きが3Dモードでの立体観察よりも重要である用途に適する。

【0153】

この文脈において、図9～図14を参照する。図9～図14は、角度目盛り230を参照して、現時点において選択されている観察器具110の回転による向きを、位置矢印232によって示している。さらに、図9～図14は、画像処理が制御装置150において本開示の典型的な実施形態に従って実行された場合に、表示ユニット160において得られる観察対象の再現画像164の表現および向きを、位置基準166（例えば、人工水平線）に対して示している。言うまでもなく、図9～図14における傾斜角度の表現は、あくまでも例示の性質のものにすぎない。3D表現の範囲をさらに大きくすることも、より小さくすることも考えられる。

【0154】

回転角度目盛り230は、さまざまな範囲240、242、244、246を含み、これらのうちの範囲240および244が、典型的に、3D表示による第1の表現モードに割り当てられる。範囲242、246は、2D表現による第2の表現モードに関連付けられる。それぞれの範囲240、242、244、246の大きさは、例示にすぎない。範囲240、242、244、246の間で、異なる表現モード間の移行が切り替え角度において生じる。

【0155】

0°位置は、例えば、図7に示した画像取得ユニット130の回転角度状態に対応する。0°位置において、2つのセンサ180、182および／またはその上流の観察光学系によって定められる水平線218は、位置基準166の人工水平線（水平）に対応する。したがって、観察対象164の3D画像を出力することができる。たとえ追加の手段が存在しなくても、観察対象164が所望の向きで表示される限りにおいて、画像の正立は不要である。

【0156】

器具110および／または画像取得ユニット130が小さな回転角度に回転させられた場合（図10を参照）、観察対象164を立体的に再現すること（3D再現）が依然として可能である。水平線218と位置基準166との間にもはや完全な整列は存在しないが、生じるずれ（例として図8を参照）は、図10に示される回転角度において依然として許容可能である。したがって、観察対象164を依然として立体的に表示することが可能である。

【0157】

図10において、観察対象164は、目盛り230上に示されるポインタ232の角度に対応する範囲240内の傾斜角度で表示される。この傾斜も、特定の限界内で依然として許容可能であり、すなわち画像の正立は省略される。利点は、3D機能が維持されることである。しかしながら、図9の向きと同様に、第1の表現モード（領域240、244）において画像に示される観察対象164を正立させることも考えられる。これは、画像の正立という利点を有することになる。しかしながら、他方では、3D表現のさらなる悪化を伴う可能性がある。それでもなお、これは許容範囲内であれば考えられる。

【0158】

他方で、多くの典型的な実施形態は、観察対象164が少なくとも正立されない範囲240にあることを考慮する。これは、反対側の範囲244においても（必要とされるであろう反転機能に関係なく）考えられる。

【0159】

図10および図11の表現の間に、範囲240から範囲242への移行が存在する。換言すると、図10は、第1の表現モード（3D）での表現を示している。図11は、第2の表現モード（2D）での表現を示している。すでに上述したように、電子的な画像の正立は、第2の表現モードにおいて実施がより容易である。

【0160】

観察対象164の画像を、範囲240と範囲242との間の移行において図11に示される回転角度位置で突然に正立させなければならない場合、例えば図10における観察対象164の表現および図12における表現の直接的連続に匹敵する知覚可能な「ジャンプ」が存在することになる。代わりに、本開示の文脈においては、少なくとも典型的な実施形態において、第1の表現モードから第2の表現モードへの移行において伝えられる「向き」から出発して、観察対象164の画像を突然にではなく滑らかに正立させることが提案される。このような移行の動きは、2つの表現モード間の変化を、観察者にとってより便利にする。換言すると、2つの向き（部分的な回転および正立）の間の再現画像の補間が行われる。

【0161】

同様に、第2の表現モードから第1の表現モードへの切り替え時に、再現される観察対象164について第1の表現モードに入るときの予想される傾斜への滑らかな移行を先取りするために、2D表現における画像の正立を修正することが考えられる。ここで、画像は、正立した向きと部分的に回転した向きとの間で補間される。図13および図14においてさらに後述される移行も参照されたい。

【0162】

図12は、第2の表現モードが使用される範囲242内で画像の正立が可能であることを示している。画像の正立を、基本的にすでに知られているやり方で、観察対象164の2D画像において実行することができる。このように、デジタルの画像の正立は既知である。さらに、画像センサを動かすことによる画像の正立が知られている。

【0163】

ポインタ232は、図12において、範囲242内の限界角度に位置している。典型的な実施形態において、限界角度は約90°である。やはり第2の表現モードに割り当てられている反対側の範囲246において、さらなる限界角度は約270°である。少なくとも器具が限界角度に向かって回転され、すなわち約90°または270°だけ回転されたとき、典型的な実施形態は、完全な画像の正立を含む。限界角度において、観察対象164は、位置基準に対して完全に整列し、または少なくともほぼ整列している。切り替え角度（範囲240と範囲242との間の移行（図11も参照））における向きと、図12による限界角度における向きとの間で、回転角度に応じた観察対象164の漸進的な正立が生じることができる。

【0164】

図12の向きに基づいて、図13は、ポインタ232が依然として範囲242内にあるが範囲244に近づいている状態を示している。したがって、第2の表現モードから出発して、第1の表現モードへの移行が近づいている。したがって、図13において、表示された観察対象164の向きは、第1の表現モードに入るときの予想される向きにすでに適合されている。

【0165】

図14が、そのような状態を示している。器具110および／または画像取得ユニット130は、ほぼ180°回転されている。それにもかかわらず、3D表示が今や再び可能である。さらに、再現された観察対象164は、元の配置（図9）に関して少なくとも垂直的に整列されている。器具および／または画像取得ユニット130の所与の向きに基づいて、一方では個々の画像の180°の回転を含み、他方では2つのチャネルの交換を含むいわゆる画像反転が、図14において行われる。

【0166】

全体として、器具および／または画像取得ユニットのローリング運動があっても、観察者は、理解しやすい向きの容易に把握できる画像を得る。3D表現を、与えられた条件下で3D表現が可能であると思われる場合、常に使用することができる。それを、3Dと2Dとの間で自動的に切り替えることができる。少なくとも追加の選択として、手動での切り替えも考えられる。

【0167】

言うまでもなく、図9～図14の一連の図は、真っ直ぐな視線方向を有する器具に関する。しかしながら、上記の記述は、傾いた／斜めの視線方向を有する器具にも適用可能である。言うまでもなく、斜めの視線方向を有する器具の視野は、器具の回転時にさまざまな観察対象が視野内に現れるように移動する。しかしながら、向きに関しては、上記の説明を適用することが可能である。遅くとも、観察器具に加えて他の器具（鉗子、ピンセット、など）が使用され、少なくとも部分的に視野内に現れるときに、利益がもたらされる。

【0168】

図15および図16の図式的にきわめて簡略化された図を使用して、器具110が180°回転されるときの上述の画像反転を説明する。図15および図16において、器具110は、3D表現が有用かつ望ましい範囲240、244の一方にある。図15においては、図9による状態にほぼ対応する状態が存在する。2つのセンサ180、182の各々が、2つのチャネル194、196の画像を取得する。制御装置150は、2つのチャネル194、196を出力チャネル200、202に図式的に結合させるブロックを含む。図15による構成において、2つのセンサ180、182の取得画像は、すでに所望の向きを有している。したがって、2つのセンサ180、182の信号のみを組み合わせて、再現される観察対象164の3D表現を可能にできるはずである。

【0169】

対照的に、2つのセンサ180、182は、図16の構成によれば、その間に生じた180°の回転ゆえに、画像を上下逆さまに取得する。しかしながら、両方のチャネル194、196の画像データを単に回転させた場合（ブロック250、252を比較）、第1のチャネルおよび第2のチャネルは依然として入れ換わっている。したがって、図16による典型的な実施形態において、一方では2つのセンサ180、182の2つの（部分）画像を回転させて、それぞれの単一画像を正立させることが提案される。さらに、この典型的な実施形態において、2つのチャネル194、196の信号は、ブロック254によって例示されるように、処理中に入れ換えられ（クロススワップ）、出力チャネル200、202へと送られる。このようにして、画像の反転（180°フリップとも呼ばれる）が実施される。範囲244において、たとえ器具110および／または画像取得ユニット130が180°回転された場合であっても、3Dモードにおけるほぼ正立した表示が可能である。180°位置の近くでも、3D表示が望ましい。

【0170】

ブロック250、252、254が制御装置150の機能ブロックであってよいことを、理解すべきである。ブロック250、252、254を、ソフトウェアおよび／またはハードウェアで実現することができる。ブロック250、252、254を、特定の個別の機能を備えた個別のブロックとして設計しても、汎用の機能ブロックとして設計してもよい。

【0171】

図9～図16に示される器具110の機能を、割り当てられた動作モードで制御装置150によって制御することができる。典型的な実施形態において、制御装置150を備えた器具110は、他の動作モードも可能である。

【0172】

第1の動作モードは、例えば、器具110を純粋な2Dモードで、すなわち立体表現なしで、画像の正立を伴わずに動作させることを含む。したがって、再現画像は、器具110および／または画像取得ユニットの回転と同様に回転する。第2の動作モードは、例えば、立体表現を伴う立体モードでの器具110の動作を含む。これは、画像の正立が省略されることを意味する。

【0173】

第3の動作モードは、基準水平線に対して継続的に正立させる2Dモードで器具110を動作させることを含む。したがって、理想的には、表示画像の回転による向きは、器具を回転させても変化しない。完璧を期すために、斜め視野の器具の場合に、器具を回転させると画像の中身（視野）が変化することに注意すべきである。しかしながら、表示画像の回転による向きは維持される。第4のモードは、立体表現（第1の表現モード）および2D表現（第2の表現モード）の組合せ動作であり、少なくとも第2の表現モードにおいて、画像は少なくとも部分的に正立される。

【0174】

図17を参照すると、第1の表現モードと第2の表現モードとの間の移行、および画像の正立の一構成要素としての第2の表現モードにおける考えられる画像変換（補間）が、図9～図16による角度目盛り230に基本的に対応する角度目盛り330を参照して示されている。角度目盛り330は、ロール軸を中心とする完全な1回転に対応する完全な円を表す。第1の表現モードに割り当てられるサブ範囲340、344が設けられる。さらに、第2の表現モードに割り当てられるサブ領域342、346が設けられる。切り替え角度350、352、354、356が、それぞれの移行に割り当てられる。切り替え角度350、352、354、356は、例えば、45°、135°、225°、および315°である。図17に示されていない別の典型的な実施形態においては、切り替え角度350、352、354、356が、30°、150°、210°、および330°である。

【0175】

ポインタ360は、第1の表現モード（範囲340、344）および第2の表現モード（範囲342、346）における回転時の器具110および／またはその画像取得ユニット130の回転位置を示す。図17は、第2の表現モードのそれぞれのサブ範囲342、346における限界角度362、364をさらに示している。例として、限界角度362、364は、それぞれサブ範囲342、346の中央に位置し、したがって限界角度362は90°である。例として、限界角度364は270°である。

【0176】

図17は、角度目盛り330を広げて示す対応する線図370をさらに含む。軸372が、器具110および／またはその画像取得ユニット130の現時点の回転角度／ロール角度を示し、したがって回転時のポインタ360のそれぞれの位置に対応する。さらなる軸374は、結果として生じる傾斜角度、すなわち表示画像の結果としての回転による向きを表す。

【0177】

図17に示される典型的な実施形態において、サブ範囲340、344は、0°＋／－45°および180°＋／－45°の範囲をカバーする。これらの範囲においては、立体表現が考えられ、器具を第1の表現モードで動作させることができる。第1の表現モードでは、広範な電子的な画像の正立は提供されない。したがって、位置基準（人工水平線）に対する表示画像の傾斜は、器具110および／またはその画像取得ユニット130の回転角度に比例し、または直接的に比例する。これが、線図370において、380によって指し示された線によって示されており、0°～45°の間、135°～225°の間、および315°～360°の間の部分を比較されたい。したがって、器具110が位置基準に対して30°回転すると、再生画像も30°回転する。

【0178】

135°～225°の間の部分において、器具110は、その回転による向きが実質的に上下逆さまになっているため、再現画像を図16に示した典型的な実施形態と同様に調整して、静的な準正立を可能にすることができる。次に、出力画像が少なくともほぼ所望の向きを有するように、2つの観察チャネルの画像も上下逆さまに回転される。

【0179】

残りの部分領域342、346においては、1つの観察チャネルに基づく2D表現が使用されており、45°～135°の間および225°～315°の間の部分を比較されたい。第2の表現モードにおいては、電子的な画像の正立が可能である。これは、向きの調整および／または表示画像の向きの器具の現時点の回転角度からの分離を可能にする。しかしながら、典型的な実施形態において、第2の表現モードにおける理想的な向きへの出力画像の即時かつ継続的な正立は省略される。そのような理想的な向きは、例えば、線図370における軸374上の0°位置に対応する。そのような機能は、切り替え角度350、352、354、356のうちの1つを通過するや否や、画像が典型的な実施形態においては0°の偏向に対して45°だけ突然回転するという結果をもたらすことになる。これは、とりわけそれぞれの切り替え角度350、352、354、356の付近で動作している場合に、不都合であると考えられる。

【0180】

再現画像のこのような「ジャンプ」に対処するために、一方では画像の充分に安定した正立および良好な向きが可能になり、他方では回転角度のジャンプが最小化または回避されるように、角度に応じて第2の表現モードにおける画像の向きを補間することが提案される。

【0181】

曲線382、384、386が、第2の表現モードにおける器具110および／または画像取得ユニット130の実際の回転による向きに応じた表示画像の典型的な角度の向きを示している。これらの曲線／線382、384、386は、第2の表現モードのサブ領域342、346に配置される。曲線382、384、386は、第2の表現モードにおいて、とりわけ角度のジャンプが生じない第1の表現モードの離れたサブ領域340、344間の移行を提供する。

【0182】

曲線382は、器具110の現時点の回転角度に実質的に比例および／または反比例する。例えば、線図370において、直線部分が、切り替え角度350における45°位置と切り替え角度352における135°位置との間を延びている。器具110の回転角度が増加するにつれて、表示画像は、回転角度の増加につれて反対方向に回転される。同様に、典型的な実施形態において、切り替え角度354と356との間、すなわち225°と315°との間で、画像は反対方向に回転される。図17による典型的な実施形態における境界条件は、限界角度362、364、すなわち器具の90°および270°の回転位置における0°位置の通過である。このようにして、角度範囲340、342、344、346の対称的な設計、とりわけ垂直に対する鏡面対称な設計により、第2の表現モードのそれぞれのサブ範囲342、346のほぼ中央における表示画像の完全な正立がもたらされる。

【0183】

曲線384は、原則として、曲線382の推移に基づく。しかしながら、曲線384の推移は、限界角度362、364において直接的にだけでなく、それらの周囲（この例では、約＋／－20°）においても、画像の完全な正立を実行するという目標に従う。これにより、表示画像が充分に安定し、まったく回転せず、またはわずかしか回転しない範囲がもたらされる。それにもかかわらず、曲線384は、第1の表現モードへの滑らかな移行を可能にする斜面を含む。

【0184】

曲線386は、典型的には、スプライン（多項式曲線）として設計され、基本的な推移は、曲線384に基づく。このやり方で、曲線に沿って通過するときの「キンク（kink）」を回避することができる。

【0185】

第2の表現モードに関する曲線382、384、386を第1の表現モードに関する曲線380と組み合わせて、第1および第2の表現モードにおける所望の挙動を実現できることを、理解すべきである。

【0186】

図18を参照すると、立体観察のための方法、とくには画像の正立、少なくとも部分的な画像の正立を伴う立体観察のための方法についての典型的な実施形態を説明するために、概略のブロック図が使用される。

【0187】

この方法は、立体機能を備える観察器具の提供に関する第1のステップS10を含む。器具は、立体内視鏡または立体外視鏡であってもよい。器具は、通常は、第1の画像データおよび第2の画像データを取得することができる画像取得ユニットを備える。この目的のために、画像取得ユニットは、第1のセンサと、第1のセンサからオフセットされた第2のセンサとを備えることができる。このようにして、2つの観察チャネル（右および左）が形成される。このようにして、第1の画像データおよび第2の画像データを、立体観察のために組み合わせることができる。しかしながら、これは、器具のステレオベースが（理想的な）基準水平線から変化するように器具が回転されるときに、所望の画像の正立に対する課題を提起する。

【0188】

これに、器具および／またはその画像取得ユニットの位置監視および／または回転角度位置（ロール位置）の検出を含むステップS12が続く。検出された位置および／または検出された回転は、画像取得ユニットの所与の向きにおいて、画像の正立を伴わない3D表現が有用に思われるか、または電子的な画像の正立を使用するために2つの観察チャネルの一方のみを使用する2D表現に切り替えるべきであるかを示す。

【0189】

次いで、検出された回転角度に応じて、第1の表現モードを有効にするステップS14が続いてもよい。第1の表現モードは、3D再生を含む。あるいは、第2の表現モードを有効にするステップS16が続いてもよい。第2の表現モードは、2D表現を含む。

【0190】

ステップS14の後に、奥行きの印象を伴う3D表現のために両方の観察チャネル（右および左）を使用する表現を含むステップS18が続く。少なくともこの方法の典型的な実施形態において、観察対象の画像が第1の表現モードにおいて継続的には正立されないことが意図される。したがって、表示画像は、器具の回転につれて回転する。しかしながら、第1の表現モードは限られた回転角度範囲においてのみ使用可能であるため、大まかな画像の向きは依然として有効であり、画像内における向きが可能である。それにもかかわらず、第1の表現モードは、立体観察という利点を有する。

【0191】

通常は、第1の表現モードは、器具および／またはその画像取得ユニットが約180°回転した状態も含む。その場合、ステレオベース（例えば、観察光学系の開口の位置および／または向きによって定められる）は、再び基準水平線に平行またはほぼ平行になる。しかしながら、表示画像が上下逆さまにならないように、いわゆる180°反転が実行される。これは、例えば、2つのチャネルの180度回転および交換（右を左と交換、およびその反対）を含む。このようにして、180°回転した状態における準正立を、3D表現と一緒に実行することができる。しかしながら、継続的かつ厳密に追跡された画像の正立は存在しない。

【0192】

しかしながら、ステップS16による方法が第2の表現モードで実行される場合、2つの観察チャネルのうちの一方のみが、次のステップS20における表現のために提供および／または使用される。これは、出力用にモノラル信号しか準備されないため、もはやステレオベースを考慮する必要がないという利点を有する。

【0193】

したがって、出力される画像を、デジタル的／電子的に正立させることができる。ステップS22において画像の正立が行われる。依然として検出される回転位置の角度に応じて、今や追跡および／または継続的な画像の正立をもたらすことができる。観察者にとって、器具の回転時に画像の大まかな向きが変化せず、または定められた制限内でしか変化しない。

【0194】

この方法は、ステップS24において、典型的な実施形態においては、器具の上下逆さまの向きを除いて即時の画像の正立を伴わない3D表現、または画像の正立を伴う2D表現のいずれかである画像の表現で終了する。

【0195】

図19を参照すると、さらなるブロック図が、立体観察のための方法の典型的な実施形態を説明するために使用される。原則として、この方法を、撮像システムを制御するための方法として設計してもよく、そのように呼ぶことも可能である。

【0196】

この方法は、例えば撮像システムの起動に関するステップS50で始まる。これに続くステップS52は、器具および／またはその画像取得ユニットの現時点の回転位置（ロール位置）の検出に関する。この目的のために、少なくとも1つのセンサを設けることができる。ステップS54において、検出は、検出された角度の監視を可能にする。ステップS56において、3つの（全体的な）角度範囲のうちのどれに器具および／またはその画像取得ユニットが現時点において位置しているかが判定される。ここでは、例えば、基準水平線に対する位置が考慮され、ステレオベースを、内部器具基準として使用することができる。

【0197】

次いで、角度範囲に応じて、器具を第1の表現モード（ステップS58）、第2の表現モード（ステップS60）、または移行モードとも呼ばれる第3の表現モード（ステップS62）で動作させることができる。

【0198】

ステップS58は、両方の画像チャネルを使用する3D表現を目的とする。ステップS60は、一方の画像チャネルのみを使用する2D表現を目的とし、好ましくは継続的な画像の正立も目的とする。ステップS62は、第1の表現モードと第2の表現モードとの間の移行を提供することを目的とする。

【0199】

ステップS58にステップS64が続き、ステップS64は、3D観察のための第1の表現モードに適合した画像操作を含む。ステップS64は、例えば、器具の180°回転を考慮に入れるいわゆる180°反転を含む。器具がステレオベースで約180°回転されるとき、3D観察が再び基本的に可能である。画像が観察者に直立して見えるようにするために、ステップS64で実行される画像操作が必要である。少なくともこの方法の典型的な実施形態において、第1の表現モードでは、180°反転の可能性は別として、画像をデジタル的に正立させることは意図されていない。

【0200】

ステップS60にステップS66が続き、ステップS66は、第2の表現モードに適合した画像操作を含む。画像は、2D表現用に提供される。少なくともいくつかの典型的な実施形態において、これは、たとえ器具が回転された場合でも再現画像が観察者にとって直立して見えるように、継続的な画像の正立を含む。画像の正立は、静的な目標、すなわち正確に1つの目標の向きを有することができる。しかしながら、とりわけ第1の表現モードと第2の表現モードとの間の切り替え時の大きなジャンプを回避するために、画像の正立を回転角度に応じて実行することも可能である。

【0201】

ステップS62にステップS68が続き、ステップS68は移行モードに適合した画像操作を含む。移行モードの主な目的は、第1の表現モードと第2の表現モードとの間の滑らかな移行を提供することである。例えば、第1の表現モードにおける2つのわずかにオフセットされた視野（立体）の表示と、第2の表現モードにおけるただ1つの画像（2D）、すなわち1つの観察チャネルのみのデータの表示との間の移行である。特定の時間（例えば、所定のフレーム数）のうちに立体モードの2つの視野のうちの一方をフェードアウトまたはフェードインさせて、2つの視野のうちの他方が支配的な画像となるようにすることが考えられる。このようにして、2Dと3Dとの間の移行が滑らかになる。このようにして、連続するフレーム間の急激な変化が回避される。

【0202】

ステップS68において、観察者にとって画像が異なるモード間で滑らかに変化するように正立の調整および／または修正が行われ、「ジャンプ」の代わりに、観察時により好都合であると認識される補間に基づく穏やかな変換／回転が知覚可能である。

【0203】

次のステップS70において、それぞれのモードを考慮に入れて表示が行われる。監視（ステップS54）は、対応する動作モードが選択されている場合、器具の動作中に継続的に実行される。移行モードS62は、ステップS58による第1の表現モードとステップS60による第2の表現モードとの間の視覚的に好都合な移行を可能にする。

【0204】

ステップS72は、方法を終了させ、例えば撮像システムの無効化を含む。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】