7055202 画像生成装置、画像表示装置、及び画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-07

(45)【発行日】2022-04-15

(54)【発明の名称】画像生成装置、画像表示装置、及び画像表示方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20220408BHJP

   A61B 1/00 20060101ALI20220408BHJP

【ＦＩ】

A61B1/045 610

A61B1/00 731

【請求項の数】 5

(21)【出願番号】P 2020527193

(86)(22)【出願日】2019-02-22

(86)【国際出願番号】 JP2019006747

(87)【国際公開番号】W WO2020003604

(87)【国際公開日】2020-01-02

【審査請求日】2020-11-20

(31)【優先権主張番号】P 2018121986

(32)【優先日】2018-06-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100123962

【弁理士】

【氏名又は名称】斎藤 圭介

(72)【発明者】

【氏名】本間 博之

(72)【発明者】

【氏名】谷内 章一

【審査官】田辺 正樹

(56)【参考文献】

【文献】国際公開第２０１６／１０４３６８（ＷＯ，Ａ１）

【文献】国際公開第２０１４／００２７４０（ＷＯ，Ａ１）

【文献】特開２００３－２６５４１１（ＪＰ，Ａ）

【文献】国際公開第２０１７／１８３３７１（ＷＯ，Ａ１）

【文献】国際公開第２０１６／０４３１０７（ＷＯ，Ａ１）

【文献】特開平１１－１９７０９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ１／００－１／３２

(57)【特許請求の範囲】

【請求項1】

撮像ユニットと、画像処理装置と、を備え、
前記撮像ユニットは、対物光学系と、光路分割素子と、撮像素子と、を有し、
前記光路分割素子によって、所定の結像領域が前記撮像素子上に形成され、
前記所定の結像領域は、第１結像領域と、第２結像領域と、からなり、
前記撮像素子は、第１撮像領域と第２撮像領域とを有する所定の撮像領域を有し、
前記第１撮像領域と前記第２撮像領域は、並列に、前記撮像素子上に位置し、
前記第１結像領域と前記第２結像領域は、共に、前記対物光学系における視野の像であって、
前記第１結像領域の外縁の少なくとも一部と前記第２結像領域の外縁の少なくとも一部は、共に、前記所定の撮像領域の内側に位置し、
前記第１結像領域は、前記第１撮像領域に位置し、
前記第２結像領域は、前記第２撮像領域に位置し、
前記撮像素子で、前記第１撮像領域に位置する前記第１結像領域の外縁と、前記第２撮像領域に位置する前記第２結像領域の外縁が撮像され、
前記画像処理装置は、参照データを有し、
前記参照データは、前記所定の結像領域における基準点を表すデータ、又は、前記所定の撮像領域における基準点を表すデータを有し、
前記画像処理装置では、前記撮像素子で撮像された前記第１結像領域の外縁に基づいて、前記第１結像領域の特徴点が算出され、前記撮像素子で撮像された前記第２結像領域の外縁に基づいて、前記第２結像領域の特徴点が算出され、
前記第１結像領域の特徴点、前記第２結像領域の特徴点、及び前記参照データから、前記所定の結像領域と前記撮像素子とのずれ量が算出され、
前記ずれ量から、前記第１結像領域から取得した第１画像の表示位置と、前記第２結像領域から取得した第２画像の表示位置と、が決定されることを特徴とする画像生成装置。

【請求項2】

前記第１撮像領域と前記第２撮像領域は、共に、矩形領域であり、
以下の条件式（１）、（２）を満足することを特徴とする請求項１に記載の画像生成装置。
１＜ｆ／ＩＨmax＜１．２ （１）
０．８＜ｆ／Ｉd＜０．９８ （２）
ここで、
ｆは、前記対物光学系の焦点距離、
ＩＨmaxは、表示用領域における最大長、
Ｉd＝｛（Ｉv／２）²＋（Ｉh／２）²｝^1/2であって、
Ｉvは、前記矩形領域の縦方向の長さ、
Ｉhは、前記矩形領域の横方向の長さ、
前記表示用領域は、前記第１撮像領域の内側に位置し、前記第１画像の表示に用いられる撮像領域、又は、前記第２撮像領域の内側に位置し、前記第２画像の表示に用いられる撮像領域、
前記最大長は、前記表示用領域の中心から前記表示用領域の外縁までの距離のなかで、最大となる距離、
である。

【請求項3】

前記所定の撮像領域に位置する外縁を含む画像は、内側領域と、外側領域と、を有し、
前記内側領域は、前記所定の撮像領域に位置する外縁の内側に位置し、
前記外側領域は、前記所定の撮像領域に位置する外縁の外側に位置し、
前記内側領域は、明るさが均一な領域を有し、
前記明るさが均一な領域は、前記所定の撮像領域に位置する外縁と接していることを特徴とする請求項１に記載の画像生成装置。

【請求項4】

請求項１に記載の画像生成装置と、表示装置と、を備えることを特徴とする画像表示装置

【請求項5】

第１結像領域の外縁の少なくとも一部の画像を生成するステップと、
第２結像領域の外縁の少なくとも一部の画像を生成するステップと、
前記第１結像領域の外縁の画像に基づいて、前記第１結像領域の特徴点を算出すると共に、前記第２結像領域の外縁の画像に基づいて、前記第２結像領域の特徴点を算出するステップと、
前記第１結像領域の特徴点、前記第２結像領域の特徴点、及び参照データから、所定の結像領域と撮像素子とのずれ量を算出するステップと、
前記ずれ量から、前記第１結像領域から取得した第１画像の表示位置と、前記第２結像領域から取得した第２画像の表示位置と、を決定するステップと、を有し、
前記撮像素子上に、前記所定の結像領域が形成され、
前記所定の結像領域は、前記第１結像領域と、前記第２結像領域と、からなり、
前記撮像素子は、第１撮像領域と第２撮像領域とを有する所定の撮像領域を有し、
前記第１撮像領域と前記第２撮像領域は、並列に、前記撮像素子上に位置し、
前記第１結像領域は、前記第１撮像領域に位置し、
前記第２結像領域は、前記第２撮像領域に位置し、
前記参照データは、前記所定の結像領域における基準点を表すデータ、又は、前記所定の撮像領域における基準点を表すデータを有し、
前記第１結像領域と前記第２結像領域は、共に、対物光学系における視野の像であることを特徴とする画像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成装置、画像表示装置、及び画像表示方法に関する。

【背景技術】

【0002】

近年、光学系と撮像素子を備えた装置において、撮像素子の多画素化が進んでいる。撮像素子の画素数が多くなると、１つの画素の面積が小さくなる。そのため、光学系では、分解能を高くする必要がある。

【0003】

光学系の分解能を高くするには、物体側開口数を大きくすれば良い。ただし、物体側開口数を大きくすると、被写界深度が狭くなる。被写界深度が狭いと、観察できる範囲が限られる。観察範囲が狭いと、効率良く観察することが困難になる。

【0004】

被写界深度を拡大する装置として、特許文献１に開示された内視鏡装置がある。この内視鏡装置では、対物光学系と撮像素子との間に、光路分割素子が配置されている。光路分割素子によって、２つの光路が形成される。２つの光路では、光路差が生じている。そのため、撮像素子上に、ピントの異なる２つの光学像が形成される。

【0005】

ピントの異なる２つの光学像は、撮像素子で撮像される。その結果、ピントの異なる２つの画像が取得される。取得した２つの画像を合成することで、被写界深度を拡大した画像が生成される。

【0006】

また、この内視鏡装置では、画像補正処理部で画像補正が行える。画像補正では、２つの画像における相対的な位置、角度、及び倍率を略同一にしている。

【0007】

画像補正では、予め設定された補正パラメータが用いられる。補正パラメータの補正量は、工場出荷時に、予め補正パラメータ部に設定されている。そして、内視鏡が画像プロセッサに接続された際に、補正パラメータ部から対応するパラメータを呼び出して補正を行う。

【先行技術文献】

【特許文献】

【0008】

【文献】特許第５５９３００４号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

内視鏡装置では、内視鏡の取り扱い時に、内視鏡の先端部に衝撃が加わることがある。特許文献１の内視鏡装置では、先端部に、対物光学系、光路分割素子、及び撮像素子が配置されている。そのため、先端部に衝撃が加わると、対物光学系、光路分割素子、及び撮像素子の少なくとも１つが、強い力を受ける。

【0010】

また、内視鏡は、高温度、高湿度の環境下で、洗浄や消毒が行われることがある。このような環境下では、先端部に熱的変化などの影響が及ぶことがある。そのため、洗浄や消毒が行われると、対物光学系、光路分割素子、及び撮像素子が熱的な力を受ける。更に、衝撃、洗浄、及び消毒以外でも、先端部が力を受けてしまうことがある。

【0011】

このような力を強く受けるか、又はこのような力を繰り返し受けると、対物光学系と撮像素子との間、光路分割素子と撮像素子との間、又は光学ユニットと撮像素子との間で、ミクロンオーダーの相対的なずれを生じることがある。尚、光学ユニットは、対物光学系と光路分割素子とからなる。

【0012】

撮像素子上には、ピントの異なる２つの光学像が形成されている。そのため、上述のずれが生じると、撮像素子と光学像との間で、相対的な位置のずれが生じる。この相対的な位置のずれ（以下、「位置ずれ」という）は、２つの画像から合成画像を生成する際に、悪影響を及ぼす。

【0013】

位置ずれの量（以下、「ずれ量」という）は、撮像素子に基準点を設けるか、又は、光学像に基準点を設けることで求めることができる。例えば、撮像素子に基準点を設けると、ずれ量は基準点から光学像の位置までの距離で算出できる。

【0014】

参照量を工場出荷時のずれ量とすると、工場出荷時、ずれ量は参照量と一致している。また、工場出荷時、２つの画像から合成された画像は、自然な合成画像になっている。よって、ずれ量が参照量と一致している状態では、自然な合成画像が生成される。逆に、ずれ量が参照量と一致していない状態では、自然な合成画像を生成することができない。

【0015】

上述のように、特許文献１の内視鏡装置では、機械的な衝撃や熱的な衝撃等で、位置ずれが生じる場合がある。位置ずれが大きいと、ずれ量は参照量と一致しなくなる。そのため、特許文献１の内視鏡装置では、位置ずれが生じた場合、自然な合成画像を生成することが困難になる。

【0016】

本発明は、このような課題に鑑みてなされたものであって、撮像素子と光学像との間で位置ずれが生じても、容易に、自然な合成画像が取得できる画像生成装置、画像表示装置、及び画像表示方法を提供することを目的とする。

【0017】

上述した課題を解決し、目的を達成するために、本発明の少なくとも幾つかの実施形態に係る画像生成装置は、
撮像ユニットと、画像処理装置と、を備え、
撮像ユニットは、対物光学系と、光路分割素子と、撮像素子と、を有し、
光路分割素子によって、所定の結像領域が撮像素子上に形成され、
所定の結像領域は、第１結像領域と、第２結像領域と、からなり、
撮像素子は、第１撮像領域と第２撮像領域とを有する所定の撮像領域を有し、
第１撮像領域と第２撮像領域は、並列に、撮像素子上に位置し、
第１結像領域と第２結像領域は、共に、対物光学系における視野の像であって、
第１結像領域の外縁の少なくとも一部と第２結像領域の外縁の少なくとも一部は、共に、所定の撮像領域の内側に位置し、
第１結像領域は、第１撮像領域に位置し、
第２結像領域は、第２撮像領域に位置し、
撮像素子で、第１撮像領域に位置する第１結像領域の外縁と、第２撮像領域に位置する第２結像領域の外縁が撮像され、
画像処理装置は、参照データを有し、
参照データは、所定の結像領域における基準点を表すデータ、又は、所定の撮像領域における基準点を表すデータを有し、
画像処理装置では、撮像素子で撮像された第１結像領域の外縁に基づいて、第１結像領域の特徴点が算出され、撮像素子で撮像された第２結像領域の外縁に基づいて、第２結像領域の特徴点が算出され、
第１結像領域の特徴点、第２結像領域の特徴点、及び参照データから、所定の結像領域と撮像素子とのずれ量が算出され、
ずれ量から、第１結像領域から取得した第１画像の表示位置と、第２結像領域から取得した第２画像の表示位置と、が決定されることを特徴とする。
また、本発明の少なくとも幾つかの実施形態に係る画像表示装置は、
上述の画像生成装置と、表示装置と、を備えることを特徴とする。

【0018】

また、本発明の少なくとも幾つかの実施形態に係る画像表示方法は、
第１結像領域の外縁の少なくとも一部の画像を生成するステップと、
第２結像領域の外縁の少なくとも一部の画像を生成するステップと、
第１結像領域の外縁の画像に基づいて、第１結像領域の特徴点を算出すると共に、第２結像領域の外縁の画像に基づいて、第２結像領域の特徴点を算出するステップと、
第１結像領域の特徴点、第２結像領域の特徴点、及び参照データから、所定の結像領域と撮像素子とのずれ量を算出するステップと、
ずれ量から、第１結像領域から取得した第１画像の表示位置と、第２結像領域から取得した第２画像の表示位置と、を決定するステップと、を有し、
撮像素子上に、所定の結像領域が形成され、
所定の結像領域は、第１結像領域と、第２結像領域と、からなり、
撮像素子は、第１撮像領域と第２撮像領域とを有する所定の撮像領域を有し、
第１撮像領域と第２撮像領域は、並列に、撮像素子上に位置し、
第１結像領域は、第１撮像領域に位置し、
第２結像領域は、第２撮像領域に位置し、
参照データは、所定の結像領域における基準点を表すデータ、又は、所定の撮像領域における基準点を表すデータを有し、
第１結像領域と第２結像領域は、共に、対物光学系における視野の像であることを特徴とする。

【発明の効果】

【0019】

本発明によれば、撮像素子と光学像との間で位置ずれが生じても、容易に、自然な合成画像が取得できる画像生成装置、画像表示装置、及び画像表示方法を提供することができる。

【図面の簡単な説明】

【0020】

【図1】本実施形態の画像表示装置を示す図である。

【図2】結像領域と撮像領域の様子を示す図である。

【図3】結像領域と撮像領域の様子を示す図である。

【図4】外縁の形状を示す図である。

【図5】光学像と撮像領域の様子を示す図である。

【図6】光学像の画像の様子を示す図である。

【図7】結像領域と撮像領域の様子を示す図である。

【図8】撮像領域と表示用領域の様子を示す図である。

【図9】外縁を含む画像を示す図である。

【図10】画像表示装置の具体例を示す図である。

【図11】構造体を示す図である。

【図12】明るさが均一な領域の例を示す図である。

【図13】２つの撮像素子を用いた例を示す図である。

【図14】対物光学系の例を示す図である。

【発明を実施するための形態】

【0021】

以下、本実施形態に係る画像生成装置と画像表示装置について、図面を用いて、このような構成をとった理由と作用を説明する。なお、以下の実施形態によりこの発明が限定されるものではない。

【0022】

本実施形態の画像生成装置は、撮像ユニットと、画像処理装置と、を備え、撮像ユニットは、対物光学系と、光路分割素子と、撮像素子と、を有し、光路分割素子によって、所定の結像領域が撮像素子上に形成され、所定の結像領域は、第１結像領域と、第２結像領域と、からなり、第１結像領域と第２結像領域は、共に、対物光学系における視野の像であって、第１結像領域の外縁と第２結像領域の外縁は、共に、撮像素子の所定の撮像領域の内側に位置し、撮像素子で、所定の撮像領域に位置する外縁が撮像され、画像処理装置は、参照データを有し、参照データは、所定の結像領域における基準点を表すデータ、又は、所定の撮像領域における基準点を表すデータを有し、画像処理装置では、第１結像領域の外縁に基づいて、第１結像領域の特徴点が算出され、第２結像領域の外縁に基づいて、第２結像領域の特徴点が算出され、第１結像領域の特徴点、第２結像領域の特徴点、及び参照データから、所定の結像領域と撮像素子とのずれ量が算出され、ずれ量から、第１結像領域から取得した第１画像の表示位置と、第２結像領域から取得した第２画像の表示位置と、が決定されることを特徴とする。
また、本実施形態の画像表示装置は、本実施形態の画像生成装置と、表示装置と、を備える。以下、本実施形態の画像表示装置を用いて説明する。以下の説明における作用効果は、本実施形態の画像生成装置でも得られるものと考えることができる。

【0023】

本実施形態の画像表示装置を図１に示す。画像表示装置１は、撮像ユニット２、画像処理装置３と、表示装置４と、を備える。撮像ユニット２は、対物光学系５と、光路分割素子６と、撮像素子７と、を有する。

【0024】

光路分割素子６によって、対物光学系５の光路は、第１光路８と、第２光路９と、に分かれる。また、光路分割素子６によって、所定の結像領域が撮像素子７上に形成されている。

【0025】

結像領域と撮像領域の様子を図２に示す。所定の結像領域１０は、第１結像領域１１と、第２結像領域１２と、からなる。第１結像領域１１と第２結像領域１２は、共に、対物光学系５における視野の像である。

【0026】

第１結像領域１１の外縁１３と第２結像領域１２の外縁１４は、共に、撮像素子７の所定の撮像領域１５の内側に位置している。撮像素子７で、所定の撮像領域１５に位置する外縁が撮像される。

【0027】

第１結像領域１１と第２結像領域１２は、並列に、撮像素子７上に形成されている。所定の撮像領域１５は、第１撮像領域１６と、第２撮像領域１７と、からなる。第１撮像領域１６と第２撮像領域１７は、並列に、撮像素子７上に位置している。

【0028】

第１結像領域１１と第１撮像領域１６は、第１光路８に位置している。第２結像領域１２と第２撮像領域１７は、第２光路９に位置している。外縁１３は、第１撮像領域１６で撮像される。外縁１４は、第２撮像領域１７で撮像される。

【0029】

第１結像領域１１には、第１光学像１８が形成されている。第２結像領域１２には、第２光学像１９が形成されている。第１光学像１８と第２光学像１９では、一方の光学像が他方の光学像の鏡像になっている。

【0030】

結像領域と撮像領域の様子を図３に示す。図３（ａ）は、基準状態の様子を示す図である。図３（ｂ）は、シフトが生じた様子を示す図である。

【0031】

基準状態について説明する。基準状態としては、撮像ユニット２の製造時の状態や、画像表示装置１の工場出荷時の状態がある。また、工場出荷後に、位置ずれが発生した場合、最後に位置ずれが発生した状態の前の状態を、基準状態にすることができる。

【0032】

例えば、工場出荷後に、３回の位置ずれが生じたとする。この場合、３回目の状態が、最後に位置ずれが発生した状態になる。よって、最初に位置ずれが生じた状態、又は、２回目に位置ずれが生じた状態を、基準状態にすることができる。

【0033】

上述のように、位置ずれは、撮像素子と光学像との間で生じた位置のずれである。また、ずれ量は、撮像素子と光学像との間で生じた位置のずれの量である。画像表示装置１では、所定の結像領域１０に、第１光学像１８と第２光学像１９が形成されている。

【0034】

例えば、対物光学系５と光路分割素子６が静止している状態で、撮像素子７が移動したとする。この場合、第１撮像領域１６と第２撮像領域１７は移動する。第１撮像領域１６には、第１光学像１８が位置している。第２撮像領域１７には、第２光学像１９が位置している。第１撮像領域１６と第２撮像領域１７が移動しても、第１光学像１８と第２光学像１９は移動しない。すなわち、撮像素子７が移動しても、所定の結像領域１０は移動しない。

【0035】

逆に、撮像素子７が静止している状態で、対物光学系５と光路分割素子６の少なくとも一方が移動したとする。この場合、第１光学像１８と第２光学像１９が移動する。第１光学像１８は、第１撮像領域１６に位置している。第２光学像１９は、第２撮像領域１７に位置している。第１光学像１８と第２光学像１９が移動しても、第１撮像領域１６と第２撮像領域１７は移動しない。すなわち、所定の結像領域１０が移動しても、撮像素子７は移動しない。

【0036】

このように、撮像素子と光学像との間で生じる位置ずれは、撮像素子と所定の結像領域との間で生じる位置ずれに置き換えることができる。

【0037】

以下の説明では、撮像素子と所定の結像領域との間で生じた位置のずれも、位置ずれと称する。同様に、撮像素子と所定の結像領域との間で生じた位置のずれの量も、ずれ量と称する。

【0038】

画像表示装置１では、画像処理装置３を用いて、ずれ量が算出される。ずれ量は、撮像素子７と所定の結像領域１０との間で生じた位置のずれに基づいて、算出される。そのため、所定の結像領域１０に関する位置の情報と、撮像素子７に関する位置の情報と、が必要になる。

【0039】

画像処理装置３では、所定の結像領域１０に関する位置の情報として、第１結像領域１１の特徴点Ｐ１と、第２結像領域１２の特徴点Ｐ２と、が用いられる。また、撮像素子７に関する位置の情報として、第１撮像領域１６における基準点Ｑ１と、第２撮像領域１７における基準点Ｑ２と、が用いられる。

【0040】

特徴点Ｐ１は、外縁１３から算出できる。ただし、第１結像領域１１では、外縁１３ａ、外縁１３ｂ、外縁１３ｃ、及び外縁１３ｄが、第１結像領域１１の四隅に位置しているだけである。

【0041】

外縁１３ａ、外縁１３ｂ、外縁１３ｃ、及び外縁１３ｄは、いずれも、外縁１３の一部である。そのため、外縁１３ａ、外縁１３ｂ、外縁１３ｃ、及び外縁１３ｄを用いて、外縁１３全体の形状を求める。外縁１３全体の形状が求められると、特徴点Ｐ１を決定できる。

【0042】

第１結像領域１１と第２結像領域１２は、共に、対物光学系５における視野の像である。対物光学系５の形状は、理想的には、円である。この場合、対物光学系５における視野の形状は円になる。

【0043】

撮像素子７が理想的に配置されている状態では、撮像面は対物光学系５の光軸に対して垂直になっている。ただし、実際には、撮像素子７を理想状態で配置することは難しい。例えば、組立誤差によって、撮像素子７の配置は理想状態からずれた状態になっていることが多い。この場合、撮像で得られた画像では、視野の画像の形状は楕円になる。

【0044】

また、対物光学系５の内部には、レンズを保持する枠や絞りが配置されている。枠や絞りには、開口部が設けられている。多くの場合、開口部の形状は円形である。しかしながら、非円形の開口部を有する枠や絞りが用いられる場合がある。この場合、撮像で得られた画像では、視野の画像の形状は必ずしも円になるとは限らない。

【0045】

組立誤差が十分に小さい対物光学系では、視野の像の形状は円になる。また、円形の開口部を有する枠や絞りが、対物光学系に用いられている場合は、視野の像の形状は、円になる。視野の像の形状が円の場合、図２に示すように、第１結像領域１１の形状は円になる。この場合、外縁１３は、円周になる。そのため、外縁１３ａ、外縁１３ｂ、外縁１３ｃ、及び外縁１３ｄは、いずれも、円周の一部になる。外縁１４についても同様である。

【0046】

視野の像の形状が円にならない場合について説明する。外縁の形状を図４に示す。図４（ａ）は、外縁が曲線の場合を示す図である。図４（ｂ）は、外縁が楕円周の場合を示す図である。

【0047】

視野の像の形状が円にならない場合、図４（ａ）に示すように、第１結像領域１１’の形状は、曲線で構成された形状になる。この場合、外縁１３’は曲線になる。そのため、外縁１３’ａ、外縁１３’ｂ、外縁１３’ｃ、及び外縁１３’ｄは、いずれも、曲線の一部になる。外縁１４’についても同様である。

【0048】

また、視野の像の形状が円にならない場合、図４（ｂ）に示すように、第１結像領域１１”の形状は楕円になる。この場合、外縁１３”は、楕円周になる。そのため、外縁１３”ａ、外縁１３”ｂ、外縁１３”ｃ、及び外縁１３”ｄは、いずれも、楕円周の一部になる。外縁１４”についても同様である。

【0049】

外縁１３の一部が第１撮像領域１６の内側に位置している場合、第１結像領域１１の全体の形状の特定では、外縁１３ａ、外縁１３ｂ、外縁１３ｃ、及び外縁１３ｄを使った推定が行われる。第１結像領域１１’の全体の形状の特定や、第１結像領域１１”の全体の形状の特定についても同様である。推定では、円による近似や、楕円による近似、その他の様々な近似を用いることができる。

【0050】

外縁１３が曲線の場合、特徴点Ｐ１は、第１結像領域１１の重心にすれば良い。また、外縁１３が楕円周又は円周の場合、特徴点Ｐ１は、第１結像領域１１の重心、又は第１結像領域１１の中心にすれば良い。第２結像領域１２についても同様である。

【0051】

画像処理装置３では、第１結像領域１１の特徴点Ｐ１、第２結像領域１２の特徴点Ｐ２、及び参照データから、ずれ量が算出される。

【0052】

参照データは、所定の撮像領域１５における基準点を表すデータである。所定の撮像領域１５は、第１撮像領域１６と第２撮像領域１７とを有する。よって、基準点Ｑ１と基準点Ｑ２を、参照データとして用いることができる。

【0053】

基準点Ｑ１は、例えば、第１撮像領域１６の中心にすれば良い。基準点Ｑ２は、例えば、第２撮像領域１７の中心にすれば良い。

【0054】

基準状態では、特徴点Ｐ１の位置と基準点Ｑ１の位置は一致している。また、特徴点Ｐ２の位置と基準点Ｑ２の位置も一致している。ずれ量ΔPQは、特徴点Ｐ１の位置と基準点Ｑ１の位置との差、又は、特徴点Ｐ２の位置と基準点Ｑ２の位置との差である。

【0055】

基準状態では、特徴点Ｐ１の位置と基準点Ｑ１の位置との差、及び、特徴点Ｐ２の位置と基準点Ｑ２の位置との差は、どちらもゼロである。よって、基準状態では、ずれ量ΔPQはゼロである。

【0056】

上述のように、参照データには、工場出荷時のずれ量を設定できる。ただし、参照データに設定できる量は、工場出荷時のずれ量に限られない。基準状態でのずれ量であれば、どのようなずれ量も参照データに設定できる。上述のように、基準状態では、ずれ量ΔPQはゼロである。よって、参照データΔrefもゼロになる。

【0057】

ただし、撮像ユニット２の製造では、製造誤差をゼロにすることは困難である。そのため、実際には、ずれ量をゼロにすることは困難である。このように、参照データの値はゼロである必要はない。

【0058】

シフトが生じた場合について説明する。基準状態の画像表示装置１に衝撃が加えられたことで、画像表示装置１で位置ずれが生じたとする。図３（ｂ）では、所定の結像領域１０が、撮像素子７に対して矢印の方向にシフトしている。

【0059】

この場合、第１結像領域１１と第２結像領域１２も、矢印の方向にシフトする。そのため、シフトした後の特徴点の位置を特定する必要がある。

【0060】

図３（ｂ）に示すように、シフトが生じた後でも、第１結像領域１１では、外縁１３ｂと外縁１３ｃとが、第１結像領域１１の内側に位置している。よって、シフト後の第１結像領域１１の全体の形状の特定では、外縁１３ｂと外縁１３ｃとを使った推定が行われる。シフト後の第１結像領域１１の全体の形状が特定できると、シフト後の特徴点Ｐ１を特定できる。特徴点Ｐ２についても同様である。

【0061】

上述のように、基準状態において、第１結像領域１１の形状は既知になっている。よって、基準状態で得られた第１結像領域１１の形状を、シフト後の第１結像領域１１の全体の形状の特定に利用しても良い。また、基準状態で得られた第１結像領域１１の形状を、シフト後の特徴点Ｐ１の特定に利用しても良い。特徴点Ｐ２についても同様である。

【0062】

シフトが生じた後では、特徴点Ｐ１の位置と基準点Ｑ１の位置は一致していない。また、特徴点Ｐ２の位置と基準点Ｑ２の位置も一致していない。ずれ量ΔPQは、特徴点Ｐ１の位置と基準点Ｑ１の位置との差、又は、特徴点Ｐ２の位置と基準点Ｑ２の位置との差である。

【0063】

特徴点Ｐ１の位置と基準点Ｑ１の位置との差、及び、特徴点Ｐ２の位置と基準点Ｑ２の位置との差は、どちらもゼロではない。よって、シフトが生じた後では、ずれ量ΔPQはゼロではない。ずれ量ΔPQから参照量Δrefを減算することで、シフトが生じた後のずれ量ΔPQを算出できる。

【0064】

シフトの場合、基準点Ｑ１に対する特徴点Ｐ１の移動方向と、基準点Ｑ２に対する特徴点Ｐ２の移動方向は、同じ方向である。また、特徴点Ｐ１の移動量と特徴点Ｐ２の移動量は、同じである。よって、ずれ量ΔPQは、特徴点Ｐ１と特徴点Ｐ２のどちらか一方のみを用いて算出できる。

【0065】

光学像と撮像領域の様子を図５に示す。図５（ａ）は、基準状態の様子を示す図である。図５（ｂ）は、シフトが生じた様子を示す図である。

【0066】

基準状態でシフトが生じると、第１光学像１８と第２光学像１９は、基準状態の位置から移動する。このとき、第１光学像１８と第２光学像１９は、同じ方向にシフトする。

【0067】

光学像の画像の様子を図６に示す。図６（ａ）は、画像反転を行う前の様子を示す図である。図６（ｂ）は、画像反転を行った後の様子を示す図である。図６（ｃ）は、２つの画像を合成した様子を示す図である。

【0068】

シフトが生じた状態で、第１光学像１８と第２光学像１９を撮像する。この撮像によって、図６（ａ）に示すように、第１画像２０と第２画像２１とが、取得される。第１画像２０と第２画像２１では、一方の画像が他方の画像の鏡像になっている。そのため、第１画像２０と第２画像２１とを合成することはできない。

【0069】

そこで、図６（ｂ）に示すように、反転画像２２を生成する。反転画像２２は、第１画像２０を左右方向で反転させた画像である。これにより、反転画像２２と第２画像２１とを合成することができる。

【0070】

ただし、反転画像２２では、シフト方向が第１画像２０と逆向きになる。この場合、図６（ｃ）に示すように、合成された画像では、反転画像２２と第２画像２１とが重ならない。そのため、不自然な合成画像が生成されてしまう。

【0071】

画像表示装置１では、画像処理装置３で、ずれ量ΔPQが算出されている。そこで、ずれ量ΔPQから、反転画像２２の表示位置と、第２画像２１の表示位置とを決定できる。すなわち、反転画像２２と第２画像２１とを重ねることができる。その結果、自然な合成画像を生成できる。

【0072】

結像領域と撮像領域の様子を図７に示す。図７（ａ）は、基準状態の様子を示す図である。図７（ｂ）は、回転が生じた様子を示す図である。基準状態については説明を省略する。

【0073】

回転が生じた場合について説明する。基準状態の画像表示装置１に衝撃が加えられたことで、画像表示装置１で位置ずれが生じたとする。図７（ｂ）では、撮像素子７が、所定の結像領域１０に対して矢印の方向に回転している。

【0074】

この場合、撮像素子７の回転に伴って、矢印の方向に、基準点Ｑ１と基準点Ｑ２が回転する。一方、第１結像領域１１と第２結像領域１２は回転していない。よって、特徴点Ｐ１と特徴点Ｐ２を、基準にすることができる。

【0075】

しかしながら、撮像素子７を基準にすると、結果的に、第１結像領域１１と第２結像領域１２とが回転したことになる。この場合、回転した後の特徴点Ｐ１の位置と特徴点Ｐ２の位置を特定することになる。

【0076】

上述のように、第１結像領域１１の形状は、基準状態で既知となっている。図７（ｂ）に示すように、回転が生じた後でも、第１結像領域１１では、外縁１３ａと外縁１３ｂとが、第１結像領域１１の内側に位置している。よって、回転後の第１結像領域１１の全体の形状の特定では、外縁１３ａと外縁１３ｂとを使った推定が行われる。回転後の第１結像領域１１の全体の形状が特定できると、回転後の特徴点Ｐ１を特定できる。特徴点Ｐ２についても同様である。

【0077】

上述のように、基準状態において、第１結像領域１１の形状は既知になっている。よって、基準状態で得られた第１結像領域１１の形状を、回転後の第１結像領域１１の全体の形状の特定に利用しても良い。また、基準状態で得られた第１結像領域１１の形状を、回転後の特徴点Ｐ１の特定に利用しても良い。特徴点Ｐ２についても同様である。

【0078】

回転が生じた後では、特徴点Ｐ１の位置と基準点Ｑ１の位置は一致していない。また、特徴点Ｐ２の位置と基準点Ｑ２の位置も一致していない。ずれ量ΔPQは、特徴点Ｐ１の位置と基準点Ｑ１の位置との差、又は、特徴点Ｐ２の位置と基準点Ｑ２の位置との差である。

【0079】

特徴点Ｐ１の位置と基準点Ｑ１の位置との差、及び、特徴点Ｐ２の位置と基準点Ｑ２の位置との差は、どちらもゼロではない。よって、回転が生じた後では、ずれ量ΔPQはゼロではない。ずれ量ΔPQから参照量Δrefを減算することで、回転が生じた後のずれ量ΔPQを算出できる。

【0080】

特徴点Ｐ１の位置と基準点Ｑ１の位置とのずれは、シフトによっても生じ得る。そのため、特徴点Ｐ１だけに着目すると、このずれが、回転によって生じたものなのか、シフトによって生じたものなのか、区別ができない。

【0081】

画像処理装置３では、特徴点Ｐ２の位置と基準点Ｑ２の位置との差も算出している。そこで、基準点Ｑ２に着目すると、基準点Ｑ２に対する特徴点Ｐ２の移動方向は、基準点Ｑ１に対する特徴点Ｐ１の移動方向と逆になっている。一方、シフトの場合は、上述のように、基準点Ｑ２に対する特徴点Ｐ２の移動方向は、基準点Ｑ１に対する特徴点Ｐ１の移動方向と同じである。

【0082】

よって、特徴点Ｐ２の位置と基準点Ｑ２の位置との差を算出することで、特徴点Ｐ１の位置と基準点Ｑ１の位置とのずれが、回転によって生じたものなのか、シフトによって生じたものなのを、区別できる。

【0083】

基準状態でシフトが生じると、図５（ｂ）に示すように、第１光学像１８と第２光学像１９は、基準状態の位置から移動する。よって、光学像を用いて、ずれ量を算出できる。この場合、光学像に特徴点が設定されることになる。そのため、ずれ量の算出では、毎回、同一の光学像を用いる必要がある。

【0084】

例えば、参照データの設定に、工場出荷時のずれ量が用いられているとする。このずれ量の算出に用いられた物体を、参照物体とする。工場出荷後にずれ量を算出する場合、物体には、参照物体、又は、参照物体の正確な複製を用いる必要がある。

【0085】

また、物体と対物光学系の相対関係も、工場出荷時の相対関係を忠実に再現する必要がある。相対関係とは、例えば、物体と対物光学系との距離、光軸と直交する面における物体と対物光学系との相対位置、物体に対する対物光学系の向きである。

【0086】

光学像における特徴点は、対物光学系の位置を直接的に示していない。そのため、光学像を用いてずれ量を算出する場合は、様々な制約を受けることになる。

【0087】

これに対して、画像表示装置１では、所定の結像領域１０を用いて、ずれ量を算出している。所定の結像領域１０は、対物光学系５における視野の像である。視野は、対物光学系５の位置で決まる。そのため、視野の像、すなわち、所定の結像領域１０も対物光学系５の位置で決まる。

【0088】

このように、所定の結像領域１０は、対物光学系の位置を直接的に示している。そして、所定の結像領域１０に特徴点が設定されている。よって、画像表示装置１では、容易に、ずれ量を算出できる。

【0089】

画像表示装置１では、第１結像領域１１の外縁１３の全部を、所定の撮像領域１５内に位置させることができる。また、第２結像領域１２の外縁１４の全部を、所定の撮像領域１５内に位置させることができる。

【0090】

また、画像表示装置１では、第１結像領域１１の外縁１３の一部を、所定の撮像領域１５内に位置させることができる。また、第２結像領域１２の外縁１４の一部を、所定の撮像領域１５内に位置させることができる。

【0091】

撮像領域と表示用領域の様子を図８に示す。図８（ａ）は、外縁全体が撮像領域内に位置している様子を示す図である。図８（ｂ）は、外縁の一部が撮像領域内に位置している様子を示す図である。

【0092】

上述のように、第１結像領域１１の外縁１３と、第２結像領域１２の外縁１４は、共に、所定の撮像領域１５の内側に位置している。第１結像領域１１では、外縁１３は、第１撮像領域１６の内側に位置している。第２結像領域１２では、外縁１４は、第２撮像領域１７の内側に位置している。

【0093】

所定の撮像領域１５は、第１撮像領域１６と、第２撮像領域１７と、を有する。ここでは、第１撮像領域１６を用いて説明する。

【0094】

第１撮像領域１６は、表示用領域２３と、領域２４と、を有する。表示用領域２３は、第１撮像領域１６の内側に位置し、第１画像の表示に用いられる撮像領域である。表示用領域２３の形状は、八角形である。領域２４の形状は、三角形である。領域２４は、第１撮像領域１６の四隅に位置している。

【0095】

図８（ａ）では、外縁１３の全部が、第１撮像領域１６の内側に位置している。上述のように、特徴点は、外縁１３全体の形状を用いて決定する。図８（ａ）では、外縁１３全体の形状が明確に分かるので、外縁１３全体の形状を推定する必要がない。その結果、特徴点を、正確に決定できる。

【0096】

ただし、外縁１３の内側に、光学像が形成される。そのため、表示用領域２３の一部は、光学像の表示に用いることができない。

【0097】

一方、図８（ｂ）では、外縁１３の一部が、第１撮像領域１６の内側に位置している。この場合も、外縁１３の内側に、光学像が形成される。ここで、表示用領域２３の全部が、外縁１３の内側に位置している。そのため、表示用領域２３の全部を、光学像の表示に用いることができる。

【0098】

ただし、上述のように、特徴点は、外縁１３全体の形状を用いて決定する。図８（ｂ）では、外縁１３全体の形状が明確に分からない。よって、外縁１３全体の形状を推定することになる。

【0099】

本実施形態の画像表示装置では、所定の撮像領域は、第１撮像領域と、第２撮像領域と、を有し、第１撮像領域と第２撮像領域は、共に、矩形領域であり、第１結像領域は、第１撮像領域に位置し、第２結像領域は、第２撮像領域に位置し、以下の条件式（１）、（２）を満足することが好ましい。
１＜ｆ／ＩＨmax＜１．２ （１）
０．８＜ｆ／Ｉd＜０．９８ （２）
ここで、
ｆは、対物光学系の焦点距離、
ＩＨmaxは、表示用領域における最大長、
Ｉd＝｛（Ｉv／２）^２＋（Ｉh／２）^２｝^１／２であって、
Ｉvは、矩形領域の縦方向の長さ、
Ｉhは、矩形領域の横方向の長さ、
表示用領域は、第１撮像領域の内側に位置し、第１画像の表示に用いられる撮像領域、又は、第２撮像領域の内側に位置し、第２画像の表示に用いられる撮像領域、
最大長は、表示用領域の中心から表示用領域の外縁までの距離のなかで、最大となる距離、
である。

【0100】

条件式（１）、（２）を満足することで、小型な撮像素子を用いても、結像領域の外縁を撮像領域の内側に位置させると共に、表示用領域の全てを結像領域の内側に位置させることができる。その結果、表示用領域の全部を光学像の表示に用いることができると共に、ずれ量を算出できる。

【0101】

ＩＨmaxの値は、例えば、所定の光線に対応する像高にすることができる。所定の光線は、全反射が生じる半画角に対応する光線である。全反射が生じる半画角は、例えば、８５度にすることができる。

【0102】

本実施形態の画像表示装置では、所定の撮像領域に位置する外縁を含む画像は、内側領域と、外側領域と、を有し、内側領域は、所定の撮像領域に位置する外縁の内側に位置し、外側領域は、所定の撮像領域に位置する外縁の外側に位置し、内側領域は、明るさが均一な領域を有し、明るさが均一な領域は、所定の撮像領域に位置する外縁と接していることが好ましい。

【0103】

上述のように、ずれ量の算出では、特徴点と基準点とが用いられる。特徴点は、結像領域の外縁から算出できる。よって、結像領域の外縁を特定する必要がある。

【0104】

結像領域の外縁は、所定の撮像領域１５に位置している。よって、結像領域の外縁は、撮像素子７で撮像される。その結果、所定の撮像領域に位置する外縁を含む画像が得られる。

【0105】

所定の撮像領域に位置する外縁を含む画像について説明する。外縁を含む画像を図９に示す。図９では、参考のために、所定の撮像領域に位置する外縁の全体が、破線で示されている。

【0106】

所定の撮像領域に位置する外縁を含む画像２５（以下、「画像２５」という）は、内側領域２６と、外側領域２７と、を有する。内側領域２６は、所定の撮像領域に位置する外縁２８（以下、「外縁２８」という）の内側に位置している。外側領域２７は、外縁２８の外側に位置している。

【0107】

内側領域２６は、明るさが均一な領域２９（以下「領域２９」という）を有する。領域２９については、後述する。

【0108】

所定の撮像領域は、第１撮像領域１６と、第２撮像領域１７と、を有する。よって、画像２５は、第１撮像領域１６に位置する外縁１３を含む画像、又は、第２撮像領域１７に位置する外縁１４を含む画像と見なすことができる。

【0109】

図２に示すように、外縁１３は、第１撮像領域１６の内側に位置している。外縁１４は、第２撮像領域１７の内側に位置している。よって、第１撮像領域１６における撮像と、第２撮像領域１７における撮像とから、外縁１３を含む画像と外縁１４を含む画像とを取得できる。取得した画像から、外縁１３と外縁１４を特定できる。

【0110】

所定の撮像領域に位置する外縁は、所定の結像領域の外縁である。所定の結像領域は、視野の像である。視野の外側からの光は、対物光学系に入射しない。よって、視野の像の外側には、光は到達しない。この場合、画像２５では、外側領域２７における画素の値はゼロになる。

【0111】

一方、視野の内側からの光は、対物光学系に入射する。よって、視野の像の内側には、光が到達する。この場合、画像２５では、内側領域２６における画素の値は、入射した光の明るさに応じた値になる。

【0112】

そこで、内側領域２６で、画素の値がゼロよりも大きくなるようにする。このようにすることで、外縁２８を明確にできる。内側領域２６における画素の値と外側領域２７における画素の値との差が大きくなるほど、外縁２８はより明確になる。

【0113】

内側領域２６における画素の値を大きくするには、視野の内側を光で満たせば良い。視野の内側を光で満たす方法について、画像表示装置の具体例を用いて説明する。

【0114】

画像表示装置の具体例を図１０に示す。この例では、画像表示装置置は内視鏡システムである。図１０は、内視鏡システムの概略構成を示している。

【0115】

内視鏡システム３０は、電子内視鏡を用いた観察システムである。内視鏡システム３０は、電子内視鏡３１と画像処理装置３２とから構成されている。電子内視鏡３１は、スコープ部３１ａと接続コード部３１ｂとを備えている。また、画像処理装置３２には、表示ユニット３３が接続されている。

【0116】

スコープ部３１ａは、操作部３４ａと挿入部３４ｂに大別される。挿入部３４ｂは、細長で患者の体腔内へ挿入可能になっている。また、挿入部３４ｂは、可撓性を有する部材で構成されている。観察者は、操作部３４ａに設けられているアングルノブ等により、諸操作を行うことができる。

【0117】

また、操作部３４ａからは、接続コード部３１ｂが延設されている。接続コード部３１ｂは、ユニバーサルコード３５を備えている。ユニバーサルコード３５は、コネクタ３６を介して画像処理装置３２に接続されている。

【0118】

ユニバーサルコード３５は、各種の信号等の送受信に用いられる。各種の信号としては、電源電圧信号及びＣＣＤ駆動信号等がある。これらの信号は、電源装置やビデオプロセッサからスコープ部３１ａに送信される。また、各種の信号として映像信号がある。この信号は、スコープ部３１ａからビデオプロセッサに送信される。

【0119】

なお、画像処理装置３２内のビデオプロセッサには、図示しない画像記録装置等の周辺機器が接続可能である。ビデオプロセッサは、スコープ部３１ａからの映像信号に対して信号処理を施す。映像信号に基づいて、表示ユニット３３の表示画面上に内視鏡画像が表示される。

【0120】

挿入部３４ｂの先端には、先端部３４ｃが設けられている。図１０では、先端部３４ｃの近傍に、構造体４０が図示されている。

【0121】

構造体を図１１に示す。図１１（ａ）は、構造体の第１例を示す図である。図１１（ｂ）は、構造体の第２例を示す図である。

【0122】

第１例の構造体について説明する。第１例の構造体４０は、円筒部４１と、平面部４２と、を有する。平面部４２は、円筒部４１の一端に位置している。円筒部４１と平面部４２とで、構造体４０の内部に空間４３が形成されている。内面４４は、空間４３側に位置している。

【0123】

空間４３には、先端部３４ｃが挿入されている。先端部３４ｃには、撮像ユニット２と、照明光学系４５と、が配置されている。

【0124】

照明光学系４５からは、照明光が出射する。先端部３４ｃは、構造体４０の内面４４と対向している。そのため、照明光は内底面４４ａと内側面４４ｂに照射される。このとき、内面４４によって、照明光は繰り返し反射される。その結果、内面４４は、均一な明るさで照明される。内面４４では、明るさの分布が極端に不均一でなければ良い。よって、明るさの分布が完全に均一になっている必要は無い。明るさの分布は、略均一であると尚良い。

【0125】

内面４４は、平面部４２を形成する素材そのもので形成されている。ただし、内面４４に、反射膜等の塗布剤が設けられていても良い。このようにすると、光の均一性が増す。内面４４に照射された照明光は、内面４４で反射される。内面４４で反射された光は、対物光学系５に入射する。

【0126】

構造体４０では、照明光は、対物光学系５の視野よりも広い範囲に照射されている。よって、対物光学系５には、視野全体から光が入射する。その結果、明るい結像領域が、撮像領域に形成される。

【0127】

構造体４０では、円筒部４１と、平面部４２と、が用いられている。しかしながら、対物光学系５に入射する光は、内面４４で反射された光である。よって、内面４４を円筒ではなく、球面にしても良い。

【0128】

第２例の構造体について説明する。平面部４２では、内面４４で照明光が反射されている。しかしながら、平面部４２を発光面にしても良い。第２例の構造体５０は、発光面５１を有する。発光面５１は、明るさの分布が略均一な領域を有していれば良い。

【0129】

上述のように、内面４４は、均一な明るさで照明されている。この場合、結像領域における明るさも、均一になる。内側領域２６は、結像領域における明るさを反映している。よって、内側領域２６は、領域２９を有する。領域２９では、明るさの分布が完全に均一である必要は無い。明るさの分布は、略均一であれば良い。

【0130】

領域２９は、内側領域２６の全体に分布している。内側領域２６は、外縁２８と接している。よって、画像２５では、領域２９は、４箇所で、外縁２８と接している。

【0131】

外側領域２７は、視野の外側に対応する領域である。上述のように、視野の外側からの光は、対物光学系５に入射しない。そのため、外側領域２７における画素の値はゼロになる。

【0132】

一方、内側領域２６は、視野の内側に対応する領域である。視野の内側では、内面４４で反射された光が対物光学系５に入射する。この場合、内側領域２６における画素の値はゼロにはならない。そのため、領域２９における画素の値も、ゼロにはならない。

【0133】

領域２９と外側領域２７は、外縁２８と接している。領域２９における画素の値はゼロよりも大きく、外側領域２７における画素の値はゼロである。この場合、領域２９と外側領域２７とを、明確に区別できる。その結果、外縁２８を明確に特定できる。外縁２８が特定されることで、特徴点を算出できる。特徴点と参照データとから、ずれ量を算出できる。

【0134】

画像２５では、内側領域２６の全体が、明るさが均一な領域になっている。しかしながら、明るさが均一な領域は、内側領域２６の一部であっても良い。

【0135】

明るさが均一な領域の例を図１２に示す。図１２（ａ）は、外縁を含む画像の第１例を示す図である。図１２（ｂ）は、外縁を含む画像の第２例を示す図である。

【0136】

第１例の外縁を含む画像６０では、明るさが均一な領域６１の形状は、円環になっている。このような形状でも、明るさが均一な領域６１は、４箇所で、外縁５３と接している。よって、外縁５３を明確に特定できる。

【0137】

円環の領域は、次のようにして得られる。構造体４０では、内面４４に、反射率が互いに異なる領域を２つ形成する。そして、反射率が低い方の領域を、内面４４の中央付近に位置させる。

【0138】

構造体５０では、発光面５１上に、遮光部材を配置する。そして、遮光部材に円環の開口部を形成する。又は、発光面５１を複数の光源で形成する。そして、円環に対応する光源のみを発光させる。

【0139】

第２例の外縁を含む画像７０では、明るさが均一な領域７１の形状は、略矩形になっている。このような形状でも、明るさが均一な領域７１は、２箇所で、外縁５３と接している。よって、外縁５３を明確に特定できる。略矩形の領域は、第１例と同じようにして得ることができる。

【0140】

撮像素子について説明する。撮像素子が１つの場合、単一の撮像領域に、第１結像領域と第２結像領域が位置している。

【0141】

画像表示装置１では、図２に示すように、１つの撮像素子７が用いられている。撮像素子７は、単一の撮像領域として、所定の撮像領域１５を有する。所定の撮像領域１５には、第１結像領域１１と第２結像領域１２とが形成されている。

【0142】

所定の撮像領域１５は、第１撮像領域１６と、第２撮像領域１７と、からなる。第１撮像領域１６には、第１結像領域１１が位置している。第２撮像領域１７には、第２結像領域１２が位置している。

【0143】

撮像素子が２つの場合について説明する。撮像素子は２つの場合、一方の撮像素子の撮像領域に、第１結像領域が位置し、他方の撮像素子の撮像領域に、第２結像領域が位置している。

【0144】

２つの撮像素子を用いた例を図１３に示す。図１３（ａ）は、撮像部の上面図である。図１３（ｂ）は、撮像部の側面図である。

【0145】

撮像部８０は、基板８１と、第１撮像素子８２と、第２撮像素子８３と、を有する。第１撮像素子８２と第２撮像素子８３は、単一の基板８１に固定されている。

【0146】

第１撮像素子８２は、第１撮像領域１６を有する。第１撮像領域１６に、第１結像領域１１が位置している。第２撮像素子８３は、第２撮像領域１７を有する。第２撮像領域１７に、第２結像領域１２が位置している。

【0147】

撮像部８０は、撮像素子７と同じように、第１撮像領域１６と第２撮像領域１７とを有する。また、第１撮像素子８２と第２撮像素子８３は、単一の基板８１に固定されている。この場合、撮像素子７と所定の結像領域との間で生じた位置のずれと同じ位置のずれが、撮像部８０と所定の結像領域との間で生じる。よって、撮像部８０を用いても、ずれ量を算出できる。

【0148】

本実施形態の画像表示方法は、第１結像領域の外縁の画像を生成するステップと、第２結像領域の外縁の画像を生成するステップと、第１結像領域の外縁の画像に基づいて、第１結像領域の特徴点を算出すると共に、第２結像領域の外縁の画像に基づいて、第２結像領域の特徴点を算出するステップと、第１結像領域の特徴点、第２結像領域の特徴点、及び参照データから、所定の結像領域と撮像素子とのずれ量を算出するステップと、ずれ量から、第１結像領域から取得した第１画像の表示位置と、第２結像領域から取得した第２画像の表示位置と、を決定するステップと、を有し、撮像素子上に、所定の結像領域が形成され、所定の結像領域は、第１結像領域と、第２結像領域と、からなり、参照データは、所定の結像領域における基準点を表すデータ、又は、所定の撮像領域における基準点を表すデータを有し、第１結像領域と第２結像領域は、共に、対物光学系における視野の像であることを特徴とする。

【0149】

本実施形態の画像表示方法によれば、撮像素子と光学像との間で位置ずれが生じても、容易に、自然な合成画像が取得できる。

【0150】

対物光学系の例を図１４に示す。対物光学系は、平凹負レンズＬ１と、両凹負レンズＬ２と、両凸正レンズＬ３と、凹平負レンズＬ４と、像側に凸面を向けた正メニスカスレンズＬ５と、両凹負レンズＬ６と、平凸正レンズＬ７と、両凸正レンズＬ８と、像側に凸面を向けた負メニスカスレンズＬ９と、からなる。

【0151】

正メニスカスレンズＬ５と両凹負レンズＬ６とが接合されている。また、両凸正レンズＬ８と負メニスカスレンズＬ９とが接合されている。

【0152】

平凹負レンズＬ１と両凹負レンズＬ２との間に、光学フィルタＦ１が配置されている。また、両凹負レンズＬ６と平凸正レンズＬ７との間に、開口絞りＳが配置されている。

【0153】

以下に、上記実施例の数値データを示す。記号は、ｒは各面の曲率半径、ｄは各光学部材の肉厚または空気間隔、ｎｄは各光学部材のｄ線に対する屈折率、νｄは各光学部材のｄ線に対するアッベ数である。各種データにおいて、ｆは、焦点距離である。

【0154】

数値実施例
面番号 r d nd νd
物体面 ∞ d0
1 ∞ 0.6561 1.88300 40.76
2 1.9220 0.8049
3 ∞ 0.9841 1.51800 75.00
4 ∞ 0.1698
5 -5.6263 0.3856 1.88300 40.76
6 3.3960 0.3075
7 93.7165 0.7666 1.92286 18.90
8 -3.7545 0.7132
9 -79.2437 0.4920 1.51633 64.14
10 ∞ 1.5581
11 -62.7030 0.878 1.92286 18.90
12 -2.8707 0.4100 2.00330 28.27
13 8.2363 0.0328
14(絞り) ∞ 0.0492
15 ∞ 0.7784 1.48749 70.23
16 -2.3726 0.0820
17 3.6087 1.2486 1.48749 70.23
18 -1.8711 0.4920 1.92286 18.90
19 -2.9189 (D10)

各種データ
f 1
Imh 1
Id 1.18
Iv 0.74
Ih 0.92

【0155】

本実施形態の画像表示装置では、以下のようにしても良い。これらの実施形態も本発明に含まれる。
外縁の少なくとも一部は、円周の一部である。
外縁の少なくとも一部は、曲線である。
外縁の少なくとも一部は、楕円周の一部である。
第１領域の特徴点は、第１領域の重心、又は第１領域の中心である。
第２領域の特徴点は、第２領域の重心、又は第２領域の中心である。
第１結像領域の外縁の一部が、所定の撮像領域内に位置している。
第１結像領域の外縁の全部が、所定の撮像領域内に位置している。
第２結像領域の外縁の一部が、所定の撮像領域内に位置している。
第２結像領域の外縁の全部が、所定の撮像領域内に位置している。
明るさが均一な領域は、対物光学系に入射した入射光で形成された領域であって、入射光は、物体表面からの反射光であり、物体表面は、反射率が略一定の領域を有する。
明るさが均一な領域は、対物光学系に入射した入射光で形成された領域であって、入射光は、光源から出射した光であり、光源は、明るさの分布が略均一な領域を有する。
撮像素子は１つであり、単一の撮像領域に、第１結像領域と第２結像領域が位置している。
撮像素子は２つであり、一方の撮像素子の撮像領域に、第１結像領域が位置し、他方の撮像素子の撮像領域に、第２結像領域が位置している。

【産業上の利用可能性】

【0156】

以上のように、本発明は、撮像素子と光学像との間で位置ずれが生じても、容易に、自然な合成画像が取得できる画像生成装置、画像表示装置、及び画像表示方法に適している。

【符号の説明】

【0157】

１ 画像表示装置
２ 撮像ユニット
３ 画像処理装置
４ 表示装置
５ 対物光学系
６ 光路分割素子
７ 撮像素子
８ 第１光路
９ 第２光路
１０ 所定の結像領域
１１、１１’、１１” 第１結像領域
１２ 第２結像領域
１３、１３ａ、１３ｂ、１３ｃ、１３ｄ 外縁
１３’、１３’ａ、１３’ｂ、１３’ｃ、１３’ｄ 外縁
１３”、１３”ａ、１３”ｂ、１３”ｃ、１３”ｄ 外縁
１４、１４’、１４” 外縁
１５ 所定の撮像領域
１６ 第１撮像領域
１７ 第２撮像領域
１８ 第１光学像
１９ 第２光学像
２０ 第１画像
２１ 第２画像
２２ 反転画像
２３ 表示用領域
２４ 領域
２５ 外縁を含む画像
２６ 内側領域
２７ 外側領域
２８ 外縁
２９ 明るさが均一な領域
３０ 内視鏡システム
３１ 電子内視鏡
３１ａ スコープ部
３１ｂ 接続コード部
３２ 画像処理装置
３３ 表示ユニット
３４ａ 操作部
３４ｂ 挿入部
３４ｃ 先端部
３５ ユニバーサルコード
３６ コネクタ
４０ 構造体
４１ 円筒部
４２ 平面部
４３ 空間
４４ 内面
４４ａ 内底面
４４ｂ 内側面
４５ 照明光学系
５０ 構造体
５１ 発光面
５３ 外縁
６０ 外縁を含む画像
６１ 明るさが均一な領域
７０ 外縁を含む画像
７１ 明るさが均一な領域
８０ 撮像部
８１ 基板
８２ 第１撮像素子
８３ 第２撮像素子
Ｐ１、Ｐ２ 特徴点
Ｑ１、Ｑ２ 基準点
Ｌ１～Ｌ９ レンズ
Ｆ１ 光学フィルタ
Ｓ 開口絞り

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】