(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024076703
(43)【公開日】2024-06-06
(54)【発明の名称】内視鏡装置、内視鏡装置の作動方法、およびプログラム
(51)【国際特許分類】
G02B 23/24 20060101AFI20240530BHJP
A61B 1/045 20060101ALI20240530BHJP
H04N 23/40 20230101ALI20240530BHJP
H04N 23/71 20230101ALI20240530BHJP
H04N 23/76 20230101ALI20240530BHJP
G01N 21/84 20060101ALI20240530BHJP
【FI】
G02B23/24 B
G02B23/24 A
A61B1/045 622
A61B1/045 618
A61B1/045 610
H04N23/40 300
H04N23/71
H04N23/76
G01N21/84 A
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2022188390
(22)【出願日】2022-11-25
(71)【出願人】
【識別番号】322004393
【氏名又は名称】株式会社エビデント
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(74)【代理人】
【識別番号】100207789
【弁理士】
【氏名又は名称】石田 良平
(72)【発明者】
【氏名】山内 英巧
【テーマコード(参考)】
2G051
2H040
4C161
5C122
【Fターム(参考)】
2G051AA90
2G051AB20
2G051BA20
2G051BC01
2G051CA03
2G051CA04
2G051CB01
2G051CC01
2H040DA52
2H040DA56
2H040GA02
2H040GA06
2H040GA10
2H040GA11
4C161HH54
4C161RR02
4C161WW02
5C122DA26
5C122EA12
5C122EA47
5C122FF01
5C122FF15
5C122FF23
5C122FF26
5C122FH10
5C122FH11
5C122FH14
5C122HA88
(57)【要約】
【課題】処置具が写っている画像の視認性を向上させることができる内視鏡装置、内視鏡装置の作動方法、およびプログラムを提供する。
【解決手段】内視鏡装置は、撮像素子、判断部、および制御部を有する。前記判断部は、画像に写っている処置具の先端を含む領域の位置および大きさを判断する。前記制御部は、前記位置および前記大きさに基づいて制御領域を前記画像に設定する。前記制御部は、前記制御領域における画素の値を使用することにより前記画像の明るさを制御する露光制御を実行する。前記制御部は、前記制御領域をディスプレイに表示する。前記制御領域は、第1の領域を含み、かつ第2の領域を含まない。前記先端が前記第1の領域に写っている。前記処置具の基端が前記第2の領域に写っている。前記第2の領域は前記画像の境界と接している。
【選択図】
図1
【特許請求の範囲】
【請求項1】
処置具が写っている画像を生成する撮像素子と、
前記画像に写っている前記処置具の先端を含む領域の位置および大きさを判断する判断部と、
制御部と、
を有し、
前記制御部は、
前記判断部によって判断された前記位置および前記大きさに基づいて制御領域を前記画像に設定し、
前記制御領域における画素の値を使用することにより前記画像の明るさを制御する露光制御を実行し、
前記制御領域をディスプレイに表示し、
前記制御領域は、第1の領域を含み、かつ第2の領域を含まず、
前記先端が前記第1の領域に写っており、
前記処置具の基端が前記第2の領域に写っており、
前記第2の領域は前記画像の境界と接している
内視鏡装置。
【請求項2】
前記制御部は、
前記画像においてハレーションが発生しているか否かを判断し、
前記ハレーションが発生していると前記制御部が判断した場合、前記露光制御を実行する
請求項1に記載の内視鏡装置。
【請求項3】
前記ハレーションが発生していると前記制御部が判断した場合、前記制御部は、前記ハレーションが発生している領域を含まない前記制御領域を設定する
請求項2に記載の内視鏡装置。
【請求項4】
ゲイン値を使用することにより前記画像の明るさを調整する画像処理回路をさらに有し、
前記ハレーションが発生していると前記制御部が判断した場合、前記制御部は、前記制御領域の明るさを調整するために使用される前記ゲイン値を制御することにより前記露光制御を実行する
請求項2に記載の内視鏡装置。
【請求項5】
前記ハレーションが発生していないと前記制御部が判断した場合、前記制御部は、前記制御領域を含みかつ前記制御領域よりも大きい領域における画素の値を使用することにより前記露光制御を実行する
請求項2に記載の内視鏡装置。
【請求項6】
前記ハレーションが発生していないと前記制御部が判断した場合、前記制御部は、前記処置具に照射される照明光の量および前記撮像素子の露光量の少なくとも一方を制御することにより前記露光制御を実行する
請求項5に記載の内視鏡装置。
【請求項7】
前記判断部は、
前記画像を使用することにより前記処置具の形状を学習し、
前記形状の特徴を示す学習データを生成し、
前記学習データを使用することにより前記位置および前記大きさを判断する
請求項1に記載の内視鏡装置。
【請求項8】
前記撮像素子は、物体の内部に挿入される挿入部の先端部に配置され、
レンズを有する光学アダプタが前記先端部と接続され、
前記制御部は、前記画素の前記値を使用することにより、前記先端部から前記処置具の前記先端までの距離を判断し、
前記制御部は、前記距離に基づいて前記露光制御を実行する
請求項1に記載の内視鏡装置。
【請求項9】
前記制御部は、前記画素の前記値が示す前記処置具の明るさに基づいて前記距離を判断する
請求項8に記載の内視鏡装置。
【請求項10】
前記制御部は、
前記光学アダプタの種類を判断し、
前記光学アダプタの種類と、前記処置具の大きさと、前記距離とを含む距離情報をメモリから取得し、
前記制御部によって判断された前記種類と、前記判断部によって判断された前記大きさと、前記距離情報とに基づいて前記距離を判断する
請求項8に記載の内視鏡装置。
【請求項11】
前記制御部は、
前記制御領域を前記撮像素子によって生成された前記画像から切り出すことにより、部分画像を生成し、
前記撮像素子によって生成された前記画像の一部と前記部分画像の少なくとも一部とが互いに重なるように前記撮像素子によって生成された前記画像と前記部分画像とを前記ディスプレイに表示する
請求項1に記載の内視鏡装置。
【請求項12】
前記制御部は、
前記制御領域を前記撮像素子によって生成された前記画像から切り出すことにより、部分画像を生成し、
前記撮像素子によって生成された前記画像と前記部分画像とが互いに重ならないように前記撮像素子によって生成された前記画像と前記部分画像とを前記ディスプレイに表示する
請求項1に記載の内視鏡装置。
【請求項13】
前記制御部は、
前記制御領域を前記撮像素子によって生成された前記画像から切り出すことにより、部分画像を生成し、
前記部分画像を拡大することにより生成された画像を前記ディスプレイに表示する
請求項1に記載の内視鏡装置。
【請求項14】
前記制御部は、
前記画素の前記値を使用することにより、前記先端のぼけの程度を判断し、
前記程度に基づいてエッジ強調を前記画像に実施する
請求項1に記載の内視鏡装置。
【請求項15】
処置具が写っている画像を生成する撮像素子を有する内視鏡装置の作動方法であって、
前記画像に写っている前記処置具の先端を含む領域の位置および大きさを判断する判断ステップと、
前記判断ステップにおいて判断された前記位置および前記大きさに基づいて制御領域を前記画像に設定する設定ステップと、
前記制御領域における画素の値を使用することにより前記画像の明るさを制御する露光制御を実行する制御ステップと、
前記制御領域をディスプレイに表示する表示ステップと、
を有し、
前記制御領域は、第1の領域を含み、かつ第2の領域を含まず、
前記先端が前記第1の領域に写っており、
前記処置具の基端が前記第2の領域に写っており、
前記第2の領域は前記画像の境界と接している
内視鏡装置の作動方法。
【請求項16】
処置具が写っている画像を生成する撮像素子を有する内視鏡装置のコンピュータに、
前記画像に写っている前記処置具の先端を含む領域の位置および大きさを判断する判断ステップと、
前記判断ステップにおいて前記位置および前記大きさに基づいて制御領域を前記画像に設定する設定ステップと、
前記制御領域における画素の値を使用することにより前記画像の明るさを制御する露光制御を実行する制御ステップと、
前記制御領域をディスプレイに表示する表示ステップと、
を実行させるためのプログラムであって、
前記制御領域は、第1の領域を含み、かつ第2の領域を含まず、
前記先端が前記第1の領域に写っており、
前記処置具の基端が前記第2の領域に写っており、
前記第2の領域は前記画像の境界と接している
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡装置、内視鏡装置の作動方法、およびプログラムに関する。
【背景技術】
【0002】
ボイラー、パイプ、および航空機エンジン等の内部の傷および腐食等の検査に工業用の内視鏡装置が使用されている。内視鏡装置は、検査対象に挿入される挿入部を有する。挿入部は、検査対象内の被写体の画像を取得する。
【0003】
被写体の表面に付着した異物の回収などのために処置具が使用される場合がある。処置具が使用されている間、処置具の先端および基端(根元)が画像に写る。ハレーションが処置具の基端において発生し、画像の視認性が悪化する可能性がある。画像の視認性が悪化した場合、ユーザーが処置具を操作することが難しくなる。
【0004】
特許文献1に開示された技術は、画像の視認性を向上させるための方法を提供する。その技術は、処置具が撮像部の撮像範囲に含まれるか否かを判断する。処置具が撮像範囲に含まれる場合、その技術は撮像部の絞りを調整する。これにより、その技術は、画像のぼけによる画質の劣化を抑制する。また、その技術は、絞りが調整された後に画像の明るさを上げる。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
一般的に、内視鏡装置は、画像の明るさを調整する露光制御を実行する。内視鏡装置は、画像の全体の明るさを下げることにより、ハレーションが発生している領域の視認性を向上させることができる。
【0007】
しかしながら、ハレーションが発生していない領域の視認性が向上しない可能性がある。処置具の先端と内視鏡の先端との距離が大きい状態では、処置具の先端は、処置具の基端と比較して暗い。ハレーションが処置具の基端において発生している場合、処置具の先端の明るさと処置具の基端の明るさとの差が大きくなる。この状態において画像の全体に対して露光制御が実行された場合、処置具の基端の明るさは抑制されるが、処置具の先端はさらに暗くなる可能性がある。そのため、画像の視認性が向上しない可能性がある。
【0008】
特許文献1に開示された技術は、絞りの調整によって暗くなった画像の明るさを上げる方法を提供する。しかしながら、ハレーションが発生している場合、その技術では、ハレーションが発生している範囲の視認性が向上しない可能性がある。また、その技術は、処置具が写っている範囲を検出する方法、およびその範囲の画像の明るさを調整する方法を開示していない。
【0009】
本発明は、処置具が写っている画像の視認性を向上させることができる内視鏡装置、内視鏡装置の作動方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明は、処置具が写っている画像を生成する撮像素子と、前記画像に写っている前記処置具の先端を含む領域の位置および大きさを判断する判断部と、制御部と、を有し、前記制御部は、前記判断部によって判断された前記位置および前記大きさに基づいて制御領域を前記画像に設定し、前記制御領域における画素の値を使用することにより前記画像の明るさを制御する露光制御を実行し、前記制御領域をディスプレイに表示し、前記制御領域は、第1の領域を含み、かつ第2の領域を含まず、前記先端が前記第1の領域に写っており、前記処置具の基端が前記第2の領域に写っており、前記第2の領域は前記画像の境界と接している内視鏡装置である。
【0011】
本発明の内視鏡装置において、前記制御部は、前記画像においてハレーションが発生しているか否かを判断し、前記ハレーションが発生していると前記制御部が判断した場合、前記露光制御を実行する。
【0012】
本発明の内視鏡装置において、前記ハレーションが発生していると前記制御部が判断した場合、前記制御部は、前記ハレーションが発生している領域を含まない前記制御領域を設定する。
【0013】
本発明の内視鏡装置は、ゲイン値を使用することにより前記画像の明るさを調整する画像処理回路をさらに有し、前記ハレーションが発生していると前記制御部が判断した場合、前記制御部は、前記制御領域の明るさを調整するために使用される前記ゲイン値を制御することにより前記露光制御を実行する。
【0014】
本発明の内視鏡装置において、前記ハレーションが発生していないと前記制御部が判断した場合、前記制御部は、前記制御領域よりも大きい領域における画素の値を使用することにより前記露光制御を実行する。
【0015】
本発明の内視鏡装置において、前記ハレーションが発生していないと前記制御部が判断した場合、前記制御部は、前記処置具に照射される照明光の量および前記撮像素子の露光量の少なくとも一方を制御することにより前記露光制御を実行する。
【0016】
本発明の内視鏡装置において、前記判断部は、前記画像を使用することにより前記処置具の形状を学習し、前記形状の特徴を示す学習データを生成し、前記学習データを使用することにより前記位置および前記大きさを判断する。
【0017】
本発明の内視鏡装置において、前記撮像素子は、物体の内部に挿入される挿入部の先端部に配置され、レンズを有する光学アダプタが前記先端部と接続され、前記制御部は、前記画素の前記値を使用することにより、前記先端部から前記処置具の前記先端までの距離を判断し、前記制御部は、前記距離に基づいて前記露光制御を実行する。
【0018】
本発明の内視鏡装置において、前記制御部は、前記画素の前記値が示す前記処置具の明るさに基づいて前記距離を判断する。
【0019】
本発明の内視鏡装置において、前記制御部は、前記光学アダプタの種類を判断し、前記光学アダプタの種類と、前記処置具の大きさと、前記距離とを含む距離情報をメモリから取得し、前記制御部によって判断された前記種類と、前記判断部によって判断された前記大きさと、前記距離情報とに基づいて前記距離を判断する。
【0020】
本発明の内視鏡装置において、前記制御部は、前記制御領域を前記撮像素子によって生成された前記画像から切り出すことにより、部分画像を生成し、前記撮像素子によって生成された前記画像の一部と前記部分画像の少なくとも一部とが互いに重なるように前記撮像素子によって生成された前記画像と前記部分画像とを前記ディスプレイに表示する。
【0021】
本発明の内視鏡装置において、前記制御部は、前記制御領域を前記撮像素子によって生成された前記画像から切り出すことにより、部分画像を生成し、前記撮像素子によって生成された前記画像と前記部分画像とが互いに重ならないように前記撮像素子によって生成された前記画像と前記部分画像とを前記ディスプレイに表示する。
【0022】
本発明の内視鏡装置において、前記制御部は、前記制御領域を前記撮像素子によって生成された前記画像から切り出すことにより、部分画像を生成し、前記部分画像を拡大することにより生成された画像を前記ディスプレイに表示する。
【0023】
本発明の内視鏡装置において、前記制御部は、前記画素の前記値を使用することにより、前記先端のぼけの程度を判断し、前記程度に基づいてエッジ強調を前記画像に実施する。
【0024】
本発明は、処置具が写っている画像を生成する撮像素子と、を有する内視鏡装置の作動方法であって、前記画像に写っている前記処置具の先端を含む領域の位置および大きさを判断する判断ステップと、前記判断ステップにおいて判断された前記位置および前記大きさに基づいて制御領域を前記画像に設定する設定ステップと、前記制御領域における画素の値を使用することにより前記画像の明るさを制御する露光制御を実行する制御ステップと、前記制御領域をディスプレイに表示する表示ステップと、を有し、前記制御領域は、第1の領域を含み、かつ第2の領域を含まず、前記先端が前記第1の領域に写っており、前記処置具の基端が前記第2の領域に写っており、前記第2の領域は前記画像の境界と接している内視鏡装置の作動方法である。
【0025】
本発明は、処置具が写っている画像を生成する撮像素子と、を有する内視鏡装置のコンピュータに、前記画像に写っている前記処置具の先端を含む領域の位置および大きさを判断する判断ステップと、前記判断ステップにおいて前記位置および前記大きさに基づいて制御領域を前記画像に設定する設定ステップと、前記制御領域における画素の値を使用することにより前記画像の明るさを制御する露光制御を実行する制御ステップと、前記制御領域をディスプレイに表示する表示ステップと、を実行させるためのプログラムであって、前記制御領域は、第1の領域を含み、かつ第2の領域を含まず、前記先端が前記第1の領域に写っており、前記処置具の基端が前記第2の領域に写っており、前記第2の領域は前記画像の境界と接しているプログラムである。
【発明の効果】
【0026】
本発明によれば、内視鏡装置、内視鏡装置の作動方法、およびプログラムは、処置具が写っている画像の視認性を向上させることができる。
【図面の簡単な説明】
【0027】
【
図1】本発明の第1の実施形態による内視鏡装置の構成を示すブロック図である。
【
図2】本発明の第1の実施形態における挿入部および光学アダプタの構成を示すブロック図である。
【
図3】本発明の第1の実施形態における処置具の例を示す図である。
【
図4】本発明の第1の実施形態における処置具の例を示す図である。
【
図5】本発明の第1の実施形態による内視鏡装置が実行する画像表示処理の手順を示すフローチャートである。
【
図6】本発明の第1の実施形態における画像の例を示す図である。
【
図7】本発明の第1の実施形態における画像の例を示す図である。
【
図8】本発明の第1の実施形態における部分画像の例を示す図である。
【
図9】本発明の第1の実施形態における画像の例を示す図である。
【
図10】本発明の第1の実施形態における画像の例を示す図である。
【
図11】本発明の第2の実施形態による内視鏡装置が実行する画像表示処理の手順を示すフローチャートである。
【
図12】本発明の第2の実施形態における解像度特性情報の例を示すグラフである。
【
図13】本発明の第3の実施形態による内視鏡装置が実行する画像表示処理の手順を示すフローチャートである。
【
図14】本発明の第4の実施形態による内視鏡装置が実行する画像表示処理の手順を示すフローチャートである。
【
図15】本発明の第5の実施形態による内視鏡装置が実行する画像表示処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0028】
以下、図面を参照し、本発明の実施形態を説明する。
【0029】
(第1の実施形態)
本発明の第1の実施形態を説明する。
図1は、第1の実施形態による内視鏡装置1の構成を示す。
図1に示す内視鏡装置1は、挿入部2および本体部3を有する。
【0030】
挿入部2は、内視鏡を構成する。挿入部2は、検査対象の内部に挿入される。先端部20が挿入部2の先端に配置されている。挿入部2は、先端部20から基端部にわたって屈曲可能な細長い管状である。光学アダプタ4が先端部20に装着される。本体部3は、挿入部2を収納する収納部を備えた制御装置である。
【0031】
挿入部2は、撮像素子21および湾曲部22を有する。本体部3は、画像処理部30、メモリ31、湾曲制御部32、光源33、光源制御部34、メモリ35、表示部36、操作部37、および制御部38を有する。
【0032】
内視鏡装置1の構成の概要を説明する。撮像素子21は、処置具が写っている画像を生成する。光源33は、照明光を生成する。画像処理部30(判断部)は、撮像素子21によって生成された画像に写っている処置具の先端を含む領域の位置および大きさを判断する。制御部38は、画像処理部30によって判断された位置および大きさに基づいて制御領域を、撮像素子21によって生成された画像に設定する。制御部38は、制御領域における画素の値を使用することにより画像の明るさを制御する露光制御を実行する。制御部38は、制御領域を表示部36に表示する。制御領域は、第1の領域を含み、かつ第2の領域を含まない。処置具の先端が第1の領域に写っている。処置具の基端が第2の領域に写っている。第2の領域は画像の境界と接している。
【0033】
内視鏡装置1の構成の詳細を説明する。撮像素子21および湾曲部22は、先端部20に配置されている。
【0034】
撮像素子21は、CCDセンサまたはCMOSセンサ等のイメージセンサである。撮像素子21は、2枚以上の画像(フレーム)を連続的に生成する。その2枚以上の画像は動画を構成する。撮像素子21は、生成された各画像を本体部3に出力する。
【0035】
撮像素子21は、2つ以上の画素を有する。各画素は、各画素に入射した光の量に応じたアナログ信号を生成する。撮像素子21によって生成された画像は、撮像素子21における2つ以上の画素と対応する2つ以上の画素の値を持つ。例えば、撮像素子21は、各画素において生成されたアナログ信号を含む画像(アナログ画像)を出力する。その画像は、
図1に示されていないアナログデジタル(AD)変換器によってデジタル画像に変換される。あるいは、撮像素子21はAD変換器を有し、そのAD変換器によって処理されたデジタル画像を出力する。
【0036】
湾曲部22は、先端部20における基端側に配置されている。湾曲部22は、先端部20を所定の方向に湾曲させる。
【0037】
画像処理部30(画像処理回路)は、撮像素子21から出力された画像を処理する。画像処理部30は、DL部300を有する。DL部300は、撮像素子21から出力された画像を使用する機械学習を実行し、その画像に写っている処置具の形状を学習する。例えば、DL部300は、ディープラーニングを実行する。DL部300は、処置具の形状の特徴を示す学習データを生成する。その後、DL部300は、学習データを使用することにより画像における処置具の位置および大きさを判断する。DL部300は、処理された画像を制御部38に出力する。また、DL部300は、処置具の位置を示す位置情報と、処置具の大きさを示す大きさ情報とを制御部38に出力する。
【0038】
撮像素子21から出力されたアナログ画像は、
図1に示されていないAD変換器によってデジタル画像に変換される。あるいは、撮像素子21は、デジタル画像を出力する。画像処理部30は、ゲイン値を使用することにより、そのデジタル画像の明るさを調整してもよい。具体的には、画像処理部30は、画像の各画素の値にゲイン値を乗算することにより各画素の値を調整してもよい。
【0039】
メモリ31は、揮発性または不揮発性の記録媒体である。例えば、メモリ31は、RAM(Random Access Memory)、DRAM(DynamicRandom Access Memory)、SRAM(Static Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、およびフラッシュメモリの少なくとも1つである。メモリ31は、撮像素子21から出力された画像および画像処理部30によって生成された学習データを記憶する。
【0040】
湾曲制御部32は、制御部38から出力された制御信号に基づいて湾曲部22を湾曲させる。
【0041】
光源33は、LED(Light-Emitting Diode)のような発光素子である。光源33は、照明光を生成する。光源33は、先端部20に配置されてもよい。光源制御部34は、制御部38から出力された制御信号に基づいて光源33の光量を制御する。
【0042】
メモリ35は、揮発性または不揮発性の記録媒体である。例えば、メモリ35は、RAM、DRAM、SRAM、EPROM、EEPROM、およびフラッシュメモリの少なくとも1つである。メモリ35は、制御部38によって処理されるデータおよび情報を記憶する。メモリ31およびメモリ35が一体化されてもよい。
【0043】
表示部36は、LCD(Liquid Crystal Display)等のモニタ(ディスプレイ)である。表示部36は、タッチパネルであってもよい。表示部36がタッチパネルとして構成されている場合、ユーザーは、体の一部(例えば、指)または道具を使用することにより表示部36の画面をタッチする。表示部36は、撮像素子21によって生成された画像を表示する。
【0044】
操作部37は、ユーザーが操作を実施するためのボタンおよびジョイスティック等を有する。ユーザーは、操作部37を操作することにより、各種情報を内視鏡装置1に入力する。例えば、各種情報は、先端部20を湾曲させるための湾曲指示を含む。
【0045】
制御部38は、内視鏡装置1の全体を制御する。例えば、制御部38は、以下の処理を実行する。
【0046】
制御部38は、画像、位置情報、および大きさ情報を画像処理部30から受け取る。制御部38は、位置情報および大きさ情報に基づいて制御領域を画像に設定する。制御領域は、画像における2つ以上の画素を含む。制御部38は、制御領域における1つ以上の画素の値を使用することにより露光制御を実行する。つまり、制御部38は、制御領域の全体または一部を使用することにより露光制御を実行する。
【0047】
制御部38は、光源33における照明光の量(明るさ)を制御することにより露光制御を実行する。具体的には、制御部38は、照明光の量を制御するための制御信号を生成し、制御信号を光源制御部34に出力する。光源制御部34は、その制御信号に基づいて光源33の光量を制御する。
【0048】
あるいは、制御部38は、撮像素子21の露光量を制御することにより露光制御を実行する。具体的には、制御部38は、その露光量を制御するための制御信号を生成し、制御信号を撮像素子21に出力する。撮像素子21は、その制御信号に基づいてその露光量を制御する。
【0049】
例えば、撮像素子21は、露光時間(シャッタースピード)または感度を制御することにより露光量を制御する。撮像素子21は、露光の開始タイミングおよび露光の終了タイミングを制御することにより露光時間を制御する。各画素に入射した光の量に応じたアナログ信号が生成される。開始タイミングにおいてアナログ信号の生成が開始される。終了タイミングにおいてアナログ信号の生成が終了する。撮像素子21は、各画素において生成されたアナログ信号に乗算されるゲイン値を制御することにより、感度を制御する。
【0050】
制御部38は、操作部37を経由して入力された各種情報に基づいて内視鏡装置1の各部を制御する。例えば、制御部38は、湾曲指示に基づいて、湾曲部22の湾曲動作を制御するための制御信号を生成し、制御信号を湾曲制御部32に出力する。
【0051】
画像処理部30、湾曲制御部32、光源制御部34、および制御部38の少なくとも1つは、プロセッサおよび論理回路の少なくとも1つで構成されてもよい。例えば、プロセッサは、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、およびGPU(Graphics Processing Unit)の少なくとも1つである。例えば、論理回路は、ASIC(Application Specific Integrated Circuit)およびFPGA(Field-Programmable Gate Array)の少なくとも1つである。画像処理部30、湾曲制御部32、光源制御部34、および制御部38の少なくとも1つは、1つまたは複数のプロセッサを含むことができる。画像処理部30、湾曲制御部32、光源制御部34、および制御部38の少なくとも1つは、1つまたは複数の論理回路を含むことができる。
【0052】
内視鏡装置1のコンピュータがプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。そのプログラムは、内視鏡装置1の各部の動作を規定する命令を含む。つまり、内視鏡装置1の各部の機能はソフトウェアにより実現されてもよい。
【0053】
上記のプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により内視鏡装置1に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク(通信網)および電話回線等の通信回線(通信線)を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル(差分プログラム)であってもよい。前述した機能は、コンピュータに既に記録されているプログラムと差分プログラムとの組合せによって実現されてもよい。
【0054】
挿入部2および本体部3の内部にライトガイドLG1が配置されている。ライトガイドLG1は、光源33によって生成された照明光を先端部20に伝送する。透明なカバーガラスCGが挿入部2の先端に配置されている。ライトガイドLG1は、カバーガラスCGと接続されている。照明光は、ライトガイドLG1およびカバーガラスCGを通り、光学アダプタ4の内部に配置されたライトガイドLG2に入射する。照明光は、ライトガイドLG2を通り、被写体に照射される。
【0055】
挿入部2および本体部3の内部にチャネルCH1が配置されている。処置具がチャネルCH1に挿入される。処置具はチャネルCH1を通り、光学アダプタ4の内部に配置されたチャネルCH2に挿入される。処置具はチャネルCH2を通り、光学アダプタ4の前方に突出する。処置具の先端は、処置具の種類に応じた形状を持つ。
【0056】
図2は、挿入部2および光学アダプタ4の詳細な構成を示す。レンズ23が挿入部2に配置され、かつレンズ40が光学アダプタ4に配置されている。
【0057】
処置具TTがチャネルCH1およびチャネルCH2に挿入されている。処置具TTは光学アダプタ4の前面から突出する。
【0058】
光源33によって生成された照明光はライトガイドLG1、カバーガラスCG、およびライトガイドLG2を通り、被写体SBに照射される。照明光の一部は処置具TTにも照射される。照明光は被写体SBの表面で反射し、レンズ40に入射する。また、照明光は処置具TTの表面で反射し、レンズ40に入射する。レンズ40に入射した光はレンズ40を通り、レンズ23に入射する。レンズ23に入射した光は撮像素子21に到達する。
【0059】
図3および
図4は、処置具の例を示す。処置具TT10が、
図3に示す画像IMG10に写っている。処置具TT10の先端は検査対象内の検査部位のエッジに引っ掛けられる。処置具TT11が、
図4に示す画像IMG11に写っている。処置具TT11は、検査対象内の異物をつかむ。内視鏡装置1において使用される処置具は、処置具TT10および処置具TT11に限らない。
【0060】
内視鏡装置1は、
図5に示す画像表示処理を実行する。
図5は、画像表示処理の手順を示す。
【0061】
DL部300は、撮像素子21から出力された画像を使用することにより、処置具検出処理を実行する(ステップS100)。
【0062】
DL部300は、ステップS100において以下の処理を実行する。DL部300は、学習データをメモリ31から読み出す。DL部300は、学習データを使用するディープラーニングを実行し、学習データが示す処置具の特徴と類似する特徴を持つ領域を検出する。つまり、DL部300は、画像において処置具が写っている領域を検出する。
【0063】
図6は、撮像素子21によって生成された画像の例を示す。画像IMG10が
図6に示されている。
図6に示す画像IMG10は、
図3に示す画像IMG10と同じである。DL部300は、画像IMG10において処置具が写っている領域R10を検出する。
【0064】
撮像素子21とチャネルCH1との位置関係は固定されている。そのため、画像IMG10において処置具が写る領域は固定されている。画像IMG10は、長方形であり、4つの境界B10,B11,B12,B13を持つ。境界B10,B11,B12,B13は、画像IMG10の最外周にある。
【0065】
画像IMG10に写っている処置具は、境界B12から画像IMG10の中心に向かって伸びる。処置具の先端Taは、画像IMG10の中心に近い位置にある。処置具の先端Taは、処置具が挿入部2の先端から引き出される量に応じた位置に写っている。その量が大きいほど、挿入部2の先端と処置具の先端Taとの距離は大きい。その量が大きいほど、処置具の先端Taは画像IMG10の中心に近づく。
【0066】
処置具の基端Tbが境界B12と接する。処置具の基端Tbは、画像IMG10の中心から最も離れた処置具の部分である。
【0067】
領域R10は、第1の領域R100および第2の領域R101を有する。処置具の先端Taが第1の領域R100に写っている。第2の領域R101は、境界B12と接する。処置具の基端Tbが第2の領域R101に写っている。ハレーションが第2の領域R101において発生する場合がある。
【0068】
DL部300は、処置具が写っている領域の位置および大きさを判断し、位置情報および大きさ情報を生成する。位置情報は、処置具の位置を示す。大きさ情報は、処置具の大きさを示す。例えば、位置情報および大きさ情報は統合され、領域R10に含まれる2つ以上の画素の位置を示す。位置情報は、領域R10の中心位置または重心位置などを示してもよい。大きさ情報は、領域R10に含まれる画素の数を示してもよい。
【0069】
DL部300は、位置情報および大きさ情報を制御部38に出力する。処置具が写っている領域が検出されなかった場合、DL部300は、処置具が検出されなかったことを示す情報を制御部38に出力する。また、画像処理部30は、撮像素子21によって生成された画像を制御部38に出力する。
【0070】
ステップS100の後、制御部38は、DL部300から出力された情報に基づいて、処置具が検出されたか否かを判断する(ステップS101)。位置情報および大きさ情報がDL部300から出力された場合、制御部38は、処置具が検出されたと判断する。処置具が検出されなかったことを示す情報がDL部300から出力された場合、制御部38は、処置具が検出されなかったと判断する。
【0071】
処置具が検出されたと制御部38がステップS101において判断した場合、制御部38は、画像処理部30から出力された画像に制御領域を設定する。このとき、制御部38は、位置情報および大きさ情報に基づいて制御領域を画像に設定する(ステップS102)。
【0072】
図7は、撮像素子21によって生成された画像の例を示す。画像IMG10が
図7に示されている。
図7に示す画像IMG10は、
図3に示す画像IMG10と同じである。制御部38は、
図7に示す制御領域CR10を画像IMG10に設定する。
【0073】
制御領域CR10は、
図6に示す第1の領域R100を含み、かつ
図6に示す第2の領域R101を含まない。
図7に示す例では、制御領域CR10は長方形の領域である。制御領域CR10の形状は長方形に限らない。
【0074】
制御領域CR10は、画像IMG10の一部である。制御領域CR10は、処置具が写っている領域(
図6に示す第1の領域R100)の一部を含む。具体的には、制御領域CR10は、処置具の先端Taが写っている領域(
図6に示す第1の領域R100)を含む。したがって、制御領域CR10は、処置具の先端Taの画像である。
【0075】
制御領域CR10は、処置具の先端Ta以外の部分の少なくとも一部が写っている領域(
図6に示す第2の領域R101)を含まない。つまり、制御領域CR10は、処置具の基端Tbが写っている領域を含まない。画像IMG10は、境界B10,B11,B12,B13を持つ。制御領域CR10は、境界B10,B11,B12,B13を含まない。制御領域CR10は、処置具が写っていない領域を含んでもよい。その領域は、処置具の基端Tbと接する境界B12以外の境界B10,B11,B13の少なくとも1つを含んでもよい。
【0076】
ステップS102の後、制御部38は、ステップS102において設定された制御領域における画素の値を使用することにより露光制御を実行する(ステップS103)。
【0077】
制御部38は、ステップS103において以下の処理を実行する。例えば、制御部38は、
図7に示す制御領域CR10における画素の値に基づいて制御領域CR10の明るさを判断する。制御部38は、その明るさに基づいて光源33の光量の設定値を算出する。制御領域CR10の明るさが所定の明るさよりも暗い場合、制御部38は、光源33の光量を増加させるための設定値を算出する。制御領域CR10の明るさが所定の明るさよりも明るい場合、制御部38は、光源33の光量を減少させるための設定値を算出する。
【0078】
制御部38は、算出された設定値を示す制御信号を生成し、制御信号を光源制御部34に出力する。光源制御部34は、制御部38から出力された制御信号に基づいて光源33の光量を制御する。
【0079】
あるいは、制御部38は、制御領域CR10の明るさに基づいて撮像素子21の露光時間を算出する。制御領域CR10の明るさが所定の明るさよりも暗い場合、制御部38は、撮像素子21の現在の露光時間よりも長い露光時間を算出する。制御領域CR10の明るさが所定の明るさよりも明るい場合、制御部38は、撮像素子21の現在の露光時間よりも短い露光時間を算出する。
【0080】
制御部38は、算出された露光時間を示す制御信号を生成し、制御信号を撮像素子21に出力する。撮像素子21は、制御部38から出力された制御信号に基づいて露光時間を制御する。
【0081】
あるいは、制御部38は、制御領域CR10の明るさに基づいて撮像素子21の感度を算出する。制御領域CR10の明るさが所定の明るさよりも暗い場合、制御部38は、撮像素子21の現在の感度よりも高い感度を算出する。制御領域CR10の明るさが所定の明るさよりも明るい場合、制御部38は、撮像素子21の現在の感度よりも低い感度を算出する。
【0082】
制御部38は、算出された感度を示す制御信号を生成し、制御信号を撮像素子21に出力する。撮像素子21は、制御部38から出力された制御信号に基づいて感度を制御する。
【0083】
制御部38は、光源33の光量および撮像素子21の露光量の一方のみを制御してもよい。あるいは、制御部38は、光源33の光量および撮像素子21の露光量の両方を制御してもよい。
【0084】
制御領域は、2つ以上の画素を含む。制御部38は、ステップS103において、制御領域における1つ以上の画素の値を使用する。
【0085】
ステップS103の後、制御部38は、画像から制御領域を切り出すことにより部分画像を生成し、かつ部分画像を拡大する(ステップS104)。
【0086】
制御部38は、ステップS104において以下の処理を実行する。例えば、制御部38は、
図7に示す制御領域CR10を画像IMG10から切り出す。制御領域CR10の画素数は画像IMG10の画素数よりも少ない。制御部38は、制御領域CR10の画素数が画像IMG10の画素数と一致するように制御領域CR10を拡大する。これにより、制御部38は部分画像を生成する。部分画像は、制御領域CR10よりも大きい。つまり、部分画像の画素の数は、制御領域CR10の画素の数よりも多い。
【0087】
図8は、制御部38によって生成された部分画像の例を示す。部分画像IMG12が
図8に示されている。部分画像IMG12は、
図7に示す制御領域CR10の拡大画像である。部分画像IMG12の垂直方向の画素数は、
図3に示す画像IMG10の垂直方向の画素数と同じである。部分画像IMG12の水平方向の画素数は、
図3に示す画像IMG10の水平方向の画素数と同じである。
【0088】
ステップS104の後、制御部38は、部分画像を表示部36に出力する。これにより、制御部38は部分画像を表示部36に表示する(ステップS105)。例えば、制御部38は、
図8に示す部分画像IMG12を表示部36に表示する。したがって、拡大された制御領域が表示部36に表示される。
【0089】
処置具が検出されなかったと制御部38がステップS101において判断した場合、制御部38は、画像処理部30から出力された画像を表示部36に出力する。これにより、制御部38は、撮像素子21によって生成された画像の全体を表示部36に表示する(ステップS106)。
【0090】
ステップS105またはステップS106が実行されたとき、
図5に示す画像表示処理が終了する。
図5に示す画像表示処理は繰り返されてもよい。
【0091】
例えば、撮像素子21は、連続する2つ以上のフレーム期間の各々において画像を生成する。撮像素子21は、第1のフレーム期間において第1の画像を生成し、かつ第1のフレーム期間に続く第2のフレーム期間において第2の画像を生成する。第1の画像および第2の画像を使用する処理の例を説明する。
【0092】
まず、第1の例を説明する。制御部38は、ステップS103において露光制御が実行される前に取得された画像をステップS104において使用する。その場合、制御部38は、ステップS100、ステップS102、およびステップS104において同じ画像を使用する。つまり、制御部38は、ステップS100、ステップS102、およびステップS104において第1の画像を使用し、その後、ステップS100、ステップS102、およびステップS104において第2の画像を使用する。
【0093】
第1の例では、制御部38は、第1の画像の制御領域における画素の値を使用することにより露光制御を実行した後、第1の画像を使用することにより部分画像を生成する。また、制御部38は、第2の画像の制御領域における画素の値を使用することにより露光制御を実行した後、第2の画像を使用することにより部分画像を生成する。
【0094】
次に、第2の例を説明する。制御部38は、ステップS103において露光制御が実行された後に取得された画像をステップS104において使用する。その場合、制御部38は、ステップS100およびステップS102において使用された画像と異なる画像を使用することによりステップS104を実行する。つまり、制御部38は、ステップS100およびステップS102において第1の画像を使用し、かつステップS104において第2の画像を使用する。
【0095】
第2の例では、制御部38は、第1の画像の制御領域における画素の値を使用することにより露光制御を実行した後、第2の画像を使用することにより部分画像を生成する。
【0096】
第1の例および第2の例のいずれにおいても、第1の画像の制御領域における画素の値を使用することにより露光制御が実行される。そのため、第2の画像において処置具が写っている領域の明るさは適切になりやすい。その結果、その領域の視認性が向上する。
【0097】
処置具の先端が写っている制御領域は暗い場合が多い。ステップS103において制御領域の明るさに基づいて露光制御が実行されるため、光源33の光量または撮像素子21の露光量が増加する場合が多い。そのため、処置具の基端が写っている領域においてハレーションが発生しやすい。
【0098】
処置具の基端は、
図8に示す部分画像IMG12に写っていない。そのため、ハレーションの影響が部分画像IMG12において抑制される。制御部38は、部分画像IMG12のみを表示部36に表示してもよい。制御部38は、処置具の基端が写っている領域を表示部36に表示する必要はない。
【0099】
図9は、ステップS105において表示部36に表示された画像の他の例を示す。画像IMG13が
図9に示されている。画像IMG13は、部分画像IMG13aおよび画像IMG13bを含む。部分画像IMG13aは、ステップS104において生成される。画像IMG13bは、撮像素子21によって生成される。
【0100】
制御部38は、部分画像IMG13aを画像IMG13bに重畳する。これにより、部分画像IMG13aは画像IMG13bの一部と重なる。部分画像IMG13aは、画像IMG13b上に表示される。画像IMG13bの一部は部分画像IMG13aによって隠される。部分画像IMG13aの大きさは、画像IMG13bの大きさの50%を超える。ハレーションの影響を抑制するために、制御部38は、処置具の基端が写っている画像IMG13bの領域上に部分画像IMG13aを重畳してもよい。
【0101】
図10は、ステップS105において表示部36に表示された画像の他の例を示す。画像IMG14が
図10に示されている。画像IMG14は、部分画像IMG14aおよび画像IMG14bを含む。部分画像IMG14aは、ステップS104において生成される。画像IMG14bは、撮像素子21によって生成される。
【0102】
制御部38は、部分画像IMG14aを画像IMG14bに重畳する。これにより、部分画像IMG14aは画像IMG14bの一部と重なる。部分画像IMG14aは、画像IMG14b上に表示される。画像IMG14bの一部は部分画像IMG14aによって隠される。例えば、部分画像IMG14aの大きさは、画像IMG14bの大きさの1/4である。部分画像IMG14aは、画像IMG14bの右上に重畳されている。画像IMG14bにおいてハレーションが発生し、処置具の先端の視認性が悪化している場合、ユーザーは部分画像IMG14aにおいて処置具の先端の状態を確認することができる。
【0103】
図9および
図10に示す例では、部分画像の全体が、撮像素子21によって生成された画像の一部と重なる。部分画像の一部が、撮像素子21によって生成された画像の一部と重なってもよい。
【0104】
制御部38は、撮像素子21によって生成された画像と部分画像とが互いに重ならないように、撮像素子21によって生成された画像と部分画像とを表示部36に表示してもよい。
【0105】
画像処理部30は、機械学習を実行せずに、画像において処置具が写っている領域を検出してもよい。例えば、メモリ31は、処置具の形状を示す形状情報を予め記憶してもよい。画像処理部30は、パターンマッチング処理を実行することにより、形状情報が示す形状と一致する形状を持つ領域を画像から検出してもよい。あるいは、画像処理部30は、処置具のエッジを画像から検出することにより、処置具が写っている領域を検出してもよい。
【0106】
メモリ31は、処置具が挿入部2の先端から引き出される量、処置具の領域の位置、およびその領域の大きさの関係を示す領域情報を予め記憶してもよい。制御部38は、チャネルCH1における処置具の動きの量を判断することにより、処置具が挿入部2の先端から引き出される量を判断してもよい。画像処理部30は、その量と対応する位置および大きさを領域情報から抽出してもよい。
【0107】
例えば、本体部3はロータリーエンコーダーおよび2つのローラーを有する。2つのローラーは、チャネルCH1を挟むように配置されている。処置具がチャネルCH1に挿入されたとき、2つのローラーは処置具と接触する。処置具が移動すると2つのローラーが回転する。ロータリーエンコーダーは、2つのローラーのうちの少なくとも1つの回転量を検出することにより、処置具の移動量を検出する。ロータリーエンコーダーは、検出された移動量を示す情報を出力する。制御部38は、その情報に基づいて、処置具が挿入部2の先端から引き出される量を判断してもよい。
【0108】
上記のように、制御部38は、処置具が写っている領域を制御領域として設定する。制御部38は、処置具が写っている領域に加えて他の領域を考慮することにより制御領域を設定してもよい。例えば、物体を把持する処置具が使用される場合、制御部38は、処置具が写っている第1の領域と、その物体が写っている第2の領域とを検出してもよい。制御部38は、第1の領域および第2の領域を含む制御領域を設定してもよい。
【0109】
本発明の各態様の内視鏡装置の作動方法は、判断ステップ、設定ステップ、制御ステップ、および表示ステップを有する。DL部300は、撮像素子21によって生成された画像に写っている処置具の先端を含む領域の位置および大きさを判断ステップ(ステップS100)において判断する。制御部38は、判断ステップにおいて判断された位置および大きさに基づいて制御領域を設定ステップ(ステップS102)において画像に設定する。制御部38は、制御ステップ(ステップS103)において、制御領域における画素の値を使用することにより画像の明るさを制御する露光制御を実行する。制御部38は、表示ステップ(ステップS105)において、制御領域を表示部36に表示する。
【0110】
本発明の各態様は、以下の変形例を含んでもよい。DL部300は、撮像素子21によって生成された画像を使用することにより処置具の形状を学習する。DL部300は、その形状の特徴を示す学習データを生成する。DL部300は、学習データを使用することにより、処置具の先端を含む領域の位置および大きさを判断する。
【0111】
本発明の各態様は、以下の変形例を含んでもよい。制御部38は、制御領域を撮像素子21によって生成された画像から切り出すことにより、部分画像を生成する。制御部38は、撮像素子21によって生成された画像の一部と部分画像の少なくとも一部とが互いに重なるように撮像素子21によって生成された画像と部分画像とを表示部36に表示する。
【0112】
本発明の各態様は、以下の変形例を含んでもよい。制御部38は、制御領域を撮像素子21によって生成された画像から切り出すことにより、部分画像を生成する。制御部38は、撮像素子21によって生成された画像の一部と部分画像の少なくとも一部とが互いに重ならないように撮像素子21によって生成された画像と部分画像とを表示部36に表示する。
【0113】
本発明の各態様は、以下の変形例を含んでもよい。制御部38は、制御領域を撮像素子21によって生成された画像から切り出すことにより、部分画像を生成する。制御部38は、部分画像を拡大することにより生成された画像を表示部36に表示する。
【0114】
第1の実施形態において、内視鏡装置1は、制御領域を撮像素子21によって生成された画像に設定する。また、内視鏡装置1は、制御領域における画素の値を使用することにより露光制御を実行する。そのため、内視鏡装置1は、処置具が写っている画像の視認性を向上させることができる。
【0115】
内視鏡装置1は、制御領域の拡大画像を表示する。そのため、内視鏡装置1は、処置具が写っている制御領域の視認性を向上させることができる。
【0116】
(第2の実施形態)
本発明の第2の実施形態を説明する。第2の実施形態において、
図1に示す内視鏡装置1が使用される。内視鏡装置1は、撮像素子21によって生成された画像における処置具の先端のぼけを低減させるためにエッジ強調を実施する。
【0117】
内視鏡装置1は、
図11に示す画像表示処理を実行する。
図11は、画像表示処理の手順を示す。
図5に示す処理と同じ処理の説明を省略する。
【0118】
処置具が検出されたと制御部38がステップS101において判断した場合、制御部38は、画像処理部30から出力された画像において処置具が写っている領域の画素数を算出する(ステップS110)。
【0119】
ステップS110の後、制御部38は、挿入部2の先端から処置具の先端までの距離を算出する(ステップS111)。
【0120】
制御部38は、ステップS111において以下の処理を実行する。前述したように、処置具の先端は、処置具が挿入部2の先端から引き出される量に応じた位置に写っている。その量が大きいほど、挿入部2の先端と処置具の先端との距離は大きい。その量は、ステップS110において算出された画素数と対応する。その距離および画素数は、処置具の種類に応じた関係を持つ。
【0121】
メモリ35は、その距離と画素数との関係を示す距離情報を予め記憶する。距離情報は、互いに関連付けられた距離および画素数を含む。距離情報は、処置具の種類毎に用意されている。制御部38は、ステップS110において算出された画素数と関連付けられた距離を距離情報から取得する。
【0122】
ステップS111の後、制御部38は、解像度特性情報をメモリ35から取得する(ステップS112)。
【0123】
解像度特性情報は、レンズ40およびレンズ23を含むレンズ群の解像度特性を示す。レンズ40は、光学アダプタ4の種類に応じた解像度特性を持つ。そのため、解像度特性情報は、光学アダプタ4の種類毎に用意されている。メモリ35は、解像度特性情報を予め記憶する。解像度特性情報は、互いに関連付けられた距離および解像度を含む。
【0124】
図12は、解像度特性情報の例を示す。解像度特性情報はグラフとして示されている。
図12に示すグラフの横軸は挿入部2の先端と処置具の先端との距離を示す。
図12に示すグラフの縦軸は解像度を示す。例えば、解像度は、USAF解像度テストチャートを使用することにより計測される。
図12に示す解像度の値が大きいほど、解像度は高い。
【0125】
解像度が高い場合、撮像素子21によって生成された画像において処置具の先端はぼけにくい。解像度が低い場合、撮像素子21によって生成された画像において処置具の先端はぼけやすい。
【0126】
ステップS112の後、制御部38は、ステップS111において算出された距離と、ステップS112において取得された解像度特性情報とに基づいて、画像における処置具の先端のぼけの程度を判断する。制御部38は、そのぼけの程度に基づいて、エッジ強調が必要であるか否かを判断する(ステップS113)。
【0127】
制御部38は、ステップS113において以下の処理を実行する。制御部38は、ステップS111において算出された距離と関連付けられた解像度を解像度特性情報から取得する。取得された解像度は、画像における処置具の先端のぼけの程度を示す。制御部38は、その解像度が所定の値よりも小さいか否かを判断する。その解像度が所定の値よりも小さい場合、制御部38は、エッジ強調が必要であると判断する。その解像度が所定の値以上である場合、制御部38は、エッジ強調が不要であると判断する。
【0128】
エッジ強調が不要であると制御部38がステップS113において判断した場合、ステップS102が実行される。エッジ強調が必要であると制御部38がステップS113において判断した場合、制御部38は、画像処理部30から出力された画像にエッジ強調を実施する(ステップS114)。ステップS114の後、ステップS102が実行される。
【0129】
制御部38は、ステップS114において、エッジ強調の強さを判断してもよい。例えば、制御部38は、解像度特性情報から取得された解像度と上記の所定の値とに基づいて、エッジ強調の強さを判断してもよい。制御部38は、その強さに応じた処理パラメータを使用することによりエッジ強調を実施してもよい。
【0130】
制御部38は、エッジ強調を実施するための制御信号を生成し、制御信号を画像処理部30に出力してもよい。画像処理部30は、その制御信号に基づいてエッジ強調を実施してもよい。
【0131】
図11に示す画像表示処理において、エッジ強調が実施された後、制御領域が画像に設定される。エッジ強調が実施されるタイミングは、
図11に示すタイミングに限らない。例えば、ステップS104が実行された後、ステップS110からステップS114が実行されてもよい。制御部38は、ステップS114において部分画像にエッジ強調を実施してもよい。ステップS114が実行された後、制御部38は、ステップS105を実行することにより、エッジ強調が実施された部分画像を表示部36に表示してもよい。
【0132】
本発明の各態様は、以下の変形例を含んでもよい。制御部38は、制御領域における画素の値を使用することにより、挿入部2の先端のぼけの程度を判断する。制御部38は、その程度に基づいてエッジ強調を画像に実施する。
【0133】
第2の実施形態において、内視鏡装置1は、撮像素子21によって生成された画像にエッジ強調を実施する。これにより、内視鏡装置1は、その画像における処置具の先端のぼけを低減させることができる。
【0134】
(第3の実施形態)
本発明の第3の実施形態を説明する。第3の実施形態において、
図1に示す内視鏡装置1が使用される。
【0135】
撮像素子21によって生成された画像において処置具が検出された場合、第1または第2の実施形態の内視鏡装置1は部分画像を表示する。一方、第3の実施形態の内視鏡装置1は、処置具が検出されるか否かにかかわらず、撮像素子21によって生成された画像の全体を表示する。
【0136】
処置具の先端が写っている制御領域は暗い場合が多い。光源33における照明光の量または撮像素子21の露光量を制御する露光制御が画像の全体に適用される場合、画像の全体が明るくなりやすい。そのため、処置具の基端が写っている領域においてハレーションが発生しやすい。
【0137】
画像処理部30は、撮像素子21によって生成された画像の明るさを調整する。このとき、画像処理部30は、画像の各画素の値にゲイン値を乗算する。撮像素子21によって生成された画像においてハレーションが発生している場合、制御部38は、制御領域の各画素の値に乗算されるゲイン値を制御する。このとき、制御部38は、制御領域が明るくなるようにゲイン値を増加させる。
【0138】
ゲイン値は、画像の領域毎に設定可能である。制御部38は、制御領域以外の領域の各画素の値に乗算されるゲイン値を変更しない。そのため、処置具の基端が写っている領域においてハレーションの発生が抑制される。
【0139】
内視鏡装置1は、
図13に示す画像表示処理を実行する。
図13は、画像表示処理の手順を示す。
図5に示す処理と同じ処理の説明を省略する。
【0140】
処置具が検出されたと制御部38がステップS101において判断した場合、制御部38は、処置具の基端が写っている領域における画素の値に基づいてその領域の明るさを算出する(ステップS120)。
【0141】
処置具は、
図1に示すチャネルCH1に挿入される。撮像素子21とチャネルCH1との位置関係は固定されている。そのため、撮像素子21によって生成された画像において処置具の基端が写る領域は固定されている。制御部38は、ステップS120において、予め設定されている領域の明るさを算出する。
【0142】
ステップS120の後、制御部38は、ステップS120において算出された明るさが所定の明るさよりも明るいか否かを判断する。これにより、制御部38は、処置具の基端が写っている領域においてハレーションが発生しているか否かを判断する(ステップS121)。
【0143】
ステップS120において算出された明るさが所定の明るさよりも明るいと制御部38がステップS121において判断した場合、処置具の基端が写っている領域においてハレーションが発生している。この場合、制御部38は、画像処理部30から出力された画像に制御領域を設定する(ステップS102a)。
【0144】
制御部38は、ステップS102aにおいて、処置具の基端が写っている領域を除く制御領域を設定する。これにより、制御部38は、ハレーションが発生している領域を含まない制御領域を設定する。
【0145】
処置具の基端が写っている領域の全体においてハレーションが発生しているとは限らない。制御部38は、処置具の基端が写っている領域の各画素においてハレーションが発生しているか否かを判断してもよい。制御部38は、ハレーションが発生している画素を含む領域を除く制御領域を設定してもよい。処置具の基端が写っている領域の一部においてハレーションが発生している場合、制御領域は、処置具の基端が写り、かつハレーションが発生していない領域を含んでもよい。
【0146】
ステップS102aの後、制御部38は、制御領域の各画素の値に乗算されるゲイン値を制御することにより露光制御を実行する(ステップS122)。
【0147】
制御部38は、ステップS122において以下の処理を実行する。制御部38は、制御領域における画素の値に基づいて制御領域の明るさを判断する。制御領域の明るさが所定の明るさよりも暗い場合、制御部38は、制御領域の明るさを所定の明るさまで増加させるためのゲイン値を算出する。その明るさが所定の明るさよりも明るい場合、制御部38は、制御領域の明るさを所定の明るさまで減少させるためのゲイン値を算出する。
【0148】
制御部38は、算出されたゲイン値を示す制御信号を生成し、生成された制御信号を画像処理部30に出力する。画像処理部30は、その制御信号に基づいてゲイン値を変更する。このとき、画像処理部30は、制御領域の各画素の値に乗算されるゲイン値のみを変更する。画像処理部30は、撮像素子21によって生成された画像の各画素の値にゲイン値を乗算する。これにより、画像処理部30は、その画像の明るさを調整する。
【0149】
ステップS120において算出された明るさが所定の明るさよりも暗いと制御部38がステップS121において判断した場合、処置具の基端が写っている範囲においてハレーションが発生していない。この場合、制御部38は、光源33における照明光の量または撮像素子21の露光量を制御することにより露光制御を実行する(ステップS123)。
【0150】
例えば、制御部38は、ステップS123において、画像処理部30から出力された画像の全体における画素の値に基づいてその画像の明るさを判断する。制御部38は、その明るさに基づいて光源33の光量または撮像素子21の露光量を制御する。
【0151】
制御部38は、ステップS123において、画像処理部30から出力された画像の全体を使用する必要はない。制御部38は、ステップS123においてその画像の明るさを判断するために、ステップS102aにおいて設定される制御領域よりも大きく、かつその画像の全体よりも小さい領域を使用してもよい。ステップS123においてその画像の明るさを判断するために使用される領域は、ステップS102aにおいて設定される制御領域を含んでもよい。制御部38は、ステップS123において、光源33の光量および撮像素子21の露光量の両方を制御してもよい。
【0152】
ステップS122またはステップS123の後、制御部38は、ステップS122またはステップS123において処理された画像を表示部36に出力する。これにより、制御部38は、その画像の全体を表示部36に表示する(ステップS124)。ステップS124が実行されたとき、
図13に示す画像表示処理が終了する。
【0153】
画像処理部30は、2種類以上のゲイン値を使用することにより、撮像素子21によって生成された画像の全体の明るさを調整してもよい。ステップS122の前またはステップS122の後、制御部38は、制御領域以外の領域の明るさを調整するために使用されるゲイン値を制御することにより露光制御を実行してもよい。制御領域以外の領域においてハレーションが発生している。そのため、制御部38は、ハレーションが発生している領域の明るさを調整するために使用されるゲイン値を制御してもよい。制御部38は、ゲイン値を制御することにより、その領域の明るさを所定の明るさまで減少させてもよい。
【0154】
本発明の各態様は、以下の変形例を含んでもよい。制御部38は、撮像素子21によって生成された画像においてハレーションが発生しているか否かを判断する。ハレーションが発生していると制御部38が判断した場合、制御部38は制御領域における画素の値を使用することにより露光制御を実行する。
【0155】
本発明の各態様は、以下の変形例を含んでもよい。ハレーションが発生していると制御部38が判断した場合、制御部38は、ハレーションが発生している領域を含まない制御領域を設定する。
【0156】
本発明の各態様は、以下の変形例を含んでもよい。画像処理部30は、ゲイン値を使用することにより、撮像素子21によって生成された画像の明るさを調整する。ハレーションが発生していると制御部38が判断した場合、制御部38は、制御領域の明るさを調整するために使用されるゲイン値を制御することにより露光制御を実行する。
【0157】
本発明の各態様は、以下の変形例を含んでもよい。ハレーションが発生していないと制御部38が判断した場合、制御部38は、制御領域を含みかつ制御領域よりも大きい領域における画素の値を使用することにより露光制御を実行する。
【0158】
本発明の各態様は、以下の変形例を含んでもよい。ハレーションが発生していないと制御部38が判断した場合、制御部38は、処置具に照射される照明光の量および撮像素子21の露光量の少なくとも一方を制御することにより露光制御を実行する。
【0159】
ハレーションが発生していると制御部38が判断した場合、制御部38は、ハレーションが発生している領域の大きさに応じた処理を実行してもよい。その大きさが所定値よりも小さいとき、制御部38は、処置具に照射される照明光の量および撮像素子21の露光量の少なくとも一方を制御することにより露光制御を実行してもよい。その大きさが所定値よりも大きいとき、制御部38は、ゲイン値を制御することにより露光制御を実行してもよい。
【0160】
第3の実施形態において、内視鏡装置1は、撮像素子21によって生成された画像の全体を表示する。その画像においてハレーションが発生している場合、内視鏡装置1は、制御領域の明るさを調整する。制御領域は、ハレーションが発生している領域を含まない。そのため、内視鏡装置1は、処置具が写っている画像の視認性を向上させることができ、かつハレーションの影響を抑制することができる。
【0161】
(第4の実施形態)
本発明の第4の実施形態を説明する。第4の実施形態において、
図1に示す内視鏡装置1が使用される。
【0162】
前述したように、処置具の基端が写っている領域においてハレーションが発生しやすい。また、処置具が把持している物体が写っている領域においてハレーションが発生しやすい。内視鏡装置1は、その物体が写っている領域においてハレーションが発生しているか否かを判断する。
【0163】
内視鏡装置1は、
図14に示す画像表示処理を実行する。
図14は、画像表示処理の手順を示す。
図5に示す処理と同じ処理の説明を省略する。
【0164】
処置具が検出されたと制御部38がステップS101において判断した場合、DL部300は、検出された処置具を含む領域において物体検出処理を実行する(ステップS130)。
【0165】
画像表示処理が実行される前、DL部300は以下の処理を実行する。DL部300は、撮像素子21から出力された画像を使用する機械学習を実行し、その画像に写っている処置具によって把持されている物体の形状を学習する。例えば、DL部300は、ディープラーニングを実行する。DL部300は、物体の形状の特徴を示す学習データを生成する。
【0166】
DL部300は、ステップS130において以下の処理を実行する。DL部300は、学習データをメモリ31から読み出す。DL部300は、学習データを使用するディープラーニングを実行し、学習データが示す物体の特徴と類似する特徴を持つ領域を検出する。つまり、DL部300は、画像において物体が写っている領域を検出する。
【0167】
DL部300は、物体が写っている領域の位置および大きさを判断し、物体位置情報および物体大きさ情報を生成する。物体位置情報は、物体の位置を示す。物体大きさ情報は、物体の大きさを示す。例えば、物体位置情報および物体大きさ情報は統合され、物体が写っている領域に含まれる2つ以上の画素の位置を示す。物体位置情報は、その領域の中心位置または重心位置などを示してもよい。物体大きさ情報は、その領域に含まれる画素の数を示してもよい。
【0168】
DL部300は、物体位置情報および物体大きさ情報を制御部38に出力する。物体が写っている領域が検出されなかった場合、DL部300は、物体が検出されなかったことを示す情報を制御部38に出力する。
【0169】
ステップS130の後、制御部38は、DL部300から出力された情報に基づいて、物体が検出されたか否かを判断する(ステップS131)。物体位置情報および物体大きさ情報がDL部300から出力された場合、制御部38は、物体が検出されたと判断する。物体が検出されなかったことを示す情報がDL部300から出力された場合、制御部38は、物体が検出されなかったと判断する。
【0170】
物体が検出されたと制御部38がステップS131において判断した場合、制御部38は、画像処理部30から出力された画像に制御領域を設定する。このとき、制御部38は、位置情報、大きさ情報、物体位置情報、および物体大きさ情報に基づいて制御領域を画像に設定する。つまり、制御部38は、処置具の先端および物体が写っている領域を含み、かつ処置具の基端が写っている領域を除く制御領域を画像に設定する(ステップS132)。
【0171】
ステップS132の後、制御部38は、制御領域における画素の値に基づいて制御領域の明るさを算出する(ステップS133)。
【0172】
ステップS133の後、制御部38は、ステップS133において算出された明るさが所定の明るさよりも明るいか否かを判断する。これにより、制御部38は、制御領域においてハレーションが発生しているか否かを判断する(ステップS134)。
【0173】
ステップS133において算出された明るさが所定の明るさよりも明るいと制御部38がステップS134において判断した場合、制御領域においてハレーションが発生している。この場合、制御部38は、位置情報および大きさ情報に基づいて、処置具の基端が写っている領域(基端領域)を判断する。制御部38は、画像処理部30から出力された画像の全体から基端領域とステップS132において設定された制御領域とを除いた新たな制御領域の画素の値を使用することにより露光制御を実行する(ステップS135)。制御部38は、ハレーションが発生している制御領域およびハレーションが発生しやすい基端領域における画素の値を使用せずに露光制御を実行する。ステップS135の後、ステップS106が実行される。
【0174】
ステップS133において算出された明るさが所定の明るさよりも暗いと制御部38がステップS134において判断した場合、制御領域においてハレーションが発生していない。この場合、ステップS103が実行される。制御部38は、ステップS103において、制御領域における画素の値を使用することにより露光制御を実行する。
【0175】
物体が検出されなかったと制御部38がステップS131において判断した場合、制御部38は、位置情報および大きさ情報に基づいて、基端領域を判断する。制御部38は、画像処理部30から出力された画像の全体から基端領域を除いた領域(制御領域)の画素の値を使用することにより露光制御を実行する(ステップS136)。制御部38は、ハレーションが発生しやすい基端領域における画素の値を使用せずに露光制御を実行する。ステップS136の後、ステップS106が実行される。
【0176】
処置具が検出されなかったと制御部38がステップS101において判断した場合、制御部38は、画像処理部30から出力された画像の全画素の値を使用することにより露光制御を実行する(ステップS137)。ステップS137の後、ステップS106が実行される。
【0177】
第4の実施形態において、制御領域においてハレーションが発生している場合、内視鏡装置1は、制御領域を除く領域における画素の値を使用することにより露光制御を実行する。制御領域においてハレーションが発生していない場合、内視鏡装置1は、制御領域における画素の値を使用することにより露光制御を実行する。そのため、内視鏡装置1は、処置具が写っている画像の視認性を向上させることができ、かつハレーションの影響を抑制することができる。
【0178】
(第5の実施形態)
本発明の第5の実施形態を説明する。第5の実施形態において、
図1に示す内視鏡装置1が使用される。内視鏡装置1は、挿入部2の先端から処置具の先端までの距離を算出し、その距離に基づいて露光制御を実行する。
【0179】
内視鏡装置1は、
図15に示す画像表示処理を実行する。
図15は、画像表示処理の手順を示す。
図5に示す処理と同じ処理の説明を省略する。
【0180】
ステップS102の後、制御部38は、ステップS102において設定された制御領域の画素の値を使用することにより、挿入部2の先端から処置具の先端までの距離を算出する(ステップS140)。
【0181】
制御部38は、ステップS140において以下の処理を実行する。制御部38は、制御領域の画素の値を使用することにより処置具の明るさを算出する。制御部38は、その明るさと撮像素子21のパラメータとに基づいて撮像素子21に入射する光の量を算出する。そのパラメータは、露光時間または感度である。
【0182】
撮像素子21に入射する光の量は、光源33の光量と、処置具の反射率と、挿入部2の先端から処置具の先端までの距離と、レンズ40およびレンズ23の各々のF値とに応じて変化する。反射率およびF値は既知である。光源33の光量が固定されている場合、その距離が増加するにつれて、撮像素子21に入射する光の量は減少する。制御部38は、光源33の光量と、処置具の反射率と、レンズ40およびレンズ23の各々のF値と、撮像素子21に入射する光の量とに基づいて、その距離を算出する。
【0183】
ステップS140の後、制御部38は、ステップS140において算出された距離を使用することにより露光制御を実行する(ステップS141)。ステップS141の後、ステップS104が実行される。
【0184】
制御部38は、ステップS141において以下の処理を実行する。挿入部2の先端から処置具の先端までの距離が増加するにつれて画像の明るさは低下する。メモリ35は、その距離と露光制御のパラメータとを含む制御情報を予め記憶する。そのパラメータは、光源33の光量の設定値、撮像素子21の露光時間、および撮像素子21の感度の少なくとも1つである。制御情報において、その距離およびそのパラメータが互いに関連付けられている。
【0185】
制御部38は、ステップS140において算出された距離と関連付けられたパラメータを制御情報から取得する。制御部38は、取得されたパラメータを使用することにより、光源33の光量および撮像素子21の露光量の少なくとも一方を制御する。
【0186】
メモリ35は、光学アダプタ4の種類と、処置具の大きさと、挿入部2の先端から処置具の先端までの距離とを含む距離情報を予め記憶してもよい。距離情報において、その種類、その大きさ、およびその距離は互いに関連付けられている。DL部300は、ディープラーニングを実行し、その種類、その大きさ、およびその距離の関係を示す学習データを生成してもよい。その学習データは上記の距離情報を含む。
【0187】
例えば、ユーザーは、操作部37を操作することにより、光学アダプタ4の種類を示す情報を内視鏡装置1に入力する。制御部38は、その情報に基づいて光学アダプタ4の種類を判断してもよい。
【0188】
光学アダプタ4が先端部20に装着されたとき、光学アダプタ4は制御部38と電気的に接続されてもよい。光学アダプタ4は、光学アダプタ4の種類に応じた抵抗値を持ってもよい。制御部38は、その抵抗値を測定し、その抵抗値に基づいて光学アダプタ4の種類を判断してもよい。
【0189】
前述したように、DL部300は、処置具の位置を示す位置情報と、処置具の大きさを示す大きさ情報とを制御部38に出力する。制御部38は、光学アダプタ4の種類と対応する距離情報をメモリ35から取得し、かつ大きさ情報および距離情報に基づいて、挿入部2の先端から処置具の先端までの距離を判断してもよい。具体的には、制御部38は、大きさ情報が示す大きさと関連付けられている距離を距離情報から取得してもよい。
【0190】
本発明の各態様は、以下の変形例を含んでもよい。撮像素子21は、物体の内部に挿入される挿入部2の先端部20に配置されている。レンズ40を有する光学アダプタ4が先端部20と接続される。制御部38は、制御領域における画素の値を使用することにより、先端部20から処置具の先端までの距離を判断する。制御部38は、その距離に基づいて露光制御を実行する。
【0191】
本発明の各態様は、以下の変形例を含んでもよい。制御部38は、制御領域における画素の値が示す処置具の明るさに基づいて先端部20から処置具の先端までの距離を判断する。
【0192】
本発明の各態様は、以下の変形例を含んでもよい。制御部38は、光学アダプタ4の種類を判断する。制御部38は、光学アダプタ4の種類と、処置具の大きさと、先端部20から処置具の先端までの距離とを含む距離情報をメモリ35から取得する。制御部38は、制御部38によって判断された光学アダプタ4の種類と、DL部300によって判断された処置具の大きさと、距離情報とに基づいて先端部20から処置具の先端までの距離を判断する。
【0193】
第5の実施形態において、内視鏡装置1は、挿入部2の先端から処置具の先端までの距離に基づいて露光制御を実行する。そのため、内視鏡装置1は、処置具が写っている画像の視認性を向上させることができる。
【0194】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
【符号の説明】
【0195】
1 内視鏡装置
2 挿入部
3 本体部
4 光学アダプタ
20 先端部
21 撮像素子
22 湾曲部
23,40 レンズ
30 画像処理部
31,35 メモリ
32 湾曲制御部
33 光源
34 光源制御部
36 表示部
37 操作部
38 制御部
300 DL部