特開 2024-155587 画像処理装置およびカメラシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024155587

(43)【公開日】2024-10-31

(54)【発明の名称】画像処理装置およびカメラシステム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20241024BHJP

   A61B 1/313 20060101ALI20241024BHJP

   A61B 1/04 20060101ALI20241024BHJP

【ＦＩ】

A61B1/045 622

A61B1/313

A61B1/04 530

A61B1/045 631

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023070430

(22)【出願日】2023-04-21

(11)【特許番号】

(45)【特許公報発行日】2024-01-18

(71)【出願人】

【識別番号】517023471

【氏名又は名称】株式会社Ａｓｕｅ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】仲井 淳一

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA24

4C161PP03

4C161WW03

(57)【要約】

【課題】手術に支障を来すことなく、かつ、ネットワークや画像処理プロセッサへの負荷を小さくすることができるカメラシステムを提供する。
【解決手段】人間の体壁３に装着するための体腔内手術用カメラ１に搭載されたイメージセンサ１２からの画像データを処理する画像処理装置であって、イメージセンサ１２が撮影した第１の領域Ｒ１内に、第１の領域Ｒ１よりも小さい第２の領域Ｒ２を設定する領域設定部２０１と、第１の領域Ｒ１に対応する第１の画像Ｇ１および第２の領域Ｒ２に対応する第２の画像Ｇ２を異なる表示領域に表示させる表示制御部１９１と、を備え、第２の画像Ｒ２のフレームレートが第１の画像Ｒ１のフレームレートよりも大きい。
【選択図】図４

【特許請求の範囲】

【請求項1】

人間の体壁に装着するための体腔内手術用カメラに搭載されたイメージセンサからの画像データを処理する画像処理装置であって、
前記イメージセンサが撮影した第１の領域内に、前記第１の領域よりも小さい第２の領域を設定する領域設定部と、
前記第１の領域に対応する第１の画像および前記第２の領域に対応する第２の画像を異なる表示領域に表示させる表示制御部と、
を備え、
前記第２の画像のフレームレートが前記第１の画像のフレームレートよりも大きいことを特徴とする、画像処理装置。

【請求項2】

前記表示制御部は、前記第２の画像を、前記第１の画像の前記第２の領域に対応する部分よりも大きく表示させる、請求項１に記載の画像処理装置。

【請求項3】

前記第１の画像のフレームレートは１～２４ｆｐｓである、請求項１に記載の画像処理装置。

【請求項4】

前記第２の画像のフレームレートは１２～６０ｆｐｓである、請求項１に記載の画像処理装置。

【請求項5】

前記イメージセンサが、各画素内にメモリー機能を持つことを特徴とする、請求項１に記載の画像処理装置。

【請求項6】

前記イメージセンサの前記画素から画素信号を読出すタイミングを制御する読出制御部を備え、
前記読出制御部は、前記第１の領域の画素から画素信号を読出す周期を、前記第２の領域の画素から画素信号を読出す周期よりも長くすることを特徴とする、請求項５に記載の画像処理装置。

【請求項7】

前記読出制御部は、前記第１の領域の画素から画素信号を読出すタイミングと、前記第２の領域の画素から画素信号を読出すタイミングとを異ならせることを特徴とする、請求項６に記載の画像処理装置。

【請求項8】

請求項１～７のいずれかに記載の画像処理装置と、
前記画像処理装置に接続された、人間の体壁に装着するための体腔内手術用カメラと、
を備える、カメラシステム。

【請求項9】

前記体腔内手術用カメラは、固定ユニットに装着された状態で用いられ、少なくとも前記イメージセンサを覆うレンズは、該レンズへの入射光が前記固定ユニットおよび前記体壁によって遮断されないように、前記体腔内に突出していることを特徴とする、請求項８に記載のカメラシステム。

【請求項10】

前記体腔内手術用カメラは、広角レンズを搭載していることを特徴とする請求項８に記載のカメラシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば腹腔鏡下で外科的手術を行う腹腔鏡手術などの体腔内手術用カメラに関するものである。

【背景技術】

【0002】

近年、腹腔鏡手術が多くの施設で行われるようになり、実施している各施設においても、腹腔鏡手術の占める割合が増えている。腹腔鏡手術は開腹手術と違って、患者を開腹することなく、検査や治療処置を行う低侵襲性の手術である。周知のように、腹腔鏡手術では、患者の臍部近傍やその周辺の腹壁に５～１５ｍｍ程度の小さな穴を複数箇所開けて（穿孔）、トロッカ（トラカールとも呼ぶ）を貫通させ（穿刺）、気腹ガス送気孔を通して、腹腔内に二酸化炭素ガスを注入して膨らませて（気腹）、このトロッカを介して内視鏡（手術用カメラ）や手術のための鉗子や電気メス、縫合用ステープラなどの処置具を挿入する。腹壁に取り付けられたトロッカの内部には、腹腔の気腹状態を維持するために気密弁が設けることもある。術者はこの内視鏡によって患部を観察しながら、これらの処置具を使って臓器の切開や縫合などの処置作業を行う。

【0003】

手術を始める際に、術者およびその手術に立ち会っている助手が、鉗子などを腹腔内に挿入する場合、通常、別の助手が、内視鏡を使って腹腔内に挿入された鉗子の先端部付近を映しながら、患部まで誘導する。また術者が臓器の切開や縫合を行う際には、内視鏡を患部の臓器に近づけて画像を撮影するために、視野が非常に狭くなってしまい、術者や助手なども含めて、この内視鏡で映し出されている狭い作業領域以外の腹腔内の状態（作業領域以外の処置具の動きなど）を把握することができない。そのため、前記のように鉗子を腹腔内に挿入する際や手術中に起きた内視鏡の視野の外での思わぬ出血や、ガーゼなどの残留物の回収忘れなどから、重大な医療事故を起こす危険性がある。

【0004】

このような問題の対策として、特許文献１～４では、上記のような患部を撮影する内視鏡に加えて、腹腔内全体を別のカメラで撮影する技術が報告されている。さらに特許文献５では、腹壁に設置して腹腔内を撮影するカメラを使って、腹腔内全体を撮像したデータから患部の画像を切り出して表示させるという撮像装置が報告されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第５１３１６６１号（２０１３年１月３０日発行）

【特許文献2】特許第５６６９６６６号（２０１５年２月１２日発行）

【特許文献3】特許第６７０３６８４号（２０２０年６月３日発行）

【特許文献4】特許第６７６４４９１号（２０２０年９月３０日発行）

【特許文献5】特開２０１９―１３０００５号公報（２０１９年８月８日公開）

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、前記特許文献１の技術では、内視鏡とは別に腹腔内全体を撮影する体内監視カメラを装着する場合、体外から挿入され該カメラからの映像信号ラインを内蔵した針の先端のコネクタ部と、該カメラのコネクタ部とを腹腔内で鉗子などを使って取り付けなければならず、さらに手術などの処置作業が終了して該カメラを回収する場合なども、それ相応の繊細な熟練作業を要するという問題がある。

【0007】

また前記特許文献２および３の技術は、前記特許文献１でのカメラの取り付けおよびカメラの回収を専用の導入回収専用具や支持管を使って簡素化するというものである。しかしながらこれら技術でも、腹腔内設置カメラの取り付けの際には、いずれも腹腔内のような直接目で見えない狭い空間で、該カメラとは別に挿入した内視鏡やＬＥＤなどの照明器具を使った作業となり、時間と労力を要するという問題がある。

【0008】

一方、前記特許文献４の技術は、少なくとも４本の脚部を備えた撮像装置（カメラ）を使って、腹腔内のような限られた空間のほぼ全ての方位を撮像するというものである。しかしながら、腹腔内に該カメラを投下し設置する場合、腹腔内の形状が複雑なために必ずしも一度で所望の場所、方向に設置できるとは限らない。その場合は、該カメラとは別に挿入した内視鏡やＬＥＤなどの照明器具を使って、その設置場所の確認や調整（再設置）が必要となる。一方、カメラを回収する場合も同じように、内視鏡や照明器具を使っての作業が必要である。さらに手術などの処置作業の最中に、設置した該カメラが作業の邪魔になったり、作業の振動によって該カメラが所望の位置から移動してしまう場合もあり、その都度設置し直す必要が出てくるという問題がある。

【0009】

さらに、前記特許文献１～４の技術に共通する問題点として、以下のような現象が発生する。患部をＬＥＤライトなどの照明器具で照射し、患部の画像を拡大して撮影する内視鏡に加えて、腹腔内全体を別のカメラで撮影する場合、腹腔内全体を撮影した映像は、患部に照射された光量が強いために、その箇所だけ白くぼやけてしまい（白飛び）、患部およびその周辺（術野）の画像が認識しづらくなるという問題が起こる。

【0010】

一方、前記特許文献５では、腹腔を撮像する撮像装置の設置、固定方法および画像表示システムであって、腹腔内全体を撮像した画像をディスプレイ装置（第１表示部５１）に表示させながら、その画像から一部の領域（患部）の画像を取り出して同時に別のディスプレイ装置（第２表示部５２）に表示させる技術について記載されている。しかしながら、第１表示部５１と第２表示部５２のフレームレートについては言及されておらず、仮に、両者のフレームレートが同じである場合、以下のような問題が生じる。フレームレートを小さくすると（例えば１０ｆｐｓ）、患部の画像が滑らかに表示されなくなるため、手術に支障を来すことになる。フレームレートを通常の動画と同程度にすると（例えば３０ｆｐｓ）、第１表示部５１および第２表示部５２に送信される画像のデータ量が大きくなるため、ネットワークや画像処理プロセッサへの負荷が大きくなる。

【0011】

本発明は、上記問題を鑑みてなされたものであり、手術に支障を来すことなく、かつ、ネットワークや画像処理プロセッサへの負荷を小さくすることができるカメラシステムを提供することを課題とする。

【課題を解決するための手段】

【0012】

上記課題を解決するために、本発明は以下の態様を含む。
項１．
人間の体壁に装着するための体腔内手術用カメラに搭載されたイメージセンサからの画像データを処理する画像処理装置であって、
前記イメージセンサが撮影した第１の領域内に、前記第１の領域よりも小さい第２の領域を設定する領域設定部と、
前記第１の領域に対応する第１の画像および前記第２の領域に対応する第２の画像を異なる表示領域に表示させる表示制御部と、
を備え、
前記第２の画像のフレームレートが前記第１の画像のフレームレートよりも大きいことを特徴とする、画像処理装置。
項２．
前記表示制御部は、前記第２の画像を、前記第１の画像の前記第２の領域に対応する部分よりも大きく表示させる、項１に記載の画像処理装置。
項３．
前記第１の画像のフレームレートは１～２４ｆｐｓである、項１または２に記載の画像処理装置。
項４．
前記第２の画像のフレームレートは１２～６０ｆｐｓである、項１または２のいずれかに記載の画像処理装置。
項５．
前記イメージセンサが、各画素内にメモリー機能を持つことを特徴とする、項１～４のいずれかに記載の画像処理装置。
項６．
前記イメージセンサの前記画素から画素信号を読出すタイミングを制御する読出制御部を備え、
前記読出制御部は、前記第１の領域の画素から画素信号を読出す周期を、前記第２の領域の画素から画素信号を読出す周期よりも長くすることを特徴とする、項５に記載の画像処理装置。
項７．
前記読出制御部は、前記第１の領域の画素から画素信号を読出すタイミングと、前記第２の領域の画素から画素信号を読出すタイミングとを異ならせることを特徴とする、項６に記載の画像処理装置。
項８．
項１～７のいずれかに記載の画像処理装置と、
前記画像処理装置に接続された、人間の体壁に装着するための体腔内手術用カメラと、
を備える、カメラシステム。
項９．
前記体腔内手術用カメラは、固定ユニットに装着された状態で用いられ、少なくとも前記イメージセンサを覆うレンズは、該レンズへの入射光が前記固定ユニットおよび前記体壁によって遮断されないように、前記体腔内に突出していることを特徴とする、項８に記載のカメラシステム。
項１０．
前記体腔内手術用カメラは、広角レンズを搭載していることを特徴とする項８または９に記載のカメラシステム。

【発明の効果】

【0013】

本発明によれば、手術に支障を来すことなく、かつ、ネットワークや画像処理プロセッサへの負荷を小さくすることができるカメラシステムを提供できる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態に係る体腔内手術用カメラを、腹腔の内部を撮影できるように、所望の形状に加工した固定ユニットを介して、腹壁に取り付けた模式的断面図である。

【図2】本発明の実施形態に係る体腔内手術用カメラを、広角レンズの先端側から見た模式的正面図である。

【図3】本発明の実施形態に係るカメラシステムの模式的概略図である。

【図4】カメラ、画像処理プロセッサ、撮像条件コントロール用パソコン、およびモニターの概略構成を示すブロック図である。

【図5】本発明の実施形態に係る体腔内手術用カメラで、腹腔の内部を撮影した場合の、第１の領域（腹腔内全体）および第２の領域（術野）の画像を模式的に描いた図である。

【図6】第１の領域、第２の領域、および第１の領域から第２の領域を除去した残りの領域を説明するための図である。

【図7】第１の領域および第２の領域の画素信号の読出しタイミングと、残りの領域および第２の領域の画素信号の蓄積時間を、時系列に模式的に表した図である。

【図8】第１の領域および第２の領域の画素信号読出し時に読出される画像（イメージ図）を、図７の読出しタイミング（ｔ１、ｔ２、…およびｕ１、ｕ２、…）に合わせて嵌め込んで模式的に表した図である。

【図9】（ａ）は、本発明の実施例に係る体腔内手術用カメラで、暗幕内の静物を撮影した場合の第１の領域を通常の読出し方法で撮影した映像例であり、（ｂ）は、第１の領域を１０ｆｐｓで撮影した撮像例であり、（ｃ）は、第１の領域内に設定された第２の領域を３０ｆｐｓで出力し、電子ズーム機能を用いて約３倍に拡大した撮像例である。

【発明を実施するための形態】

【0015】

以下、本発明の一実施形態について添付図面を参照して説明する。なお、以下の説明において、各図面は模式的なものであり、記載した構成の形状や材質、大きさなどや、各部分の厚みと幅との関係、それぞれの部分の厚みの比率などは、実際のものを反映させたものではなく、図面の明瞭化と簡略化のために適宜変更している。

【0016】

図１は、本実施形態に係る体腔内手術用カメラ（以下、単にカメラと表記）１を、腹腔２の内部を撮影できるように、所望の形状に加工した固定ユニットを介して、腹壁３に取り付けた模式的断面図である。カメラ１は、主に本体部８およびカメラ支持管９を備えており、本体部８の腹腔２側に、広角レンズ６、ＬＥＤ照明装置１０およびイメージセンサ１２を搭載している。

【0017】

図１は、固定ユニットとして、トロッカ４および創縁保護器具５を使った場合を示す。腹壁３を穿孔して取り付けた創縁保護器具５に、本体部８を取り付けたトロッカ４を貫通させることにより、カメラ１を腹壁３に設置する。トロッカ４の先端は、カメラ１が所望の位置に留まるよう、すなわち、本体部８の腹腔２側の広角レンズ６の画角が遮られず、かつ広角レンズ６の先端表面と腹腔２の内壁との距離が最小になるように、ストッパ７を設けている。カメラ１の本体部８およびカメラ支持管９をステンレス製にしておけば、洗浄、殺菌処理等により再利用できる。本体部８の腹腔２内に挿入される広角レンズ６を含む先端部を透明フィルム等で覆うことによって、使用後の管理が簡素化できる。さらに、本体部８の先端部には、腹腔２の内部を照射するためのＬＥＤ照明装置１０が装着されている。

【0018】

なお、固定ユニットとして、トロッカ４および創縁保護器具５を一体化したものを使っても良い。また、トロッカ４には、必要に応じて、腹腔２の二酸化炭素ガスの漏れを最小限に防ぐための逆止弁１１や、カメラ１で撮影された画像が腹腔２の揺れによってブレることを抑えるためのスタビライザ（図は省略）を設置しても良い。さらに、腹腔２内に二酸化炭素ガスを注入する際の気腹ガス送気孔（図は省略）を固定ユニットに取り付けても良い。カメラ支持管９の本体部８とは反対側の端部にケーブルコネクタが設けられており、信号線、電源線等のケーブル１３を電気的に接続できるようになっている。

【0019】

図２は、カメラ１を広角レンズ６の先端側から見た模式的正面図である。図中、イメージセンサ１２の周囲にＬＥＤ照明装置１０が等間隔で４個取り付けられている。数量は必要に応じて変更しても良く、また形状も円形以外の、例えばイメージセンサ１２の周囲を囲むようなリング状あるいは略リング状のものでも良い。図１に示すように、カメラ１をトロッカ４に装着する場合、トロッカ４の先端部に設けたストッパ７が、等間隔に取り付けられたＬＥＤ照明装置１０の間にはまることによって、カメラ１を所望の位置に固定できるようになっている。

【0020】

図３は、本実施形態に係るカメラシステム１００の模式的概略図であり、腹腔鏡手術を行う患者１４の腹壁３に、固定ユニット（トロッカ４および創縁保護器具５）でカメラ１を固定保持して、カメラ１に装着されたＬＥＤ照明装置１０で腹腔２の内部全体を照射して撮影している様子を表している。カメラシステム１００は主に、カメラ１、画像処理プロセッサ１９、撮像条件コントロール用パソコン２０、およびモニター２１、２２を備えている。図３では、腹壁３の別の位置に開けた穿孔から、トロッカ１５、１６を介して、２本の鉗子１７、１８が腹腔２内に挿入されている。カメラ１のイメージセンサ１２からの画像データは、ケーブル１３を介して画像処理プロセッサ１９に送信される。さらに画像処理プロセッサ１９は、撮像条件コントロール用パソコン２０、およびカメラ画像を見るためのモニター２１、２２に電気的に繋がれている。

【0021】

図４は、カメラ１、画像処理プロセッサ１９、撮像条件コントロール用パソコン２０、およびモニター２１、２２の概略構成を示すブロック図である。画像処理プロセッサ１９は、機能ブロックとして、表示制御部１９１と、読出制御部１９２とを備えている。撮像条件コントロール用パソコン２０は、機能ブロックとして、領域設定部２０１と、フレームレート設定部２０２とを備えている。画像処理プロセッサ１９および撮像条件コントロール用パソコン２０は、特許請求の範囲に記載の画像処理装置に対応しており、これらを単体のコンピュータとして構成してもよい。また、画像処理プロセッサ１９および撮像条件コントロール用パソコン２０の少なくとも一部の機能を、カメラ１に搭載してもよい。

【0022】

カメラ１に搭載されたイメージセンサ１２からは、イメージセンサ１２が撮影した第１の領域Ｒ１の画像データが画像処理プロセッサ１９に送信される。第１の領域Ｒ１は、イメージセンサ１２のほぼ全画素を使って撮影した腹腔２内の広領域である。領域設定部２０１は、ユーザの操作に応じて、第１の領域Ｒ１内に、第１の領域Ｒ１よりも小さい第２の領域Ｒ２を設定する。第２の領域Ｒ２は、イメージセンサ１２の一部の画素を使って撮影した腹腔２内の狭領域であり、本実施形態では、鉗子や電気メスなどが集中する患部２３を含む術野である。

【0023】

表示制御部１９１は、第１の領域Ｒ１に対応する第１の画像および第２の領域Ｒ２に対応する第２の画像を異なる表示領域に表示させる。本実施形態では、表示制御部１９１は、第１の画像をモニター２１に表示させ、第２の画像をモニター２２に表示させる。モニター２１は、主に手術助手が見るためのものであり、モニター２２は、術者および手術助手が見るためのものである。なお、第１の画像および第２の画像を同じモニターの異なる表示領域に表示させてもよい。

【0024】

さらに図３には、腹腔２内の、手術を施している患部２３を持った臓器２４と、鉗子や電気メスなどを腹腔２内に挿入する際などに起きた出血部２５や、手術後の残留物としてのガーゼ２６についても表示している。ここで注目すべきは、術者が見ているモニター２２には、患部２３を含む第２の領域Ｒ２の第２の画像は映っているが、患部２３を含む術野の外で発生している出血部２５やガーゼ２６の画像は映っていない。しかしながら、腹腔内の広領域である第１の領域Ｒ１に対応する第１の画像にはこれらの残留物（出血部２５やガーゼ２６）も映っており、第１の画像が表示されたモニター２１を見ている手術助手等は、前記残留物の存在を認識することができる。

【0025】

図５は、本実施形態のカメラ１で腹腔２の内部を撮影した場合の、第１の領域Ｒ１および第２の領域Ｒ２に対応する第１の画像Ｇ１および第２の画像Ｇ２を模式的に描いた図である。図５（ａ）は、撮像条件コントロール用パソコン２０の図示しないモニターに表示された画像であり、該モニターには、第１の領域Ｒ１が表示される。第１の領域Ｒ１には、患部２３の他、臓器２４の出血部２５やガーゼ２６が含まれる。撮像条件コントロール用パソコン２０の領域設定部２０１は、第１の領域Ｒ１内に破線枠で示す第２の領域Ｒ２を設定する。第２の領域Ｒ２は、主に患部２３が含まれる術野である。

【0026】

図５（ｂ）は、モニター２１に表示された第１の画像Ｇ１であり、図５（ｃ）は、モニター２２に表示された第２の画像Ｇ２である。術者に患部２３をより見え易くするために、画像処理プロセッサ１９の表示制御部１９１は、電子ズームにより、第２の画像Ｇ２を、第１の画像Ｇ１の第２の領域Ｒ２に対応する部分よりも大きく（約３倍程度に）表示させる。

【0027】

カメラ１に搭載した広角レンズ６の視野角が１００°で、その広角レンズ６から腹腔２内の臓器２４までの距離が約１５０ｍｍの場合、第１の領域Ｒ１はアスペクト比１６：９の場合、約３００ｍｍｘ１７０ｍｍとなり、腹腔２内のほぼ全領域を撮影することができる。

【0028】

術者は主に第２の画像Ｇ２（図５（ｃ））が映し出されているモニター２２の画面を見ながら手術などの処置作業を行う。術者以外の手術助手などは、モニター２１、２２に表示される第１の画像Ｇ１および第２の画像Ｇ２を適時見ながら、術者の処理作業が円滑に進むように適切なフォローを行う。また、術者から第２の領域Ｒ２の位置、サイズ変更、さらに画像の拡大（ズーム）の指示が出た場合、撮像条件コントロール用パソコン２０の領域設定部２０１によって、術者の指示に沿った位置、サイズに変更したり、画像を拡大することができる。

【0029】

術者が処置作業をしている間に、何らかの異常が発見された場合、例えば、手術中に患部２３および患部近傍（術野）から離れた場所（第２の画像Ｇ２が映し出されているモニター２２には映っていない場所）から、図５（ａ）に示すような出血部２５が発見された場合は、第１の画像Ｇ１を映し出しているモニター２１を見ている、主に術者以外の手術助手などは、直ちにその異常事態に気付くことができ、止血などの適切な処置を施すことができる。また、処理作業完了後に、腹腔２内全体をモニター２１で確認して、例えば、図５（ａ）に示すようなガーゼ２６を発見した場合は、鉗子を使って直ちに取り出すなどの適切な処置を施すことができる。処置作業中の画像を録画しておけば、処置作業の内容を確認したり、異常発生の原因を究明したりすることにも利用することができる。

【0030】

（画像信号処理の方法）
図６に示すように、第１の領域Ｒ１を、カメラ１に搭載されたイメージセンサ１２のほぼ全画素を使って撮影した広領域（領域ＡＢＣＤ）とし、第２の領域Ｒ２を、イメージセンサ１２の一部の画素を使って撮影した狭領域（領域ＥＦＧＨ）とし、領域Ｒ１’を、第１の領域Ｒ１から第２の領域Ｒ２を除去した残りの領域（図６では塗りつぶしで表示）とする。

【0031】

本実施形態では、イメージセンサ１２が、各画素内にメモリー機能を持つグローバルシャッター対応のＣＭＯＳイメージセンサであり、画像処理プロセッサ１９の読出制御部１９２は、イメージセンサ１２の前記画素から画像データを読出すタイミングを制御する。具体的には、読出制御部１９２は、第１の領域Ｒ１に対応する画素から画像データを読出す周期を、第２の領域Ｒ２に対応する画素から画像データを読出す周期よりも長くする。また、読出制御部１９２は、第１の領域Ｒ１に対応する画素から画像データを読出すタイミングと、第２の領域Ｒ２に対応する画素から画像データを読出すタイミングとを異ならせる。このような制御の一例を、図７および図８を参照して説明する。

【0032】

図７は、第１の領域Ｒ１および第２の領域Ｒ２の画素信号の読出しタイミングと、残りの領域Ｒ１’および第２の領域Ｒ２の画素信号の蓄積時間を、時系列に模式的に表した図である。ここでは一例として、第１の領域Ｒ１および第２の領域Ｒ２の画素信号の読出し速度（フレームレート）を、それぞれ１０ｆｐｓおよび３０ｆｐｓとし、第１の領域Ｒ１の画像データを１回読出している間に、第２の領域Ｒ２は３回読出している場合を想定している。また、図中の○印は領域Ｒ１’の画素から読出された画素信号（電荷）を表し、●印は第２の領域Ｒ２の画素から読出された画素信号を表している。

【0033】

時刻ｔ１で第１の領域Ｒ１の画素（フォトダイオード）から１フレーム分の画素信号を読出して、１／１０秒後のｔ２までの間に、読出した画素信号を画素データとして出力する。この出力が完了する時刻ｔ２までの間に、第１の領域Ｒ１の画素では次のフレームの画素信号の蓄積が開始される。続いて時刻ｔ２で、時刻ｔ１～ｔ２間で蓄積された第１の領域Ｒ１の画素の画素信号を読出して、１／１０秒後のｔ３までの間に画素データとして出力し、この出力が完了する時刻ｔ３までの間に、第１の領域Ｒ１の画素に画素信号が蓄積される。これを繰り返す。１／１０秒の間に蓄積される画素信号は、領域Ｒ１’では画素の容量分（図中では３０個の○印で表記）であるが、後述するように、第２の領域Ｒ２では本来画素に蓄積されている容量の１／６（図中では５個の●印で表記）である。すなわち、時刻ｔ１、ｔ２、…で第１の領域Ｒ１の画素から読出される画素信号は、図中では３０個の○印と５個の●印となる。

【0034】

一方、第２の領域Ｒ２の画素信号の読出しタイミングと画素データの出力については、図７のように、時刻ｔ１から１／６０秒後の時刻ｕ１で第２の領域Ｒ２の画素から１フレーム分の画素信号を読出して、１／３０秒後のｕ２までの間に読出した画素信号を画素データとして出力する。この出力が完了する時刻ｕ２までの間に、第２の領域Ｒ２の画素に次のフレームの画素信号の蓄積が開始される。続いて時刻ｕ２で、時刻ｕ１～ｕ２間で蓄積された第２の領域Ｒ２の画素の電荷を読出して、１／３０秒後のｕ３までの間に画素データとして出力し、この出力が完了する時刻ｕ３までの間に、第２の領域Ｒ２の画素に電荷が蓄積される。これを時刻ｕ３、ｕ４、…で繰り返す。

【0035】

第１の領域Ｒ１の画像信号読出し時（時刻ｔ１、ｔ２、…）に読出される第２の領域Ｒ２の画素信号量は、蓄積時間が例えば時刻ｕ３～ｔ２の１／６０秒であるため、１／１０秒の間に蓄積される画素信号の１／６となる。そのため、第１の領域Ｒ１の画像信号読出し時に読出される第２の領域Ｒ２の画素信号量は、第２の領域Ｒ２のみの画像信号読出し時（時刻ｕ１、ｕ２、…）に読出される画素信号量（蓄積時間１／３０秒）の半分であり、第２の領域Ｒ２の輝度は周囲（領域Ｒ１’）の１／６に低減する。これは、例えば、時刻ｔ２の時点で領域Ｒ１’の画素に蓄積されている電荷量は、時刻ｔ１から時刻ｔ２の間の１／１０秒間に光電変換されたものであるが、第２の領域Ｒ２の画素からは、時刻ｔ１から時刻ｔ２の間に、既に時刻ｕ１、ｕ２、ｕ３で１／３０秒ごとに電荷が３回読出されているので、時刻ｔ２の時点で第２の領域Ｒ２の画素に蓄積されている電荷量は、時刻ｕ３から１／６０秒後までの間に光電変換されたものとなるためである。ただ現実的には、腹腔鏡手術を行っている術者は、第２の領域Ｒ２の画像（術野）を拡大して見ているので、第１の領域Ｒ１の画像（腹腔内全体）の中の第２の領域Ｒ２の画像は少々暗くても実用上、支障はない。ただ第２の領域Ｒ２の画像の輝度低減が気になるようであれば、第１の領域Ｒ１の画像データ出力時にゲインを上げる操作を実施しても良い。

【0036】

時刻ｔ２の直後の第２の領域Ｒ２の画素信号読出し時（時刻ｕ４）に読出される画像信号量も、時刻ｕ４の時点で第２の領域Ｒ２の画素に蓄積されている電荷量は、時刻ｔ２から時刻ｕ４の間の１／６０秒間に光電変換されたものとなり（時刻ｕ３から時刻ｔ２の間の１／６０秒間に光電変換された第２の領域Ｒ２の画素に蓄積されている電荷は、時刻ｔ２の時点ですでに第１の領域Ｒ１の信号として読出されているため）、時刻ｕ３で読出される画素信号の半分になる。しかし、第２の領域Ｒ２のフレーム中、輝度が半分になるフレームは全フレームの１／３であるため、術者への見え方に影響はない。

【0037】

図７の中で、第２の領域Ｒ２の画像信号読出し、データ出力動作を時系列で追っていくと、下記のようになる。
（１） 画素信号（７）読出し：時刻ｔ１で開始
（２） 画素信号（３）読出し：時刻ｕ１（時刻ｔ１から１／６０秒後）で開始
（３） （２）で読出した画素データ出力：時刻ｕ２で完了
（４） 画素信号（５）読出し：時刻ｕ２（時刻ｕ１から１／３０秒後）で開始
（５） （４）で読出した画素データ出力：時刻ｕ３で完了
（６） 画素信号（８）読出し：時刻ｕ３（時刻ｕ２から１／３０秒後）で開始
（７） （１）で読出した画素データ出力：時刻ｔ２で完了
（８） （６）で読出した画素データ出力：時刻ｕ４で完了

【0038】

カメラ１に搭載されたイメージセンサ１２が、画素内にメモリー機能を持つイメージセンサ（例えば、グローバルシャッター対応のＣＭＯＳイメージセンサ）である場合、時刻ｔ１で第１の領域Ｒ１の画素から読出された画素信号は、一旦前記メモリーに転送され、時刻ｔ１から１／１０秒の間に画素データが出力される。一方、時刻ｕ１、ｕ２、ｕ３で１／３０秒ごとに第２の領域Ｒ２の画素から読出された画素信号も（上記（２）、（４）、（６））、同様に前記メモリーに転送され、それぞれ１／３０秒間に画像データ出力される（上記（３）、（５）、（８））。

【0039】

図８は、第１の領域Ｒ１および第２の領域Ｒ２の画素信号読出し時に読出される画像（イメージ図）を、図７の読出しタイミング（ｔ１、ｔ２、…、およびｕ１、ｕ２、…）に合わせて嵌め込んで模式的に表した図である。図７および図８では、第１の領域Ｒ１および第２の領域Ｒ２のフレームレートを、１０ｆｐｓおよび３０ｆｐｓとしたが、必ずしもこれに限定されるものではない。第２の領域Ｒ２の画像のフレームレートが、第１の領域Ｒ１の画像のフレームレートよりも大きければ良く、第１の領域Ｒ１の画像データを読出してデータ出力している期間内に、第２の領域Ｒ２の画像データを少なくとも１回以上読出してデータ出力するのであれば良い。すなわち、読出制御部１９２は、第１の領域Ｒ１の画素から画素信号を読出す周期を、第２の領域Ｒ２の画素から画素信号を読出す周期よりも長くすれば良い。これにより、第１の領域Ｒ１の画像のフレームレートが小さいため、第１の領域Ｒ１および第２の領域Ｒ２の各画像のフレームレートがどちらも３０ｆｐｓである場合に比べ、ネットワークや画像処理プロセッサ１９への負荷を低減することができる。また、第２の領域Ｒ２の画像のフレームレートが大きいため、手術に支障を来すことはない。よって、手術に支障を来すことなく、かつ、ネットワークや画像処理プロセッサへの負荷を小さくすることができる。

【0040】

第１の領域Ｒ１の第２の領域Ｒ２以外の領域は、出血や残留物の有無を確認できればよいため、第１の領域Ｒ１の画像のフレームレートは１～２４ｆｐｓであることが望ましい。一方、第２の領域Ｒ２には患部が含まれるため、第２の領域Ｒ２の画像のフレームレートは１２～６０ｆｐｓであることが望ましい。出来れば、読出制御部１９２は、第１の領域Ｒ１の画素から画素信号を読出すタイミングと、第２の領域Ｒ２の画素から画素信号を読出すタイミングとを異ならせることが望ましい。すなわち、読出制御部１９２は、第１の領域Ｒ１と第２の領域Ｒ２の画像データが同時に出力されることのないように設定されることが望ましい。

【0041】

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。

【実施例0042】

以下、本発明の実施例について説明するが、ここでは本技術であるイメージセンサから画像データを読出してデータ出力する場合の撮像例を挙げることが目的であるため、被写体としては実際の腹腔鏡手術での撮影例ではなく、暗幕で囲んだ空間に果物を配置した静物であることを付記しておく。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

【0043】

本実施例で用いられるカメラは、図１に示すカメラ１と同じ構成である。カメラ１の本体部８に組み込まれているカメラモジュールには、グローバルシャッター対応の２／３型５ＭＣＭＯＳセンサが搭載されており、本体部８の腹腔２側には、超小型のＬＥＤ照明装置１０およびイメージセンサ１２が取り付けてある。イメージセンサ１２から被写体である静物までの距離は約１８０ｍｍである。また該カメラモジュールには、光学式手振れ補正ＯＩＳ（Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚｅｒ）が組み込まれており、視野角８６°の広角レンズ６が装着されている。該カメラモジュールから取り出された信号は、図３に示す画像処理プロセッサ１９を介して撮像条件コントロール用パソコン２０と２台のモニター２１、２２に送信され、被写体の映像を確認できるようになっている。

【0044】

本実施例で撮影した映像を図９に示す。図９（ａ）は、アスペクト比１６：９のモニターに表示した場合に約２８０ｍｍｘ１６０ｍｍとなるように、広領域の第１の領域Ｒ１を通常の読出し方法で撮影した映像例である。図９（ｂ）は、広領域の第１の領域Ｒ１をアスペクト比１６：９で水平画素数１，９２０画素を使って１０ｆｐｓで撮影した撮像例であり、図９（ｃ）は、広領域の第１の領域Ｒ１内に設定された狭領域の第２の領域Ｒ２をアスペクト比１６：９で水平画素数６４０画素を使って３０ｆｐｓで出力し、電子ズーム機能を用いて約３倍に拡大した撮像例である。

【0045】

図９（ｂ）の第１の領域Ｒ１の撮像例では、白の破線で囲んだ領域（第２の領域Ｒ２）の画像が、周囲（領域Ｒ１’）よりも暗いのは、前述したように、第２の領域Ｒ２の画素から読出される画素信号の量が領域Ｒ１’の１／６しかないためであるが、第２の領域Ｒ２の画像はもう一方のモニターで確認できるので、実用上問題はなく、必要とあれば第１の領域Ｒ１の画像データ出力時のゲインを上げても良い。

【0046】

また腹腔鏡手術においては、図３に示すように、トロッカ１５、１６を介して腹腔２内に挿入された鉗子１７、１８や電気メス、縫合用ステープラなどの処置具が移動することによって、腹壁３が振動し、カメラ１の画像にブレが生じることがある。特に拡大した映像ではブレの影響は大きくなる。本実施例では、カメラモジュールに光学式手振れ補正ＯＩＳ（Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚｅｒ）を組み込んでいるので、該振動の影響を抑えることができる。また、前記ブレを抑えるためのスタビライザ（図は省略）を設置しても良く、さらにカメラ１を固定している固定ユニットを、上部から吊り下げられる器具を設けて、カメラ１を安定に設置できるような処置を取っても良い。

【0047】

［付記事項］
以上記載した実施例では、撮像条件コントロール用パソコン２０を電気的に繋いでいるが、代わりにタッチパネルで操作できるタブレットやスマートフォンを無線で繋いで、第２の領域Ｒ２の位置、サイズの変更や電子ズーム操作を遠隔で行っても良い。

【産業上の利用可能性】

【0048】

上記の実施形態では、腹腔内に二酸化炭素ガスを注入して行う従来手技の腹腔鏡手術を例に挙げて以下に説明したが、本発明は、上記の実施形態に限定されるものではなく、腹腔鏡手術以外の胸腔鏡手術用カメラや、固定ユニットを変更することによって、子宮頸がん検査に使われるコルポスコープ、手術用ヘッドマウントカメラなどの医療用カメラや、さらに建設現場などで使われる業務用ウェアラブルカメラなどにも適用することができる。例えば、体壁に設置するだけでなく、カメラを装着する際に用いる固定ユニットを業務用ウェアラブルカメラとして使えるように変更すれば、現場の広領域の映像だけでなく、注目したい領域を絞って、電子ズームで拡大するなどを遠隔操作で行うことによって、見落としがちな周囲の状況を把握しながら、作業を円滑に進めることができる。

【符号の説明】

【0049】

１：体腔内手術用カメラ
２：腹腔
３：腹壁
４、１５、１６：トロッカ
５：創縁保護器具
６：広角レンズ
７：ストッパ
８：本体部
９：カメラ支持管
１０：ＬＥＤ照明装置
１１：逆止弁
１２：イメージセンサ
１３：ケーブル
１４：患者
１７、１８：鉗子
１９：画像処理プロセッサ
１９１：表示制御部
１９２：読出制御部
２０：撮像条件コントロール用パソコン
２０１：領域設定部
２０２：フレームレート設定部
２１、２２：モニター
２３：患部
２４：臓器
２５：出血部
２６：ガーゼ
１００：カメラシステム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2023-11-07

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【請求項1】

人間の体壁に装着するための体腔内手術用カメラに搭載されたイメージセンサからの画像データを処理する画像処理装置であって、
前記イメージセンサが撮影した第１の領域内に、前記第１の領域よりも小さい第２の領域を設定する領域設定部と、
前記第１の領域に対応する第１の画像および前記第２の領域に対応する第２の画像を異なる表示領域に表示させる表示制御部と、
を備え、
前記第２の画像のフレームレートが前記第１の画像のフレームレートよりも大きく、
前記イメージセンサが、各画素内にメモリー機能を持ち、
前記画像処理装置は、
前記イメージセンサの前記画素から画素信号を読出すタイミングを制御する読出制御部を備え、
前記読出制御部は、前記第１の領域の画素から画素信号を読出す周期を、前記第２の領域の画素から画素信号を読出す周期よりも長くするとともに、前記第１の領域の画素から画素信号を読出すタイミングと、前記第２の領域の画素から画素信号を読出すタイミングとを異ならせることを特徴とする、画像処理装置。

【請求項2】

前記表示制御部は、前記第２の画像を、前記第１の画像の前記第２の領域に対応する部分よりも大きく表示させる、請求項１に記載の画像処理装置。

【請求項3】

前記第１の画像のフレームレートは１～２４ｆｐｓである、請求項１に記載の画像処理装置。

【請求項4】

前記第２の画像のフレームレートは１２～６０ｆｐｓである、請求項１に記載の画像処理装置。

【請求項5】

請求項１～４のいずれかに記載の画像処理装置と、
前記画像処理装置に接続された、人間の体壁に装着するための体腔内手術用カメラと、を備える、カメラシステム。

【請求項6】

前記体腔内手術用カメラは、固定ユニットに装着された状態で用いられ、少なくとも前記イメージセンサを覆うレンズは、該レンズへの入射光が前記固定ユニットおよび前記体壁によって遮断されないように、前記体腔内に突出していることを特徴とする、請求項５に記載のカメラシステム。

【請求項7】

前記体腔内手術用カメラは、広角レンズを搭載していることを特徴とする請求項５に記載のカメラシステム。