ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2022-20501医療用アーム制御システム、医療用アーム制御方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022020501
(43)【公開日】2022-02-01
(54)【発明の名称】医療用アーム制御システム、医療用アーム制御方法及びプログラム
(51)【国際特許分類】
A61B 1/00 20060101AFI20220125BHJP
A61B 1/045 20060101ALI20220125BHJP
【ＦＩ】
A61B1/00 655
A61B1/00 522
A61B1/00 553
A61B1/00 735
A61B1/045 610
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2020124035
(22)【出願日】2020-07-20
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】西村 直樹
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161AA24
4C161BB06
4C161CC06
4C161DD01
4C161FF02
4C161GG13
4C161HH52
4C161JJ13
4C161JJ18
4C161LL01
4C161NN01
4C161PP12
4C161PP13
4C161RR06
4C161SS07
(57)【要約】
【課題】画像の視認性をより好適にすることができる、医療用アーム制御システムを提供する。
【解決手段】アーム部に支持された医療用観察装置による第１の画像から第２の画像を切り出す切り出し範囲を設定する範囲設定部と、前記第１の画像の光量分布及び前記第２の画像の光量分布を取得する光量取得部と、前記医療用観察装置の被写体と当該医療用観察装置との間の距離を示す距離情報を取得する距離取得部と、前記第１及び第２の画像の光量分布と、前記距離情報とに基づき、前記アーム部を制御するアーム制御部とを備える、医療用アーム制御システムを提供する。
【選択図】図５
【解決手段】アーム部に支持された医療用観察装置による第１の画像から第２の画像を切り出す切り出し範囲を設定する範囲設定部と、前記第１の画像の光量分布及び前記第２の画像の光量分布を取得する光量取得部と、前記医療用観察装置の被写体と当該医療用観察装置との間の距離を示す距離情報を取得する距離取得部と、前記第１及び第２の画像の光量分布と、前記距離情報とに基づき、前記アーム部を制御するアーム制御部とを備える、医療用アーム制御システムを提供する。
【選択図】図５
【特許請求の範囲】
【請求項1】
アーム部に支持された医療用観察装置による第１の画像から第２の画像を切り出す切り出し範囲を設定する範囲設定部と、
前記第１の画像の光量分布及び前記第２の画像の光量分布を取得する光量取得部と、
前記医療用観察装置の被写体と当該医療用観察装置との間の距離を示す距離情報を取得する距離取得部と、
前記第１及び第２の画像の光量分布と、前記距離情報とに基づき、前記アーム部を制御するアーム制御部と、
を備える、医療用アーム制御システム。
前記第１の画像の光量分布及び前記第２の画像の光量分布を取得する光量取得部と、
前記医療用観察装置の被写体と当該医療用観察装置との間の距離を示す距離情報を取得する距離取得部と、
前記第１及び第２の画像の光量分布と、前記距離情報とに基づき、前記アーム部を制御するアーム制御部と、
を備える、医療用アーム制御システム。
【請求項2】
前記光量取得部は、前記第１の画像の光量分布から前記第２の画像の光量分布を取得する、請求項１に記載の医療用アーム制御システム。
【請求項3】
前記第１及び第２の画像の光量分布と、前記距離情報とに基づき、前記医療用観察装置のイメージセンサのゲインを制御するセンサ制御部と、
をさらに備える、請求項１に記載の医療用アーム制御システム。
をさらに備える、請求項１に記載の医療用アーム制御システム。
【請求項4】
前記第２の画像の画角は、前記第１の画像の画角に比べて狭い、請求項１に記載の医療用アーム制御システム。
【請求項5】
前記医療用観察装置は広角内視鏡である、請求項１に記載の医療用アーム制御システム。
【請求項6】
前記医療用観察装置は、ステレオ内視鏡であり、
前記距離取得部は、前記ステレオ内視鏡による２つの前記第１の画像に基づいて、前記距離情報を取得する、
請求項１に記載の医療用アーム制御システム。
前記距離取得部は、前記ステレオ内視鏡による２つの前記第１の画像に基づいて、前記距離情報を取得する、
請求項１に記載の医療用アーム制御システム。
【請求項7】
測距装置をさらに備える、
請求項１に記載の医療用アーム制御システム。
請求項１に記載の医療用アーム制御システム。
【請求項8】
前記測距装置は、ＴｏＦ方式又はストラクチャードライト方式を用いて測距を行う、請求項７に記載の医療用アーム制御システム。
【請求項9】
前記第１の画像の歪を補正する補正部をさらに備える、請求項１に記載の医療用アーム制御システム。
【請求項10】
前記医療用観察装置のフォーカスを自動調整するフォーカス調整部をさらに備える、請求項１に記載の医療用アーム制御システム。
【請求項11】
前記第２の画像の倍率を自動調整する倍率調整部をさらに備える、請求項１に記載の医療用アーム制御システム。
【請求項12】
前記アーム部の姿勢を認識する姿勢認識部をさらに備える、
請求項１に記載の医療用アーム制御システム。
請求項１に記載の医療用アーム制御システム。
【請求項13】
前記姿勢認識部は、前記第１の画像に基づいて、前記アーム部の姿勢を認識する、
請求項１２に記載の医療用アーム制御システム。
請求項１２に記載の医療用アーム制御システム。
【請求項14】
前記姿勢認識部は、前記アーム部に設けられた慣性計測装置からのセンシングデータ、又は、前記アーム部に含まれる複数の要素の長さ及び角度に基づいて、前記アーム部の姿勢を認識する、請求項１２に記載の医療用アーム制御システム。
【請求項15】
前記第１の画像に基づいて、医療用器具を認識する器具認識部をさらに備える、請求項１２に記載の医療用アーム制御システム。
【請求項16】
前記範囲設定部は、前記距離情報、前記アーム部の姿勢及び前記医療用器具のうちの少なくとも１つの情報に基づいて、前記第２の画像を切り出す前記切り出し範囲を設定する、請求項１５に記載の医療用アーム制御システム。
【請求項17】
前記アーム部をさらに備える、請求項１に記載の医療用アーム制御システム。
【請求項18】
医療用アーム制御装置により、
アーム部に支持された医療用観察装置による第１の画像から第２の画像を切り出す切り出し範囲を設定し、
前記第１の画像の光量分布及び前記第２の画像の光量分布を取得し、
前記医療用観察装置の被写体と当該医療用観察装置との間の距離を示す距離情報を取得し、
前記第１及び第２の画像の光量分布と、前記距離情報とに基づき、前記アーム部を制御する、
ことを含む、
医療用アーム制御方法。
アーム部に支持された医療用観察装置による第１の画像から第２の画像を切り出す切り出し範囲を設定し、
前記第１の画像の光量分布及び前記第２の画像の光量分布を取得し、
前記医療用観察装置の被写体と当該医療用観察装置との間の距離を示す距離情報を取得し、
前記第１及び第２の画像の光量分布と、前記距離情報とに基づき、前記アーム部を制御する、
ことを含む、
医療用アーム制御方法。
【請求項19】
コンピュータを、
アーム部に支持された医療用観察装置による第１の画像から第２の画像を切り出す切り出し範囲を設定する範囲設定部と、
前記第１の画像の光量分布及び前記第２の画像の光量分布を取得する光量取得部と、
前記医療用観察装置の被写体と当該医療用観察装置との間の距離を示す距離情報を取得する距離取得部と、
前記第１及び第２の画像の光量分布と、前記距離情報とに基づき、前記アーム部を制御するアーム制御部と、
として機能させる、プログラム。
アーム部に支持された医療用観察装置による第１の画像から第２の画像を切り出す切り出し範囲を設定する範囲設定部と、
前記第１の画像の光量分布及び前記第２の画像の光量分布を取得する光量取得部と、
前記医療用観察装置の被写体と当該医療用観察装置との間の距離を示す距離情報を取得する距離取得部と、
前記第１及び第２の画像の光量分布と、前記距離情報とに基づき、前記アーム部を制御するアーム制御部と、
として機能させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医療用アーム制御システム、医療用アーム制御方法及びプログラムに関する。
【背景技術】
【0002】
近年、内視鏡手術においては、内視鏡を用いて患者の腹腔内を撮像し、術者は、内視鏡が撮像する撮像画像をディスプレイで確認しながら、手術を行っている。例えば、下記特許文献１及び特許文献２には、内視鏡の撮像条件を好適に調整する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１３－１４４００８号公報
【特許文献2】特開２０１３－０４２９９８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の技術では、内視鏡によって得られた画像や、術者が所望する、当該画像の一部の視認性をより向上させることには限界があった。そこで、本開示では画像の視認性をより好適にすることができる、医療用アーム制御システム、医療用アーム制御方法及びプログラムを提案する。
【課題を解決するための手段】
【0005】
本開示によれば、アーム部に支持された医療用観察装置による第１の画像から第２の画像を切り出す切り出し範囲を設定する範囲設定部と、前記第１の画像の光量分布及び前記第２の画像の光量分布を取得する光量取得部と、前記医療用観察装置の被写体と当該医療用観察装置との間の距離を示す距離情報を取得する距離取得部と、前記第１及び第２の画像の光量分布と、前記距離情報とに基づき、前記アーム部を制御するアーム制御部とを備える、医療用アーム制御システムが提供される。
【0006】
また、本開示によれば、医療用アーム制御装置により、アーム部に支持された医療用観察装置による第１の画像から第２の画像を切り出す切り出し範囲を設定し、前記第１の画像の光量分布及び前記第２の画像の光量分布を取得し、前記医療用観察装置の被写体と当該医療用観察装置との間の距離を示す距離情報を取得し、前記第１及び第２の画像の光量分布と、前記距離情報とに基づき、前記アーム部を制御することを含む、医療用アーム制御方法が提供される。
【0007】
さらに、本開示によれば、コンピュータを、アーム部に支持された医療用観察装置による第１の画像から第２の画像を切り出す切り出し範囲を設定する範囲設定部と、前記第１の画像の光量分布及び前記第２の画像の光量分布を取得する光量取得部と、前記医療用観察装置の被写体と当該医療用観察装置との間の距離を示す距離情報を取得する距離取得部と、前記第１及び第２の画像の光量分布と、前記距離情報とに基づき、前記アーム部を制御するアーム制御部と、として機能させる、プログラムが提供される。
【図面の簡単な説明】
【0008】
【図1】本開示に係る技術が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
【図3】本開示の実施形態に係るステレオ内視鏡の構成を示す模式図である。
【図4】本開示の実施形態に係る医療用観察システムの構成の一例を示すブロック図である。
【図5】本開示の第１の実施形態に係る制御システム２の構成の一例を示すブロック図である。
【図6】本開示の第１の実施形態に係る制御方法のフローチャートである。
【図7】本開示の第１の実施形態を説明するための説明図である。
【図8】本開示の第１の実施形態における制御方法を説明するためのグラフ（その１）である。
【図9】本開示の第１の実施形態における制御方法を説明するためのグラフ（その２）である。
【図10】本開示の第１の実施形態における制御方法を説明するためのグラフ（その３）である。
【図11】本開示の第１の実施形態における制御方法を説明するためのグラフ（その４）である。
【図12】本開示の第２の実施形態に係る制御方法のフローチャートである。
【図13】本開示の第２の実施形態を説明するための説明図である。
【図14】本開示の第２の実施形態における制御方法を説明するためのグラフ（その１）である。
【図15】本開示の第２の実施形態における制御方法を説明するためのグラフ（その２）である。
【図16】制御部の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0009】
以下に、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、本明細書及び図面において、実質的に同一又は類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、実質的に同一又は類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【0010】
なお、説明は以下の順序で行うものとする。
１． 内視鏡手術システム５０００の構成例
１．１ 内視鏡手術システム５０００の概略的な構成
１．２ 支持アーム装置５０２７の詳細構成例
１．３ 光源装置５０４３の詳細構成例
１．４ カメラヘッド５００５及びＣＣＵ５０３９の詳細構成例
１．５ 内視鏡５００１の構成例
２． 医療用観察システム
３． 本開示の実施形態を創作するに至る背景
４． 第１の実施形態
４．１ 制御システム２の詳細構成例
４．２ ステレオ内視鏡１００の詳細構成例
４．３ 制御部２００の詳細構成例
４．４ 制御方法
５． 第２の実施形態
５．１ 制御システム２、ステレオ内視鏡１００及び制御部２００の詳細構成例
５．２ 制御方法
６． まとめ
７． ハードウェア構成
８． 補足
１． 内視鏡手術システム５０００の構成例
１．１ 内視鏡手術システム５０００の概略的な構成
１．２ 支持アーム装置５０２７の詳細構成例
１．３ 光源装置５０４３の詳細構成例
１．４ カメラヘッド５００５及びＣＣＵ５０３９の詳細構成例
１．５ 内視鏡５００１の構成例
２． 医療用観察システム
３． 本開示の実施形態を創作するに至る背景
４． 第１の実施形態
４．１ 制御システム２の詳細構成例
４．２ ステレオ内視鏡１００の詳細構成例
４．３ 制御部２００の詳細構成例
４．４ 制御方法
５． 第２の実施形態
５．１ 制御システム２、ステレオ内視鏡１００及び制御部２００の詳細構成例
５．２ 制御方法
６． まとめ
７． ハードウェア構成
８． 補足
【0011】
＜＜１． 内視鏡手術システム５０００の構成例＞＞
＜１．１ 内視鏡手術システム５０００の概略的な構成＞
まず、本開示の実施形態の詳細を説明する前に、図１を参照して、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成について説明する。図１は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図１に示すように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７とを有する。以下、内視鏡手術システム５０００の詳細について、順次説明する。
＜１．１ 内視鏡手術システム５０００の概略的な構成＞
まず、本開示の実施形態の詳細を説明する前に、図１を参照して、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成について説明する。図１は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図１に示すように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７とを有する。以下、内視鏡手術システム５０００の詳細について、順次説明する。
【0012】
（術具５０１７）
内視鏡手術では、腹壁を切って開腹する代わりに、例えば、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図１に示す例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図１に示す術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具を挙げることができる。
内視鏡手術では、腹壁を切って開腹する代わりに、例えば、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図１に示す例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図１に示す術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具を挙げることができる。
【0013】
（支持アーム装置５０２７）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を有する。図１に示す例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。そして、アーム部５０３１によって内視鏡５００１が支持され、内視鏡５００１の位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を有する。図１に示す例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。そして、アーム部５０３１によって内視鏡５００１が支持され、内視鏡５００１の位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
【0014】
（内視鏡５００１）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５とから構成される。図１に示す例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよく、本開示の実施形態においては、特に限定されるものではない。
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５とから構成される。図１に示す例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよく、本開示の実施形態においては、特に限定されるものではない。
【0015】
鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、本開示の実施形態においては、内視鏡５００１は、前方直視鏡であってもよいし、斜視鏡又は側視鏡であってもよく、特に限定されるものではない。
【0016】
カメラヘッド５００５の内部には光学系及びイメージセンサが設けられており、観察対象からの反射光（観察光）は当該光学系によって当該イメージセンサに集光される。当該イメージセンサによって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画素信号が生成される。当該画素信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、拡大倍率及び焦点距離（フォーカス）を調整する機能が搭載される。
【0017】
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５にはイメージセンサが複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数のイメージセンサの観察視野のそれぞれに光を導くために、リレー光学系が複数系統設けられることとなる。
【0018】
（カートに搭載される各種の装置について）
まず、表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画素信号に対して画像処理が施されて生成された画像信号に基づく画像を表示する。内視鏡５００１が、例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は、３Ｄ表示に対応したものである場合には、表示装置５０４１として、それぞれに対応する、高解像度の表示が可能なもの、及び／又は、３Ｄ表示可能なものが用いられる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられていてもよい。
まず、表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画素信号に対して画像処理が施されて生成された画像信号に基づく画像を表示する。内視鏡５００１が、例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は、３Ｄ表示に対応したものである場合には、表示装置５０４１として、それぞれに対応する、高解像度の表示が可能なもの、及び／又は、３Ｄ表示可能なものが用いられる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられていてもよい。
【0019】
また、内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像は、当該表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行うことができる。なお、図示を省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持されてもよい。
【0020】
また、ＣＣＵ５０３９は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御することができる。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画素信号に対して、例えば現像処理（デモザイク処理）等の、当該画素信号に基づく画像を表示するための各種の画像処理を施す。さらに、ＣＣＵ５０３９は、当該画像処理を施して生成された画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号は、倍率や焦点距離等、撮像条件に関する情報を含むことができる。
【0021】
光源装置５０４３は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。
【0022】
アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。
【0023】
入力装置５０４７は、内視鏡手術システム５０００に対する入力インターフェイスである。術者５０６７は、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、術者５０６７は、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、術者５０６７は、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力することができる。なお、入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７、及び／又は、レバー等が適用され得る。例えば、入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられていてもよい。
【0024】
あるいは、入力装置５０４７は、例えば、メガネ型のウェアラブルデバイスやＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等の、術者５０６７によって装着されるデバイスであってもよい。この場合、これらのデバイスによって検出される術者５０６７のジェスチャや視線に応じて、各種の入力が行われることとなる。また、入力装置５０４７は、術者５０６７の動きを検出可能なカメラを含むことができ、当該カメラによって撮像された画像から検出される術者５０６７のジェスチャや視線に応じて、各種の入力が行われてもよい。さらに、入力装置５０４７は、術者５０６７の声を収音可能なマイクロフォンを含むことができ、当該マイクロフォンを介して音声によって各種の入力が行われてもよい。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、術者５０６７は、所持している術具から手を離すことなく機器を操作することが可能となるため、術者５０６７の利便性が向上する。
【0025】
処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者５０６７の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【0026】
＜１．２ 支持アーム装置５０２７の詳細構成例＞
さらに、支持アーム装置５０２７の詳細構成の一例について説明する。支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１とを有する。図１に示す例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂとから構成されているが、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。具体的には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
さらに、支持アーム装置５０２７の詳細構成の一例について説明する。支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１とを有する。図１に示す例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂとから構成されているが、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。具体的には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
【0027】
関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられてもよく、例えば、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。
【0028】
例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１（スレーブ）は、手術室から離れた場所または手術室内に設置される入力装置５０４７（マスターコンソール）を介して術者５０６７によって遠隔操作され得る。
【0029】
ここで、一般的には、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、本開示の実施形態においては、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
【0030】
なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。
【0031】
＜１．３ 光源装置５０４３の詳細構成例＞
次に、光源装置５０４３の詳細構成の一例について説明する。光源装置５０４３は、内視鏡５００１が術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５のイメージセンサの駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該イメージセンサにカラーフィルタを設けなくても、カラー画像を得ることができる。
次に、光源装置５０４３の詳細構成の一例について説明する。光源装置５０４３は、内視鏡５００１が術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５のイメージセンサの駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該イメージセンサにカラーフィルタを設けなくても、カラー画像を得ることができる。
【0032】
また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５のイメージセンサの駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白飛びのない高ダイナミックレンジの画像を生成することができる。
【0033】
また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又は、インドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光、及び／又は、励起光を供給可能に構成され得る。
【0034】
＜１．４ カメラヘッド５００５及びＣＣＵ５０３９の詳細構成例＞
次に、図２を参照して、カメラヘッド５００５及びＣＣＵ５０３９の詳細構成の一例について説明する。図２は、図１に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。
次に、図２を参照して、カメラヘッド５００５及びＣＣＵ５０３９の詳細構成の一例について説明する。図２は、図１に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。
【0035】
詳細には、図２に示すように、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５とを有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３とを有する。そして、カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。
【0036】
まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９のイメージセンサの受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の拡大倍率及び焦点（フォーカス）の調整のため、その光軸上の位置が移動可能に構成される。
【0037】
撮像部５００９はイメージセンサによって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該イメージセンサの受光面に集光され、光電変換によって、観察像に対応した画素信号が生成される。撮像部５００９によって生成された画素信号は、通信部５０１３に提供される。
【0038】
撮像部５００９を構成するイメージセンサとしては、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該イメージセンサとしては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
【0039】
また、撮像部５００９を構成するイメージセンサは、例えば、３Ｄ表示に対応する右目用及び左目用の画素信号をそれぞれ取得するための１対のイメージセンサを有するように構成されてもよい（ステレオ内視鏡）。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することや、生体組織までの距離を把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各イメージセンサに対応して、レンズユニット５００７も複数系統設けられてもよい。
【0040】
また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。
【0041】
駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。
【0042】
通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画素信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画素信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画素信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。
【0043】
また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、及び／又は、撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。
【0044】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画素信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）機能が内視鏡５００１に搭載される。
【0045】
カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報、及び／又は、撮像時の露光を指定する旨の情報に基づいて、撮像部５００９のイメージセンサの駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の拡大倍率及び焦点（フォーカス）を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、さらに、鏡筒５００３やカメラヘッド５００５を識別するための情報を格納する機能を有していてもよい。
【0046】
なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
【0047】
次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画素信号を受信する。この際、上記のように、当該画素信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画素信号を画像処理部５０６１に提供する。
【0048】
また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
【0049】
画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画素信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）処理、及び／又は、手ブレ補正処理等）、及び／又は、拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画素信号に対する検波処理を行う。
【0050】
画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画素信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
【0051】
制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件が術者５０６７によって入力されている場合には、制御部５０６３は、当該術者５０６７による入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
【0052】
また、制御部５０６３は、画像処理部５０６１によって画像処理が施されて生成された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
【0053】
カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又は、これらの複合ケーブルである。
【0054】
ここで、図示する例においては、伝送ケーブル５０６５を用いて有線で通信が行われているものしていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。
【0055】
＜１．５ 内視鏡５００１の構成例＞
続いて、図３を参照して、内視鏡５００１の一例としてステレオ内視鏡１００の基本的構成について説明する。図３は、本開示の一実施形態に係るステレオ内視鏡１００の構成を示す模式図である。
続いて、図３を参照して、内視鏡５００１の一例としてステレオ内視鏡１００の基本的構成について説明する。図３は、本開示の一実施形態に係るステレオ内視鏡１００の構成を示す模式図である。
【0056】
ステレオ内視鏡１００は、図１に示すカメラヘッド５００５の先端に装着されており、ステレオ内視鏡１００は、図１で説明した鏡筒５００３に対応する。例えば、ステレオ内視鏡１００は、例えば、カメラヘッド４２００と互いに独立して回動可能であってもよい。この場合、ステレオ内視鏡１００とカメラヘッド４２００の間には、各関節部５０３３ａ，５０３３ｂ，５０３３ｃと同様にアクチュエータが設けられており、ステレオ内視鏡１００はアクチュエータの駆動によってカメラヘッド４２００に対して回転する。
【0057】
ステレオ内視鏡１００は、支持アーム装置５０２７によって支持される。支持アーム装置５０２７は、スコピストの代わりにステレオ内視鏡１００を保持し、また、術者５０６７や助手の操作によってステレオ内視鏡１００が所望の部位を観察できるように移動させる機能を有する。
【0058】
詳細には、図３に示すように、ステレオ内視鏡１００は、３Ｄ表示に対応する右目用及び左目用の画素信号をそれぞれ取得するための１対のイメージセンサ（図示省略）まで、被写体からの反射光を導くリレーレンズ１２２ａ、１２２ｂを有する。さらに、ステレオ内視鏡１００は、内部に延設されたライトガイド１２４を有し、当該ライトガイドによって、光源装置５０４３により生成された光を、先端部まで導光することができる。また、ライドガイドで導光された光は、図示しないレンズによって拡散させてもよい。また、本開示の実施形態においては、内視鏡５００１で捉えた広角画像（第１の画像）の一部が切り出されて別の画像（第２の画像）を生成してもよい（広角／切り出し機能）。また、ステレオ内視鏡１００は、３Ｄ表示に対応する画像を得るだけでなく、右目用及び左目用の画素信号の視差を利用して、三角測量法を用いて、被写体との距離を計測することも可能である。
【0059】
なお、本開示の実施形態においては、内視鏡５００１は、ステレオ内視鏡１００に限定されるものではない。本開示の実施形態においては、内視鏡５００１で捉えた広角画像の一部を切り出して別の画像を生成することができる機能（広角／切り出し機能）を適用することができる画像を取得することが可能な内視鏡（広角内視鏡）であれば、特に限定されるものではない。より具体的には、例えば、内視鏡５００１は、内視鏡の先端部の前方を捉える前方直視鏡（図示省略）であってもよい。また、例えば、内視鏡５００１は、内視鏡５００１の長手方向軸に対して所定の角度を持つ光軸を有する斜視鏡（図示省略）であってもよい。また、例えば、内視鏡５００１は、内視鏡の先端部に、視野の異なる複数のカメラユニットを内蔵させて、それぞれのカメラによって異なる画像を得ることができる他方向同時撮影機能付きの内視鏡（図示省略）であってもよい。
【0060】
以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、顕微鏡手術システムに適用されてもよい。
【0061】
＜＜２． 医療用観察システム＞＞
さらに、図４を参照して、上述した内視鏡手術システム５０００と組み合わせることが可能な、本開示の実施形態に係る医療用観察システム１の構成について説明する。図４は、本開示の実施形態に係る医療用観察システム１の構成の一例を示すブロック図である。図４に示すように、医療用観察システム１は、ロボットアーム装置１０と、撮像部１２と、光源部１３と、制御部２０と、提示装置４０と、記憶部６０とを主に有する。以下、医療用観察システム１に含まれる各機能部について説明する。
さらに、図４を参照して、上述した内視鏡手術システム５０００と組み合わせることが可能な、本開示の実施形態に係る医療用観察システム１の構成について説明する。図４は、本開示の実施形態に係る医療用観察システム１の構成の一例を示すブロック図である。図４に示すように、医療用観察システム１は、ロボットアーム装置１０と、撮像部１２と、光源部１３と、制御部２０と、提示装置４０と、記憶部６０とを主に有する。以下、医療用観察システム１に含まれる各機能部について説明する。
【0062】
まず、医療用観察システム１の構成の詳細を説明する前に、医療用観察システム１の処理の概要について説明する。医療用観察システム１においては、まず、例えば、上述した内視鏡５００１（図４では撮像部１２が対応）が、トロッカと呼ばれる医療用穿刺器を通じて、患者の体内に挿入されており、術者５０６７が興味のあるエリアを撮影しながら腹腔鏡手術を行う。この際、ロボットアーム装置１０を駆動させることにより、当該内視鏡５００１は、撮影位置を自在に変えることができる。
【0063】
（ロボットアーム装置１０）
ロボットアーム装置１０は、複数の関節部と複数のリンクから構成される多リンク構造体であるアーム部１１（多関節アーム）を有し、当該アーム部を可動範囲内で駆動させることにより、当該アーム部の先端に設けられる先端ユニットの位置及び姿勢の制御を行う。ロボットアーム装置１０は、図１に示す支持アーム装置５０２７に対応している。
ロボットアーム装置１０は、複数の関節部と複数のリンクから構成される多リンク構造体であるアーム部１１（多関節アーム）を有し、当該アーム部を可動範囲内で駆動させることにより、当該アーム部の先端に設けられる先端ユニットの位置及び姿勢の制御を行う。ロボットアーム装置１０は、図１に示す支持アーム装置５０２７に対応している。
【0064】
ロボットアーム装置１０には、例えば、図２に図示のＣＣＵ５０３９と、ＣＣＵ５０３９から受けた撮影対象物を撮像した画像から所定の領域を切り出して、後述するＧＵＩ生成部に出力する電子切り出し制御部（図示省略）と、アーム部１１の位置及び姿勢を制御する姿勢制御部（図示省略）と、電子切り出し制御部から切り出した画像に各種の処理を施した画像データを生成するＧＵＩ生成部（図示省略）とを有することができる。
【0065】
本開示の実施形態に係るロボットアーム装置１０においては、撮像された画像を切り出す（広角／切り出し機能）ことで視線を変更する電子的な自由度と、アーム部１１のアクチュエータによる自由度を全てロボットの自由度として扱う。これにより、視線を変更する電子的な自由度と、アクチュエータによる関節の自由度とを連動した運動制御を実現することが可能となる。
【0066】
詳細には、アーム部１１は、複数の関節部と複数のリンクから構成される多リンク構造体であり、後述するアーム制御部２３からの制御によりその駆動が制御される。アーム部１１は、図１に示すアーム部５０３１に対応している。図４では、複数の関節部を代表して１つの関節部１１１としている。詳細には、関節部１１１は、アーム部１１においてリンク間を互いに回動可能に連結するとともに、アーム制御部２３からの制御によりその回転駆動が制御されることによりアーム部１１を駆動する。また、アーム部１１は、アーム部１１の位置や姿勢の情報を得るために、加速度センサ、ジャイロセンサ、地磁気センサ等を含むモーションセンサ（図示省略）を有していてもよい。
【0067】
（撮像部１２）
撮像部（医療用観察装置）１２は、アーム部（医療用アーム）１１の先端に設けられ、各種の撮像対象物の画像を撮像する。すなわち、アーム部１１は、撮像部１２を支持している。撮像部１２は、先に説明したように、例えば、ステレオ内視鏡１００、斜視鏡（図示省略）、前方直視鏡（図示省略）、他方向同時撮影機能付きの内視鏡（図示省略）であってもよく、もしくは、顕微鏡であってもよく、特に限定されるものではない。
撮像部（医療用観察装置）１２は、アーム部（医療用アーム）１１の先端に設けられ、各種の撮像対象物の画像を撮像する。すなわち、アーム部１１は、撮像部１２を支持している。撮像部１２は、先に説明したように、例えば、ステレオ内視鏡１００、斜視鏡（図示省略）、前方直視鏡（図示省略）、他方向同時撮影機能付きの内視鏡（図示省略）であってもよく、もしくは、顕微鏡であってもよく、特に限定されるものではない。
【0068】
さらに、撮像部１２は、例えば、患者の腹腔内の各種の医療用器具、臓器等を含む術野画像を撮像する。具体的には、撮像部１２は、撮影対象を動画や静止画の形式で撮影することのできるカメラ等である。より具体的には、撮像部１２は、広角光学系で構成された広角カメラである。例えば、通常の内視鏡の画角が８０°程度であることに対し、本実施形態に係る撮像部１２の画角は１４０°であってもよい。なお、撮像部１２の画角は８０°を超えていれば１４０°よりも小さくてもよいし、１４０°以上であってもよい。撮像部１２は、撮像した画像に対応する電気信号（画素信号）を制御部２０に送信する。また、アーム部１１は、鉗子５０２３等の医療用器具を支持していてもよい。
【0069】
また、本開示の実施形態においては、撮像部１２として、測距が可能なステレオ内視鏡１００の代わりに、ステレオ内視鏡１００以外の内視鏡を用いた場合には、撮像部１２とは別に、ｄｅｐｔｈセンサ（測距装置）（図示省略）が設けられていてもよい。この場合、撮像部１２は、単眼方式の内視鏡であることができる。詳細には、ｄｅｐｔｈセンサは、例えば、被写体からのパルス光の反射の戻り時間を用いて測距を行うＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式や、格子状のパターン光を照射して、パターンの歪みにより測距を行うストラクチャードライト方式を用いて測距を行うセンサであることができる。もしくは、本実施形態においては、撮像部１２自体に、ｄｅｐｔｈセンサが設けられていてもよい。この場合、撮像部１２は、撮像と同時に、ＴｏＦ方式による測距を行うことができる。詳細には、撮像部１２は、複数の受光素子（図示省略）を含み、受光素子から得らえた画素信号に基づいて、画像を生成したり、距離情報を算出したりすることができる。
【0070】
（光源部１３）
光源部１３は、撮像部１２が撮像対象物に光を照射する。光源部１３は、例えば、広角レンズ用のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）で実現することができる。光源部１３は、例えば、通常のＬＥＤと、レンズとを組み合わせて構成し、光を拡散させてもよい。また、光源部１３は、光ファイバ（ライトガイド）で伝達された光をレンズで拡散させる（広角化させる）構成であってもよい。また、光源部１３は、光ファイバ自体を複数の方向に向けて光を照射することで照射範囲を広げてもよい。
光源部１３は、撮像部１２が撮像対象物に光を照射する。光源部１３は、例えば、広角レンズ用のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）で実現することができる。光源部１３は、例えば、通常のＬＥＤと、レンズとを組み合わせて構成し、光を拡散させてもよい。また、光源部１３は、光ファイバ（ライトガイド）で伝達された光をレンズで拡散させる（広角化させる）構成であってもよい。また、光源部１３は、光ファイバ自体を複数の方向に向けて光を照射することで照射範囲を広げてもよい。
【0071】
（制御部２０）
制御部２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって、後述する記憶部６０に記憶されたプログラム（例えば、本開示の実施形態に係るプログラム）がＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を作業領域として実行されることにより実現される。また、制御部２０は、コントローラ（ｃｏｎｔｒｏｌｌｅｒ）であり、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。具体的には、制御部２０は、画像処理部２１と、撮像制御部２２と、アーム制御部２３と、受付部２５と、表示制御部２６とを主に有する。
制御部２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって、後述する記憶部６０に記憶されたプログラム（例えば、本開示の実施形態に係るプログラム）がＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を作業領域として実行されることにより実現される。また、制御部２０は、コントローラ（ｃｏｎｔｒｏｌｌｅｒ）であり、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。具体的には、制御部２０は、画像処理部２１と、撮像制御部２２と、アーム制御部２３と、受付部２５と、表示制御部２６とを主に有する。
【0072】
画像処理部２１は、撮像部１２によって撮像された撮像対象物に対して種々の処理を実行する。詳細には、画像処理部２１は、撮像部１２によって撮像された撮像対象物の画像を取得し、撮像部１２によって撮像された画像に基づいて種々の画像を生成する。具体的には、画像処理部２１は、撮像部１２によって撮像された画像のうち表示対象領域（切り出し範囲）を切り出して拡大することで画像を生成することができる。この場合、画像処理部２１は、例えば、撮像部１２によって撮像された画像の状態等に応じて、画像を切り出す位置（切り出し範囲）を変更するようにしてもよい。
【0073】
撮像制御部２２は、撮像部１２を制御する。撮像制御部２２は、例えば、撮像部１２を制御して術野を撮像する。撮像制御部２２は、例えば、撮像部１２の拡大倍率を制御する。また、撮像制御部２２は、例えば、受付部２５で受け付けた術者５０６７からの入力情報に基づいて、撮像部１２の拡大倍率を制御してもよく、撮像部１２によって撮像された画像の状態や表示の状態等に応じて、撮像部１２の拡大倍率を制御してもよい。また、撮像制御部２２は、撮像部１２によって撮像された画像の状態等に応じて、撮像部１２のフォーカス（焦点距離）を制御してもよく、撮像部１２（詳細には、撮像部１２のイメージセンサ）のゲイン（感度）を制御してもよい。
【0074】
また、撮像制御部２２は、光源部１３を制御する。撮像制御部２２は、例えば、撮像部１２が術野を撮像する際に光源部１３の明るさを制御する。撮像制御部２２は、例えば、受付部２５で受け付けた術者５０６７からの入力情報に基づいて、光源部１３の明るさを制御する。
【0075】
アーム制御部２３は、ロボットアーム装置１０を統合的に制御するとともに、アーム部１１の駆動を制御する。具体的には、アーム制御部２３は、関節部１１ａの駆動を制御することにより、アーム部１１の駆動を制御する。より具体的には、アーム制御部２３は、関節部１１ａのアクチュエータにおけるモータに対して供給される電流量を制御することにより、当該モータの回転数を制御し、関節部１１ａにおける回転角度及び発生トルクを制御する。
【0076】
アーム制御部２３は、例えば、撮像部１２によって撮像された画像の状態等に応じて、アーム部１１の姿勢（位置、角度）を自律的に制御することができる。
【0077】
受付部２５は、術者５０６７から入力された入力情報や、他の装置（例えば、ｄｅｐｔｈセンサ等）からの各種の入力情報（センシングデータ）を受け付け、撮像制御部２２と、アーム制御部２３とに出力することができる。
【0078】
表示制御部２６は、各種の画像を後述する提示装置４０に表示させる。表示制御部２６は、例えば、撮像部１２から取得した画像を提示装置４０に表示させる。
【0079】
（提示装置４０）
提示装置４０は、各種の画像を表示する。提示装置４０は、例えば、撮像部１２によって撮像された画像を表示する。提示装置４０は、例えば、液晶ディスプレイ（ＬＣＤ:Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を含むディスプレイであることができる。
提示装置４０は、各種の画像を表示する。提示装置４０は、例えば、撮像部１２によって撮像された画像を表示する。提示装置４０は、例えば、液晶ディスプレイ（ＬＣＤ:Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を含むディスプレイであることができる。
【0080】
（記憶部６０）
記憶部６０は、各種の情報を格納する。記憶部６０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
記憶部６０は、各種の情報を格納する。記憶部６０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
【0081】
＜＜３． 本開示の実施形態を創作するに至る背景＞＞
ところで、上述した、撮像部１２を支持するアーム部（医療用アーム）１１は、例えば、患者の腹腔内の３次元情報や、腹腔内に位置する各種の医療用器具の認識情報を用いて、自律的に移動させることができる。しかしながら、アーム部１１（詳細には、アーム部１１の先端）の移動により、医療用器具や臓器等と干渉する恐れがある。ここで、干渉とは、撮像部１２の視野が、対象外物体(臓器、組織)、医療用器具等）によって遮られることや、撮像部１２自体が臓器、組織、医療器具等と衝突することをいう。そこで、このような干渉を避けるために、アーム部１１の先端を移動させる代わりに、予め腹腔内を広角で撮影し、取得した広角画像から切り出す画像の範囲（切り出し範囲）を移動させて得られた画像を術者５０６７に提示することが考えられる。このように画像を切り出す範囲を移動させることにより、術者５０６７に提示される画像が移動するように見えることから、術者５０６７は、あたかもアーム部１１の先端が例えば上下、左右に移動しているように認識することとなる（アーム部１１の先端が仮想的に移動している）。加えて、アーム部１１の先端が実際には移動しないことから、アーム部１１の先端の移動による干渉を避けることができる。
ところで、上述した、撮像部１２を支持するアーム部（医療用アーム）１１は、例えば、患者の腹腔内の３次元情報や、腹腔内に位置する各種の医療用器具の認識情報を用いて、自律的に移動させることができる。しかしながら、アーム部１１（詳細には、アーム部１１の先端）の移動により、医療用器具や臓器等と干渉する恐れがある。ここで、干渉とは、撮像部１２の視野が、対象外物体(臓器、組織)、医療用器具等）によって遮られることや、撮像部１２自体が臓器、組織、医療器具等と衝突することをいう。そこで、このような干渉を避けるために、アーム部１１の先端を移動させる代わりに、予め腹腔内を広角で撮影し、取得した広角画像から切り出す画像の範囲（切り出し範囲）を移動させて得られた画像を術者５０６７に提示することが考えられる。このように画像を切り出す範囲を移動させることにより、術者５０６７に提示される画像が移動するように見えることから、術者５０６７は、あたかもアーム部１１の先端が例えば上下、左右に移動しているように認識することとなる（アーム部１１の先端が仮想的に移動している）。加えて、アーム部１１の先端が実際には移動しないことから、アーム部１１の先端の移動による干渉を避けることができる。
【0082】
しかし、これまでの撮像部１２として用いられてきた内視鏡では、その画角が狭いことから（例えば、水平画角が約７０°）、上述のように画像を切り出す範囲（切り出し範囲）を自由に移動させることには限界があった。言い換えると、アーム部１１の先端が仮想的に移動することができる範囲に制限があった。そこで、本発明者は、切り出し範囲の移動可能な領域を広く確保するために、画角の広い内視鏡（例えば、水平画角が約１４０°）（以下では、広角内視鏡とも呼ぶ）を用いることを着想した。
【0083】
ただし、上述のような広角内視鏡によって得られた広角画像における端部の画像は歪みが大きくなるため、術者５０６７に提示したり、様々な画像処理に供されることも考慮して、歪み補正が行われることとなる。しかしながら、本発明者が鋭意検討を進めたところ、当該補正を行うことにより画像が暗くなり、暗い画像の範囲が広くなることが分かった。すなわち、広角画像における端部の画像が暗くなってしまうことを避けることが難しい。従って、術者５０６７に提示される切り出し範囲が広角画像の端部であった場合には、術者５０６７に、視認し難い暗い画像を提示することとなってしまう。
【0084】
そこで、このような場合、光源部１３からの光の強度を高めたり、ライトガイド１２４による導光角度を調整したりすることにより、画像の明るさを改善させることも考えられる。しかし、光の強度を高めることが許容される範囲やライトガイド１２４で均一に導光できる範囲には制限があることから、やはり、広角画像の端部の明るさをより明るくすることについては限界がある。すなわち、切り出し範囲が広角画像の端部であった場合には、照射光の調整だけでは、切り出し範囲の画像の視認性を向上させることに限界がある。
【0085】
また、術者５０６７に提示される切り出し範囲が広角画像の端部であった場合には、当該端部の画像の状態に応じて、光の強度を高めたり、ライトガイド１２４による導光角度を調整したりすることも考えられる。しかしながら、このようにした場合、広角画像の視認性を好適なものとすることが難しくなり、例えば、広角画像と切り出し範囲の画像との両方を術者５０６７に提示した際には、広角画像において視認性が悪化する可能性がある。さらには、このようにして得られた広角画像を様々な画像処理に提供した場合、好適に画像処理を行うことが難しくなる。すなわち、広角画像と切り出し範囲の画像とにおける視認性の向上を両立させることは難しい。
【0086】
そこで、本発明者は、このような状況を鑑みて、所望の切り出し範囲が広角画像の端部であった場であっても、切り出し範囲の画像の明るさ（視認性）を好適にすることができる、本開示の実施形態を創作するに至った。本発明者が創作した本開示の実施形態においては、切り出し範囲の画像の明るさを好適に調整するために、広角画像（第１の画像）及び切り出し範囲の画像（第２の画像）の光量分布に基づいて、アーム部１１（詳細には、アーム部１１の先端の撮像部１２）の姿勢（位置、角度）を調整することにより、切り出し範囲の画像の明るさを好適にすることが可能となる。さらに、本発明者が創作した本開示の実施形態においては、アーム部１１の姿勢を調整するだけではなく、併せて、撮像部１２のイメージセンサのゲイン（感度）を調整してもよく、さらには、切り出し範囲の位置も調整してもよい。このようにすることで、切り出し範囲の画像の視認性をより好適にすることができる。加えて、本開示の実施形態によれば、広角画像と切り出し範囲の画像とにおける視認性の向上を両立させることもできる。
【0087】
さらに、広角画像の中央付近でフォーカス（焦点距離）を合わせた場合、切り出し範囲の位置によっては、切り出し範囲でのフォーカスが合わない場合がある。詳細には、内視鏡の被写体深度が浅い場合には、広角画像の中央付近で合わせたフォーカスは、広角画像の端部で外れてしまうことがある。そこで、本発明者が創作した本開示の実施形態においては、上述のような調整に加えて、フォーカスの調整を行ってもよい。このようにすることで、本開示の実施形態によれば、広角画像と切り出し範囲の画像とにおける視認性の向上を両立させることもできる。以下に、本発明者らが創作した本開示の実施形態の詳細を順次説明する。
【0088】
＜＜４． 第１の実施形態＞＞
＜４．１ 制御システム２の詳細構成例＞
まずは、図５を参照して、本開示の第１の実施形態に係る制御システム２の詳細構成例について説明する。図５は、本実施形態に係る制御システム２の構成の一例を示すブロック図である。図５に示すように、本実施形態に係る制御システム２は、ステレオ内視鏡１００と、制御部２００と、図示しないアーム部１１とを含むことができる。以下に、制御システム２に含まれる各装置の詳細について順次説明する。
＜４．１ 制御システム２の詳細構成例＞
まずは、図５を参照して、本開示の第１の実施形態に係る制御システム２の詳細構成例について説明する。図５は、本実施形態に係る制御システム２の構成の一例を示すブロック図である。図５に示すように、本実施形態に係る制御システム２は、ステレオ内視鏡１００と、制御部２００と、図示しないアーム部１１とを含むことができる。以下に、制御システム２に含まれる各装置の詳細について順次説明する。
【0089】
＜４．２ ステレオ内視鏡１００の詳細構成例＞
まずは、図５を参照して、本実施形態に係るステレオ内視鏡１００の詳細構成例について説明する。ステレオ内視鏡１００は、先に説明したように、三角測量法を用いて測距することも可能であり、３Ｄ表示に対応する右目用（Ｒ側）及び左目用（Ｌ側）の画素信号をそれぞれ取得するための１対のイメージセンサ（図示省略）を有する。当該ステレオ内視鏡１００は、右目用（Ｒ側）の画素信号を取得するＲ側チャネル（ＣＨ）１０２ａと、左目用（Ｌ側）の画素信号を取得するＬ側チャネル１０２ｂとを有する。各チャネル１０２ａ、１０２ｂに入力された画素信号は、カメラケーブルを経由して、各カメラコントロールユニット（ＣＣＵ）（センサ制御部、フォーカス調整部、倍率調整部）１０４ａ、１０４ｂに出力される。当該各ＣＣＵ１０４は、後述する制御部２００からの制御に従って、ステレオ内視鏡１００の各イメージセンサのゲインや、フォーカス、拡大倍率等を調整することができる。なお、ＣＣＵ１０４は、図１に示すＣＣＵ５０３９に対応するものとする。
まずは、図５を参照して、本実施形態に係るステレオ内視鏡１００の詳細構成例について説明する。ステレオ内視鏡１００は、先に説明したように、三角測量法を用いて測距することも可能であり、３Ｄ表示に対応する右目用（Ｒ側）及び左目用（Ｌ側）の画素信号をそれぞれ取得するための１対のイメージセンサ（図示省略）を有する。当該ステレオ内視鏡１００は、右目用（Ｒ側）の画素信号を取得するＲ側チャネル（ＣＨ）１０２ａと、左目用（Ｌ側）の画素信号を取得するＬ側チャネル１０２ｂとを有する。各チャネル１０２ａ、１０２ｂに入力された画素信号は、カメラケーブルを経由して、各カメラコントロールユニット（ＣＣＵ）（センサ制御部、フォーカス調整部、倍率調整部）１０４ａ、１０４ｂに出力される。当該各ＣＣＵ１０４は、後述する制御部２００からの制御に従って、ステレオ内視鏡１００の各イメージセンサのゲインや、フォーカス、拡大倍率等を調整することができる。なお、ＣＣＵ１０４は、図１に示すＣＣＵ５０３９に対応するものとする。
【0090】
また、本実施形態においては、ステレオ内視鏡１００は、上述したように、右目用（Ｒ側）及び左目用（Ｌ側）のイメージセンサからの画素信号をそれぞれ取得するチャネル１０２ａ、１０２ｂをそれぞれ有する形態に限定されるものではない。例えば、本実施形態においては、ステレオ内視鏡１００は、１つのイメージセンサからの画素信号を右目用（Ｒ側）及び左目用（Ｌ側）の画素信号の２分割して取得するチャネル１０２を有していてもよい。
【0091】
＜４．３ 制御部２００の詳細構成例＞
次に、図５を参照して、本実施形態に係る制御部２００の詳細構成例について説明する。なお、制御部２００は、図４に示す制御部２０に含まれていてもよく、もしくは、当該制御部２０とは異なる装置であってもよく、もしくは、クラウド上に設けられ、ロボットアーム装置１０や制御部２０と通信可能に接続された装置であってもよい。
次に、図５を参照して、本実施形態に係る制御部２００の詳細構成例について説明する。なお、制御部２００は、図４に示す制御部２０に含まれていてもよく、もしくは、当該制御部２０とは異なる装置であってもよく、もしくは、クラウド上に設けられ、ロボットアーム装置１０や制御部２０と通信可能に接続された装置であってもよい。
【0092】
詳細には、図５に示すように、制御部２００は、演算部（範囲設定部）２０１、姿勢演算部（姿勢認識部、姿勢決定部）２０２、駆動制御部（アーム制御部）２０３、ゲイン演算部（ゲイン決定部）２０４、倍率演算部２０５、フォーカス演算部２０６、画像処理部２１０、及び、画像認識部２２０を主に有する。以下に、制御部２００の各機能部の詳細について順次説明する。
【0093】
（演算部２０１）
演算部２０１は、画像認識部２２０を介して取得した、画像処理部２１０で補正された広角画像（第１の画像）から、当該広角画像に比べて画角が狭い画像（第２の画像）を切り出すための切り出し範囲を設定することができる。例えば、切り出し範囲の画像には、術者５０６７が興味のある体内のエリア（例えば、術部）の画像が含まれることとなる。例えば、演算部２０１は、術者５０６７からの入力によって得られた情報や、ステレオ内視鏡１００と、術者５０６７の興味あるエリア（被写体）との距離（距離情報）や、ステレオ内視鏡１００（アーム部１１）の姿勢（位置、角度）や、術者５０６７の使用する医療器具等の情報に基づいて、切り出し範囲を設定することができる。そして、演算部２０１は、設定した切り出し範囲を、後述する姿勢演算部２０２、ゲイン演算部２０４、倍率演算部２０５、フォーカス演算部２０６、及び、画像処理部２１０へ出力する。
演算部２０１は、画像認識部２２０を介して取得した、画像処理部２１０で補正された広角画像（第１の画像）から、当該広角画像に比べて画角が狭い画像（第２の画像）を切り出すための切り出し範囲を設定することができる。例えば、切り出し範囲の画像には、術者５０６７が興味のある体内のエリア（例えば、術部）の画像が含まれることとなる。例えば、演算部２０１は、術者５０６７からの入力によって得られた情報や、ステレオ内視鏡１００と、術者５０６７の興味あるエリア（被写体）との距離（距離情報）や、ステレオ内視鏡１００（アーム部１１）の姿勢（位置、角度）や、術者５０６７の使用する医療器具等の情報に基づいて、切り出し範囲を設定することができる。そして、演算部２０１は、設定した切り出し範囲を、後述する姿勢演算部２０２、ゲイン演算部２０４、倍率演算部２０５、フォーカス演算部２０６、及び、画像処理部２１０へ出力する。
【0094】
（姿勢演算部２０２）
姿勢演算部２０２は、ステレオ内視鏡１００（アーム部１１）の姿勢（位置、角度）を認識することができる。例えば、姿勢演算部２０２は、画像認識部２２０を介して取得した、画像処理部２１０で補正された広角画像（第１の画像）に基づいて、ステレオ内視鏡１００の姿勢を認識することができる。例えば、姿勢演算部２０２は、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）を用いて、広角画像に基づいて、ステレオ内視鏡１００の姿勢を認識してもよい。もしくは、姿勢演算部２０２は、画像認識部２２０を介して取得した距離情報（例えば、ｄｅｐｔｈ情報）や、アーム部１１に設けられたモーションセンサ（慣性計測装置）からのセンシングデータに基づいて、ステレオ内視鏡１００の姿勢を認識してもよい。もしくは、姿勢演算部２０２は、アーム部１１に含まれる関節部５０３３やリンク５０３５（複数の要素）による関節角やリンク長に基づいて、ステレオ内視鏡１００の姿勢を認識してもよい。
姿勢演算部２０２は、ステレオ内視鏡１００（アーム部１１）の姿勢（位置、角度）を認識することができる。例えば、姿勢演算部２０２は、画像認識部２２０を介して取得した、画像処理部２１０で補正された広角画像（第１の画像）に基づいて、ステレオ内視鏡１００の姿勢を認識することができる。例えば、姿勢演算部２０２は、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）を用いて、広角画像に基づいて、ステレオ内視鏡１００の姿勢を認識してもよい。もしくは、姿勢演算部２０２は、画像認識部２２０を介して取得した距離情報（例えば、ｄｅｐｔｈ情報）や、アーム部１１に設けられたモーションセンサ（慣性計測装置）からのセンシングデータに基づいて、ステレオ内視鏡１００の姿勢を認識してもよい。もしくは、姿勢演算部２０２は、アーム部１１に含まれる関節部５０３３やリンク５０３５（複数の要素）による関節角やリンク長に基づいて、ステレオ内視鏡１００の姿勢を認識してもよい。
【0095】
姿勢演算部２０２は、画像認識部２２０によって得られた広角画像（第１の画像）及び切り出し範囲の画像（第２の画像）における光量分布と、上記距離情報とに基づき、ステレオ内視鏡１００（アーム部１１）の目標姿勢（位置、角度）を決定することができる。詳細には、姿勢演算部２０２は、広角画像及び切り出し範囲の画像において、白飛び（サチュレーション）や暗くなることを避けるように、ステレオ内視鏡１００の目標姿勢を決定する。この際、姿勢演算部２０２は、現時点でのステレオ内視鏡１００の姿勢（位置、角度）に対応する画像における画素の位置を特定することにより、切り出し範囲の画像に対応するステレオ内視鏡１００の姿勢を決定することができる。そして、姿勢演算部２０２は、決定した目標姿勢を駆動制御部２０３へ出力する。
【0096】
（駆動制御部２０３）
駆動制御部２０３は、姿勢演算部２０２からの目標姿勢に基づいて、ステレオ内視鏡１００（アーム部１１）の姿勢（位置、角度）を制御することができる。
駆動制御部２０３は、姿勢演算部２０２からの目標姿勢に基づいて、ステレオ内視鏡１００（アーム部１１）の姿勢（位置、角度）を制御することができる。
【0097】
（ゲイン演算部２０４）
ゲイン演算部２０４は、画像認識部２２０によって得られた、広角画像（第１の画像）及び切り出し範囲の画像（第２の画像）における光量分布と、距離情報とに基づき、ステレオ内視鏡１００（アーム部１１）のイメージセンサの目標ゲイン（目標感度）を決定することができる。詳細には、ゲイン演算部２０４は、広角画像及び切り出し範囲の画像において、白飛び（サチュレーション）や暗くなることを避けるように、ステレオ内視鏡１００のイメージセンサの目標ゲインを決定する。そして、ゲイン演算部２０４は、決定した目標ゲインをＣＣＵ１０４へ出力する。
ゲイン演算部２０４は、画像認識部２２０によって得られた、広角画像（第１の画像）及び切り出し範囲の画像（第２の画像）における光量分布と、距離情報とに基づき、ステレオ内視鏡１００（アーム部１１）のイメージセンサの目標ゲイン（目標感度）を決定することができる。詳細には、ゲイン演算部２０４は、広角画像及び切り出し範囲の画像において、白飛び（サチュレーション）や暗くなることを避けるように、ステレオ内視鏡１００のイメージセンサの目標ゲインを決定する。そして、ゲイン演算部２０４は、決定した目標ゲインをＣＣＵ１０４へ出力する。
【0098】
（倍率演算部２０５）
倍率演算部２０５は、術者５０６７に提示する切り出し範囲の画像の好適な拡大倍率を演算することができる。倍率演算部２０５は、演算した拡大倍率をＣＣＵ１０４や画像処理部２１０へ出力し、切り出し範囲の画像を演算で得られた拡大倍率の画像にすることにより、切り出し範囲の画像の視認性を向上させることができる。例えば、ステレオ内視鏡１００（アーム部１１）の姿勢を目標姿勢に調整した場合に、切り出し範囲の画像の拡大倍率をそのまま維持すると切り出し範囲の画像内の被写体が小さくなり、当該被写体の視認性が悪くなる場合がある。そこで、倍率演算部２０５は、被写体の大きさ等に基づき、好適な拡大倍率を演算し、切り出し範囲の画像を演算で得られた拡大倍率の画像にすることにより、切り出し範囲の画像の視認性を向上させることができる。なお、後述する本開示の第２の実施形態において、倍率演算部２０５の動作の詳細を説明する。
倍率演算部２０５は、術者５０６７に提示する切り出し範囲の画像の好適な拡大倍率を演算することができる。倍率演算部２０５は、演算した拡大倍率をＣＣＵ１０４や画像処理部２１０へ出力し、切り出し範囲の画像を演算で得られた拡大倍率の画像にすることにより、切り出し範囲の画像の視認性を向上させることができる。例えば、ステレオ内視鏡１００（アーム部１１）の姿勢を目標姿勢に調整した場合に、切り出し範囲の画像の拡大倍率をそのまま維持すると切り出し範囲の画像内の被写体が小さくなり、当該被写体の視認性が悪くなる場合がある。そこで、倍率演算部２０５は、被写体の大きさ等に基づき、好適な拡大倍率を演算し、切り出し範囲の画像を演算で得られた拡大倍率の画像にすることにより、切り出し範囲の画像の視認性を向上させることができる。なお、後述する本開示の第２の実施形態において、倍率演算部２０５の動作の詳細を説明する。
【0099】
（フォーカス演算部２０６）
フォーカス演算部２０６は、広角画像及び切り出し範囲の画像に好適なフォーカス（焦点距離）を演算して、演算で得られたフォーカスになるようにステレオ内視鏡１００を制御することにより、広角画像及び切り出し範囲の画像の好適なフォーカスを両立することができる。詳細には、広角画像の中央付近でフォーカスを合わせた場合、切り出し範囲の位置によっては、切り出し範囲でフォーカスが合わない場合がある。そこで、フォーカス演算部２０６は、広角画像及び切り出し範囲の画像に好適なフォーカスを演算して、演算で得られたフォーカスにステレオ内視鏡１００を制御することにより、広角画像及び切り出し範囲の画像のフォーカスを両立する。なお、後述する本開示の第２の実施形態において、フォーカス演算部２０６の動作の詳細を説明する。
フォーカス演算部２０６は、広角画像及び切り出し範囲の画像に好適なフォーカス（焦点距離）を演算して、演算で得られたフォーカスになるようにステレオ内視鏡１００を制御することにより、広角画像及び切り出し範囲の画像の好適なフォーカスを両立することができる。詳細には、広角画像の中央付近でフォーカスを合わせた場合、切り出し範囲の位置によっては、切り出し範囲でフォーカスが合わない場合がある。そこで、フォーカス演算部２０６は、広角画像及び切り出し範囲の画像に好適なフォーカスを演算して、演算で得られたフォーカスにステレオ内視鏡１００を制御することにより、広角画像及び切り出し範囲の画像のフォーカスを両立する。なお、後述する本開示の第２の実施形態において、フォーカス演算部２０６の動作の詳細を説明する。
【0100】
（画像処理部２１０）
画像処理部２１０は、図５に示すように、フレームメモリ２１２ａ、２１２ｂと、歪み補正部２１４ａ、２１４ｂと、切り出し・拡大制御部２１６ａ、２１６ｂとを有する。詳細には、フレームメモリ２１２ａ、２１２ｂは、ＣＣＵ１０４ａ、１０４ｂからの右目用（Ｒ側）及び左目用（Ｌ側）の画像信号をそれぞれ格納することができ、格納した画像信号を、歪み補正部２１４ａ、２１４ｂのそれぞれに出力することができる。
画像処理部２１０は、図５に示すように、フレームメモリ２１２ａ、２１２ｂと、歪み補正部２１４ａ、２１４ｂと、切り出し・拡大制御部２１６ａ、２１６ｂとを有する。詳細には、フレームメモリ２１２ａ、２１２ｂは、ＣＣＵ１０４ａ、１０４ｂからの右目用（Ｒ側）及び左目用（Ｌ側）の画像信号をそれぞれ格納することができ、格納した画像信号を、歪み補正部２１４ａ、２１４ｂのそれぞれに出力することができる。
【0101】
歪み補正部２１４ａ、２１４ｂは、フレームメモリ２１２ａ、２１２ｂからの右目用（Ｒ側）及び左目用（Ｌ側）の画像信号におけるレンズ歪みをそれぞれ補正することができる。先に説明したように、広角画像の端部においてはレンズ歪みが大きく、歪みが大きいと、この後の処理（ｄｅｐｔｈ演算、画像認識、切り出し範囲の設定等）の精度が低下することから、本実施形態においては、当該歪みを補正する。そして、歪み補正部２１４ａ、２１４ｂは、補正した画像信号を、後述する切り出し・拡大制御部２１６ａ、２１６ｂや画像認識部２２０へ出力する。
【0102】
切り出し・拡大制御部２１６ａ、２１６ｂは、補正した画像信号と、演算部２０１で設定された切り出し範囲とに基づき、切り出し範囲の画像を取得し、提示装置４０へ出力する。
【0103】
（画像認識部２２０）
画像認識部２２０は、図５に示すように、Ｄｅｐｔｈ演算部（距離取得部）２２２と、光量取得部２２４と、器具認識部２２６とを有する。詳細には、Ｄｅｐｔｈ演算部２２２は、ステレオ内視鏡（医療用観察装置）１００と被写体との間の距離情報を取得する。例えば、ステレオ内視鏡１００では、先に説明したように、右目用及び左目用の画素信号をそれぞれ取得することから、３Ｄ表示に対応する画像を得るだけでなく、三角測量法を用いて測距することも可能である。従って、本実施形態においては、Ｄｅｐｔｈ演算部２２２は、画像処理部２１０からのステレオ内視鏡１００による右目用の広角画像及び左目用の広角画像（画像信号）に基づいて、ステレオ内視鏡１００と被写体との間の距離情報を取得することができる。また、本実施形態においては、Ｄｅｐｔｈ演算部２２２は、アーム部１１の先端等に設けられたＴｏＦセンサやストラクチャードライト等のｄｅｐｔｈセンサ（測距装置）からのセンシングデータに基づいて、ステレオ内視鏡１００と被写体との間の距離情報を取得してもよい。そして、Ｄｅｐｔｈ演算部２２２は、取得した距離情報を演算部２０１へ出力する。
画像認識部２２０は、図５に示すように、Ｄｅｐｔｈ演算部（距離取得部）２２２と、光量取得部２２４と、器具認識部２２６とを有する。詳細には、Ｄｅｐｔｈ演算部２２２は、ステレオ内視鏡（医療用観察装置）１００と被写体との間の距離情報を取得する。例えば、ステレオ内視鏡１００では、先に説明したように、右目用及び左目用の画素信号をそれぞれ取得することから、３Ｄ表示に対応する画像を得るだけでなく、三角測量法を用いて測距することも可能である。従って、本実施形態においては、Ｄｅｐｔｈ演算部２２２は、画像処理部２１０からのステレオ内視鏡１００による右目用の広角画像及び左目用の広角画像（画像信号）に基づいて、ステレオ内視鏡１００と被写体との間の距離情報を取得することができる。また、本実施形態においては、Ｄｅｐｔｈ演算部２２２は、アーム部１１の先端等に設けられたＴｏＦセンサやストラクチャードライト等のｄｅｐｔｈセンサ（測距装置）からのセンシングデータに基づいて、ステレオ内視鏡１００と被写体との間の距離情報を取得してもよい。そして、Ｄｅｐｔｈ演算部２２２は、取得した距離情報を演算部２０１へ出力する。
【0104】
光量取得部２２４は、画像処理部２１０からの広角画像（第１の画像）に基づいて、広角画像における光量の分布及び切り出し範囲の画像（第２の画像）の光量分布を取得し、演算部２０１へ出力する。詳細には、光量取得部２２４は、広角画像における光量の分布から切り出し範囲の画像の光量分布を取得する。
【0105】
器具認識部２２６は、画像処理部２１０からの広角画像から被写体の輪郭等を抽出し、抽出した輪郭と記憶部（図示省略）にあらかじめ格納したデータとを比較することにより、腹腔内に挿入されている医療用器具を認識することができる。そして、器具認識部２２６は、認識結果を演算部２０１へ出力する。
【0106】
なお、本実施形態においては、制御部２００の各機能部は、図５に示される機能部に限定されるものではない。
【0107】
＜４．４ 制御方法＞
次に、図６から図１１を参照して、本実施形態に係る制御方法を説明する。図６は、本実施形態に係る制御方法のフローチャートであり、図７は、本実施形態を説明するための説明図である。また、図８から図１１は、本実施形態における制御方法を説明するためのグラフであり、詳細には、広角画像の中心からの距離と、光量との関係を示すグラフである。
次に、図６から図１１を参照して、本実施形態に係る制御方法を説明する。図６は、本実施形態に係る制御方法のフローチャートであり、図７は、本実施形態を説明するための説明図である。また、図８から図１１は、本実施形態における制御方法を説明するためのグラフであり、詳細には、広角画像の中心からの距離と、光量との関係を示すグラフである。
【0108】
図６に示すように、本実施形態に係る制御方法は、ステップＳ１０１からステップＳ１０８までのステップを主に含むことができる。以下に、本実施形態に係るこれら各ステップの概要について説明する。
【0109】
まず、制御システム２は、本実施形態に係る制御を開始する（ステップＳ１０１）。次に、制御システム２は、例えば、腹腔内に挿入されている医療用器具を認識し、さらには、ステレオ内視鏡（医療用観察装置）１００と医療用器具との間の距離情報を取得する。そして、制御システム２は、認識した医療用器具の情報と上記距離情報とに基づき、切り出し範囲の設定と、ステレオ内視鏡１００（アーム部１１）の位置を変更する（ステップＳ１０２）。この際、例えば、図７の左下側に示すような広角画像を得られ、さらに、図７の左下側に示すような、広角画像の端部に位置する切り出し範囲が設定されるものとする。
【0110】
次に、制御システム２は、画像処理部２１０からの広角画像（第１の画像）に基づいて、広角画像における光量の分布及び切り出し範囲の画像（第２の画像）の光量分布を取得する（ステップＳ１０３）。
【0111】
例えば、図８は、広角画像の中央部と端部との光量を示しており、詳細には、横軸が、広角画像の中央からの距離を示し、縦軸が、ステレオ内視鏡１００と被写体（例えば、医療用器具）との距離（以下、ＷＤと呼ぶ）を５０ｍｍとした場合の、中央部の光量（図８中三角の印で示される）を１とした場合の相対光量を示している。また、図８のグラフの上側のエリアは、光量が高すぎることから画像が白飛びし、視認ができないエリアを示し、図８のグラフの下側のエリアは、光量が低すぎることから画像が暗く、視認ができないエリアを示しており、これら２つのエリアに挟まれているエリアが、視認可能なエリアとなる。
【0112】
詳細には、図７の左側に示す状態では、切り出し範囲は、例えば、広角画像の端部に位置している。従って、図８においては、丸印で示される切り出し範囲の画像の光量は、光量が低すぎることから画像が暗く、視認ができないエリアに入っている。
【0113】
そこで、制御システム２は、切り出し範囲の画像の光量が図８に示す視認可能なエリアに入っているかどうかの判断を行う（ステップＳ１０４）。制御システム２は、切り出し範囲の画像の光量が視認可能なエリアに入っている場合（ステップＳ１０４：Ｙｅｓ）には、ステップＳ１０８へ進み、切り出し範囲の画像の光量が視認可能なエリアに入っていない場合（ステップＳ１０４：Ｎｏ）には、ステップＳ１０５へ進む。
【0114】
次に、制御システム２は、広角画像の中央部と切り出し範囲の画像の両方の光量が視認可能なエリアに入るように、ステレオ内視鏡１００（アーム部１１）の目標姿勢（位置や角度）を演算、決定し、さらには、ステレオ内視鏡１００のイメージセンサの目標ゲイン（目標感度）を、演算、決定する（ステップＳ１０５）。
【0115】
なお、本実施形態においては、目標ゲインの調整だけでなく、ステレオ内視鏡１００（アーム部１１）の目標姿勢を調整することとしたのは、以下のような理由による。例えば、イメージセンサのゲインを３ｄＢ（１．３３倍）に調整した場合には、視認可能なエリアは、図８の状態から図９の状態に変化する。図９に示すように、ゲインを大きくすることにより、光量が低すぎることから画像が暗く、視認ができないエリアの閾値（視認可能なエリアとの境界）は下がるものの、光量が高すぎることから画像が白飛びし、視認ができないエリアの閾値（視認可能なエリアとの境界）も下がることとなる。そのため、図９から明らかなように、広角画像の中央部の光量（三角の印で示される）も端部の画像の光量（丸印で示される）も、視認ができないエリアに入ってしまうこととなる。そこで、本実施形態においては、広角画像の中央部と切り出し範囲の画像の両方の光量が視認可能なエリアに入るように、イメージセンサのゲインだけでなく、ステレオ内視鏡１００（アーム部１１）の姿勢（位置、角度）をも調整している。
【0116】
次に、制御システム２は、ステップＳ１０５で決定された目標姿勢に従って、ステレオ内視鏡１００（アーム部１１）の姿勢（位置、角度）を変更する（ステップＳ１０６）。ステレオ内視鏡１００の姿勢を変更することにより、図７の中央に示されるような広角画像及び切り出し範囲に変更される。より具体的には、例えば、図１０に示すように（ここでは、ゲインを０ｄＢとした場合のグラフを示す）、ステレオ内視鏡１００の体内への挿入量を変更して、ステレオ内視鏡１００と被写体（例えば、医療用器具）との距離ＷＤを大きくすることにより（ＷＤ＝５０からＷＤ＝５２．５へ変更）、広角画像の中央部の光量（三角の印で示される）が低下する。このようにすることで、広角画像の中央部の光量が、光量が高すぎることから画像が白飛びし、視認ができないエリアに入ることを抑制する。一方、切り出し範囲の画像については、ステレオ内視鏡１００の姿勢の変更とともに、切り出し範囲を広角画像の中央部に寄せることにより、切り出し範囲の画像の光量（丸印で示される）が、光量が低すぎることから画像が暗く、視認ができないエリアに入ることを抑制するようにする。しかしながら、この時点では、イメージセンサのゲインの調整は行われていないため、切り出し範囲の画像の光量の全てが視認可能なエリアに入っている状態ではない（図７の中央の図を参照）。
【0117】
次に、制御システム２は、ステップＳ１０５で決定された目標ゲインに従って、イメージセンサのゲイン（感度）を設定する（ステップＳ１０７）。イメージセンサのゲインを変更することにより、図７の右側に示されるような広角画像及び切り出し範囲に変更される。より具体的には、例えば、図１１に示すように、イメージセンサのゲインを３ｄＢ（１．３３倍）に変更した場合には、視認可能エリアは、図１０の状態から図１１の状態へと変化する。従って、視認可能なエリアに入っていなかった切り出し範囲の画像の光量（丸印で示される）は、ゲインを上げることにより、全ての範囲において、視認可能なエリアに入ることとなる。すなわち、本実施形態においては、ステレオ内視鏡１００（アーム部１１）の姿勢（位置、角度）と、イメージセンサのゲイン（感度）とを調整することにより、広角画像の中央部と切り出し範囲の画像の両方の光量が視認可能なエリアに入るようにすることができる。その結果、本実施形態によれば、広角画像の中央部と切り出し範囲の画像の両方の視認性を向上させることができる。
【0118】
なお、本実施形態においては、ステレオ内視鏡１００（アーム部１１）の姿勢（位置、角度）と、イメージセンサのゲイン（感度）との両方を調整することに限定されるものではない。本実施形態においては、ステレオ内視鏡１００の姿勢の調整だけで、広角画像の中央部と切り出し範囲の画像の両方の光量が視認可能なエリアに入るようにすることができれば、イメージセンサのゲインの調整を省略してもよい。
【0119】
そして制御システム２は、本実施形態に係る制御を継続するかどうかの判断を行う（ステップＳ１０８）。制御システム２は、継続すると判断した場合（ステップＳ１０８：Ｙｅｓ）には、ステップＳ１０１へ戻り、継続しないと判断した場合（ステップＳ１０８：Ｎｏ）には、本実施形態に係る制御を終了する。
【0120】
以上のように、本実施形態においては、広角画像（第１の画像）及び切り出し範囲の画像（第２の画像）の光量分布に基づいて、ステレオ内視鏡１００（アーム部１１）の姿勢を調整することにより、切り出し範囲の画像の明るさを好適にすることが可能となる。さらに、本実施形態においては、ステレオ内視鏡１００（アーム部１１）の姿勢を調整するだけではなく、併せて、撮像部１２のイメージセンサのゲイン（感度）を調整したり、さらには、切り出し範囲の移動を行ったりしてもよい。このようにすることで、本実施形態によれば、広角画像と切り出し範囲の画像との明るさを好適し、広角画像と切り出し範囲の画像との視認性の向上を両立させることができる。
【0121】
＜＜５． 第２の実施形態＞＞
上述した第１の実施形態においては、フォーカス（焦点距離）を自動調整していなかったが、本開示の実施形態においては、フォーカスも併せて自動調整してもよい。例えば、先に説明したように、ステレオ内視鏡１００の被写体深度が浅い場合には、広角画像の中央付近でフォーカスを合わせた際には、広角画像の端部に位置する切り出し範囲でのフォーカスが合わない場合がある。そこで、本開示の第２の実施形態においては、第１の実施形態における調整に加えて、フォーカスの調整を行うこととする。このようにすることで、本実施形態によれば、切り出し範囲の画像の視認性をより好適にすることができる。
上述した第１の実施形態においては、フォーカス（焦点距離）を自動調整していなかったが、本開示の実施形態においては、フォーカスも併せて自動調整してもよい。例えば、先に説明したように、ステレオ内視鏡１００の被写体深度が浅い場合には、広角画像の中央付近でフォーカスを合わせた際には、広角画像の端部に位置する切り出し範囲でのフォーカスが合わない場合がある。そこで、本開示の第２の実施形態においては、第１の実施形態における調整に加えて、フォーカスの調整を行うこととする。このようにすることで、本実施形態によれば、切り出し範囲の画像の視認性をより好適にすることができる。
【0122】
具体的には、例えば、画角が１４０°（半角θ＝７０°）のステレオ内視鏡１００においては、平面上の被写体を撮影しようとする際には、得られる画像の中央から端部まで距離Ｗｅｄｇｅは、下記の式（１）で示すことができる。
【0123】
【数1】
【0124】
例えば、ステレオ内視鏡１００と被写体（例えば、医療用器具）との距離ＷＤが５０ｍｍである場合には、数式（１）を参照すると、画像の中央から端部まで距離Ｗｅｄｇｅは、１４６．２ｍｍとなる。従って、ステレオ内視鏡１００の被写体深度が５０から８５ｍｍであるとすると、距離ＷＤが５０ｍｍである場合には、画像の中央付近でフォーカスが合ったとしても、画像の端部（距離Ｗｅｄｇｅ＝１４６．２ｍｍ）では、被写体深度の最大値８５ｍｍを超えることから、フォーカスが合わない可能性がある。そこで、本実施形態においては、第１の実施形態における調整に加えて、フォーカスの調整を行うこととする。以下に、本実施形態の詳細を順次説明する。
【0125】
＜５．１ 制御システム２、ステレオ内視鏡１００及び制御部２００の詳細構成例＞
なお、本実施形態に係る制御システム２、ステレオ内視鏡１００及び制御部２００は、第１の実施形態に係る制御システム２、ステレオ内視鏡１００及び制御部２００と共通するため、ここでは、本実施形態に係る制御システム２、ステレオ内視鏡１００及び制御部２００の詳細構成についての説明を省略する。
なお、本実施形態に係る制御システム２、ステレオ内視鏡１００及び制御部２００は、第１の実施形態に係る制御システム２、ステレオ内視鏡１００及び制御部２００と共通するため、ここでは、本実施形態に係る制御システム２、ステレオ内視鏡１００及び制御部２００の詳細構成についての説明を省略する。
【0126】
＜５．２ 制御方法＞
次に、図１２から図１５を参照して、本実施形態に係る制御方法を説明する。図１２は、本実施形態に係る制御方法のフローチャートであり、図１３は、本実施形態を説明するための説明図である。また、図１４及び図１５は、本実施形態における制御方法を説明するためのグラフであり、詳細には、広角画像の中心からの距離と、光量との関係を示すグラフである。
次に、図１２から図１５を参照して、本実施形態に係る制御方法を説明する。図１２は、本実施形態に係る制御方法のフローチャートであり、図１３は、本実施形態を説明するための説明図である。また、図１４及び図１５は、本実施形態における制御方法を説明するためのグラフであり、詳細には、広角画像の中心からの距離と、光量との関係を示すグラフである。
【0127】
詳細には、図１２に示すように、本実施形態に係る制御方法は、ステップＳ２０１からステップＳ２１２までのステップを主に含むことができる。以下に、本実施形態に係るこれら各ステップの詳細について説明する。
【0128】
まずは、図１２に示すステップＳ２０１からステップＳ２０７は、図６に示される第１の実施形態に係る制御方法のステップＳ１０１からステップＳ１０７と共通するため、ここではステップＳ２０１からステップＳ２０７の説明を省略する。また、ステップＳ２０７の時点では、例えば、図１３の左下側に示すような広角画像が得られたものとする。
【0129】
次に、制御システム２は、広角画像の中央部と切り出し範囲とが、フォーカスが合う位置にあるかどうか判断を行う（ステップＳ２０８）。制御システム２は、広角画像の中央部と切り出し範囲とがフォーカスが合う位置にある場合（ステップＳ２０８：Ｙｅｓ）には、ステップＳ２１１へ進み、広角画像の中央部と切り出し範囲とがフォーカスが合う位置にない場合（ステップＳ２０８：Ｎｏ）には、ステップＳ２０９へ進む。
【0130】
例えば、ステレオ内視鏡１００の被写体深度の最大値が８５ｍｍである場合には、フォーカスが合う位置を広角画像の中心からの距離（ピクセルの数で当該距離を表現）で表現すると、下記の式（２）のようになる。
【0131】
【数2】
【0132】
例えば、図１４は、広角画像の中央部と端部との光量を示しており、詳細には、横軸が、広角画像の中央からの距離を示し、縦軸が、中央部の光量（三角の印で示される）を１とした場合の相対光量を示している。また、図１４のグラフの上側のエリアは、フォーカスが合わないエリアを示し、図１４のグラフの下側のエリアも、フォーカスが合わないエリアを示す。そして、これら２つのエリアに挟まれているエリアが、フォーカスが合うエリアとなる。
【0133】
【0134】
そこで、制御システム２は、広角画像の中央部と切り出し範囲の両方でフォーカスが合う位置になるように、ステレオ内視鏡１００（アーム部１１）の目標姿勢（位置、角度）を演算、決定し、さらには、ステレオ内視鏡１００のイメージセンサのフォーカスの調整量を、演算、決定する（ステップＳ２０９）。
【0135】
次に、制御システム２は、ステップＳ２０９で決定された目標姿勢に従って、ステレオ内視鏡１００（アーム部１１）の姿勢（位置、角度）を変更する（ステップＳ２１０）。詳細には、ステレオ内視鏡１００の姿勢を変更することにより、図１３の右側に示されるような広角画像及び切り出し範囲に変更される。より具体的には、例えば、図１５に示すように、ステレオ内視鏡１００の体内への挿入量を変更して、ステレオ内視鏡１００と被写体（例えば、医療用器具）との距離ＷＤを大きくすることにより（ＷＤ＝５２．５からＷＤ＝５５へ変更）、広角画像の中央部（三角の印で示される）と切り出し範囲（丸印で示される）の両方が、フォーカスが合う位置になる。
【0136】
次に、制御システム２は、ステップＳ２０９で決定されたフォーカスの調整量に従って、イメージセンサのフォーカスを設定する（ステップＳ２１１）。
【0137】
なお、本実施形態においては、ステレオ内視鏡１００（アーム部１１）の姿勢（位置、角度）と、イメージセンサのフォーカスとの両方を調整することに限定されるものではない。本実施形態においては、ステレオ内視鏡１００の姿勢の調整だけで、広角画像の中央部と切り出し範囲の両方でフォーカスが合う位置にすることができれば、イメージセンサのフォーカスの調整を省略してもよい。
【0138】
【0139】
以上のように、本実施形態においては、第１の実施形態における調整に加えて、フォーカスの調整を行う。このようにすることで、本実施形態によれば、光学画像と切り出し範囲の画像との視認性をより好適にすることができる。
【0140】
本実施形態においては、ステレオ内視鏡１００（アーム部１１）の姿勢を目標姿勢に調整した場合に、切り出し範囲の画像の倍率を維持したままだと切り出し範囲の画像内の被写体が小さくなり、当該被写体の視認性が悪くなる場合がある。そこで、本実施形態においては、倍率演算部２０５は、術切り出し範囲の画像の好適な拡大倍率を演算し、切り出し範囲の画像を演算で得られた拡大倍率の画像にすることにより、切り出し範囲の画像の視認性を向上させることができる。
【0141】
より具体的には、倍率演算部２０５は、切り出し範囲の画像の拡大倍率Ｓを、ステレオ内視鏡１００と被写体（例えば、医療用器具）との距離ＷＤを含む以下の数式（３）に従って、演算することができる。
【0142】
【数3】
【0143】
そして、倍率演算部２０５は、上記数式（３）に従った演算で得られた拡大倍率Ｓに基づいて、切り出し範囲の画像を演算で得られた拡大倍率の画像にすることにより、切り出し範囲の画像の視認性を向上させることができる。
【0144】
＜＜６． まとめ＞＞
以上、説明したように、本開示の実施形態においては、広角画像（第１の画像）及び切り出し範囲の画像（第２の画像）の光量分布に基づいて、ステレオ内視鏡１００（アーム部１１）の姿勢を調整することにより、切り出し範囲の画像の明るさを好適にすることができる。従って、本開示の実施形態によれば、切り出し範囲の画像の視認性をより好適にすることができる。
以上、説明したように、本開示の実施形態においては、広角画像（第１の画像）及び切り出し範囲の画像（第２の画像）の光量分布に基づいて、ステレオ内視鏡１００（アーム部１１）の姿勢を調整することにより、切り出し範囲の画像の明るさを好適にすることができる。従って、本開示の実施形態によれば、切り出し範囲の画像の視認性をより好適にすることができる。
【0145】
＜＜７． ハードウェア構成＞＞
上述してきた各実施形態に係る制御部２００等の情報処理装置は、例えば図１６に示すような構成のコンピュータ１０００によって実現される。以下、本開示の実施形態に係る制御部２００を例に挙げて説明する。図１６は、制御部２００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
上述してきた各実施形態に係る制御部２００等の情報処理装置は、例えば図１６に示すような構成のコンピュータ１０００によって実現される。以下、本開示の実施形態に係る制御部２００を例に挙げて説明する。図１６は、制御部２００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
【0146】
ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に保存されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に保存されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
【0147】
ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を保存する。
【0148】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る制御プログラムを記録する記録媒体である。
【0149】
通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
【0150】
入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、コンピュータ読み取り可能な所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ ｃｈａｎｇｅ ｒｅｗｒｉｔａｂｌｅ Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ-Ｏｐｔｉｃａｌ ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0151】
例えば、コンピュータ１０００が本開示の実施形態に係る制御部２００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた画像処理プログラムを実行することにより、演算部２０１等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る制御プログラムや、記憶部６０内のデータが保存されてもよい。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置から情報処理プログラムを取得してもよい。
【0152】
また、本実施形態に係る制御部２００は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る制御部２００は、例えば、複数の装置により本実施形態に係る制御システムとして実現することも可能である。
【0153】
以上、制御部２００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。
【0154】
＜＜８． 補足＞＞
なお、先に説明した本開示の実施形態は、例えば、上記で説明したような制御装置又は制御システムで実行される制御方法、制御システム又は制御装置を機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、当該プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。
なお、先に説明した本開示の実施形態は、例えば、上記で説明したような制御装置又は制御システムで実行される制御方法、制御システム又は制御装置を機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、当該プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。
【0155】
また、上述した本開示の実施形態の制御方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法により処理されていてもよい。
【0156】
上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0157】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0158】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0159】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0160】
なお、本技術は以下のような構成も取ることができる。
（１）
アーム部に支持された医療用観察装置による第１の画像から第２の画像を切り出す切り出し範囲を設定する範囲設定部と、
前記第１の画像の光量分布及び前記第２の画像の光量分布を取得する光量取得部と、
前記医療用観察装置の被写体と当該医療用観察装置との間の距離を示す距離情報を取得する距離取得部と、
前記第１及び第２の画像の光量分布と、前記距離情報とに基づき、前記アーム部を制御するアーム制御部と、
を備える、医療用アーム制御システム。
（２）
前記光量取得部は、前記第１の画像の光量分布から前記第２の画像の光量分布を取得する、上記（１）に記載の医療用アーム制御システム。
（３）
前記第１及び第２の画像の光量分布と、前記距離情報とに基づき、前記医療用観察装置のイメージセンサのゲインを制御するセンサ制御部と、
をさらに備える、上記（１）又は（２）に記載の医療用アーム制御システム。
（４）
前記第２の画像の画角は、前記第１の画像の画角に比べて狭い、上記（１）～（３）のいずれか１つに記載の医療用アーム制御システム。
（５）
前記医療用観察装置は広角内視鏡である、上記（１）～（４）のいずれか１つに記載の医療用アーム制御システム。
（６）
前記医療用観察装置は、ステレオ内視鏡であり、
前記距離取得部は、前記ステレオ内視鏡による２つの前記第１の画像に基づいて、前記距離情報を取得する、
上記（１）～（５）のいずれか１つに記載の医療用アーム制御システム。
（７）
測距装置をさらに備える、
上記（１）～（５）のいずれか１つに記載の医療用アーム制御システム。
（８）
前記測距装置は、ＴｏＦ方式又はストラクチャードライト方式を用いて測距を行う、上記（７）に記載の医療用アーム制御システム。
（９）
前記第１の画像の歪を補正する補正部をさらに備える、上記（１）～（８）のいずれか１つに記載の医療用アーム制御システム。
（１０）
前記医療用観察装置のフォーカスを自動調整するフォーカス調整部をさらに備える、上記（１）～（９）のいずれか１つに記載の医療用アーム制御システム。
（１１）
前記第２の画像の倍率を自動調整する倍率調整部をさらに備える、上記（１）～（１０）のいずれか１つに記載の医療用アーム制御システム。
（１２）
前記アーム部の姿勢を認識する姿勢認識部をさらに備える、
上記（１）～（１１）のいずれか１つに記載の医療用アーム制御システム。
（１３）
前記姿勢認識部は、前記第１の画像に基づいて、前記アーム部の姿勢を認識する、
上記（１２）に記載の医療用アーム制御システム。
（１４）
前記姿勢認識部は、前記アーム部に設けられた慣性計測装置からのセンシングデータ、又は、前記アーム部に含まれる複数の要素の長さ及び角度に基づいて、前記アーム部の姿勢を認識する、上記（１２）に記載の医療用アーム制御システム。
（１５）
前記第１の画像に基づいて、医療用器具を認識する器具認識部をさらに備える、上記（１２）～（１４）のいずれか１つに記載の医療用アーム制御システム。
（１６）
前記範囲設定部は、前記距離情報、前記アーム部の姿勢及び前記医療用器具のうちの少なくとも１つの情報に基づいて、前記第２の画像を切り出す前記切り出し範囲を設定する、上記（１５）に記載の医療用アーム制御システム。
（１７）
前記アーム部をさらに備える、上記（１）～（１６）のいずれか１つに記載の医療用アーム制御システム。
（１８）
医療用アーム制御装置により、
アーム部に支持された医療用観察装置による第１の画像から第２の画像を切り出す切り出し範囲を設定し、
前記第１の画像の光量分布及び前記第２の画像の光量分布を取得し、
前記医療用観察装置の被写体と当該医療用観察装置との間の距離を示す距離情報を取得し、
前記第１及び第２の画像の光量分布と、前記距離情報とに基づき、前記アーム部を制御する、
ことを含む、
医療用アーム制御方法。
（１９）
コンピュータを、
アーム部に支持された医療用観察装置による第１の画像から第２の画像を切り出す切り出し範囲を設定する範囲設定部と、
前記第１の画像の光量分布及び前記第２の画像の光量分布を取得する光量取得部と、
前記医療用観察装置の被写体と当該医療用観察装置との間の距離を示す距離情報を取得する距離取得部と、
前記第１及び第２の画像の光量分布と、前記距離情報とに基づき、前記アーム部を制御するアーム制御部と、
として機能させる、プログラム。
（１）
アーム部に支持された医療用観察装置による第１の画像から第２の画像を切り出す切り出し範囲を設定する範囲設定部と、
前記第１の画像の光量分布及び前記第２の画像の光量分布を取得する光量取得部と、
前記医療用観察装置の被写体と当該医療用観察装置との間の距離を示す距離情報を取得する距離取得部と、
前記第１及び第２の画像の光量分布と、前記距離情報とに基づき、前記アーム部を制御するアーム制御部と、
を備える、医療用アーム制御システム。
（２）
前記光量取得部は、前記第１の画像の光量分布から前記第２の画像の光量分布を取得する、上記（１）に記載の医療用アーム制御システム。
（３）
前記第１及び第２の画像の光量分布と、前記距離情報とに基づき、前記医療用観察装置のイメージセンサのゲインを制御するセンサ制御部と、
をさらに備える、上記（１）又は（２）に記載の医療用アーム制御システム。
（４）
前記第２の画像の画角は、前記第１の画像の画角に比べて狭い、上記（１）～（３）のいずれか１つに記載の医療用アーム制御システム。
（５）
前記医療用観察装置は広角内視鏡である、上記（１）～（４）のいずれか１つに記載の医療用アーム制御システム。
（６）
前記医療用観察装置は、ステレオ内視鏡であり、
前記距離取得部は、前記ステレオ内視鏡による２つの前記第１の画像に基づいて、前記距離情報を取得する、
上記（１）～（５）のいずれか１つに記載の医療用アーム制御システム。
（７）
測距装置をさらに備える、
上記（１）～（５）のいずれか１つに記載の医療用アーム制御システム。
（８）
前記測距装置は、ＴｏＦ方式又はストラクチャードライト方式を用いて測距を行う、上記（７）に記載の医療用アーム制御システム。
（９）
前記第１の画像の歪を補正する補正部をさらに備える、上記（１）～（８）のいずれか１つに記載の医療用アーム制御システム。
（１０）
前記医療用観察装置のフォーカスを自動調整するフォーカス調整部をさらに備える、上記（１）～（９）のいずれか１つに記載の医療用アーム制御システム。
（１１）
前記第２の画像の倍率を自動調整する倍率調整部をさらに備える、上記（１）～（１０）のいずれか１つに記載の医療用アーム制御システム。
（１２）
前記アーム部の姿勢を認識する姿勢認識部をさらに備える、
上記（１）～（１１）のいずれか１つに記載の医療用アーム制御システム。
（１３）
前記姿勢認識部は、前記第１の画像に基づいて、前記アーム部の姿勢を認識する、
上記（１２）に記載の医療用アーム制御システム。
（１４）
前記姿勢認識部は、前記アーム部に設けられた慣性計測装置からのセンシングデータ、又は、前記アーム部に含まれる複数の要素の長さ及び角度に基づいて、前記アーム部の姿勢を認識する、上記（１２）に記載の医療用アーム制御システム。
（１５）
前記第１の画像に基づいて、医療用器具を認識する器具認識部をさらに備える、上記（１２）～（１４）のいずれか１つに記載の医療用アーム制御システム。
（１６）
前記範囲設定部は、前記距離情報、前記アーム部の姿勢及び前記医療用器具のうちの少なくとも１つの情報に基づいて、前記第２の画像を切り出す前記切り出し範囲を設定する、上記（１５）に記載の医療用アーム制御システム。
（１７）
前記アーム部をさらに備える、上記（１）～（１６）のいずれか１つに記載の医療用アーム制御システム。
（１８）
医療用アーム制御装置により、
アーム部に支持された医療用観察装置による第１の画像から第２の画像を切り出す切り出し範囲を設定し、
前記第１の画像の光量分布及び前記第２の画像の光量分布を取得し、
前記医療用観察装置の被写体と当該医療用観察装置との間の距離を示す距離情報を取得し、
前記第１及び第２の画像の光量分布と、前記距離情報とに基づき、前記アーム部を制御する、
ことを含む、
医療用アーム制御方法。
（１９）
コンピュータを、
アーム部に支持された医療用観察装置による第１の画像から第２の画像を切り出す切り出し範囲を設定する範囲設定部と、
前記第１の画像の光量分布及び前記第２の画像の光量分布を取得する光量取得部と、
前記医療用観察装置の被写体と当該医療用観察装置との間の距離を示す距離情報を取得する距離取得部と、
前記第１及び第２の画像の光量分布と、前記距離情報とに基づき、前記アーム部を制御するアーム制御部と、
として機能させる、プログラム。
【符号の説明】
【0161】
１ 医療用観察システム
２ 制御システム
１０ ロボットアーム装置
１１ アーム部
１１ａ 関節部
１２ 撮像部
１３ 光源部
２０、２００ 制御部
２１、２１０ 画像処理部
２２ 撮像制御部
２３ アーム制御部
２５ 受付部
２６ 表示制御部
４０ 提示装置
６０ 記憶部
１００ ステレオ内視鏡
１０２ａ、１０２ｂ チャネル
１０４ａ、１０４ｂ ＣＣＵ
１２２ａ、１２２ｂ リレーレンズ
１２４ ライトガイド
２０１ 演算部
２０２ 姿勢演算部
２０３ 駆動制御部
２０４ ゲイン演算部
２０５ 倍率演算部
２０６ フォーカス演算部
２１２ａ、２１２ｂ フレームメモリ
２１４ａ、２１４ｂ 歪み補正部
２１６ａ、２１６ｂ 切り出し・拡大制御部
２２０ 画像認識部
２２２ Ｄｅｐｔｈ演算部
２２４ 光量取得部
２２６ 器具認識部
２ 制御システム
１０ ロボットアーム装置
１１ アーム部
１１ａ 関節部
１２ 撮像部
１３ 光源部
２０、２００ 制御部
２１、２１０ 画像処理部
２２ 撮像制御部
２３ アーム制御部
２５ 受付部
２６ 表示制御部
４０ 提示装置
６０ 記憶部
１００ ステレオ内視鏡
１０２ａ、１０２ｂ チャネル
１０４ａ、１０４ｂ ＣＣＵ
１２２ａ、１２２ｂ リレーレンズ
１２４ ライトガイド
２０１ 演算部
２０２ 姿勢演算部
２０３ 駆動制御部
２０４ ゲイン演算部
２０５ 倍率演算部
２０６ フォーカス演算部
２１２ａ、２１２ｂ フレームメモリ
２１４ａ、２１４ｂ 歪み補正部
２１６ａ、２１６ｂ 切り出し・拡大制御部
２２０ 画像認識部
２２２ Ｄｅｐｔｈ演算部
２２４ 光量取得部
２２６ 器具認識部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】