IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ カシオ計算機株式会社の特許一覧

特許7517305照明制御装置、撮像装置、照明制御方法及びプログラム
<>
  • 特許-照明制御装置、撮像装置、照明制御方法及びプログラム 図1
  • 特許-照明制御装置、撮像装置、照明制御方法及びプログラム 図2
  • 特許-照明制御装置、撮像装置、照明制御方法及びプログラム 図3
  • 特許-照明制御装置、撮像装置、照明制御方法及びプログラム 図4
  • 特許-照明制御装置、撮像装置、照明制御方法及びプログラム 図5
  • 特許-照明制御装置、撮像装置、照明制御方法及びプログラム 図6
  • 特許-照明制御装置、撮像装置、照明制御方法及びプログラム 図7
  • 特許-照明制御装置、撮像装置、照明制御方法及びプログラム 図8
  • 特許-照明制御装置、撮像装置、照明制御方法及びプログラム 図9
  • 特許-照明制御装置、撮像装置、照明制御方法及びプログラム 図10
  • 特許-照明制御装置、撮像装置、照明制御方法及びプログラム 図11
  • 特許-照明制御装置、撮像装置、照明制御方法及びプログラム 図12
  • 特許-照明制御装置、撮像装置、照明制御方法及びプログラム 図13
  • 特許-照明制御装置、撮像装置、照明制御方法及びプログラム 図14
  • 特許-照明制御装置、撮像装置、照明制御方法及びプログラム 図15
  • 特許-照明制御装置、撮像装置、照明制御方法及びプログラム 図16
  • 特許-照明制御装置、撮像装置、照明制御方法及びプログラム 図17
  • 特許-照明制御装置、撮像装置、照明制御方法及びプログラム 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-08
(45)【発行日】2024-07-17
(54)【発明の名称】照明制御装置、撮像装置、照明制御方法及びプログラム
(51)【国際特許分類】
   H05B 47/125 20200101AFI20240709BHJP
   H05B 47/165 20200101ALI20240709BHJP
   H05B 47/155 20200101ALI20240709BHJP
   F21S 2/00 20160101ALI20240709BHJP
   F21V 33/00 20060101ALI20240709BHJP
   A61B 1/303 20060101ALI20240709BHJP
   A61B 1/06 20060101ALI20240709BHJP
   G03B 15/03 20210101ALI20240709BHJP
   G03B 7/091 20210101ALI20240709BHJP
   G03B 15/05 20210101ALI20240709BHJP
   F21Y 105/18 20160101ALN20240709BHJP
   F21Y 115/10 20160101ALN20240709BHJP
   F21W 131/20 20060101ALN20240709BHJP
【FI】
H05B47/125
H05B47/165
H05B47/155
F21S2/00 610
F21V33/00 400
A61B1/303
A61B1/06 610
G03B15/03 W
G03B15/03 X
G03B15/03 F
G03B7/091
G03B15/05
F21Y105:18
F21Y115:10
F21W131:20
【請求項の数】 9
(21)【出願番号】P 2021179108
(22)【出願日】2021-11-02
(62)【分割の表示】P 2020054891の分割
【原出願日】2020-03-25
(65)【公開番号】P2022028704
(43)【公開日】2022-02-16
【審査請求日】2023-03-23
(73)【特許権者】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(72)【発明者】
【氏名】吉田 徹
(72)【発明者】
【氏名】松尾 勝幸
【審査官】山崎 晶
(56)【参考文献】
【文献】特表2016-504067(JP,A)
【文献】特表2019-534093(JP,A)
【文献】米国特許出願公開第2019/0246873(US,A1)
【文献】米国特許出願公開第2016/0073853(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H05B 47/125
H04N 23/74
H04N 23/56
H05B 47/165
H05B 47/155
F21S 2/00
F21V 33/00
A61B 1/303
A61B 1/06
G03B 15/03
G03B 7/091
G03B 15/05
F21Y 105/18
F21Y 115/10
F21W 131/20
(57)【特許請求の範囲】
【請求項1】
対象に連なる孔部に挿入された挿入部を前記対象とともに撮像装置で撮像する対象撮像を行う場合における前記対象撮像に関係する対象撮像関係データを取得
前記取得された対象撮像関係データにおける基準軸に対する前記挿入部の角度に基づく制御用データを取得
前記取得された制御用データに基づいて、光源の照射状態を制御する、
制御部を備える照明制御装置。
【請求項2】
前記対象撮像関係データは、前記対象撮像により取得される撮像画像の画像データであり、
前記挿入部における前記孔部への挿入方向に直交する断面は、略楕円状形状であり、
前記制御部は、前記挿入部の角度データとして、光軸に直交する方向に延びる基線に対する前記挿入部の前記断面の長軸又は短軸の角度を取得する、
請求項に記載の照明制御装置。
【請求項3】
前記制御部は、前記光源としての複数の光源の照射状態を制御することによって、前記複数の光源から、前記対象を照明するための対象照明用光源を選択し、前記選択した対象照明用光源を発光させる、
請求項1又は2に記載の照明制御装置。
【請求項4】
前記光源は、前記光源の光の照射方向を変更可能に構成されており、
前記制御部は、前記光源の照射状態として前記光源の照射方向を制御する、
請求項1からのいずれか1項に記載の照明制御装置。
【請求項5】
前記挿入部は膣鏡であり、前記対象は子宮頸部である、
請求項1からのいずれか1項に記載の照明制御装置。
【請求項6】
前記基準軸は、前記撮像装置の撮像素子の略中心を通過する軸であることを特徴とする請求項1から5のいずれか1項に記載の照明制御装置。
【請求項7】
撮像素子と、
対象からの光を前記撮像素子に集光するレンズと、
前記レンズの光軸周りに設けられた、前記対象を照明する複数の光源と、
請求項1から6のいずれか1項に記載の照明制御装置と、を備え、
前記照明制御装置により前記複数の光源の照射状態を制御した状態で、前記対象を前記撮像素子により撮影する
像装置。
【請求項8】
対象に連なる孔部に挿入された挿入部を前記対象とともに撮像装置で撮像する対象撮像を行う場合における前記対象撮像に関係する対象撮像関係データを取得するデータ取得ステップと、
前記取得された対象撮像関係データにおける基準軸に対する前記挿入部の角度に基づく制御用データを取得する取得ステップと、
前記取得された制御用データに基づいて、光源の照射状態を制御する照明制御ステップと、
含む照明制御方法。
【請求項9】
コンピュータ
対象に連なる孔部に挿入された挿入部を前記対象とともに撮像装置で撮像する対象撮像を行う場合における前記対象撮像に関係する対象撮像関係データを取得するデータ取得手段
前記取得された対象撮像関係データにおける基準軸に対する前記挿入部の角度に基づく制御用データを取得する制御用データ取得手段、
前記取得された制御用データに基づいて、光源の照射状態を制御する照明制御手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、照明制御装置、撮像装置、照明制御方法及びプログラムに関する。
【背景技術】
【0002】
子宮頸部を撮影する装置としてコルポスコピーカメラが開発されている。例えば特許文献1に開示されたコルポスコピーカメラでは、その光学ユニットの周りに、複数の光源(18)がリング状に配置されており、これらの光源と光学ユニットの間に、4つの光ビーム放射ユニットがリング状に配置されている。また、この従来のコルポスコピーカメラでは、これらの光ビーム放射ユニットで放射された光で生成される光スポットに対し、コルポスコピーカメラで撮像された子宮頸部が写った画像を解析して、子宮頸部に対するコルポスコピーカメラの配置に関する情報が決定され、決定された情報に基づいて、コルポスコピーカメラのユーザに指示を提供することによって、ユーザによるコルポスコピーカメラの配置がサポートされる。
【先行技術文献】
【特許文献】
【0003】
【文献】特表2017-515588号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に開示されているコルポスコピーカメラでは、ユーザが、コルポスコピーカメラから提供された指示に基づいてコルポスコピーカメラの位置を調整することにより、光源からの光が子宮頸部に適切に照射される。しかし、逆に言えば、光源からの光で子宮頸部を適切に照明するには、ユーザが当該指示に基づいてコルポスコピーカメラの位置を調整する必要がある。
【0005】
本発明は、上記実情に鑑みてなされたものであり、ユーザが位置を調整しなくても、撮影対象を適切に照明することができる照明制御装置、撮像装置、照明制御方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明に係る照明制御装置は、
対象に連なる孔部に挿入された挿入部を前記対象とともに撮像装置で撮像する対象撮像を行う場合における前記対象撮像に関係する対象撮像関係データを取得
前記取得された対象撮像関係データにおける基準軸に対する前記挿入部の角度に基づく制御用データを取得
前記取得された制御用データに基づいて、光源の照射状態を制御する、
制御部を備える。
【発明の効果】
【0007】
本発明によれば、ユーザが位置を調整しなくても、撮影対象を適切に照明することができる。
【図面の簡単な説明】
【0008】
図1】第1実施形態に係る撮像装置の機能構成例を示す図である。
図2】第1実施形態に係る撮像装置の外観の一例を示す図である。
図3】第1実施形態に係る膣鏡の外観の一例と、撮影時の膣鏡と撮像装置との位置関係を説明する図である。
図4】(a)は膣鏡を入口側から見た図であり、(b)は膣の肉壁が張り出している様子を説明する図である。
図5】(a)は第1実施形態に係る撮像装置で膣鏡を通して子宮頸部を撮影する場合の光の照射の様子を説明する模式図であり、(b)は膣鏡の向きを膣鏡の入口側から見た図で説明する図であり、(c)は子宮頸部の表面における光の照射状態の一例を説明する図である。
図6】(a)は、膣鏡を図5に対して90°回転させた状態で、第1実施形態に係る撮像装置により膣鏡を通して子宮頸部を撮影する場合の光の照射の様子を説明する図であり、(b)は図5に対して90°回転させた膣鏡の向きを膣鏡の入口側から見た図で説明する図であり、(c)は膣鏡を図5に対して90°回転させた場合の子宮頸部の表面における光の照射状態の一例を説明する図である。
図7】第1実施形態に係る照明制御処理のフローチャートである。
図8】楕円状形状の中点の座標や長軸の角度の算出を説明する図である。
図9】対象照明用光源の選択を説明する図である。
図10】第2実施形態に係る学習処理のフローチャートである。
図11】第2実施形態に係る照明制御処理のフローチャートである。
図12】第3実施形態に係る撮像装置の機能構成例を示す図である。
図13】(a)は第3実施形態に係る撮像装置の外観の一例を示す図であり、(b)はプリズム部の一例を説明する図であり、(c)はプリズム部のA-A’における断面図であり、(d)はプリズム部のC-C’における断面図であり、(e)はプリズム部のE-E’における断面図であり、(f)はプリズム部のG-G’における断面図である。
図14】(a)は第3実施形態に係る撮像装置で膣鏡を通して子宮頸部を撮影する場合の光の照射の様子を説明する図であり、(b)は子宮頸部の表面における光の照射状態の一例を説明する図である。
図15】第3実施形態に係る照明制御処理のフローチャートである。
図16】第3実施形態の変形例に係る照明制御処理のフローチャートである。
図17】(a)は撮像装置で膣鏡を通して子宮頸部を撮影する場合において、撮像装置の光軸が延びる方向から見て互いに対向する発光部を発光させたときの光の照射の様子を説明する図であり、(b)は発光部を図17(a)に示すように発光させたときの子宮頸部の表面における光の照射状態の一例を説明する図である。
図18】被写体までの距離を測定する方法を説明する図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を参照して説明する。なお、各図面において、同一または相当部分には、同一符号を付す。
【0010】
(第1実施形態)
第1実施形態に係る撮像装置200は、撮影対象として例えば、人間の膣の奥にある子宮頸部を撮影する装置であって、いわゆるコルポスコピーカメラである。撮像装置200は、図1に示すように、レンズ210と、撮像部220と、発光部230と、照明制御装置100と、を備える。撮像装置200は、照明制御装置100によって選択された発光部230から子宮頸部に光を照射し、子宮頸部で反射してレンズ210を通った光を、撮像部220で撮像することにより、子宮頸部を撮影する。
【0011】
また、撮像装置200は、外観上、図2に示すように、撮像装置200の光軸(レンズ210の光軸)周りに光源として、発光部230を複数(例えば図2に示すように8個の発光部230a~230h)備える。そして、撮像装置200は、操作部130として、発光解除ボタン131、フォーカスキー132、シャッタキー133を備える。なお、通常、撮像装置200は、発光解除ボタン131が存在する側を上にして、撮影対象にレンズ210を向けて撮影が行われるので、便宜上、レンズ210の中心から見て、発光部230aの方向を上、発光部230cの方向を右、発光部230eの方向を下、発光部230gの方向を左とする。
【0012】
ユーザが発光解除ボタン131を押すと、発光部230による光の照射が解除される。また、フォーカスキー132は、レンズの焦点を合わせる際のフォーカス距離(合焦する被写体までの距離)の検索方向を通常とは逆に設定するものである。レンズの焦点の調整については、通常、無限遠から近距離に向かって合焦する被写体までの距離が検索される。しかし、フォーカスキー132が押されると、近距離から無限遠に向かって合焦する被写体までの距離(フォーカス距離)が検索される。合焦の方式は任意だが、例えば、位相差AF(AutoFocus)方式やコントラストAF方式が用いられる。このフォーカスキー132は後述する照明制御処理を開始させるトリガとしても使用される。また、ユーザがシャッタキー133が押すと、撮像部220で撮像が行われる。
【0013】
レンズ210は、子宮頸部からの光を、撮像部220の備える撮像素子222に集光する。レンズ210は、図18に示すように、被写体601からの光が撮像素子222上で焦点を結ぶように焦点距離Fやレンズの繰り出し量Kを調整する機能を備える。レンズの結像公式に基づき、レンズ210から被写体601までのフォーカス距離Dと、レンズ210の焦点距離F及び繰り出し量Kとの間には、以下の式(1)の関係が成り立つ。
1/D+1/(F+K)=1/F …(1)
したがって、フォーカス距離Dは、例えば以下の式(2)で求めることができる。
D=F(F+K)/K …(2)
【0014】
撮像部220は、例えばCCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子を備え、レンズ210を通った光を電気信号に変換することによって、画像を撮像する。
【0015】
発光部230は、レンズ210の光軸周りにLED(Light Emitting Diode)等の発光素子を複数備え、撮影対象に光を照射する。発光部230は光源として機能する。
【0016】
照明制御装置100は、図1に示すように、制御部110と、記憶部120と、操作部130と、を備える。
【0017】
制御部110は、CPU(Central Processing Unit)等で構成され、記憶部120に記憶されたプログラムを実行することにより、照明制御装置100及び撮像装置200を制御する。
【0018】
記憶部120は、ROM(Read Only Memory)、RAM(Random Access Memory)等を備え、制御部110のCPUが実行するプログラム、及び必要なデータ等を記憶する。
【0019】
操作部130は、押しボタンスイッチ等のユーザインタフェースであり、ユーザからの操作入力を受け付ける。照明制御装置100は、操作部130として、例えば、図2に示す発光解除ボタン131、フォーカスキー132を備える。
【0020】
撮像装置200で子宮頸部を撮影する際には、ユーザは膣に、図3に示す膣鏡300を、先端側(図3に示すA側)から挿入し、膣鏡300の入口側(図3に示すB側)から膣鏡300を通して、子宮頸部を撮影する。膣鏡300は、上部301と下部302とに分かれており、要部303を支点として先端側を開閉可能であり、膣に挿入した状態において略管状の形状になり、膣から突出している。また、膣鏡300は、膣に挿入した状態で、ねじ(図示せず)により上部301及び下部302の先端側を互いに開くことによって、膣を押し広げる。ユーザは、膣の奥の子宮頸部を、膣鏡300の入口側(上部301及び下部302の先端側と反対側)から上部301と下部302の間の空間を通して、観察することができる。
【0021】
膣鏡300を膣に挿入した状態で膣鏡300を、膣への挿入方向(以下「膣鏡挿入方向」という)における膣鏡300の入口側(膣と反対側)から見ると、図4(a)に示すように、要部303a,303bの付近に凸部が存在するが、(上部301の存在する方向を上、下部302の存在する方向を下、要部303aの存在する方向を左、要部303bの存在する方向を右とすると)おおむね少し左右がひしゃげている。また、膣鏡300における膣鏡挿入方向に直交する断面310(以下、便宜上「膣鏡300の断面310」という)は、楕円状の形状(以下「楕円状形状」という)を有している。ただし、この楕円状形状は数学上定義される楕円に限定されない(したがって、この楕円状形状は略楕円状形状とも呼ばれる)。例えば、図4(a)に示すような、楕円に近い形状も楕円状形状に含まれる。また、膣鏡300が膣内に挿入された状態では、図4(b)に示すように、膣鏡300の上部301と下部302の間の膣鏡300が存在しない部分に膣の肉壁411が突出するため、子宮頸部は、膣鏡300の断面の短軸502が延びる方向よりも長軸501が延びる方向の方が、より広く観察される。なお、図4並びに後述の図5及び図8において、長軸501及び短軸502は、便宜上、膣鏡300の断面よりも長く描かれている。
【0022】
膣鏡300を通して子宮頸部を撮影する場合、子宮頸部は膣の奥にあるため、発光部230からの光を、断面が略楕円状形状の膣鏡300を通して子宮頸部に照射する必要がある。しかし、発光部230が撮像装置200の光軸周りに設けられているため、発光部230の光軸とレンズ210の光軸との間に、ある程度のずれがある。そのため、撮像装置200の画角に子宮頸部を収めつつ、発光部230からの光を子宮頸部全体に適切に照射するのは困難である。
【0023】
例えば、図5(a)に示すように、膣410に挿入された膣鏡300を通して撮像装置200の最上部の発光部230aから子宮頸部420に光を照射する場合を考える。図5(a)及び撮像装置200を二点鎖線で膣鏡300にオーバーラップさせた図5(b)に示すように、膣鏡挿入方向(または撮像装置200の光軸が延びる方向)から見て、膣鏡300の長軸501を、撮像装置(レンズ210)の光軸と発光部230aの光軸とを結ぶ直線に一致させた場合、図5(c)に示すように、子宮頸部420の表面(C面)には発光部230aからの光が届く領域511と、光が届かない影の領域512(ケラレ)とが生じる。
【0024】
この光が届く領域511や影の領域512の面積は、膣鏡300の向き(角度)によって変化する。例えば、図6(b)のように、膣鏡300を図5(b)の状態から90°、膣鏡300の断面の中心から膣鏡挿入方向に延びる軸線周りに回転させて、膣鏡挿入方向から見て、膣鏡300の短軸502を、撮像装置200の光軸と発光部230aの光軸とを結ぶ直線に一致させた場合、図6(a)及び図6(c)に示すように、子宮頸部420の表面(C面)の発光部230aからの光が届く領域511は、図5(c)に示された領域511よりも小さくなる。また、この場合、光が届かない影の領域512(ケラレ)は、図5(c)に示された影の領域512よりも大きくなる。
【0025】
図5(a)及び図6(a)それぞれのC面を比較すれば明らかなように、膣鏡300の向きが図5(b)の向きと図6(b)の向きの間の向きの場合は、光が届く領域511の面積は、図5(c)に示された領域511の面積と図6(c)に示された領域511の面積との間の面積になる。
【0026】
また、図5(a)から明らかなように、膣鏡300の断面310の中心から膣鏡挿入方向に延びる線(以下「膣鏡断面中心線」という。図5(a)においてはレンズ210の光軸503と一致する線である。)と発光部230aの光軸504との最短距離dが小さいほど、発光部230aから子宮頸部420に光が届く領域511の面積は大きくなる。
【0027】
したがって、できるだけ光の届く領域511の面積を大きくするには、制御部110は、撮像装置200の光軸と発光させる発光部230の光軸とを結ぶ直線に対する、膣鏡300の断面の長軸501の角度ができるだけ小さく、また、膣鏡300の断面310の中心と発光部230の光軸との距離ができるだけ小さい発光部230を選択して、点灯させればよい。ここで、膣鏡300の断面310の中心は、便宜上、膣鏡300の2つの要部303a,303bの中点であると考えることができる。
【0028】
上述したような膣鏡300の角度及び断面の中心と影の領域512との関係に鑑み、制御部110は、複数の発光部230a~230hから子宮頸部420を適切に照明できる発光部を選択することによって、発光部230による照射状態を、子宮頸部420を適切に照明できるように制御する。この場合、制御部110は、記憶部120に記憶されたプログラムを実行することにより、図1に示す画像データ取得部111、制御用データ取得部112、光源制御部113及び撮影制御部114として機能する。
【0029】
画像データ取得部111は、撮像部220が出力する電気信号を、撮像部220で撮像した画像の画像データとして取得する。例えば、画像データ取得部111は、子宮頸部420に連なる膣に挿入された膣鏡300を子宮頸部420とともに、撮像部220で撮像する場合において、この撮像(対象撮像)に関係するデータ(対象撮像関係データ)として、撮像部220で撮像した画像の画像データを取得する。画像データ取得部111は、データ取得手段として機能する。
【0030】
制御用データ取得部112は、画像データ取得部111が取得した画像データ(対象撮像関係データ)に基づいて、発光部230による照射状態の制御に用いる制御用データとして、発光部230と膣鏡300との位置関係を表す位置パラメータを取得する。より詳細には、制御用データ取得部112は、後述する照明制御処理により、画像データから上述した楕円状形状の特徴点α及びβを取得し、取得した特徴点α及びβから、位置パラメータとして、後述するy軸(レンズ210の光軸に直交する方向に延びる基線)に対する楕円状形状(後述する膣鏡300の前記断面)の長軸の角度θと、画像データにおけるレンズ210の光軸を基準とした当該楕円状形状の中心との位置関係(特徴点α及びβの中点Oの座標(xc,yc))と、を取得する。制御用データ取得部112は、制御用データ取得手段として機能する。なお、位置パラメータの角度θを取得する際の、レンズ210の光軸に直交する方向に延びる基線は、y軸に限定されずx軸でもよい。また、位置パラメータの角度θは当該基線に対する楕円状形状の長軸の角度に限定されず、当該基線に対する楕円状形状の短軸の角度でもよい。
【0031】
光源制御部113は、制御用データ取得部112が取得した制御用データ(位置パラメータ)に基づいて、撮像装置200の複数の発光部230(230a~230h)(光源)の照射状態を制御する。例えば、光源制御部113は、図4図6を用いて説明した膣鏡300の角度及び断面の中心と影の領域512との関係に鑑み、制御用データと発光部230の照射状態との関係に基づいて構築された制御則に従い、制御用データに基づいて、発光部230の照射状態を制御する。具体的には、複数の発光部230a~230hの中から、位置パラメータに基づいて、子宮頸部を照明するための発光部230(子宮頸部の最も広い範囲に光を照射することができる発光部230)を選択し、選択した発光部230を発光させる。光源制御部113は、発光部230の照射状態を制御する照明制御手段として機能する。
【0032】
撮影制御部114は、光源制御部113により、複数の発光部230(230a~230h)(光源)の照射状態を制御した状態で、撮影対象を撮像部220により撮影させる。撮影制御部114は、撮影制御手段として機能する。
【0033】
次に、図7を参照しながら、制御部110によって実行される照明制御処理について説明する。この処理は、発光部230の発光状態を制御するための処理であり、操作部130を介してユーザから照明制御処理の開始の指示を受けると開始される。例えば、ユーザがフォーカスキー132をONにすると、照明制御処理が開始される。
【0034】
まず、画像データ取得部111は、最も近接した距離から無限遠に向かって焦点の合うフォーカス距離を見つけるために、レンズ210の焦点距離や繰り出し量を変化させていき、最初に合焦するフォーカス距離を検索する(ステップS101)。
【0035】
次に、画像データ取得部111は、合焦したレンズ210を通り撮像部220で撮像された撮像画像(ライブビュー画像)の画像データを取得する(ステップS102)。この撮像画像は、子宮頸部420に連なる膣410に挿入された膣鏡300が、子宮頸部420とともに撮影された画像である。ステップS102は、画像データ取得ステップとも呼ばれる。
【0036】
そして、制御用データ取得部112は、取得した画像データを解析することによって、特徴点α及びβを抽出する(ステップS103)。ここで、特徴点α及びβについて説明する。膣鏡300に撮像装置200を向けて、近接距離から合焦するフォーカス距離を検索し、最初に合焦した画像を撮像することによって、画像データ取得部111は、図4(a)に示すような画像データを取得する。この画像データ中の膣鏡300の断面310において、膣鏡300の要部303a,303bの付近は、真の楕円との差異が大きく、画像的に特徴がある特異な部分なので、画像解析すると特徴点として抽出しやすい。そこで、制御用データ取得部112は、要部303aを特徴点αとして抽出し、要部303bを特徴点βとして抽出する。
【0037】
図7に戻り、次に、制御用データ取得部112は、特徴点α及びβの位置から、ステップS102で取得された撮像画像における膣鏡300の断面310の中心の座標(中心座標)を算出する(ステップS104)。図8に示されるように、この中心座標を規定する座標系は、撮像部220が備える画角に対応して次のように定義される。ただし、図5(b)や図6(b)は、撮像装置200から膣鏡300を見る方向での図なのに対し、図8及び図9は、膣鏡300の方から撮像装置200を見る方向での図としている。
【0038】
まず、撮像装置200の画角221の横方向をx方向、画角221の縦方向をy方向とし、画角221において、x軸及びy軸を、両軸が画角221の中心を通るように定義する。画角221において横方向にX個×縦方向にY個の画素が存在する場合、まず、画角221における最も左上の座標を(1,1)、画素数に対応させて、最も右下の座標を(X,Y)、中心Mのx座標を=X/2(ただしXが奇数の場合はX/2+0.5)、中心Mのy座標=Y/2(ただしYが奇数の場合はY/2+0.5)と定義する。次に、中心Mの座標が(0,0)となるように、x軸及びy軸を定義する。例えば、撮像素子の画素数が横方向(x)に640、縦方向(y)に480であるなら、最も左上の座標は(-319,-239)、最も右下の座標は(320,240)、中心Mの座標は(0,0)と定義される。なお、このように定義すると、横方向の画素数Xや縦方向の画素数Yがいずれも偶数の場合、中心Mの座標の位置は厳密には撮像素子の中心(レンズ210の光軸の位置と一致する)より0.5画素分ずれることになるが、このずれは、非常に小さいため無視する。
【0039】
ステップS104では、制御用データ取得部112は、上述したように定義された座標系(x軸、y軸)において、図8に示す膣鏡300の断面310の中心座標(以下「膣鏡中心座標」という)として、特徴点αと特徴点βの中点Oの座標(xc,yc)を算出する。
【0040】
次に、制御用データ取得部112は、特徴点α及びβから、断面310の長軸501と、上述したように定義されたy軸とが交わる角度を、膣鏡300の角度(向き。以下「膣鏡角度θ」という)として算出する(ステップS105)。具体的には、図8に示すように、特徴点αと特徴点βとを結ぶ直線は、断面310の短軸502に相当し、また、長軸501は、短軸502に直交し、かつ、ステップS104で算出された中点Oを通る。このため、制御用データ取得部112は、特徴点α、特徴点β及び中点Oの座標に基づいて、長軸501を求め、求めた長軸501とy軸とが交わる角度を膣鏡角度θとして算出する。ステップS103からステップS105は、制御用データとして用いられる各種位置パラメータが取得されるステップなので、制御用データ取得ステップとも呼ばれる。
【0041】
なお、図7に示すフローチャートでは省略されているが、ユーザがフォーカスキー132をONにすることによって、照明制御処理が開始された場合は、ステップS105とステップS106との間で、フォーカスキー132をOFFにする処理を行ってもよい。
【0042】
次に、光源制御部113は、ステップS104で算出された膣鏡中心座標とステップS105で算出された膣鏡角度θとに基づき、複数の発光部230a~230hから、子宮頸部420(対象)を照明するための対象照明用光源を選択する(ステップS106)。具体的には、図9に示すように、光源制御部113は、中心Mと、画角221における各発光部230の光軸に対応する座標221a、221b、221c、221d、221e、221f、221g、221hとを結ぶ直線とy軸とが交わる角度に対し±22.5°の範囲を、各発光部230に対応させて設定し、ステップS105で算出した膣鏡角度θがこれらの設定された範囲のうちのどの範囲に入るかを判定する。例えば、膣鏡角度θは、30°の場合、発光部230dに対応する範囲と発光部230hに対応する範囲の2つの範囲に入ることになる。そして光源制御部113は、これらの2つの発光部230d、230hのうち、対応する座標221d、221hが膣鏡中心座標に近い発光部230を、対象照明用光源として選択する。例えば膣鏡中心座標が(xc=-10,yc=100)なら、光源制御部113は、発光部230hを対象照明用光源として選択する。
【0043】
より一般には、光源制御部113は、膣鏡角度θ及び膣鏡中心座標に基づき、以下のように対象照明用光源を選択する。0°<θ≦22.5°又は157.5°<θ≦180°の場合は、yc>0なら発光部230aを、yc≦0なら発光部230eを、それぞれ選択する。22.5°<θ≦67.5°の場合は、yc>0なら発光部230hを、yc≦0なら発光部230dを、それぞれ選択する。67.5°<θ≦112.5°の場合は、xc>0なら発光部230gを、xc≦0なら発光部230cを、それぞれ選択する。112.5°<θ≦157.5°の場合は、yc>0なら発光部230bを、yc≦0なら発光部230fを、それぞれ選択する。
【0044】
なお、ここでは簡単のため、光源制御部113は、各判定において中心座標のxcとycの2つの値のうち、xcとycのいずれか一方を用いて判定しているが、xcとycの両方の値を用いて判定することにより、中心座標(xc,yc)に最も近い位置に対応する発光部230を対象照明用光源として選択してもよい。
【0045】
また、光源制御部113は、上述のような判定処理を行わなくても、制御データ(位置パラメータ)と光源の照射状態との関係を予め定義したテーブルを用いて、光源の照射状態を制御することもできる。このテーブルとしては、例えば、各種位置パラメータ(θ,xc,yc)の値に対して最適な照射状態(対象照明用光源)が定義された4次元テーブル(θ,xc,yc,対象照明用光源)や、各種位置パラメータ(特徴点αのx座標及びy座標,特徴点βのx座標及びy座標)の値に対して最適な照射状態(対象照明用光源)が定義された5次元テーブル(特徴点αのx座標及びy座標,特徴点βのx座標及びy座標,対象照明用光源)等が挙げられる。
【0046】
光源制御部113がこのように対象照明用光源を選択することにより、膣鏡挿入方向から見て、撮像装置200の光軸と発光部230の光軸とを結ぶ直線が膣鏡300の断面310の長軸501にできるだけ一致し、また、膣鏡断面中心線と発光部230の光軸との距離ができるだけ小さい発光部230、すなわち、子宮頸部420の最も広い範囲に光を照射することができる発光部230が選択される。
【0047】
図7に戻り、次に、制御部110は、シャッタキー133がユーザによって押下されるのを待機する(ステップS107)。シャッタキー133が押下されたら、光源制御部113は、ステップS106で選択した対象照明用光源を発光させる(ステップS108)。ステップS106及びステップS108は、照明制御ステップとも呼ばれる。
【0048】
そして、撮影制御部114は、光源制御部113がステップS106で選択した対象照明用光源を発光させた状態で、撮像部220により、子宮頸部420を膣鏡300とともに撮影し(ステップS109)、照明制御処理を終了する。
【0049】
以上説明した照明制御処理により、光源制御部113は、複数の発光部230の中から子宮頸部420の最も広い範囲に光を照射することができる発光部230を対象照明用光源として選択して発光させるので、照明制御装置100は、ユーザが位置を調整しなくても、子宮頸部420を適切に照明することができる。
【0050】
また、光源制御部113は、制御用データ(位置パラメータ)と光源の照射状態(対象照明用光源)との関係に基づいて構築された制御則(図7のステップS106)に従い、発光部230の照射状態を制御するので、照射状態を変更させたい場合でも、当該制御則の修正を容易に行うことができる。
【0051】
また、制御用データ取得部112は、制御用データとして、膣鏡300と子宮頸部420を撮像した撮像画像における膣鏡300の位置を表す位置パラメータを取得するので、膣鏡300と、撮像装置200の光軸周りに設けられた発光部230との位置関係に基づいて、発光部230の照射状態を制御することができる。
【0052】
また、制御用データ取得部112は、膣鏡300の断面310が楕円状形状の場合、制御用データとなる位置パラメータとして、断面310の中心座標や、膣鏡角度θを取得するが、これらの位置パラメータは、膣鏡300を撮像した撮像画像を画像解析することによって、容易に取得することができる。
【0053】
また、光源制御部113は、複数の発光部230から、位置パラメータと対象照明用光源との関係に基づいて構築された判定処理やテーブルに従って、対象照明用光源を選択するので、位置パラメータと対象照明用光源との関係を機械学習させなくても、最適な対象照明用光源を選択することができる。
【0054】
また、撮像装置200は、上述の照明制御装置100によって適切に照明された子宮頸部420等の対象を撮影することができる。
【0055】
(第2実施形態)
上述した第1実施形態では、対象照明用光源の選択に用いる位置パラメータ(例えば、特徴点α、β)の抽出については任意の画像解析技術を用いることができる。しかし、位置パラメータの抽出精度は、画像解析アルゴリズムに依存することになる。一方、機械学習用のデータとして、選択すべき対象照明用光源が正解ラベルとして付与された画像データを大量に用意できれば、それらを学習データとして、例えばCNN(Convolutional Neural Network)を機械学習させることにより、画像解析アルゴリズムを用意しなくても、対象照明用光源を適切に選択できるようになる。このような第2実施形態について説明する。
【0056】
第2実施形態に係る撮像装置200の構成や外観は、第1実施形態と同様であるので、説明を省略する。ただし、第2実施形態に係る制御用データ取得部112は、画像データ取得部111が取得した画像データをそのまま取得する。また、第2実施形態に係る光源制御部113は、CNNを備える。このCNNは、後述する学習処理により、画像データ取得部111が取得した画像データを制御用データとして入力すると、光源の照射状態の目標状態(例えば、子宮頸部420の最も広い範囲に光を照射することができる発光部230)を出力するように機械学習されたニューラルネットワークである。
【0057】
このCNNを学習させる学習処理について、図10を参照して説明する。この処理は、後述する照明制御処理が実行される前に実行を完了している必要がある。また、機械学習用のデータとして、子宮頸部420を膣鏡300とともに撮影した画像の画像データに、その画像が撮影された時の膣鏡300と撮像装置200との位置関係に基づいて決定される発光させるべき対象照明用光源(発光部230a~230hのいずれか)を正解ラベルとして付与したデータ(学習データ)を大量に集めた学習データセットが予め用意されているものとする。この正解ラベルは、実験やシミュレーションによって、各画像データに付与される。
【0058】
まず、制御部110は、学習データセットから学習データを取得する(ステップS201)。そして、取得した学習データでCNNを学習させる(ステップS202)。具体的には、取得した学習データに含まれる画像データをCNNに入力したときに当該CNNから出力される値が、当該画像データに付与されている正解ラベルの値(発光部230a~230hのいずれか)に近づくように、誤差逆伝播法により、CNN内の重み係数を更新する。
【0059】
次に、制御部110は、ステップS201及びS202の処理を所定回数繰り返したか否かを判定する(ステップS203)。この所定回数とは、例えば、学習データセットに含まれる学習データの個数分の回数である。所定回数繰り返していなければ(ステップS203;No)、ステップS201に戻る。所定回数繰り返したなら(ステップS203;Yes)、学習処理を終了する。
【0060】
次に、以上の学習処理によって学習されたCNNを用いた照明制御処理について、図11を参照して説明する。この処理は、操作部130を介してユーザから照明制御処理の開始の指示を受けると開始するが、例えば、ユーザがフォーカスキー132をONにすると、照明制御処理が開始される。
【0061】
まず、画像データ取得部111は、最も近接した距離から無限遠に向かって焦点の合うフォーカス距離を見つけるために、レンズ210の焦点距離や繰り出し量を変化させていき、最初に合焦するフォーカス距離を検索する(ステップS301)。そして、画像データ取得部111は、合焦したレンズ210を通り撮像部220で撮像された撮像画像(ライブビュー画像)の画像データを取得する(ステップS302)。
【0062】
次に、制御用データ取得部112は、ステップS302で取得された画像データを制御用データとして光源制御部113のCNNに入力する(ステップS303)。そして、光源制御部113は、CNNから出力された発光部230を表す値に基づいて、発光部230a~230hのいずれかを、発光させる対象照明用光源として決定する(ステップS304)。そして、制御部110は、シャッタキー133がユーザによって押下されるのを待機する(ステップS305)。シャッタキー133が押下されたら、光源制御部113は、ステップS304で決定された対象照明用光源を発光させる(ステップS306)。
【0063】
そして、撮影制御部114は、光源制御部113がステップS304で決定した対象照明用光源を発光させた状態で、撮像部220により、子宮頸部420を膣鏡300とともに撮影し(ステップS307)、照明制御処理を終了する。
【0064】
第2実施形態に係る照明制御装置100は、位置パラメータが反映された制御用データと光源の照射状態(対象照明用光源)との関係を大量の学習データで機械学習させたニューラルネットワークを用いることにより、例えば、上述の特徴点α及びβを抽出するための画像解析のアルゴリズムを作成しなくても、子宮頸部420を適切に照明することができる。なお、ここでは、機械学習させるモデルとしてCNNを例に挙げて説明したが、SVM(Support Vector Machine)、決定木等を機械学習させて、CNNの代わりに用いてもよい。
【0065】
(第2実施形態の変形例)
上述の第2実施形態では、CNNを機械学習させるための学習データとして、子宮頸部420を膣鏡300とともに撮像した画像の画像データに、その画像が撮像された時の膣鏡300と撮像装置200との位置関係に基づいて決定される対象照明用光源(発光部230a~230hのいずれか)を正解ラベルとして付与したデータを用いた。しかし、機械学習によって対象照明用光源を選択する方法はこれに限定されない。
【0066】
例えば、学習データとして、画像データから特徴点α及びβを出力するための第1学習データと、特徴点α及びβから最適な発光部230を出力するための第2学習データの2種類を用意し、第1学習データで学習されたCNNと、第2学習データで学習されたニューラルネットワークとを用いて対象照明用光源を選択するようにしてもよい。この場合、第1学習データとしては、膣鏡300を子宮頸部とともに撮影した画像の画像データに、その画像における特徴点α及びβそれぞれの座標を正解ラベルとして付与したデータを用いる。そして、第2学習データとしては、特徴点αの座標と特徴点βの座標の組に、そのような特徴点α及びβの座標の場合における最適な対象照明用光源(発光部230a~230hのいずれか)を正解ラベルとして付与したデータを用いる。
【0067】
また、上述の第1学習データを用いて学習されたCNNを用いて特徴点α及びβそれぞれの座標を求めた後は、第1実施形態におけるステップS104以降の処理と同様の処理によって対象照明用光源を選択してもよい。この場合、第1実施形態に係る照明制御処理(図7)のステップS103をCNNで行い、他の処理は、第1実施形態と同様の処理を行えばよい。
【0068】
なお、上述の第1学習データ及び第2学習データは一例に過ぎない。例えば、第1学習データとして、画像データから膣鏡中心座標(xc,yc)や膣鏡角度θを出力するためのデータを用意し、第2学習データとして、膣鏡中心座標(xc,yc)や膣鏡角度θから最適な発光部230を出力するための学習データを用意して、同様の処理を行ってもよい。
【0069】
(第3実施形態)
上述の第1及び第2実施形態に係る照明制御装置100は、レンズ210の周囲に設けられた発光部230の中から最適な発光部230である対象照明用光源を選択して発光させる処理を行っている。ただし、図5(a)に示すように、第1及び第2実施形態に係る発光部230の光軸(発光部230からの光の照射方向に延びるとともにこの光の照射領域の中心を通る線。発光部230aの場合は光軸504)は、レンズ210の光軸503と平行に固定されている。そのため、発光部230aの光のうち最も明るいと考えられる発光部230aの光軸504上の光及びその付近の光は、子宮頸部420に照射されない。そこで、各発光部230の照射方向を変更してその光軸を子宮頸部420に近づけることにより、発光部230からのより明るい光を子宮頸部420に照射させる第3実施形態について説明する。
【0070】
第3実施形態に係る撮像装置201は、図12に示すように、第1実施形態に係る撮像装置200に、駆動部240及びプリズム部250が追加された構成になっている。そして、後述するように、発光部230とプリズム部250とによって、光の照射方向が変更可能な光源が構成される。
【0071】
ただし、第3実施形態に係る制御用データ取得部112と光源制御部113の機能は、第1及び第2実施形態に係るそれらの機能と異なる。これらについては後述する。
【0072】
駆動部240は、ステッピングモータを備え、光源制御部113から指示された角度だけ、プリズム部250を回転させる。
【0073】
プリズム部250は、図13(a)に示すように、発光部230と撮像装置200の撮影対象の間に設置されている。また、プリズム部250は、図13(b)に示すように、光の入射面と出射面とが互いに成す角度が互いに異なる複数のプリズムをリング状に結合した形態になっており、複数のプリズムは、複数の発光部230a~230hと同じ数分、設けられている。ただし、後述するように、発光部230の数とプリズムの数は必ずしも同じである必要はない。また、プリズム部250は、駆動部240によりレンズ210の光軸を中心に回転可能である。
【0074】
図13(b)に示すプリズム部250のうちのプリズム250aを一点鎖線A-A’で切断した断面図を、図13(c)に示す。このプリズム250aの光の入射面と出射面とが互い成す角度が0であるため、対応する発光部230からの光は、プリズム250aで屈折せずに、その光軸が第1実施形態の場合と同様にレンズ210の光軸と平行になる。なお、プリズム250bの光の入射面と出射面とが互いに成す角度は、プリズム250aと同様に0である。
【0075】
図13(b)に示すプリズム部250のうちのプリズム250cを一点鎖線C-C’で切断した断面図を、図13(d)に示す。このプリズム250cは、光の入射面と出射面とが互いに成す角度が、レンズ210の光軸に近づく方向に比較的小さい角度S(例えば5°)であるので、対応する発光部230からの光軸は、プリズム250cを通るとレンズ210の光軸に角度Sで近づく。なお、プリズム250dの光の入射面と出射面とが互いに成す角度は、プリズム250cと同様に、レンズ210の光軸に近づく方向にSである。
【0076】
図13(b)に示すプリズム部250のうちのプリズム250eを一点鎖線E-E’で切断した断面図を、図13(e)に示す。このプリズム250eは、光の入射面と出射面とが互いに成す角度が、レンズ210の光軸に近づく方向に角度T(例えば10°)であるので、対応する発光部230からの光軸は、プリズム250eを通るとレンズ210の光軸に角度Tで近づく。なお、プリズム250fの光の入射面と出射面とが互いに成す角度は、プリズム250eと同様に、レンズ210の光軸に近づく方向にTである。
【0077】
図13(b)に示すプリズム部250のうちのプリズム250gを一点鎖線G-G’で切断した断面図を、図13(f)に示す。このプリズム250gは、光の入射面と出射面とが互いに成す角度が、レンズ210の光軸から遠ざかる方向に角度U(例えば10°)であるので、対応する発光部230からの光軸は、プリズム250gを通るとレンズ210の光軸に角度Uで離れる。なお、プリズム250hの光の入射面と出射面とが互いに成す角度は、プリズム250gと同様に、レンズ210の光軸から遠ざかる方向にUである。
【0078】
なお、図13(a)及び図13(b)では、プリズム部250は、8つの領域に分かれているが、プリズム250aとプリズム250b等、隣り合う領域においては同じ屈折角度(屈折率)のプリズムになっているので、全体としては4種類の屈折角度が選択できるプリズムになっている。これは(その他の変形例)として後述するように、互いに隣り合う複数の発光部230を発光させる場合に、同じ屈折角度を設定できるようにするためである。
【0079】
また上述のプリズム部250は一例に過ぎず、プリズム部250は、このような形態に限定されない。設定したい屈折角度の種類数に応じてプリズム部250の領域の数は任意に設定可能である。さらに、プリズム部250は、一方の角度(例えば内側に-20°(外側に20°))から、他方の角度(例えば内側に20°)まで、角度が無段階で変化するプリズムになっていてもよい。
【0080】
また、隣り合う発光部230ではなく、互いに対向する(例えば発光部230aと発光部230e)を同時に発光させるモードが存在する場合には、互いに対向するプリズム(例えばプリズム250aとプリズム250e)が同じ屈折角度に設定されていてもよい。
【0081】
第3実施形態に係る撮像装置201では、図14(a)に示すように、発光部230aからプリズム部250を通過した光の光軸505は、プリズム部250のプリズム250bまたはプリズム250cにより、膣鏡挿入方向で見て撮像装置200の光軸に一致している膣鏡断面中心線側に屈折させて、子宮頸部420に到達させることができる。この場合、子宮頸部420の表面(C面)は、図14(b)に示すように、発光部230aからの光が届く領域511と、光が届かない影の領域512(ケラレ)との間に、この二つの領域の境界がぼけた領域513が生じる。図5(c)と図14(b)とを比較すると、光が届く領域511の面積は変わらない。そして、図5(c)の領域512の領域511に近い部分に対応する部分が、図14(b)では境界がぼけた領域513になっており、その分、図14(b)の影の領域512は図5(c)の影の領域512よりも面積が小さい。
【0082】
図14(b)の場合に影の領域512の縁に影がぼけた領域513が生じるのは、領域511に照射される光の明るさが、図5(c)の場合よりも図14(b)の場合の方が明るいためであると考えられる。つまり、図14(a)のようにプリズム部250により屈折した発光部230の光軸505を子宮頸部420の表面(C面)に合わせることにより、子宮頸部420の表面(C面)を明るく照明できるだけでなく、影の領域512の面積を小さくすることもできる。
【0083】
発光部230からプリズム部250を通過した光の光軸505を子宮頸部420の表面(C面)の中心に合わせるには、図14(a)のように、プリズム部250による発光部230の光軸の屈折角度を、式(3)に示す角度θcに設定すればよい。
θc=arctan(H/L)…(3)
ここで、距離Hは、レンズ210の光軸503から、プリズム部250で屈折されない場合における各発光部230の光軸(プリズム透過前光軸504)までの最短距離であり、距離Lは、プリズム部250の光の出射面をレンズ210の光軸503に垂直に投影させた位置から、子宮頸部420の表面までの最短距離である。なお、距離Lは、プリズム部250の光の出射面をレンズ210の光軸503に垂直に投影させた位置から膣鏡300の入口までの距離L1と、膣鏡300の長さL2と、の和になっている。
【0084】
第3実施形態に係る制御用データ取得部112と光源制御部113の機能は、第1及び第2実施形態に係るそれらの機能と異なるので、これらについて説明する。第3実施形態に係る制御用データ取得部112は、制御用データとして、撮像装置201から子宮頸部までの距離L及び、レンズ210の光軸から発光部230までの距離Hを取得する。距離L及び距離Hは、発光部230と膣鏡300との位置関係を表す位置パラメータである。
【0085】
なお、後述するように、制御用データ取得部112は、距離Lを取得するために、レンズ210の中心から膣鏡300の入口部分までの距離L1を取得するが、距離L1は、撮像部220で子宮頸部420を膣鏡300とともに撮像する場合における(膣鏡300の入口に合焦させたときの)フォーカス距離に相当する。すなわち距離L1は、この撮像に関係するデータ(対象撮像関係データ)なので、距離L1を取得する際、制御用データ取得部112は、対象撮像関係データを取得するデータ取得手段として機能する。
【0086】
また、第3実施形態に係る光源制御部113は、制御用データ取得部112が取得した距離L及び距離Hに基づいて、光軸503に対する発光部230の光軸の最適な角度θcを算出し、駆動部240を制御して、プリズム部250を回転させ、発光させる発光部230の前に発光部230の光軸を角度θc屈折させるプリズムを移動させる。このようにプリズム部250を回転させることにより、光源制御部113は、光源の照射状態として、光源の照射方向を制御する。
【0087】
このように、子宮頸部420の表面をできるだけ明るく照明するために、プリズム部250を用いて発光部230の光の照射方向を制御する照明制御処理について、図15を参照して説明する。この処理の開始条件は、図7の照明制御処理のそれと同じである。また、レンズ210の光軸503から発光部230の中心までの距離H及び、膣鏡300の長さL2は、予め記憶部120に記憶されているか、事前に操作部130から入力される等することにより、照明制御処理が開始されるときには記憶部120に記憶されているものとする。
【0088】
まず、画像データ取得部111は、最も近接した距離から無限遠に向かって焦点の合うフォーカス距離を見つけるために、レンズ210の焦点距離又は繰り出し量を変化させていき、最初に合焦するフォーカス距離を検索する(ステップS401)。
【0089】
次に、制御用データ取得部112は、合焦したレンズ210における焦点距離や繰り出し量に基づいてレンズ210の中心から膣鏡300の入口部分までの距離L1を求め(具体的には、距離L1=フォーカス距離であり、フォーカス距離は上述の式(2)により求められる。)、L1に記憶部120に記憶されている膣鏡300の長さL2を加算して、子宮頸部420までの距離Lを取得する(ステップS402)。なお、式(2)による距離L1の算出や、L1+L2での距離Lの算出は、算出方法の一例に過ぎない。制御用データ取得部112は、他の適当な手法で距離L1や距離Lを求めてもよいし、距離L1を求めずに距離Lを求めてもよい。
【0090】
そして、制御用データ取得部112は、レンズ210の光軸から発光部230までの距離Hを記憶部120から取得する(ステップS403)。次に、光源制御部113は、上述の式(3)により、プリズム部250による最適な屈折角度である角度θcを算出する(ステップS404)。
【0091】
次に、光源制御部113は、発光させる発光部230(発光部230a~230hのいずれか)を選択する(ステップS405)。ここで発光させる発光部230は、第1及び第2実施形態とは異なり、操作部130を介して(発光部230a~230hのいずれか1つが)選択されているものとする。
【0092】
そして、光源制御部113は、ステップS404で算出された角度θcと、ステップS405で選択された発光部230と、に基づき、プリズム部250の複数のプリズム250a~250hのうちの最適な屈折角度(屈折率)のプリズムがステップS405で選択された発光部230に重なるように、プリズム部250を駆動部240で回転させる(ステップS406)。光源制御部113は、駆動部240でプリズム部250を基準角度(例えばプリズム250aが発光部230aに重なる角度)に回転させたときに、各プリズム250a~250hが、どの発光部230a~230hに重なるかを予め把握しており、ステップS406では、選択された発光部230と最適な屈折角度のプリズムとが重なるように、基準角度に対する回転角度を制御する。
【0093】
そして、制御部110は、シャッタキー133がユーザによって押下されるのを待機する(ステップS407)。シャッタキー133が押下されたら、光源制御部113は、ステップS405で選択された発光部230を発光させる(ステップS408)。
【0094】
そして、撮影制御部114は、光源制御部113がステップS405で選択した発光部230を発光させた状態で、撮像部220により、子宮頸部を膣鏡300とともに撮影し(ステップS409)、照明制御処理を終了する。
【0095】
以上説明した照明制御処理により、撮像装置200で子宮頸部(対象)を撮像する場合におけるフォーカス距離(対象撮像に関係する対象撮像関係データ)に基づく発光部230と膣鏡300との位置関係に基づいて、発光部230からの光は、その光軸が子宮頸部の中心に一致するようにプリズム部250で屈折されるので、照明制御装置100は、ユーザが位置を調整しなくても、子宮頸部420を適切に照明することができる。
【0096】
なお、Hの値としては、前述した膣鏡断面中心線から、ステップS405で選択された発光部230のプリズム透過前光軸504までの最短距離を用いてもよい。
【0097】
また、プリズム部250のプリズムの屈折角度をより細分化(又は無段階化)した場合は、ステップS406とステップS407の間で、次の処理を行ってもよい。すなわち、まず、発光部230(光源)からの光を、プリズム部250のプリズム250a~250hから選択した第1プリズムを通して、膣鏡300(挿入部)及び子宮頸部(対象)に照射する。次いで、このように発光部230からの光を、第1プリズムを通して膣鏡300及び子宮頸部に照射した状態で子宮頸部を膣鏡300とともに撮像し、それにより取得した画像データを第1撮像画像データとする。次に、プリズム250a~250hから第1プリズムとは異なる光の屈折率の第2プリズムを選択し、選択した第2プリズムを通して対象に照射する。次いで、このように発光部230からの光を、第2プリズムを通して対象に照射した状態で対象を膣鏡300とともに撮像し、それにより取得した画像データを第2撮像画像データとする。同様の処理を、プリズム250a~250hのうちの第1及び第2プリズムとは異なる第3プリズムについても行うことによって、第3撮像画像データを取得する。次に、これらの第1~第3画像データを画像解析する。次いで、この第1~第3画像データの解析結果に基づいて、第1~第3画像データのうちの、より最適な(明るい、ケラレが少ない)画像データに対応するプリズムを、第1~第3プリズムから特定する。この特定されたプリズムを通って発光部230からの光が照射されるように、プリズム部250を最適な角度に回転させてもよい。
【0098】
(第3実施形態の変形例)
上述の第3実施形態では、発光させる発光部230は、ユーザに操作部130を介して選択された発光部230であったが、これに限定されない。例えば、第1又は第2実施形態と同様に発行させる発光部230を選択してもよい。このような第3実施形態の変形例について説明する。
【0099】
第3実施形態の変形例に係る撮像装置201の構成や外観は、第3実施形態と同様であるので、説明を省略する。また、第3実施形態の変形例に係る照明制御処理は、図16に示すように、第3実施形態の照明制御処理において、ステップS405を、第1実施形態の照明制御処理のステップS102~ステップS106に置き換えた処理になる。
【0100】
つまり、光源制御部113は、ステップS405で発光部230を選択する代わりに、ステップS102~S106により発光部230を選択する。また、ステップS408では、光源制御部113は、ステップS106で選択された発光部230を発光させる。
【0101】
以上の照明制御処理により、第3実施形態の変形例では、複数の発光部230の中から子宮頸部420の最も広い範囲に光を照射することができる発光部230が対象照明用光源として選択されて発光するとともに、対象照明用光源からの光をプリズム部250で屈折させて、その光軸が子宮頸部420に到達するようにするので、ユーザが位置を調整しなくても、子宮頸部420に光を適切に照射することができる。
【0102】
(その他の変形例)
なお、本発明は、上述の実施形態に限られるものではなく、様々な変更が可能である。例えば、第3実施形態において、プリズム部250による最適な屈折角度θcを取得する際に、画像データ取得部111が取得した画像データを制御データとして入力すると、最適な屈折角度θcを出力するように機械学習されたCNNを用いてもよい。
【0103】
また、上述の第3実施形態の変形例では、第1実施形態と第3実施形態とを組み合わせた実施形態としたが、第2実施形態と第3実施形態とを組み合わせて、対象照明用光源の選択とプリズム部250による屈折角度θcの変更とを行う実施形態としても同様の効果を得ることができる。
【0104】
また、上述した実施形態では、光源制御部113は、複数の発光部230のうち1つの発光部230を選択して発光させることとしたが、発光させる発光部230を1つに限定する必要はない。ただし、発光させる発光部230として、離れた位置に存在する発光部230を選択すると、逆に照射状態が良好な範囲が狭まってしまうことが、実験で確かめられている。
【0105】
例えば図17(a)に示すように、複数の発光部230の中で、撮像装置200の光軸が延びる方向から見て、互いに対向する発光部230aと発光部230eとを発光させると、図17(b)に示すように、中央の領域515の明るさが上下の領域514の明るさの2倍になり、領域514には1つの発光部230からの光が照射されているにも関わらず、影の領域として観察されてしまう。このため、照射状態が良好な領域である領域515の面積は、発光部230を1つだけ発光させた場合よりも、小さくなってしまう。
【0106】
したがって、発光部230を複数選択して発光させる場合は、互いに近接した発光部230(例えば互いに隣り合う発光部230aと発光部230b等)を発光させるのが望ましい。近接していれば、複数の発光部230を発光させても、図14(b)に示される照射状態と類似した照射状態が得られる。例えば、光源制御部113は、複数の発光部230の中から子宮頸部420の最も広い範囲に光を照射することができる発光部230と、その両隣りの発光部230の、合計3つの発光部230を選択して、発光させてもよい。
【0107】
なお、上述の実施形態では、制御用データ取得部112が制御データを取得するために用いる、画像データ取得部111が取得する画像データは、発光部230を発光させずに撮像した画像データであるが、これに限定されず、発光部230を発光させて撮像した画像データでもよい。また、発光部230を発光させる場合において、どの発光部230を選択して発光させるかは任意である。
【0108】
また、上述の実施形態では、発光部230がリング状に並んでいるため、プリズム部250もリング状に設けているが、プリズム部250の形状はリング状に限定されない。例えば、発光部230が、単一の光源の場合や、左右方向に並んだ複数の光源の場合には、プリズム部250は、左右方向にスライドすることによって発光部230からの光を通すプリズムが変更されるプリズム部250であってもよい。
【0109】
また、プリズム部250は、カメラの光軸方向にプリズムを積層したり、積層しなかったりすることで、屈折率が変更されるプリズム部250であってもよい。また、プリズム部250は、光源の照射方向を制御する手段の一例に過ぎない。光源の照射方向を制御する手段としては、プリズムだけでなく、例えば、光源と対象の間に設けた鏡の角度を変化させることによって、光源からの光の照射方向を変更させる機構であってもよいし、光源そのものをアクチュエータで駆動することによって、カメラの光軸に対する光源の光軸の角度を変更可能にする機構であってもよい。
【0110】
また、上述の実施形態では、人間の子宮頸部を撮影する撮像装置200,201を例に挙げて説明したが、撮像装置200,201による撮影の対象は人間の子宮頸部に限られず、人間以外の動物(例えば犬、猫、牛、豚、馬等)の子宮頸部でもよい。さらに、撮像装置200,201による撮影の対象は子宮頸部に限られず、照明制御装置100による光源の制御も、子宮頸部を照射する光源に限られない。また、撮像装置200,201は、工場や作業現場での配管内又は人が入れない隙間での撮影や、自然界の穴の中(動物の巣穴、樹の洞、地面や崖の亀裂や穴)の撮影にも使用することができる。
【0111】
すなわち、撮像装置200,201及び照明制御装置100は、一般に、孔部(膣、口腔、鼻の孔(鼻腔の入口部)、耳の孔(外耳道の入口部)、肛門、下水管等の配管等)に挿入部(膣鏡、咽喉鏡、鼻鏡、耳鏡、肛門鏡、下水管鏡等)を挿入して、孔部の奥に存在する対象(子宮頸部、咽喉、鼻腔の壁部(上甲介、中甲介、下甲介)、外耳道の壁や鼓膜、直腸、下水管の壁部等、腔部の壁部)を撮影する際に、使用することができる。
【0112】
また、上述の実施形態では、撮像装置200,201が照明制御装置100を内蔵しているものとして説明したが、照明制御装置100は、撮像装置200,201とは別個の装置であってもよい。この場合、照明制御装置100及び撮像装置200,201は、双方が通信部を備え、照明制御装置100は当該通信部を介して撮像装置200,201を制御可能に構成される。
【0113】
なお、照明制御装置100の各機能は、通常のPC等のコンピュータによっても実施することができる。具体的には、上記実施形態では、照明制御装置100が行う照明制御処理のプログラムが、記憶部120のROMに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)、MO(Magneto-Optical disc)、メモリカード、USB(Universal Serial Bus)メモリ等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。
【0114】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【0115】
(付記1)
対象に連なる孔部に挿入された挿入部を前記対象とともに撮像装置で撮像する対象撮像を行う場合における前記対象撮像に関係する対象撮像関係データを取得するデータ取得手段と、
前記取得された対象撮像関係データに基づく制御用データを取得する制御用データ取得手段と、
前記取得された制御用データに基づいて、前記撮像装置の光軸周りに設けられた光源の照射状態を制御する照明制御手段と、
を備える照明制御装置。
【0116】
(付記2)
前記照明制御手段は、前記制御用データと前記光源の照射状態との関係に基づいて構築された制御則に従い、前記制御用データに基づいて、前記光源の照射状態を制御する、
付記1に記載の照明制御装置。
【0117】
(付記3)
前記対象撮像関係データは、前記対象撮像により取得される撮像画像の画像データであり、
前記制御用データ取得手段は、前記取得された画像データに基づく制御用データを取得し、
前記制御則は、前記制御用データを入力とし、かつ、前記光源の照射状態の目標状態を出力として機械学習されたニューラルネットワークである、
付記2に記載の照明制御装置。
【0118】
(付記4)
前記制御用データ取得手段は、前記制御用データとして、前記対象撮像関係データに基づく前記光源と前記挿入部との位置関係を表す位置パラメータを取得する、
付記1から3のいずれか1つに記載の照明制御装置。
【0119】
(付記5)
前記対象撮像関係データは、前記対象撮像により取得される撮像画像の画像データであり、
前記挿入部における前記孔部への挿入方向に直交する断面は、略楕円状形状であり、
前記制御用データ取得手段は、前記位置パラメータとして、前記光軸に直交する方向に延びる基線に対する前記挿入部の前記断面の長軸又は短軸の角度と、前記撮像画像における前記撮像装置の光軸を基準とした前記挿入部の前記断面の中心の位置とを取得する、
付記4に記載の照明制御装置。
【0120】
(付記6)
前記照明制御手段は、前記光源としての複数の光源の照射状態を制御することによって、前記複数の光源から、前記対象を照明するための対象照明用光源を選択し、前記選択した対象照明用光源を発光させる、
付記1から5のいずれか1つに記載の照明制御装置。
【0121】
(付記7)
前記光源は、前記光源の光の照射方向を変更可能に構成されており、
前記照明制御手段は、前記光源の照射状態として前記光源の照射方向を制御する、
付記1から5のいずれか1つに記載の照明制御装置。
【0122】
(付記8)
前記挿入部は膣鏡であり、前記対象は子宮頸部である、
付記1から7のいずれか1つに記載の照明制御装置。
【0123】
(付記9)
撮像素子と、
対象からの光を前記撮像素子に集光するレンズと、
前記レンズの光軸周りに設けられた、前記対象を照明する光源と、
前記対象に連なる孔部に挿入された挿入部を前記対象とともに前記撮像素子で撮像する対象撮像を行う場合における前記対象撮像に関係する対象撮像関係データを取得するデータ取得手段と、
前記取得された対象撮像関係データに基づいて、前記光源の照射状態を制御する照明制御手段と、
前記照明制御手段により前記複数の光源の照射状態を制御した状態で、前記対象を前記撮像素子により撮影させる撮影制御手段と、
を備える撮像装置。
【0124】
(付記10)
対象に連なる孔部に挿入された挿入部を前記対象とともに撮像装置で撮像する対象撮像を行う場合における前記対象撮像に関係する対象撮像関係データを取得するデータ取得ステップと、
前記取得された対象撮像関係データに基づく制御用データを取得する制御用データ取得ステップと、
前記取得された制御用データに基づいて、前記撮像装置の光軸周りに設けられた光源の照射状態を制御する照明制御ステップと、
を備える照明制御方法。
【0125】
(付記11)
コンピュータに、
対象に連なる孔部に挿入された挿入部を前記対象とともに撮像装置で撮像する対象撮像を行う場合における前記対象撮像に関係する対象撮像関係データを取得するデータ取得ステップ、
前記取得された対象撮像関係データに基づく制御用データを取得する制御用データ取得ステップ、及び、
前記取得された制御用データに基づいて、前記撮像装置の光軸周りに設けられた光源の照射状態を制御する照明制御ステップ、
を実行させるためのプログラム。
【符号の説明】
【0126】
100…照明制御装置、110…制御部、111…画像データ取得部、112…制御用データ取得部、113…光源制御部、114…撮影制御部、120…記憶部、130…操作部、131…発光解除ボタン、132…フォーカスキー、133…シャッタキー、200,201…撮像装置、210…レンズ、220…撮像部、221…画角、221a,221b,221c,221d,221e,221f,221g,221h…座標、222…撮像素子、230,230a,230b,230c,230d,230e,230f,230g,230h…発光部、240…駆動部、250…プリズム部、250a,250b,250c,250d,250e,250f,250g,250h…プリズム、300…膣鏡、301…上部、302…下部、303,303a,303b…要部、310…断面、410…膣、411…肉壁、420…子宮頸部、501…長軸、502…短軸、503,504,505…光軸、511,512,513,514,515…領域、601…被写体、BL…バスライン、D,H,L,L1…距離、F…焦点距離、K…繰り出し量、L2…長さ、M…中心、O…中点、α,β…特徴点、θ…膣鏡角度、θc…角度
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18