特許 7345126 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-09-07

(45)【発行日】2023-09-15

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20230908BHJP

【ＦＩ】

G06T1/00 290Z

G06T1/00 510

【請求項の数】 10

(21)【出願番号】P 2023069254

(22)【出願日】2023-04-20

【審査請求日】2023-04-25

【新規性喪失の例外の表示】特許法第３０条第２項適用 公益社団法人日本眼科手術学会、眼科手術、２０２３年第３６巻臨時創刊号、２０２２年１２月２８日 第４６回日本眼科手術学会学術総会、２０２３年１月２９日

【早期審査対象出願】

(73)【特許権者】

【識別番号】500550980

【氏名又は名称】株式会社中京メディカル

(73)【特許権者】

【識別番号】504180239

【氏名又は名称】国立大学法人信州大学

(74)【代理人】

【識別番号】100131048

【弁理士】

【氏名又は名称】張川 隆司

(74)【代理人】

【識別番号】100174377

【弁理士】

【氏名又は名称】山内 健吾

(74)【代理人】

【識別番号】100215038

【弁理士】

【氏名又は名称】木村 友子

(72)【発明者】

【氏名】市川 一夫

(72)【発明者】

【氏名】田中 清

(72)【発明者】

【氏名】横山 翔

(72)【発明者】

【氏名】田中 芳樹

(72)【発明者】

【氏名】森岡 洵太

【審査官】吉川 康男

(56)【参考文献】

【文献】特開２０１８－１３８１４２（ＪＰ，Ａ）

【文献】特開２００１－２５１６４１（ＪＰ，Ａ）

【文献】特開平９－９７３３３（ＪＰ，Ａ）

【文献】特許第７１２０５５６（ＪＰ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

画像を取得する画像取得部と、
前記画像中の注目領域を検出する検出部と、
前記検出部が検出した前記注目領域に対して、前記画像を見る対象者の年齢に応じた色補正を行う補正部と、
前記色補正後の前記注目領域とそれ以外の領域とを含む局所補正画像を出力する出力部と、
を備える画像処理装置。

【請求項2】

前記画像は手術画像である請求項１に記載の画像処理装置。

【請求項3】

前記画像は眼の画像である請求項１又は２に記載の画像処理装置。

【請求項4】

前記検出部は、前記注目領域として前記画像中の円領域を検出する請求項３に記載の画像処理装置。

【請求項5】

前記画像は動画であり、
前記補正部は、前記動画の各時点の画像に対して前記色補正を行う請求項１に記載の画像処理装置。

【請求項6】

前記検出部は、前記画像に２値化処理を行う２値化処理部を備え、前記２値化処理がされた前記画像である２値化画像に基づいて前記注目領域を検出する請求項１に記載の画像処理装置。

【請求項7】

前記検出部は、
前記２値化画像中の前記注目領域に対応する形状を検出する形状検出部と、
前記形状検出部が検出した前記形状以外の領域を隠したマスクを生成する生成部と、
前記２値化処理を行う前の前記画像に前記マスクを適用するマスク処理部と、
を備える請求項６に記載の画像処理装置。

【請求項8】

前記検出部は、前記２値化画像中のノイズ領域を除去するノイズ除去部を備え、
前記形状検出部は、前記ノイズ領域を除去した後の前記２値化画像に基づいて前記注目領域に対応する形状を検出する請求項７に記載の画像処理装置。

【請求項9】

画像を取得する画像取得ステップと、
前記画像中の注目領域を検出する検出ステップと、
前記検出ステップで検出した前記注目領域に対して、前記画像を見る対象者の年齢に応じた色補正を行う補正ステップと、
前記色補正後の前記注目領域とそれ以外の領域とを含む局所補正画像を出力する出力ステップと、
を備える画像処理方法。

【請求項10】

画像を取得する画像取得ステップと、
前記画像中の注目領域を検出する検出ステップと、
前記検出ステップで検出した前記注目領域に対して、前記画像を見る対象者の年齢に応じた色補正を行う補正ステップと、
前記色補正後の前記注目領域とそれ以外の領域とを含む局所補正画像を出力する出力ステップと、
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像を見る対象者の年齢に応じた色補正を該画像に対して行う画像処理装置、画像処理方法又はプログラムに関する。

【背景技術】

【0002】

人間の視覚特性は加齢に伴い変化する。具体的には、高齢になるほど色が暗く、又は黄色っぽく見えるようになると考えられている。加齢に伴う視覚特性の変化に関し、下記特許文献１には、人間の年齢に伴って変化する視覚特性の劣化を補償するように該画像を補正することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第３５５２４１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところが、特許文献１の方法では、高齢ほど、画像の補正量が大きくなり、その結果、補正後の画像に白飛びが発生しやすくなる。

【0005】

本開示は上記事情に鑑みてなされ、年齢に応じた色補正を行うとともに、色補正後の画像中の白飛びの割合を小さくできる画像処理装置、画像処理方法、又はプログラムを提供することを課題とする。

【課題を解決するための手段】

【0006】

本開示の画像処理装置は、
画像を取得する画像取得部と、
前記画像中の注目領域を検出する検出部と、
前記検出部が検出した前記注目領域に対して、前記画像を見る対象者の年齢に応じた色補正を行う補正部と、
前記色補正後の前記注目領域とそれ以外の領域とを含む局所補正画像を出力する出力部と、
を備える。

【0007】

本開示の画像処理方法は、
画像を取得する画像取得ステップと、
前記画像中の注目領域を検出する検出ステップと、
前記検出ステップで検出した前記注目領域に対して、前記画像を見る対象者の年齢に応じた色補正を行う補正ステップと、
前記色補正後の前記注目領域とそれ以外の領域とを含む局所補正画像を出力する出力ステップと、
を備える。

【0008】

本開示のプログラムは、
画像を取得する画像取得ステップと、
前記画像中の注目領域を検出する検出ステップと、
前記検出ステップで検出した前記注目領域に対して、前記画像を見る対象者の年齢に応じた色補正を行う補正ステップと、
前記色補正後の前記注目領域とそれ以外の領域とを含む局所補正画像を出力する出力ステップと、
をコンピュータに実行させる。

【0009】

本開示の画像処理装置、画像処理方法、及びプログラムによれば、画像の全体に対しては色補正を行わずに、画像の注目領域に対して色補正を行うので、補正後の画像中の白飛びの割合を小さくできる。

【図面の簡単な説明】

【0010】

【図1】表示システムの構成図である。

【図2】演算装置が実行する画像補正処理の一例を示すフローチャートである。

【図3】図２のステップＳ１１の詳細のフローチャートである。

【図4】図２のステップＳ１で取得する原画像の一例である。

【図5】図２のステップＳ２で得られるマスク処理後の画像の一例である。

【図6】図２のステップＳ３で得られる画素値変換後の画像の一例である。

【図7】図２のステップＳ４で得られるグレースケール画像の一例である。

【図8】図２のステップＳ５で得られる２値化画像の一例である。

【図9】図２のステップＳ６で得られる第１のノイズ除去処理後の２値化画像の一例である。

【図10】図２のステップＳ７で得られる第２のノイズ除去処理後の２値化画像の一例である。

【図11】図２のステップＳ９で得られるマスクの一例である。

【図12】図２のステップＳ１０で得られる注目領域の抽出画像の一例である。

【図13】図２のステップＳ１１で得られる色補正後の注目領域画像の一例である

【図14】図２のステップＳ１２で得られる、色補正後の注目領域とそれ以外の領域とを含む局所補正画像の一例である。

【図15】大律２値化法を説明するために、画像の濃度ヒストグラム（輝度分布）を例示した図である。

【図16】図２のステップＳ１で取得する原画像の輝度分布を例示した図である。

【図17】図１６の輝度分布を示す画像に対して、注目領域のみを色補正した場合の輝度分布を例示した図である。

【図18】図１６の輝度分布を示す画像に対して、画像全体を色補正した場合の輝度分布を例示した図である。

【発明を実施するための形態】

【0011】

以下、本開示の実施形態を図面を参照しつつ説明する。図１は本実施形態の表示システム１を示している。表示システム１は、例えば白内障手術などの眼科手術の動画（眼科手術を受けている被術眼の動画）を術中にリアルタイムで表示するシステムとして構成される。なお、白内障手術は、白内障を患った眼の水晶体の一部又は全部を除去し、除去した水晶体の代わりに眼内レンズを眼内に挿入する手術である。

【0012】

表示システム１は、撮影部２と入力部３と表示部４と演算装置５とを備えている。撮影部２は、眼科手術中に被術眼の各時点の画像を逐次撮影する。すなわち、撮影図２は眼科手術中に被術眼の動画を撮影する。撮影部２は被術眼を正面から見た動画を撮影する。撮影部２で撮影された動画は演算装置５に送られる。撮影部２が撮影する画像を構成する各画素の色は例えばＲＧＢ表示系の色で表される。ＲＧＢ表示系では、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の三原色の組み合わせにより、色が表現される。ＲＧＢの各原色の階調数又は輝度の階調数は例えば２５６階調としてよい。この場合、原色ごとに、階調値が例えば０～２５５で示される。階調値が大きいほど、高輝度であることを示す。すなわち、階調値が最小値「０」であることは、輝度が最も低いことを示す。反対に、階調値が最大値「２５５」であることは、輝度が最も高いことを示す。なお、２５６階調以外の階調数でもよい。また、輝度を２５６階調で表したとき、輝度が「０」であることは画素の色が「黒」であること示す。輝度が「２５５」であることは画素の色が「白」であることを示す。

【0013】

入力部３は例えばボタンやテンキー、マウスなど既知の構造を備え、ユーザからの入力を受け付ける部位である。具体的には、入力部３は、画像を見る対象者の年齢などの入力を受け付ける。入力部３に入力された入力内容は演算装置５に送られる。

【0014】

表示部４は画像を表示する部位である。表示部４は例えば液晶ディスプレイであるが、プラズマディスプレイ、有機ＥＬディスプレイなど他の方式のディスプレイでもよい。また、表示部４はヘッドマウント型のディスプレイでもよい。表示部４はカラー画像を表示可能に構成される。表示部４での色の表示系は例えばＲＧＢ表示系である。

【0015】

演算装置５は表示システム１の全体的制御を司る部位である。演算装置５は、通常のコンピュータと同様の構成を有し、すなわちＣＰＵ６、ＲＡＭ、ＲＯＭ等から構成される。なお、演算装置５が本開示の画像処理装置に相当する。

【0016】

演算装置５は記憶部７を備える。記憶部７は、不揮発性記憶部であり、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。非遷移的実体的記憶媒体は半導体メモリ又は磁気ディスクなどによって実現される。なお、記憶部７は、演算装置５に内蔵された内蔵記憶部として構成されてもよいし、演算装置５に外付けされた外付記憶部として構成されてもよい。記憶部７には、ＣＰＵ６が実行する処理のプログラム８など各種データが記憶されている。

【0017】

次に、演算装置５のＣＰＵ６がプログラム８に基づいて実行する処理の詳細を説明する。図２、図３はその処理の一例を示すフローチャートである。なお、図２、図３の処理は例えば眼科手術中に実行される。図２の処理を開始すると、ＣＰＵ６は、撮影部２が撮影した現時点の画像を取得する（Ｓ１）。図４はステップＳ１で取得する画像を例示している。図４の画像は、白内障手術中の被術眼の正面画像であり、具体的には、眼球の中央領域（瞳孔、虹彩及び角膜の領域）に手術器具を挿入して、水晶体を砕いている最中の画像である。なお、ステップＳ１が本開示の画像取得ステップに相当する。ステップＳ１を実行するＣＰＵ６が画像取得部に相当する。

【0018】

画像を見る対象者（具体的には白内障手術の術者）が注目する画像中の領域である注目領域を、被術眼の中央の円形領域（瞳孔、虹彩及び角膜の領域）として、ステップＳ２以降の処理で、その注目領域をステップＳ１で取得した画像から検出（抽出）する。注目領域は、眼球（被術眼）の、術者により手術の処置が行わる部位（術部、処置部）である。なお、注目領域の円は例えば虹彩外側の円である。

【0019】

具体的には、先ず、ステップＳ１で取得した画像の中央付近以外を隠す処理（マスク処理）をする（Ｓ２）。図５はステップＳ２のマスク処理をした後の画像を例示している。マスク処理された画像は、眼球の中央の円形領域（瞳孔、虹彩及び角膜の領域）を少なくとも含んでいる。

【0020】

次に、マスク処理後の画像の各画素値を、所定のしきい値を境にして最小画素値（２５６階調の場合「０」）又は最大画素値（２５６階調の場合「２５５」）のいずれかに変換する（Ｓ３）。具体的には、各画素のＲＧＢのそれぞれの値を、しきい値より小さい場合には最大画素値（＝「２５５」）に、しきい値以上の場合には最小画素値（＝「０」）に変換する。例えば、画素のＲＧＢ値＝（１２５、２００、５０）、しきい値＝１３０の場合には、ＲＧＢ値＝（０、２５５、０）に変換する。

【0021】

このように、ステップＳ３では、画像中の暗い領域（低輝度領域）を明るくし、明るい領域（高輝度領域）を暗くする、輝度反転処理を行う。これは、一般的に眼球中央領域（注目領域）は周辺領域（強膜の領域）よりも暗いので、眼球中央領域を周辺領域よりも明るくするためである。なお、しきい値は、画素値変換した際に、眼球中央領域は明るくなり、周辺領域は暗くなるように、予め定められた値としてよい。図６は、図５の画像に対してステップＳ３の画素値変換を行った後の画像を示している。

【0022】

次に、ステップＳ３後の画像をグレースケールの画像に変換する（Ｓ４）。図７は、図６の画像をグレースケール変換した画像である。

【0023】

次に、ステップＳ４により得られたグレースケール画像の各画素の色を白又は黒のいずれかにする２値化処理を行う（Ｓ５）。具体的には、グレースケールの画像の各画素値を、しきい値以上の場合には白色を示す値（例えば「２５５」）、しきい値より小さい場合には黒色を示す値（例えば「０」）となるよう変換する。２値化処理の手法は公知のいずれの手法でもよいが、例えば大律法を用いてよい。大律法は判別分析法の一つであり、画像の濃度ヒストグラムに基づいて最適なしきい値を自動的に求める手法である。例えば、図１５に示すように、画像の濃度ヒストグラムを、あるしきい値Ｔを境にクラス０とクラス１に分けたとき、以下のようなしきい値Ｔを求める手法である。
・クラス０とクラス１が離れている。
・それぞれのクラス内のデータ群がまとまっている。

【0024】

眼球の正面画像においては、眼球中央領域（瞳孔、虹彩及び角膜の円形領域）と周辺領域（強膜の領域）との間で濃度差（輝度差）が生じやすい。そのため、大律法を用いることで、中央領域と周辺領域とを区分するのに適したしきい値が得られやすい。図８は、図７の画像に対して２値化処理した後の画像を示している。図８に示すように、眼球中央領域は白色となり、周辺領域は黒色となる２値化画像が得られる。

【0025】

なお、ステップＳ３～Ｓ５が本開示の２値化処理ステップに相当する。ステップＳ３～Ｓ５を実行するＣＰＵ６が２値化処理部に相当する。

【0026】

次に、ステップＳ５により得られた２値化画像中のノイズ領域を除去する（Ｓ６、Ｓ７）。具体的には、先ず、第１のノイズ除去処理として例えば２値化画像に対して公知のモルフォロジー変換を適用する（Ｓ６）。例えば、モルフォロジー変換のオープニング処理を２値化画像に適用することで、２値化画像中のノイズを除去できる。なお、上記オープニング処理は、収縮の後に膨張をする処理である。図９は、図８の画像に対してモルフォロジー変換を適用した後の画像を示している。

【0027】

次に、第２のノイズ除去処理として、ステップＳ６後の２値化画像中の各領域の面積に基づいてノイズを除去する（Ｓ７）。具体的には、２値化画像中の画素値が「２５５」（白色）の領域の輪郭を取得し、その輪郭で囲まれた各領域の面積を求める。このとき、同じ白色領域であっても、連続していない各領域は別の領域として面積を求める。面積は例えば領域に含まれる画素数とすればよい。そして、面積が最大となる白色領域を残し、それ以外の白色領域はノイズとして除去する。具体的には、最大面積以外の面積の白色領域の色を背景色（黒色）に反転させる。図１０は、図９の２値化画像に対して面積に基づくノイズ除去を実行した後の画像を示している。なお、ステップＳ６、Ｓ７はノイズ除去ステップに相当する。ステップＳ６、Ｓ７を実行するＣＰＵ６がノイズ除去部に相当する。

【0028】

次に、ステップＳ７にて得られた２値化画像中の円（注目領域に対応する形状）を検出する（Ｓ８）。言い換えれば、２値化画像中の円の特徴を有した要素を検出する。円の検出は例えばハフ変換に基づいて行うとしてよい。なお、ステップＳ８が本開示の形状検出ステップに相当する。ステップＳ８を実行するＣＰＵ６が形状検出部に相当する。

【0029】

次に、ステップＳ８で検出した円以外の領域（言い換えれば、円の外側の領域）を隠したマスクを生成する（Ｓ９）。ここでは、ステップＳ８で検出した円要素に応じた直径及び中心位置の円を設定し、その円の内側領域が開き、その円の外側領域を隠したマスクを生成する。図１１は、図１０の画像に基づいて生成されたマスクを例示している。なお、ステップＳ９が本開示の生成ステップに相当する。ステップＳ９を実行するＣＰＵ６が生成部に相当する。

【0030】

次に、ステップＳ９で生成したマスクを、ステップＳ１で取得した原画像に適用する（Ｓ１０）。なお、ステップＳ１０がマスク処理ステップに相当する。ステップＳ１０を実行するＣＰＵ６がマスク処理部に相当する。

【0031】

図１２は、図４の画像に、図１１のマスクを適用した後の画像を示している。上述のステップＳ２～Ｓ１０により、ステップＳ１で取得した原画像から注目領域が検出（抽出）されることになる。ステップＳ２～Ｓ１０による注目領域の検出は自動で行われる。なお、ステップＳ２～Ｓ１０が本開示の検出ステップに相当する。ステップＳ２～Ｓ１０を実行するＣＰＵ６が検出部に相当する。

【0032】

次に、ステップＳ２～Ｓ１０で抽出された注目領域に対して、画像を見る対象者の年齢に応じた色補正を行う（Ｓ１１）。ここでは、対象者が表示部４に表示される画像を見た場合に、若年者（例えば２０歳の人）が知覚する色（輝度も含む）と同様に知覚されるように、注目領域の各画素値を補正する。また、ステップＳ１１では、原画像の、注目領域以外の領域に対しては色補正を行わない。なお、ステップＳ１１が補正ステップに相当する。ステップＳ１１を実行するＣＰＵ６が補正部に相当する。

【0033】

図３はステップＳ１１の色補正の詳細のフローチャートを例示している。図３の処理に移行すると、ＣＰＵ６は、画像を見る対象者の年齢を設定する（Ｓ２０）。具体的には、ＣＰＵ６は、入力部３から入力される対象者の年齢情報を取得し、取得した年齢情報で示される年齢を対象年齢として設定する。年齢情報は、対象者の正確な年齢でもよいし、大まかな年齢（例えば６０歳代）でもよいし、対象者が生まれた年（西暦など）でもよい。また、例えば、２０歳以下を若年者、２０歳より高齢を高齢者としたとき、対象者は高齢者としてよい。この場合、ステップＳ２０では、２０歳よりも高い年齢を設定する。

【0034】

次に、ステップＳ２～Ｓ１０で抽出された注目領域の各画素の色の表示系を、ＲＧＢ表示系からＸＹＺ表示系に変換する（Ｓ２１）。各画素の値（Ｒ、Ｇ、Ｂ）を、ＸＹＺ表示系における三刺激値（Ｘ、Ｙ、Ｚ）に変換する。ここで、Ｒ（赤）、Ｇ（緑）、Ｂ（青）からＸ、Ｙ、Ｚへの変換は以下の式（Ｅ１）から（Ｅ３）で表される。
Ｘ＝ａ_１１Ｒ＋ａ_１２Ｇ＋ａ_１３Ｂ （Ｅ１）
Ｙ＝ａ_２１Ｒ＋ａ_２２Ｇ＋ａ_２３Ｂ （Ｅ２）
Ｚ＝ａ_３１Ｒ＋ａ_３２Ｇ＋ａ_３３Ｂ （Ｅ３）

【0035】

係数ａ_１１、ａ_１２、ａ_１３、ａ_２１、ａ_２２、ａ_２３、ａ_３１、ａ_３２、ａ_３３はそれぞれＲのＸへの寄与度、ＧのＸへの寄与度、ＢのＸへの寄与度、ＲのＹへの寄与度、ＧのＹへの寄与度、ＢのＹへの寄与度、ＲのＺへの寄与度、ＧのＺへの寄与度、ＢのＺへの寄与度を示す量であるとみなされる。このａ_１１からａ_３３の９個のパラメータは既知の定数であり、例えば、ａ_１１＝０．４１２４、ａ_１２＝０．３５７６、ａ_１３＝０．１８０５、ａ_２１＝０．２１２６、ａ_２２＝０．７１５２、ａ_２３＝０．０７２２、ａ_３１＝０．０１９３、ａ_３２＝０．１１９２、ａ_３３＝０．９５０５と定められている。

【0036】

ここでＸ_Ｒ、Ｘ_Ｇ、Ｘ_Ｂ、Ｙ_Ｒ、Ｙ_Ｇ、Ｙ_Ｂ、Ｚ_Ｒ、Ｚ_Ｇ、Ｚ_Ｂを次の式（Ｅ４）から（Ｅ６）により定義する。さらに、これらを用いると式（Ｅ７）から（Ｅ９）が得られる。
Ｘ_Ｒ＝ａ_１１Ｒ、Ｘ_Ｇ＝ａ_１２Ｇ、Ｘ_Ｂ＝ａ_１３Ｂ （Ｅ４）
Ｙ_Ｒ＝ａ_２１Ｒ、Ｙ_Ｇ＝ａ_２２Ｇ、Ｙ_Ｂ＝ａ_２３Ｂ （Ｅ５）
Ｚ_Ｒ＝ａ_３１Ｒ、Ｚ_Ｇ＝ａ_３２Ｇ、Ｚ_Ｂ＝ａ_３３Ｂ （Ｅ６）
Ｘ＝Ｘ_Ｒ＋Ｘ_Ｇ＋Ｘ_Ｂ （Ｅ７）
Ｙ＝Ｙ_Ｒ＋Ｙ_Ｇ＋Ｙ_Ｂ （Ｅ８）
Ｚ＝Ｚ_Ｒ＋Ｚ_Ｇ＋Ｚ_Ｂ （Ｅ９）

【0037】

次に、色補正として、加齢による水晶体の黄変に伴う水晶体の光透過性の変化（低下）の影響を小さくするように、ステップＳ２１の変換により得られた三刺激値Ｘ、Ｙ、Ｚを補正する（Ｓ２２）。ここでは、ステップＳ２０で取得した対象年齢での水晶体の光透過性と、若年者の年齢として予め定められた基準年齢（例えば２０歳）での水晶体の光透過性とに基づいて、対象者が画像を見たときの色覚が、基準年齢の人の色覚に近づくように、三刺激値Ｘ、Ｙ、Ｚを補正する。具体的には、基準年齢での水晶体の光透過性に対する対象年齢での水晶体の光透過性の比である水晶体透過比に基づく色覚変化（色覚低下）を打ち消すように、三刺激値Ｘ、Ｙ、ＺのそれぞれにおけるＲ、Ｇ、Ｂ成分Ｘ_ｎ、Ｙ_ｎ、Ｚ_ｎ（ｎ＝Ｒ、Ｇ、Ｂ）を個別に調節（補正）する。より具体的には、以下の式（Ｅ１０）、（Ｅ１１）、（Ｅ１２）により、補正三刺激値Ｘ‘、Ｙ‘、Ｚ‘を求める。
Ｘ‘＝Ｘ_Ｒ／Ｋ_Ｒ ^（Ｘ）＋Ｘ_Ｇ／Ｋ_Ｇ ^（Ｘ）＋Ｘ_Ｂ／Ｋ_Ｂ ^（Ｘ） （Ｅ１０）
Ｙ‘＝Ｙ_Ｒ／Ｋ_Ｒ ^（Ｙ）＋Ｙ_Ｇ／Ｋ_Ｇ ^（Ｙ）＋Ｙ_Ｂ／Ｋ_Ｂ ^（Ｙ） （Ｅ１１）
Ｚ‘＝Ｚ_Ｒ／Ｋ_Ｒ ^（Ｚ）＋Ｚ_Ｇ／Ｋ_Ｇ ^（Ｚ）＋Ｚ_Ｂ／Ｋ_Ｂ ^（Ｚ） （Ｅ１２）

【0038】

ここで、Ｋ_Ｒ ^（Ｘ）、Ｋ_Ｇ ^（Ｘ）、Ｋ_Ｂ ^（Ｘ）、Ｋ_Ｒ ^（Ｙ）、Ｋ_Ｇ ^（Ｙ）、Ｋ_Ｂ ^（Ｙ）、Ｋ_Ｒ ^（Ｚ）、Ｋ_Ｇ ^（Ｚ）、Ｋ_Ｂ ^（Ｚ）は実効成分比として定義される値であり、以下のように求められる。

【0039】

加齢による色覚低下を考えない場合、上述のＸ_ｎ、Ｙ_ｎ、Ｚ_ｎ（ｎ＝Ｒ、Ｇ、Ｂ）は、表示部４の分光分布により以下の式（Ｅ１３）から（Ｅ１５）で表される。
Ｘ_ｎ＝ｋΣＳ（λ）ｘ（λ）ｆ_ｎ（λ） （Ｅ１３）
Ｙ_ｎ＝ｋΣＳ（λ）ｙ（λ）ｆ_ｎ（λ） （Ｅ１４）
Ｚ_ｎ＝ｋΣＳ（λ）ｚ（λ）ｆ_ｎ（λ） （Ｅ１５）

【0040】

上式（Ｅ１３）～（Ｅ１５）においてλは可視光の波長である。Ｓ（λ）はＤ６５白色点の波長λに対する分光分布である。ｘ（λ）、ｙ（λ）、ｚ（λ）はそれぞれ波長λでのＸ、Ｙ、Ｚの等色関数である。ｆ_ｎ（λ）（ｎ＝Ｒ、Ｇ、Ｂ）、すなわち、ｆ_Ｒ（λ）、ｆ_Ｇ（λ）、ｆ_Ｂ（λ）はそれぞれ表示部４における赤色、緑色、青色の分光分布である。ｋは適当な定数である。Σにおける和の範囲は可視光波長域全体が含まれるように定められ、具体的には例えばλ＝３８０からλ＝７８０までとしてよい。

【0041】

以上は若者の健常者の場合であるが、これが加齢により以下のように変化する。周知のPokornyらの研究によれば、Ａ_１歳の水晶体の光透過性に対するＡ_２歳（ただし、Ａ_２はＡ_１以上とすればよい）の水晶体の光透過性の比である水晶体透過比Ｆは次の式（Ｅ１６）で記述される。なお、＾はべき乗、Ｌは水晶体の光学密度である。
Ｆ（λ、Ａ_２、Ａ_１）＝１０＾｛－Ｌ（λ、Ａ_２）｝／１０＾｛－Ｌ（λ、Ａ_１）｝＝１０＾｛Ｌ（λ、Ａ_１）－Ｌ（λ、Ａ_２）｝ （Ｅ１６）

【0042】

水晶体の光学密度Ｌは、Ａを年齢とすると、Ａが２０より大きく６０以下の場合、次の式（Ｅ１７）で、Ａが６０より大きい場合は式（Ｅ１８）であらわされる。なお、Ｔ_Ｌ１、Ｔ_Ｌ２は適当な定数である。
Ｌ（λ、Ａ）＝Ｔ_Ｌ１（１＋０．０２（Ａ－３２））＋Ｔ_Ｌ２ （Ｅ１７）
Ｌ（λ、Ａ）＝Ｔ_Ｌ１（１．５６＋０．０６６７（Ａ－６０））＋Ｔ_Ｌ２ （Ｅ１８）

【0043】

上記Ｆを用いると、加齢により式（Ｅ１３）から（Ｅ１５）は次の式（Ｅ１９）から（Ｅ２１）に変化する。
Ｘ_ｎ ^＊＝ｋΣＳ（λ）ｘ（λ）ｆ_ｎ（λ）Ｆ（λ、Ａ_２、Ａ_１） （Ｅ１９）
Ｙ_ｎ ^＊＝ｋΣＳ（λ）ｙ（λ）ｆ_ｎ（λ）Ｆ（λ、Ａ_２、Ａ_１） （Ｅ２０）
Ｚ_ｎ ^＊＝ｋΣＳ（λ）ｚ（λ）ｆ_ｎ（λ）Ｆ（λ、Ａ_２、Ａ_１） （Ｅ２１）

【0044】

式（Ｅ１９）から（Ｅ２１）で示されるＸ_ｎ ^＊、Ｙ_ｎ ^＊、Ｚ_ｎ ^＊は、Ａ_１歳の人が知覚する色（三刺激値Ｘ_ｎ、Ｙ_ｎ、Ｚ_ｎ）と同一の色を、Ａ_２歳の人が見た場合に知覚する色の三刺激値（つまり、Ａ_２歳が知覚する色の再現）を示している。ここで、Ａ_１を基準年齢とし、Ａ_２をステップＳ１０で取得した対象年齢とする。この場合、Ｘ_ｎ ^＊、Ｙ_ｎ ^＊、Ｚ_ｎ ^＊は、基準年齢Ａ_１の人の色覚を基準としたときの対象年齢Ａ_２の人の色覚を再現した色を示す。また、上記式（Ｅ１３）から（Ｅ１５）で示される色（Ｘ_ｎ、Ｙ_ｎ、Ｚ_ｎ）を、基準年齢の人が知覚する色であるとする。

【0045】

そして、基準年齢Ａ_１の人が知覚するＸ_ｎ、Ｙ_ｎ、Ｚ_ｎ（ｎ＝Ｒ、Ｇ、Ｂ）に対する、対象者が知覚するＸ_ｎ ^＊、Ｙ_ｎ ^＊、Ｚ_ｎ ^＊（ｎ＝Ｒ、Ｇ、Ｂ）の比として、実効成分比を定義する。すなわち、実効成分比は以下の式（Ｅ２２）から（Ｅ２４）で定義される。
Ｋ_ｎ ^（Ｘ）＝Ｘ_ｎ ^＊／Ｘ_ｎ （Ｅ２２）
Ｋ_ｎ ^（Ｙ）＝Ｙ_ｎ ^＊／Ｙ_ｎ （Ｅ２３）
Ｋ_ｎ ^（Ｚ）＝Ｚ_ｎ ^＊／Ｚ_ｎ （Ｅ２４）

【0046】

実効成分比Ｋ_ｎ ^（Ｘ）、Ｋ_ｎ ^（Ｙ）、Ｋ_ｎ ^（Ｚ）は、加齢（基準年齢と対象年齢の年齢差）に伴う水晶体の黄変による色覚変化（色覚低下）を示す黄変フィルタである。この実効成分比Ｋ_ｎ ^（Ｘ）、Ｋ_ｎ ^（Ｙ）、Ｋ_ｎ ^（Ｚ）（ｎ＝Ｒ、Ｇ、Ｂ）が、上記式（Ｅ１０）から（Ｅ１２）中に用いられる。式（Ｅ１０）から（Ｅ１２）の黄変補正では、実効成分比Ｋ_ｎ ^（Ｘ）、Ｋ_ｎ ^（Ｙ）、Ｋ_ｎ ^（Ｚ）（黄変フィルタ）の影響を打ち消すために、三刺激値Ｘ、Ｙ、ＺのそれぞれにおけるＲ、Ｇ、Ｂ成分Ｘ_ｎ、Ｙ_ｎ、Ｚ_ｎ（ｎ＝Ｒ、Ｇ、Ｂ）に、実効成分比Ｋ_ｎ ^（Ｘ）、Ｋ_ｎ ^（Ｙ）、Ｋ_ｎ ^（Ｚ）の逆数を補正係数として乗算している。このように、実効成分比Ｋ_ｎ ^（Ｘ）、Ｋ_ｎ ^（Ｙ）、Ｋ_ｎ ^（Ｚ）の逆数である補正係数は、各刺激値Ｘ、Ｙ、ＺのＲ、Ｇ、Ｂ成分Ｘ_ｎ、Ｙ_ｎ、Ｚ_ｎごとに設定される。

【0047】

黄変補正係数（実効成分比Ｋ_ｎ ^（Ｘ）、Ｋ_ｎ ^（Ｙ）、Ｋ_ｎ ^（Ｚ）の逆数）は、基準年齢Ａ_１と対象年齢Ａ_２の組み合わせごとに予め演算されて、図１に示す記憶部７に予め記憶されてよい。または、ステップＳ１２の処理時に式（Ｅ２２）から（Ｅ２４）に基づいて実効成分比Ｋ_ｎ ^（Ｘ）、Ｋ_ｎ ^（Ｙ）、Ｋ_ｎ ^（Ｚ）及びその逆数である黄変補正係数を演算してもよい。なお、入力部３による入力操作により、基準年齢Ａ_１を任意の年齢に設定できるようにしてもよい。

【0048】

式（Ｅ４）から（Ｅ９）を参照すると、黄変補正を行う前の三刺激値Ｘ、Ｙ、ＺにおけるＲ、Ｇ、Ｂの寄与度を示す９個の数値はａ_１１、ａ_１２、ａ_１３、ａ_２１、ａ_２２、ａ_２３、ａ_３１、ａ_３２、ａ_３３である。これに対して、式（Ｅ１０）から（Ｅ１２）で示される黄変補正後の三刺激値Ｘ‘、Ｙ’、Ｚ‘におけるＲ、Ｇ、Ｂの寄与度を示す９個の数値はａ_１１／Ｋ_Ｒ ^（Ｘ）、ａ_１２／Ｋ_Ｇ ^（Ｘ）、ａ_１３／Ｋ_Ｂ ^（Ｘ）、ａ_２１／Ｋ_Ｒ ^（Ｙ）、ａ_２２／Ｋ_Ｇ ^（Ｙ）、ａ_２３／Ｋ_Ｂ ^（Ｙ）、ａ_３１／Ｋ_Ｒ ^（Ｚ）、ａ_３２／Ｋ_Ｇ ^（Ｚ）、ａ_３３／Ｋ_Ｂ ^（Ｚ）である。すなわち、黄変補正では、三刺激値Ｘ、Ｙ、ＺのそれぞれにおけるＲＧＢ表示系のＲ、Ｇ、Ｂの寄与度を示す９個の数値を個別に調節（補正）することと同義である。

【0049】

以上のようにしてステップＳ１２の黄変補正を行う。次に、以下の式（Ｅ２５）から（Ｅ２７）により、黄変補正後の各画素の値を三刺激値Ｘ‘、Ｙ’、Ｚ‘からＲＧＢ表示系の値（Ｒ‘、Ｇ‘、Ｂ‘）に変換する（Ｓ２３）。
Ｒ‘＝ｂ_１１Ｘ‘＋ｂ_１２Ｙ‘＋ｂ_１３Ｚ‘ （Ｅ２５）
Ｇ‘＝ｂ_２１Ｘ‘＋ｂ_２２Ｙ‘＋ｂ_２３Ｚ‘ （Ｅ２６）
Ｂ‘＝ｂ_３１Ｘ‘＋ｂ_３２Ｙ‘＋ｂ_３３Ｚ‘ （Ｅ２７）

【0050】

係数ｂ_１１、ｂ_１２、ｂ_１３、ｂ_２１、ｂ_２２、ｂ_２３、ｂ_３１、ｂ_３２、ｂ_３３はそれぞれＸのＲへの寄与度、ＹのＲへの寄与度、ＺのＲへの寄与度、ＸのＧへの寄与度、ＹのＧへの寄与度、ＺのＧへの寄与度、ＸのＢへの寄与度、ＹのＢへの寄与度、ＺのＢへの寄与度を示す量であるとみなされる。このｂ_１１からｂ_３３の９個のパラメータは既知の定数であり、例えば、ｂ_１１＝３．２４０６、ｂ_１２＝－１．５３７２、ｂ_１３＝－０．４９８６、ｂ_２１＝－０．９６８９、ｂ_２２＝１．８７５８、ｂ_２３＝０．０４１５、ｂ_３１＝０．０５５７、ｂ_３２＝－０．２０４０、ｂ_３３＝１．０５７０と定められている。

【0051】

図１３は、図１２の注目領域の画像に対してステップＳ１１の色補正を行った後の画像を示している。図２に戻って、次に、ステップＳ１１の色補正後の注目領域の画像を、ステップＳ１で取得した原画像と合成する（Ｓ１２）。具体的には、原画像の注目領域を、色補正後の注目領域に置き換える。図１４は、原画像に、色補正後の注目領域を合成することに得られた画像（局所補正画像）を示している。

【0052】

次に、ステップＳ１２で得られた局所補正画像を表示部４に出力して表示させる（Ｓ１３）。これにより、局所補正画像が対象者（術者）に提示される。なお、ステップＳ１２、Ｓ１３が出力ステップに相当する。ステップＳ１２、Ｓ１３を実行するＣＰＵ６が出力部に相当する。

【0053】

その後、ステップＳ１に戻って、次の時点の画像に対して上述のステップＳ１～Ｓ１３を行う。このように、撮影部２が撮影する動画を構成する各時点の画像に対してステップＳ１～Ｓ１３が繰り返される。

【0054】

以上のように、本実施形態では、注目領域のみに色補正を行うので、色補正後の画像中の白飛びの割合を小さくできる。ここで、下記表１は、同一の原画像に対して、画像全体に色補正を行った場合と、注目領域のみに色補正を行った場合とで、補正後の画像全体に対する白飛び領域の割合を各年齢ごとに示している。なお、表１中の「白飛び減少割合」は、白飛び割合（全体補正）と白飛び割合（局所補正）との差である。表１に示すように、注目領域のみの局所補正では、全体補正に比べて、白飛び割合が減少しており、特に高齢ほど、その減少割合が大きい。

【0055】

【表1】

【0056】

また、図１６は、ステップＳ１で取得する原画像の輝度分布を例示している。図１６中の符号「１０１」は、原画像中の、眼球中央の円形領域（注目領域）の輝度分布を示している。符号「１０２」は、原画像中の、注目領域以外の領域の輝度分布を示している。

【0057】

図１７は、ステップＳ１～Ｓ１２により得られた補正画像、すなわち、原画像の注目領域のみを色補正した場合の輝度分布を例示している。図１７中の符号「２０１」は、局所補正画像中の、眼球中央の円形領域（注目領域）の輝度分布を示している。符号「２０２」は、局所補正画像中の、注目領域以外の領域の輝度分布を示している。図１６の符号「１０２」の輝度分布と、図１７の符号「２０２」の輝度分布とは互いに同じである。

【0058】

図１８は、図１６の輝度分布で示される原画像の全体（つまり、注目領域と、それ以外の領域との双方）に対して、ステップＳ１１と同様の色補正を行った場合の輝度分布を例示している。図１８中の符号「３０１」は、全体補正画像中の、眼球中央の円形領域（注目領域）の輝度分布を示している。符号「３０２」は、全体補正画像中の、注目領域以外の領域の輝度分布を示している。図１７の符号「２０１」の輝度分布と、図１８の符号「３０１」の輝度分布とは互いに同じである。なお、図１７、図１８は、対象者の年齢を７０歳として色補正を行った場合の輝度分布を示している。

【0059】

図１８に示すように、画像の全体に色補正を行うと、注目領域とそれ以外の領域との輝度差（特に、高輝度（高画素値）側の輝度差）が大きい。これに対して、画像の注目領域のみに色補正を行うと、図１７に示すように、注目領域とそれ以外の領域との輝度差が、図１８に比べて小さい。

【0060】

このように、本実施形態の局所補正では、注目領域とそれ以外の領域との間で輝度差が大きくなるという不自然さを低減できる。

【0061】

また、本実施形態では、眼科手術画像中の注目領域に色補正を行うので、術者が高齢者であったとしても、術者に眼科手術を行わせやすくできる。注目領域として眼球中央の円形領域を色補正するので、術者に白内障手術（水晶体の除去、眼内レンズの挿入など）を行わせやすくできる。

【0062】

また、上記実施形態では、注目領域を自動で検出するので、撮影部２が撮影した動画をリアルタイムで色補正することができる。また、２値化画像中のノイズ領域を除去したうえで注目領域に対応する形状を検出するので、その検出精度を高くできる。

【0063】

なお、本開示は上記実施形態に限定されず種々の変更が可能である。例えば、上記実施形態では、眼科手術画像を色補正する例を示したが、眼以外の部位の手術画像を色補正してもよい。また、例えば手術以外の処置時（例えば眼の検査時）の眼画像を色補正してもよい。また、手術又は検査以外の画像に対して色補正を行ってもよい。

【0064】

上記実施形態では、色補正として黄変補正を例示したが、色補正の手法は本実施形態の手法に限定されない。また、黄変補正に加えて又は代えて、加齢に伴う瞳孔径の縮小の影響を打ち消す補正（縮瞳補正）を行ってもよい。この場合、特許第７１２０５５６号公報に記載のγ補正を行ってよい。

【0065】

また、上記実施形態では、局所補正画像を表示部４に出力する例を示したが、局所補正画像を画像投影装置（プロジェクタ）に出力してもよいし、局所補正画像を紙媒体等に印刷する画像印刷装置に出力してもよい。

【符号の説明】

【0066】

１ 表示システム
２ 撮影部
３ 入力部
４ 表示部
５ 演算装置（画像処理装置）
６ ＣＰＵ
７ 記憶部
８ プログラム

【要約】

【課題】年齢に応じた色補正を行うとともに、色補正後の画像中の白飛びの割合を小さくできる画像処理装置、画像処理方法、又はプログラムを提供する。
【解決手段】画像処理装置としての演算装置５は、撮影部２が撮影した画像中の注目領域を検出し、検出した注目領域に対して年齢に応じた色補正を行い、色補正後の注目領域とそれ以外の領域とを含む局所補正画像を出力する。画像は例えば眼科手術画像である。注目領域は例えば眼球中央の円領域である。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】