特許 6092336 画像処理システム、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6092336

(24)【登録日】2017年2月17日

(45)【発行日】2017年3月8日

(54)【発明の名称】画像処理システム、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20170227BHJP

   G01N 21/17 20060101ALI20170227BHJP

【ＦＩ】

   G06T1/00 295

   G01N21/17 A

【請求項の数】8

【全頁数】16

(21)【出願番号】特願2015-189300(P2015-189300)

(22)【出願日】2015年9月28日

【審査請求日】2015年9月28日

(73)【特許権者】

【識別番号】504171134

【氏名又は名称】国立大学法人 筑波大学

(73)【特許権者】

【識別番号】592131906

【氏名又は名称】みずほ情報総研株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】加藤 光保

(72)【発明者】

【氏名】永田 毅

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特表２００８−５４１１７９（ＪＰ，Ａ）

【文献】 国際公開第２００７／０２３７２３（ＷＯ，Ａ１）

【文献】 特開２００８−０２０９４９（ＪＰ，Ａ）

【文献】 特開２０１３−２００２８７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０１Ｎ ２１／１７−２１／７４

(57)【特許請求の範囲】

【請求項1】

対象物について、複数の手法を用いて撮影した複数の撮影画像を記憶する撮影画像記憶部と、出力部に接続された制御部とを備えた画像処理システムであって、
前記撮影画像記憶部には、前記対象物を第１の手法により撮影した第１の撮影画像と、前記対象物を第２の手法により撮影した第２の撮影画像を記録し、
前記制御部が、
前記第１の手法に対して第１配色を割り当て、前記第１の手法とは異なる第２の手法に対して第２配色を割り当て、
前記撮影画像記憶部に記録された前記第１の撮影画像に含まれるターゲット領域を、割り当てられた前記第１配色で着色し、背景を黒色化した第１の画像を生成し、
前記撮影画像記憶部に記録された前記第２の撮影画像に含まれるターゲット領域を、前記第１配色とは異なる第２配色において着色し、背景を黒色化した第２の画像を生成し、
前記第１の画像に含まれる画素の画素値と、前記第２の画像に含まれる画素の画素値とを用いて、前記第１、第２の画像の何れかを変形した場合の相互情報量を算出し、
前記相互情報量が最大となるような変形を用いて、前記第１、第２の画像において、それぞれ着色されたターゲット領域を位置合わせして重ね合わせ、前記第１配色及び前記第２配色により生成された第３配色で着色された合成画像を生成して出力することを特徴とする画像処理システム。

【請求項2】

前記第１配色、第２配色を、三原色の中から選択することを特徴とする請求項１に記載の画像処理システム。

【請求項3】

前記第１、第２の撮影画像において輝度情報を取得し、
前記輝度情報に基づいてターゲット領域を白色化した第１、第２の反転画像を生成し、前記第１、第２の反転画像に対して、前記第１配色、第２配色の値を全体に乗算することを特徴とする請求項１又は２に記載の画像処理システム。

【請求項4】

前記合成画像を、色相、彩度、明度を用いたＨＳＶ色空間で表し、
前記ＨＳＶ色空間において指定された値を用いて、ターゲット領域を特定することを特徴とする請求項１〜３のいずれか一項に記載の画像処理システム。

【請求項5】

前記合成画像において、モルフォロジ演算によるクロージング処理を行なうことにより、前記ターゲット領域を変形して、前記ターゲット領域の数をカウントすることを特徴とする請求項１〜４のいずれか一項に記載の画像処理システム。

【請求項6】

前記第１、第２の撮影画像は、評価対象組織のスライス標本を撮影した画像であって、
前記第１の手法において、前記評価対象組織に含まれる第１の物質の発現領域を着色し、前記第２の手法において、前記評価対象組織に含まれる第２の物質の発現領域を着色し、前記第１の物質及び第２の物質が発現した領域を前記ターゲット領域として検出することを特徴とする請求項１〜５のいずれか一項に記載の画像処理システム。

【請求項7】

対象物について、複数の手法を用いて撮影した複数の撮影画像を記憶する撮影画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行する方法であって、
前記撮影画像記憶部には、前記対象物を第１の手法により撮影した第１の撮影画像と、前記対象物を第２の手法により撮影した第２の撮影画像を記録し、
前記制御部が、
前記第１の手法に対して第１配色を割り当て、前記第１の手法とは異なる第２の手法に対して第２配色を割り当て、
前記撮影画像記憶部に記録された前記第１の撮影画像に含まれるターゲット領域を、割り当てられた前記第１配色で着色し、背景を黒色化した第１の画像を生成し、
前記撮影画像記憶部に記録された前記第２の撮影画像に含まれるターゲット領域を、前記第１配色とは異なる第２配色において着色し、背景を黒色化した第２の画像を生成し、
前記第１の画像に含まれる画素の画素値と、前記第２の画像に含まれる画素の画素値とを用いて、前記第１、第２の画像の何れかを変形した場合の相互情報量を算出し、
前記相互情報量が最大となるような変形を用いて、前記第１、第２の画像において、それぞれ着色されたターゲット領域を位置合わせして重ね合わせ、前記第１配色及び前記第２配色により生成された第３配色で着色された合成画像を生成して出力することを特徴とする画像処理方法。

【請求項8】

対象物について、複数の手法を用いて撮影した複数の撮影画像を記憶する撮影画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行させるためのプログラムであって、
前記撮影画像記憶部には、前記対象物を第１の手法により撮影した第１の撮影画像と、前記対象物を第２の手法により撮影した第２の撮影画像を記録し、
前記制御部を、
前記第１の手法に対して第１配色を割り当て、前記第１の手法とは異なる第２の手法に対して第２配色を割り当て、
前記撮影画像記憶部に記録された前記第１の撮影画像に含まれるターゲット領域を、割り当てられた前記第１配色で着色し、背景を黒色化した第１の画像を生成し、
前記撮影画像記憶部に記録された前記第２の撮影画像に含まれるターゲット領域を、前記第１配色とは異なる第２配色において着色し、背景を黒色化した第２の画像を生成し、
前記第１の画像に含まれる画素の画素値と、前記第２の画像に含まれる画素の画素値とを用いて、前記第１、第２の画像の何れかを変形した場合の相互情報量を算出し、
前記相互情報量が最大となるような変形を用いて、前記第１、第２の画像において、それぞれ着色されたターゲット領域を位置合わせして重ね合わせ、前記第１配色及び前記第２配色により生成された第３配色で着色された合成画像を生成して出力する手段として機
能させることを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、同一被写体を複数の手法で撮影した撮影画像において、ターゲット領域を可視化させるための画像処理システム、画像処理方法及び画像処理プログラムに関する。

【背景技術】

【0002】

標本組織内の特定の構成細胞を確認するために、標本組織の断面を撮影した画像を用いて細胞の状態を評価することがある。そこで、形態学的観点から細胞の画像を検索するための画像検索システムが検討されている（例えば、特許文献１参照。）。この文献に記載された画像検索システムの画像データベースには、細胞の画像と細胞の形態学的特徴の情報とを関連づけて記憶させておく。そして、検索条件として入力された細胞の形態学的特徴に基づいて、画像データベースを検索し、検索条件に適合した細胞の画像を表示部に表示する。

【0003】

更に、標本の断面を撮影したスライス画像において、この標本の中に含まれる特定の構成細胞を認識するための画像処理システムも検討されている（例えば、特許文献２参照。）。この文献に記載された技術では、画像処理装置の制御部は、スライス画像を記録し、連続した前後のスライス画像において位置合わせを行なう。次に、制御部は、最初のスライス画像において特定された組織輪郭について、他のスライス画像についての輪郭位置合わせを行なう。そして、制御部は、各スライス画像に含まれる細胞について２次元評価処理を実行する。次に、制御部は、各画像において特定した細胞について、同一又は別個の細胞を識別して、細胞数をカウントする３次元評価処理を実行し、細胞数を出力する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００３−３０２０２号公報

【特許文献2】特開２０１４−６１００号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

医療や生命医科学分野では、多角的に組織標本を観察するため、同一組織を複数の手段で撮影することがある。例えば、複数の細胞染色手法で同一組織を複数回、染色すれば、複数の物質の存在を可視化した複数枚の画像が得られる。複数枚の各画像には、各ターゲット物質が存在する領域が、特定の色で染色されているので、各物質の存在を容易に確認することができる。

【0006】

ここで、複数の物質が同時に存在する領域（ターゲット領域）を特定したり、複数の物質の内、一方のみが存在する領域を特定したりする場合がある。この場合、画像を見比べ、目視で確認する必要があり、確認に手間と時間がかかっていた。また、確認対象となる領域が多い場合、目視で複数の画像を見比べながらカウントできる数には限界があった。
本発明は、上述の問題に鑑みてなされたものであり、この目的は、同一被写体を複数の手法で撮影した撮影画像において、ターゲット領域を可視化させるための画像処理システム、画像処理方法及び画像処理プログラムを提供することにある。

【課題を解決するための手段】

【0007】

上記問題点を解決するための画像処理システムは、複数の手法を用いて撮影した複数の撮影画像を記憶する撮影画像記憶部と、出力部に接続された制御部とを備える。そして、前記撮影画像記憶部には、前記対象物を第１の手法により撮影した第１の撮影画像と、前記対象物を第２の手法により撮影した第２の撮影画像を記録する。制御部は、前記第１の手法に対して第１配色を割り当て、前記第１の手法とは異なる第２の手法に対して第２配色を割り当て、前記撮影画像記憶部に記録された前記第１の撮影画像に含まれるターゲット領域を第１配色で着色し、背景を黒色化した第１の画像を生成し、前記撮影画像記憶部に記録された前記第２の撮影画像に含まれるターゲット領域を、前記第１配色とは異なる第２配色において着色し、背景を黒色化した第２の画像を生成する。次に、前記相互情報量が最大となるような変形を用いて、前記第１、第２の画像において、それぞれ着色されたターゲット領域を位置合わせして重ね合わせ、前記第１配色及び前記第２配色により生成された第３配色で着色された合成画像を生成して出力する。これにより、第３配色により着色された合成画像を用いて、第１の画像、第２の画像に含まれるターゲット領域を可視化させることができる。

【0008】

・上記画像処理システムにおいては、前記第１配色、第２配色を、三原色の中から選択することが好ましい。これにより、色の表現法の一種で、赤（Red）、緑（Green）、青（Blue）の三原色（ＲＧＢ）に基づいて、合成画像において、配色が重畳した領域を容易に視認することができる。すなわち、人間の網膜にある三種類の錐体細胞に色刺激として働きかけて、各色領域を識別することができる。

【0009】

・上記画像処理システムにおいては、前記第１、第２の撮影画像において輝度情報を取得し、前記輝度情報に基づいてターゲット領域を白色化した第１、第２の反転画像を生成し、前記第１、第２の反転画像に対して、前記第１配色、第２配色の値を全体に乗算することが好ましい。これにより、ターゲット領域を効率的に着色することができる。

【0010】

・上記画像処理システムにおいては、更に、前記第１の画像に含まれる画素の画素値と、前記第２の画像に含まれる画素の画素値とを用いて、前記第１、第２の画像の何れかを変形した場合の相互情報量を算出し、前記相互情報量が最大となるような変形を用いて、前記第１の画像と第２の画像との位置合わせを行なう。これにより、同一被写体の特徴を用いて、複数の画像の位置合わせを行なうことができる。

【0011】

・上記画像処理システムにおいては、前記合成画像を、色相（Hue）、彩度（Saturation）、明度（Lightness）を用いたＨＳＶ色空間で表し、前記ＨＳＶ色空間において指定された値を用いて、ターゲット領域を特定することが好ましい。ここで、色相は色の種類、彩度は色の鮮やかさ、明度は色の明るさを表す。これにより、特定の色相を考慮して、色を調整することができる。

【0012】

・上記画像処理システムにおいては、前記合成画像において、モルフォロジ演算によるクロージング処理を行なうことにより、ターゲット領域を変形して、前記ターゲット領域の数をカウントすることが好ましい。これにより、着色領域のむらや欠け等によるターゲット領域の変形を是正することができる。

【0013】

・上記画像処理システムにおいては、前記第１、第２の撮影画像は、評価対象組織のスライス標本を撮影した画像であって、前記第１の手法において、前記評価対象組織に含まれる第１の物質の発現領域を着色し、前記第２の手法において、前記評価対象組織に含まれる第２の物質の発現領域を着色し、前記第１の物質及び第２の物質が発現した領域をターゲット領域として検出することが好ましい。これにより、細胞組織において特定の領域（例えば、病理細胞）を特定することができる。

【発明の効果】

【0014】

本発明によれば、同一被写体を複数の手法で撮影した撮影画像において、ターゲット領域を効率的に特定することができる。

【図面の簡単な説明】

【0015】

【図1】本実施形態のシステムの説明図であって、（ａ）はシステム概略、（ｂ）は撮影画像記憶部、（ｃ）は合成画像記憶部の説明図。

【図2】本実施形態の処理手順の説明図。

【図3】本実施形態の処理手順の説明図。

【図4】本実施形態の処理手順の説明図。

【図5】本実施形態の処理手順の説明図であって、（ａ）は位置合わせ処理、（ｂ）は細胞認識処理、（ｃ）モルフォロジ演算によるクロージング処理の説明図。

【図6】本実施形態の画像の説明図であって、（ａ）はタンパク質αを染色した第１画像、（ｂ）はタンパク質βを染色した第２画像、（ｃ）はタンパク質γを染色した第３画像、（ｄ）は第１画像について赤色を割り当てた第４画像、（ｅ）は第２画像について緑色を割り当てた第５画像、（ｆ）は第３画像について青色を割り当てた第６画像の説明図。

【図7】本実施形態の画像の説明図であって、（ａ）は位置合わせを行なっていない合成画像、（ｂ）は位置合わせを行なった合成画像の説明図。

【発明を実施するための形態】

【0016】

以下、一実施形態を、図１〜図７に従って説明する。本実施形態では、同一組織を複数の手段で撮影した画像において、ターゲット領域（例えば、病理細胞）を特定するための画像処理システムとして説明する。

【0017】

ここでは、特許文献２と同様に、評価対象組織（第１の立体物）に内包される特定の細胞（第２の立体物）の細胞数をカウントする場合を想定する。このために、評価対象組織を等間隔（スライス間隔）でスライスしたスライス標本を作製する。この評価対象組織に含まれる構成細胞は、楕円体形状を有するものとする。

【0018】

本実施形態では、評価対象組織の断面（スライス標本）において、特定の細胞を、所定の細胞染色方法によって染色する。この場合、複数の物質のそれぞれの検出領域を検出するために、各スライス標本を、異なる細胞染色方法によって、複数回の染色を行なう。具体的には、異なる色の染色剤を用いる場合や、染色後に脱色して、次の染色をして行なう場合がある。そして、染色毎に、異なる物質が着色されている組織について、スライス標本を拡大撮影した画像を準備する。これらの画像においては、複数種類の情報を可視化して組みわせることができるため、以下、マルチモーダル画像と呼ぶ。

【0019】

図１（ａ）に示すように、この画像処理のため、入力部１０、出力部１５に接続された画像処理装置２０を用いる。
入力部１０は、キーボードやポインティングデバイス等、各種指示を入力するための入力手段から構成される。また、出力部１５は、ディスプレイ等、情報処理結果を出力するための出力手段から構成される。

【0020】

画像処理装置２０は、組織標本の断面を撮影した複数のスライス画像を用いて、この中に内包される特定の組織の細胞数を算出するコンピュータである。この画像処理装置２０は、制御部２１、撮影画像記憶部２２、合成画像記憶部２３、計算情報記憶部２４を備えている。

【0021】

制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成された制御手段として機能し、後述する処理（管理段階、画像取得段階、色割当段階、位置調整段階、カウント段階等を含む処理）を行なう。このための画像処理プログラムを実行することにより、制御部２１は、管理部２１０、色割当部２１１、位置調整部２１２、画像合成部２１３、カウント部２１４等として機能する。

【0022】

管理部２１０は、画像処理対象のスライス画像を取得するとともに、後述する各手段を制御する処理を実行する。管理部２１０は、特許文献２と同様に、スライス画像を作成した時のスライス間隔、倍率を一時記憶するメモリを備えている。

【0023】

色割当部２１１は、同一組織を撮影した複数の画像に対して、配色を割り当てる処理を実行する。
位置調整部２１２は、同一組織を撮影した複数の画像の位置を調整する処理を実行する。例えば、撮影位置によってずれている画像の位置を調整する。
画像合成部２１３は、同一組織を撮影した複数の画像を合成して、ターゲット領域を特定するための処理を実行する。

【0024】

カウント部２１４は、合成画像記憶部２３に記録された合成画像内のターゲット領域に基づいて、抽出領域をカウントする処理を実行する。本実施形態では、特許文献２に記載されている２次元評価手段と同様に、各スライス画像において撮影された特定の細胞の画像数をカウントする処理を実行する。更に、特許文献２に記載されている３次元評価手段と同様に、評価対象組織の３次元構造を考慮して、同一又は異なる特異細胞を判定して、評価対象組織に内包される特定の細胞の細胞数をカウントする処理を実行する。このため、複数のスライス画像に含まれる特定の細胞の連続性を担保するように、スライス画像に内包される特定の細胞の位置合わせ、スライス画像において、特定の細胞をカウントする画像範囲（輪郭）の特定を行なう。

【0025】

図１（ｂ）に示すように、撮影画像記憶部２２には、評価対象組織をスライスした各断面を撮影した画像（スライス画像）についての撮影画像管理データ２２０が記録される。この撮影画像管理データ２２０は、ユーザによってスライス画像が指定された場合に記録される。撮影画像管理データ２２０は、画像番号、染色コード、スライス画像に関するデータを含んで構成される。

【0026】

画像番号データ領域には、各スライス画像を特定するための識別子に関するデータが記録される。この画像番号は、初期値（ここでは「０」）から順番に、各断面位置の順番で連続した番号が設定される。

【0027】

染色コードデータ領域には、この細胞組織の染色に用いた染色手法（第１，第２の手法）を特定するための識別子に関するデータが記録される。
スライス画像データ領域には、この画像番号により特定される断面位置の組織構造を撮影した画像に関するデータが記録される。本実施形態では、同じ断面位置で、異なる染色コードに関連づけられた複数の画像（第１、第２の撮影画像）が記録される。

【0028】

図１（ｃ）に示すように、合成画像記憶部２３には、各撮影画像を合成した合成画像管理データ２３０が記録される。この合成画像管理データ２３０は、合成画像を生成した場合に記録される。合成画像管理データ２３０は、画像番号、合成画像、使用判定フラグに関するデータを含んで構成される。

【0029】

画像番号データ領域には、各合成画像の断面位置を特定するための識別子に関するデータが記録される。ここでは、撮影画像管理データ２２０に記録された画像番号と同じ番号を用いる。
合成画像データ領域には、この画像番号により特定される断面位置の組織構造の合成画像に関するデータが記録される。後述するように、この合成画像を、特許文献２に記載された技術に適用して、特定の細胞のカウントを行なう。

【0030】

使用判定フラグデータ領域には、この合成画像の使用可否を判定するための識別子に関するデータが記録される。具体的には、３次元評価処理（特許文献２）と同様に、後述する３次元細胞のカウント処理において、他の合成画像とのずれが大きく、位置合わせができない場合、この合成画像を使用しないことを示す不使用フラグが記録される。

【0031】

計算情報記憶部２４には、特定の細胞のカウントに用いる計算情報が記録される。この計算情報記憶部２４には、特許文献２と同様に、変形情報管理データ、組織輪郭管理データ、スライス内細胞管理データ、グループ化管理データが記録される。変形情報管理データには、撮影された特定の細胞の連続性を担保するために、スライス画像を変形させるための情報が記録される。組織輪郭管理データには、スライス画像において、特定の細胞をカウントする範囲を特定するための情報が記録される。スライス内細胞管理データには、各スライス画像に含まれる特定の細胞を抽出するための情報が記録される。グループ化管理データには、３次元構造を考慮して、複数のスライス画像で撮影された各特定の細胞のまとまりを特定するための情報が記録される。

【0032】

次に、上記のように構成された画像処理装置２０において、評価対象組織内に含まれる特定の細胞を評価する場合の処理手順について、図２〜図７を用いて説明する。
（全体の概要）
まず、図２を用いて、全体の概要を説明する。評価対象組織内に含まれる小さな細胞を評価する場合、組織標本を所定の間隔（スライス間隔）でスライスする。そして、各断面において細胞を染色して、所定の倍率で撮影したスライス画像ファイルを作成する。上述したように、本実施形態では、異なる細胞染色手法を用いて、複数回の染色を行ない、染色毎に撮影を行なう。このスライス画像ファイルを、画像処理装置２０の記憶部（ハードディスク等）や記憶媒体内に格納しておく。この場合、一つのファイルに複数のスライス画像を含めたり、スライスした順番にファイル名を設定した複数のスライス画像ファイルを用いたりすることができる。そして、画像処理装置２０の画像処理プログラムを起動する。

【0033】

この場合、まず、画像処理装置２０の制御部２１は、画像取得処理を実行する（ステップＳ１−１）。具体的には、制御部２１の管理部２１０は、出力部１５に、評価対象の組織を撮影したスライス画像を指定するための画像指定画面を出力する。ここで、画像指定画面を用いて、画像処理装置２０の記憶部（ハードディスク等）や記憶媒体内に記録された評価対象のスライス画像を指定する。この場合、管理部２１０は、指定されたスライス画像を取得し、ファイルに含まれる順番やファイル名の順番に基づいて画像番号を付与する。そして、管理部２１０は、画像番号に関連付けたスライス画像を記録した撮影画像管理データ２２０を生成し、撮影画像記憶部２２に登録する。

【0034】

図３は、本実施形態で用いる撮影画像を模式的に表わしたものである。ここでは、二つの撮影画像５００，５０１を用いる場合を想定する。撮影画像５００においては染色領域Ｒ１，Ｒ２，Ｒ３が含まれ、撮影画像５０１において染色領域Ｒ１，Ｒ３が含まれる。

【0035】

次に、画像処理装置２０の制御部２１は、色の割当処理を実行する（ステップＳ１−２）。具体的には、制御部２１の色割当部２１１は、画像中の染色領域に対して、合成に必要な色を割り当てる。ここでは、染色手法毎に、三原色のいずれか異なる色を割り当てる。図３において、撮影画像５００の染色領域Ｒ１〜Ｒ３には第１配色（例えば、ＲＧＢの「赤」）、撮影画像５０１の染色領域Ｒ１，Ｒ３には第２配色（例えば、ＲＧＢの「緑」）を割り当てる。この処理の詳細については、図４を用いて後述する。

【0036】

次に、断面位置毎に、以下の処理を繰り返す。本実施形態では、共通する画像番号に関連付けられたスライス画像により、同じ断面位置の画像を特定する。
ここでは、画像処理装置２０の制御部２１は、位置合わせ処理を実行する（ステップＳ１−３）。具体的には、制御部２１の位置調整部２１２は、異なる染色手法によって染色された同一細胞組織の撮影毎の位置ずれを調整する。この処理の詳細については、図５を用いて後述する。

【0037】

次に、画像処理装置２０の制御部２１は、合成処理を実行する（ステップＳ１−４）。具体的には、制御部２１の画像合成部２１３は、同じ断面位置のマルチモーダル画像を合成して、合成画像を生成する。図３の画像５０２において、撮影画像５００と撮影画像５０１とが合成された染色領域Ｒ１，Ｒ３は第３配色（「赤」と「緑」との合成色）が発現する。一方、撮影画像５００の染色領域Ｒ２は、元の第１配色（「赤」）を維持する。この処理の詳細については、図６を用いて後述する。

【0038】

次に、画像処理装置２０の制御部２１は、指定色の２次元細胞のカウント処理を実行する（ステップＳ１−５）。具体的には、制御部２１のカウント部２１４は、２次元の合成画像内で指定された色領域を用いて、特定の細胞（粒子）の個数をカウントする。具体的には、指定色で合成された連続切片画像において、後述する細胞認識処理を行ない、色領域内部の細胞を認識する。そして、図３の画像５０３において、第３配色（「赤」と「緑」とが合成された「黄」）が発現した染色領域Ｒ１，Ｒ３を特定の細胞としてカウントする。特定の細胞のカウントについては、特許文献２の２次元評価処理を用いる。
そして、すべての断面位置について終了するまで、上記処理を繰り返す。

【0039】

次に、画像処理装置２０の制御部２１は、３次元細胞のカウント処理を実行する（ステップＳ１−６）。具体的には、制御部２１のカウント部２１４は、合成された連続切片画像を位置合わせして、３次元組織内部の細胞数をカウントする。特定の細胞のカウントについては、特許文献２の３次元評価処理を用いる。

【0040】

（色の割当処理）
次に、図４を用いて、色の割当処理（ステップＳ１−２）を説明する。ここでは、画像中の染色領域を、合成に必要な色に割り当てる。

【0041】

まず、画像処理装置２０の制御部２１は、グレー化処理を実行する（ステップＳ２−１）。具体的には、制御部２１の色割当部２１１は、撮影画像（カラー画像）の色情報を削除し、輝度情報のみとする。例えば、画像５１０においては、白色に近い背景色に対して、染色領域Ｒ１〜Ｒ３が「赤」に染色されている場合を想定する。画像５１１のように、色情報を削除することにより、輝度を用いて、背景領域に対して、染色領域Ｒ１〜Ｒ３が黒に近い配色の画像に変換される。

【0042】

次に、画像処理装置２０の制御部２１は、白黒反転処理を実行する（ステップＳ２−２）。具体的には、制御部２１の色割当部２１１は、グレー化した画像について、白黒を反転させる。この場合、染色領域が白色に近い配色、背景領域が黒色に近い配色の画像に変換される。画像５１２のように、背景領域に対して、染色領域Ｒ１〜Ｒ３が白色に近い色に変換される。

【0043】

次に、画像処理装置２０の制御部２１は、指定色の割当処理を実行する（ステップＳ２−３）。具体的には、制御部２１の色割当部２１１は、白黒反転画像全体に対して、撮影手法に対応した指定色のＲＧＢ値を乗算する。この場合、白色に近い配色の染色領域は指定色に変換される。一方、黒色に近い色の背景領域は、黒色を維持する。この場合、画像５１３のように、黒色に近い配色の背景領域に対して、染色領域Ｒ１〜Ｒ３が指定色（例えば、第１配色の「緑」）に着色される。

【0044】

次に、画像処理装置２０の制御部２１は、背景カット処理を実行する（ステップＳ２−４）。具体的には、制御部２１の色割当部２１１は、閾値以下の領域を黒色に設定する。本実施形態では、閾値を、公知技術（例えば、大津の手法）等で算出する。なお、閾値をユーザが画像を確認しながら指定するようにしてもよい。この場合、画像５１４のように、背景領域の各ＲＧＢ値が最大値（２５５）となり、背景色が黒色に近い色から黒色に変換される。

【0045】

（位置合わせ処理）
次に、図５（ａ）を用いて、位置合わせ処理（ステップＳ１−３）を説明する。ここでは、同一組織を撮影した複数の画像の位置合わせを行なう。具体的には、マルチモーダル画像の位置合わせでは、相互情報量が最大となるアフィン変換条件（並行移動、回転、リサイズ）を求める。

【0046】

まず、画像処理装置２０の制御部２１は、同位置画像の特定処理を実行する（ステップＳ３−１）。具体的には、制御部２１の位置調整部２１２は、処理対象の断面位置の撮影番号が記録され、色の割当処理が行われたマルチモーダル画像を特定する。

【0047】

そして、アフィン変換条件毎に、以下の処理を繰り返す。
ここでは、画像処理装置２０の制御部２１は、相互情報量の算出処理を実行する（ステップＳ３−２）。具体的には、制御部２１の位置調整部２１２は、以下の式を用いて、相互情報量を算出する。

【0048】

【数1】

【0049】

ここで、「ai」は画像Ａの画素値（０〜２５５）、「bj」は画像Ｂの画素値（０〜２５５）である。
そして、同時分布関数ｐ(ai,bj)は、以下のように表すことができる。

【0050】

【数2】

【0051】

また、周辺確率分布関数ｐ(ai)、ｐ(bj)は、以下のように表すことができる。

【0052】

【数3】

【0053】

更に、２次元ヒストグラムh（ai,bj）は、以下のように表すことができる。

【0054】

【数4】

【0055】

そして、位置調整部２１２は、算出した相互情報量を、アフィン変換条件（並行移動、回転、リサイズ）に関連付けてメモリに記憶する。
以上の処理を、すべてのアフィン変換条件について終了するまで繰り返す。

【0056】

次に、画像処理装置２０の制御部２１は、相互情報量が最大値の位置の特定処理を実行する（ステップＳ３−３）。具体的には、制御部２１の位置調整部２１２は、メモリに記憶された相互情報量の中で最大値を特定し、最大値に関連付けられたアフィン変換条件を特定する。
次に、画像処理装置２０の制御部２１は、位置合わせ結果の記録処理を実行する（ステップＳ３−４）。具体的には、制御部２１の位置調整部２１２は、特定したアフィン変換条件を取得して、マルチモーダル画像の位置合わせを完了し、合成画像を生成し、合成画像記憶部２３に記録する。

【0057】

（細胞認識処理）
次に、図５（ｂ）を用いて、指定色の２次元細胞のカウント処理（ステップＳ１−５）における細胞認識処理を説明する。
ここでは、まず、画像処理装置２０の制御部２１は、ＨＳＶ変換処理を実行する（ステップＳ４−１）。具体的には、制御部２１のカウント部２１４は、合成画像を、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）からなるＨＳＶ色空間に投影する。そして、カウント部２１４は、合成画像を出力部１５に表示する。

【0058】

次に、画像処理装置２０の制御部２１は、ＨＳＶの指定処理を実行する（ステップＳ４−２）。具体的には、制御部２１のカウント部２１４は、色指定画面を出力部１５に出力する。この色指定画面においては、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）を指定するための設定アイコン（例えば、スライダ）が設けられている。この色指定画面においては、指定色（例えば、「赤」、「緑」）の合成により発現する配色（「黄」）の代表値を初期値として設定しておく。このスライダを用いて、色領域（ＨＳＶ値）の指定を行なうことができる。色指定画面において指定されたＨＳＶ値を取得したカウント部２１４は、出力部１５に表示された合成画像を、ＨＳＶ値に応じて変更する。

【0059】

次に、画像処理装置２０の制御部２１は、指定範囲の色領域の抽出処理を実行する（ステップＳ４−３）。具体的には、制御部２１のカウント部２１４は、ＨＳＶ値に応じて、合成画像において、指定範囲の色領域（ターゲット領域）を抽出する。

【0060】

次に、画像処理装置２０の制御部２１は、モルフォロジ演算によるクロージング処理を実行する（ステップＳ４−４）。具体的には、制御部２１のカウント部２１４は、指定範囲の色領域の欠落を補間する。

【0061】

図５（ｃ）の画像５２０に示すように、マルチモーダル画像の重ね合わせ状況に応じて、染色領域の一部が欠けている場合がある。この場合には、クロージング処理により、着色領域が欠けている領域が接合される。これにより、画像５２１に示すように、染色領域は、穴が開いたリング形状となる。

【0062】

次に、画像処理装置２０の制御部２１は、穴閉じ処理を実行する（ステップＳ４−５）。具体的には、制御部２１のカウント部２１４は、リング形状の色領域内部を同じ色で埋める。これにより、画像５２３に示すように、染色領域を円形状にする。

【0063】

（実施例）
図６、図７は、組織のスライス標本に本実施形態を適用した実施例である。
図６（ａ）〜（ｃ）は、同じスライス標本において、異なる抗体を用いて染色し、撮影したスライス画像である。ここで、図６（ａ）はタンパク質αの抗体を用いて染色した第１画像、図６（ｂ）はタンパク質βの抗体を用いて染色した第２画像、図６（ｃ）はタンパク質γの抗体を用いて染色した第３画像である。また、図６（ｄ）〜（ｆ）は、各画像を指定色で着色した画像である。図６（ｄ）は第１画像に対して赤色を割り当てて着色した第４画像、図６（ｅ）は第２画像に対して緑色を割り当てて着色した第５画像、図６（ｆ）は第３画像に対して青色を割り当てて着色した第６画像である。

【0064】

図７は、各指定色で着色された第４画像〜第６画像の合成画像の説明図である。図７（ａ）は位置合わせを行なっていない合成画像、図７（ｂ）は位置合わせを行なった合成画像である。図７（ａ）に示すように、位置合わせを行なっていない場合には、各色領域がばらついており、ターゲット領域の識別が困難である。一方、図７（ｂ）に示すように、位置合わせを行なった場合には、各着色領域の重なりにより定まるターゲット領域を識別することができる。

【0065】

本実施形態の画像処理システムによれば、以下のような効果を得ることができる。
（１）本実施形態では、画像処理装置２０の制御部２１は、色の割当処理（ステップＳ１−２）、位置合わせ処理（ステップＳ１−３）、合成処理（ステップＳ１−４）を実行する。これにより、複数の染色画像において、合成色に基づいて、共通して存在する領域を可視化して、容易に確認することができる。また、合成色の領域を用いて、ターゲット領域の数をカウントすることができる。

【0066】

（２）本実施形態の色の割当処理（ステップＳ１−２）では、染色手法毎に、三原色のいずれか異なる色を割り当てる。これにより、三原色のＲＧＢに基づいて、合成画像において、配色が重畳した領域を容易に視認することができる。

【0067】

（３）本実施形態の位置合わせ処理では、２次元ヒストグラムh（ai,bj）を用いる。これにより、マルチモーダル画像の特徴的な分布に基づいて、複数の画像の位置合わせを行なうことができる。

【0068】

（４）本実施形態の細胞認識処理では、画像処理装置２０の制御部２１は、ＨＳＶ変換処理を実行する（ステップＳ４−１）。これにより、色相を考慮して、色変化を確認しながら、色を調整することができる。ＲＧＢ値を調整する場合には、色相が変化する可能性があるが、ＨＳＶ色空間を用いることにより、三原色を考慮した色調整を効率的に行なうことができる。

【0069】

更に、画像処理装置２０の制御部２１は、モルフォロジ演算によるクロージング処理を実行する（ステップＳ４−４）。これにより、特定の細胞の形状（楕円体形状）を考慮して、染色むらや、位置ずれを是正することができる。

【0070】

また、上記実施形態は、以下のように変更してもよい。
・上記実施形態では、組織のスライス標本に内包される特定の細胞の細胞数を、マルチモーダル画像を用いてカウントする場合を想定した。本発明の適用対象は、これに限定されるものではなく、同一被写体を、複数の異なる手法で撮影したマルチモーダル画像に適用することができる。例えば、核磁気共鳴画像法（magnetic resonance imaging：ＭＲＩ）やＸ線ＣＴの撮影画像、構造物（例えば、建築物）における複数の検査手法等に用いることも可能である。

【0071】

また、同じ被写体において、異なる時間で撮影したマルチモーダル画像を用いてもよい。例えば、同一被写体を異なる時間に撮影し、撮影画像毎に、異なる指定色を割り当てる。これにより、ターゲット領域の経時変化を確認することができる。

【0072】

・上記実施形態では、画像処理装置２０の制御部２１は、グレー化処理（ステップＳ２−１）、白黒反転処理（ステップＳ２−２）を実行する。ここでは、背景領域と染色領域とを識別することができればよく、上記処理の組み合わせに限定されるものではない。例えば、所定の色閾値を用いて、背景領域と染色領域とを識別し、背景領域を黒色、染色領域を白色になるように色変換を行なうようにしてもよい。

【0073】

・上記実施形態では、画像処理装置２０の制御部２１は、指定色の２次元細胞のカウント処理を実行する（ステップＳ１−５）。更に、画像処理装置２０の制御部２１は、指定色の３次元細胞のカウント処理を実行する（ステップＳ１−６）。カウント処理は必須ではなく、合成処理（ステップＳ１−４）により、マルチモーダル画像において、所定の領域を可視化させた合成画像の生成を目的とした処理を実行すればよい。

【0074】

・上記実施形態では、画像処理装置２０の制御部２１は、ＨＳＶの指定処理（ステップＳ４−２）、指定範囲の色領域の抽出処理（ステップＳ４−３）を実行する。ここでは、色指定画面において指定された配色の色領域を抽出する。色領域の抽出はこれに限定されるものではなく、例えば、予め割り当てられた指定色の合成により発現する配色を予測し、この配色に基づいて色領域を抽出するようにしてもよい。

【0075】

・上記実施形態では、画像処理装置２０の制御部２１は、染色手法毎に、各染色領域に三原色のいずれかを割り当てる。各領域に割り当てる色は、三原色に限定されるものではない。複数の指定色の合成色が、他の配色と明確に識別できる色を割り当てるようにしてもよい。この場合には、各指定色の合成色を予測して、ターゲット領域を特定する。

【符号の説明】

【0076】

１０…入力部、１５…出力部、２０…画像処理装置、２１…制御部、２１０…管理部、２１１…色割当部、２１２…位置調整部、２１３…画像合成部、２１４…カウント部、２２…撮影画像記憶部、２３…合成画像記憶部、２４…計算情報記憶部。

【要約】

【課題】同一被写体を複数の手法で撮影した撮影画像において、ターゲット領域を効率的に特定するための画像処理システム、画像処理方法及び画像処理プログラムを提供する。
【解決手段】画像処理装置２０は、対象物について、第１及び第２の手法を用いて撮影した第１及び第２の撮影画像を記憶する撮影画像記憶部２２と、出力部１５に接続された制御部２１とを備える。そして、制御部２１が、第１の撮影画像に含まれるターゲット領域を第１配色で着色し、背景を黒色化した第１の画像を生成し、第２の撮影画像に含まれるターゲット領域を、第１配色とは異なる第２配色において着色し、背景を黒色化した第２の画像を生成し、第１、第２の画像において、それぞれ着色されたターゲット領域を用いて位置合わせして重ね合わせ、第１配色及び第２配色により生成された第３配色で着色された合成画像を生成して出力する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】