特許 7239936 マスク構造最適化装置、マスク構造最適化方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-07

(45)【発行日】2023-03-15

(54)【発明の名称】マスク構造最適化装置、マスク構造最適化方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230308BHJP

【ＦＩ】

G06T7/00 300Z

G06T7/00 350C

G06T7/00 630

【請求項の数】 20

(21)【出願番号】P 2019569166

(86)(22)【出願日】2019-01-30

(86)【国際出願番号】 JP2019003120

(87)【国際公開番号】W WO2019151307

(87)【国際公開日】2019-08-08

【審査請求日】2021-12-09

(31)【優先権主張番号】P 2018014150

(32)【優先日】2018-01-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】503359821

【氏名又は名称】国立研究開発法人理化学研究所

(73)【特許権者】

【識別番号】517110494

【氏名又は名称】シンクサイト株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100140774

【弁理士】

【氏名又は名称】大浪 一徳

(72)【発明者】

【氏名】佐藤 一誠

(72)【発明者】

【氏名】風間 正弘

(72)【発明者】

【氏名】鵜川 昌士

(72)【発明者】

【氏名】安達 啓晃

(72)【発明者】

【氏名】島田 史也

【審査官】笠田 和宏

(56)【参考文献】

【文献】国際公開第２０１８／０１５４１４（ＷＯ，Ａ１）

【文献】特開平０９－３０８６１９（ＪＰ，Ａ）

【文献】国際公開第２０１６／１３６８０１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

分類対象を含む画像である分類対象画像のサイズを取得する分類対象画像サイズ取得部と、
前記分類対象画像に対して適用されるマスクのサイズを設定するマスクサイズ設定部と、
前記マスクを隔てて前記分類対象画像の反対側の位置において前記分類対象画像内の各ピクセルの明度を検出する明度検出部と、
前記明度検出部によって検出された前記分類対象画像内の各ピクセルの明度の総和を算出する明度総和算出部と、
前記マスクのマスクパターンの初期値を設定する初期値設定部と、
前記分類対象画像に対して前記マスクを相対移動させる移動部とを備え、
前記明度総和算出部は、前記移動部が前記マスクを所定の移動量だけ相対移動させる毎に、前記分類対象画像内の各ピクセルの明度の総和を算出し、
前記明度総和算出部によって算出される明度の総和に基づき、前記マスクの前記マスクパターンを最適化するマスクパターン最適化部を更に備える、
マスク構造最適化装置。

【請求項2】

前記分類対象画像の一方の側に第１黒画像を追加すると共に、前記分類対象画像の他方の側に第２黒画像を追加する画像追加部を更に備え、
前記移動部は、前記第１黒画像および前記第２黒画像が追加された前記分類対象画像に対して前記マスクを相対移動させる、
請求項１に記載のマスク構造最適化装置。

【請求項3】

前記マスクサイズ設定部によって設定される前記マスクの移動方向のサイズは、前記分類対象画像の移動方向のサイズよりも大きいＮピクセルであり、
前記画像追加部によって前記分類対象画像の前記一方の側に追加される前記第１黒画像の移動方向のサイズは（Ｎ－１）ピクセルであり、
前記画像追加部によって前記分類対象画像の前記他方の側に追加される前記第２黒画像の移動方向のサイズは（Ｎ－１）ピクセルである、
請求項２に記載のマスク構造最適化装置。

【請求項4】

前記移動部は、
前記マスクの前記一方の側の端部と、前記第１黒画像の前記一方の側の端部とが一致する状態から、前記マスクの前記他方の側の端部と、前記第２黒画像の前記他方の側の端部とが一致する状態まで、前記第１黒画像および前記第２黒画像が追加された前記画像に対して前記マスクを相対移動させる、
請求項３に記載のマスク構造最適化装置。

【請求項5】

前記明度総和算出部は、前記移動部が前記マスクを１ピクセルだけ相対移動させる毎に、前記分類対象画像内の各ピクセルの明度の総和を算出する、
請求項４に記載のマスク構造最適化装置。

【請求項6】

前記初期値設定部は、ベルヌーイ分布に基づいて前記マスクの前記マスクパターンの前記初期値を設定する、
請求項１から請求項５のいずれか一項に記載のマスク構造最適化装置。

【請求項7】

前記マスクパターン最適化部は、２値化畳み込みニューラルネットワークを使用することによって、前記マスクの前記マスクパターンを最適化し、
前記マスクパターン最適化部が使用する２値化畳み込みニューラルネットワークの畳み込みの各重みが＋１および０のいずれかである、
請求項１から請求項６のいずれか一項に記載のマスク構造最適化装置。

【請求項8】

前記マスクパターン最適化部は、２値化畳み込みニューラルネットワークを使用することによって、前記マスクの前記マスクパターンを最適化し、
前記マスクパターン最適化部が使用する２値化畳み込みニューラルネットワークの畳み込みの各重みが＋１および－１のいずれかである、
請求項１から請求項６のいずれか一項に記載のマスク構造最適化装置。

【請求項9】

前記マスク構造最適化装置によって前記マスクパターンが最適化された前記マスクは、イメージングフローサイトメーターにおいて用いられる、
請求項１から請求項８のいずれか一項に記載のマスク構造最適化装置。

【請求項10】

前記分類対象は細胞である、
請求項１から請求項９のいずれか一項に記載のマスク構造最適化装置。

【請求項11】

分類対象を含む画像である分類対象画像のサイズを取得する分類対象画像サイズ取得ステップと、
前記分類対象画像に対して適用されるマスクのサイズを設定するマスクサイズ設定ステップと、
前記マスクを隔てて前記分類対象画像の反対側の位置において前記分類対象画像内の各ピクセルの明度を検出する明度検出ステップと、
前記明度検出ステップにおいて検出された前記分類対象画像内の各ピクセルの明度の総和を算出する明度総和算出ステップと、
前記マスクのマスクパターンの初期値を設定する初期値設定ステップと、
前記分類対象画像に対して前記マスクを相対移動させる移動ステップとを備え、
前記明度総和算出ステップでは、前記マスクが所定の移動量だけ相対移動させられる毎に、前記分類対象画像内の各ピクセルの明度の総和が算出され、
前記明度総和算出ステップにおいて算出される明度の総和に基づき、前記マスクの前記マスクパターンを最適化するマスクパターン最適化ステップを更に備える、
マスク構造最適化方法。

【請求項12】

コンピュータに、
分類対象を含む画像である分類対象画像のサイズを取得する分類対象画像サイズ取得ステップと、
前記分類対象画像に対して適用されるマスクのサイズを設定するマスクサイズ設定ステップと、
前記マスクを隔てて前記分類対象画像の反対側の位置において前記分類対象画像内の各ピクセルの明度を検出する明度検出ステップと、
前記明度検出ステップにおいて検出された前記分類対象画像内の各ピクセルの明度の総和を算出する明度総和算出ステップと、
前記マスクのマスクパターンの初期値を設定する初期値設定ステップと、
前記分類対象画像に対して前記マスクを相対移動させる移動ステップと
を実行させるためのプログラムであって、
前記明度総和算出ステップでは、前記マスクが所定の移動量だけ相対移動させられる毎に、前記分類対象画像内の各ピクセルの明度の総和が算出され、
前記明度総和算出ステップにおいて算出される明度の総和に基づき、前記マスクの前記マスクパターンを最適化するマスクパターン最適化ステップを更に実行させるためのプログラム。

【請求項13】

構造化された照明パターンを有する光学系又は光特性が異なる複数の領域を有する構造化された検出系に用いられる物理的なマスクのマスクパターンを最適化するためのマスク構造最適化装置であって、
分類対象を含む画像である分類対象画像のサイズを取得する分類対象画像サイズ取得部と、
前記分類対象画像に対して適用される前記マスクのサイズを設定するマスクサイズ設定部と、
前記マスクのマスクパターンの初期値を設定する初期値設定部と、
前記分類対象画像および前記マスクの画像に対する畳み込み処理を実行する畳み込み処理部と、
前記畳み込み処理部によって実行された畳み込み処理の結果に基づいて、前記マスクの前記マスクパターンを最適化するマスクパターン最適化部とを備える、
マスク構造最適化装置。

【請求項14】

前記分類対象画像に対する前処理を実行する分類対象画像処理部を更に備え、
前記分類対象画像処理部は、複数の分類対象を含む元画像から、複数の分類対象画像を切り出す処理を実行する切り出し部を備え、
前記切り出し部によって切り出された各分類対象画像には、少なくとも１つの分類対象が含まれ、
前記分類対象画像処理部は、前記切り出し部によって切り出された前記複数の分類対象画像のうちの、前記少なくとも１つの分類対象が画像外縁部上に位置する分類対象画像を除外する除外部を更に備える、
請求項１３に記載のマスク構造最適化装置。

【請求項15】

前記分類対象画像処理部は、前記除外部による処理が実行された後の各分類対象画像に対して摂動処理を実行する摂動部を更に備え、
前記摂動部は、前記除外部による処理が実行された後の各分類対象画像から、各分類対象画像の画像外縁部の位置を移動させることなく、各分類対象画像に含まれる前記１つの分類対象の位置を移動させた分類対象画像である摂動後分類対象画像を生成する、
請求項１４に記載のマスク構造最適化装置。

【請求項16】

前記分類対象画像および前記マスクの形状は、矩形形状であり、
前記マスクの短辺の寸法は、前記分類対象画像の長辺の寸法および前記分類対象画像の短辺の寸法よりも小さい、
請求項１３から請求項１５のいずれか一項に記載のマスク構造最適化装置。

【請求項17】

前記分類対象画像の一方の側に第１黒画像を追加すると共に、前記分類対象画像の他方の側に第２黒画像を追加する画像追加部更に備える
請求項１３から請求項１６のいずれか一項に記載のマスク構造最適化装置。

【請求項18】

前記マスクは、透光部と遮光部とを有する
請求項１３から請求項１７のいずれか一項に記載のマスク構造最適化装置。

【請求項19】

構造化された照明パターンを有する光学系又は光特性が異なる複数の領域を有する構造化された検出系に用いられる物理的なマスクのマスクパターンを最適化するためのマスク構造最適化方法であって、
分類対象を含む画像である分類対象画像のサイズを取得する分類対象画像サイズ取得ステップと、
前記分類対象画像に対して適用される前記マスクのサイズを設定するマスクサイズ設定ステップと、
前記マスクのマスクパターンの初期値を設定する初期値設定ステップと、
前記分類対象画像および前記マスクの画像に対する畳み込み処理を実行する畳み込み処理ステップと、
前記畳み込み処理ステップにおいて実行された畳み込み処理の結果に基づいて、前記マスクの前記マスクパターンを最適化するマスクパターン最適化ステップとを備える、
マスク構造最適化方法。

【請求項20】

構造化された照明パターンを有する光学系又は光特性が異なる複数の領域を有する構造化された検出系に用いられる物理的なマスクのマスクパターンを最適化するためのマスク構造最適化装置としてのコンピュータに、
分類対象を含む画像である分類対象画像のサイズを取得する分類対象画像サイズ取得ステップと、
前記分類対象画像に対して適用される前記マスクのサイズを設定するマスクサイズ設定ステップと、
前記マスクのマスクパターンの初期値を設定する初期値設定ステップと、
前記分類対象画像および前記マスクの画像に対する畳み込み処理を実行する畳み込み処理ステップと、
前記畳み込み処理ステップにおいて実行された畳み込み処理の結果に基づいて、前記マスクの前記マスクパターンを最適化するマスクパターン最適化ステップとを実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マスク構造最適化装置、マスク構造最適化方法およびプログラムに関する。
本願は、２０１８年１月３０日に、日本に出願された特願２０１８－０１４１５０号に基づき優先権を主張し、その内容をここに援用する。

【背景技術】

【0002】

従来から、イメージングフローサイトメータを用いて細胞などの分析を行う方法が知られている（例えば特許文献１参照）。特許文献１には、細胞タイプに従って画像を分類する旨が記載されている。また、特許文献１には、マスクを使用する旨が記載されている。ところで、特許文献１に記載されたマスクとは、ＴＤＩ（Time Delay Integration）－ＣＣＤ（Charge Coupled Device）で検出した細胞画像を、ソフトウェア上で切り出す操作のことである。一方、本発明におけるマスクは、例えば特許文献２に記載されているような構造化された照明等（物理的なマスク）であり、特許文献１に記載されたマスクとは異なる。特許文献１では、本発明におけるマスクは使用されていない。特許文献２では、マスクとして、構造化された照明パターンを有する光学系又は光特性が異なる複数の領域を有する構造化された検出系のいずれか又は両方が用いられる。マスクを投影する方法としては、例えばＤＭＤ（デジタルマイクロミラー装置）、ＳＬＭ（空間光変調器）、ＯＨＰ（オーバーヘッドプロジェクタ）、透過シート、ＤＯＥ(回折光学素子)などがある。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２００８－５３３４４０号公報

【文献】国際公開第２０１６／１３６８０１号

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来技術によっては、細胞や細菌を含む、微粒子の画像などの分類精度を十分に向上させることができないおそれがある。
前記問題点に鑑み、本発明は、細胞を含む微粒子等を形態情報をもとに分類する場合の分類精度を十分に向上させることができるマスク構造最適化装置、マスク構造最適化方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明の一態様は、分類対象を含む画像である分類対象画像のサイズを取得する分類対象画像サイズ取得部と、前記分類対象画像に対して適用されるマスクのサイズを設定するマスクサイズ設定部と、前記マスクを隔てて前記分類対象画像の反対側の位置において前記分類対象画像内の各ピクセルの明度を検出する明度検出部と、前記明度検出部によって検出された前記分類対象画像内の各ピクセルの明度の総和を算出する明度総和算出部と、前記マスクのマスクパターンの初期値を設定する初期値設定部と、前記分類対象画像に対して前記マスクを相対移動させる移動部とを備え、前記明度総和算出部は、前記移動部が前記マスクを所定の移動量だけ相対移動させる毎に、前記分類対象画像内の各ピクセルの明度の総和を算出し、前記明度総和算出部によって算出される明度の総和に基づき、前記マスクの前記マスクパターンを最適化するマスクパターン最適化部を更に備える、マスク構造最適化装置である。

【0006】

本発明の一態様のマスク構造最適化装置は、前記分類対象画像の一方の側に第１黒画像を追加すると共に、前記分類対象画像の他方の側に第２黒画像を追加する画像追加部を更に備え、前記移動部は、前記第１黒画像および前記第２黒画像が追加された前記分類対象画像に対して前記マスクを相対移動させてもよい。

【0007】

本発明の一態様のマスク構造最適化装置では、前記マスクサイズ設定部によって設定される前記マスクの移動方向のサイズは、前記分類対象画像の移動方向のサイズよりも大きいＮピクセルであり、前記画像追加部によって前記分類対象画像の前記一方の側に追加される前記第１黒画像の移動方向のサイズは（Ｎ－１）ピクセルであり、前記画像追加部によって前記分類対象画像の前記他方の側に追加される前記第２黒画像の移動方向のサイズは（Ｎ－１）ピクセルであってもよい。

【0008】

本発明の一態様のマスク構造最適化装置では、前記移動部は、前記マスクの前記一方の側の端部と、前記第１黒画像の前記一方の側の端部とが一致する状態から、前記マスクの前記他方の側の端部と、前記第２黒画像の前記他方の側の端部とが一致する状態まで、前記第１黒画像および前記第２黒画像が追加された前記画像に対して前記マスクを相対移動させてもよい。

【0009】

本発明の一態様のマスク構造最適化装置では、前記明度総和算出部は、前記移動部が前記マスクを１ピクセルだけ相対移動させる毎に、前記分類対象画像内の各ピクセルの明度の総和を算出してもよい。

【0010】

本発明の一態様のマスク構造最適化装置では、前記初期値設定部は、ベルヌーイ分布に基づいて前記マスクの前記マスクパターンの前記初期値を設定してもよい。

【0011】

本発明の一態様のマスク構造最適化装置では、前記マスクパターン最適化部は、２値化畳み込みニューラルネットワークを使用することによって、前記マスクの前記マスクパターンを最適化し、前記マスクパターン最適化部が使用する２値化畳み込みニューラルネットワークの畳み込みの各重みが＋１および０のいずれかであってもよい。

【0012】

本発明の一態様のマスク構造最適化装置では、前記マスクパターン最適化部は、２値化畳み込みニューラルネットワークを使用することによって、前記マスクの前記マスクパターンを最適化し、前記マスクパターン最適化部が使用する２値化畳み込みニューラルネットワークの畳み込みの各重みが＋１および－１のいずれかであってもよい。

【0013】

本発明の一態様のマスク構造最適化装置では、前記マスク構造最適化装置によって前記マスクパターンが最適化された前記マスクは、イメージングフローサイトメーターにおいて用いられてもよい。

【0014】

本発明の一態様のマスク構造最適化装置では、前記分類対象は細胞であってもよい。

【0015】

本発明の一態様は、分類対象を含む画像である分類対象画像のサイズを取得する分類対象画像サイズ取得ステップと、前記分類対象画像に対して適用されるマスクのサイズを設定するマスクサイズ設定ステップと、前記マスクを隔てて前記分類対象画像の反対側の位置において前記分類対象画像内の各ピクセルの明度を検出する明度検出ステップと、前記明度検出ステップにおいて検出された前記分類対象画像内の各ピクセルの明度の総和を算出する明度総和算出ステップと、前記マスクのマスクパターンの初期値を設定する初期値設定ステップと、前記分類対象画像に対して前記マスクを相対移動させる移動ステップとを備え、前記明度総和算出ステップでは、前記マスクが所定の移動量だけ相対移動させられる毎に、前記分類対象画像内の各ピクセルの明度の総和が算出され、前記明度総和算出ステップにおいて算出される明度の総和に基づき、前記マスクの前記マスクパターンを最適化するマスクパターン最適化ステップを更に備える、マスク構造最適化方法である。

【0016】

本発明の一態様は、コンピュータに、分類対象を含む画像である分類対象画像のサイズを取得する分類対象画像サイズ取得ステップと、前記分類対象画像に対して適用されるマスクのサイズを設定するマスクサイズ設定ステップと、前記マスクを隔てて前記分類対象画像の反対側の位置において前記分類対象画像内の各ピクセルの明度を検出する明度検出ステップと、前記明度検出ステップにおいて検出された前記分類対象画像内の各ピクセルの明度の総和を算出する明度総和算出ステップと、前記マスクのマスクパターンの初期値を設定する初期値設定ステップと、前記分類対象画像に対して前記マスクを相対移動させる移動ステップとを実行させるためのプログラムであって、前記明度総和算出ステップでは、前記マスクが所定の移動量だけ相対移動させられる毎に、前記分類対象画像内の各ピクセルの明度の総和が算出され、前記明度総和算出ステップにおいて算出される明度の総和に基づき、前記マスクの前記マスクパターンを最適化するマスクパターン最適化ステップを更に実行させるためのプログラムである。

【0017】

本発明の一態様は、構造化された照明パターンを有する光学系又は光特性が異なる複数の領域を有する構造化された検出系に用いられる物理的なマスクのマスクパターンを最適化するためのマスク構造最適化装置であって、分類対象を含む画像である分類対象画像のサイズを取得する分類対象画像サイズ取得部と、前記分類対象画像に対して適用される前記マスクのサイズを設定するマスクサイズ設定部と、前記マスクのマスクパターンの初期値を設定する初期値設定部と、前記分類対象画像および前記マスクの画像に対する畳み込み処理を実行する畳み込み処理部と、前記畳み込み処理部によって実行された畳み込み処理の結果に基づいて、前記マスクの前記マスクパターンを最適化するマスクパターン最適化部とを備える、マスク構造最適化装置である。

【0018】

本発明の一態様のマスク構造最適化装置は、前記分類対象画像に対する前処理を実行する分類対象画像処理部を更に備え、前記分類対象画像処理部は、複数の分類対象を含む元画像から、複数の分類対象画像を切り出す処理を実行する切り出し部を備え、前記切り出し部によって切り出された各分類対象画像には、少なくとも１つの分類対象が含まれ、前記分類対象画像処理部は、前記切り出し部によって切り出された前記複数の分類対象画像のうちの、前記少なくとも１つの分類対象が画像外縁部上に位置する分類対象画像を除外する除外部を更に備えてもよい。

【0019】

本発明の一態様のマスク構造最適化装置では、前記分類対象画像処理部は、前記除外部による処理が実行された後の各分類対象画像に対して摂動処理を実行する摂動部を更に備え、前記摂動部は、前記除外部による処理が実行された後の各分類対象画像から、各分類対象画像の画像外縁部の位置を移動させることなく、各分類対象画像に含まれる前記１つの分類対象の位置を移動させた分類対象画像である摂動後分類対象画像を生成してもよい。

【0020】

本発明の一態様のマスク構造最適化装置では、前記分類対象画像および前記マスクの形状は、矩形形状であり、前記マスクの短辺の寸法は、前記分類対象画像の長辺の寸法および前記分類対象画像の短辺の寸法よりも小さくてもよい。
本発明の一態様のマスク構造最適化装置では、前記分類対象画像の一方の側に第１黒画像を追加すると共に、前記分類対象画像の他方の側に第２黒画像を追加する画像追加部更に備えてもよい。
本発明の一態様のマスク構造最適化装置では、前記マスクは、透光部と遮光部とを有してもよい。

【0021】

本発明の一態様は、構造化された照明パターンを有する光学系又は光特性が異なる複数の領域を有する構造化された検出系に用いられる物理的なマスクのマスクパターンを最適化するためのマスク構造最適化方法であって、分類対象を含む画像である分類対象画像のサイズを取得する分類対象画像サイズ取得ステップと、前記分類対象画像に対して適用される前記マスクのサイズを設定するマスクサイズ設定ステップと、前記マスクのマスクパターンの初期値を設定する初期値設定ステップと、前記分類対象画像および前記マスクの画像に対する畳み込み処理を実行する畳み込み処理ステップと、前記畳み込み処理ステップにおいて実行された畳み込み処理の結果に基づいて、前記マスクの前記マスクパターンを最適化するマスクパターン最適化ステップとを備える、マスク構造最適化方法である。

【0022】

本発明の一態様は、構造化された照明パターンを有する光学系又は光特性が異なる複数の領域を有する構造化された検出系に用いられる物理的なマスクのマスクパターンを最適化するためのマスク構造最適化装置としてのコンピュータに、分類対象を含む画像である分類対象画像のサイズを取得する分類対象画像サイズ取得ステップと、前記分類対象画像に対して適用される前記マスクのサイズを設定するマスクサイズ設定ステップと、前記マスクのマスクパターンの初期値を設定する初期値設定ステップと、前記分類対象画像および前記マスクの画像に対する畳み込み処理を実行する畳み込み処理ステップと、前記畳み込み処理ステップにおいて実行された畳み込み処理の結果に基づいて、前記マスクの前記マスクパターンを最適化するマスクパターン最適化ステップとを実行させるためのプログラムである。

【発明の効果】

【0023】

本発明によれば、細胞を含む微粒子等を形態情報をもとに分類する場合の分類精度を十分に向上させることができるマスク構造最適化装置、マスク構造最適化方法およびプログラムを提供することができる。

【図面の簡単な説明】

【0024】

【図1】第１実施形態のマスク構造最適化装置の構成の一例を示す図である。

【図2】分類対象画像、マスクなどを説明するための図である。

【図3】マスクの他の例を説明するための図である。

【図4】マスクの他の例などを説明するための図である。

【図5】マスクの他の例などを説明するための図である。

【図6】マスクの光透過率と分類精度との関係を示す図である。

【図7】分類対象画像の隅部を示す図である。

【図8】分類対象としてＭＮＩＳＴのデータが用いられる例を説明するための図である。

【図9】マスクの光透過率と図８（Ａ）に示す分類対象画像の分類精度との関係を示す図である。

【図10】本発明の特徴を説明するための図である。

【図11】本発明の特徴を説明するための図である。

【図12】マスクパターン最適化部によってマスクパターンが最適化されたマスクを使用した波形変換のやり方を説明するための図である。

【図13】本発明がもたらすとされる研究結果の仮説を示す図である。

【図14】第１実施形態のマスク構造最適化装置によって実行される処理の一例を説明するためのフローチャートである。

【図15】第３実施形態のマスク構造最適化装置の構成の一例を示す図である。

【図16】切り出し部および除外部による処理の一例を説明するための図である。

【図17】第３実施形態のマスク構造最適化装置によって実行される処理の一例を説明するためのフローチャートである。

【図20】第４実施形態のマスク構造最適化装置の構成の一例を示す図である。

【図21】回転部および摂動部による処理の一例を示す図である。

【図22】第４実施形態のマスク構造最適化装置によって実行される処理の一例を説明するためのフローチャートである。

【発明を実施するための形態】

【0025】

以下、図面を参照し、本発明のマスク構造最適化装置、マスク構造最適化方法およびプログラムの実施形態について説明する。

【0026】

＜第１実施形態＞
図１は第１実施形態のマスク構造最適化装置１の構成の一例を示す図である。
図１に示す例では、マスク構造最適化装置１が、分類対象画像サイズ取得部１１と、マスクサイズ設定部１２と、画像追加部１３と、明度検出部１４と、明度総和算出部１５と、初期値設定部１６と、移動部１７と、マスクパターン最適化部１８とを備えている。
分類対象画像サイズ取得部１１は、分類対象を含む画像である分類対象画像のサイズを取得する。「分類対象」には、例えば細胞、細菌、スフェロイド上の細胞塊などが含まれる。「分類対象画像」は、分類対象を含む２次元画像である。分類対象画像サイズ取得部１１は、分類対象画像のサイズ（縦方向寸法×横方向寸法）を取得する。
マスクサイズ設定部１２は、分類対象画像に対して適用されるマスクのサイズ（縦方向寸法×横方向寸法）を設定する。
図１に示す例では、分類対象画像に対して適用されるマスクが、例えばバイナリーマスクのような、透光部と遮光部とを有するマスクである。他の例では、分類対象画像に対して適用されるマスクが、例えばハーフトーンマスクのような、バイナリーマスク以外のマスクであってもよい。

【0027】

図１に示す例では、画像追加部１３が、分類対象画像の左側に第１画像を追加すると共に、分類対象画像の右側に第２画像を追加する。
図１に示す例では、画像追加部１３が分類対象画像の左側に、第１画像として、黒画像を追加するが、他の例では、画像追加部１３が分類対象画像の左側に、第１画像として、例えば黒画像と同程度の明度を有する他の色の画像（詳細には、明度総和算出部１５によって算出される明度総和の増加に貢献しない色の画像）を追加してもよい。
同様に、図１に示す例では、画像追加部１３が分類対象画像の右側に、第２画像として、黒画像を追加するが、他の例では、画像追加部１３が分類対象画像の右側に、第２画像として、例えば黒画像と同程度の明度を有する他の色の画像を追加してもよい。あるいは、他の例では、画像追加部１３が、構造化された照明パターンを照射してもよい。

【0028】

図１に示す例では、明度検出部１４が、マスクを隔てて分類対象画像の反対側の位置において分類対象画像内の各ピクセルの明度を検出する。つまり、明度検出部１４は、マスクの透光部を透過した分類対象画像からの光を検出する。
明度総和算出部１５は、明度検出部１４によって検出された分類対象画像内の各ピクセルの明度の総和を算出する。明度検出部１４と分類対象画像との間に位置するマスクの透光部の割合が高いほど、つまり、マスクの光透過率が高いほど、明度総和算出部１５によって算出される明度の総和が大きくなる。
図１に示す例では、上述したように、明度検出部１４は、マスクの透光部を透過した分類対象画像からの光を検出し、マスクの透光部を透過していない分類対象画像からの光は検出しない。そのため、明度検出部１４と分類対象画像との間にマスクが位置しない場合には、マスクの透光部を透過する分類対象画像からの光が存在せず、明度検出部１４によって光が検出されない。その結果、明度検出部１４と分類対象画像との間にマスクが位置しない場合には、明度総和算出部１５によって算出される明度の総和がゼロになる。

【0029】

初期値設定部１６は、マスクのマスクパターンの初期値を設定する。「マスクパターン」とは、マスクにおける透光部および遮光部の配置構成を意味する。具体的には、第１マスクのマスクパターンと第２マスクのマスクパターンとが同一である場合、透光部が配置される位置が、第１マスクと第２マスクとで同じになり、遮光部が配置される位置が、第１マスクと第２マスクとで同じになる。
つまり、初期値設定部１６は、マスクの初期の（最初の）マスクパターンを決定する。マスクのマスクパターンは、後述するように、マスクパターン最適化部１８によって必要に応じて変更される。
図１に示す例では、初期値設定部１６が、ベルヌーイ分布に基づいてマスクのマスクパターンの初期値を設定する。つまり、初期値設定部１６が、ベルヌーイ分布に基づいてマスクの初期のマスクパターンを決定する。
他の例では、初期値設定部１６が、ベルヌーイ分布を用いない任意の手法によってマスクのマスクパターンの初期値を設定してもよい。

【0030】

図１に示す例では、移動部１７が、分類対象画像に対してマスクを相対移動させる。
後述する図２に示す例では、移動部１７が、固定されたマスクに対して分類対象画像を移動させるが、他の例では、移動部１７が、固定された分類対象画像に対してマスクを移動させてもよい。

【0031】

図１に示す例では、移動部１７が分類対象画像に対してマスクを所定の移動量だけ相対移動させる毎に、明度検出部１４が、分類対象画像内の各ピクセルの明度を検出し、明度総和算出部１５が、分類対象画像内の各ピクセルの明度の総和を算出する。
マスクパターン最適化部１８は、明度総和算出部１５によって算出される明度の総和に基づき、マスクのマスクパターンを最適化する（マスクパターンを変更する）。
分類対象の分析および分類を行う分析装置（図示せず）では、例えば、マスクパターン最適化部１８によって最適化されたマスクパターンを有するマスクが用いられる。そのようにすることにより、例えばマスクが用いられない場合や、ベルヌーイ分布などに基づいて設定されたマスクパターンを有するマスク（つまり、最適化されていないマスクパターンを有するマスク）が用いられる場合よりも、分類精度を向上させることができる。

【0032】

図２は分類対象画像Ａ１、マスクＡ２などを説明するための図である。詳細には、図２（Ａ）は位置Ｐ１に位置する分類対象画像Ａ１と、マスクＡ２との関係を示す図である。図２（Ｂ）は位置Ｐ２に位置する分類対象画像Ａ１とマスクＡ２との関係、および、位置Ｐ３に位置する分類対象画像Ａ１とマスクＡ２との関係を示す図である。図２（Ｃ）はマスクＡ２に対する分類対象画像Ａ１の相対位置と明度の総和との関係を示す図である。図２（Ｃ）の横軸は、マスクＡ２に対する分類対象画像Ａ１の相対位置を示している。図２（Ｃ）の縦軸は、マスクＡ２に対する分類対象画像Ａ１の各相対位置における明度の総和を示している。
図２に示す例では、図２（Ａ）および図２（Ｂ）に矢印で示すように、移動部１７によって、分類対象画像Ａ１が、マスクＡ２の左側の位置Ｐ１から、右向きに移動させられる。マスクＡ２は、透光部Ａ２１Ａと、遮光部Ａ２２Ａ、Ａ２２Ｂ、Ａ２２Ｃ、Ａ２２Ｄ、Ａ２２Ｅ、Ａ２２Ｆとを備えている。

【0033】

分類対象画像Ａ１が位置Ｐ１に位置する場合には、明度検出部１４と分類対象画像Ａ１との間にマスクＡ２が位置しないため、マスクＡ２の透光部Ａ２１Ａを透過する分類対象画像Ａ１からの光が存在しない。その結果、図２（Ｃ）に示すように、明度総和算出部１５によって算出される明度の総和がゼロになる。
分類対象画像Ａ１が位置Ｐ２に位置する場合には、分類対象画像Ａ１の右半分からの光がマスクＡ２の透光部Ａ２１Ａを透過するものの、分類対象画像Ａ１の左半分からの光がマスクＡ２の透光部Ａ２１Ａを透過しない。その結果、図２（Ｃ）に示すように、明度総和算出部１５によって算出される明度の総和が、比較的小さい値Ｖ２になる。
分類対象画像Ａ１が位置Ｐ３に位置する場合には、分類対象画像Ａ１の全体からの光がマスクＡ２の透光部Ａ２１Ａを透過する。また、明度検出部１４と分類対象画像Ａ１との間には、マスクＡ２の遮光部Ａ２２Ｅ、Ａ２２Ｆのいずれも位置しない。その結果、図２（Ｃ）に示すように、明度総和算出部１５によって算出される明度の総和は、最大値Ｖ３になる。
マスクＡ２が、位置Ｐ２から位置Ｐ３まで移動する過程においては、明度検出部１４と分類対象画像Ａ１との間に、マスクＡ２の遮光部Ａ２２Ａ、Ａ２２Ｂ、Ａ２２Ｃ、Ａ２２Ｄ、Ａ２２Ｅが順に位置する。その結果、図２（Ｃ）に示すように、明度総和算出部１５によって算出される明度の総和が増減する。

【0034】

図３はマスクＡ２の他の例を説明するための図である。
図３に示す例では、マスクＡ２が、透光部Ａ２１Ａ、Ａ２１Ｂ、Ａ２１Ｃと、遮光部Ａ２２Ａとを備えている。
図２（Ａ）および図２（Ｂ）に示す例では、マスクＡ２の光透過率ｐが９０％であるのに対し、図３に示す例では、マスクＡ２の光透過率ｐが１０％である。

【0035】

図４はマスクＡ２の他の例などを説明するための図である。詳細には、図４（Ａ）はマスクＡ２の他の例を示している。図４（Ｂ）は図４（Ａ）に示すマスクＡ２を分類対象画像に対して相対移動させた場合に得られる明度の総和の波形を示している。
図４に示す例では、マスクＡ２が、縦４０ピクセル×横４００ピクセルのマスクサイズを有する。また、マスクＡ２の光透過率ｐが１０％である。マスクＡ２に対して相対移動させられる分類対象画像は、縦４０ピクセル×横４０ピクセルの分類対象画像サイズを有する。

【0036】

図４（Ｂ）において、「ｃｈ１」は、分類対象画像の右端とマスクＡ２の左端とが一致する第１状態から、分類対象画像の左端とマスクＡ２の右端とが一致する第２状態まで、マスクＡ２を分類対象画像に対して相対移動させた場合に、第１の条件下で得られる明度の総和の波形を示している。第１の条件とは、例えば、明度の総和として、ＲＧＢ表色系のＲ値の総和が用いられる場合である。
「ｃｈ６」は、第１状態から第２状態までマスクＡ２を分類対象画像に対して相対移動させた場合に、第２の条件下で得られる明度の総和の波形を示している。第２の条件とは、例えば、明度の総和として、ＲＧＢ表色系のＧ値の総和が用いられる場合である。
「ｃｈ７」は、第１状態から第２状態までマスクＡ２を分類対象画像に対して相対移動させた場合に、第３の条件下で得られる明度の総和の波形を示している。第３の条件とは、例えば、明度の総和として、ＲＧＢ表色系のＢ値の総和が用いられる場合である。
「ｃｈ９」は、第１状態から第２状態までマスクＡ２を分類対象画像に対して相対移動させた場合に、第１～第３の条件とは異なる第４の条件下で得られる明度の総和の波形を示している。

【0037】

図５はマスクＡ２の他の例などを説明するための図である。詳細には、図５（Ａ）はマスクＡ２の他の例を示している。図５（Ｂ）は図５（Ａ）に示すマスクＡ２を分類対象画像に対して相対移動させた場合に得られる明度の総和の波形を示している。
図５に示す例では、マスクＡ２が、縦４０ピクセル×横４００ピクセルのマスクサイズを有する。また、マスクＡ２の光透過率ｐが９０％である。マスクＡ２に対して相対移動させられる分類対象画像は、縦４０ピクセル×横４０ピクセルの分類対象画像サイズを有する。

【0038】

図５（Ｂ）において、「ｃｈ１」は、上述した第１状態から、上述した第２状態まで、マスクＡ２を分類対象画像に対して相対移動させた場合に、上述した第１の条件下で得られる明度の総和の波形を示している。
「ｃｈ６」は、第１状態から第２状態までマスクＡ２を分類対象画像に対して相対移動させた場合に、上述した第２の条件下で得られる明度の総和の波形を示している。
「ｃｈ７」は、第１状態から第２状態までマスクＡ２を分類対象画像に対して相対移動させた場合に、上述した第３の条件下で得られる明度の総和の波形を示している。
「ｃｈ９」は、第１状態から第２状態までマスクＡ２を分類対象画像に対して相対移動させた場合に、上述した第４の条件下で得られる明度の総和の波形を示している。

【0039】

図６はマスクＡ２の光透過率ｐと分類精度との関係を示す図である。
詳細には、図６（Ａ）に示す例では、精度指標として、公知の「ｆ１ｍａｃｒｏ」が用いられる。図６（Ｂ）に示す例では、精度指標として、公知の「ｆ１ｍｉｃｒｏ」が用いられる。図６（Ａ）および図６（Ｂ）の横軸は、マスクＡ２の光透過率ｐを示している。図６（Ａ）の縦軸は、その光透過率ｐを有するマスクＡ２を用いた場合であって、精度指標「ｆ１ｍａｃｒｏ」を用いた場合における所定の分類対象の分類精度を示している。図６（Ｂ）の縦軸は、その光透過率ｐを有するマスクＡ２を用いた場合であって、精度指標「ｆ１ｍｉｃｒｏ」を用いた場合におけるその分類対象の分類精度を示している。
図６（Ａ）および図６（Ｂ）に示す例によれば、光透過率ｐが高いほど分類対象の分類精度が高くなる、すなわち、明度検出部１４と分類対象画像Ａ１との間にマスクＡ２が位置しない方が分類対象の分類精度が高くなるかのように、一見すると見える。
ところが、後述するように、分類対象によっては、光透過率ｐが１（１００％）になると、分類精度が低下することが、本発明者等の鋭意研究において見い出されたのである。
一方で、「分類対象画像内の各ピクセルの明度の総和」という情報のみによっても、分類精度をかなり向上させることができることが見い出された。詳細には、図４に示す例では、「ｃｈ１」の明度の総和と、「ｃｈ６」の明度の総和と、「ｃｈ７」の明度の総和と、「ｃｈ９」の明度の総和とを、図４に示す例の分類対象の特徴量とした。その結果、図４に示す例の分類対象を、高い精度で分類することができた。

【0040】

図７は分類対象画像Ａ１の隅部Ａ１１、Ａ１２、Ａ１３、Ａ１４を示す図である。詳細には、図７は本発明者等の研究において行われた検証の一部を説明するための図である。
図７に示す例では、分類対象画像Ａ１の全体の各ピクセルの明度の総和が、分類対象の特徴量として用いられるのではなく、分類対象画像Ａ１の隅部Ａ１１、Ａ１２、Ａ１３、Ａ１４の各ピクセルの明度の総和が、分類対象の特徴量として用いられた。
図７に示す例では、分類対象画像Ａ１のサイズが、縦４０ピクセル×横４０ピクセルである。隅部Ａ１１、Ａ１２、Ａ１３、Ａ１４は、正方形であり、縦ｎピクセル×横ｎピクセルのサイズを有する。ｎの値が、４、８、１２、１６、２０に設定され、分類対象の分類精度の検証が行われた。ｎの値が小さいほど、分類対象の分類精度が低くなった。

【0041】

図８は分類対象としてＭＮＩＳＴ（Mixed National Institute of Standards and Technology database）のデータが用いられる例を説明するための図である。詳細には、図８（Ａ）は手書き文字「０」の分類対象画像Ａ１を示している。図８（Ｂ）は図８（Ａ）に示す分類対象画像Ａ１に適用されたマスクＡ２を示している。図８（Ｃ）はマスクＡ２に対する分類対象画像Ａ１の相対位置と明度の総和との関係を示す図である。図８（Ｃ）の横軸は、マスクＡ２に対する分類対象画像Ａ１の相対位置を示している。図８（Ｃ）の縦軸は、マスクＡ２に対する分類対象画像Ａ１の各相対位置における明度の総和を示している。
詳細には、図８（Ｃ）は、分類対象画像Ａ１の右端とマスクＡ２の左端とが一致する状態から、分類対象画像Ａ１の左端とマスクＡ２の右端とが一致する状態まで、マスクＡ２に対して分類対象画像Ａ１を相対移動させた場合に得られる明度の総和の波形を示している。
図８に示す例では、分類対象画像Ａ１が、縦２８ピクセル×横２８ピクセルの分類対象画像サイズを有する。マスクＡ２は、縦２８ピクセル×横１００ピクセルのマスクサイズを有する。マスクＡ２の光透過率ｐは１０％である。マスクＡ２のマスクパターンは、ベルヌーイ分布に基づいて設定されている。

【0042】

図９はマスクＡ２の光透過率ｐと図８（Ａ）に示す分類対象画像Ａ１の分類精度との関係を示す図である。
詳細には、図９（Ａ）に示す例では、図８（Ａ）に示す手書き文字「０」の分類対象画像Ａ１が用いられ、かつ、精度指標「ｆ１ｍｉｃｒｏ」が用いられる。図９（Ｂ）に示す例では、図８（Ａ）に示す手書き文字「０」の分類対象画像Ａ１が用いられ、かつ、精度指標「ｆ１ｍａｃｒｏ」が用いられる。図９（Ａ）および図９（Ｂ）の横軸は、マスクＡ２の光透過率ｐを示している。図９（Ａ）の縦軸は、その光透過率ｐを有するマスクＡ２を用いた場合であって、精度指標「ｆ１ｍｉｃｒｏ」を用いた場合における手書き文字「０」の分類対象画像Ａ１の分類精度を示している。図９（Ｂ）の縦軸は、その光透過率ｐを有するマスクＡ２を用いた場合であって、精度指標「ｆ１ｍａｃｒｏ」を用いた場合における手書き文字「０」の分類対象画像Ａ１の分類精度を示している。

【0043】

図９（Ａ）および図９（Ｂ）に示すように、分類対象画像Ａ１が図８（Ａ）に示す手書き文字「０」である場合、分類対象画像Ａ１が細胞画像である場合とは異なり、１００％の光透過率ｐを有するマスクＡ２を用いると、分類対象画像Ａ１の分類精度が低下することが本発明者等の研究において見い出された。
１００％の光透過率ｐを有するマスクＡ２を用いると、例えば図８（Ｃ）に示すような明度の総和（の波形）の積分値は、分類対象画像Ａ１が手書き文字「６」である場合と、分類対象画像Ａ１が手書き文字「９」である場合とでほぼ等しくなる。そのため、１００％の光透過率ｐを有するマスクＡ２を用い、かつ、図８（Ｃ）に示すような明度の総和の波形を分析するだけでは、分類精度を十分に向上させることができない。
そこで、本発明者等は、１００％よりも小さい光透過率ｐを有するマスクＡ２を用いることによって分類精度を十分に向上させることを試みた。

【0044】

図１０および図１１は本発明の特徴を説明するための図である。
詳細には、図１０（Ａ）は画像追加部１３によって分類対象画像Ａ１に対して追加される第１画像Ａ３および第２画像Ａ４を示す図である。図１０（Ｂ）は初期値設定部１６によってマスクパターンの初期値が設定されたマスクＡ２を示す図である。図１０（Ｃ）はマスクパターン最適化部１８によって最適化されたマスクパターンを有するマスクＡ２を示す図である。
図１１（Ａ）は分類対象画像Ａ１、第１画像Ａ３および第２画像Ａ４に対するマスクＡ２の相対移動の開始時の状態を示す図である。図１１（Ｂ）は分類対象画像Ａ１、第１画像Ａ３および第２画像Ａ４に対するマスクＡ２の相対移動の途中の状態を示す図である。

【0045】

図１０および図１１に示す例では、分類対象画像Ａ１が、縦２８ピクセル×横２８ピクセルの分類対象画像サイズを有する。マスクＡ２は、縦２８ピクセル×横１００ピクセルのマスクサイズを有する。マスクＡ２の光透過率ｐは１よりも小さい。
図１０（Ａ）に示すように、分類対象画像Ａ１の左側には、画像追加部１３によって第１画像Ａ３が追加される。分類対象画像Ａ１の右側には、画像追加部１３によって第２画像Ａ４が追加される。図１０および図１１に示す例では、第１画像Ａ３および第２画像Ａ４が黒画像である。

【0046】

図１０および図１１に示す例では、初期値設定部１６によってマスクパターンの初期値が設定されたマスクＡ２（図１０（Ｂ）参照）が生成される。
移動部１７は、分類対象画像Ａ１、第１画像Ａ３および第２画像Ａ４に対し、図１０（Ｂ）に示すマスクＡ２を図１０および図１１の右向きに相対移動させる。
詳細には、移動部１７は、マスクＡ２の左端部と第１画像Ａ３の左端部とが一致する状態（図１１（Ａ）に示す状態）から、マスクＡ２の右端部と第２画像Ａ４の右端部とが一致する状態まで、分類対象画像Ａ１、第１画像Ａ３および第２画像Ａ４に対し、図１０（Ｂ）に示すマスクＡ２を図１０および図１１の右向きに相対移動させる。

【0047】

詳細には、図１０および図１１に示す例では、明度検出部１４は、分類対象画像Ａ１の左端部とマスクＡ２の右端部とが１ピクセル分だけ重複する状態（図１１（Ａ）に示す状態）において、分類対象画像Ａ１のうちのマスクＡ２と重複している部分（縦２８ピクセル×横１ピクセル）の各ピクセルの明度を検出する。明度総和算出部１５は、明度検出部１４によって検出された明度の総和を算出する。
次いで、移動部１７は、分類対象画像Ａ１、第１画像Ａ３および第２画像Ａ４に対し、図１０（Ｂ）に示すマスクＡ２を１ピクセル分だけ図１０および図１１の右向きに相対移動させる。明度検出部１４は、分類対象画像Ａ１のうちのマスクＡ２と重複している部分（縦２８ピクセル×横２ピクセル）の各ピクセルの明度を検出する。明度総和算出部１５は、明度検出部１４によって検出された明度の総和を算出する。

【0048】

次いで、移動部１７は、分類対象画像Ａ１、第１画像Ａ３および第２画像Ａ４に対し、図１０（Ｂ）に示すマスクＡ２を１ピクセル分だけ図１０および図１１の右向きに相対移動させる。明度検出部１４は、分類対象画像Ａ１のうちのマスクＡ２と重複している部分（縦２８ピクセル×横３ピクセル）の各ピクセルの明度を検出する。明度総和算出部１５は、明度検出部１４によって検出された明度の総和を算出する。
移動部１７は、分類対象画像Ａ１の右端部とマスクＡ２の左端部とが１ピクセル分だけ重複する状態になるまで、分類対象画像Ａ１、第１画像Ａ３および第２画像Ａ４に対し、図１０（Ｂ）に示すマスクＡ２を１ピクセル分ずつ図１０および図１１の右向きに相対移動させる。移動部１７が図１０（Ｂ）に示すマスクＡ２を１ピクセルだけ相対移動させる毎に、明度検出部１４は、分類対象画像Ａ１のうちのマスクＡ２と重複している部分の各ピクセルの明度を検出し、明度総和算出部１５は、明度検出部１４によって検出された明度の総和を算出する。
図１０および図１１に示す例では、明度総和算出部１５による明度の総和の算出が完了するまでに、移動部１７によるマスクＡ２の相対移動が、図１１（Ａ）に示す状態から、１２６回（１２６ピクセル分）行われる。その結果、明度総和算出部１５による明度の総和の算出が、１２７回行われる。

【0049】

図１０および図１１に示す例では、上述したように、マスクＡ２の移動方向（図１０および図１１の左右方向）のサイズ（１００ピクセル）は、分類対象画像Ａ１の移動方向のサイズ（２８ピクセル）よりも大きい。また、第１画像Ａ３の移動方向のサイズ（９９ピクセル）は、マスクＡ２の移動方向のサイズ（１００ピクセル）より１ピクセル小さい。同様に、第２画像Ａ４の移動方向のサイズ（９９ピクセル）は、マスクＡ２の移動方向のサイズ（１００ピクセル）より１ピクセル小さい。

【0050】

図１０および図１１に示す例では、次いで、マスクパターン最適化部１８が、明度総和算出部１５によって算出される明度の総和に基づき、機械学習を行い、マスクＡ２のマスクパターンを最適化する。その結果、図１０（Ｃ）に示すマスクパターンを有するマスクＡ２が生成される。
詳細には、図１０および図１１に示す例では、機械学習アルゴリズムとして、２値化畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）が用いられる。また、マスクパターン最適化部１８が使用する２値化畳み込みニューラルネットワークの畳み込みの各重みが「＋１」および「－１」のいずれかである。図１０（Ｃ）に示す例では、マスクＡ２の黒部分が、畳み込みの重み「－１」を表しており、マスクＡ２の白部分が、畳み込みの重み「＋１」を表している。
他の例では、機械学習アルゴリズムとして、２値化畳み込みニューラルネットワーク以外の任意の機械学習アルゴリズムが用いられてもよい。

【0051】

図１２はマスクパターン最適化部１８によってマスクパターンが最適化されたマスクＡ２を使用した波形変換のやり方を説明するための図である。
詳細には、図１２（Ａ）は、図１２に示す例において用いられる分類対象画像Ａ１を示す図である。図１２（Ｂ）は、マスクパターン最適化部１８によってマスクパターンが最適化されたマスクＡ２を示す図である。図１２（Ｃ）は、マスクパターン最適化部１８によってマスクパターンが最適化された他のマスクＡ２Ｒを示す図である。
図１２（Ｄ）は、図１２（Ａ）に示す分類対象画像Ａ１に対して図１２（Ｂ）に示すマスクＡ２を適用する場合に明度総和算出部１５によって算出される明度の総和の波形を示す図である。図１２（Ｅ）は、図１２（Ａ）に示す分類対象画像Ａ１に対して図１２（Ｃ）に示すマスクＡ２Ｒを適用する場合に明度総和算出部１５によって算出される明度の総和の波形を示す図である。図１２（Ｆ）は、図１２（Ｄ）に示す明度の総和の波形と図１２（Ｅ）に示す明度の総和の波形との差分を示す図である。

【0052】

図１２に示す例では、図１２（Ｃ）に示すマスクＡ２Ｒが、図１２（Ｂ）に示すマスクＡ２に対して白黒反転処理を行ったものである。詳細には、図１２（Ｂ）に示すマスクＡ２の白部分は、上述した２値化畳み込みニューラルネットワークにおけるコンボリューションの重み「＋１」に対応している。図１２（Ｃ）に示すマスクＡ２の白部分は、コンボリューションの重み「－１」に対応している。

【0053】

つまり、本発明者等は、研究において、最適化が行われたマスクパターンを有するマスクが用いられる場合に、ベルヌーイ分布に基づいて設定されたマスクパターンを有するマスクが用いられる場合よりも、分類精度が向上することを見い出した。
また、本発明者等は、研究において、マスクの横方向寸法が大きいほど、分類精度が向上することを見い出した。
図１３は本発明がもたらすとされる研究結果の仮説を示す図である。詳細には、図１３の横軸はマスクの横方向寸法を示している。図１３の縦軸は分類精度を示している。図１３において、「最適化あり」は、最適化が行われたマスクパターンを有するマスクが用いられる場合におけるマスクの横方向寸法と分類精度との関係を示している。「最適化なし」は、ベルヌーイ分布に基づいて設定されたマスクパターンを有するマスクが用いられる場合におけるマスクの横方向寸法と分類精度との関係を示している。
図１３に示すように、最適化が行われたマスクパターンを有するマスクが用いられる場合の分類精度は、ベルヌーイ分布に基づいて設定されたマスクパターンを有するマスクが用いられる場合の分類精度よりも高くなる。また、横方向寸法が大きいマスクが用いられる場合の分類精度は、横方向寸法が小さいマスクが用いられる場合の分類精度よりも高くなる。

【0054】

図１４は第１実施形態のマスク構造最適化装置１によって実行される処理の一例を説明するためのフローチャートである。
図１４に示す例では、ステップＳ１１において、分類対象画像サイズ取得部１１が分類対象画像Ａ１のサイズ（縦方向寸法×横方向寸法）を取得する。
ステップＳ１２では、マスクサイズ設定部１２が、分類対象画像Ａ１に対して適用されるマスクＡ２のサイズ（縦方向寸法×横方向寸法）を設定する。例えば、マスクサイズ設定部１２は、マスクＡ２の縦方向寸法を分類対象画像Ａ１の縦方向寸法と同一にし、マスクＡ２の横方向寸法を分類対象画像Ａ１の横方向寸法よりも大きくする。
ステップＳ１３では、画像追加部１３が、分類対象画像Ａ１の左側に第１画像Ａ３を追加し、分類対象画像Ａ１の右側に第２画像Ａ４を追加する。
ステップＳ１４では、初期値設定部１６が、マスクパターンの初期値を設定する。

【0055】

ステップＳ１５では、移動部１７が、初期値設定部１６によって初期値が設定されたマスクパターンを有するマスクＡ２を、分類対象画像Ａ１、第１画像Ａ３および第２画像Ａ４に対して１ピクセル分だけ相対移動させる。
ステップＳ１６では、明度検出部１４が、分類対象画像Ａ１のうちのマスクＡ２と重複している部分の各ピクセルの明度を検出する。
ステップＳ１７では、明度総和算出部１５が、明度検出部１４によって検出された明度の総和を算出する。
詳細には、分類対象画像Ａ１、第１画像Ａ３および第２画像Ａ４に対するマスクＡ２の相対移動が完了するまで、上述したステップＳ１５～Ｓ１７が繰り返し実行される。

【0056】

ステップＳ１８では、マスクパターン最適化部１８が、明度総和算出部１５によって算出される明度の総和に基づき、機械学習を行い、マスクＡ２のマスクパターンを最適化する。
図１４に示す例では、分類対象画像Ａ１のうちのマスクＡ２の遮光部Ａ２２Ａ～Ａ２２Ｆによって覆われた部分（つまり、隠れた部分）を復元させる処理が行われない。
他の例では、分類対象画像Ａ１のうちのマスクＡ２の遮光部Ａ２２Ａ～Ａ２２Ｆによって覆われた部分を復元させる処理を行ってもよい。

【0057】

［適用例］
第１実施形態のマスク構造最適化装置１によってマスクパターンが最適化されたマスクＡ２は、例えば公知のイメージングフローサイトメーターにおいて用いられる。詳細には、フローサイトメーターには、細胞の分析のみを行うセルアナライザー、および、細胞の分析に加えて、分取まで行うセルソーターの二種類がある。第１実施形態のマスク構造最適化装置１によってマスクパターンが最適化されたマスクＡ２は、セルアナライザーおよびセルソーターの両方に適用可能である。適用例における分類対象は、例えば細胞等の微粒子などである。

【0058】

［第１実施形態のまとめ］
上述したように、第１実施形態のマスク構造最適化装置１では、初期値が設定されたマスクパターンを有するマスクＡ２が、分類対象画像Ａ１、第１画像Ａ３および第２画像Ａ４に対して１ピクセル分だけ相対移動させる毎に、明度の総和が算出される。また、明度の総和に基づいて、マスクＡ２のマスクパターンが最適化される。
そのため、第１実施形態のマスク構造最適化装置１によれば、分類対象画像Ａ１の分類精度を向上させることができる。詳細には、例えばベルヌーイ分布に基づいて設定されたマスクパターンを有するマスクが用いられる場合よりも、分類精度を向上させることができる。

【0059】

＜第２実施形態＞
以下、第２実施形態のマスク構造最適化装置１について説明する。
第２実施形態のマスク構造最適化装置１は、後述する点を除き、上述した第１実施形態のマスク構造最適化装置１と同様に構成されている。従って、第２実施形態のマスク構造最適化装置１によれば、後述する点を除き、上述した第１実施形態のマスク構造最適化装置１と同様の効果を奏することができる。

【0060】

第１実施形態のマスク構造最適化装置１では、上述したように、マスクパターン最適化部１８が使用する２値化畳み込みニューラルネットワークの畳み込みの各重みが「＋１」および「－１」のいずれかである。
一方、第２実施形態のマスク構造最適化装置１では、マスクパターン最適化部１８が使用する２値化畳み込みニューラルネットワークの畳み込みの各重みが「＋１」および「０」のいずれかである。

【0061】

更に、本発明者等は、分類対象画像Ａ１に対して後述する前処理などを実行することによって、マスクの横方向寸法が小さくても分類精度を向上させることができることを、追加の研究において見い出した。

【0062】

＜第３実施形態＞
以下、第３実施形態のマスク構造最適化装置１について説明する。
第３実施形態のマスク構造最適化装置１は、後述する点を除き、上述した第１実施形態のマスク構造最適化装置１と同様に構成されている。従って、第３実施形態のマスク構造最適化装置１によれば、後述する点を除き、上述した第１実施形態のマスク構造最適化装置１と同様の効果を奏することができる。

【0063】

図１５は第３実施形態のマスク構造最適化装置１の構成の一例を示す図である。
図１５に示す例では、マスク構造最適化装置１が、分類対象画像サイズ取得部１１、マスクサイズ設定部１２、画像追加部１３、初期値設定部１６、畳み込み処理部１Ｘと、マスクパターン最適化部１８と、分類対象画像処理部１９とを備えている。
畳み込み処理部１Ｘは、分類対象画像Ａ１（図２（Ａ）参照）およびマスクＡ２の画像に対する畳み込み処理を実行する。

【0064】

図１５に示す例では、畳み込み処理部１Ｘが、分類対象画像Ａ１の例えば右側に第２画像Ａ４（図１０（Ａ）参照）を追加したもの、および、マスクＡ２の画像に対して、高速フーリエ変換（ＦＦＴ）を実施する。
次いで、畳み込み処理部１Ｘは、高速フーリエ変換が実施された分類対象画像Ａ１とマスクＡ２の画像とを掛け合わせる処理を実行する。
次いで、畳み込み処理部１Ｘは、掛け合わせる処理により得られる波形に対して、逆高速フーリエ変換（ＩＦＦＴ）を実施する。
畳み込み処理部１Ｘが逆高速フーリエ変換を実施することによって得られるデータには、第１実施形態のマスク構造最適化装置１の明度総和算出部１５によって算出される明度の総和と同等の特徴が含まれる。
つまり、第１実施形態のマスク構造最適化装置１では、マスクパターン最適化部１８が、明度総和算出部１５によって算出される明度の総和に基づき、マスクＡ２のマスクパターンを最適化するのに対し、第３実施形態のマスク構造最適化装置１では、マスクパターン最適化部１８が、畳み込み処理部１Ｘによって実行された畳み込み処理の結果（詳細には、逆高速フーリエ変換を実施することによって得られるデータ）に基づいて、マスクＡ２のマスクパターンを最適化する。
他の例（マスクＡ２が既知の例）では、画像Ａ４の追加が行われず、畳み込み処理部１Ｘは、畳み込み処理として、高速フーリエ変換の代わりに行列演算を実行する。マスクパターン最適化部１８は、畳み込み処理部１Ｘによって実行された行列演算の結果に基づいて、マスクＡ２のマスクパターンを最適化する。

【0065】

図１５に示す例では、分類対象画像処理部１９が、分類対象画像Ａ１（図２（Ａ）参照）に対する前処理を実行する。分類対象画像処理部１９は、切り出し部１９Ａと、除外部１９Ｂとを備えている。
切り出し部１９Ａは、複数の分類対象を含む元画像から、複数の分類対象画像を切り出す処理を実行する。除外部１９Ｂは、切り出し部１９Ａによって切り出された複数の分類対象画像のうちの、少なくとも１つの分類対象が画像外縁部上に位置する分類対象画像を除外する。

【0066】

図１６は切り出し部１９Ａおよび除外部１９Ｂによる処理の一例を説明するための図である。
図１６に示す例では、切り出し部１９Ａが、例えば７つの分類対象ＣＦ１－１、ＣＦ１－２、ＣＦ１－３、ＣＦ１－４、ＣＦ１－５、ＣＦ１－６、ＣＦ１－７を含む元画像ＡＸから、例えば６つの分類対象画像Ａ１－１、Ａ１－２、Ａ１－３、Ａ１－４、Ａ１－５、Ａ１－６を切り出す。例えば、切り出し部１９Ａは、分類対象ＣＦ１－１の重心が分類対象画像Ａ１－１の中心に位置するように、分類対象画像Ａ１－１の切り出しを実行する。
切り出し部１９Ａによって切り出された分類対象画像Ａ１－１には、１つの分類対象ＣＦ１－１が含まれている。分類対象ＣＦ１－１は、分類対象画像Ａ１－１の画像外縁部ＢＡ１－１上に位置しない。つまり、分類対象ＣＦ１－１の全体が、分類対象画像Ａ１－１に含まれている。
切り出し部１９Ａによって切り出された分類対象画像Ａ１－２には、１つの分類対象ＣＦ１－２が含まれている。分類対象ＣＦ１－２は、分類対象画像Ａ１－２の画像外縁部ＢＡ１－２上に位置しない。つまり、分類対象ＣＦ１－２の全体が、分類対象画像Ａ１－２に含まれている。
切り出し部１９Ａによって切り出された分類対象画像Ａ１－３には、１つの分類対象ＣＦ１－３が含まれている。分類対象ＣＦ１－３は、分類対象画像Ａ１－３の画像外縁部ＢＡ１－３上に位置しない。つまり、分類対象ＣＦ１－３の全体が、分類対象画像Ａ１－３に含まれている。
切り出し部１９Ａによって切り出された分類対象画像Ａ１－４には、１つの分類対象ＣＦ１－４が含まれている。分類対象ＣＦ１－４は、分類対象画像Ａ１－４の画像外縁部ＢＡ１－４上に位置しない。つまり、分類対象ＣＦ１－４の全体が、分類対象画像Ａ１－４に含まれている。

【0067】

一方、切り出し部１９Ａによって切り出された分類対象画像Ａ１－５には、分類対象ＣＦ１－５と、分類対象ＣＦ１－７の一部とが含まれている。分類対象ＣＦ１－５は、分類対象画像Ａ１－５の画像外縁部ＢＡ１－５上に位置せず、分類対象ＣＦ１－７は、分類対象画像Ａ１－５の画像外縁部ＢＡ１－５上に位置する。つまり、分類対象ＣＦ１－５の全体が、分類対象画像Ａ１－５に含まれており、分類対象ＣＦ１－７の一部は、分類対象画像Ａ１－５からはみ出している。
切り出し部１９Ａによって切り出された分類対象画像Ａ１－６には、分類対象ＣＦ１－６の一部と、分類対象ＣＦ１－７の一部とが含まれている。分類対象ＣＦ１－６は、分類対象画像Ａ１－６の画像外縁部ＢＡ１－６上に位置し、分類対象ＣＦ１－７も、分類対象画像Ａ１－６の画像外縁部ＢＡ１－６上に位置する。つまり、分類対象ＣＦ１－６の一部が、分類対象画像Ａ１－６からはみ出しており、分類対象ＣＦ１－７の一部も、分類対象画像Ａ１－６からはみ出している。
そこで、除外部１９Ｂは、切り出し部１９Ａによって切り出された６つの分類対象画像Ａ１－１～Ａ１－６のうちの、分類対象ＣＦ１－７が画像外縁部ＢＡ１－５上に位置する分類対象画像Ａ１－５と、分類対象ＣＦ１－６、ＣＦ１－７が画像外縁部ＢＡ１－６上に位置する分類対象画像Ａ１－６とを除外する。

【0068】

つまり、図１６に示す例では、除外部１９Ｂによって除外された分類対象画像Ａ１－５、Ａ１－６は、マスク構造最適化装置１によるマスクＡ２（図１０（Ｂ）および図１０（Ｃ）参照）の最適化に利用されない。
一方、除外部１９Ｂによって除外されなかった分類対象画像Ａ１－１～Ａ１－４は、マスク構造最適化装置１によるマスクＡ２の最適化に利用される。

【0069】

図１７は第３実施形態のマスク構造最適化装置１によって実行される処理の一例を説明するためのフローチャートである。
図１７に示す例では、ステップＳ２０において、分類対象画像処理部１９が、分類対象画像Ａ１－１～Ａ１－６（図１６参照）に対する前処理を実行する。
詳細には、ステップＳ２０Ａでは、分類対象画像処理部１９が、複数の分類対象ＣＦ１－１～ＣＦ１－７（図１６参照）を含む元画像ＡＸ（図１６参照）を取得する。
次いで、ステップＳ２０Ｂでは、切り出し部１９Ａが、元画像ＡＸから、複数の分類対象画像Ａ１－１～Ａ１－６（図１６参照）を切り出す処理を実行する。
次いで、ステップＳ２０Ｃでは、除外部１９Ｂが、複数の分類対象画像Ａ１－１～Ａ１－６のうちの、分類対象ＣＦ１－６、ＣＦ１－７が画像外縁部ＢＡ１－５、ＢＡ１－６（図１６参照）上に位置する分類対象画像Ａ１－５、Ａ１－６を除外する。

【0070】

次いで、ステップＳ２１では、分類対象画像サイズ取得部１１が、分類対象画像Ａ１－１～Ａ１－４のサイズ（縦方向寸法×横方向寸法）を取得する。
次いで、ステップＳ２２では、マスクサイズ設定部１２が、分類対象画像Ａ１－１～Ａ１－４に対して適用されるマスクＡ２のサイズ（縦方向寸法×横方向寸法）を設定する。例えば、マスクサイズ設定部１２は、マスクＡ２の縦方向寸法を分類対象画像Ａ１－１～Ａ１－４の縦方向寸法と同一にし、マスクＡ２の横方向寸法を分類対象画像Ａ１－１～Ａ１－４の横方向寸法よりも小さくする。例えば、マスクサイズ設定部１２は、マスクＡ２の横方向寸法を、１ピクセル分に相当する値に設定する。
次いで、ステップＳ２３では、画像追加部１３が、分類対象画像Ａ１－１～Ａ１－４の左側に第１画像Ａ３を追加し、分類対象画像Ａ１－１～Ａ１－４の右側に第２画像Ａ４を追加する。
次いで、ステップＳ２４では、初期値設定部１６が、マスクパターンの初期値を設定する。

【0071】

次いで、ステップＳ２５では、畳み込み処理部１Ｘが、分類対象画像Ａ１－１およびマスクＡ２の画像に対する畳み込み処理を実行する。

【0072】

また、上述したステップＳ２５が、分類対象画像Ａ１－２、Ａ１－３、Ａ１－４のそれぞれに対しても実行される。
次いで、ステップＳ２６では、マスクパターン最適化部１８が、ステップＳ２５において実行された畳み込み処理の結果に基づいて、機械学習を行い、マスクＡ２のマスクパターンを最適化する。
図１７に示す例では、ステップＳ２０は、ステップＳ２１が実行される前に実行されるが、他の例では、ステップＳ２５が実行される前の任意のタイミングで、ステップＳ２０が実行されてもよい。

【0073】

上述した図８～図１２に示す例では、マスクＡ２のマスクパターンの最適化を実行するために、分類対象としてＭＮＩＳＴのデータが用いられたが、図１５～図１７に示す例では、マスクＡ２のマスクパターンの最適化を実行するために、分類対象として細胞（詳細には、ヒーラ細胞（データ数は７３２）およびヒト膵臓癌腫細胞（データ数は８３０））が用いられた。

【0078】

更に、本発明者等は、例えば分類対象画像Ａ１－４（図１６参照）を利用してマスクＡ２（図１０（Ｂ）および図１０（Ｃ）参照）の最適化を実行する場合に、分類対象画像Ａ１－４のうちの中央部を利用すれば、分類対象画像Ａ１－４の辺縁部（つまり、画像外縁部に近い部分）を利用しなくても、マスクＡ２の最適化を実行でき、そのマスクＡ２を用いた分類対象の分類精度が十分に高くなることを、追加の研究において見い出した。

【0079】

画像の素性を確認するために、画像の二次元配列表現を１次元配列化して機械学習を行った際の分類スコアが存在する。それに対して、横方向寸法が１ピクセル分に相当する最適化されたマスクＡ２を用い、２層ニューラルネットワークを用いた分類精度が匹敵すること、つまり、マスクパターンの最適化が適切に行われたことを、本発明者等は研究において見い出した。

【0081】

第３実施形態のマスク構造最適化装置１によって最適化されたマスクＡ２を用いた分類対象の分類精度は、マスク構造最適化装置１によって最適化されていないマスクを用いた分類対象の分類精度よりも高くなった。
また、第３実施形態のマスク構造最適化装置１によって最適化された横方向寸法が１ピクセル分のマスクＡ２を用いた分類対象の分類精度は、マスク構造最適化装置１によって最適化されていない横方向寸法が５８１ピクセル分のマスクを用いた分類対象の分類精度よりも高くなった。

【0082】

更に、本発明者等は、例えば分類対象画像Ａ１－４（図１６参照）を利用してマスクＡ２の最適化を実行する場合に、分類対象画像Ａ１－４から摂動後分類対象画像Ａ１－４Ｃ、Ａ１－４Ｄ（図２１参照）を生成し、分類対象画像Ａ１－４および摂動後分類対象画像Ａ１－４Ｃ、Ａ１－４Ｄを利用してマスクＡ２の最適化を実行した場合に、そのマスクＡ２を用いた分類対象の分類精度が更に高くなることを、追加の研究において見い出した。

【0083】

＜第４実施形態＞
以下、第４実施形態のマスク構造最適化装置１について説明する。
第４実施形態のマスク構造最適化装置１は、後述する点を除き、上述した第３実施形態のマスク構造最適化装置１と同様に構成されている。従って、第４実施形態のマスク構造最適化装置１によれば、後述する点を除き、上述した第３実施形態のマスク構造最適化装置１と同様の効果を奏することができる。

【0084】

図２０は第４実施形態のマスク構造最適化装置１の構成の一例を示す図である。図２１は回転部１９Ｄおよび摂動部１９Ｅによる処理の一例を示す図である。
図２０および図２１に示す例では、分類対象画像処理部１９が、切り出し部１９Ａおよび除外部１９Ｂの他に、正規化部１９Ｃと、回転部１９Ｄと、摂動部１９Ｅとを備えている。
正規化部１９Ｃは、分類対象画像Ａ１の画素値を０～１の範囲へと変換する。
回転部１９Ｄは、除外部１９Ｂによる処理が実行された後の分類対象画像Ａ１－４（図２２（Ａ）参照）を９０°回転させる処理を実行し、回転後分類対象画像Ａ１－４Ｂ（図２２（Ｂ）参照）を生成する。
摂動部１９Ｅは、除外部１９Ｂによる処理が実行され、次いで、回転部１９Ｄによる処理が実行された後の回転後分類対象画像Ａ１－４Ｂに対して摂動処理を実行する。

【0085】

詳細には、摂動部１９Ｅは、除外部１９Ｂによる処理が実行され、次いで、回転部１９Ｄによる処理が実行された後の回転後分類対象画像Ａ１－４Ｂから、回転後分類対象画像Ａ１－４Ｂの画像外縁部ＢＡ１－４の位置を移動させることなく、回転後分類対象画像Ａ１－４Ｂに含まれる分類対象ＣＦ１－４の位置を、移動方向に垂直な方向（図２１（Ｂ）、図２１（Ｃ）および図２１（Ｄ）の上下方向）に－５ピクセル分～＋５ピクセル分だけ移動させた分類対象画像である摂動後分類対象画像Ａ１－４Ｃ、Ａ１－４Ｄ（図２１（Ｃ）および図２１（Ｄ）参照）を生成する。
図２１（Ｃ）に示す例では、摂動部１９Ｅが、回転後分類対象画像Ａ１－４Ｂに含まれる分類対象ＣＦ１－４の位置を、移動方向に垂直な方向（図２１（Ｃ）の上下方向）に＋５ピクセル分だけ移動させた摂動後分類対象画像Ａ１－４Ｃを生成している。
図２１（Ｄ）に示す例では、摂動部１９Ｅが、回転後分類対象画像Ａ１－４Ｂに含まれる分類対象ＣＦ１－４の位置を、移動方向に垂直な方向（図２１（Ｄ）の上下方向）に－５ピクセル分だけ移動させた摂動後分類対象画像Ａ１－４Ｄを生成している。

【0086】

図２１に示す例では、回転後分類対象画像Ａ１－４Ｂ（図２１（Ｂ）参照）が、マスク構造最適化装置１によるマスクＡ２の最適化に利用されるのみならず、摂動後分類対象画像Ａ１－４Ｃ、Ａ１－４Ｄ（図２１（Ｃ）および図２１（Ｄ）参照）も、マスクＡ２の最適化に利用される。
図２０に示す例では、分類対象画像処理部１９が回転部１９Ｄを備えているが、他の例では、分類対象画像処理部１９が回転部１９Ｄを備えていなくてもよい。

【0087】

図２２は第４実施形態のマスク構造最適化装置１によって実行される処理の一例を説明するためのフローチャートである。
図２２に示す例では、ステップＳ３０において、分類対象画像処理部１９が、分類対象画像Ａ１－１～Ａ１－６（図１６参照）に対する前処理を実行する。
詳細には、ステップＳ３０Ａでは、分類対象画像処理部１９が、複数の分類対象ＣＦ１－１～ＣＦ１－７（図１６参照）を含む元画像ＡＸ（図１６参照）を取得する。
次いで、ステップＳ３０Ｂでは、切り出し部１９Ａが、元画像ＡＸから、複数の分類対象画像Ａ１－１～Ａ１－６（図１６参照）を切り出す処理を実行する。
次いで、ステップＳ３０Ｃでは、正規化部１９Ｃが、分類対象画像Ａ１－１～Ａ１－６の画素値を０～１の範囲へと変換する。
次いで、ステップＳ３０Ｄでは、除外部１９Ｂが、複数の分類対象画像Ａ１－１～Ａ１－６のうちの、分類対象ＣＦ１－６、ＣＦ１－７が画像外縁部ＢＡ１－５、ＢＡ１－６（図１６参照）上に位置する分類対象画像Ａ１－５、Ａ１－６を除外する。
次いで、ステップＳ３０Ｅでは、回転部１９Ｄが、０°、９０°、１８０°および２７０°のうちのいずれかの角度をランダムに選択し、除外部１９Ｂによって除外されなかった複数の分類対象画像Ａ１－１～Ａ１－４を、選択された角度だけ回転させ、複数の回転後分類対象画像Ａ１－４Ｂ（図２１（Ｂ）参照）、…を生成する。
次いで、ステップＳ３０Ｆでは、摂動部１９Ｅが、複数の回転後分類対象画像Ａ１－４Ｂ、…から複数の摂動後分類対象画像Ａ１－４Ｃ、Ａ１－４Ｄ（図２１（Ｃ）および図２１（Ｄ）参照）、…を生成する。

【0088】

次いで、ステップＳ３１では、分類対象画像サイズ取得部１１が、分類対象画像Ａ１－１～Ａ１－４のサイズ（回転後の縦方向寸法×横方向寸法）を取得する。
次いで、ステップＳ３２では、マスクサイズ設定部１２が、分類対象画像Ａ１－１～Ａ１－４に対して適用されるマスクＡ２のサイズ（縦方向寸法×横方向寸法）を設定する。例えば、マスクサイズ設定部１２は、マスクＡ２の縦方向寸法を分類対象画像Ａ１－１～Ａ１－４の回転後の縦方向寸法と同一にし、マスクＡ２の横方向寸法を分類対象画像Ａ１－１～Ａ１－４の回転後の横方向寸法よりも小さくする。例えば、マスクサイズ設定部１２は、マスクＡ２の横方向寸法を、１ピクセル分に相当する値に設定する。
次いで、ステップＳ３３では、画像追加部１３が、分類対象画像Ａ１－１～Ａ１－４の左側に第１画像Ａ３を追加し、分類対象画像Ａ１－１～Ａ１－４の右側に第２画像Ａ４を追加する。
次いで、ステップＳ３４では、初期値設定部１６が、マスクパターンの初期値を設定する。

【0089】

次いで、ステップＳ３５では、畳み込み処理部１Ｘが、分類対象画像Ａ１－１およびマスクＡ２の画像に対する畳み込み処理を実行する。

【0090】

また、上述したステップＳ３５が、分類対象画像Ａ１－２、Ａ１－３、Ａ１－４のそれぞれに対しても実行される。
次いで、ステップＳ３６では、マスクパターン最適化部１８が、ステップＳ３５において実行された畳み込み処理の結果に基づいて、機械学習を行い、マスクＡ２のマスクパターンを最適化する。
詳細には、ステップＳ３６では、マスクパターン最適化部１８が、ステップＳ３０Ｅにおける回転と同等の回転を適宜実行し、ステップＳ３０Ｆにおける摂動と同等の摂動を適宜実行する
図２２に示す例では、ステップＳ３０は、ステップＳ３１が実行される前に実行されるが、他の例では、ステップＳ３５が実行される前の任意のタイミングで、ステップＳ３０が実行されてもよい。
また、図２２に示す例では、ステップＳ３０Ｅが実行されるが、他の例では、ステップＳ３０Ｅが実行されなくてもよい。

【0092】

第４実施形態のマスク構造最適化装置１によって最適化されたマスクＡ２を用いた分類対象の分類精度は、マスク構造最適化装置１によって最適化されていないマスクを用いた分類対象の分類精度の最良値および平均値よりも高くなった。

【0095】

なお、以上に示した実施形態に係る各装置（例えば、マスク構造最適化装置１）の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体（記憶媒体）に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、オペレーティング・システム（ＯＳ：Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）あるいは周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、記録媒体としては、例えば、一時的にデータを記録する記録媒体であってもよい。

【0096】

さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークあるいは電話回線等の通信回線を介してプログラムが送信された場合のサーバあるいはクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）あるいは電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
コンピュータでは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサがメモリに記憶されたプログラムを読み出して実行する。

【0097】

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。上述した各実施形態に記載の構成を組み合わせてもよい。

【符号の説明】

【0098】

１…マスク構造最適化装置、１１…分類対象画像サイズ取得部、１２…マスクサイズ設定部、１３…画像追加部、１４…明度検出部、１５…明度総和算出部、１６…初期値設定部、１７…移動部、１８…マスクパターン最適化部、１９…分類対象画像処理部、１９Ａ…切り出し部、１９Ｂ…除外部、１９Ｃ…正規化部、１９Ｄ…回転部、１９Ｅ…摂動部、１Ｘ…畳み込み処理部、Ａ１…分類対象画像、Ａ１１、Ａ１２、Ａ１３、Ａ１４…隅部、Ｐ１、Ｐ２、Ｐ３…位置、Ａ２…マスク、Ａ２Ｒ…マスク、Ａ２１Ａ、Ａ２１Ｂ、Ａ２１Ｃ…透光部、Ａ２２Ａ、Ａ２２Ｂ、Ａ２２Ｃ、Ａ２２Ｄ、Ａ２２Ｅ、Ａ２２Ｆ…遮光部、Ａ３…第１画像、Ａ４…第２画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図20】

【図21】

【図22】