特開2024-93718画像解析システム、画像解析方法、および画像解析プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024093718
(43)【公開日】2024-07-09
(54)【発明の名称】画像解析システム、画像解析方法、および画像解析プログラム
(51)【国際特許分類】
G06T 7/11 20170101AFI20240702BHJP
【ＦＩ】
G06T7/11
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022210268
(22)【出願日】2022-12-27
(71)【出願人】
【識別番号】000004455
【氏名又は名称】株式会社レゾナック
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100128381
【弁理士】
【氏名又は名称】清水 義憲
(74)【代理人】
【識別番号】100169454
【弁理士】
【氏名又は名称】平野 裕之
(74)【代理人】
【識別番号】100144440
【弁理士】
【氏名又は名称】保坂 一之
(72)【発明者】
【氏名】筏井 大斗
(72)【発明者】
【氏名】上田 一貴
(72)【発明者】
【氏名】富坂 克彦
(72)【発明者】
【氏名】関 英之
(72)【発明者】
【氏名】松沢 光晴
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA08
5L096CA02
5L096DA02
5L096FA06
5L096FA64
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
【課題】画像中の対象物を正確に特定すること。
【解決手段】画像解析システムは、基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得し、インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに対象画像を入力して、１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定し、セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに対象画像を入力して、少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定し、少なくとも一つのインスタンスマスクとセマンティックマスクとに基づいて、少なくとも一つの対象物のそれぞれについて、該対象物の輪郭およびコーティング領域を特定する。
【選択図】図１
【解決手段】画像解析システムは、基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得し、インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに対象画像を入力して、１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定し、セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに対象画像を入力して、少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定し、少なくとも一つのインスタンスマスクとセマンティックマスクとに基づいて、少なくとも一つの対象物のそれぞれについて、該対象物の輪郭およびコーティング領域を特定する。
【選択図】図１
【特許請求の範囲】
【請求項1】
少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサが、
基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得し、
インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに前記対象画像を入力して、前記１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定し、
セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに前記対象画像を入力して、前記少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定し、
前記少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて、該対象物の前記輪郭および前記コーティング領域を特定する、
画像解析システム。
前記少なくとも一つのプロセッサが、
基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得し、
インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに前記対象画像を入力して、前記１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定し、
セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに前記対象画像を入力して、前記少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定し、
前記少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて、該対象物の前記輪郭および前記コーティング領域を特定する、
画像解析システム。
【請求項2】
前記少なくとも一つのプロセッサが、前記少なくとも一つのインスタンスマスクのそれぞれについて、該インスタンスマスクを、前記セマンティックマスクのうち対応する部分に置換して、該インスタンスマスクに対応する前記対象物の前記輪郭および前記コーティング領域を特定する、
請求項１に記載の画像解析システム。
請求項１に記載の画像解析システム。
【請求項3】
前記１以上の対象物が、隣り合う第１対象物および第２対象物を含み、
前記少なくとも一つのインスタンスマスクが、前記第１対象物に対応する第１インスタンスマスクと、前記第２対象物に対応する第２インスタンスマスクとを含み、
前記少なくとも一つのプロセッサが、
前記第１インスタンスマスクおよび前記第２インスタンスマスクの重複部分を、前記第１インスタンスマスクに対応する第１部分と前記第２インスタンスマスクに対応する第２部分とに分割し、
前記第１インスタンスマスクの非重複部分および前記第１部分を、前記セマンティックマスクのうち前記対応する部分に置換して、前記第１対象物の前記輪郭および前記コーティング領域を特定し、
前記第２インスタンスマスクの非重複部分および前記第２部分を、前記セマンティックマスクのうち前記対応する部分に置換して、前記第２対象物の前記輪郭および前記コーティング領域を特定する、
請求項２に記載の画像解析システム。
前記少なくとも一つのインスタンスマスクが、前記第１対象物に対応する第１インスタンスマスクと、前記第２対象物に対応する第２インスタンスマスクとを含み、
前記少なくとも一つのプロセッサが、
前記第１インスタンスマスクおよび前記第２インスタンスマスクの重複部分を、前記第１インスタンスマスクに対応する第１部分と前記第２インスタンスマスクに対応する第２部分とに分割し、
前記第１インスタンスマスクの非重複部分および前記第１部分を、前記セマンティックマスクのうち前記対応する部分に置換して、前記第１対象物の前記輪郭および前記コーティング領域を特定し、
前記第２インスタンスマスクの非重複部分および前記第２部分を、前記セマンティックマスクのうち前記対応する部分に置換して、前記第２対象物の前記輪郭および前記コーティング領域を特定する、
請求項２に記載の画像解析システム。
【請求項4】
前記少なくとも一つのプロセッサが、
前記重複部分の各画素について、該画素から前記第１インスタンスマスクの第１重心までの距離と、該画素から前記第２インスタンスマスクの第２重心までの距離とに基づいて、該画素を前記第１インスタンスマスクおよび前記第２インスタンスマスクの一方に割り当て、これにより前記重複部分を前記第１部分と前記第２部分とに分割する、
請求項３に記載の画像解析システム。
前記重複部分の各画素について、該画素から前記第１インスタンスマスクの第１重心までの距離と、該画素から前記第２インスタンスマスクの第２重心までの距離とに基づいて、該画素を前記第１インスタンスマスクおよび前記第２インスタンスマスクの一方に割り当て、これにより前記重複部分を前記第１部分と前記第２部分とに分割する、
請求項３に記載の画像解析システム。
【請求項5】
前記少なくとも一つのプロセッサが、
前記少なくとも一つのインスタンスマスクのそれぞれを膨張させ、
前記膨張させた少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて前記輪郭および前記コーティング領域を特定する、
請求項１～４のいずれか一項に記載の画像解析システム。
前記少なくとも一つのインスタンスマスクのそれぞれを膨張させ、
前記膨張させた少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて前記輪郭および前記コーティング領域を特定する、
請求項１～４のいずれか一項に記載の画像解析システム。
【請求項6】
前記少なくとも一つのプロセッサが、
前記輪郭についてのセマンティックセグメンテーションを実行する第１セマンティックセグメンテーションモデルに前記対象画像を入力して、前記対象物集合の前記輪郭を示す第１セマンティックマスクを設定し、
前記コーティング領域についてのセマンティックセグメンテーションを実行する第２セマンティックセグメンテーションモデルに前記対象画像を入力して、前記コーティング領域を示す第２セマンティックマスクを設定し、
前記第１セマンティックマスクおよび前記第２セマンティックマスクを合成して、前記対象物集合の前記輪郭および前記コーティング領域を示す前記セマンティックマスクを設定する、
請求項１～４のいずれか一項に記載の画像解析システム。
前記輪郭についてのセマンティックセグメンテーションを実行する第１セマンティックセグメンテーションモデルに前記対象画像を入力して、前記対象物集合の前記輪郭を示す第１セマンティックマスクを設定し、
前記コーティング領域についてのセマンティックセグメンテーションを実行する第２セマンティックセグメンテーションモデルに前記対象画像を入力して、前記コーティング領域を示す第２セマンティックマスクを設定し、
前記第１セマンティックマスクおよび前記第２セマンティックマスクを合成して、前記対象物集合の前記輪郭および前記コーティング領域を示す前記セマンティックマスクを設定する、
請求項１～４のいずれか一項に記載の画像解析システム。
【請求項7】
前記対象物が粒子状物質である、
請求項１～４のいずれか一項に記載の画像解析システム。
請求項１～４のいずれか一項に記載の画像解析システム。
【請求項8】
前記基材がコア粒子であり、
前記コーティング領域が複数の微粒子の集合である、
請求項７に記載の画像解析システム。
前記コーティング領域が複数の微粒子の集合である、
請求項７に記載の画像解析システム。
【請求項9】
少なくとも一つのプロセッサを備える画像解析システムにより実行される画像解析方法であって、
基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得するステップと、
インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに前記対象画像を入力して、前記１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定するステップと、
セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに前記対象画像を入力して、前記少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定するステップと、
前記少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて、該対象物の前記輪郭および前記コーティング領域を特定するステップと、
を含む画像解析方法。
基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得するステップと、
インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに前記対象画像を入力して、前記１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定するステップと、
セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに前記対象画像を入力して、前記少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定するステップと、
前記少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて、該対象物の前記輪郭および前記コーティング領域を特定するステップと、
を含む画像解析方法。
【請求項10】
基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得するステップと、
インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに前記対象画像を入力して、前記１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定するステップと、
セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに前記対象画像を入力して、前記少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定するステップと、
前記少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて、該対象物の前記輪郭および前記コーティング領域を特定するステップと、
をコンピュータに実行させる画像解析プログラム。
インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに前記対象画像を入力して、前記１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定するステップと、
セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに前記対象画像を入力して、前記少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定するステップと、
前記少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて、該対象物の前記輪郭および前記コーティング領域を特定するステップと、
をコンピュータに実行させる画像解析プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の一側面は画像解析システム、画像解析方法、および画像解析プログラムに関する。
【背景技術】
【0002】
特許文献１には、表面に導電性の複数の突起部を備えた導電粒子の表面形状を評価する導電粒子形状評価装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１６－０６１７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
画像中の対象物を正確に特定するための仕組みが望まれている。
【課題を解決するための手段】
【0005】
本開示の一側面に係る画像解析システムは少なくとも一つのプロセッサを備える。少なくとも一つのプロセッサは、基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得し、インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに対象画像を入力して、１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定し、セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに対象画像を入力して、少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定し、少なくとも一つのインスタンスマスクとセマンティックマスクとに基づいて、少なくとも一つの対象物のそれぞれについて、該対象物の輪郭およびコーティング領域を特定する。
【0006】
本開示の一側面に係る画像解析方法は、少なくとも一つのプロセッサを備える画像解析システムにより実行される。この画像解析方法は、基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得するステップと、インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに対象画像を入力して、１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定するステップと、セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに対象画像を入力して、少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定するステップと、少なくとも一つのインスタンスマスクとセマンティックマスクとに基づいて、少なくとも一つの対象物のそれぞれについて、該対象物の輪郭およびコーティング領域を特定するステップとを含む。
【0007】
本開示の一側面に係る画像解析プログラムは、基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得するステップと、インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに対象画像を入力して、１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定するステップと、セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに対象画像を入力して、少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定するステップと、少なくとも一つのインスタンスマスクとセマンティックマスクとに基づいて、少なくとも一つの対象物のそれぞれについて、該対象物の輪郭およびコーティング領域を特定するステップとをコンピュータに実行させる。
【0008】
このような側面においては、インスタンスセグメンテーションとセマンティックセグメンテーションという２種類の画像セグメンテーションが実行されて、各対象物について２種類のマスクが設定される。そして、その２種類のマスクに基づいて、各対象物について輪郭およびコーティング領域が特定される。このように一つの対象画像に対して２種類の画像セグメンテーションを適用することで、画像中の対象物を正確に特定できる。
【発明の効果】
【0009】
本開示の一側面によれば、画像中の対象物を正確に特定できる。
【図面の簡単な説明】
【0010】
【図1】評価システムの機能構成を示す図である。
【図2】学習済みモデルの生成の一例を示すフローチャートである。
【図3】画像解析および評価の一例を示すフローチャートである。
【図4】対象画像から対象物を特定する処理の詳細を示すフローチャートである。
【図5】インスタンスセグメンテーションの一例を示す図である。
【図6】セマンティックセグメンテーションの一例を示す図である。
【図7】仮インスタンスマスクの膨張の一例を示す図である。
【図8】マスクの置換の一例を示す図である。
【図9】評価値の算出方法を説明するための図である。
【発明を実施するための形態】
【0011】
以下、添付図面を参照しながら本開示での実施形態を詳細に説明する。図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。
【0012】
［システムの概要］
本開示に係る画像解析システムは、画像に写る対象物を特定するコンピュータシステムである。一例では、画像解析システムは画像に写る対象物の輪郭およびコーティング領域を特定する。
本開示に係る画像解析システムは、画像に写る対象物を特定するコンピュータシステムである。一例では、画像解析システムは画像に写る対象物の輪郭およびコーティング領域を特定する。
【0013】
対象物とは画像解析システムによって特定される固体をいう。対象物は基材およびコーティング領域を有する。基材は対象物の主たる領域を占める構成要素をいう。コーティング領域は基材上に位置する構成要素をいう。対象物は任意の形状、寸法、および成分を有する。例えば、対象物は球状、平面状、または柱状を呈してもよいし、より複雑な形状を呈してもよい。対象物は視認できる大きさを有してもよいし、顕微鏡を用いないと確認できないほどに小さくてもよい。基材の形状および寸法は、対象物の形状および寸法を左右し得る。コーティング領域は基材の表面の少なくとも一部を被覆する構成要素である。コーティング領域は粉状または粒状の粒子が基材上に付着することで形成されてもよいし、液状のコーティング剤または金属を含むコーティング剤が基材上に適用されることで形成されてもよい。互いに離れた複数のコーティング領域が一つの基材上に設けられてもよい。コーティング領域は、基材上に配置された１以上のコーティング要素によって形成され得る。コーティング要素の例として個々の粒子が挙げられる。コーティング要素として基材上に配置された粒子は、突起として把握されてもよい。コーティング領域は、基材の表面よりも盛り上がった凸部として、または密集した突起の集合として把握されてもよい。基材とコーティング領域との間で、成分の少なくとも一部が異なってもよいし、全成分が共通してもよい。基材およびコーティング領域のいずれも、有機化合物でも無機化合物でもよいし、有機化合物および無機化合物の双方を含んでもよい。
【0014】
対象物は粒子状物質であってもよい。一例では、粒子状物質は、コア粒子と、該コア粒子の表面に配置される複数の微粒子とを備える。微粒子の径はコア粒子の径より小さい。コア粒子は基材の一例であり、個々の微粒子はコーティング要素の一例であり、複数の微粒子の集合はコーティング領域の一例である。
【0015】
画像解析システムは、機械学習によって生成された学習済みモデルを用いて対象物を特定する。機械学習とは、与えられた情報に基づいて反復的に学習することで、法則またはルールを自律的に見つけ出す手法をいう。画像解析システムで用いられる学習済みモデルは、画像中の対象物を特定するために用いられる計算モデル、すなわち、画像セグメンテーションのための計算モデルである。一例では、画像解析システムは一つの対象画像に対して、インスタンスセグメンテーション（ｉｎｓｔａｎｃｅ ｓｅｇｍｅｎｔａｔｉｏｎ）とセマンティックセグメンテーション（ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）という２種類の画像セグメンテーションを実行し、これらの実行結果に基づいて対象物を特定する。
【0016】
インスタンスセグメンテーションとは、画像に写る１以上の物体を、物体毎に、すなわちインスタンス毎に区別して特定する手法をいう。インスタンスセグメンテーションの例として、Ｍａｓｋ Ｒ－ＣＮＮ、Ｒ－ＲＣＮ、およびＹＯＬＡＣＴが挙げられる。インスタンスセグメンテーションは同種の個々の物体を互いに区別して検出する。一般に、インスタンスセグメンテーションでは、画像中における物体の領域を示すマスクの形状の精度がセマンティックセグメンテーションよりも低い。
【0017】
セマンティックセグメンテーションとは、インスタンスの違いを区別することなく、画像に写る１以上の物体を特定する手法をいう。セマンティックセグメンテーションの例として、Ｕ－Ｎｅｔ、ＦＣＮ、およびＳｅｇＮｅｔが挙げられる。セマンティックセグメンテーションは同種の２以上の物体を区別することができず、該２以上の物体の集合を示すマスクに対して一つの意味を与えることしかできない。しかし、一般に、セマンティックセグメンテーションでは、そのマスクの形状の精度はインスタンスセグメンテーションよりも高い。
【0018】
このようにインスタンスセグメンテーションおよびセマンティックセグメンテーションのそれぞれは長所および短所を持つ。画像解析システムはこれら２種類の画像セグメンテーションの長所を利用して、画像中の個々の対象物を自動的に且つ正確に特定することを目指す。
【0019】
一例では、画像解析システムは、画像に写る対象物の被覆に関する評価を実行するコンピュータシステムである評価システムの少なくとも一部として実現されてもよい。被覆とは、対象物の外観において基材の少なくとも一部がコーティング領域によって隠れた状態をいう。評価システムは、画像に写る対象物の輪郭およびコーティング領域を特定し、コーティング領域に関する評価を実行する。コーティング領域に関する評価とは、基材を被覆するコーティング領域について定量的に判断する処理をいう。例えば、評価システムは、コーティング領域による基材の被覆に関して評価してもよいし、コーティング領域そのものを評価してもよい。一例では、評価システムはコーティング領域に関する定量的な指標である評価値を算出し、その評価値を出力する。評価値は、コーティング領域による基材の被覆に関する値でもよいし、コーティング領域そのものの物理量でもよい。評価システムは、コーティング領域を自動的にかつ正確に特定して、対象物の被覆に関する評価を正確に実行することができる。
【0020】
［システムの構成］
図１は、本開示に係る画像解析システムが適用された評価システム１０の機能構成の一例を示す図である。評価システム１０はハードウェア構成要素としてプロセッサ１０１を備える。プロセッサ１０１は例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。評価システム１０はハードウェア構成要素として更に、ＲＡＭおよびＲＯＭで構成される主記憶装置と、フラッシュメモリ、ハードディスク等で構成される補助記憶装置と、キーボード、マウス等の入力装置と、モニタ、スピーカ等の出力装置と、外部装置との間のデータ通信を実行する通信モジュールとを備える。評価システム１０の各機能モジュールは、補助記憶装置に格納されたプログラムをプロセッサ１０１が実行することで実現される。
図１は、本開示に係る画像解析システムが適用された評価システム１０の機能構成の一例を示す図である。評価システム１０はハードウェア構成要素としてプロセッサ１０１を備える。プロセッサ１０１は例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。評価システム１０はハードウェア構成要素として更に、ＲＡＭおよびＲＯＭで構成される主記憶装置と、フラッシュメモリ、ハードディスク等で構成される補助記憶装置と、キーボード、マウス等の入力装置と、モニタ、スピーカ等の出力装置と、外部装置との間のデータ通信を実行する通信モジュールとを備える。評価システム１０の各機能モジュールは、補助記憶装置に格納されたプログラムをプロセッサ１０１が実行することで実現される。
【0021】
コンピュータを評価システム１０として機能させるための評価プログラムは、評価システム１０の各機能モジュールを実現するためのプログラムコードを含む。この評価プログラムは本開示に係る画像解析プログラムを含む。評価プログラムは、例えばＣＤ―ＲＯＭ、ＤＶＤ―ＲＯＭ、または半導体メモリの非一時的な記録媒体に記録された上で提供されてもよい。あるいは、評価プログラムは、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。提供された評価プログラムは例えば補助記憶装置に記憶される。
【0022】
評価システム１０は１台のコンピュータで構成されてもよいし、複数のコンピュータの集合、すなわち分散システムで構成されてもよい。評価システム１０のために用いられるコンピュータの例として、パーソナルコンピュータ、ワークステーション、タブレット端末、スマートフォン等の様々な種類のコンピュータが挙げられる。評価システム１０のために複数台のコンピュータが用いられる場合には、これらのコンピュータがインターネット、イントラネット等の通信ネットワークを介して接続されることで、論理的に一つの評価システム１０が構築される。評価システム１０は、クラウドシステムのようなクライアント－サーバシステムとして実現されてもよいし、スタンドアローンのコンピュータによって実現されてもよい。
【0023】
一例では、評価システム１０は通信ネットワークを介して少なくとも一つの外部ストレージと連携する。外部ストレージは、評価システム１０での処理に用いられる各種のデータを格納する装置または記録媒体である。外部ストレージは評価システム１０の構成要素でもよいし、評価システム１０の外部に設けられてもよい。通信ネットワークはインターネット、イントラネット、またはこれらの組合せによって構築されてもよい。通信ネットワークは有線ネットワーク、無線ネットワーク、またはこれらの組合せによって構築されてもよい。
【0024】
図１は外部ストレージの例として教師画像データベース４１および原画像データベース４２を示す。教師画像データベース４１は、機械学習のために用いられる少なくとも一つの教師画像を記憶するストレージである。原画像データベース４２は、少なくとも一つの対象物を示す少なくとも一つの原画像５１を記憶するストレージである。教師画像データベース４１および原画像データベース４２は一つのデータベースとして統合されてもよい。
【0025】
一例では、評価システム１０は通信ネットワークを介して学習装置３０と連携する。学習装置３０は学習済みモデル２０を生成するコンピュータまたはコンピュータシステムである。学習装置３０は評価システム１０の構成要素でもよいし、評価システム１０の外部に設けられてもよい。学習済みモデル２０はコンピュータシステム間で移植可能なので、評価システム１０は他のコンピュータまたはコンピュータシステムから提供された学習済みモデル２０を用いることも可能である。学習装置３０による学習済みモデル２０の生成は学習フェーズに相当する。
【0026】
一例では、プロセッサ１０１は、前処理部１１、インスタンスセグメンテーション部１２、第１セマンティックセグメンテーション部１３、第２セマンティックセグメンテーション部１４、特定部１５、後処理部１６、および算出部１７として機能する。これらの機能モジュールは、生成された学習済みモデル２０を用いる運用フェーズに対応する。
【0027】
前処理部１１は、原画像５１に対して前処理を実行して、１以上の対象物を示す対象画像５２を生成する機能モジュールである。
【0028】
インスタンスセグメンテーション部１２は、対象画像５２に対してインスタンスセグメンテーションを実行して、対象画像５２内の少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定する機能モジュールである。インスタンスセグメンテーション部１２は、学習済みモデル２０の一例であるインスタンスセグメンテーションモデル２１を用いてインスタンスマスクを設定する。インスタンスマスクは、個々の対象物が互いに区別されるように、インスタンスセグメンテーションによって各対象物に設定されるマスクである。
【0029】
第１セマンティックセグメンテーション部１３は、対象物の集合についての輪郭についてのセマンティックセグメンテーションを対象画像５２に対して実行して、その輪郭を示すセマンティックマスクを設定する機能モジュールである。以下ではこのセマンティックマスクを第１セマンティックマスクともいう。第１セマンティックマスクは、対象画像５２上の少なくとも一つの対象物から成る対象物集合に対して設定される。第１セマンティックセグメンテーション部１３は、対象物集合の輪郭についてのセマンティックセグメンテーションを実行する学習済みモデル２０である第１セマンティックセグメンテーションモデル２２を用いて第１セマンティックマスクを設定する。
【0030】
第２セマンティックセグメンテーション部１４は、対象物集合のコーティング領域についてのセマンティックセグメンテーションを対象画像５２に対して実行して、そのコーティング領域を示すセマンティックマスクを設定する機能モジュールである。以下ではこのセマンティックマスクを第２セマンティックマスクともいう。第２セマンティックマスクは、対象物集合に対応する少なくとも一つのコーティング領域から成るコーティング集合に対して設定される。第２セマンティックセグメンテーション部１４は、対象物集合のコーティング領域についてのセマンティックセグメンテーションを実行する学習済みモデル２０である第２セマンティックセグメンテーションモデル２３を用いて第２セマンティックマスクを設定する。
【0031】
特定部１５は少なくとも一つのインスタンスマスク、第１セマンティックマスク、および第２セマンティックマスクに基づいて、対象画像５２における対象物の輪郭およびコーティング領域を特定する機能モジュールである。
【0032】
後処理部１６は、対象物が特定された対象画像５２に対して後処理を実行する機能モジュールである。
【0033】
算出部１７は、特定された各対象物の被覆に関する評価値を算出する機能モジュールである。
【0034】
［システムの動作］
以下では、評価システム１０に関連する処理の例を説明すると共に、本開示に係る画像解析方法および評価方法の例を説明する。以下の例では対象物として粒子状物質を示し、コーティング要素としてコア粒子上の個々の微粒子を示す。
以下では、評価システム１０に関連する処理の例を説明すると共に、本開示に係る画像解析方法および評価方法の例を説明する。以下の例では対象物として粒子状物質を示し、コーティング要素としてコア粒子上の個々の微粒子を示す。
【0035】
（学習済みモデルの生成）
図２を参照しながら、学習済みモデル２０の生成について説明する。図２はその処理の一例を処理フローＳ１として示すフローチャートである。処理フローＳ１は学習フェーズに相当する。処理フローＳ１はインスタンスセグメンテーションモデル２１、第１セマンティックセグメンテーションモデル２２、および第２セマンティックセグメンテーションモデル２３のそれぞれについて実行され、したがって、これら３種類の学習済みモデルに共通の処理である。
図２を参照しながら、学習済みモデル２０の生成について説明する。図２はその処理の一例を処理フローＳ１として示すフローチャートである。処理フローＳ１は学習フェーズに相当する。処理フローＳ１はインスタンスセグメンテーションモデル２１、第１セマンティックセグメンテーションモデル２２、および第２セマンティックセグメンテーションモデル２３のそれぞれについて実行され、したがって、これら３種類の学習済みモデルに共通の処理である。
【0036】
ステップＳ１１では、学習装置３０が一つの教師画像を教師画像データベース４１から取得する。教師画像は、機械学習において正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）として扱われる情報であるラベルが関連付けられた画像である。一例では、提供されたサンプル画像に対してユーザ操作によってラベルが設定されることで、教師画像が生成される。インスタンスセグメンテーションモデル２１を生成するための教師画像のラベルは、各対象物に設定されるインスタンスマスクである。第１セマンティックセグメンテーションモデル２２を生成するための教師画像のラベルは、対象物集合に設定される第１セマンティックマスクである。第２セマンティックセグメンテーションモデル２３を生成するための教師画像のラベルは、コーティング集合に設定される第２セマンティックマスクである。一例では、ラベルとしての第２セマンティックマスクは、所定の閾値以上の面積または高さを有するコーティング領域またはコーティング要素に設定される。面積に関する閾値も高さに関する閾値も、対象物の種類等に応じて適宜設定されてよい。
【0037】
ステップＳ１２では、学習装置３０が教師画像に基づく学習を実行する。一例では、学習装置３０はニューラルネットワークを含む機械学習モデルに教師画像を入力し、その機械学習モデルから出力される推定結果を得る。学習装置３０はその推定結果と、教師画像のラベルとの誤差に基づいて、バックプロパゲーション（誤差逆伝播法）等の手法を用いて機械学習モデル内のパラメータを更新する。例えば学習装置３０はニューラルネットワークの重みを更新する。一例では、学習装置３０は、インスタンスセグメンテーションモデル２１を生成するために、Ｍａｓｋ Ｒ－ＣＮＮによる学習を実行し、第１および第２セマンティックセグメンテーションモデル２２，２３を生成するために、Ｕ－Ｎｅｔによる学習を実行する。
【0038】
ステップＳ１３では、学習装置３０が機械学習を終了するか否かを判定する。所定の終了条件を満たさないと学習装置３０が判定した場合には（ステップＳ１３においてＮＯ）、処理はステップＳ１１に戻る。繰り返し処理では、学習装置３０はステップＳ１１において次の教師画像を取得し、ステップＳ１２においてその教師画像に基づく学習を実行する。一方、終了条件を満たすと学習装置３０が判定した場合には（ステップＳ１３においてＹＥＳ）、処理はステップＳ１４に進む。終了条件は誤差に基づいて設定されてもよいし、処理する教師画像の個数、すなわち学習の回数に基づいて設定されてもよい。あるいは、学習装置３０は所与の検証用データを用いて機械学習モデルの性能を評価し、その評価が所与の基準を満たす場合に機械学習を終了してもよい。
【0039】
ステップＳ１４では、学習装置３０が、機械学習が終了した機械学習モデルを学習済みモデル２０（インスタンスセグメンテーションモデル２１、第１セマンティックセグメンテーションモデル２２、または第２セマンティックセグメンテーションモデル２３）として出力する。一例では、学習装置３０はその学習済みモデル２０を評価システム１０の補助記憶装置に格納する。
【0040】
上述したように、処理フローＳ１はインスタンスセグメンテーションモデル２１、第１セマンティックセグメンテーションモデル２２、および第２セマンティックセグメンテーションモデル２３のそれぞれについて実行される。これら３種類の学習済みモデル２０は評価システム１０によって用いられる。
【0041】
（対象画像の解析および対象物の評価）
図３および図４を参照しながら、対象画像を解析して対象物を評価する処理について説明する。図３はその処理の一例を処理フローＳ２として示すフローチャートである。図４は対象画像から対象物を特定する処理の詳細を示すフローチャートである。
図３および図４を参照しながら、対象画像を解析して対象物を評価する処理について説明する。図３はその処理の一例を処理フローＳ２として示すフローチャートである。図４は対象画像から対象物を特定する処理の詳細を示すフローチャートである。
【0042】
ステップＳ２１では、前処理部１１が原画像５１を原画像データベース４２から取得する。一例では、粒子状物質を示す原画像５１は、カーボンテープ上に採取された複数の粒子状物質を走査型電子顕微鏡（ＳＥＭ）によって撮像することにより得られるＳＥＭ画像である。
【0043】
ステップＳ２２では、前処理部１１が、原画像５１に対する前処理を実行して対象画像５２を生成する。文字列、目盛等の補助情報が原画像５１中に表記されている場合には、前処理部１１はその補助情報をトリミング等の画像処理によって除去して、補助情報を含まない対象画像５２を生成してもよい。前処理部１１は原画像５１に対してヒストグラム平坦化を実行して、コントラストが高い対象画像５２、すなわち対象物をより明瞭に写す対象画像５２を生成してもよい。このように、前処理は補助情報の削除とヒストグラム平坦化との少なくとも一方を含み得る。
【0044】
ステップＳ２３では、インスタンスセグメンテーション部１２、第１セマンティックセグメンテーション部１３、第２セマンティックセグメンテーション部１４、および特定部１５が協働して対象画像５２から対象物を特定する。図４を参照しながらこの処理の詳細を説明する。
【0045】
ステップＳ２３１では、インスタンスセグメンテーション部１２、第１セマンティックセグメンテーション部１３、および第２セマンティックセグメンテーション部１４のそれぞれが前処理部１１から対象画像５２を取得する。
【0046】
ステップＳ２３２では、インスタンスセグメンテーション部１２が対象画像５２に対してインスタンスセグメンテーションを実行する。インスタンスセグメンテーション部１２は対象画像５２をインスタンスセグメンテーションモデル２１に入力し、この学習済みモデルによって推定されたインスタンスマスクを取得する。この結果、インスタンスセグメンテーション部１２は、対象画像５２に写る１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定する。
【0047】
図５はインスタンスセグメンテーションの一例を示す図である。図５は、インスタンスセグメンテーション部１２によって処理された対象画像５２の一部を部分画像２０１として示す。部分画像２０１は、隣り合う対象物３１０，３２０を写す。この例では、対象物３１０に対してインスタンスマスク２１１が設定され、対象物３２０に対してインスタンスマスク２１２が設定される。上述したように、インスタンスマスクの形状の精度は相対的に低い。この例では、インスタンスマスク２１１，２１２の外縁は対象物３１０，３２０の輪郭と完全に一致しない。例えば、インスタンスマスク２１１は、対象物３１０の輪郭より外側の領域を覆う一方で、対象物３１０のわずかな部分を覆っていない。インスタンスマスク２１２と対象物３２０との関係も同様である。
【0048】
図４に戻って、ステップＳ２３３では、第１セマンティックセグメンテーション部１３が対象画像５２に対して輪郭についてのセマンティックセグメンテーションを実行する。第１セマンティックセグメンテーション部１３は対象画像５２を第１セマンティックセグメンテーションモデル２２に入力し、この学習済みモデルによって推定された第１セマンティックマスクを取得する。この結果、第１セマンティックセグメンテーション部１３は、対象画像５２に写る少なくとも一つの対象物から成る対象物集合の輪郭を示す第１セマンティックマスクを設定する。
【0049】
ステップＳ２３４では、第２セマンティックセグメンテーション部１４が対象画像５２に対してコーティング領域についてのセマンティックセグメンテーションを実行する。第２セマンティックセグメンテーション部１４は対象画像５２を第２セマンティックセグメンテーションモデル２３に入力し、この学習済みモデルによって推定された第２セマンティックマスクを取得する。この結果、第２セマンティックセグメンテーション部１４は、コーティング集合を示す第２セマンティックマスクを設定する。
【0050】
ステップＳ２３５では、特定部１５が第１セマンティックマスクおよび第２セマンティックマスクを合成して、対象物集合の輪郭およびコーティング領域の双方を示す統合セマンティックマスクを生成する。
【0051】
図６はセマンティックセグメンテーションの一例を示す図である。図６は、第１セマンティックセグメンテーション部１３によって処理された対象画像５２の一部を部分画像２０２として示し、第２セマンティックセグメンテーション部１４によって処理された対象画像５２の一部を部分画像２０３として示す。部分画像２０２，２０３はいずれも、図５に示す部分画像２０１に対応する。
【0052】
この例では、対象物３１０，３２０の集合に対して第１セマンティックマスク２２１が設定され、対象物３１０，３２０上のコーティング領域の集合に対して第２セマンティックマスク２２２が設定される。この例では、第２セマンティックマスク２２２は、所定の閾値以上の面積または高さを有するコーティング領域またはコーティング要素に設定される。このような第２セマンティックマスク２２２の結果は、教師画像に設定されるラベルに起因する。セマンティックマスクは同種の２以上の物体を区別しないので、第１セマンティックマスク２２１は対象物３１０と３２０とを区別せず、第２セマンティックマスク２２２は個々のコーティング領域を区別しない。上述したように、セマンティックマスクの形状の精度は相対的に高い。この例では、第１セマンティックマスク２２１の外縁は対象物３１０，３２０の輪郭とほぼ一致し、第２セマンティックマスク２２２の外縁は個々のコーティング領域の輪郭とほぼ一致する。部分画像２０４は部分画像２０２，２０３を合成することで得られる。部分画像２０４は、第１セマンティックマスク２２１および第２セマンティックマスク２２２の双方から成る統合セマンティックマスクを示す。
【0053】
図４に戻って、ステップＳ２３６では、特定部１５が、インスタンスセグメンテーション部１２によって得られた各インスタンスマスクに基づいて、仮インスタンスマスクおよび仮重心を設定する。一例では、特定部１５はそれぞれのインスタンスマスクをそのまま仮インスタンスマスクとして設定し、それぞれのインスタンスマスクの重心をそのまま仮重心として設定する。
【0054】
ステップＳ２３７では、特定部１５がそれぞれの仮インスタンスマスクを膨張させる。この膨張は、仮インスタンスマスクの外縁を径方向外側に向けてｎピクセルだけ移動させて、仮インスタンスマスクの面積を増加させる処理である。この処理は、対象物の全体を覆うようにそれぞれの仮インスタンスマスクを設定することを意図する。値ｎは対象物の一般的な形状または寸法に応じて設定されてよい。
【0055】
図７は仮インスタンスマスクの膨張の一例を示す図である。この例では、特定部１５は、仮インスタンスマスク２１１，２１２のそれぞれを膨張させる。この処理により、膨張させた仮インスタンスマスク２１１は対象物３１０の全体を覆い、膨張させたインスタンスマスク２１２は対象物３２０の全体を覆う。
【0056】
図４に戻って、ステップＳ２３８では、特定部１５が、膨張させたそれぞれの仮インスタンスマスクについて非重複部分を統合セマンティックマスクに置換する。仮インスタンスマスクの非重複部分とは、他の仮インスタンスマスクと重ならない部分をいう。特定部１５はその非重複部分を、統合セマンティックマスクのうち該非重複部分に対応する部分に置換して、該非重複部分における対象物の輪郭およびコーティング領域を最終的に特定する。一例では、特定部１５は、個々の対象物を一意に特定するための識別子である対象物ＩＤをそれぞれの非重複部分に関連付けて、置換された個々のマスクを個々の対象物に対応させる。
【0057】
ステップＳ２３９では、特定部１５が、膨張させたそれぞれの仮インスタンスマスクについて重複部分を統合セマンティックマスクに置換する。重複部分が存在しない場合にはステップＳ２３９は省略される。仮インスタンスマスクの重複部分とは、他の仮インスタンスマスクと重なる部分をいう。一例では、特定部１５は、重複部分の個々の画素と個々の仮重心との距離に基づいて、重複部分の各画素を単一の仮インスタンスマスクに割り当てる。例えば、特定部１５は重複部分の各画素について、該画素からの距離が最も短い仮重心を判定し、その仮重心を有する仮インスタンスマスクに該画素を割り当てる。特定部１５はこのような処理によって、重複部分を、個々の仮インスタンスマスクに対応する個々の部分に分割する。特定部１５はその分割によって個々の対象物の輪郭を最終的に決定する。更に、特定部１５は重複部分に対応する統合セマンティックマスクを参照して、重複部分に位置する１以上の対象物のそれぞれのコーティング領域を特定する。
【0058】
ステップＳ２３８，Ｓ２３９において、特定部１５は少なくとも一つのインスタンスマスクと統合セマンティックマスクとに基づいて、対象画像５２中の少なくとも一つの対象物のそれぞれについて、該対象物の輪郭およびコーティング領域を特定する。一例では、特定部１５は、少なくとも一つのインスタンスマスクのそれぞれについて、該インスタンスマスクを、セマンティックマスクのうち対応する部分に置換して、該インスタンスマスクに対応する対象物の輪郭およびコーティング領域を特定する。第１対象物および第２対象物の重複部分が存在する場合には、特定部１５はその重複部分を、第１仮インスタンスマスクに対応する第１部分と第２仮インスタンスマスクに対応する第２部分とに分割する。そして、特定部１５は、第１仮インスタンスマスクの非重複部分および第１部分を、統合セマンティックマスクのうち対応する部分に置換して、第１対象物の輪郭およびコーティング領域を特定する。また、特定部１５は、第２インスタンスマスクの非重複部分および第２部分を、統合セマンティックマスクのうち対応する部分に置換して、第２対象物の輪郭およびコーティング領域を特定する。一例では、特定部１５は特定された各対象物について、対象物ＩＤ、輪郭、およびコーティング領域の対応を示すインスタンス情報を生成する。
【0059】
図８はマスクの置換の一例を示す図であり、図７に対応する。その図７で示すように、対象物３１０，３２０の仮インスタンスマスクは範囲２４０内で重なる。したがって、それら２個の対象物の間には重複部分が存在する。
【0060】
この例では、特定部１５は仮インスタンスマスク２１１の非重複部分を統合セマンティックマスクに置換して、対象物３１０の輪郭を示すマスク２３１と、対象物３１０のコーティング領域を示すマスク２３２とを設定する。また、特定部１５は仮インスタンスマスク２１２の非重複部分を統合セマンティックマスクに置換して、対象物３２０の輪郭を示すマスク２３３と、対象物３２０のコーティング領域を示すマスク２３４とを設定する。マスク２３１，２３３は第１セマンティックマスク２２１に対応し、マスク２３２，２３４は第２セマンティックマスク２２２に対応する。
【0061】
特定部１５は更に、範囲２４０内に位置する重複部分を統合セマンティックマスクに置換する。特定部１５は重複部分の各画素について、対象物３１０の仮重心３１１からの距離と、対象物３２０の仮重心３２１からの距離とを求め、該画素に最も近い仮重心を有する仮インスタンスマスクに該画素を関連付ける。この結果、境界線２５０が対象物３１０および対象物３２０の輪郭の一部として設定される。特定部１５は対象物３１０に対応する部分を統合セマンティックマスクに置換して、対象物３１０の輪郭を示すマスク２３１と、対象物３１０のコーティング領域を示すマスク２３２とを最終的に確定する。また、特定部１５は対象物３２０に関連付けられた部分を統合セマンティックマスクに置換して、対象物３２０の輪郭を示すマスク２３３と、対象物３２０のコーティング領域を示すマスク２３４とを最終的に確定する。確定されたマスク２３１，２３２は、対象物３１０を示す最終的なインスタンスマスクであるといえ、確定されたマスク２３３，２３４は、対象物３２０を示す最終的なインスタンスマスクであるといえる。
【0062】
図４に戻って、ステップＳ２４０では、特定部１５が、対象物が特定された対象画像５２に対する後処理を実行する。例えば、特定部１５は、対象画像５２の端に位置して全体が写っていない対象物のインスタンス情報を削除または無効化してもよい。
【0063】
図３に戻って、ステップＳ２４では、算出部１７が、特定された対象物に関する評価値を算出する。対象物に関する評価値は、基材およびコーティング層を含む対象物全体に関する評価値でもよいし、コーティング層に関する評価値でもよいし、コーティング要素に関する評価値でもよい。例えば、算出部１７は対象物の寸法を算出してもよい。あるいは、算出部１７は、コーティング領域による基材の被覆に関する評価値を算出してもよく、例えば、コーティング領域によって基材が被覆された割合を示す被覆率を算出してもよい。あるいは、算出部１７は少なくとも一つのコーティング要素のそれぞれについて、面積、高さ、半径等の物理パラメータを評価値として算出してもよい。コーティング要素の高さとは、基材表面からコーティング要素の頂部までの距離をいう。あるいは、算出部１７は少なくとも一つのコーティング要素のそれぞれについて、真円度等のような、形状に関する評価値を算出してもよい。算出部１７は標準偏差、平均値、中央値等のような、複数のコーティング要素に関する統計値を評価値として算出してもよい。例えば、算出部１７は面積、真円度、高さ、半径等の様々な物理パラメータについての統計値を算出し得る。コーティング要素が粒子である場合には、算出部１７は粒子径の変動係数（Ｃｏｅｆｆｉｃｉｅｎｔ ｏｆ Ｖａｒｉａｔｉｏｎ）であるＣＶ値を評価値として算出してもよい。ＣＶ値は下記式により得られる。ＣＶ値も統計値の一例である。
ＣＶ値＝（標準偏差）／（中位径）
ＣＶ値＝（標準偏差）／（中位径）
【0064】
算出部１７は、特定された１以上の対象物のうち、所定の要件を満たす対象物に限って評価値を算出してもよい。例えば、算出部１７は、対象物の輪郭の全長に対する、重複部分に対応する輪郭の長さの割合が所定の閾値以下である対象物に限って、評価値を算出してもよい。その閾値は例えば３０％でもよい。図８に示す例では、「重複部分に対応する輪郭」は境界線２５０上に位置する輪郭である。重複部分に対応する輪郭の長さの割合が相対的に大きい場合には、特定された輪郭が対象物の実際の輪郭から乖離する可能性がある。そのような可能性を持つ対象物を評価値の計算から排除することで、より正確な評価値を得ることが可能になる。
【0065】
図９を参照しながら、評価値の算出方法に関する様々な例を説明する。図９はその算出方法を説明するための図である。この例に示す対象物は、基材３３１と、コーティング要素である微粒子３３２とを有する粒子状物質３３０である。
【0066】
一例では、算出部１７は粒子状物質３３０の径、すなわち粒径を算出する。算出部１７は仮重心３３３を中心に周方向に沿って粒子状物質３３０を仮想的にｎ等分して、ｎ個の扇状区間を設定する。続いて、算出部１７は各扇状区間において粒子状物質３３０の半径を算出する。算出部１７はｉ番目の扇状区間について次のようにその半径を算出する。すなわち、算出部１７はｉ番目の扇状区間と（ｉ＋１）番目の扇状区間とにわたって、粒子状物質３３０の輪郭上に角度θ毎にサンプル点を設定する。そして、算出部１７は各サンプル点について仮重心３３３からの距離を算出する。続いて、算出部１７は算出された複数の距離を降順にソートして上位ｐ個の距離を取得し、そのｐ個の距離の平均値を半径として得る。或る扇状区間での半径を算出するために次の扇状区間のサンプル点も用いることで、扇状区間の境界上に微粒子３３２が存在したり歪な微粒子３３２が存在したりするために生じ得る半径の誤差を抑制し得る。算出部１７はｎ個の扇状区間での半径の平均値を求め、その平均値の２倍を粒径として得る。
【0067】
算出部１７は、重複部分に対応する輪郭に対応する扇状区間を除外し、残りの扇状区間のそれぞれにおける半径を算出し、算出された複数の半径の平均値の２倍を粒径として求めてもよい。
【0068】
図９の例では、算出部１７は２０°毎に粒子状物質３３０を仮想的に分割して１８個の扇状区間４０１，４０２，４０３，４０４，…を設定する。続いて、算出部１７は各扇状区間について半径を算出する。一例では、θ＝２°であり、ｐ＝３である。扇状区間４０１での半径を算出する場合には、算出部１７は扇状区間４０１，４０２にわたって２°毎にサンプル点を設定し、各サンプル点について仮重心３３３からの距離４１１を算出する。そして、算出部１７は上位３個の距離４１１の平均値を扇状区間４０１での半径として得る。扇状区間４０２での半径を算出する場合には、算出部１７は扇状区間４０２，４０３にわたって２°毎にサンプル点を設定し、続いて、扇状区間４０１の場合と同様に、扇状区間４０２での半径を得る。その後、算出部１７は１８個の扇状区間での半径の平均値を求め、その平均値の２倍を粒径として算出する。図９はその粒径を円４２１で示す。
【0069】
一例では、算出部１７は粒子状物質３３０での被覆率を次のように求める。すなわち、算出部１７は算出された粒径のα倍の径を有し、仮重心３３３を中心とする規定円４２２を設定する。係数αは０より大きく１より小さい値であり、例えばα＝０．６である。規定円４２２は粒子状物質３３０の中央領域に対応する。算出部１７は、規定円４２２内に位置するコーティング領域の総面積、すなわち、中央領域内に位置する１以上のコーティング要素の総面積を算出する。そして、算出部１７は中央領域（規定円４２２）の面積に対する該総面積の割合を被覆率として算出する。それぞれの面積は画素数によって特定され得る。したがって、算出部１７は、中央領域の画素数に対する、該中央領域内に位置するコーティング領域の総画素数の割合を被覆率として算出してもよい。
【0070】
一例では、算出部１７は中央領域（規定円４２２）内に位置するコーティング要素のそれぞれについて、面積を評価値として算出してもよいし、形状に関する評価値を算出してもよい。算出部１７は中央領域内に位置する複数のコーティング要素に関する統計値を評価値として算出してもよい。コーティング要素が粒子である場合には、算出部１７は中央領域内におけるＣＶ値を評価値として算出してもよい。
【0071】
一例では、算出部１７は微粒子３３２の高さを算出する。まず、算出部１７はｎ個の扇状区間のそれぞれにおいて微粒子３３２の高さを算出する。ｉ番目の扇状区間における高さの算出方法は次のとおりである。すなわち、算出部１７はｉ番目の扇状区間と（ｉ＋１）番目の扇状区間とにわたって、粒子状物質３３０の輪郭上に角度θ毎にサンプル点を設定する。そして、算出部１７は各サンプル点について仮重心３３３からの距離を算出し、算出された複数の距離を降順にソートする。続いて、算出部１７は上位ｐ個の距離を取得し、そのｐ個の距離の平均値Ｈａｖｅを最高地点として得る。また、算出部１７は下位ｐ個の距離を取得し、そのｐ個の距離の平均値Ｌａｖｅを最低地点として得る。そして、算出部１７はその二つの平均値Ｈａｖｅ，Ｌａｖｅの差を、ｉ番目の扇状区間での微粒子３３２の高さとして求める。或る扇状区間での微粒子３３２の半径を算出するために次の扇状区間のサンプル点も用いることで、扇状区間の境界上に微粒子３３２が存在したり歪な微粒子３３２が存在したりするために生じ得る高さの誤差を抑制し得る。算出部１７はｎ個の扇状区間での高さの平均値を求め、その平均値を粒子状物質３３０の微粒子３３２の高さとして得る。
【0072】
図９の例では、算出部１７は１８個の扇状区間のそれぞれについて微粒子３３２の高さを算出する。一例では、θ＝２°であり、ｐ＝３である。扇状区間４０１での高さを算出する場合には、算出部１７は扇状区間４０１，４０２にわたって２°毎にサンプル点を設定し、各サンプル点について仮重心３３３からの距離４１１を算出する。そして、算出部１７は、上位３個の距離４１１の平均値Ｈａｖｅと下位３個の距離４１１の平均値Ｌａｖｅとの差を、扇状区間４０１での微粒子３３２の高さとして得る。扇状区間４０２での半径を算出する場合には、算出部１７は扇状区間４０２，４０３にわたって２°毎にサンプル点を設定し、続いて、扇状区間４０１の場合と同様に、扇状区間４０２での微粒子３３２の高さを得る。その後、算出部１７は１８個の扇状区間での高さの平均値を、粒子状物質３３０の微粒子３３２の高さとして求める。
【0073】
算出部１７は、重複部分に対応する輪郭に対応する扇状区間を除外し、残りの扇状区間のそれぞれについて微粒子３３２の高さを算出し、算出された複数の高さの平均値を粒子状物質３３０の微粒子３３２の高さとして求めてもよい。
【0074】
図３に戻って、ステップＳ２５では、算出部１７が評価値を出力する。算出部１７は評価値を、モニタ上に表示してもよいし、データベース等の所定の記憶装置に格納してもよいし、他のコンピュータに送信してもよい。
【0075】
算出部１７は、インスタンスセグメンテーションおよびセマンティックセグメンテーションの少なくとも一方の結果を表示してもよい。例えば、算出部１７は、インスタンスマスク（仮インスタンスマスク）、第１セマンティックマスク、第２セマンティックマスク、または統合セマンティックマスクが重畳された対象画像５２を表示してもよい。あるいは、算出部１７はインスタンス情報に基づいて、最終的なインスタンスマスクが重畳された対象画像５２を表示してもよい。ユーザはこれらのような画像を通して、画像セグメンテーションの結果、評価値の根拠等を確認できる。
【0076】
評価システム１０は処理フローＳ２を複数回または繰り返し実行し得る。例えば、評価システム１０は、ユーザが対象画像５２を選択する度に、その選択に応答して処理フローＳ２を実行する。評価システム１０は、複数の対象物に対応する複数の評価値の統計値を、更なる評価値として算出してもよい。
【0077】
［変形例］
以上、本開示に係る技術をその様々な例に基づいて詳細に説明した。しかし、本開示は上記の例に限定されるものではない。本開示に係る技術については、その要旨を逸脱しない範囲で様々な変形が可能である。
以上、本開示に係る技術をその様々な例に基づいて詳細に説明した。しかし、本開示は上記の例に限定されるものではない。本開示に係る技術については、その要旨を逸脱しない範囲で様々な変形が可能である。
【0078】
原画像はデータベース以外の装置から提供されてもよく、例えば、ＳＥＭ、カメラ等のような撮像装置から直接に提供されてもよい。
【0079】
上記の例では特定部１５が第１セマンティックマスクおよび第２セマンティックマスクを合成して統合セマンティックマスクを生成するが、対象物集合の輪郭およびコーティング領域を示すセマンティックマスクは別の手法により設定されてもよい。例えば、画像解析システムは、対象物集合の輪郭およびコーティング領域の双方についてのセマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに対象画像を入力して、そのセマンティックマスクを設定してもよい。
【0080】
少なくとも一つのプロセッサにより実行される方法の処理手順は上記実施形態での例に限定されない。例えば、上述したステップの一部が省略されてもよいし、別の順序で各ステップが実行されてもよい。また、上述したステップのうちの任意の２以上のステップが組み合わされてもよいし、ステップの一部が修正または削除されてもよい。あるいは、上記の各ステップに加えて他のステップが実行されてもよい。例えば、対象画像に対する前処理および後処理の少なくとも一方が省略されてもよい。仮インスタンスマスクの膨張も省略可能である。
【0081】
本開示における二つの数値の大小関係の比較では、「以上」および「よりも大きい」という二つの基準のどちらが用いられてもよく、「以下」および「未満」の二つの基準のうちのどちらが用いられてもよい。
【0082】
本開示において、「少なくとも一つのプロセッサが、第１の処理を実行し、第２の処理を実行し、…第ｎの処理を実行する。」との表現、またはこれに対応する表現は、第１の処理から第ｎの処理までのｎ個の処理の実行主体（すなわちプロセッサ）が途中で変わる場合を含む概念を示す。すなわち、この表現は、ｎ個の処理のすべてが同じプロセッサで実行される場合と、ｎ個の処理においてプロセッサが任意の方針で変わる場合との双方を含む概念を示す。
【0083】
［付記］
上記の様々な例から把握されるとおり、本開示は以下に示す態様を含む。
（付記１）
少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサが、
基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得し、
インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに前記対象画像を入力して、前記１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定し、
セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに前記対象画像を入力して、前記少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定し、
前記少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて、該対象物の前記輪郭および前記コーティング領域を特定する、
画像解析システム。
（付記２）
前記少なくとも一つのプロセッサが、前記少なくとも一つのインスタンスマスクのそれぞれについて、該インスタンスマスクを、前記セマンティックマスクのうち対応する部分に置換して、該インスタンスマスクに対応する前記対象物の前記輪郭および前記コーティング領域を特定する、
付記１に記載の画像解析システム。
（付記３）
前記１以上の対象物が、隣り合う第１対象物および第２対象物を含み、
前記少なくとも一つのインスタンスマスクが、前記第１対象物に対応する第１インスタンスマスクと、前記第２対象物に対応する第２インスタンスマスクとを含み、
前記少なくとも一つのプロセッサが、
前記第１インスタンスマスクおよび前記第２インスタンスマスクの重複部分を、前記第１インスタンスマスクに対応する第１部分と前記第２インスタンスマスクに対応する第２部分とに分割し、
前記第１インスタンスマスクの非重複部分および前記第１部分を、前記セマンティックマスクのうち前記対応する部分に置換して、前記第１対象物の前記輪郭および前記コーティング領域を特定し、
前記第２インスタンスマスクの非重複部分および前記第２部分を、前記セマンティックマスクのうち前記対応する部分に置換して、前記第２対象物の前記輪郭および前記コーティング領域を特定する、
付記２に記載の画像解析システム。
（付記４）
前記少なくとも一つのプロセッサが、
前記重複部分の各画素について、該画素から前記第１インスタンスマスクの第１重心までの距離と、該画素から前記第２インスタンスマスクの第２重心までの距離とに基づいて、該画素を前記第１インスタンスマスクおよび前記第２インスタンスマスクの一方に割り当て、これにより前記重複部分を前記第１部分と前記第２部分とに分割する、
付記３に記載の画像解析システム。
（付記５）
前記少なくとも一つのプロセッサが、
前記少なくとも一つのインスタンスマスクのそれぞれを膨張させ、
前記膨張させた少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて前記輪郭および前記コーティング領域を特定する、
付記１～４のいずれか一つに記載の画像解析システム。
（付記６）
前記少なくとも一つのプロセッサが、
前記輪郭についてのセマンティックセグメンテーションを実行する第１セマンティックセグメンテーションモデルに前記対象画像を入力して、前記対象物集合の前記輪郭を示す第１セマンティックマスクを設定し、
前記コーティング領域についてのセマンティックセグメンテーションを実行する第２セマンティックセグメンテーションモデルに前記対象画像を入力して、前記コーティング領域を示す第２セマンティックマスクを設定し、
前記第１セマンティックマスクおよび前記第２セマンティックマスクを合成して、前記対象物集合の前記輪郭および前記コーティング領域を示す前記セマンティックマスクを設定する、
付記１～５のいずれか一つに記載の画像解析システム。
（付記７）
前記対象物が粒子状物質である、
付記１～６のいずれか一つに記載の画像解析システム。
（付記８）
前記基材がコア粒子であり、
前記コーティング領域が複数の微粒子の集合である、
付記７に記載の画像解析システム。
（付記９）
少なくとも一つのプロセッサを備える画像解析システムにより実行される画像解析方法であって、
基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得するステップと、
インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに前記対象画像を入力して、前記１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定するステップと、
セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに前記対象画像を入力して、前記少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定するステップと、
前記少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて、該対象物の前記輪郭および前記コーティング領域を特定するステップと、
を含む画像解析方法。
（付記１０）
基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得するステップと、
インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに前記対象画像を入力して、前記１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定するステップと、
セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに前記対象画像を入力して、前記少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定するステップと、
前記少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて、該対象物の前記輪郭および前記コーティング領域を特定するステップと、
をコンピュータに実行させる画像解析プログラム。
上記の様々な例から把握されるとおり、本開示は以下に示す態様を含む。
（付記１）
少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサが、
基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得し、
インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに前記対象画像を入力して、前記１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定し、
セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに前記対象画像を入力して、前記少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定し、
前記少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて、該対象物の前記輪郭および前記コーティング領域を特定する、
画像解析システム。
（付記２）
前記少なくとも一つのプロセッサが、前記少なくとも一つのインスタンスマスクのそれぞれについて、該インスタンスマスクを、前記セマンティックマスクのうち対応する部分に置換して、該インスタンスマスクに対応する前記対象物の前記輪郭および前記コーティング領域を特定する、
付記１に記載の画像解析システム。
（付記３）
前記１以上の対象物が、隣り合う第１対象物および第２対象物を含み、
前記少なくとも一つのインスタンスマスクが、前記第１対象物に対応する第１インスタンスマスクと、前記第２対象物に対応する第２インスタンスマスクとを含み、
前記少なくとも一つのプロセッサが、
前記第１インスタンスマスクおよび前記第２インスタンスマスクの重複部分を、前記第１インスタンスマスクに対応する第１部分と前記第２インスタンスマスクに対応する第２部分とに分割し、
前記第１インスタンスマスクの非重複部分および前記第１部分を、前記セマンティックマスクのうち前記対応する部分に置換して、前記第１対象物の前記輪郭および前記コーティング領域を特定し、
前記第２インスタンスマスクの非重複部分および前記第２部分を、前記セマンティックマスクのうち前記対応する部分に置換して、前記第２対象物の前記輪郭および前記コーティング領域を特定する、
付記２に記載の画像解析システム。
（付記４）
前記少なくとも一つのプロセッサが、
前記重複部分の各画素について、該画素から前記第１インスタンスマスクの第１重心までの距離と、該画素から前記第２インスタンスマスクの第２重心までの距離とに基づいて、該画素を前記第１インスタンスマスクおよび前記第２インスタンスマスクの一方に割り当て、これにより前記重複部分を前記第１部分と前記第２部分とに分割する、
付記３に記載の画像解析システム。
（付記５）
前記少なくとも一つのプロセッサが、
前記少なくとも一つのインスタンスマスクのそれぞれを膨張させ、
前記膨張させた少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて前記輪郭および前記コーティング領域を特定する、
付記１～４のいずれか一つに記載の画像解析システム。
（付記６）
前記少なくとも一つのプロセッサが、
前記輪郭についてのセマンティックセグメンテーションを実行する第１セマンティックセグメンテーションモデルに前記対象画像を入力して、前記対象物集合の前記輪郭を示す第１セマンティックマスクを設定し、
前記コーティング領域についてのセマンティックセグメンテーションを実行する第２セマンティックセグメンテーションモデルに前記対象画像を入力して、前記コーティング領域を示す第２セマンティックマスクを設定し、
前記第１セマンティックマスクおよび前記第２セマンティックマスクを合成して、前記対象物集合の前記輪郭および前記コーティング領域を示す前記セマンティックマスクを設定する、
付記１～５のいずれか一つに記載の画像解析システム。
（付記７）
前記対象物が粒子状物質である、
付記１～６のいずれか一つに記載の画像解析システム。
（付記８）
前記基材がコア粒子であり、
前記コーティング領域が複数の微粒子の集合である、
付記７に記載の画像解析システム。
（付記９）
少なくとも一つのプロセッサを備える画像解析システムにより実行される画像解析方法であって、
基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得するステップと、
インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに前記対象画像を入力して、前記１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定するステップと、
セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに前記対象画像を入力して、前記少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定するステップと、
前記少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて、該対象物の前記輪郭および前記コーティング領域を特定するステップと、
を含む画像解析方法。
（付記１０）
基材と該基材上のコーティング領域とを有する１以上の対象物を示す対象画像を取得するステップと、
インスタンスセグメンテーションを実行するインスタンスセグメンテーションモデルに前記対象画像を入力して、前記１以上の対象物のうち少なくとも一つの対象物に対応する少なくとも一つのインスタンスマスクを設定するステップと、
セマンティックセグメンテーションを実行するセマンティックセグメンテーションモデルに前記対象画像を入力して、前記少なくとも一つの対象物から成る対象物集合の輪郭およびコーティング領域を示すセマンティックマスクを設定するステップと、
前記少なくとも一つのインスタンスマスクと前記セマンティックマスクとに基づいて、前記少なくとも一つの対象物のそれぞれについて、該対象物の前記輪郭および前記コーティング領域を特定するステップと、
をコンピュータに実行させる画像解析プログラム。
【0084】
付記１，９，１０によれば、インスタンスセグメンテーションとセマンティックセグメンテーションという２種類の画像セグメンテーションが実行されて、各対象物について２種類のマスクが設定される。そして、その２種類のマスクに基づいて、各対象物について輪郭およびコーティング領域が特定される。このように一つの対象画像に対して２種類の画像セグメンテーションを適用することで、上述したインスタンスセグメンテーションおよびセマンティックセグメンテーションの双方の長所を生かして、画像中の対象物を正確に特定できる。対象物が正確に特定されることで、その対象物に関する評価もより正確に行うことが可能になる。
【0085】
付記２によれば、個々の対象物を互いに区別するインスタンスマスクが基準として用いられた上で、形状の精度が高いセマンティックマスクによってそのインスタンスマスクが置換される。このように２種類のマスクを用いることで、対象物の輪郭およびコーティング領域を正確に特定できる。
【0086】
付記３によれば、隣り合うインスタンスマスクが重なり合った場合にそれぞれのインスタンスマスクが明確に分けられるので、隣り合う２個の対象物のそれぞれを的確に特定できる。
【0087】
付記４によれば、各インスタンスの重心からの距離を考慮することで、重複部分の各画素を、最も確からしいと推定されるインスタンスマスクに割り当てることができる。したがって、隣り合うインスタンスマスクが重なる場合にも画像中の各対象物を正確に特定できる。
【0088】
付記５によれば、形状の精度がセマンティックマスクよりも低いインスタンスマスクを膨張させることで、対象物の全体がインスタンスマスクによってより確実に覆われる。その膨張させたインスタンスマスクがセマンティックマスクによって置換されるので、対象物の輪郭およびコーティング領域を正確に特定できる。
【0089】
付記６によれば、対象物の輪郭およびコーティング領域のそれぞれについて個別にセマンティックセグメンテーションが実行されるので、その輪郭およびコーティング領域を示すセマンティックマスクの形状をより正確に設定できる。その結果、画像中の対象物をより正確に特定できる。
【0090】
付記７によれば、画像中の粒子状物質を正確に特定できる。その結果、粒子状物質に関する評価もより正確に行うことが可能になる。
【0091】
付記８によれば、インスタンスセグメンテーションおよびセマンティックセグメンテーションを用いて複数の微粒子の集合を正確に特定できる。その結果、微粒子をコーティング領域の構成要素として含む粒子状物質をより正確に評価できる。
【符号の説明】
【0092】
１０…評価システム、１１…前処理部、１２…インスタンスセグメンテーション部、１３…第１セマンティックセグメンテーション部、１４…第２セマンティックセグメンテーション部、１５…特定部、１６…後処理部、１７…算出部、２０…学習済みモデル、２１…インスタンスセグメンテーションモデル、２２…第１セマンティックセグメンテーションモデル、２３…第２セマンティックセグメンテーションモデル、３０…学習装置、４１…教師画像データベース、４２…原画像データベース、５１…原画像、５２…対象画像、２１１，２１２…インスタンスマスク（仮インスタンスマスク）、２２１…第１セマンティックマスク、２２２…第２セマンティックマスク、３１０，３２０…対象物、３１１，３２１…仮重心、３３０…粒子状物質、３３１…基材、３３２…微粒子、３３３…仮重心。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】