ホーム > 特許ランキング > 株式会社豊田中央研究所
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024079038
(43)【公開日】2024-06-11
(54)【発明の名称】情報処理システム、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240604BHJP
G06F 3/0481 20220101ALI20240604BHJP
【ＦＩ】
G06T7/00 250
G06F3/0481
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022191734
(22)【出願日】2022-11-30
(71)【出願人】
【識別番号】000003609
【氏名又は名称】株式会社豊田中央研究所
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人ＩＰＸ
(72)【発明者】
【氏名】奥村 文洋
(72)【発明者】
【氏名】後藤 邦博
(72)【発明者】
【氏名】清水 司
(72)【発明者】
【氏名】藤井 亮暢
(72)【発明者】
【氏名】丹羽 貴寛
(72)【発明者】
【氏名】加藤 光樹
【テーマコード（参考）】
5E555
5L096
【Ｆターム（参考）】
5E555AA26
5E555AA30
5E555AA76
5E555BA02
5E555BA21
5E555BB02
5E555BB21
5E555BC17
5E555CA02
5E555CA18
5E555CB02
5E555CB45
5E555DB06
5E555DB53
5E555DC09
5E555DC18
5E555DC31
5E555DC35
5E555DD06
5E555EA07
5E555EA08
5E555EA19
5E555EA22
5E555FA00
5L096AA02
5L096CA24
5L096DA01
5L096FA06
5L096FA41
5L096FA69
5L096GA40
5L096JA03
5L096JA11
5L096KA04
5L096KA15
(57)【要約】 （修正有）
【課題】撮像結果に基づき解析すべき事象についてのより適切な解析を行うために、特徴量の分布に含まれる非本質的要因を排除し、本質的な要因に関する解析ができる方法を提供する。
【解決手段】方法は、対象の撮像結果である少なくとも１つの対象画像が分割された複数のパッチ画像を取得し、パッチ画像同士の類似度を比較するための特徴量空間を規定する少なくとも１つの特徴量を抽出する処理を行う。第１の視覚情報と、第２の視覚情報とを一覧性を有する態様で表示させる処理を行う。第１の視覚情報は、特徴量空間におけるパッチ画像の分布を視認可能に構成される。第２の視覚情報は、特定パッチ画像に含まれる対象に関する対象情報を視認可能に構成される。第１の視覚情報と第２の視覚情報とは、第１の視覚情報に表示される分布中での特定パッチ画像と、第２の視覚情報に表示される対象情報に関する特定パッチ画像との対応関係が把握可能に構成される。
【選択図】図５
【解決手段】方法は、対象の撮像結果である少なくとも１つの対象画像が分割された複数のパッチ画像を取得し、パッチ画像同士の類似度を比較するための特徴量空間を規定する少なくとも１つの特徴量を抽出する処理を行う。第１の視覚情報と、第２の視覚情報とを一覧性を有する態様で表示させる処理を行う。第１の視覚情報は、特徴量空間におけるパッチ画像の分布を視認可能に構成される。第２の視覚情報は、特定パッチ画像に含まれる対象に関する対象情報を視認可能に構成される。第１の視覚情報と第２の視覚情報とは、第１の視覚情報に表示される分布中での特定パッチ画像と、第２の視覚情報に表示される対象情報に関する特定パッチ画像との対応関係が把握可能に構成される。
【選択図】図５
【特許請求の範囲】
【請求項1】
情報処理システムであって、
次の各ステップがなされるようにプログラムを実行可能な少なくとも１つのプロセッサを備え、
画像取得ステップでは、対象の撮像結果である少なくとも１つの対象画像が分割された複数のパッチ画像を取得する処理を行い、
特徴量抽出ステップでは、取得された前記パッチ画像に基づき、前記パッチ画像同士の類似度を比較するための特徴量空間を規定する少なくとも１つの特徴量を抽出する処理を行い、
表示処理ステップでは、第１の視覚情報と、第２の視覚情報とを一覧性を有する態様で表示させる処理を行い、ここで、
前記第１の視覚情報は、前記特徴量空間における前記パッチ画像の分布を視認可能に構成され、
前記第２の視覚情報は、前記パッチ画像のうちの少なくとも１つの特定パッチ画像に含まれる前記対象に関する対象情報を視認可能に構成され、前記対象情報は、前記特徴量に依存せずに特定可能であり、
前記第１の視覚情報と前記第２の視覚情報とは、前記第１の視覚情報に表示される前記分布中での前記特定パッチ画像と、前記第２の視覚情報に表示される前記対象情報に関する前記特定パッチ画像との対応関係が把握可能に構成される、もの。
次の各ステップがなされるようにプログラムを実行可能な少なくとも１つのプロセッサを備え、
画像取得ステップでは、対象の撮像結果である少なくとも１つの対象画像が分割された複数のパッチ画像を取得する処理を行い、
特徴量抽出ステップでは、取得された前記パッチ画像に基づき、前記パッチ画像同士の類似度を比較するための特徴量空間を規定する少なくとも１つの特徴量を抽出する処理を行い、
表示処理ステップでは、第１の視覚情報と、第２の視覚情報とを一覧性を有する態様で表示させる処理を行い、ここで、
前記第１の視覚情報は、前記特徴量空間における前記パッチ画像の分布を視認可能に構成され、
前記第２の視覚情報は、前記パッチ画像のうちの少なくとも１つの特定パッチ画像に含まれる前記対象に関する対象情報を視認可能に構成され、前記対象情報は、前記特徴量に依存せずに特定可能であり、
前記第１の視覚情報と前記第２の視覚情報とは、前記第１の視覚情報に表示される前記分布中での前記特定パッチ画像と、前記第２の視覚情報に表示される前記対象情報に関する前記特定パッチ画像との対応関係が把握可能に構成される、もの。
【請求項2】
請求項１に記載の情報処理システムにおいて、
指定受付ステップでは、前記第１の視覚情報に含まれる前記分布中の少なくとも１つの前記パッチ画像の指定を受け付ける処理を行い、
前記表示処理ステップでは、指定された前記パッチ画像を前記特定パッチ画像として、前記第１の視覚情報と前記第２の視覚情報とを表示する処理を行う、もの。
指定受付ステップでは、前記第１の視覚情報に含まれる前記分布中の少なくとも１つの前記パッチ画像の指定を受け付ける処理を行い、
前記表示処理ステップでは、指定された前記パッチ画像を前記特定パッチ画像として、前記第１の視覚情報と前記第２の視覚情報とを表示する処理を行う、もの。
【請求項3】
請求項２に記載の情報処理システムにおいて、
前記表示処理ステップでは、指定された前記パッチ画像が複数存在する場合、指定された複数の前記パッチ画像のそれぞれを前記特定パッチ画像とする複数の前記第２の視覚情報を表示する処理を行う、もの。
前記表示処理ステップでは、指定された前記パッチ画像が複数存在する場合、指定された複数の前記パッチ画像のそれぞれを前記特定パッチ画像とする複数の前記第２の視覚情報を表示する処理を行う、もの。
【請求項4】
請求項３に記載の情報処理システムにおいて、
前記表示処理ステップでは、複数の前記第２の視覚情報を互いに一覧性を有する態様で表示する処理を行う、もの。
前記表示処理ステップでは、複数の前記第２の視覚情報を互いに一覧性を有する態様で表示する処理を行う、もの。
【請求項5】
請求項１に記載の情報処理システムにおいて、
前記第２の視覚情報は、第１の表示領域と、第２の表示領域と、を含み、
前記第１の表示領域には、前記特定パッチ画像を分割する前の前記対象画像が、当該対象画像内における前記特定パッチ画像の位置を視認可能な態様で表示され、
前記第２の表示領域には、前記対象情報が前記パッチ画像に対して重畳的に表示される、もの。
前記第２の視覚情報は、第１の表示領域と、第２の表示領域と、を含み、
前記第１の表示領域には、前記特定パッチ画像を分割する前の前記対象画像が、当該対象画像内における前記特定パッチ画像の位置を視認可能な態様で表示され、
前記第２の表示領域には、前記対象情報が前記パッチ画像に対して重畳的に表示される、もの。
【請求項6】
請求項５の何れか１つに記載の情報処理システムにおいて、
前記第１の表示領域は、複数の前記対象画像のそれぞれに対応する複数の対象画像表示領域を含み、
ここで、前記対象画像表示領域のそれぞれには、前記対象画像表示領域に対応する前記対象画像を含む前記特定パッチ画像の位置が視認可能な態様で表示される、もの。
前記第１の表示領域は、複数の前記対象画像のそれぞれに対応する複数の対象画像表示領域を含み、
ここで、前記対象画像表示領域のそれぞれには、前記対象画像表示領域に対応する前記対象画像を含む前記特定パッチ画像の位置が視認可能な態様で表示される、もの。
【請求項7】
請求項１に記載の情報処理システムにおいて、
前記表示処理ステップでは、さらに第３の視覚情報を、少なくとも前記第２の視覚情報と一覧性を有する態様で表示する処理を行い、
ここで、前記第３の視覚情報は、前記第２の視覚情報に表示される前記特定パッチ画像に関する統計量を視認可能に構成される、もの。
前記表示処理ステップでは、さらに第３の視覚情報を、少なくとも前記第２の視覚情報と一覧性を有する態様で表示する処理を行い、
ここで、前記第３の視覚情報は、前記第２の視覚情報に表示される前記特定パッチ画像に関する統計量を視認可能に構成される、もの。
【請求項8】
請求項１に記載の情報処理システムにおいて、
指定受付ステップでは、ユーザからの前記特徴量の抽出方法の指定を受け付ける処理を行い、
前記表示処理ステップでは、指定された前記抽出方法に対応する前記特徴量空間における前記パッチ画像の分布を含む前記第１の視覚情報を、前記第２の視覚情報と一覧性を有する態様で表示する処理を行う、もの。
指定受付ステップでは、ユーザからの前記特徴量の抽出方法の指定を受け付ける処理を行い、
前記表示処理ステップでは、指定された前記抽出方法に対応する前記特徴量空間における前記パッチ画像の分布を含む前記第１の視覚情報を、前記第２の視覚情報と一覧性を有する態様で表示する処理を行う、もの。
【請求項9】
請求項１に記載の情報処理システムにおいて、
前記対象画像は、撮像部によって撮像された物質の外観の撮像結果を示し、
前記対象情報は、観測部によって観測された前記物質の物性の分布に関する情報を含み、
前記対象情報に含まれる前記物性の分布の空間分解能は、前記対象画像の空間分解能より低い、もの。
前記対象画像は、撮像部によって撮像された物質の外観の撮像結果を示し、
前記対象情報は、観測部によって観測された前記物質の物性の分布に関する情報を含み、
前記対象情報に含まれる前記物性の分布の空間分解能は、前記対象画像の空間分解能より低い、もの。
【請求項10】
情報処理方法であって、
請求項１～請求項９の何れか１つに記載の情報処理システムの各ステップを含む、方法。
請求項１～請求項９の何れか１つに記載の情報処理システムの各ステップを含む、方法。
【請求項11】
情報処理プログラムであって、
少なくとも１つのコンピュータに、請求項１～請求項９の何れか１つに記載の情報処理システムの各ステップを実行させる、もの。
少なくとも１つのコンピュータに、請求項１～請求項９の何れか１つに記載の情報処理システムの各ステップを実行させる、もの。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
特許文献１には、分類した画像の類似度をよりわかり易く表示することが可能な画像分類システムが記載されている。
【0003】
特許文献１に記載の画像分類システムは、指定された条件に基づいて画像を分類するための複数の画像データを抽出する画像群抽出部と、抽出された複数の画像データの特徴量に基づき、複数の画像データを複数のクラスタに分類するクラスタリング部と、画像データの特徴量に基づいて複数の画像データのそれぞれに対応するサムネイルの３次元空間上の座標を決定する座標決定部と、座標決定部で決定された座標に基づき、サムネイルを表示装置に表示させる表示部と、を有する。表示部は、３次元空間において上記表示面に直交する方向における距離に応じたサイズでサムネイルを表示させる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２１－０１８８００号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、このような特徴量の分布は、必ずしも撮像結果に基づき解析すべき事象に関する本質的な要因を反映しているとは限らず、非本質的な相関を示すことがある。そのため、当該事象についてのより適切な解析を行うためには、特徴量の分布に含まれ得る非本質的要因を排除し、本質的な要因に関する解析が促されることが望ましい。
【課題を解決するための手段】
【0006】
本発明の一態様によれば、情報処理システムが提供される。この情報処理システムでは、次の各ステップがなされるようにプログラムを実行可能な少なくとも１つのプロセッサを備える。画像取得ステップでは、対象の撮像結果である少なくとも１つの対象画像が分割された複数のパッチ画像を取得する処理を行う。特徴量抽出ステップでは、取得されたパッチ画像に基づき、パッチ画像同士の類似度を比較するための特徴量空間を規定する少なくとも１つの特徴量を抽出する処理を行う。表示処理ステップでは、第１の視覚情報と、第２の視覚情報とを一覧性を有する態様で表示させる処理を行う。第１の視覚情報は、特徴量空間におけるパッチ画像の分布を視認可能に構成される。第２の視覚情報は、パッチ画像のうちの少なくとも１つの特定パッチ画像に含まれる対象に関する対象情報を視認可能に構成され、対象情報は、特徴量に依存せずに特定可能である。第１の視覚情報と第２の視覚情報とは、第１の視覚情報に表示される分布中での特定パッチ画像と、第２の視覚情報に表示される対象情報に関する特定パッチ画像との対応関係が把握可能に構成される。
【0007】
このような構成によれば、対象に関するより本質的な要因の解析を促すことができる。
【図面の簡単な説明】
【0008】
【図1】情報処理システム１を表す構成図である。
【図2】情報処理装置２のハードウェア構成を示すブロック図である。
【図3】ユーザ端末３のハードウェア構成を示すブロック図である。
【図4】プロセッサ２３が備える機能部の一例を示す図である。
【図5】情報処理システム１において実行される情報処理の流れの一例を示すアクティビティ図である。
【図6】第１の画像ＩＭ１の一例である。
【図7】第２の画像ＩＭ２の一例である。
【図8】第２の画像ＩＭ２の別例を示す図である。
【図9】特徴量の抽出方法を受付可能に構成される第２の画像ＩＭ２の変形例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
【0010】
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。
【0011】
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０または１で構成される２進数のビット集合体としての信号値の高低、または量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。
【0012】
また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、およびメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、およびフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
【0013】
１．ハードウェア構成
本節では、ハードウェア構成について説明する。
本節では、ハードウェア構成について説明する。
【0014】
<情報処理システム１>
図１は、情報処理システム１を表す構成図である。情報処理システム１は、情報処理装置２と、ユーザ端末３と、データベースＤＢ１と、少なくとも１つの測定装置ＨＷ１と、を備える。情報処理装置２と、ユーザ端末３と、データベースＤＢ１と、測定装置ＨＷ１とは、電気通信回線を通じて通信可能に構成されている。一実施形態において、情報処理システム１とは、１つまたはそれ以上の装置または構成要素からなるものである。仮に例えば、情報処理装置２のみからなる場合であれば、情報処理システム１は、情報処理装置２となりうる。以下、これらの構成要素について説明する。
図１は、情報処理システム１を表す構成図である。情報処理システム１は、情報処理装置２と、ユーザ端末３と、データベースＤＢ１と、少なくとも１つの測定装置ＨＷ１と、を備える。情報処理装置２と、ユーザ端末３と、データベースＤＢ１と、測定装置ＨＷ１とは、電気通信回線を通じて通信可能に構成されている。一実施形態において、情報処理システム１とは、１つまたはそれ以上の装置または構成要素からなるものである。仮に例えば、情報処理装置２のみからなる場合であれば、情報処理システム１は、情報処理装置２となりうる。以下、これらの構成要素について説明する。
【0015】
<データベースＤＢ１>
データベースＤＢ１は、種々の情報を記憶する。データベースＤＢ１は、例えば、ＭＮＩＳＴ、Ｆａｓｈｉｏｎ－ＭＮＩＳＴ、ＩｍａｇｅＮｅｔなどのオープンデータを含むものであっても、一部ユーザに限定的に提供されるものであってもよい。データベースＤＢ１は、後述する対象情報ＩＦ１の少なくとも一部を記憶していてもよい。
データベースＤＢ１は、種々の情報を記憶する。データベースＤＢ１は、例えば、ＭＮＩＳＴ、Ｆａｓｈｉｏｎ－ＭＮＩＳＴ、ＩｍａｇｅＮｅｔなどのオープンデータを含むものであっても、一部ユーザに限定的に提供されるものであってもよい。データベースＤＢ１は、後述する対象情報ＩＦ１の少なくとも一部を記憶していてもよい。
【0016】
<測定装置ＨＷ１>
測定装置ＨＷ１は、対象に対する種々の測定を実行可能に構成されている。測定装置ＨＷ１は、例えば、撮像部ＨＷ１１と、観測部ＨＷ１２と、を備える。本実施形態の測定装置ＨＷ１は、走査型電子顕微鏡（ＳＥＭ）を含む。
測定装置ＨＷ１は、対象に対する種々の測定を実行可能に構成されている。測定装置ＨＷ１は、例えば、撮像部ＨＷ１１と、観測部ＨＷ１２と、を備える。本実施形態の測定装置ＨＷ１は、走査型電子顕微鏡（ＳＥＭ）を含む。
【0017】
<撮像部ＨＷ１１>
撮像部ＨＷ１１は、物質の外観を少なくとも測定可能に構成されている。撮像部ＨＷ１１は、任意のイメージングデバイスによって実装可能である。撮像部ＨＷ１１は、例えばＣＭＯＳカメラ、ＣＣＤカメラなどの光学カメラであっても、対象による散乱電子を観測可能な電子顕微鏡であっても、超音波イメージングシステムであっても、走査型トンネル顕微鏡（ＳＴＭ）、原子間力顕微鏡（ＡＦＭ）、ピエゾ応答力顕微鏡（ＰＦＭ）、磁気力顕微鏡（ＭＦＭ）などの種々の走査型顕微鏡であってもよい。また、光学カメラによる撮像は、可視光に限らず、赤外光、紫外光、Ｘ線、γ線、高輝度放射線など、任意の波長の光によって実行可能である。本実施形態の撮像部ＨＷ１１は、物質からの反射電子を観測可能な検出器によって構成されている。撮像部ＨＷ１１は、対象を撮像することにより、物質の外観の撮像結果を出力する。測定装置ＨＷ１は、当該撮像結果に基づき、当該撮像結果を含む対象画像ＩＭＰ１を生成する。
撮像部ＨＷ１１は、物質の外観を少なくとも測定可能に構成されている。撮像部ＨＷ１１は、任意のイメージングデバイスによって実装可能である。撮像部ＨＷ１１は、例えばＣＭＯＳカメラ、ＣＣＤカメラなどの光学カメラであっても、対象による散乱電子を観測可能な電子顕微鏡であっても、超音波イメージングシステムであっても、走査型トンネル顕微鏡（ＳＴＭ）、原子間力顕微鏡（ＡＦＭ）、ピエゾ応答力顕微鏡（ＰＦＭ）、磁気力顕微鏡（ＭＦＭ）などの種々の走査型顕微鏡であってもよい。また、光学カメラによる撮像は、可視光に限らず、赤外光、紫外光、Ｘ線、γ線、高輝度放射線など、任意の波長の光によって実行可能である。本実施形態の撮像部ＨＷ１１は、物質からの反射電子を観測可能な検出器によって構成されている。撮像部ＨＷ１１は、対象を撮像することにより、物質の外観の撮像結果を出力する。測定装置ＨＷ１は、当該撮像結果に基づき、当該撮像結果を含む対象画像ＩＭＰ１を生成する。
【0018】
観測部ＨＷ１２は、少なくとも物質の物性の分布を観測可能に構成されている。観測部ＨＷ１２は、当該観測結果として、物質の物性の分布に関する情報を生成する。当該情報は、後述される対象情報ＩＦ１に含まれる。観測部ＨＷ１２は、例えば、物質を構成する元素の組成比、ドメイン分布、粒度など、種々の物性の分布を観測可能に構成されている。特に、観測部ＨＷ１２によって観測される物質の物性の分布は、撮像部ＨＷ１１によって撮像された物質の外観と対応づけ可能に構成されている。本実施形態の観測部ＨＷ１２は、対象から放射されるＸ線を検出可能に構成され、エネルギー分散型Ｘ線分光法を用いて元素分布解析を実行可能に構成されている。
【0019】
なお、撮像部ＨＷ１１と観測部ＨＷ１２とは１つの測定装置ＨＷ１として実装されても、複数の異なる測定装置ＨＷ１として実装されてもよい。また、撮像部ＨＷ１１と観測部ＨＷ１２とは、共通の測定手法によって得られる測定結果に対して異なる情報処理を行うことによって得られてもよい。
【0020】
本実施形態では、対象画像ＩＭＰ１の空間分解能が対象情報ＩＦ１に含まれる物性の分布の空間分解能は、対象画像ＩＭＰ１の空間分解能より低い。言い換えれば、観測部ＨＷ１２の空間分解能は、撮像部ＨＷ１１の空間分解能より低い。これにより、当該物性の分布を観測するために要する時間を短縮しつつ、客観的な対象画像ＩＭＰ１の解析を行いやすくなる。なお、これらの空間分解能は任意である。
【0021】
<情報処理装置２>
図２は、情報処理装置２のハードウェア構成を示すブロック図である。情報処理装置２は、通信部２１と、記憶部２２と、プロセッサ２３とを備え、これらの構成要素が情報処理装置２の内部において通信バス２０を介して電気的に接続されている。各構成要素についてさらに説明する。
図２は、情報処理装置２のハードウェア構成を示すブロック図である。情報処理装置２は、通信部２１と、記憶部２２と、プロセッサ２３とを備え、これらの構成要素が情報処理装置２の内部において通信バス２０を介して電気的に接続されている。各構成要素についてさらに説明する。
【0022】
通信部２１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、ＢＬＵＥＴＯＯＴＨ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。すなわち、情報処理装置２は、通信部２１およびネットワークを介して、外部から種々の情報を通信してもよい。
【0023】
記憶部２２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、プロセッサ２３によって実行される情報処理装置２に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。記憶部２２は、プロセッサ２３によって実行される情報処理装置２に係る種々のプログラムや変数等を記憶している。
【0024】
プロセッサ２３は、情報処理装置２に関連する全体動作の処理・制御を行う。プロセッサ２３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。プロセッサ２３は、記憶部２２に記憶された所定のプログラムを読み出すことによって、情報処理装置２に係る種々の機能を実現する。すなわち、記憶部２２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例であるプロセッサ２３によって具体的に実現されることで、プロセッサ２３に含まれる各機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、プロセッサ２３は単一であることに限定されず、機能ごとに複数のプロセッサ２３を有するように実施してもよい。またそれらの組合せであってもよい。
【0025】
<ユーザ端末３>
図３は、ユーザ端末３のハードウェア構成を示すブロック図である。ユーザ端末３は、通信部３１と、記憶部３２と、プロセッサ３３と、表示部３４と、ＨＭＩデバイス３５とを備え、これらの構成要素がユーザ端末３の内部において通信バス３０を介して電気的に接続されている。通信部３１、記憶部３２およびプロセッサ３３の説明は、情報処理装置２における各部の説明と同様のため省略する。
図３は、ユーザ端末３のハードウェア構成を示すブロック図である。ユーザ端末３は、通信部３１と、記憶部３２と、プロセッサ３３と、表示部３４と、ＨＭＩデバイス３５とを備え、これらの構成要素がユーザ端末３の内部において通信バス３０を介して電気的に接続されている。通信部３１、記憶部３２およびプロセッサ３３の説明は、情報処理装置２における各部の説明と同様のため省略する。
【0026】
表示部３４は、ユーザ端末３筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部３４は、ユーザが操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。これは例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイおよびプラズマディスプレイ等の表示デバイスを、ユーザ端末３の種類に応じて使い分けて実施することが好ましい。
【0027】
ＨＭＩデバイス３５は、ヒューマン・マシン・インターフェースデバイスである。ＨＭＩデバイス３５は、ユーザ端末３の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、ＨＭＩデバイス３５は、表示部３４と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード、音声認識装置、ジェスチャ検出装置、視線検出装置、生体信号検出装置、撮像装置などを採用してもよい。すなわち、ＨＭＩデバイス３５がユーザによってなされた操作入力を受け付ける。ＨＭＩデバイス３５は、応答として、通信バス３０を介し操作入力に対応する信号をプロセッサ３３に転送する。プロセッサ３３が必要に応じて所定の制御や演算を実行しうる。ＨＭＩデバイス３５は、ユーザからの入力を受付可能に構成されている入力部を含むともいえる。
【0028】
２．情報処理装置２の機能構成
図４は、プロセッサ２３が備える機能部の一例を示す図である。図４に示すように、プロセッサ２３は、取得部２３１と、特徴量抽出部２３２と、指定受付部２３３と、表示処理部２３４とを備える。本節では、これらの機能部の概要を説明する。各機能部の詳細は、後述の情報処理と合わせて説明される。
図４は、プロセッサ２３が備える機能部の一例を示す図である。図４に示すように、プロセッサ２３は、取得部２３１と、特徴量抽出部２３２と、指定受付部２３３と、表示処理部２３４とを備える。本節では、これらの機能部の概要を説明する。各機能部の詳細は、後述の情報処理と合わせて説明される。
【0029】
取得部２３１は、ユーザ端末３または他のデバイスからの情報を取得可能に構成される。取得部２３１は、例えば、ユーザ端末３、データベースＤＢ１等の情報源から対象画像ＩＭＰ１及び対象情報ＩＦ１等を取得する。また、取得部２３１は、記憶部２２の少なくとも一部であるストレージ領域に記憶されている種々の情報を読み出し、読み出された情報を記憶部２２の少なくとも一部である作業領域に書き込むことで、種々の情報を取得可能に構成されている。ストレージ領域とは、例えば、記憶部２２のうち、ＳＳＤ等のストレージデバイスとして実施される領域である。作業領域とは、例えば、ＲＡＭ等のメモリとして実施される領域である。なお、取得部２３１による取得は、プロセッサ２３に含まれる各機能部の出力結果を取得することを含む。
【0030】
特徴量抽出部２３２は、取得部２３１による取得結果に基づき、種々の情報の特徴量を抽出可能に構成されている。特徴量抽出部２３２は、取得部２３１によって取得された情報に基づき特徴量を直接的に抽出してもよい。また、特徴量抽出部２３２は、取得部２３１によって取得された情報を所定の学習器に入力し、当該学習器から出力される特徴量を取得することで、特徴量を間接的に抽出してもよい。特徴量は、取得された情報の間の類似度を比較可能に構成されている。なお、特徴量の抽出方法、言い換えれば、特徴量の決定方法は、任意である。
【0031】
指定受付部２３３は、ユーザからの種々の指定を受付可能に構成される。当該指定は、例えば、ユーザ端末３を通じて入力されるものでも、情報処理装置２に対して直接入力されるものでもよい。
【0032】
表示処理部２３４は、種々の情報を表示可能に構成される。当該情報は、ユーザ端末３の表示部３４または他のデバイスを介して、ユーザに提示可能である。かかる場合、例えば、表示処理部２３４は、画面、静止画又は動画を含む画像、アイコン、メッセージ等の視覚情報を、ユーザ端末３の表示部３４に表示させるように制御する。表示処理部２３４は、視覚情報をユーザ端末３に表示させるためのレンダリング情報だけを生成してもよい。なお、表示処理部２３４は、ユーザ端末３または他のデバイスユーザを介さずに、出力された情報をユーザに対して提示してもよい。
【0033】
３．情報処理について
本節では、前述した情報処理システム１において実行される情報処理について説明する。
本節では、前述した情報処理システム１において実行される情報処理について説明する。
【0034】
３．１．情報処理の流れについて
図５は、情報処理システム１において実行される情報処理の流れの一例を示すアクティビティ図である。なお、当該情報処理は、図示されない任意の例外処理を含みうる。例外処理は、当該情報処理の中断や、各処理の省略を含む。当該情報処理にて行われる選択または入力は、ユーザによる操作に基づくものでも、ユーザの操作に依らず自動で行われるものでもよい。
図５は、情報処理システム１において実行される情報処理の流れの一例を示すアクティビティ図である。なお、当該情報処理は、図示されない任意の例外処理を含みうる。例外処理は、当該情報処理の中断や、各処理の省略を含む。当該情報処理にて行われる選択または入力は、ユーザによる操作に基づくものでも、ユーザの操作に依らず自動で行われるものでもよい。
【0035】
［アクティビティＡ１］
アクティビティＡ１にて、プロセッサ３３は、少なくとも１つの対象画像ＩＭＰ１の入力を受け付け、当該入力結果をプロセッサ２３に送信する。対象画像ＩＭＰ１は、対象の撮像結果である。本実施形態では、対象画像ＩＭＰ１は、物質の外観の撮像結果を示す。物質は、無機材料であっても有機材料であってもよい。また、物質は、多結晶体であっても単結晶体であってもよい。本実施形態の対象画像ＩＭＰ１は、電子顕微鏡を用いて対象が撮像されたＳＥＭ画像である。なお、これに限られず、対象画像ＩＭＰ１は、任意の観測手段、例えば音波、可視光、Ｘ線、放射光、中性子線などによる対象物の外観の撮像結果であってもよい。本実施形態の対象画像ＩＭＰ１は平面画像、すなわち２次元画像であるが、３次元立体画像であっても、４次元以上のマルチチャンネル画像であってもよい。
アクティビティＡ１にて、プロセッサ３３は、少なくとも１つの対象画像ＩＭＰ１の入力を受け付け、当該入力結果をプロセッサ２３に送信する。対象画像ＩＭＰ１は、対象の撮像結果である。本実施形態では、対象画像ＩＭＰ１は、物質の外観の撮像結果を示す。物質は、無機材料であっても有機材料であってもよい。また、物質は、多結晶体であっても単結晶体であってもよい。本実施形態の対象画像ＩＭＰ１は、電子顕微鏡を用いて対象が撮像されたＳＥＭ画像である。なお、これに限られず、対象画像ＩＭＰ１は、任意の観測手段、例えば音波、可視光、Ｘ線、放射光、中性子線などによる対象物の外観の撮像結果であってもよい。本実施形態の対象画像ＩＭＰ１は平面画像、すなわち２次元画像であるが、３次元立体画像であっても、４次元以上のマルチチャンネル画像であってもよい。
【0036】
［アクティビティＡ２］
次に、処理がアクティビティＡ２に進み、プロセッサ２３は、アクティビティＡ１にて送信された対象画像ＩＭＰ１と、対象情報ＩＦ１とを取得する。プロセッサ２３は、例えば、ユーザ端末３又はデータベースＤＢ１から、対象情報ＩＦ１を取得する。対象情報ＩＦ１は、対象に関する任意の情報を含み得る。対象情報ＩＦ１は、対象の性質を示す情報を含む。本実施形態の対象情報ＩＦ１は、対象の外観との相関が比較的小さい、又は無相関となり得る任意の情報を含み得る。具体的には、対象情報ＩＦ１は、特徴量に依存せずに特定可能である。本実施形態の対象情報ＩＦ１は、物質の物性に関する情報を含む。詳細には、対象情報ＩＦ１は、撮像部によって観測された物質の物性の分布に関する情報を含む。以下、説明の便宜上、物質の物性に関する情報を、物性情報という。物性情報は、例えば、ヤング率、歪、応力、弾性定数、熱膨張率、抵抗値、誘電率、分極、ピエゾ定数、磁化、帯磁率、透磁率、反射率、透過率、対象の組成比、ドメイン分布など、任意の情報を含み得る。本実施形態の物性情報は、例えば、対象画像ＩＭＰ１内での位置情報（例えばピクセル座標）と対応付け可能に構成されている。言い換えれば、物性情報は、対象画像ＩＭＰ１に含まれる物性の分布に関する情報である。なお、対象画像ＩＭＰ１が物性情報等の情報を含むマルチチャンネル画像である場合、取得部２３１は、取得された対象画像ＩＭＰ１から対象情報ＩＦ１を取得してもよい。すなわち、対象情報ＩＦ１の取得経路は任意である。
次に、処理がアクティビティＡ２に進み、プロセッサ２３は、アクティビティＡ１にて送信された対象画像ＩＭＰ１と、対象情報ＩＦ１とを取得する。プロセッサ２３は、例えば、ユーザ端末３又はデータベースＤＢ１から、対象情報ＩＦ１を取得する。対象情報ＩＦ１は、対象に関する任意の情報を含み得る。対象情報ＩＦ１は、対象の性質を示す情報を含む。本実施形態の対象情報ＩＦ１は、対象の外観との相関が比較的小さい、又は無相関となり得る任意の情報を含み得る。具体的には、対象情報ＩＦ１は、特徴量に依存せずに特定可能である。本実施形態の対象情報ＩＦ１は、物質の物性に関する情報を含む。詳細には、対象情報ＩＦ１は、撮像部によって観測された物質の物性の分布に関する情報を含む。以下、説明の便宜上、物質の物性に関する情報を、物性情報という。物性情報は、例えば、ヤング率、歪、応力、弾性定数、熱膨張率、抵抗値、誘電率、分極、ピエゾ定数、磁化、帯磁率、透磁率、反射率、透過率、対象の組成比、ドメイン分布など、任意の情報を含み得る。本実施形態の物性情報は、例えば、対象画像ＩＭＰ１内での位置情報（例えばピクセル座標）と対応付け可能に構成されている。言い換えれば、物性情報は、対象画像ＩＭＰ１に含まれる物性の分布に関する情報である。なお、対象画像ＩＭＰ１が物性情報等の情報を含むマルチチャンネル画像である場合、取得部２３１は、取得された対象画像ＩＭＰ１から対象情報ＩＦ１を取得してもよい。すなわち、対象情報ＩＦ１の取得経路は任意である。
【0037】
［アクティビティＡ３］
次に、処理がアクティビティＡ３に進み、プロセッサ２３は、アクティビティＡ２にて取得された対象画像ＩＭＰ１を、複数のパッチ画像ＩＭＰ２に分割する。これにより、取得部２３１は、少なくとも１つの対象画像ＩＭＰ１が分割された複数のパッチ画像ＩＭＰ２を取得する処理を行う。なお、対象画像ＩＭＰ１をパッチ画像ＩＭＰ２に分割する処理は、プロセッサ２３によって行われても、プロセッサ２３以外の任意のデバイスによって行われてもよい。本実施形態では、プロセッサ２３は、パッチ画像のそれぞれがほぼ同じ画素数の矩形画像となるように対象画像ＩＭＰ１を分割する。なお、プロセッサ２３による対象画像ＩＭＰ１の分割方法は任意である。
次に、処理がアクティビティＡ３に進み、プロセッサ２３は、アクティビティＡ２にて取得された対象画像ＩＭＰ１を、複数のパッチ画像ＩＭＰ２に分割する。これにより、取得部２３１は、少なくとも１つの対象画像ＩＭＰ１が分割された複数のパッチ画像ＩＭＰ２を取得する処理を行う。なお、対象画像ＩＭＰ１をパッチ画像ＩＭＰ２に分割する処理は、プロセッサ２３によって行われても、プロセッサ２３以外の任意のデバイスによって行われてもよい。本実施形態では、プロセッサ２３は、パッチ画像のそれぞれがほぼ同じ画素数の矩形画像となるように対象画像ＩＭＰ１を分割する。なお、プロセッサ２３による対象画像ＩＭＰ１の分割方法は任意である。
【0038】
取得部２３１は、分割された複数のパッチ画像ＩＭＰ２のそれぞれの画像に関する情報を取得してもよい。画像に関する情報は、後述される特徴量とは異なる因果関係に基づきパッチ画像ＩＭＰ２から抽出可能な情報である。画像に関する情報は、例えば、１つのパッチ画像ＩＭＰ２の画素に関する情報（例えばＲＧＢ、コントラストなど）、エッジ抽出により得られる情報（例えばパッチ画像ＩＭＰ２に含まれる対象の輪郭など）、１つのパッチ画像ＩＭＰ２の所定のテクスチャ解析の結果（例えば、パッチ画像ＩＭＰ２の空間パターン、質感など）などを含み得る。このようなパッチ画像ＩＭＰ２のそれぞれの画像に関する情報は、対象情報ＩＦ１に含まれ得る。対象情報ＩＦ１は、単独のパッチ画像ＩＭＰ２から抽出可能な情報ともいえる。また、対象情報ＩＦ１は、パッチ画像ＩＭＰ２内での分布を示す情報ともいえる。
【0039】
［アクティビティＡ４］
次に、処理がアクティビティＡ４に進み、特徴量抽出部２３２は、取得されたパッチ画像ＩＭＰ２に基づき、パッチ画像ＩＭＰ２同士の類似度を比較するための特徴量空間を規定する少なくとも１つの特徴量を抽出する処理を行う。例えば、特徴量抽出部２３２は、予め学習された学習モデルＭに、取得されたパッチ画像ＩＭＰ２を入力する。学習モデルＭは、画像を入力とし、複数の画像の類似度を比較可能な特徴量を出力する。なお、特徴量は、特徴量空間を規定する特徴量ベクトルを含む。学習モデルＭは、例えば、１つのパッチ画像ＩＭＰ２に対して、１つの特徴量を出力する。これにより、特徴量空間におけるパッチ画像ＩＭＰ２の位置が定められる。
次に、処理がアクティビティＡ４に進み、特徴量抽出部２３２は、取得されたパッチ画像ＩＭＰ２に基づき、パッチ画像ＩＭＰ２同士の類似度を比較するための特徴量空間を規定する少なくとも１つの特徴量を抽出する処理を行う。例えば、特徴量抽出部２３２は、予め学習された学習モデルＭに、取得されたパッチ画像ＩＭＰ２を入力する。学習モデルＭは、画像を入力とし、複数の画像の類似度を比較可能な特徴量を出力する。なお、特徴量は、特徴量空間を規定する特徴量ベクトルを含む。学習モデルＭは、例えば、１つのパッチ画像ＩＭＰ２に対して、１つの特徴量を出力する。これにより、特徴量空間におけるパッチ画像ＩＭＰ２の位置が定められる。
【0040】
本実施形態の学習モデルＭは、分類器として機能する。学習モデルＭは、入力に対して予め設定された分類を付与する教師あり学習モデルであっても、特徴量の分布に基づき分類を行う教師なし学習モデルであってもよい。
【0041】
学習モデルＭの学習の具体的アルゴリズムは、教師あり学習、教師なし学習、強化学習など任意である。教師あり学習の場合、学習モデルＭの学習アルゴリズムとして、線形回帰、ロジスティック回帰、ランダムフォレスト、ブースティング、サポートベクターマシン、ニューラルネットワークなどが採用可能である。特に入力が画像（例えば、対象画像ＩＭＰ１、パッチ画像ＩＭＰ２など）を含む場合、畳み込みニューラルネットワーク（ＣＮＮ）を用いることが好ましい。入力が時系列データを含む場合、リカレントニューラルネットワーク（ＲＮＮ）を用いることが好ましい。一方、教師なし学習の場合、学習モデルＭの学習アルゴリズムとしては、ｋ－ｍｅａｎｓ法や主成分分析などが採用可能である。当該学習は、プロセッサ２３自身によって行われても、プロセッサ２３以外のデバイスによって行われてもよい。
【0042】
本実施形態では、特徴量抽出部２３２は、抽出された特徴量に基づき、パッチ画像ＩＭＰ２同士の類似度を計算する。類似度は、例えば、マンハッタン距離、ユークリッド距離、コサイン類似度などの任意の距離に基づき計算可能である。また、類似度の具体的態様は任意であり、距離自体を類似度としても、当該距離に対して任意の計算処理を施したものであってもよい。なお、特徴量抽出部２３２は、パッチ画像ＩＭＰ２同士の特徴量空間における類似度以外にも、パッチ画像ＩＭＰ２の特徴量に基づき、パッチ画像ＩＭＰ２が属するクラス間の類似度を抽出してもよい。このようなクラス間の類似度は、例えば混同行列を用いて計算可能である。
【0043】
特徴量は、学習モデルＭによる特徴量の抽出方法によって異なることがある。そのため、特徴量抽出部２３２は、１つのパッチ画像ＩＭＰ２から、複数の特徴量の抽出方法ごとの特徴量を抽出する処理を行ってもよい。学習モデルＭは、情報処理装置２（例えば、特徴量抽出部２３２）に含まれていても、情報処理システム１に含まれているか否かに関わらず情報処理装置２とは異なるデバイスに含まれていてもよい。
【0044】
複数の対象画像ＩＭＰ１が取得された場合、特徴量抽出部２３２は、複数の対象画像ＩＭＰ１ごとに、当該対象画像ＩＭＰ１から分割されたパッチ画像ＩＭＰ２のそれぞれの特徴量を抽出してもよい。特徴量抽出部２３２は、パッチ画像ＩＭＰ２がどの対象画像ＩＭＰ１から分割された画像なのかを示す情報を抽出してもよい。
【0045】
［アクティビティＡ５］
次に、処理がアクティビティＡ５に進み、プロセッサ２３は、アクティビティＡ３にて取得されたパッチ画像ＩＭＰ２のそれぞれと、アクティビティＡ２にて取得された対象情報ＩＦ１とに基づき、パッチ画像ＩＭＰ２内での対象情報ＩＦ１の分布を特定する。当該分布は、パッチ画像ＩＭＰ２内の位置座標（すなわちピクセル座標）に対応する対象情報ＩＦ１を示す。例えば、対象情報ＩＦ１が物性情報を含む場合、プロセッサ２３は、パッチ画像ＩＭＰ２内での物性値の分布を特定する。物性値の分布は、例えば、抵抗値の分布、磁化の分布、ドメインの分布、熱膨張率の分布などを含む。本実施形態では、プロセッサ２３は、パッチ画像ＩＭＰ２内での対象の組成比の分布を特定する。当該組成比は、例えば電子顕微鏡による対象の撮像の際にエネルギー分散スペクトロスコピー（ＥＤＳ）を用いて特定することが可能である。
次に、処理がアクティビティＡ５に進み、プロセッサ２３は、アクティビティＡ３にて取得されたパッチ画像ＩＭＰ２のそれぞれと、アクティビティＡ２にて取得された対象情報ＩＦ１とに基づき、パッチ画像ＩＭＰ２内での対象情報ＩＦ１の分布を特定する。当該分布は、パッチ画像ＩＭＰ２内の位置座標（すなわちピクセル座標）に対応する対象情報ＩＦ１を示す。例えば、対象情報ＩＦ１が物性情報を含む場合、プロセッサ２３は、パッチ画像ＩＭＰ２内での物性値の分布を特定する。物性値の分布は、例えば、抵抗値の分布、磁化の分布、ドメインの分布、熱膨張率の分布などを含む。本実施形態では、プロセッサ２３は、パッチ画像ＩＭＰ２内での対象の組成比の分布を特定する。当該組成比は、例えば電子顕微鏡による対象の撮像の際にエネルギー分散スペクトロスコピー（ＥＤＳ）を用いて特定することが可能である。
【0046】
［アクティビティＡ６］
次に、処理がアクティビティＡ６に進み、表示処理部２３４は、第１の表示処理を実行する。これにより、第１の画像ＩＭ１を表示するための情報が、プロセッサ３３に送信される。第１の画像ＩＭ１は、少なくとも第１の視覚情報４を含む。第１の視覚情報４は、特徴量空間におけるパッチ画像ＩＭＰ２の分布を視認可能に構成される。これにより、ユーザは、第１の視覚情報４から、特徴量空間におけるパッチ画像ＩＭＰ２のそれぞれの位置関係を視認可能することができる。第１の視覚情報４の具体的態様は、散布図、折れ線図、ヒストグラムなど任意である。
次に、処理がアクティビティＡ６に進み、表示処理部２３４は、第１の表示処理を実行する。これにより、第１の画像ＩＭ１を表示するための情報が、プロセッサ３３に送信される。第１の画像ＩＭ１は、少なくとも第１の視覚情報４を含む。第１の視覚情報４は、特徴量空間におけるパッチ画像ＩＭＰ２の分布を視認可能に構成される。これにより、ユーザは、第１の視覚情報４から、特徴量空間におけるパッチ画像ＩＭＰ２のそれぞれの位置関係を視認可能することができる。第１の視覚情報４の具体的態様は、散布図、折れ線図、ヒストグラムなど任意である。
【0047】
［アクティビティＡ７］
次に、処理がアクティビティＡ７に進み、プロセッサ３３は、プロセッサ３３から送信される情報に基づき、第１の表示処理の結果を表示部３４に表示させる。これにより、第１の画像ＩＭ１が表示部３４に表示される。第１の画像ＩＭ１の表示内容の詳細は後述される。
次に、処理がアクティビティＡ７に進み、プロセッサ３３は、プロセッサ３３から送信される情報に基づき、第１の表示処理の結果を表示部３４に表示させる。これにより、第１の画像ＩＭ１が表示部３４に表示される。第１の画像ＩＭ１の表示内容の詳細は後述される。
【0048】
［アクティビティＡ８］
次に、処理がアクティビティＡ８に進み、プロセッサ３３は、ユーザからの入力操作に基づき、第１の視覚情報４に含まれる分布中の少なくとも１つのパッチ画像ＩＭＰ２の指定を送信する。当該入力操作は、マウスによる第１の視覚情報４に表示される特徴量空間内のパッチ画像ＩＭＰ２を指定する操作、キーボード入力によるパッチ画像ＩＭＰ２を指定する操作など、ＨＭＩデバイス３５に対する任意の操作によって実現可能である。当該指定は、１つのパッチ画像ＩＭＰ２の指定に限られず、複数のパッチ画像ＩＭＰ２の指定を含み得る。当該指定は、ユーザによって行われるものに限られず、プロセッサ２３、プロセッサ３３等によって自動的に生成されるものであってもよい。
次に、処理がアクティビティＡ８に進み、プロセッサ３３は、ユーザからの入力操作に基づき、第１の視覚情報４に含まれる分布中の少なくとも１つのパッチ画像ＩＭＰ２の指定を送信する。当該入力操作は、マウスによる第１の視覚情報４に表示される特徴量空間内のパッチ画像ＩＭＰ２を指定する操作、キーボード入力によるパッチ画像ＩＭＰ２を指定する操作など、ＨＭＩデバイス３５に対する任意の操作によって実現可能である。当該指定は、１つのパッチ画像ＩＭＰ２の指定に限られず、複数のパッチ画像ＩＭＰ２の指定を含み得る。当該指定は、ユーザによって行われるものに限られず、プロセッサ２３、プロセッサ３３等によって自動的に生成されるものであってもよい。
【0049】
［アクティビティＡ９］
次に、処理がアクティビティＡ９に進み、指定受付部２３３は、第１の視覚情報４に含まれる分布中の少なくとも１つのパッチ画像ＩＭＰ２の指定を受け付ける処理を行う。具体的には、指定受付部２３３は、アクティビティＡ９にてプロセッサ３３から送信される指定を受け付ける。
次に、処理がアクティビティＡ９に進み、指定受付部２３３は、第１の視覚情報４に含まれる分布中の少なくとも１つのパッチ画像ＩＭＰ２の指定を受け付ける処理を行う。具体的には、指定受付部２３３は、アクティビティＡ９にてプロセッサ３３から送信される指定を受け付ける。
【0050】
［アクティビティＡ１０］
次に、処理がアクティビティＡ１０に進み、プロセッサ２３は、プロセッサ３３から送信される指定に基づき、指定されたパッチ画像ＩＭＰ２を特定パッチ画像ＩＭＰ３として、特定する。指定されたパッチ画像ＩＭＰ２が複数存在する場合、指定されたパッチ画像ＩＭＰ２のそれぞれを特定パッチ画像ＩＭＰ３として特定する。
次に、処理がアクティビティＡ１０に進み、プロセッサ２３は、プロセッサ３３から送信される指定に基づき、指定されたパッチ画像ＩＭＰ２を特定パッチ画像ＩＭＰ３として、特定する。指定されたパッチ画像ＩＭＰ２が複数存在する場合、指定されたパッチ画像ＩＭＰ２のそれぞれを特定パッチ画像ＩＭＰ３として特定する。
【0051】
［アクティビティＡ１１］
次に、処理がアクティビティＡ１１に進み、表示処理部２３４は、第２の表示処理を実行する。これにより、表示処理部２３４は、第１の視覚情報４と、第２の視覚情報５とを一覧性を有する態様で表示させる処理を行う。第２の視覚情報５は、パッチ画像ＩＭＰ２のうちの少なくとも１つの特定パッチ画像ＩＭＰ３に含まれる対象に関する対象情報ＩＦ１を視認可能に構成される。本実施形態では、表示処理部２３４は、指定されたパッチ画像ＩＭＰ２を特定パッチ画像ＩＭＰ３として、第１の視覚情報４と第２の視覚情報５とを表示する処理を行う。本実施形態の表示処理部２３４は、さらに第３の視覚情報６を、少なくとも第２の視覚情報５と一覧性を有する態様で表示する処理を行う。なお、表示処理部２３４は、指定されたパッチ画像ＩＭＰ２が複数存在する場合、指定された複数のパッチ画像ＩＭＰ２のそれぞれを特定パッチ画像ＩＭＰ３とする複数の第２の視覚情報５を表示する処理を行ってもよい。表示処理部２３４は、複数の第２の視覚情報５を互いに一覧性を有する態様で表示する処理を行う。
次に、処理がアクティビティＡ１１に進み、表示処理部２３４は、第２の表示処理を実行する。これにより、表示処理部２３４は、第１の視覚情報４と、第２の視覚情報５とを一覧性を有する態様で表示させる処理を行う。第２の視覚情報５は、パッチ画像ＩＭＰ２のうちの少なくとも１つの特定パッチ画像ＩＭＰ３に含まれる対象に関する対象情報ＩＦ１を視認可能に構成される。本実施形態では、表示処理部２３４は、指定されたパッチ画像ＩＭＰ２を特定パッチ画像ＩＭＰ３として、第１の視覚情報４と第２の視覚情報５とを表示する処理を行う。本実施形態の表示処理部２３４は、さらに第３の視覚情報６を、少なくとも第２の視覚情報５と一覧性を有する態様で表示する処理を行う。なお、表示処理部２３４は、指定されたパッチ画像ＩＭＰ２が複数存在する場合、指定された複数のパッチ画像ＩＭＰ２のそれぞれを特定パッチ画像ＩＭＰ３とする複数の第２の視覚情報５を表示する処理を行ってもよい。表示処理部２３４は、複数の第２の視覚情報５を互いに一覧性を有する態様で表示する処理を行う。
【0052】
［アクティビティＡ１２］
次に、処理がアクティビティＡ１２に進み、プロセッサ２３は、第２の表示処理の結果を、表示部３４に表示させる。これにより、第２の画像ＩＭ２が表示部３４に表示される。
次に、処理がアクティビティＡ１２に進み、プロセッサ２３は、第２の表示処理の結果を、表示部３４に表示させる。これにより、第２の画像ＩＭ２が表示部３４に表示される。
【0053】
その後、本情報処理を継続する操作が行われた場合、処理がアクティビティＡ８に戻り、指定受付部２３３は、再度、ユーザによるパッチ画像ＩＭＰ２の指定を受け付け、当該指定をプロセッサ２３に送信する。一方、本情報処理を終了する操作が行われた場合、情報処理システム１は、本情報処理を終了する。
【0054】
３．２．情報処理の詳細について
本節では、上記情報処理の詳細について説明する。本実施形態の対象画像ＩＭＰ１は、電極材料の電子顕微鏡像（ＳＥＭ画像）であり、電極材料の結晶ドメインの像を含む。
本節では、上記情報処理の詳細について説明する。本実施形態の対象画像ＩＭＰ１は、電極材料の電子顕微鏡像（ＳＥＭ画像）であり、電極材料の結晶ドメインの像を含む。
【0055】
３．２．１．第１の画像ＩＭ１の一例
まず、第１の表示処理の結果として表示部３４に表示される、第１の画像ＩＭ１の一例について説明する。図６は、第１の画像ＩＭ１の一例である。第１の画像ＩＭ１は、第１の視覚情報４を含む。
まず、第１の表示処理の結果として表示部３４に表示される、第１の画像ＩＭ１の一例について説明する。図６は、第１の画像ＩＭ１の一例である。第１の画像ＩＭ１は、第１の視覚情報４を含む。
【0056】
<第１の視覚情報４>
第１の視覚情報４は、特徴量空間におけるパッチ画像ＩＭＰ２の分布を視認可能に構成される。本実施形態では、第１の視覚情報４は、パッチ画像ＩＭＰ２のそれぞれの特徴量に対応する点の散布図として第１の画像ＩＭ１に表示されている。第１の視覚情報４に含まれる特徴量の表示態様は、例えば、特徴量に関する種々の情報に応じて異なっていてもよい。例えば、特徴量に関する種々の情報とは、例えば、特徴量空間における特徴量の位置、特徴量が属するクラスなどである。また、複数の対象画像ＩＭＰ１が取得された場合、第１の視覚情報４に含まれる特徴量の表示態様は、パッチ画像ＩＭＰ２が分割された対象画像ＩＭＰ１ごとに異なっていてもよい。これにより、複数の対象画像ＩＭＰ１に対する解析をしやすくなる。
第１の視覚情報４は、特徴量空間におけるパッチ画像ＩＭＰ２の分布を視認可能に構成される。本実施形態では、第１の視覚情報４は、パッチ画像ＩＭＰ２のそれぞれの特徴量に対応する点の散布図として第１の画像ＩＭ１に表示されている。第１の視覚情報４に含まれる特徴量の表示態様は、例えば、特徴量に関する種々の情報に応じて異なっていてもよい。例えば、特徴量に関する種々の情報とは、例えば、特徴量空間における特徴量の位置、特徴量が属するクラスなどである。また、複数の対象画像ＩＭＰ１が取得された場合、第１の視覚情報４に含まれる特徴量の表示態様は、パッチ画像ＩＭＰ２が分割された対象画像ＩＭＰ１ごとに異なっていてもよい。これにより、複数の対象画像ＩＭＰ１に対する解析をしやすくなる。
【0057】
ユーザは、ＨＭＩデバイス３５等を用いて、第１の画像ＩＭ１内に表示されるマウスカーソルＭＣ１を操作することができる。第１の視覚情報４に含まれるパッチ画像ＩＭＰ２の特徴量は、マウスカーソルＭＣ１によって指定されるように構成される。例えば、マウスカーソルＭＣ１を特定のパッチ画像ＩＭＰ２に合わせてクリック操作、ホバー操作、ドラッグ操作を行うことにより、パッチ画像ＩＭＰ２の指定が行われる。また、ＨＭＩデバイス３５がタッチパネルを含む場合、第１の視覚情報４に対するタップ操作等により、パッチ画像ＩＭＰ２の指定が行われてもよい。当該指定は、ユーザによって指定された特徴量空間内の座標に対応する１つの特徴量の指定に限られない。当該指定は、例えば、ユーザによって指定された特徴量空間内の座標から所定の範囲内に位置する複数の特徴量の指定を含んでもよい。これにより、類似度が高い複数のパッチ画像ＩＭＰ２の解析が容易となるため、特徴量空間の解釈性を高めることができる。
【0058】
<第１の指定領域４１>
このような操作によって指定されたパッチ画像ＩＭＰ２は、第１の指定領域４１によって協調される。
第１の指定領域４１は、第１の視覚情報４に含まれるパッチ画像ＩＭＰ２のうち、指定されたパッチ画像ＩＭＰ２を視認可能とするための目印である。例えば、第１の指定領域４１は、指定されたパッチ画像ＩＭＰ２を囲う閉領域であり、例えば円形に構成される。なお、第１の指定領域４１は、閉領域ではなく、指定されたパッチ画像ＩＭＰ２の表示色を変更することによって構成されてもよい。
このような操作によって指定されたパッチ画像ＩＭＰ２は、第１の指定領域４１によって協調される。
第１の指定領域４１は、第１の視覚情報４に含まれるパッチ画像ＩＭＰ２のうち、指定されたパッチ画像ＩＭＰ２を視認可能とするための目印である。例えば、第１の指定領域４１は、指定されたパッチ画像ＩＭＰ２を囲う閉領域であり、例えば円形に構成される。なお、第１の指定領域４１は、閉領域ではなく、指定されたパッチ画像ＩＭＰ２の表示色を変更することによって構成されてもよい。
【0059】
上記第１の画像ＩＭ１を介したパッチ画像ＩＭＰ２の指定が行われた後、当該指定に基づき、アクティビティＡ９～アクティビティＡ１２の処理が行われ、第２の画像ＩＭ２が表示部３４に表示される。
【0060】
３．２．２．第２の画像ＩＭ２の一例
次に、第２の表示処理の結果として表示部３４に表示される、第２の画像ＩＭ２の一例について説明する。図７は、第２の画像ＩＭ２の一例である。第２の画像ＩＭ２は、例えば、取得された対象画像ＩＭＰ１が１つの場合の第２の表示処理の結果に対応する。
次に、第２の表示処理の結果として表示部３４に表示される、第２の画像ＩＭ２の一例について説明する。図７は、第２の画像ＩＭ２の一例である。第２の画像ＩＭ２は、例えば、取得された対象画像ＩＭＰ１が１つの場合の第２の表示処理の結果に対応する。
【0061】
第２の画像ＩＭ２は、第１の視覚情報４と、第２の視覚情報５と、を含む。第１の視覚情報４の具体的態様は、第１の画像ＩＭ１に含まれる第１の視覚情報４と同様である。
【0062】
<第２の視覚情報５>
第２の視覚情報５は、特定パッチ画像ＩＭＰ３に関する情報が表示される。第１の視覚情報４と第２の視覚情報５とは、第１の視覚情報４に表示される分布中での特定パッチ画像ＩＭＰ３と、第２の視覚情報５に表示される対象情報ＩＦ１に関する特定パッチ画像ＩＭＰ３との対応関係が把握可能に構成される。第２の視覚情報５は、特定パッチ画像ＩＭＰ３ごとに表示される。そのため、複数の特定パッチ画像ＩＭＰ３が存在する場合、第２の視覚情報５は、複数の特定パッチ画像ＩＭＰ３のそれぞれに対応する複数の第２の視覚情報５を含む。本実施形態では、２つの特定パッチ画像ＩＭＰ３が存在するため、第２の画像ＩＭ２は、２つの第２の視覚情報５を含む。複数の第２の視覚情報５は、互いに隣接して配置されている。複数の第２の視覚情報５は、互いに一覧性を有する態様で表示される。これにより、複数の特定パッチ画像ＩＭＰ３に関する解析を並行して行うことができるため、作業効率を向上することができる。第２の視覚情報５のそれぞれは、少なくとも１つの第１の表示領域５１と、少なくとも１つの第２の表示領域５２と、を含む。詳細には、第２の視覚情報５は、１つの第１の表示領域５１と、複数の第２の表示領域５２を含む。
第２の視覚情報５は、特定パッチ画像ＩＭＰ３に関する情報が表示される。第１の視覚情報４と第２の視覚情報５とは、第１の視覚情報４に表示される分布中での特定パッチ画像ＩＭＰ３と、第２の視覚情報５に表示される対象情報ＩＦ１に関する特定パッチ画像ＩＭＰ３との対応関係が把握可能に構成される。第２の視覚情報５は、特定パッチ画像ＩＭＰ３ごとに表示される。そのため、複数の特定パッチ画像ＩＭＰ３が存在する場合、第２の視覚情報５は、複数の特定パッチ画像ＩＭＰ３のそれぞれに対応する複数の第２の視覚情報５を含む。本実施形態では、２つの特定パッチ画像ＩＭＰ３が存在するため、第２の画像ＩＭ２は、２つの第２の視覚情報５を含む。複数の第２の視覚情報５は、互いに隣接して配置されている。複数の第２の視覚情報５は、互いに一覧性を有する態様で表示される。これにより、複数の特定パッチ画像ＩＭＰ３に関する解析を並行して行うことができるため、作業効率を向上することができる。第２の視覚情報５のそれぞれは、少なくとも１つの第１の表示領域５１と、少なくとも１つの第２の表示領域５２と、を含む。詳細には、第２の視覚情報５は、１つの第１の表示領域５１と、複数の第２の表示領域５２を含む。
【0063】
<第１の表示領域５１>
第１の表示領域５１には、特定パッチ画像ＩＭＰ３を分割する前の対象画像ＩＭＰ１が、当該対象画像ＩＭＰ１内における特定パッチ画像ＩＭＰ３の位置を視認可能な態様で表示される。なお、第１の表示領域５１には、特定パッチ画像ＩＭＰ３を含む対象画像ＩＭＰ１の全てが視認可能な態様で表示されても、特定パッチ画像ＩＭＰ３を含むように、対象画像ＩＭＰ１の一部が表示されてもよい。なお、対象画像ＩＭＰ１の一部とは、対象画像ＩＭＰ１のうち、特定パッチ画像ＩＭＰ３のみの領域ではなく、特定パッチ画像ＩＭＰ３を含む少なくとも２つ以上のパッチ画像ＩＭＰ２を含む領域を意味する。本実施形態では、対象画像ＩＭＰ１内における特定パッチ画像ＩＭＰ３の位置は、第２の指定領域５１１によって視認可能となっている。第２の指定領域５１１は、特定パッチ画像ＩＭＰ３の位置を示す目印であり、例えば矩形の閉領域である。これに限られず、第２の指定領域５１１は、特定パッチ画像ＩＭＰ３の位置を示す矢印などによって構成されてもよい。
第１の表示領域５１には、特定パッチ画像ＩＭＰ３を分割する前の対象画像ＩＭＰ１が、当該対象画像ＩＭＰ１内における特定パッチ画像ＩＭＰ３の位置を視認可能な態様で表示される。なお、第１の表示領域５１には、特定パッチ画像ＩＭＰ３を含む対象画像ＩＭＰ１の全てが視認可能な態様で表示されても、特定パッチ画像ＩＭＰ３を含むように、対象画像ＩＭＰ１の一部が表示されてもよい。なお、対象画像ＩＭＰ１の一部とは、対象画像ＩＭＰ１のうち、特定パッチ画像ＩＭＰ３のみの領域ではなく、特定パッチ画像ＩＭＰ３を含む少なくとも２つ以上のパッチ画像ＩＭＰ２を含む領域を意味する。本実施形態では、対象画像ＩＭＰ１内における特定パッチ画像ＩＭＰ３の位置は、第２の指定領域５１１によって視認可能となっている。第２の指定領域５１１は、特定パッチ画像ＩＭＰ３の位置を示す目印であり、例えば矩形の閉領域である。これに限られず、第２の指定領域５１１は、特定パッチ画像ＩＭＰ３の位置を示す矢印などによって構成されてもよい。
【0064】
<第２の表示領域５２>
少なくとも１つの第２の表示領域５２には、対象情報ＩＦ１がパッチ画像ＩＭＰ２（詳細には特定パッチ画像ＩＭＰ３）に対して重畳的に表示される。第２の表示領域５２は、第１の表示領域５１と一覧性を有する態様で表示される。第２の表示領域５２は、特定パッチ画像表示領域５２ａと、対象情報表示領域５２ｂと、を含む。
少なくとも１つの第２の表示領域５２には、対象情報ＩＦ１がパッチ画像ＩＭＰ２（詳細には特定パッチ画像ＩＭＰ３）に対して重畳的に表示される。第２の表示領域５２は、第１の表示領域５１と一覧性を有する態様で表示される。第２の表示領域５２は、特定パッチ画像表示領域５２ａと、対象情報表示領域５２ｂと、を含む。
【0065】
<特定パッチ画像表示領域５２ａ>
特定パッチ画像表示領域５２ａは、１つの特定パッチ画像ＩＭＰ３が表示される領域である。例えば、特定パッチ画像表示領域５２ａは、同一の第２の視覚情報５内の第２の指定領域５１１に対応する特定パッチ画像ＩＭＰ３が表示される。言い換えれば、特定パッチ画像表示領域５２ａは、対象情報ＩＦ１と対応付けられていない状態の特定パッチ画像ＩＭＰ３が表示される。
特定パッチ画像表示領域５２ａは、１つの特定パッチ画像ＩＭＰ３が表示される領域である。例えば、特定パッチ画像表示領域５２ａは、同一の第２の視覚情報５内の第２の指定領域５１１に対応する特定パッチ画像ＩＭＰ３が表示される。言い換えれば、特定パッチ画像表示領域５２ａは、対象情報ＩＦ１と対応付けられていない状態の特定パッチ画像ＩＭＰ３が表示される。
【0066】
<対象情報表示領域５２ｂ>
対象情報表示領域５２ｂは、特定パッチ画像表示領域５２ａに表示される特定パッチ画像ＩＭＰ３に対して、対象情報ＩＦ１に含まれる種々の情報の分布が表示される領域である。具体的には、対象情報表示領域５２ｂは、対象情報ＩＦ１が、特定パッチ画像表示領域５２ａに表示される特定パッチ画像ＩＭＰ３に対して重畳的に表示される。例えば、対象情報表示領域５２ｂは、特定パッチ画像表示領域５２ａに表示される特定パッチ画像ＩＭＰ３に対して、対象情報ＩＦ１の分布に応じてヒートマップ、輪郭の強調表示、２値画像、複数の色彩テクスチャなどが重畳的に表示される。これにより、特定パッチ画像ＩＭＰ３内の解析を円滑に行うことができる。例えば、対象情報表示領域５２ｂは、ＥＤＳに基づく対象の組成比（元素比率）、学習モデルＭが中止した特徴部位、テクスチャ解析による空間パターン、対象の粒子数、粒子径分布、パワースペクトルなどの分布が重畳的に表示される。
対象情報表示領域５２ｂは、特定パッチ画像表示領域５２ａに表示される特定パッチ画像ＩＭＰ３に対して、対象情報ＩＦ１に含まれる種々の情報の分布が表示される領域である。具体的には、対象情報表示領域５２ｂは、対象情報ＩＦ１が、特定パッチ画像表示領域５２ａに表示される特定パッチ画像ＩＭＰ３に対して重畳的に表示される。例えば、対象情報表示領域５２ｂは、特定パッチ画像表示領域５２ａに表示される特定パッチ画像ＩＭＰ３に対して、対象情報ＩＦ１の分布に応じてヒートマップ、輪郭の強調表示、２値画像、複数の色彩テクスチャなどが重畳的に表示される。これにより、特定パッチ画像ＩＭＰ３内の解析を円滑に行うことができる。例えば、対象情報表示領域５２ｂは、ＥＤＳに基づく対象の組成比（元素比率）、学習モデルＭが中止した特徴部位、テクスチャ解析による空間パターン、対象の粒子数、粒子径分布、パワースペクトルなどの分布が重畳的に表示される。
【0067】
複数の特定パッチ画像ＩＭＰ３が取得されている場合、対象情報表示領域５２ｂには、当該複数の特定パッチ画像ＩＭＰ３の集合に関する対象情報ＩＦ１の分布が表示されてもよい。第２の表示領域５２には、例えば、複数の特定パッチ画像ＩＭＰ３のそれぞれの対象情報ＩＦ１の平均、分散、標準偏差などの統計処理が行われた値が表示される。対象が劣化する材料等である場合、第２の表示領域５２には、劣化度予測によって得られる種々の指標が表示されてもよい。このような指標は、例えばディープニューラルネットワーク（ＤＮＮ）によって構成される学習モデルＭに対象画像ＩＭＰ１を入力することにより得られる。これにより、特徴量空間の解釈性を高めることができる。なお、この場合、複数の特定パッチ画像ＩＭＰ３の特徴量が、同一又は隣接するクラスに属することが好ましい。そのため、第１の視覚情報４におけるパッチ画像ＩＭＰ２の指定は、第１の視覚情報４に対する任意の指定位置から所定の範囲内のパッチ画像ＩＭＰ２が指定されるように構成されることが好ましい。これにより、類似度の高いパッチ画像ＩＭＰ２が特定パッチ画像ＩＭＰ３として特定されるため、第２の視覚情報５、詳細には対象情報表示領域５２ｂ、に表示される対象情報ＩＦ１の分布に関する情報の解釈性を効率的に高めることができる。
【0068】
<第３の視覚情報６>
第２の画像ＩＭ２は、さらに第３の視覚情報６を含んでもよい。第３の視覚情報６は、第２の視覚情報５に表示される特定パッチ画像ＩＭＰ３に関する統計量を視認可能に構成される。第３の視覚情報６は、例えば、１つの第２の視覚情報５と一覧性を有する態様で表示される。例えば、第３の視覚情報６は、１つの第２の視覚情報５と１対１で対応するように表示される。これにより、特定パッチ画像ＩＭＰ３ごとの統計的な解析を容易にすることができる。統計量は、例えば、画素のＲＧＢ値の分布、組成分布、空間パターン分布などである。本実施形態では、第３の視覚情報６は、ヒストグラムを用いて構成されているが、これに限られず、例えば円グラフ、レーダーチャートなど任意の態様で視認可能に構成され得る。また、指定受付部２３３は、第３の視覚情報６に表示される統計量の指定を受付可能に構成されていてもよい。表示処理部２３４は、当該指定に基づき第３の視覚情報６に表示される統計量を変更可能に構成されていてもよい。これにより、より円滑な解析を行うことが可能である。本実施形態では、第３の視覚情報６は、複数（具体的には２つ）の統計量を視認可能に構成されている。
第２の画像ＩＭ２は、さらに第３の視覚情報６を含んでもよい。第３の視覚情報６は、第２の視覚情報５に表示される特定パッチ画像ＩＭＰ３に関する統計量を視認可能に構成される。第３の視覚情報６は、例えば、１つの第２の視覚情報５と一覧性を有する態様で表示される。例えば、第３の視覚情報６は、１つの第２の視覚情報５と１対１で対応するように表示される。これにより、特定パッチ画像ＩＭＰ３ごとの統計的な解析を容易にすることができる。統計量は、例えば、画素のＲＧＢ値の分布、組成分布、空間パターン分布などである。本実施形態では、第３の視覚情報６は、ヒストグラムを用いて構成されているが、これに限られず、例えば円グラフ、レーダーチャートなど任意の態様で視認可能に構成され得る。また、指定受付部２３３は、第３の視覚情報６に表示される統計量の指定を受付可能に構成されていてもよい。表示処理部２３４は、当該指定に基づき第３の視覚情報６に表示される統計量を変更可能に構成されていてもよい。これにより、より円滑な解析を行うことが可能である。本実施形態では、第３の視覚情報６は、複数（具体的には２つ）の統計量を視認可能に構成されている。
【0069】
また、第３の視覚情報６は、単一の特定パッチ画像ＩＭＰ３に関する統計量を視認可能に構成されているものに限られず、複数の第２の画像ＩＭ２（例えば、指定された複数の特定パッチ画像ＩＭＰ３）に関する統計量を視認可能に構成されていてもよい。当該統計量は、例えば、複数の第３の視覚情報６の統計量の平均、分散、標準偏差などを含み得る。
【0070】
３．２．３．第２の画像ＩＭ２の別例
本節では、上記第２の画像ＩＭ２の別例として、複数の対象画像ＩＭＰ１が取得された場合における第２の画像ＩＭ２の例について説明する。図８は、第２の画像ＩＭ２の別例を示す図である。
本節では、上記第２の画像ＩＭ２の別例として、複数の対象画像ＩＭＰ１が取得された場合における第２の画像ＩＭ２の例について説明する。図８は、第２の画像ＩＭ２の別例を示す図である。
【0071】
図８に示すように、本実施形態の第１の表示領域５１は、複数の対象画像ＩＭＰ１のそれぞれに対応する複数の対象画像表示領域５１ａ～５１ｄを含む。対象画像表示領域５１ａ～５１ｄのそれぞれには、対象画像表示領域５１ａ～５１ｄに対応する対象画像ＩＭＰ１を含む特定パッチ画像ＩＭＰ３の位置が視認可能な態様で表示される。本実施形態では、取得部２３１は、４つの対象画像ＩＭＰ１を取得している。その結果、第１の表示領域５１には、４つの対象画像表示領域５１ａ～５１ｄが表示される。第２の表示領域５２には、４つの対象画像表示領域５１ａ～５１ｄに含まれる特定パッチ画像ＩＭＰ３のうちの１つに関する情報が表示されている。なお、これに限られず、第２の表示領域５２は、４つの対象画像表示領域５１ａ～５１ｄのそれぞれに含まれる特定パッチ画像ＩＭＰ３を、１つずつ表示するように構成されていてもよい。これにより、複数の対象画像ＩＭＰ１のそれぞれを俯瞰して解析することが容易となる。
【0072】
４．その他
上記情報処理の各態様はあくまで一例であり、これに限られない。
上記情報処理の各態様はあくまで一例であり、これに限られない。
【0073】
上記情報処理において、さらに、指定受付部２３３は、ユーザからの特徴量の抽出方法の指定を受け付ける処理を行ってもよい。この場合、表示処理部２３４は、第１の表示処理又は第２の表示処理の結果として表示される、第１の視覚情報４の表示内容を変更してもよい。具体的には、表示処理部２３４は、当該指定に基づき、指定された抽出方法に対応する特徴量空間におけるパッチ画像ＩＭＰ２の分布を含む第１の視覚情報４を、後述される第２の視覚情報５と一覧性を有する態様で表示する処理を行ってもよい。指定された抽出方法に対応する特徴量空間とは、例えば、指定された抽出方法を用いて抽出される特徴量によって規定される特徴量空間を含む。
【0074】
情報処理システム１は、測定装置ＨＷ１を含むものに限られない。したがって、上記対象画像ＩＭＰ１及び対象情報ＩＦ１は、情報処理システム１に含まれる測定装置ＨＷ１から得られるものに限られない。情報処理装置２は、例えば、情報処理システム１の外部で予め得られている対象画像ＩＭＰ１及び対象情報ＩＦ１を用いて、上記情報処理を実行してもよい。
【0075】
図９は、特徴量の抽出方法を受付可能に構成される第２の画像ＩＭ２の変形例を示す図である。図９に示すように、第１の視覚情報４は、さらに特徴量指定領域４２を含んでもよい。ユーザは、特徴量指定領域４２を操作することにより、第１の視覚情報４に表示させる特徴量空間を指定することができる。これにより、適切な特徴量に基づく対象画像ＩＭＰ１及びパッチ画像ＩＭＰ２の本質的要因の解析が促進される。なお、特徴量指定領域４２は、第１の画像ＩＭ１の第１の視覚情報４に含まれていてもよい。
【0076】
上記実施形態のそれぞれでは、第２の視覚情報５は、第１の表示領域５１と第２の表示領域５２との両方を含むものに限られない。例えば、第２の視覚情報５は、第１の表示領域５１、及び第２の表示領域５２のうちの少なくとも１つを含むものであってもよい。
【0077】
上記実施形態のそれぞれでは、表示処理部２３４は、複数の表示部３４を協調制御することにより、第１の視覚情報４、第２の視覚情報５、及び第３の視覚情報６を一覧性を有する態様で表示する処理を行ってもよい。また、表示処理部２３４は、表示部３４に表示される単一のウィンドウではなく、複数のウィンドウを用いて、第１の視覚情報４、第２の視覚情報５、及び第３の視覚情報６を一覧性を有する態様で表示する処理を行ってもよい。すなわち、一覧性を有する態様は、表示部３４の数、表示部３４内に表示されるウィンドウ等のアプリケーションの数に限定されない。
【0078】
上記実施形態のそれぞれでは、情報処理装置２は、オンプレミス形態であってもよく、クラウド形態であってもよい。クラウド形態の情報処理装置２としては、例えば、ＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）、クラウドコンピューティングという形態で、上述の機能や処理を提供してもよい。
【0079】
上記実施形態のそれぞれでは、情報処理装置２が種々の記憶・制御を行ったが、情報処理装置２に代えて、複数の外部装置が用いられてもよい。すなわち、種々の情報やプログラムは、ブロックチェーン技術等を用いて複数の外部装置に分散して記憶されてもよい。
【0080】
上記実施形態のそれぞれは、情報処理システム１に限定されず、情報処理方法であっても、情報処理プログラムであってもよい。情報処理方法は、情報処理システム１の各ステップを含む。情報処理プログラムは、少なくとも１つのコンピュータに、情報処理システム１の各ステップを実行させる。
【0081】
上記情報処理システム１等は、次に記載の各態様で提供されてもよい。
【0082】
（１）情報処理システムであって、次の各ステップがなされるようにプログラムを実行可能な少なくとも１つのプロセッサを備え、画像取得ステップでは、対象の撮像結果である少なくとも１つの対象画像が分割された複数のパッチ画像を取得する処理を行い、特徴量抽出ステップでは、取得された前記パッチ画像に基づき、前記パッチ画像同士の類似度を比較するための特徴量空間を規定する少なくとも１つの特徴量を抽出する処理を行い、表示処理ステップでは、第１の視覚情報と、第２の視覚情報とを一覧性を有する態様で表示させる処理を行い、ここで、前記第１の視覚情報は、前記特徴量空間における前記パッチ画像の分布を視認可能に構成され、前記第２の視覚情報は、前記パッチ画像のうちの少なくとも１つの特定パッチ画像に含まれる前記対象に関する対象情報を視認可能に構成され、前記対象情報は、前記特徴量に依存せずに特定可能であり、前記第１の視覚情報と前記第２の視覚情報とは、前記第１の視覚情報に表示される前記分布中での前記特定パッチ画像と、前記第２の視覚情報に表示される前記対象情報に関する前記特定パッチ画像との対応関係が把握可能に構成される、もの。
【0083】
このような構成によれば、対象の撮像結果である対象画像を複数のパッチ画像として解析する際に、当該パッチ画像が、第１の視覚情報では複数のパッチ画像の特徴量分布という他のパッチ画像との相対的な関係として表現され、第２の視覚情報では対象情報という特徴量に依存せずに特定可能な情報として表現される。そして、第１の視覚情報と第２の視覚情報との一覧性と、第１の視覚情報の特定パッチ画像と、第２の視覚情報の特定パッチ画像との対応関係と、に基づき、ユーザが特徴量のみに依存しない、対象に関する多面的な解析を俯瞰的に行いやすくなる。したがって、対象に関するより本質的な要因の解析を促すことができる。
【0084】
（２）上記（１）に記載の情報処理システムにおいて、指定受付ステップでは、前記第１の視覚情報に含まれる前記分布中の少なくとも１つの前記パッチ画像の指定を受け付ける処理を行い、前記表示処理ステップでは、指定された前記パッチ画像を前記特定パッチ画像として、前記第１の視覚情報と前記第２の視覚情報とを表示する処理を行う、もの。
【0085】
このような構成によれば、分布に対する指定を通じて所望のパッチ画像に関する俯瞰的な解析をすることができるため、ユーザ体験に即した解析を促すことができる。
【0086】
（３）上記（２）に記載の情報処理システムにおいて、前記表示処理ステップでは、指定された前記パッチ画像が複数存在する場合、指定された複数の前記パッチ画像のそれぞれを前記特定パッチ画像とする複数の前記第２の視覚情報を表示する処理を行う、もの。
【0087】
このような構成によれば、複数のパッチ画像の解析を並行して行うことができる。
【0088】
（４）上記（３）に記載の情報処理システムにおいて、前記表示処理ステップでは、複数の前記第２の視覚情報を互いに一覧性を有する態様で表示する処理を行う、もの。
【0089】
このような構成によれば、複数のパッチ画像を俯瞰しつつ対象の解析を行いやすくなる。
【0090】
（５）上記（１）～（４）の何れか１つに記載の情報処理システムにおいて、前記第２の視覚情報は、第１の表示領域と、第２の表示領域と、を含み、前記第１の表示領域には、前記特定パッチ画像を分割する前の前記対象画像が、当該対象画像内における前記特定パッチ画像の位置を視認可能な態様で表示され、前記第２の表示領域には、前記対象情報が前記パッチ画像に対して重畳的に表示される、もの。
【0091】
このような構成によれば、パッチ画像のみから抽出される局所的な情報と、もとの対象画像との関係性という俯瞰的な情報と、を用いて、特徴量についての多面的な解析を行いやすくなる。
【0092】
（６）上記（５）の何れか１つに記載の情報処理システムにおいて、前記第１の表示領域は、複数の前記対象画像のそれぞれに対応する複数の対象画像表示領域を含み、ここで、前記対象画像表示領域のそれぞれには、前記対象画像表示領域に対応する前記対象画像を含む前記特定パッチ画像の位置が視認可能な態様で表示される、もの。
【0093】
このような構成によれば、解析対象となる対象画像が複数存在する場合に、複数の対象画像を一覧しつつ、特定パッチ画像の解析を行うことができる。したがって、対象画像の数が増加した場合の解析の負担を軽減することができる。
【0094】
（７）上記（１）～（６）の何れか１つに記載の情報処理システムにおいて、前記表示処理ステップでは、さらに第３の視覚情報を、少なくとも前記第２の視覚情報と一覧性を有する態様で表示する処理を行い、ここで、前記第３の視覚情報は、前記第２の視覚情報に表示される前記特定パッチ画像に関する統計量を視認可能に構成される、もの。
【0095】
このような構成によれば、パッチ画像の特徴量と統計量とを一覧することができるため、ユーザに対して対象に関するより本質的な要因の解析を促すことができる。
【0096】
（８）上記（１）～（７）の何れか１つに記載の情報処理システムにおいて、指定受付ステップでは、ユーザからの前記特徴量の抽出方法の指定を受け付ける処理を行い、前記表示処理ステップでは、指定された前記抽出方法に対応する前記特徴量空間における前記パッチ画像の分布を含む前記第１の視覚情報を、前記第２の視覚情報と一覧性を有する態様で表示する処理を行う、もの。
【0097】
このような構成によれば、特徴量の抽出方法が異なる場合に、どの特徴量が解析に適切かを判断しやすくなる。
【0098】
（９）上記（１）～（８）の何れか１つに記載の情報処理システムにおいて、前記対象画像は、撮像部によって撮像された物質の外観の撮像結果を示し、前記対象情報は、観測部によって観測された前記物質の物性の分布に関する情報を含み、前記対象情報に含まれる前記物性の分布の空間分解能は、前記対象画像の空間分解能より低い、もの。
【0099】
このような構成によれば、材料の外観に関する特徴量の情報と、材料の物性に関する情報とを俯瞰することで、材料の特性を解析する際により本質的な要因に着目しやすくなる。
【0100】
（１０）情報処理方法であって、上記（１）～（９）の何れか１つに記載の情報処理システムの各ステップを含む、方法。
【0101】
（１１）情報処理プログラムであって、少なくとも１つのコンピュータに、上記（１）～（９）の何れか１つに記載の情報処理システムの各ステップを実行させる、もの。
もちろん、この限りではない。
もちろん、この限りではない。
【0102】
最後に、本開示に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0103】
１ ：情報処理システム
２ ：情報処理装置
２０ ：通信バス
２１ ：通信部
２２ ：記憶部
２３ ：プロセッサ
２３１ ：取得部
２３２ ：特徴量抽出部
２３３ ：指定受付部
２３４ ：表示処理部
３ ：ユーザ端末
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：プロセッサ
３４ ：表示部
３５ ：ＨＭＩデバイス
４ ：第１の視覚情報
４１ ：第１の指定領域
４２ ：特徴量指定領域
５ ：第２の視覚情報
５１ ：第１の表示領域
５１ａ ：対象画像表示領域
５１ｂ ：対象画像表示領域
５１ｃ ：対象画像表示領域
５１ｄ ：対象画像表示領域
５１１ ：第２の指定領域
５２ ：第２の表示領域
５２ａ ：特定パッチ画像表示領域
５２ｂ ：対象情報表示領域
６ ：第３の視覚情報
ＤＢ１ ：データベース
ＨＷ１ ：測定装置
ＨＷ１１ ：撮像部
ＨＷ１２ ：観測部
ＭＣ１ ：マウスカーソル
２ ：情報処理装置
２０ ：通信バス
２１ ：通信部
２２ ：記憶部
２３ ：プロセッサ
２３１ ：取得部
２３２ ：特徴量抽出部
２３３ ：指定受付部
２３４ ：表示処理部
３ ：ユーザ端末
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：プロセッサ
３４ ：表示部
３５ ：ＨＭＩデバイス
４ ：第１の視覚情報
４１ ：第１の指定領域
４２ ：特徴量指定領域
５ ：第２の視覚情報
５１ ：第１の表示領域
５１ａ ：対象画像表示領域
５１ｂ ：対象画像表示領域
５１ｃ ：対象画像表示領域
５１ｄ ：対象画像表示領域
５１１ ：第２の指定領域
５２ ：第２の表示領域
５２ａ ：特定パッチ画像表示領域
５２ｂ ：対象情報表示領域
６ ：第３の視覚情報
ＤＢ１ ：データベース
ＨＷ１ ：測定装置
ＨＷ１１ ：撮像部
ＨＷ１２ ：観測部
ＭＣ１ ：マウスカーソル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
