ホーム > 特許ランキング > 株式会社エクサウィザーズ
特開2023-166812情報処理方法、コンピュータプログラム及び情報処理装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023166812
(43)【公開日】2023-11-22
(54)【発明の名称】情報処理方法、コンピュータプログラム及び情報処理装置
(51)【国際特許分類】
G06V 20/70 20220101AFI20231115BHJP
G01N 21/27 20060101ALI20231115BHJP
【ＦＩ】
G06V20/70
G01N21/27 A
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022077607
(22)【出願日】2022-05-10
(11)【特許番号】
(45)【特許公報発行日】2023-02-20
(71)【出願人】
【識別番号】517255566
【氏名又は名称】株式会社エクサウィザーズ
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】山下 聖悟
(72)【発明者】
【氏名】アシュレフ アクヒル
(72)【発明者】
【氏名】ジェイン ドゥルブ リテッシュ
【テーマコード（参考）】
2G059
5L096
【Ｆターム（参考）】
2G059AA05
2G059BB08
2G059BB11
2G059BB12
2G059EE02
2G059EE11
2G059FF01
2G059HH01
2G059HH02
2G059KK04
2G059MM01
2G059MM09
2G059MM10
2G059PP04
5L096CA18
5L096CA24
5L096CA25
5L096GA34
5L096KA04
(57)【要約】
【課題】画像に対するアノテーション作業を支援することが期待できる情報処理方法、コンピュータプログラム及び情報処理装置を提供する。
【解決手段】本実施の形態に係る情報処理方法は、情報処理装置が、それぞれが異なる光の波長に基づいて同じ対象物を撮影した複数の撮影画像を取得し、取得した複数の撮影画像のうちの少なくとも１つの撮影画像に基づいて、前記複数の撮影画像のうちの少なくとも１つの撮影画像に対する関連情報の付与を行う。また前記情報処理装置が、取得した複数の撮影画像のうちの少なくとも１つの撮影画像に対する画像領域の指定を受け付け、受け付けた画像領域の類似領域を前記撮影画像から抽出し、前記画像領域及び前記類似領域に関する情報を、前記関連情報として付与してもよい。
【選択図】図３
【解決手段】本実施の形態に係る情報処理方法は、情報処理装置が、それぞれが異なる光の波長に基づいて同じ対象物を撮影した複数の撮影画像を取得し、取得した複数の撮影画像のうちの少なくとも１つの撮影画像に基づいて、前記複数の撮影画像のうちの少なくとも１つの撮影画像に対する関連情報の付与を行う。また前記情報処理装置が、取得した複数の撮影画像のうちの少なくとも１つの撮影画像に対する画像領域の指定を受け付け、受け付けた画像領域の類似領域を前記撮影画像から抽出し、前記画像領域及び前記類似領域に関する情報を、前記関連情報として付与してもよい。
【選択図】図３
【特許請求の範囲】
【請求項1】
情報処理装置が、
それぞれが異なる光の波長に基づいて同じ対象物を撮影した複数の撮影画像を取得し、
取得した複数の撮影画像のうちの少なくとも１つの撮影画像に基づいて、前記複数の撮影画像のうちの少なくとも１つの撮影画像に対する関連情報の付与を行う、
情報処理方法。
それぞれが異なる光の波長に基づいて同じ対象物を撮影した複数の撮影画像を取得し、
取得した複数の撮影画像のうちの少なくとも１つの撮影画像に基づいて、前記複数の撮影画像のうちの少なくとも１つの撮影画像に対する関連情報の付与を行う、
情報処理方法。
【請求項2】
前記情報処理装置が、
取得した複数の撮影画像のうちの少なくとも１つの撮影画像に対する画像領域の指定を受け付け、
受け付けた画像領域の類似領域を前記撮影画像から抽出し、
前記画像領域及び前記類似領域に関する情報を、前記関連情報として付与する、
請求項１に記載の情報処理方法。
取得した複数の撮影画像のうちの少なくとも１つの撮影画像に対する画像領域の指定を受け付け、
受け付けた画像領域の類似領域を前記撮影画像から抽出し、
前記画像領域及び前記類似領域に関する情報を、前記関連情報として付与する、
請求項１に記載の情報処理方法。
【請求項3】
前記情報処理装置が、
前記撮影画像に重畳して前記画像領域及び前記類似領域を表示する、
請求項２に記載の情報処理方法。
前記撮影画像に重畳して前記画像領域及び前記類似領域を表示する、
請求項２に記載の情報処理方法。
【請求項4】
前記情報処理装置が、
取得した複数の撮影画像のうちの少なくとも１つの撮影画像に対する対象箇所の選択を受け付け、
受け付けた前記対象箇所を含む画像領域を決定し、
前記撮影画像に重畳して、決定した前記画像領域を表示し、
表示した前記画像領域の修正を受け付け、
修正を受け付けた前記画像領域を前記指定として受け付ける、
請求項２又は請求項３に記載の情報処理方法。
取得した複数の撮影画像のうちの少なくとも１つの撮影画像に対する対象箇所の選択を受け付け、
受け付けた前記対象箇所を含む画像領域を決定し、
前記撮影画像に重畳して、決定した前記画像領域を表示し、
表示した前記画像領域の修正を受け付け、
修正を受け付けた前記画像領域を前記指定として受け付ける、
請求項２又は請求項３に記載の情報処理方法。
【請求項5】
前記情報処理装置が、
前記撮影画像の取得及び前記関連情報の付与を繰り返し行い、
取得した複数の画像のうちの少なくとも１つの撮影画像から、前回の前記関連情報の付与の結果に基づいて、一又は複数の候補領域を抽出し、
前記撮影画像に重畳して、抽出した前記候補領域を表示し、
表示した前記候補領域の修正を受け付け、
修正を受け付けた前記候補領域に関する情報を、前記関連情報として付与する、
請求項２又は請求項３に記載の情報処理方法。
前記撮影画像の取得及び前記関連情報の付与を繰り返し行い、
取得した複数の画像のうちの少なくとも１つの撮影画像から、前回の前記関連情報の付与の結果に基づいて、一又は複数の候補領域を抽出し、
前記撮影画像に重畳して、抽出した前記候補領域を表示し、
表示した前記候補領域の修正を受け付け、
修正を受け付けた前記候補領域に関する情報を、前記関連情報として付与する、
請求項２又は請求項３に記載の情報処理方法。
【請求項6】
前記情報処理装置が、
前記複数の撮影画像のうちの少なくとも２つの撮影画像を合成した合成画像を生成し、
生成した合成画像に基づいて、前記複数の撮影画像のうちの少なくとも１つの撮影画像に対する関連情報の付与を行う、
請求項１に記載の情報処理方法。
前記複数の撮影画像のうちの少なくとも２つの撮影画像を合成した合成画像を生成し、
生成した合成画像に基づいて、前記複数の撮影画像のうちの少なくとも１つの撮影画像に対する関連情報の付与を行う、
請求項１に記載の情報処理方法。
【請求項7】
前記複数の撮影画像には、可視光に基づいて撮影した可視光画像と、非可視光に基づいて撮影した非可視光画像とを含み、
前記情報処理装置が、前記非可視光画像に基づいて、前記可視光画像に対する関連情報の付与を行う、
請求項１に記載の情報処理方法。
前記情報処理装置が、前記非可視光画像に基づいて、前記可視光画像に対する関連情報の付与を行う、
請求項１に記載の情報処理方法。
【請求項8】
コンピュータに、
それぞれが異なる光の波長に基づいて同じ対象物を撮影した複数の撮影画像を取得し、
取得した複数の撮影画像のうちの少なくとも１つの撮影画像に基づいて、前記複数の撮影画像のうちの少なくとも１つの撮影画像に対する関連情報の付与を行う
処理を実行させる、コンピュータプログラム。
それぞれが異なる光の波長に基づいて同じ対象物を撮影した複数の撮影画像を取得し、
取得した複数の撮影画像のうちの少なくとも１つの撮影画像に基づいて、前記複数の撮影画像のうちの少なくとも１つの撮影画像に対する関連情報の付与を行う
処理を実行させる、コンピュータプログラム。
【請求項9】
それぞれが異なる光の波長に基づいて同じ対象物を撮影した複数の撮影画像を取得する取得部と、
取得した複数の撮影画像のうちの少なくとも１つの撮影画像に基づいて、前記複数の撮影画像のうちの少なくとも１つの撮影画像に対する関連情報の付与を行う付与部と
を備える、情報処理装置。
取得した複数の撮影画像のうちの少なくとも１つの撮影画像に基づいて、前記複数の撮影画像のうちの少なくとも１つの撮影画像に対する関連情報の付与を行う付与部と
を備える、情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像に対するアノテーション作業を支援する情報処理方法、コンピュータプログラム及び情報処理装置に関する。
【背景技術】
【0002】
近年、機械学習及び深層学習の技術が著しく進歩しており、これらの機械学習等により生成された学習モデルを用いる高機能な装置及び製品等が広く利用されている。機械学習等の手法の中で、教師あり学習と呼ばれる手法では、学習モデルに対する入力情報と出力情報とが対応付けられた学習用データ（いわゆる教師データ）が必要である。例えば、学習モデルに対して入力される画像と、この画像に写されたものの分類結果又はこの画像中で対象物が写された画像領域等の情報とが対応付けられて、学習用データとして教師あり学習に用いられる。この学習用データの生成、即ち入力情報に対する出力情報の対応付けの作業はアノテーションと呼ばれ、人手による作業である場合が多い。
【0003】
特許文献１においては、同一の付与対象への複数の作業者からの入力に基づく複数のアノテーションを取得し、取得した複数のアノテーションを比較し、比較に基づいて、複数の作業者間にアノテーションの付与基準のずれがあるかを判定し、複数の作業者間に付与基準のずれがある場合に警告を行う情報処理装置が提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２１－１９６９０５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
一般的に、機械学習には大量の学習用データが必要であり、人手で行うアノテーションの作業量は膨大である。またアノテーションの作業を行う作業者には扱うデータに対するある程度に知識が必要であり、誰でも簡単にアノテーションの作業を行うことができるわけではない。また扱うデータが秘匿性の高いものである場合、アノテーションの作業を行うことができる人数が制限される可能性がある。
【0006】
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、画像に対するアノテーション作業を支援することが期待できる情報処理方法、コンピュータプログラム及び情報処理装置を提供することにある。
【課題を解決するための手段】
【0007】
一実施形態に係る情報処理方法は、情報処理装置が、それぞれが異なる光の波長に基づいて同じ対象物を撮影した複数の撮影画像を取得し、取得した複数の撮影画像のうちの少なくとも１つの撮影画像に基づいて、前記複数の撮影画像のうちの少なくとも１つの撮影画像に対する関連情報の付与を行う。
【発明の効果】
【0008】
一実施形態による場合は、画像に対するアノテーション作業を支援することが期待できる。
【図面の簡単な説明】
【0009】
【図1】本実施の形態に係る情報処理システムの構成を説明するための模式図である。
【図2】回転フィルタの構成を説明するための模式図である。
【図3】本実施の形態に係る情報処理装置１の構成を示すブロック図である。
【図4】合成画像の一例を示す模式図である。
【図5】赤外線領域画像の一例を示す模式図である。
【図6】アノテーションの作業の一例を説明するための模式図である。
【図7】アノテーションの作業の一例を説明するための模式図である。
【図8】学習用データの一例を説明するための模式図である。
【図9】本実施の形態に係る情報処理装置が行うアノテーション処理の手順を示すフローチャートである。
【図10】本実施の形態に係る情報処理装置が行うアノテーション処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0010】
本発明の実施形態に係る情報処理システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【0011】
＜システム構成＞
図１は、本実施の形態に係る情報処理システムの構成を説明するための模式図である。本実施の形態に係る情報処理システムは、情報処理装置１、カメラ３及び回転フィルタ７等を備えて構成されている。本実施の形態に係る情報処理システムでは、カメラ３が回転フィルタ７を介して対象物を撮影した撮影画像を情報処理装置１が取得し、ユーザが情報処理装置１を利用してこの撮影画像に対するアノテーションを行うシステムである。
図１は、本実施の形態に係る情報処理システムの構成を説明するための模式図である。本実施の形態に係る情報処理システムは、情報処理装置１、カメラ３及び回転フィルタ７等を備えて構成されている。本実施の形態に係る情報処理システムでは、カメラ３が回転フィルタ７を介して対象物を撮影した撮影画像を情報処理装置１が取得し、ユーザが情報処理装置１を利用してこの撮影画像に対するアノテーションを行うシステムである。
【0012】
アノテーションは、何らかのデータに対して関連する情報を付与する処理又は作業等であり、特に人工知能の分野においては教師あり学習を行うための教師データを作成する処理又は作業等である。アノテーションの作業では、例えば学習モデルへの入力となる数値、画像又は文字列等のデータに対して、学習モデルが出力すべきデータ（正解値又は正解ラベル等の情報）を付与する作業が、一又は複数のユーザにより行われる。本実施の形態に係る情報処理システムは、入力データとして画像を扱うアノテーションの作業を支援するシステムである。
【0013】
また本実施の形態に係る情報処理システムは、例えば画像に写された対象物の領域又は対象物に含まれる異常箇所の領域等のように、画像に含まれる特定の領域を示す情報を付与する、詳しくは画像の画素毎にラベル等の情報を付与するアノテーションの作業を支援する。画像に対してこのような情報が付された学習用データは、いわゆる画像のセグメンテーションを行う学習モデルの機械学習に用いられる。このようなアノテーションの作業は、例えばディスプレイに表示された画像に対し、ユーザがマウス又はペンタブレット等の入力装置を操作して、画像中の特定領域を選択することで行われ得る。
【0014】
ただし本実施の形態に係る情報処理システムにおいて、アノテーションにより入力データに付与されるデータは、例えば画像に写された対象物の異常の有無を示す２値分類結果、又は、画像に写された対象物を複数のクラスのいずれかに分類する多値分類結果等のように、１つの画像に対して１つの値が付与される態様のデータであってもよい。
【0015】
本実施の形態に係る情報処理システムでは、カメラ３及び回転フィルタ７を用いた撮影により、異なる光の波長に基づいて同じ対象物を撮影した複数の撮影画像を取得し、取得した複数の画像を基にアノテーションの作業が行われる。図２は、回転フィルタ７の構成を説明するための模式図である。回転フィルタ７は、円板状の本体部に複数種類のフィルタ７ａ～７ｆが周方向に並べて配置されたものであり、本体部の中心にはモータの回転軸が固定されている。回転フィルタ７は、いずれか１つのフィルタ７ａ～７ｆがカメラ３のレンズの前に位置するよう設置される。回転フィルタ７のモータはカメラ３により回転の制御が行われ、カメラ３はモータの回転を制御して回転フィルタ７の本体部を回転させることで、カメラ３のレンズの前に位置するフィルタ７ａ～７ｆを切り替えることができる。即ちカメラ３は、回転フィルタ７が備える複数種類のフィルタ７ａ～７ｆの１つを選択して、検査対象物の撮影を行うことができる。
【0016】
また本実施の形態に係るカメラ３は、可視光線のみでなく、赤外線を受光して撮影を行うことが可能なカメラである。回転フィルタ７が備える複数種類のフィルタ７ａ～７ｆには、例えば赤色の光を通過させる赤色フィルタ、青色の光を通過させる青色フィルタ、緑色の光を通過させる緑色フィルタ、第１波長（例えば７５０ｎｍ）の赤外線を通過させる第１赤外線フィルタ、及び、第２波長（例えば８００ｎｍ）の赤外線を通過させる第２赤外線フィルタ等が含まれ得る。また回転フィルタ７のフィルタ７ａ～７ｆには、実質的にフィルタなしで通常の撮影をカメラ３にて行うことを可能とするもの（赤外線を受光しない通常のカメラと同等の撮影を行うことを可能とするフィルタ、例えば通常のカメラが備える赤外線を遮断するフィルタなど）が含まれている。
【0017】
本実施の形態に係るカメラ３は、回転フィルタ７を回転させて複数種類のフィルタ７ａ～７ｆを介した検査対象物の撮影を順に行い、撮影した複数の撮影画像を情報処理装置１へ出力する。例えば回転フィルタ７に６種類のフィルタ７ａ～７ｆが設けられている場合、カメラ３は各フィルタ７ａ～７ｆを介した検査対象物の撮影を順に行うことによって、６種類の撮影画像を取得することができる。ただしカメラ３は、回転フィルタ７が備える全てのフィルタ７ａ～７ｆを用いた撮影を行う必要はなく、例えば回転フィルタ７に６種類のフィルタ７ａ～７ｆが設けられている場合であっても、５つ又はそれ以下のフィルタ７ａ～７ｆを用いて撮影を順に行い、５種類又はそれ以下の種類の撮影画像を取得してもよい。
【0018】
なお本実施の形態においては、回転フィルタ７を用いて複数種類のフィルタを変更する構成が採用されているが、フィルタを変更するための構成は回転フィルタ７の構成に限らない。例えば、カメラ３のレンズに対して一又は複数のフィルタがスライドすることにより切り替わる構成であってよく、これら以外の方法でフィルタの切り替えが行われる構成であってよい。またフィルタの切り替えは、カメラ３の制御により行われる構成に限らず、例えば情報処理装置１の制御により自動で行われてよく、ユーザの手動により行われてもよい。ユーザが手動でフィルタを切り替える構成の場合、例えばカメラ３のレンズに対してユーザがフィルタを個別に着脱する構成であってもよい。
【0019】
情報処理装置１は、カメラ３が回転フィルタ７の複数のフィルタ７ａ～７ｆを介して撮影した複数の画像を取得し、これら複数の画像を１セットの画像として保存する。なお本実施の形態においては、カメラ３から情報処理装置１への画像の受け渡しは、例えば有線又は無線の通信を介して行われるものとするが、これに限るものではない。例えば、メモリカード又は光ディスク等の記録媒体を介してカメラ３から情報処理装置１へ画像を授受してもよく、カメラ３及び情報処理装置１がサーバ装置等の他の装置を介して画像を授受してもよく、カメラ３及び情報処理装置１が一体の装置であってもよい。
【0020】
情報処理装置１は、アノテーションの作業を行うユーザに対して、１セットとされた複数の画像のうちの一又は複数の画像を表示し、画像に含まれる特定の領域を指定する操作をユーザから受け付ける。情報処理装置１は、ユーザの操作により指定された領域に含まれる画素（及び、指定されていない領域に含まれる画素）に対して付すラベル等のデータを生成し、生成したデータを画像と共に記憶する。
【0021】
＜装置構成＞
図３は、本実施の形態に係る情報処理装置１の構成を示すブロック図である。本実施の形態に係る情報処理装置１は、処理部１１、記憶部（ストレージ）１２、通信部（トランシーバ）１３、表示部（ディスプレイ）１４及び操作部１５等を備えて構成されている。本実施の形態に係る情報処理装置１は、例えばパーソナルコンピュータ又はタブレット型端末装置等の汎用的な情報処理装置を用いて構成され得る。なお本実施の形態においては、１つの情報処理装置１にて処理が行われるものとして説明を行うが、複数の情報処理装置が分散して処理を行ってもよい。
図３は、本実施の形態に係る情報処理装置１の構成を示すブロック図である。本実施の形態に係る情報処理装置１は、処理部１１、記憶部（ストレージ）１２、通信部（トランシーバ）１３、表示部（ディスプレイ）１４及び操作部１５等を備えて構成されている。本実施の形態に係る情報処理装置１は、例えばパーソナルコンピュータ又はタブレット型端末装置等の汎用的な情報処理装置を用いて構成され得る。なお本実施の形態においては、１つの情報処理装置１にて処理が行われるものとして説明を行うが、複数の情報処理装置が分散して処理を行ってもよい。
【0022】
処理部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）又は量子プロセッサ等の演算処理装置、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を用いて構成されている。処理部１１は、記憶部１２に記憶されたプログラム１２ａを読み出して実行することにより、カメラ３が回転フィルタ７を介して撮影した複数の撮影画像を取得する処理、及び、これら複数の撮影画像を用いたアノテーションの作業を支援する処理等の種々の処理を行う。
【0023】
記憶部１２は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部１２は、処理部１１が実行する各種のプログラム、及び、処理部１１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部１２は、処理部１１が実行するプログラム１２ａを記憶する。また記憶部１２には、ユーザがアノテーションの作業を行うことで生成された機械学習に用いる学習用データを記憶する学習用データ記憶部１２ｂが設けられている。
【0024】
本実施の形態においてプログラム（コンピュータプログラム、プログラム製品）１２ａは、メモリカード又は光ディスク等の記録媒体９９に記録された態様で提供され、情報処理装置１は記録媒体９９からプログラム１２ａを読み出して記憶部１２に記憶する。ただし、プログラム１２ａは、例えば情報処理装置１の製造段階において記憶部１２に書き込まれてもよい。また例えばプログラム１２ａは、遠隔のサーバ装置等が配信するものを情報処理装置１が通信にて取得してもよい。例えばプログラム１２ａは、記録媒体９９に記録されたものを書込装置が読み出して情報処理装置１の記憶部１２に書き込んでもよい。プログラム１２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９９に記録された態様で提供されてもよい。
【0025】
学習用データ記憶部１２ｂは、カメラ３が撮影した一又は複数の撮影画像と、ユーザのアノテーションの作業により付された情報とを対応付けて、学習用データとして記憶する。なお、カメラ３が例えば６種類の光の波長による同一対象物の撮影を行って６つの撮影画像を情報処理装置１が取得する場合、ユーザのアノテーションの作業がなされた後の学習用データには、６つの撮影画像のうちの少なくとも１つの撮影画像が含まれていればよく、６つの撮影画像の全てが含まれていなくてよい。即ち、学習用データには、学習モデルの機械学習に必要な画像（学習モデルへ入力される画像）のみが少なくとも含まれていればよく、機械学習に不要な画像は含まれていなくてよい。
【0026】
通信部１３は、例えば通信ケーブルを介してカメラ３に接続され、カメラ３との間で撮影画像及び制御情報等のデータの授受を行う。通信部１３は、例えばＵＳＢ（Universal Serial Bus）又はＬＡＮ（Local Area Network）等の通信規格に基づいてデータの授受を行ってよい。また通信部１３は、通信ケーブルを介すことなく、無線通信によりカメラ３とのデータの授受を行ってもよい。
【0027】
表示部１４は、液晶ディスプレイ等を用いて構成されており、処理部１１の処理に基づいて種々の画像及び文字等を表示する。操作部１５は、ユーザの操作を受け付け、受け付けた操作を処理部１１へ通知する。例えば操作部１５は、機械式のボタン又は表示部１４の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付ける。また例えば操作部１５は、マウス及びキーボード等の入力デバイスであってよく、これらの入力デバイスは情報処理装置１に対して取り外すことが可能な構成であってもよい。
【0028】
また本実施の形態に係る情報処理装置１には、記憶部１２に記憶されたプログラム１２ａを処理部１１が読み出して実行することにより、撮影画像取得部１１ａ、アノテーション処理部１１ｂ及び表示処理部１１ｃ等が、ソフトウェア的な機能部として処理部１１に実現される。なお本図においては、処理部１１の機能部として、カメラ３の撮影画像に基づくアノテーションを支援する処理に関連する機能部を図示し、これ以外の処理に関する機能部は図示を省略している。
【0029】
撮影画像取得部１１ａは、通信部１３にてカメラ３との間でデータの送受信を行うことによって、カメラ３が撮影した対象物の撮影画像、即ち回転フィルタ７の複数のフィルタ７ａ～７ｆを介して撮影した複数の撮影画像を取得する処理を行う。撮影画像取得部１１ａは、取得した撮影画像を記憶部１２に一時的に記憶する。
【0030】
アノテーション処理部１１ｂは、カメラ３の撮影画像に対するユーザのアノテーションの作業を支援する処理を行う。例えば、アノテーション処理部１１ｂは、異なる光の波長に基づいて撮影された複数の画像を表示部３４に並べて表示し、ユーザからいずれの画像を基にアノテーションの作業を行うかの選択を受け付ける。アノテーション処理部１１ｂは、選択された画像を表示部３４に拡大表示し、表示した画像の中から特定のラベルを付す画像領域の指定をユーザから受け付ける。アノテーション処理部１１ｂは、指定された画像領域に関する情報を撮影画像に付して学習用データとし、この学習用データを学習用データ記憶部１２ｂに記憶する。
【0031】
このときにアノテーション処理部１１ｂは、例えばマウス等の入力デバイスにより表示した画像の特定箇所の選択をユーザから受け付け、受け付けた特定箇所の画素値を画像から取得し、この画素値を含む所定範囲内の画素値の画素が集まっている領域を画像から特定して候補領域とし、この候補領域を示す境界線又は図形等を基の画像に重畳して表示することでユーザに提示する。ユーザはこの候補領域の承認又は修正等の操作を行い、アノテーション処理部１１ｂは承認又は修正等がなされた領域を、特定のラベルを付す画像領域として受け付ける。
【0032】
またアノテーション処理部１１ｂは、複数の画像に基づいて、特定のラベルを付す画像領域の候補となる一又は複数の候補領域を先に決定し、元の画像に候補領域を示す境界線又は図形等を重畳して表示してもよい。ユーザは、表示された一又は複数の候補領域の中から適切なものを選択する、不適切なものを修正又は削除する等の操作を行い、アノテーション処理部１１ｂは、これらの操作がなされた後の候補領域を、特定のラベルを付す画像領域として受け付けることができる。
【0033】
表示処理部１１ｃは、画像及び文字等の種々の情報を表示部１４に表示する処理を行う。本実施の形態において表示処理部１１ｃは、アノテーション処理部１１ｂによるアノテーションの支援において、撮影画像の表示、領域を示す境界線又は図形等の表示、及び、ユーザに対するメッセージの表示等の種々の表示を行う。
【0034】
＜アノテーションの支援＞
本実施の形態に係る情報処理装置１は、カメラ３が回転フィルタ７の各フィルタ７ａ～７ｆを介して撮影した複数の撮影画像を取得し、取得した複数の画像を１セットとして記憶部１２に記憶し、多数の撮影画像のセットを蓄積する。ユーザは、情報処理装置１を用いて、蓄積された撮影画像に対するアノテーションの作業を行う。アノテーションの作業としてユーザは、例えば撮影画像に置ける特定の対象物が写された領域を指定する操作、又は、撮影画像に写された対象物の異常箇所が写された領域を指定する操作等を行う。なおユーザは、例えば撮影画像に写されている対象物の分類を示すラベルの入力、又は、撮影画像に写されている対象物に異常があるか否かを示すラベルの入力等をアノテーションの作業として行ってもよい。
本実施の形態に係る情報処理装置１は、カメラ３が回転フィルタ７の各フィルタ７ａ～７ｆを介して撮影した複数の撮影画像を取得し、取得した複数の画像を１セットとして記憶部１２に記憶し、多数の撮影画像のセットを蓄積する。ユーザは、情報処理装置１を用いて、蓄積された撮影画像に対するアノテーションの作業を行う。アノテーションの作業としてユーザは、例えば撮影画像に置ける特定の対象物が写された領域を指定する操作、又は、撮影画像に写された対象物の異常箇所が写された領域を指定する操作等を行う。なおユーザは、例えば撮影画像に写されている対象物の分類を示すラベルの入力、又は、撮影画像に写されている対象物に異常があるか否かを示すラベルの入力等をアノテーションの作業として行ってもよい。
【0035】
情報処理装置１は、例えば記憶部１２に記憶された１セットの撮影画像を読み出し、この１セットに含まれる複数の画像を表示部３４に並べて表示する。情報処理装置１は、同一の対象物を異なる光の波長に基づいて撮影した複数の撮影画像の中から、アノテーションの作業に用いる撮影画像の選択をユーザから受け付ける。情報処理装置１は、ユーザにより選択された撮影画像を表示部３４に拡大して表示し、撮影画像の領域を指定する操作を操作部３５にて受け付ける。
【0036】
また本実施の形態に係る情報処理装置１は、カメラ３により撮影された複数の撮影画像のみでなく、これらの複数の撮影画像を合成した合成画像を生成し、複数の撮影画像と共に一又は複数の合成画像をユーザの選択対象として並べて表示してもよい。図４は、合成画像の一例を示す模式図である。本図には、「ＲＧＢ画像」、「赤外線領域画像」、「赤色領域画像」及び「合成画像」の４つの画像が情報処理装置１の表示部３４に並べて表示されている。
【0037】
「ＲＧＢ画像」は、カメラ３による通常の撮影画像、即ち回転フィルタ７が備える複数のフィルタ７ａ～７ｆのうち、実質的にフィルタなしでの撮影を行うものに切り替えてカメラ３が撮影した撮影画像である。「赤外線領域画像」は、所定の波長（所定範囲の波長）の赤外線を透過し、これ以外の波長の光を遮断するフィルタを介してカメラ３が撮影した撮影画像である。「赤色領域画像」は、可視光線の赤色の波長を透過し、これ以外の波長の光を遮断するフィルタ、いわゆる赤色フィルタを介してカメラ３が撮影した撮影画像である。これら３つの撮影画像は、カメラ３の撮影により得られる画像である。
【0038】
「合成画像」は、情報処理装置１が上記の「赤外線領域画像」及び「赤色領域画像」を合成した画像である。「赤外線領域画像」及び「赤色領域画像」は、共にカメラ３が撮影した撮影画像であるため、画像のサイズは同じであり、情報処理装置１は、「赤外線領域画像」及び「赤色領域画像」の対応する各画素について以下の（１）式の演算を行うことにより、合成画像の各画素の画素値を算出し、合成画像を生成する。
【0039】
合成画像の画素値＝（赤外線領域画像の画素値－赤色領域画像の画素値）／（赤外線領域画像の画素値＋赤色領域画像の画素値） …（１）
【0040】
赤外線領域画像の画素値及び赤色領域画像を用いて上記の（１）式で生成される合成画像は、ＮＤＶＩ（Normalized Difference Vegetation Index、正規化差植生指数）の画像であり、植物による光の反射特性を示す。図４の合成画像では、画素値が大きい（即ち、画像中で白色又は白色に近い色）の領域は、植物が存在する領域である。例えばユーザが行うアノテーションの対象物が植物である場合、ＮＤＶＩの合成画像を表示することで、ユーザは画像中の植物の存在する場所を容易に把握することができる。
【0041】
なお情報処理装置１が生成する合成画像は、上記のＮＤＶＩの画像に限らない。情報処理装置１は、例えば水の有無を可視化することができるＮＤＷＩ（Normalized Difference Water Index、正規化水指標）、積雪を可視化することができるＮＤＳＩ（Normalized Difference Snow Index、正規化積雪指標）、及び、砂又はコンクリート等の分布を示すＮＤＳＩ（Normalized Difference Soil Index、正規化土壌指標）等の画像を合成画像として生成してもよい。情報処理装置１は、カメラ３が撮影した複数の撮影画像の中から適宜の２つの画像を選択し、この２つの画像を上記の（１）式を拡張した以下の（２）式に基づいて合成することができる。また情報処理装置１は、撮影画像と合成画像とを更に合成してもよく、合成画像と合成画像とを更に合成してもよい。
【0042】
合成画像の画素値＝（第１画像の画素値－第２画像の画素値）／（第１画像の画素値＋第２画像の画素値） …（２）
【0043】
なお情報処理装置１は、合成画像の生成及び表示を行わなくてもよい。どのような合成画像を生成するべきであるかは、アノテーションの対象物がどのようなものであるかによる。このため例えば、撮影画像の合成を行うか否か、及び、合成する撮影画像の組み合わせ等の設定を、アノテーションを行うユーザから情報処理装置１が受け付けて、設定された内容に応じて合成画像を生成してもよい。また例えば、アノテーションの作業の開始前に、情報処理装置１が複数種類の組み合わせで適宜に合成画像を生成し、生成した複数種類の合成画像を一覧表示してユーザに適した合成画像を選択させ、選択された合成画像の条件で以後の合成画像の生成を行ってもよい。
【0044】
図５は、赤外線領域画像の一例を示す模式図である。本図には、対象物としてリンゴを撮影した「ＲＧＢ画像」及び「赤外線領域画像」の２つの画像が情報処理装置１の表示部３４に並べて表示されている。ユーザは、例えば画像に写されたリンゴに存在する異常箇所（傷又は痛んだ箇所など）を特定するアノテーションを行う。ＲＧＢ画像では、リンゴの表面に模様が存在するため、異常箇所がいずれであるかをユーザが判別することが容易ではない。これに対して、特定の波長の赤外線に基づく撮影を行った赤外線領域画像では、リンゴの異常箇所（図中の白抜き矢印で指示された箇所）が正常箇所とは異なる階調で写されるため、ユーザが異常箇所を容易に判別することができる。
【0045】
図６及び図７は、アノテーションの作業の一例を説明するための模式図である。本図には、対象物としてアボガドを撮影した赤外線領域画像に対して、アボガドの異常箇所を特定するアノテーションの作業をユーザが行う例が示されている。情報処理装置１は、例えばカメラ３が複数の波長に基づいて撮影した対象物の複数の撮影画像を表示部３４に並べて表示し、これらの撮影画像の中からアノテーションの作業に用いる撮影画像の選択をユーザから受け付ける。本例では、ユーザが赤外線領域画像を選択し、情報処理装置１は、複数の撮影画像の中から所定の赤外線に基づいて撮影された赤外線領域画像を表示部３４に拡大して表示する。
【0046】
ユーザは、例えば情報処理装置１に操作部３５として備えられたマウス等の入力デバイスを利用して、表示部３４に表示されたアボガドの赤外線領域画像の中で、異常箇所に対するクリック等の操作を行う。図６上段には、アボガドの赤外線領域画像に対して異常箇所をマウスカーソル（白抜矢印）で指定する様子が示されている。情報処理装置１は、赤外線領域画像に対してユーザが指定した位置（座標）の画素の画素値を取得し、ユーザが指定した位置を含む異常箇所の候補領域を算出し、この候補領域を元の赤外線領域画像に重畳して表示する。図６下段には、元の赤外線領域画像に候補領域が多角形の図形として重畳して表示された様子が示されている。例えば情報処理装置１は、ユーザが指定した画素を含み、この画素に連なり、且つ、この画素と同じ画素値（この画素との画素値の差が所定範囲内）の複数の画素の集まりを候補領域とすることができる。
【0047】
ユーザは、例えば赤外線領域画像に対して重畳された候補領域に対して、形状又はサイズ等を変更する調整の作業を必要に応じて行うことができる。図７上段には、図６下段の候補領域に対してサイズを小さくする調整を行ったものが示されている。必要に応じたユーザの調整作業の完了後、情報処理装置１は、この候補領域をアノテーションの結果となる領域、即ちアボガドの異常領域として受け付ける。また更に情報処理装置１は、この確定した異常領域と同様の特徴を有する一又は複数の候補領域を赤外線領域画像から算出し、一又は複数の候補領域を元の赤外線領域画像に重畳して表示する。図７下段には、確定した異常領域と共に、複数の候補領域が赤外線領域画像に重畳して表示された様子が示されている。例えば情報処理装置１は、確定した異常領域に含まれる複数の画素の画素値の範囲を取得して、この画素値の範囲と同様の範囲の複数の画素が集まり、且つ、画素数が閾値を超える画像領域を抽出することで一又は候補領域とすることができる。
【0048】
ユーザは、例えば表示された一又は複数の候補領域に対して、候補領域の削除及び調整等の作業を必要に応じて行うことができる。必要に応じたこれらの作業の完了後、情報処理装置１は、一又は複数の候補領域をアノテーションの結果となる領域、即ちアボガドの異常領域として受け付ける。情報処理装置１は、上記の手順で撮影画像に対するユーザのアノテーションの作業の結果を受け付け、アノテーションの結果を示すデータを生成する。
【0049】
情報処理装置１が生成するアノテーション結果のデータは、カメラ３の撮影画像と同じサイズの配列（行列）とすることができる。例えば撮影画像が１００画素×１００画素のサイズであれば、アノテーションの結果のデータは１００×１００の配列とし、画像の各画素に対応する配列の要素に異常であることを示す”１”又は正常であることを示す”０”のいずれかの値を情報処理装置が格納することで、アノテーションの結果のデータが生成される。なお、アノテーションにより設定される値は、“０”及び“１”等の２値に限るものではなく、例えば“０”、“１”及び“２”等の３値であってもよく、４値以上であってもよい。また、アノテーションの結果のデータの構成は、これに限るものではなく、例えば図７下段等に示した一又は複数の領域を示す多角形の頂点の座標を集めたデータであってもよい。
【0050】
なお、ユーザがアノテーションの作業を行う場合には、多数の画像に対して連続的に作業を繰り返して行う場合が多い。このような場合に情報処理装置１は、例えば最初のアノテーションの作業については図６及び図７に示した手順で処理を行い、２つ目以降のアノテーションの作業については手順の一部を省略してもよい。例えば最初のアノテーションの作業が赤外線領域画像を用いて行われた場合、情報処理装置１は、２つ目以降のアノテーションの作業について異なる光の波長に基づいて撮影された複数の撮影画像の一覧表示及び選択の手順を省略し、２つ目以降のアノテーションの作業ではユーザの選択を受け付けることなく赤外線領域画像を表示してもよい。また更に情報処理装置１は、最初のアノテーションの作業において異常領域とされた領域と同じ特徴を有する領域を２つ目以降のアノテーションの対称画像から抽出し、図７下段と同様に複数の候補領域としてユーザに提示してもよい。
【0051】
アノテーションの結果のデータを生成した情報処理装置１は、このデータを撮影画像と対応付けて学習用データとし、学習用データ記憶部１２ｂに記憶する。図８は、学習用データの一例を説明するための模式図である。図示の例では、カメラ３が回転フィルタ７を介した撮影を行うことにより、「ＲＧＢ画像」、「赤色領域画像」、「緑色領域画像」、「青色領域画像」、「赤外線領域画像」及び「紫外線領域画像」の６種類の撮影画像が得られるものとしている。また情報処理装置１は、例えば図６及び図７に示したように、「赤外線領域画像」に基づくユーザのアノテーションの作業を受け付けて、アノテーションの結果のデータを生成したものとする。
【0052】
情報処理装置１は、例えば６種類の撮影画像のうちの１つである「ＲＧＢ画像」と、ユーザによるアノテーションの結果のデータとを対応付けたデータを学習用データとして生成し、学習用データ記憶部１２ｂに記憶することができる。このように、学習用データには、カメラ３が撮影した複数の撮影画像の全てを含んでもよく、その一部の画像のみを含んでもよい。また、学習用データに一部の撮影画像のみを含める場合、学習用データに含める撮影画像は、図示のように「ＲＧＢ画像」に限られるものではなく、例えば「赤外線領域画像」のみであってもよく、他の画像であってもよい。また学習用データの画像には、例えば複数の撮影画像を合成した合成画像が含まれていてもよく、合成画像のみとアノテーションの結果のデータとが対応付けられて学習用データとされてもよい。
【0053】
学習用データにいずれの撮影画像を含むかは、この学習用データを用いて機械学習がなされる学習モデルの使用目的又は構成等により定まる。例えば、通常のカメラが撮影した撮影画像（ＲＧＢ画像）を基に異常検出を行う学習モデルを機械学習にて生成する場合、学習用データにはＲＧＢ画像とアノテーションの結果のデータとが含まれ得る。また例えば、赤外線による撮影を行うカメラに組み込まれて対象物を検出する学習モデルを生成する場合、学習用データには赤外線領域画像とアノテーションの結果のデータとが含まれ得る。また例えば、回転フィルタ７と同様に複数のフィルタを切り替えて撮影可能なカメラに組み込まれる学習モデルを生成する場合、学習用データにはカメラが有するフィルタに対応する複数の画像とアノテーションの結果のデータとが含まれ得る。情報処理装置１は、学習用データにいずれの撮影画像を含めるかについて、例えばユーザから設定を受け付けてもよい。
【0054】
＜フローチャート＞
図９は、本実施の形態に係る情報処理装置１が行うアノテーション処理の手順を示すフローチャートである。本実施の形態に係る情報処理装置１の処理部１１の撮影画像取得部１１ａは、カメラ３が回転フィルタ７を介して撮影した複数の撮影画像を予め取得し、記憶部１２に記憶して蓄積している。処理部１１のアノテーション処理部１１ｂは、記憶部１２に蓄積された撮影画像の中から、１セットの複数の撮影画像を取得する（ステップＳ１）。アノテーション処理部１１ｂは、例えばユーザによる合成処理の要否の設定に基づいて、ステップＳ１にて取得した複数の撮影画像を適宜に組み合わせて合成画像を生成する（ステップＳ２）。
図９は、本実施の形態に係る情報処理装置１が行うアノテーション処理の手順を示すフローチャートである。本実施の形態に係る情報処理装置１の処理部１１の撮影画像取得部１１ａは、カメラ３が回転フィルタ７を介して撮影した複数の撮影画像を予め取得し、記憶部１２に記憶して蓄積している。処理部１１のアノテーション処理部１１ｂは、記憶部１２に蓄積された撮影画像の中から、１セットの複数の撮影画像を取得する（ステップＳ１）。アノテーション処理部１１ｂは、例えばユーザによる合成処理の要否の設定に基づいて、ステップＳ１にて取得した複数の撮影画像を適宜に組み合わせて合成画像を生成する（ステップＳ２）。
【0055】
処理部１１の表示処理部１１ｃは、ステップＳ１にて取得した撮影画像及びステップＳ２にて生成した合成画像を含む複数の画像を表示部３４に表示する（ステップＳ３）。アノテーション処理部１１ｂは、表示部３４に表示した複数の画像の中から、アノテーションの作業に用いる一又は複数の画像の選択を受け付ける（ステップＳ４）。表示処理部１１ｃは、ステップＳ４にて選択された一又は複数の画像を表示部３４に表示する（ステップＳ５）。
【0056】
アノテーション処理部１１ｂは、表示部３４に表示した画像に対する異常箇所などのアノテーションの対象箇所（位置、座標など）の指定を、ユーザによる操作部３５の操作に基づいて受け付ける（ステップＳ６）。アノテーション処理部１１ｂは、ステップＳ６にて受け付けた対象箇所を含む、異常領域などのアノテーションの対象領域の候補となる候補領域を算出し、元の画像に重畳して候補領域を表示する（ステップＳ７）。アノテーション処理部１１ｂは、表示した候補領域に対する形状又はサイズ等の調整を、ユーザによる操作部３５の操作に基づいて受け付ける（ステップＳ８）。アノテーション処理部１１ｂは、例えばユーザによる確定の操作が行われたことに応じて、必要に応じて修正がなされた候補領域を、アノテーションの対象領域として確定する（ステップＳ９）。
【0057】
次いでアノテーション処理部１１ｂは、ステップＳ９にて確定した対称領域と類似する一又は複数の他の候補領域を算出し、元の画像に重畳して他の候補領域を表示する（ステップＳ１０）。アノテーション処理部１１ｂは、表示した他の候補領域に対する形状又はサイズ等の調整を、ユーザによる操作部３５の操作に基づいて受け付ける（ステップＳ１１）。アノテーション処理部１１ｂは、例えばユーザによる確定の操作が行われたことに応じて、必要に応じて修正がなされた他の候補領域を、アノテーションの対象領域として確定する（ステップＳ１２）。
【0058】
アノテーション処理部１１ｂは、ステップＳ９及びＳ１２にて確定した対象領域に関する情報を含むアノテーション結果のデータを生成する（ステップＳ１３）。アノテーション処理部１１ｂは、ステップＳ１にて取得した複数の撮影画像の中から一又は複数の撮影画像を適宜に選択し、選択した一又は複数の撮影画像と、ステップＳ１３にて生成したアノテーション結果のデータとを対応付けた学習用データを生成し、学習用データ記憶部１２ｂに記憶して（ステップＳ１４）、処理を終了する。
【0059】
図１０は、本実施の形態に係る情報処理装置１が行うアノテーション処理の手順を示すフローチャートである。本フローチャートは、ユーザがアノテーションの作業を続けて繰り返し行う場合に、２つ目以降のアノテーションの作業を図９のフローチャートに示した処理の一部を省略して実施する手順である。情報処理装置１は、２つ目以降のアノテーションの作業について、図１０に示す手順又は図９に示す手順のいずれを採用してもよく、いずれの手順で処理を行うかをユーザの選択に基づいて決定してもよい。
【0060】
本実施の形態に係る情報処理装置１の処理部１１のアノテーション処理部１１ｂは、記憶部１２に蓄積された撮影画像の中から、１セットの複数の撮影画像を取得する（ステップＳ３１）。アノテーション処理部１１ｂは、例えばユーザによる合成処理の要否の設定に基づいて、ステップＳ３１にて取得した複数の撮影画像を適宜に組み合わせて合成画像を生成する（ステップＳ３２）。
【0061】
アノテーション処理部１１ｂは、ステップＳ１にて取得した撮影画像及びステップＳ２にて生成した合成画像を含む複数の画像の中から、前回のアノテーション処理においてユーザが選択した画像と同じ条件の画像を選択し、選択した画像を表示部３４に表示する（ステップＳ３３）。またアノテーション処理部１１ｂは、前回のアノテーション処理において確定した対象領域と同じ特徴を有する一又は複数の候補領域を算出し、元の画像に重畳して一又は複数の候補領域を表示する（ステップＳ３４）。
【0062】
アノテーション処理部１１ｂは、表示した候補領域に対する形状又はサイズ等の調整を、ユーザによる操作部３５の操作に基づいて受け付ける（ステップＳ３５）。アノテーション処理部１１ｂは、例えばユーザによる確定の操作が行われたことに応じて、必要に応じて修正がなされた一又は複数の候補領域を、アノテーションの対象領域として確定する（ステップＳ３６）。
【0063】
アノテーション処理部１１ｂは、ステップＳ３６にて確定した対象領域に関する情報を含むアノテーション結果のデータを生成する（ステップＳ３７）。アノテーション処理部１１ｂは、ステップＳ３１にて取得した複数の撮影画像の中から一又は複数の撮影画像を適宜に選択し、選択した一又は複数の撮影画像と、ステップＳ３７にて生成したアノテーション結果のデータとを対応付けた学習用データを生成し、学習用データ記憶部１２ｂに記憶して（ステップＳ３８）、処理を終了する。
【0064】
＜まとめ＞
以上の構成の本実施の形態に係る情報処理システムでは、異なる光の波長に基づいて同じ対象物をカメラ３が撮影した複数の撮影画像を情報処理装置１が取得し、取得した複数の撮影画像のうちの少なくとも１つの撮影画像に基づいて、複数の撮影画像のうちの少なくとも１つの撮影画像に対するアノテーション結果のデータ（関連情報）を付与する。なお、アノテーションの作業に用いる少なくとも１つの撮影画像と、アノテーション結果のデータを付与する少なくとも１つの撮影画像とは、同じ撮影画像であってもよく、異なる撮影画像であってもよい。異なる光の波長に基づいて撮影された複数の撮影画像をアノテーションに用いることで、単一の波長に基づいて撮影された１つの撮影画像を基にアノテーションを行う場合と比較して、ユーザによるアノテーションの作業を容易化及び高精度化することが期待できる。
以上の構成の本実施の形態に係る情報処理システムでは、異なる光の波長に基づいて同じ対象物をカメラ３が撮影した複数の撮影画像を情報処理装置１が取得し、取得した複数の撮影画像のうちの少なくとも１つの撮影画像に基づいて、複数の撮影画像のうちの少なくとも１つの撮影画像に対するアノテーション結果のデータ（関連情報）を付与する。なお、アノテーションの作業に用いる少なくとも１つの撮影画像と、アノテーション結果のデータを付与する少なくとも１つの撮影画像とは、同じ撮影画像であってもよく、異なる撮影画像であってもよい。異なる光の波長に基づいて撮影された複数の撮影画像をアノテーションに用いることで、単一の波長に基づいて撮影された１つの撮影画像を基にアノテーションを行う場合と比較して、ユーザによるアノテーションの作業を容易化及び高精度化することが期待できる。
【0065】
また本実施の形態に係る情報処理システムでは、情報処理装置１が複数の撮影画像のうちの少なくとも１つの撮影画像に対する画像領域の指定をユーザから受け付け、受け付けた画像領域の類似領域を候補領域として撮影画像から抽出し、指定された画像領域及び抽出した候補領域をアノテーションの対象領域とし、これら対象領域に関する情報を関連情報として撮影画像に付与する。また情報処理装置１は、ユーザの指定による画像領域及びこれに類似する候補領域を元の撮影画像に重畳して表示してもよい。これらによりユーザは、撮影画像に含まれる複数の領域をアノテーションの対象領域として容易に指定することができる。
【0066】
また本実施の形態に係る情報処理システムでは、情報処理装置１が撮影画像に対する対象箇所（位置、座標など）の選択をユーザから受け付け、受け付けた対象箇所を含む画像領域を決定し、撮影画像に重畳して画像領域を表示する。このときに情報処理装置１は、例えば受け付けた対象箇所の特徴と類似する特徴を有する箇所を撮影画像から抽出することで画像領域を決定することができる。情報処理装置１は、表示した画像領域に対する形状又はサイズ等の修正をユーザから必要に応じて受け付け、必要に応じて修正がなされた（不要であれば修正がなされない）画像領域をアノテーションの対象領域の指定として受け付ける。これによりユーザは、マウス又はペンタブレット等の入力デバイスで画像中の対象箇所を選択することで、この箇所を含む領域をアノテーションの対象領域として容易に指定することができる。
【0067】
また本実施の形態に係る情報処理システムでは、情報処理装置１が撮影画像の取得及び関連情報の付与等のアノテーションの処理を繰り返し行う。情報処理装置１は、今回のアノテーションのための複数の撮影画像を取得した後、前回のアノテーションの結果（関連情報の付与の結果）に基づいて、今回の撮影画像から一又は複数の候補領域を抽出し、撮影画像に重畳して候補領域を表示する。このときに情報処理装置１は、例えば前回のアノテーションにおいてユーザが選択した画像領域と同じ特徴を有する画像領域を今回の撮影画像から候補領域として抽出することができる。情報処理装置１は、表示した候補領域に対する形状又はサイズ等の修正をユーザから必要に応じて受け付け、必要に応じて修正がなされた（不要であれば修正がなされない）候補領域をアノテーションの対象領域とし、この候補領域に関する情報を関連情報として撮影画像に付与する。これにより、同じ処理が繰り返されるアノテーションの作業においてユーザの負担を低減することが期待できる。
【0068】
また本実施の形態に係る情報処理システムでは、情報処理装置１が少なくとも２つの撮影画像を合成した合成画像を生成し、生成した合成画像に基づいて関連情報の付与を行う。これにより、カメラ３が撮影した複数の撮影画像に加えて、情報処理装置１が生成した合成画像に基づいてユーザはアノテーションの作業を行うことができるため、アノテーション作業の更なる容易化及び高精度化等が期待できる。
【0069】
また本実施の形態に係る情報処理システムでは、カメラ３が撮影する複数の撮影画像には、可視光に基づいて撮影した可視光画像（例えばＲＧＢ画像）と、非可視光に基づいて撮影した非可視光画像（例えば赤外線領域画像又は紫外線領域画像等）とを含む。情報処理装置１は、非可視光画像に基づいてアノテーションの処理を行い、アノテーション結果の関連情報を可視光画像に付与して学習用データを生成する。このような学習用データを用いた機械学習を行うことにより、例えば可視光で撮影された撮影画像を扱う学習モデルを精度よく生成することが期待できる。
【0070】
なお本実施の形態においては、例えば図１に示したようにカメラ３及び回転フィルタ７を別装置としているが、これに限るものではなく、回転フィルタ７又はこれと同等の機構をカメラ３が内蔵して備えていてもよい。また本実施の形態に係る情報処理システムでは、カメラ３が撮影した画像を情報処理装置１が取得し、ユーザが情報処理装置１を用いてアノテーションの作業を行う構成としたが、これに限るものではなく、カメラ３に表示部及び操作部等を設けて、ユーザがカメラ３を用いてアノテーションの作業を行う構成であってもよい。またカメラ３が無線通信等により遠隔のサーバ装置等へ撮影画像を送信し、情報処理装置１がサーバ装置と通信を行って撮影画像を取得してもよい。また、図４～図７に示した画像は一例であって、本実施の形態に係る情報処理システムはどのような撮影画像を扱ってもよく、どのようなアノテーションの処理を行ってもよい。
【0071】
また本実施の形態においては、いわゆるセグメンテーションを行う学習モデルの機械学習に用いる学習用データを生成するアノテーションの作業を例に説明を行ったが、これに限るものではない。例えば、撮影画像に写されたものを複数のクラスに分類する学習モデル又は撮影画像に写されたものの異常の有無を判定する学習モデル等の機械学習に用いる学習用データ、即ち撮影画像に対してクラス又は異常有無を示す１つのラベルが付された学習用データを生成するアノテーションの作業についても本技術は適用可能である。この場合に情報処理装置１は、例えばカメラ３が撮影した複数の撮影画像及びこれらの撮影画像から適宜に生成した合成画像を表示部３４に一覧表示し、ユーザからラベルの入力を受け付けて、撮影画像の少なくとも１つと入力されたラベルとを対応付けた学習用データを生成する。ユーザは、単にＲＧＢ画像のみを見てラベルを付す場合と比較して、異なる光の波長に基づいて撮影された複数の撮影画像を見てラベルを付す作業を行うことで、撮影画像に写されたもののクラス又は異常の有無等を容易に判断することができる。
【0072】
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【0073】
各実施形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも１つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載してもよい。
【符号の説明】
【0074】
１ 情報処理装置
３ カメラ
７ 回転フィルタ
７ａ～７ｆ フィルタ
１１ 処理部
１１ａ 撮影画像取得部
１１ｂ アノテーション処理部
１１ｃ 表示処理部
１２ 記憶部
１２ａ プログラム
１２ｂ 学習用データ記憶部
１３ 通信部
１４ 表示部
１５ 操作部
３ カメラ
７ 回転フィルタ
７ａ～７ｆ フィルタ
１１ 処理部
１１ａ 撮影画像取得部
１１ｂ アノテーション処理部
１１ｃ 表示処理部
１２ 記憶部
１２ａ プログラム
１２ｂ 学習用データ記憶部
１３ 通信部
１４ 表示部
１５ 操作部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2022-10-07
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
一実施形態に係る情報処理方法は、情報処理装置が、第１波長帯の光に基づいて対象物を撮影した第１の撮影画像及び前記第１波長帯とは異なる第２波長帯の光に基づいて前記対象物を撮影した第２の撮影画像を含む、それぞれが異なる光の波長に基づいて同じ前記対象物を撮影した複数の撮影画像を取得し、取得した複数の撮影画像のうちの少なくとも前記第２の撮影画像に基づいて、前記第１の撮影画像に対する関連情報の付与を行い、前記第１の撮影画像及び前記関連情報を対応付けたデータを出力し、前記データには前記第２の撮影画像を含まない。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
情報処理装置が、
第１波長帯の光に基づいて対象物を撮影した第１の撮影画像及び前記第１波長帯とは異なる第２波長帯の光に基づいて前記対象物を撮影した第２の撮影画像を含む、それぞれが異なる光の波長に基づいて同じ前記対象物を撮影した複数の撮影画像を取得し、
取得した複数の撮影画像のうちの少なくとも前記第２の撮影画像に基づいて、前記第１の撮影画像に対する関連情報の付与を行い、
前記第１の撮影画像及び前記関連情報を対応付けたデータを出力し、
前記データには前記第２の撮影画像を含まない、
情報処理方法。
第１波長帯の光に基づいて対象物を撮影した第１の撮影画像及び前記第１波長帯とは異なる第２波長帯の光に基づいて前記対象物を撮影した第２の撮影画像を含む、それぞれが異なる光の波長に基づいて同じ前記対象物を撮影した複数の撮影画像を取得し、
取得した複数の撮影画像のうちの少なくとも前記第２の撮影画像に基づいて、前記第１の撮影画像に対する関連情報の付与を行い、
前記第１の撮影画像及び前記関連情報を対応付けたデータを出力し、
前記データには前記第２の撮影画像を含まない、
情報処理方法。
【請求項2】
前記情報処理装置が、
取得した複数の撮影画像のうちの少なくとも１つの撮影画像に対する画像領域の指定を受け付け、
受け付けた画像領域の類似領域を前記撮影画像から抽出し、
前記画像領域及び前記類似領域に関する情報を、前記関連情報として付与する、
請求項１に記載の情報処理方法。
取得した複数の撮影画像のうちの少なくとも１つの撮影画像に対する画像領域の指定を受け付け、
受け付けた画像領域の類似領域を前記撮影画像から抽出し、
前記画像領域及び前記類似領域に関する情報を、前記関連情報として付与する、
請求項１に記載の情報処理方法。
【請求項3】
前記情報処理装置が、
前記撮影画像に重畳して前記画像領域及び前記類似領域を表示する、
請求項２に記載の情報処理方法。
前記撮影画像に重畳して前記画像領域及び前記類似領域を表示する、
請求項２に記載の情報処理方法。
【請求項4】
前記情報処理装置が、
取得した複数の撮影画像のうちの少なくとも１つの撮影画像に対する対象箇所の選択を受け付け、
受け付けた前記対象箇所を含む画像領域を決定し、
前記撮影画像に重畳して、決定した前記画像領域を表示し、
表示した前記画像領域の修正を受け付け、
修正を受け付けた前記画像領域を前記指定として受け付ける、
請求項２又は請求項３に記載の情報処理方法。
取得した複数の撮影画像のうちの少なくとも１つの撮影画像に対する対象箇所の選択を受け付け、
受け付けた前記対象箇所を含む画像領域を決定し、
前記撮影画像に重畳して、決定した前記画像領域を表示し、
表示した前記画像領域の修正を受け付け、
修正を受け付けた前記画像領域を前記指定として受け付ける、
請求項２又は請求項３に記載の情報処理方法。
【請求項5】
前記情報処理装置が、
前記撮影画像の取得及び前記関連情報の付与を繰り返し行い、
取得した複数の画像のうちの少なくとも１つの撮影画像から、前回の前記関連情報の付与の結果に基づいて、一又は複数の候補領域を抽出し、
前記撮影画像に重畳して、抽出した前記候補領域を表示し、
表示した前記候補領域の修正を受け付け、
修正を受け付けた前記候補領域に関する情報を、前記関連情報として付与する、
請求項２又は請求項３に記載の情報処理方法。
前記撮影画像の取得及び前記関連情報の付与を繰り返し行い、
取得した複数の画像のうちの少なくとも１つの撮影画像から、前回の前記関連情報の付与の結果に基づいて、一又は複数の候補領域を抽出し、
前記撮影画像に重畳して、抽出した前記候補領域を表示し、
表示した前記候補領域の修正を受け付け、
修正を受け付けた前記候補領域に関する情報を、前記関連情報として付与する、
請求項２又は請求項３に記載の情報処理方法。
【請求項6】
前記情報処理装置が、
前記複数の撮影画像のうちの少なくとも２つの撮影画像を合成した合成画像を生成し、
生成した合成画像に基づいて、前記複数の撮影画像のうちの少なくとも１つの撮影画像に対する関連情報の付与を行う、
請求項１に記載の情報処理方法。
前記複数の撮影画像のうちの少なくとも２つの撮影画像を合成した合成画像を生成し、
生成した合成画像に基づいて、前記複数の撮影画像のうちの少なくとも１つの撮影画像に対する関連情報の付与を行う、
請求項１に記載の情報処理方法。
【請求項7】
前記第１の撮影画像は、可視光に基づいて撮影した可視光画像であり、
前記第２の撮影画像は、非可視光に基づいて撮影した非可視光画像である、
請求項１に記載の情報処理方法。
前記第２の撮影画像は、非可視光に基づいて撮影した非可視光画像である、
請求項１に記載の情報処理方法。
【請求項8】
コンピュータに、
第１波長帯の光に基づいて対象物を撮影した第１の撮影画像及び前記第１波長帯とは異なる第２波長帯の光に基づいて前記対象物を撮影した第２の撮影画像を含む、それぞれが異なる光の波長に基づいて同じ前記対象物を撮影した複数の撮影画像を取得し、
取得した複数の撮影画像のうちの少なくとも前記第２の撮影画像に基づいて、前記第１の撮影画像に対する関連情報の付与を行い、
前記第１の撮影画像及び前記関連情報を対応付けたデータを出力する
処理を実行させ、
前記データには前記第２の撮影画像を含まない、
コンピュータプログラム。
第１波長帯の光に基づいて対象物を撮影した第１の撮影画像及び前記第１波長帯とは異なる第２波長帯の光に基づいて前記対象物を撮影した第２の撮影画像を含む、それぞれが異なる光の波長に基づいて同じ前記対象物を撮影した複数の撮影画像を取得し、
取得した複数の撮影画像のうちの少なくとも前記第２の撮影画像に基づいて、前記第１の撮影画像に対する関連情報の付与を行い、
前記第１の撮影画像及び前記関連情報を対応付けたデータを出力する
処理を実行させ、
前記データには前記第２の撮影画像を含まない、
コンピュータプログラム。
【請求項9】
第１波長帯の光に基づいて対象物を撮影した第１の撮影画像及び前記第１波長帯とは異なる第２波長帯の光に基づいて前記対象物を撮影した第２の撮影画像を含む、それぞれが異なる光の波長に基づいて同じ前記対象物を撮影した複数の撮影画像を取得する取得部と、
取得した複数の撮影画像のうちの少なくとも前記第２の撮影画像に基づいて、前記第１の撮影画像に対する関連情報の付与を行う付与部と、
前記第１の撮影画像及び前記関連情報を対応付けたデータを出力する出力部と
を備え、
前記データには前記第２の撮影画像を含まない、
情報処理装置。
取得した複数の撮影画像のうちの少なくとも前記第２の撮影画像に基づいて、前記第１の撮影画像に対する関連情報の付与を行う付与部と、
前記第１の撮影画像及び前記関連情報を対応付けたデータを出力する出力部と
を備え、
前記データには前記第２の撮影画像を含まない、
情報処理装置。
【手続補正書】
【提出日】2023-01-24
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
一実施形態に係る情報処理方法は、情報処理装置が、第１波長帯の光に基づいて対象物を撮影した第１の撮影画像及び前記第１波長帯とは異なる第２波長帯の光に基づいて前記対象物を撮影した第２の撮影画像を含む、それぞれが異なる光の波長に基づいて同じ前記対象物を撮影した複数の撮影画像を取得し、取得した複数の撮影画像のうちの少なくとも前記第２の撮影画像に対する画像領域の指定を受け付け、前記画像領域に関する情報を関連情報として、取得した複数の撮影画像に含まれる前記第１の撮影画像に対して付与し、複数の撮影画像の取得及び前記第１の撮影画像に対する関連情報の付与を繰り返し行い、取得した複数の画像のうちの少なくとも前記第２の撮影画像から、前回の前記関連情報の付与の結果に基づいて、一又は複数の候補領域を抽出し、前記第２の撮影画像に重畳して、抽出した前記候補領域を表示し、表示した前記候補領域の修正を受け付け、修正を受け付けた前記候補領域に関する情報を前記関連情報として、取得した複数の撮影画像に含まれる前記第１の撮影画像に対して付与し、前記第１の撮影画像及び前記関連情報を対応付けたデータを出力し、前記データには前記第２の撮影画像を含まない。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
情報処理装置が、
第１波長帯の光に基づいて対象物を撮影した第１の撮影画像及び前記第１波長帯とは異なる第２波長帯の光に基づいて前記対象物を撮影した第２の撮影画像を含む、それぞれが異なる光の波長に基づいて同じ前記対象物を撮影した複数の撮影画像を取得し、
取得した複数の撮影画像のうちの少なくとも前記第２の撮影画像に対する画像領域の指定を受け付け、
前記画像領域に関する情報を関連情報として、取得した複数の撮影画像に含まれる前記第１の撮影画像に対して付与し、
複数の撮影画像の取得及び前記第１の撮影画像に対する関連情報の付与を繰り返し行い、
取得した複数の画像のうちの少なくとも前記第２の撮影画像から、前回の前記関連情報の付与の結果に基づいて、一又は複数の候補領域を抽出し、
前記第２の撮影画像に重畳して、抽出した前記候補領域を表示し、
表示した前記候補領域の修正を受け付け、
修正を受け付けた前記候補領域に関する情報を前記関連情報として、取得した複数の撮影画像に含まれる前記第１の撮影画像に対して付与し、
前記第１の撮影画像及び前記関連情報を対応付けたデータを出力し、
前記データには前記第２の撮影画像を含まない、
情報処理方法。
第１波長帯の光に基づいて対象物を撮影した第１の撮影画像及び前記第１波長帯とは異なる第２波長帯の光に基づいて前記対象物を撮影した第２の撮影画像を含む、それぞれが異なる光の波長に基づいて同じ前記対象物を撮影した複数の撮影画像を取得し、
取得した複数の撮影画像のうちの少なくとも前記第２の撮影画像に対する画像領域の指定を受け付け、
前記画像領域に関する情報を関連情報として、取得した複数の撮影画像に含まれる前記第１の撮影画像に対して付与し、
複数の撮影画像の取得及び前記第１の撮影画像に対する関連情報の付与を繰り返し行い、
取得した複数の画像のうちの少なくとも前記第２の撮影画像から、前回の前記関連情報の付与の結果に基づいて、一又は複数の候補領域を抽出し、
前記第２の撮影画像に重畳して、抽出した前記候補領域を表示し、
表示した前記候補領域の修正を受け付け、
修正を受け付けた前記候補領域に関する情報を前記関連情報として、取得した複数の撮影画像に含まれる前記第１の撮影画像に対して付与し、
前記第１の撮影画像及び前記関連情報を対応付けたデータを出力し、
前記データには前記第２の撮影画像を含まない、
情報処理方法。
【請求項2】
前記情報処理装置が、
前記画像領域の類似領域を前記撮影画像から抽出し、
前記画像領域及び前記類似領域に関する情報を、前記関連情報として付与する、
請求項１に記載の情報処理方法。
前記画像領域の類似領域を前記撮影画像から抽出し、
前記画像領域及び前記類似領域に関する情報を、前記関連情報として付与する、
請求項１に記載の情報処理方法。
【請求項3】
前記情報処理装置が、
前記第２の撮影画像に重畳して前記画像領域及び前記類似領域を表示する、
請求項２に記載の情報処理方法。
前記第２の撮影画像に重畳して前記画像領域及び前記類似領域を表示する、
請求項２に記載の情報処理方法。
【請求項4】
前記情報処理装置が、
取得した複数の撮影画像のうちの少なくとも前記第２の撮影画像に対する対象箇所の選択を受け付け、
受け付けた前記対象箇所を含む画像領域を決定し、
前記第２の撮影画像に重畳して、決定した前記画像領域を表示し、
表示した前記画像領域の修正を受け付け、
修正を受け付けた前記画像領域を前記指定として受け付ける、
請求項２又は請求項３に記載の情報処理方法。
取得した複数の撮影画像のうちの少なくとも前記第２の撮影画像に対する対象箇所の選択を受け付け、
受け付けた前記対象箇所を含む画像領域を決定し、
前記第２の撮影画像に重畳して、決定した前記画像領域を表示し、
表示した前記画像領域の修正を受け付け、
修正を受け付けた前記画像領域を前記指定として受け付ける、
請求項２又は請求項３に記載の情報処理方法。
【請求項5】
前回に付与した前記関連情報に係る前記画像領域と同じ特徴を有する領域を前記候補領域として抽出する、
請求項１に記載の情報処理方法。
請求項１に記載の情報処理方法。
【請求項6】
前記情報処理装置が、
前記複数の撮影画像のうちの少なくとも２つの撮影画像を合成した合成画像を生成し、
生成した合成画像に基づいて、前記複数の撮影画像のうちの少なくとも１つの撮影画像に対する関連情報の付与を行う、
請求項１に記載の情報処理方法。
前記複数の撮影画像のうちの少なくとも２つの撮影画像を合成した合成画像を生成し、
生成した合成画像に基づいて、前記複数の撮影画像のうちの少なくとも１つの撮影画像に対する関連情報の付与を行う、
請求項１に記載の情報処理方法。
【請求項7】
前記第１の撮影画像は、可視光に基づいて撮影した可視光画像であり、
前記第２の撮影画像は、非可視光に基づいて撮影した非可視光画像である、
請求項１に記載の情報処理方法。
前記第２の撮影画像は、非可視光に基づいて撮影した非可視光画像である、
請求項１に記載の情報処理方法。
【請求項8】
コンピュータに、
第１波長帯の光に基づいて対象物を撮影した第１の撮影画像及び前記第１波長帯とは異なる第２波長帯の光に基づいて前記対象物を撮影した第２の撮影画像を含む、それぞれが異なる光の波長に基づいて同じ前記対象物を撮影した複数の撮影画像を取得し、
取得した複数の撮影画像のうちの少なくとも前記第２の撮影画像に対する画像領域の指定を受け付け、
前記画像領域に関する情報を関連情報として、取得した複数の撮影画像に含まれる前記第１の撮影画像に対して付与し、
複数の撮影画像の取得及び前記第１の撮影画像に対する関連情報の付与を繰り返し行い、
取得した複数の画像のうちの少なくとも前記第２の撮影画像から、前回の前記関連情報の付与の結果に基づいて、一又は複数の候補領域を抽出し、
前記第２の撮影画像に重畳して、抽出した前記候補領域を表示し、
表示した前記候補領域の修正を受け付け、
修正を受け付けた前記候補領域に関する情報を前記関連情報として、取得した複数の撮影画像に含まれる前記第１の撮影画像に対して付与し、
前記第１の撮影画像及び前記関連情報を対応付けたデータを出力する
処理を実行させ、
前記データには前記第２の撮影画像を含まない、
コンピュータプログラム。
第１波長帯の光に基づいて対象物を撮影した第１の撮影画像及び前記第１波長帯とは異なる第２波長帯の光に基づいて前記対象物を撮影した第２の撮影画像を含む、それぞれが異なる光の波長に基づいて同じ前記対象物を撮影した複数の撮影画像を取得し、
取得した複数の撮影画像のうちの少なくとも前記第２の撮影画像に対する画像領域の指定を受け付け、
前記画像領域に関する情報を関連情報として、取得した複数の撮影画像に含まれる前記第１の撮影画像に対して付与し、
複数の撮影画像の取得及び前記第１の撮影画像に対する関連情報の付与を繰り返し行い、
取得した複数の画像のうちの少なくとも前記第２の撮影画像から、前回の前記関連情報の付与の結果に基づいて、一又は複数の候補領域を抽出し、
前記第２の撮影画像に重畳して、抽出した前記候補領域を表示し、
表示した前記候補領域の修正を受け付け、
修正を受け付けた前記候補領域に関する情報を前記関連情報として、取得した複数の撮影画像に含まれる前記第１の撮影画像に対して付与し、
前記第１の撮影画像及び前記関連情報を対応付けたデータを出力する
処理を実行させ、
前記データには前記第２の撮影画像を含まない、
コンピュータプログラム。
【請求項9】
第１波長帯の光に基づいて対象物を撮影した第１の撮影画像及び前記第１波長帯とは異なる第２波長帯の光に基づいて前記対象物を撮影した第２の撮影画像を含む、それぞれが異なる光の波長に基づいて同じ前記対象物を撮影した複数の撮影画像を取得する取得部と、
取得した複数の撮影画像のうちの少なくとも前記第２の撮影画像に対する画像領域の指定を受け付ける指定受付部と、
前記画像領域に関する情報を関連情報として、取得した複数の撮影画像に含まれる前記第１の撮影画像に対して付与する付与部と
を備え、
前記取得部及び前記付与部は、複数の撮影画像の取得及び前記第１の撮影画像に対する関連情報の付与を繰り返し行い、
更に、
取得した複数の画像のうちの少なくとも前記第２の撮影画像から、前回の前記関連情報の付与の結果に基づいて、一又は複数の候補領域を抽出する候補領域抽出部と、
前記第２の撮影画像に重畳して、抽出した前記候補領域を表示する処理を行う表示処理部と、
表示した前記候補領域の修正を受け付ける修正受付部と
を備え、
前記付与部は、修正を受け付けた前記候補領域に関する情報を前記関連情報として、取得した複数の撮影画像に含まれる前記第１の撮影画像に対して付与し、
更に、
前記第１の撮影画像及び前記関連情報を対応付けたデータを出力する出力部
を備え、
前記データには前記第２の撮影画像を含まない、
情報処理装置。
取得した複数の撮影画像のうちの少なくとも前記第２の撮影画像に対する画像領域の指定を受け付ける指定受付部と、
前記画像領域に関する情報を関連情報として、取得した複数の撮影画像に含まれる前記第１の撮影画像に対して付与する付与部と
を備え、
前記取得部及び前記付与部は、複数の撮影画像の取得及び前記第１の撮影画像に対する関連情報の付与を繰り返し行い、
更に、
取得した複数の画像のうちの少なくとも前記第２の撮影画像から、前回の前記関連情報の付与の結果に基づいて、一又は複数の候補領域を抽出する候補領域抽出部と、
前記第２の撮影画像に重畳して、抽出した前記候補領域を表示する処理を行う表示処理部と、
表示した前記候補領域の修正を受け付ける修正受付部と
を備え、
前記付与部は、修正を受け付けた前記候補領域に関する情報を前記関連情報として、取得した複数の撮影画像に含まれる前記第１の撮影画像に対して付与し、
更に、
前記第１の撮影画像及び前記関連情報を対応付けたデータを出力する出力部
を備え、
前記データには前記第２の撮影画像を含まない、
情報処理装置。