2022-161105 画像選択装置及び画像選択方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022161105

(43)【公開日】2022-10-21

(54)【発明の名称】画像選択装置及び画像選択方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221014BHJP

   G08G 1/16 20060101ALI20221014BHJP

【ＦＩ】

G06T7/00 350B

G08G1/16 C

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021065656

(22)【出願日】2021-04-08

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110001933

【氏名又は名称】弁理士法人 佐野特許事務所

(72)【発明者】

【氏名】荻島 葵

(72)【発明者】

【氏名】岡田 康貴

(72)【発明者】

【氏名】関 竜介

(72)【発明者】

【氏名】片山 雄喜

(72)【発明者】

【氏名】広見 怜

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB05

5H181BB13

5H181BB15

5H181BB20

5H181CC04

5H181FF04

5H181FF10

5H181FF27

5H181FF35

5H181LL01

5L096BA04

5L096CA04

5L096FA66

5L096GA08

5L096KA04

5L096MA07

(57)【要約】      （修正有）

【課題】アノテーションにかかる工数を抑制しつつ学習データの品質を向上させる画像を選択する画像選択装置及び画像選択方法を提供する。
【解決手段】画像選択装置である情報処理装置１は、映像を構成する複数の画像の中から、クラス推定の確信度及び撮影状況に基づいて一部の画像を選択する際に、撮影状況が近似している画像ほど選択される可能性を低くするような選択処理を行う選択部１１ｂを備える。撮影状況は、撮影時刻及び撮影時のカメラの移動速度を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

映像を構成する複数の画像の中から、クラス推定の確信度及び撮影状況に基づいて一部の画像を選択する際に、
前記撮影状況が近似している画像ほど選択される可能性が低い、画像選択装置。

【請求項2】

前記撮影状況は撮影時刻を含む、請求項１に記載の画像選択装置。

【請求項3】

前記複数の画像の中から第１画像が選択された場合、前記第１画像と撮影時刻が近い画像ほど選択される可能性が低い、請求項２に記載の画像選択装置。

【請求項4】

前記撮影状況は撮影時のカメラの移動速度を含む、請求項２又は請求項３に記載の画像選択装置。

【請求項5】

前記移動速度が遅い画像ほど選択される可能性が低い、請求項４に記載の画像選択装置。

【請求項6】

映像を構成する複数の画像の中から、クラス推定の確信度及び撮影状況に基づいて一部の画像を選択する際に、
前記撮影状況が近似している画像ほど選択される可能性が低い、画像選択方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人によるアノテーションが必要な画像を選択する技術に関する。

【背景技術】

【0002】

学習データのアノテーションを行う手法として、能動学習が近年注目されている。能動学習とは、学習データのアノテーションが行われる際に、学習データを構成する全てのサンプルが人によってアノテーションされるのではなく、人工知能によるアノテーションの確信度が低いサンプルのみが選択されて人によってアノテーションされる手法である。能動学習を活用することで、アノテーションにかかる工数を抑制しつつ学習データの品質を向上させることが期待できる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開２００８／０４７８３５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

映像を構成する複数の画像が学習データである場合、基本的に同じシーンの画像が複数フレームに渡って続くことがある。例えば、ドライブレコーダーによって撮影された映像を構成する複数の画像を学習データとする場合がある。この場合、ドライブレコーダーを搭載する車両が走行中ではなく停車中や駐車中であるときの映像を構成する複数の画像が、複数フレームに渡って続く「基本的に同じシーンの画像」となる。

【0005】

複数フレームに渡って続く「基本的に同じシーンの画像」が「人工知能によるアノテーションの確信度が低いサンプル」に該当した場合、基本的に同じシーンの複数の画像が人によってアノテーションされることになり、アノテーションにかかる工数の抑制及び学習データの品質向上に寄与しないことになる。

【0006】

特許文献１に記載の発明は、ラベリング済みのデータと比較して類似度が低いデータを、学習に有効なデータとして選択することで、効率的な学習を可能としている。しかしながら、特許文献１に記載の発明では、類似度の判定という比較的複雑な処理を新たに行う必要が生じる。特に、全ての画像データを読み込んでラベリング済みのデータとの類似度の判定を行う場合には、処理時間が膨大となる。

【0007】

本発明は、上記課題に鑑みて、アノテーションにかかる工数を抑制しつつ学習データの品質を向上させる画像を選択することができる技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る画像選択装置は、映像を構成する複数の画像の中から、クラス推定の確信度及び撮影状況に基づいて一部の画像を選択する際に、前記撮影状況が近似している画像ほど選択される可能性が低い構成（第１の構成）である。

【0009】

上記第１の構成の画像選択装置において、前記撮影状況は撮影時刻を含む構成（第２の構成）であってもよい。

【0010】

上記第２の構成の画像選択装置において、前記複数の画像の中から第１画像が選択された場合、前記第１画像と撮影時刻が近い画像ほど選択される可能性が低い構成（第３の構成）であってもよい。

【0011】

上記第２又は第３の構成の画像選択装置において、前記撮影状況は撮影時のカメラの移動速度を含む構成（第４の構成）であってもよい。

【0012】

上記第４の構成の画像選択装置において、前記移動速度が遅い画像ほど選択される可能性が低い構成（第５の構成）であってもよい。

【0013】

本発明に係る画像選択方法は、映像を構成する複数の画像の中から、クラス推定の確信度及び撮影状況に基づいて一部の画像を選択する際に、前記撮影状況が近似している画像ほど選択される可能性が低い構成（第６の構成）である。

【発明の効果】

【0014】

本発明によると、アノテーションにかかる工数を抑制しつつ学習データの品質を向上させる画像を選択することができる。

【図面の簡単な説明】

【0015】

【図1】実施形態に係る情報処理装置の概略構成例を示す図

【図2】実施形態に係る情報処理装置の動作例を示すフローチャート

【図3A】式（１）で画像を抽出した場合の１番目に自信のない画像の一例を示す図

【図3B】式（１）で画像を抽出した場合の２番目に自信のない画像の一例を示す図

【図3C】式（１）で画像を抽出した場合の３番目に自信のない画像の一例を示す図

【図4A】式（２）で画像を抽出した場合の１番目に自信のない画像の一例を示す図

【図4B】式（２）で画像を抽出した場合の２番目に自信のない画像の一例を示す図

【図4C】式（２）で画像を抽出した場合の３番目に自信のない画像の一例を示す図

【図5】連続する複数の画像の一例を示す図

【発明を実施するための形態】

【0016】

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。

【0017】

＜１．情報処理装置の構成＞
図１は、実施形態に係る情報処理装置の概略構成例を示す図である。情報処理装置１は、画像選択装置の一例である。情報処理装置１は、単一の場所に設置される情報処理装置であってもよく、構成要素が複数の場所に分散して設置される分散型の情報処理装置であってもよい。

【0018】

情報処理装置１は、映像に含まれる複数の画像の一部を学習用画像として選択する際に、画像に対するクラス推定の確信度及び画像の撮影状況に基づいて、学習用画像を選択する。このことにより、情報処理装置１は、アノテーションにかかる工数抑制と、学習データの品質向上とを両立させることができる。以下、詳細に説明する。

【0019】

情報処理装置１は、制御部１１及び記憶部１２を備える。

【0020】

制御部１１は、少なくとも一つのプロセッサを備えるコンピュータである。具体的には、制御部１１は、図示しないＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を備えるコンピュータである。制御部１１は、記憶部１２に記憶されたプログラムに基づいて情報の処理及び送受信を行い、情報処理装置１の全体を制御する。

【0021】

制御部１１は、クラスタリング部１１ａと、選択部１１ｂと、を備える。記憶部１２に記憶されたプログラムやソフトウェアにしたがってＣＰＵが演算処理を実行することにより、クラスタリング部１１ａ等の制御部１１の各種機能が実現される。

【0022】

クラスタリング部１１ａは、人工知能を用いて複数の画像を複数のクラスタに分類する。ここで、複数の画像は、映像又は動画像の各フレーム画像である。すなわち、クラスタリング部１１ａによって分類される複数の画像は、映像又は動画像を構成する。

【0023】

クラスタリング部１１ａは、複数の画像それぞれに対して、クラス推定の確信度をメタ情報として付与する。

【0024】

選択部１１ｂは、上述した映像を構成する複数の画像の中から、クラス推定の確信度及び撮影状況に基づき、一部を選択する。選択部１１ｂによって選択される画像は、人によるアノテーションが必要な画像となる。

【0025】

＜２．情報処理装置の動作＞
図２は、情報処理装置１の動作例を示すフローチャートである。情報処理装置１は、電源が投入され、映像を構成する複数の画像が入力されると、図２に示すフローチャートの動作を開始する。複数の画像の入力形態は特に限定されない。情報処理装置１は、複数の画像を無線通信により受信してもよく、複数の画像を有線通信により受信してもよく、情報処理装置１に対して装脱着可能な記憶媒体を介して複数の画像を入力してもよい。

【0026】

まず、クラスタリング部１１ａは、予め準備した人工知能を用いて複数の画像を複数のクラスタに分類する（ステップＳ１０）。クラスタリング部１１ａは、例えば階層型クラスタリングを行い、最終的に分類するクラスタの個数を固定することで、複数の画像を複数のクラスタに分類する。

【0027】

次に、クラスタリング部１１ａは、複数の画像それぞれに対して、クラス推定の確信度を算出し、複数の画像それぞれに対して、クラス推定の確信度をメタ情報として付与する（ステップＳ２０）。

【0028】

次に、選択部１１ｂは、複数の画像の中から、クラス推定の確信度及び撮影状況に基づき、一部を選択する（ステップＳ３０）。詳細は後述するが、選択部１１ｂは、クラス推定の確信度が高い画像ほど選択する可能性が低い。

【0029】

選択部１１ｂは、クラス推定の確信度のみならず撮影状況にも基づき、複数の画像の中から一部を選択してもよい。これにより、画像同士の類似度を判定することなく、人によるアノテーションが必要な画像を効率的に選択することができる。

【0030】

情報処理装置１に入力される時点で複数の画像それぞれには、撮影状況がメタ情報として付与されている。本実施形態では、撮影状況は撮影時刻を含む。

【0031】

通常、カメラで撮影された画像には撮影時刻がメタ情報として付与されているので、ごく一般的な画像を情報処理装置１の入力画像として用いることができる。したがって、画像選択装置の汎用性を高めることができる。

【0032】

選択部１１ｂは、複数の画像の中から第１画像が選択部１１ｂによって選択された場合、第１画像と撮影時刻が近い画像ほど選択部１１ｂによって選択される可能性が低くなるような選択処理を行う。

【0033】

例えば、クラス推定の確信度が最も低い画像が、停車中や駐車中にカメラで撮影された画像である場合も考えられる。このような場合において、クラス推定の確信度のみに基づいて、クラス推定の確信度が低い順に画像を選択すると、選択される画像は、殆どが停車中や駐車中の画像になってしまう（選ばれるのは、クラス推定の確信度が「最も低い画像」に類似した画像となる可能性が高い）。そこで、本実施形態では、画像を選択する際の基準として、クラス推定の確信度と、画像の撮影状況とを用いる。本実施形態における画像の撮影状況は、画像の撮影時刻である。

【0034】

例えば、クラス推定の確信度に基づいて、Least confident法を用いて画像を抽出する場合、下記式（１）で画像を抽出することができる。しかし、下記式（１）では、画像の撮影時刻という概念が含まれていない。このため、前述のように、駐車中の画像のみが抽出されることもありうる。本実施形態では、下記式（１）ではなく、下記式（１）に画像の撮影時刻という概念を組み込んだ下記式（２）を用いて画像を抽出する。

【数1】

【数2】

【0035】

式（２）中のｎの値は、選択する画像（必要な画像）の枚数に基づいて決定する。例えば、ｎ＝３の場合、選択部１１ｂは、式（２）に基づいて、ｘ^* _LC1，ｘ^* _LC2，ｘ^* _LC3に対応する画像を選択する。

【0036】

本実施形態では、上記式（１）に画像の撮影時刻を式の要素として組み込んだ式（２）を用いることで、撮影時刻が近似、又は、近接した画像が抽出されることを抑制する。式（１）で画像を抽出した場合、例えば１番目に自信のない画像が図３Ａに示す画像となり、２番目に自信のない画像が図３Ｂに示す画像となり、３番目に自信のない画像が図３Ｃに示す画像となる。つまり、式（１）で画像を抽出した場合、撮影時刻が近似、又は、近接した画像が抽出される可能性が高くなる。これに対して、本実施形態のように式（２）で画像を抽出した場合、例えば１番目に自信のない画像（ｘ^* _LC1に対応する画像）が図４Ａに示す画像となり、２番目に自信のない画像（ｘ^* _LC2に対応する画像）が図４Ｂに示す画像となり、３番目に自信のない画像（ｘ^* _LC3に対応する画像）が図４Ｃに示す画像となる。つまり、本実施形態のように式（２）で画像を抽出した場合、撮影時刻が近似、又は、近接した画像が抽出される可能性が低くなる。

【0037】

式（２）の説明に記載されている「ｎ番目に自信のない画像」は、ｎ番目にクラス推定の確信度が低い画像である。具体的には、ｘ^* _LC1がクラス推定の確信度が最も低い画像、ｘ^* _LC2がクラス推定の確信度が２番目に低い画像、ｘ^* _LC3がクラス推定の確信度が３番目に低い画像である。

【0038】

式（１）と式（２）との違いは、ｎ≧２の場合におけるｘ^* _LCn=argmax1-P_θ(y|x)の後に存在するΠ以降の部分である。Πは相乗を意味する。式（２）では、このΠ以降の部分があるので、ｘ^* _LCn のそれぞれに対して、ｘ^* _LCn のそれぞれが撮影された時刻と時間的に連続していない画像を選択することができる。

【0039】

そして、選択部１１ｂは、式（２）で決定される「自信のなさ」の順位が高い画像を優先して、複数の画像の中から一部を選択する。これにより、複数の画像の中から第１画像が選択部１１ｂによって選択された場合、第１画像と撮影時刻が近い画像ほど選択部１１ｂによって選択される可能性が低下する。

【0040】

例えば、複数の画像がドライブレコーダーによって撮影された画像であって、車両が停車中に撮影された図５に示す第１～第４画像Ｐ１～Ｐ４が複数の画像に含まれており、図５に示す第１画像Ｐ１が選択部１１ｂによって選択された場合、第２～第４画像Ｐ２～Ｐ４の選択される可能性は次のようになる。

【0041】

第２～第４画像Ｐ２～Ｐ４の中で図５に示す第１画像Ｐ１と最も撮影時刻が近い第２画像Ｐ２は、第２～第４画像Ｐ２～Ｐ４の中で選択部１１ｂによって最も選択される可能性が低い画像となる。

【0042】

第２～第４画像Ｐ２～Ｐ４の中で図５に示す第１画像Ｐ１と２番目に撮影時刻が近い第３画像Ｐ３は、第２～第４画像Ｐ２～Ｐ４の中で選択部１１ｂによって２番目に選択される可能性が低い画像となる。

【0043】

第２～第４画像Ｐ２～Ｐ４の中で図５に示す第１画像Ｐ１と３番目に撮影時刻が近い第４画像Ｐ４は、第２～第４画像Ｐ２～Ｐ４の中で選択部１１ｂによって３番目に選択される可能性が低い画像となる。

【0044】

図５では、選択部１１ｂによって選択される可能性が低い画像ほど、濃いグレーの画像として示している。

【0045】

ステップＳ３０の処理が終了し、選択部１１ｂによって選択された画像が出力されると、情報処理装置１は図２に示すフローチャートの動作を終了する。選択部１１ｂによって選択された画像の出力形態は特に限定されない。情報処理装置１は、選択部１１ｂによって選択された画像を無線通信により送信してもよく、選択部１１ｂによって選択された画像を有線通信により送信してもよく、情報処理装置１に対して装脱着可能な記憶媒体を介して選択部１１ｂによって選択された画像を出力してもよい。

【0046】

＜３．変形例＞
上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。

【0047】

上述した実施形態とは異なりLeast confident法を用いて画像を抽出する場合、Least confident法を用いて画像を抽出する式に画像の撮影時刻という概念を組み込んだ下記式（３）を用いて画像を抽出するとよい。

【数3】

【0048】

上述した実施形態とは異なりentropy-based approach法を用いて画像を抽出する場合、entropy-based approach法を用いて画像を抽出する式に画像の撮影時刻という概念を組み込んだ下記式（４）を用いて画像を抽出するとよい。

【数4】

【0049】

上述した実施形態及び変形例では、画像を抽出するために用いた式に含まれる時間関数として、

【数5】

を用いたが、例えば

【数6】

などの他の時間関数を用いてもよい。

【0050】

撮影状況が撮影時刻の代わりに撮影時のカメラの移動速度を含んでもよい。また、撮影状況が撮影時刻に加えて撮影時のカメラの移動速度を含んでもよい。例えば、複数の画像がドライブレコーダーによって撮影された画像である場合には、ドライブレコーダーが搭載される車両の車速が撮影時のカメラの移動速度になる。車両の車速は、例えば、ドライブレコーダーのＧＰＳ（Global Positioning System）による位置情報の時間的変化によって算出してもよく、車載ＬＡＮ（Local Area Network）経由で取得した車両の速度情報、車載ＬＡＮ経由で取得した車輪回転信号等から取得してもよい。また、複数の画像がスマートフォンによって撮影された画像である場合には、スマートフォンの移動速度が撮影時のカメラの移動速度になる。スマートフォンの移動速度は、例えばスマートフォンのＧＰＳによる位置情報の時間的変化によって算出可能である。なお、撮影状況としての撮影時のカメラの移動速度は、具体的な数値であってもよく、或る閾値（例えば時速１ｋｍなど）によって二値化されてもよい。

【0051】

選択部１１ｂは、撮影時のカメラの移動速度に基づき、停車（速度が所定速度以下（その速度で短時間各核の複数画像を選択する意味が無い状況）状態での画像選択を抑制するように、複数の画像から一部を選択することにより、選択部１１ｂが撮影時刻に基づき複数の画像から一部を選択する場合と比較して、類似する画像を重複して選択することをより精度よく抑制することができる。

【0052】

選択部１１ｂは、撮影時のカメラの移動速度が遅い画像ほど選択部１１ｂによって選択される可能性が低くなるような選択処理を行えばよい。

【0053】

＜４．変形例（その２）＞
上述の実施形態では、クラスタリング部１１ａが分類する複数の画像は、映像又は動画像の各フレーム画像である例を説明したが、本発明はこれに限られない。複数の画像は、撮影した時間が異なる静止画像であってもよい。この場合、複数の画像は、例えば、１６ミリ秒毎に撮影された画像である。

【0054】

情報処理装置１により実行される処理の一部または全部は、ソフトウェアおよびハードウェアの混在処理により実現しても良い。前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本実施形態の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体は、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリである。

【0055】

本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。また、上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

【符号の説明】

【0056】

１ 情報処理装置
１１ 制御部
１１ａ クラスタリング部
１１ｂ 選択部
１２ 記憶部

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図4C】

【図5】