特開 2021-163258 情報処理方法および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-163258(P2021-163258A)

(43)【公開日】2021年10月11日

(54)【発明の名称】情報処理方法および情報処理プログラム

(51)【国際特許分類】

   G06F 3/0484 20130101AFI20210913BHJP

【ＦＩ】

   G06F3/0484 120

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

【全頁数】11

(21)【出願番号】特願2020-65019(P2020-65019)

(22)【出願日】2020年3月31日

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】岡田 康貴

(72)【発明者】

【氏名】関 竜介

(72)【発明者】

【氏名】広見 怜

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA22

5E555BA02

5E555BB02

5E555BC04

5E555CA02

5E555CB03

5E555CB05

5E555CB46

5E555CC03

5E555DB07

5E555DB56

5E555DC31

5E555FA00

(57)【要約】

【課題】教師データの作成に要する作業を低減することができる情報処理方法および情報処理プログラムを提供すること。
【解決手段】実施形態の一態様に係る情報処理方法は、画像に対して学習を要さない領域探索を行い、バウンディングボックスの候補を生成するステップと、バウンディングボックスの候補を画像に重畳させてユーザに提示して選択させるステップと、選択されたバウンディングボックスの候補を当該バウンディングボックスの候補によって囲まれる画像に付与するステップとを含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

画像に対して学習を要さない領域探索を行い、バウンディングボックスの候補を生成するステップと、
前記バウンディングボックスの候補を前記画像に重畳させてユーザに提示して選択させるステップと、
選択された前記バウンディングボックスの候補を当該バウンディングボックスの候補によって囲まれる画像に付与するステップと
を含むことを特徴とする情報処理方法。

【請求項2】

前記ユーザの操作に応じて前記画像上を移動するカーソルを表示させるステップと、
前記カーソルが重畳された前記バウンディングボックスの候補を強調表示させるステップと
を含むことを特徴とする請求項１に記載の情報処理方法。

【請求項3】

前記カーソルが重畳された前記バウンディングボックスの候補が複数存在する場合に、前記カーソルによって選択される座標から前記バウンディングボックスの候補の重心までの距離が最小の前記バウンディングボックスの候補を強調表示させるステップと
を含むことを特徴とする請求項２に記載の情報処理方法。

【請求項4】

前記画像における任意の四点が前記カーソルによって選択される場合に、前記四点をつなぐバウンディングボックスを生成して強調表示させるステップと
を含むことを特徴とする請求項２または請求項３に記載の情報処理方法。

【請求項5】

生成した前記バウンディングボックスの候補のうち、予め設定するサイズよりも小さな前記バウンディングボックスの候補を消去してから提示するステップと
を含むことを特徴とする請求項１〜４のいずれか一つに記載の情報処理方法。

【請求項6】

隣接または重畳する前記バウンディングボックスの候補によって囲まれる画像の画素値が閾値未満である場合に、前記隣接または重畳するバウンディングボックスの候補を消去してから提示するステップと
を含むことを特徴とする請求項１〜５のいずれか一つに記載の情報処理方法。

【請求項7】

画像に対して学習を要さない領域探索を行い、バウンディングボックスの候補を生成するステップと、
前記バウンディングボックスの候補を前記画像に重畳させてユーザに提示して選択させるステップと、
選択された前記バウンディングボックスの候補を当該バウンディングボックスの候補によって囲まれる画像に付与するステップと
をコンピュータに実行させることを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実施形態は、情報処理方法および情報処理プログラムに関する。

【背景技術】

【0002】

ＣＮＮ（Convolutional Neural Network）を用いた画像認識用の機械学習モデルを生成する手法の一つに、教師あり学習がある（例えば、特許文献１参照）。教師あり学習では、正解値が付与された画像の教師データを未学習の機械学習モデルに入力し、学習させることによって画像認識用の機械学習モデルを生成する。

【0003】

物体を画像認識する機械学習モデルを生成する場合、例えば、画像中の認識対象物を囲む矩形状のバウンディングボックスと認識対象物の名称とが正解値として付与された膨大な数の教師データを用意する必要がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０−００９４４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、教師データは、人によってバウンディングボックスの領域が指定される場合、作成に膨大な量の作業が必要である。

【0006】

実施形態の一態様は、上記に鑑みてなされたものであって、教師データの作成に要する作業を低減することができる情報処理方法および情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

実施形態の一態様に係る情報処理方法は、画像に対して学習を要さない領域探索を行い、バウンディングボックスの候補を生成するステップと、前記バウンディングボックスの候補を前記画像に重畳させてユーザに提示して選択させるステップと、選択された前記バウンディングボックスの候補を当該バウンディングボックスの候補によって囲まれる画像に付与するステップとを含む。

【発明の効果】

【0008】

実施形態の一態様に係る情報処理方法および情報処理プログラムは、教師データの作成に要する作業を低減することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係る情報処理方法の第１例の概要説明図である。

【図2】図２は、実施形態に係る情報処理方法の第２例の概要説明図である。

【図3】図３は、実施形態に係る情報処理装置の構成の一例を示すブロック図である。

【図4A】図４Ａは、実施形態に係るＢＢの候補の提示方法の第１例を示す説明図である。

【図4B】図４Ｂは、実施形態に係るＢＢの候補の提示方法の第２例を示す説明図である。

【図5】図５は、実施形態に係るＢＢの候補の提示方法の第３例を示す説明図である。

【図6】図６は、実施形態に係るＢＢの決定方法の一例を示す説明図である。

【図7A】図７Ａは、実施形態に係るＢＢの作成方法の第１例を示す説明図である。

【図7B】図７Ｂは、実施形態に係るＢＢの作成方法の第２例を示す説明図である。

【図8】図８は、実施形態に係る情報処理装置が実行する処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して、情報処理方法および情報処理プログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。また、以下の説明では、同一の構成要素に対して同一の符号を付することにより、重複する説明を省略する。

【0011】

図１および図２は、実施形態に係る情報処理方法の概要説明図である。実施形態に係る情報処理方法では、機械学習の一つである教師あり学習用の教師データとして使用される画像に付与されるバウンディングボックス（以下、「ＢＢ」と記載する）の候補を教師データの作成者（以下、単に「作成者」と記載する）に提示する。

【0012】

ここでは、ＣＮＮ（Convolutional Neural Network）を用いて画像認識を行う機械学習モデルに学習させる教師データ用の画像に付与されるＢＢの候補を提示する場合を例に挙げて説明する。

【0013】

機械学習モデルによって車両を画像認識させる場合、例えば、画像に含まれる複数の各車両に対して、各車両を囲むＢＢが付与された教師データを機械学習モデルに入力して事前に学習させる。機械学習モデルは、数千枚から数万枚の画像の教師データを学習することによって、車両を画像認識できるようになる。

【0014】

しかしながら、作成者は、数千枚から数万枚の画像中の各車両に対してＢＢの領域（座標）を指定するとなると、教師データの作成に膨大な量の作業が必要となる。また、作成者は、ＢＢの領域（座標）の精度を向上させる場合、例えば、マウス等のデバイスを細かく動かしてＢＢの座標を決定する等の緻密な作業が要求されるので、教師データの作成に長い時間を要する。

【0015】

そこで、図１に示すように、実施形態に係る情報処理方法では、コンピュータが、例えば、複数の車両が含まれる画像１０に対して学習を要さない領域探索を行い、複数のＢＢの候補１１を生成する。

【0016】

コンピュータは、ＢＢの候補１１を画像１０に重畳させて作成者に提示して選択させる。なお、図１では、１つのＢＢの候補にのみ符号を付しているが、図１に示す画像１０に重畳表示されている複数の矩形は、全てＢＢの候補である。そして、コンピュータは、選択されたＢＢの候補１１をＢＢの候補によって囲まれる車両の画像に付与する。

【0017】

実施形態に係る情報処理方法によれば、作成者がＢＢの領域の位置や大きさ等を指定しなくても、コンピュータによって提示されるＢＢの候補１１を作成者に選択させるだけで、各車両の画像に対してＢＢを付与することができる。したがって、実施形態に係る情報処理方法は、教師データの作成に要する作成者の作業を低減することができる。

【0018】

また、図２に示すように、実施形態に係る情報処理方法では、コンピュータが、作成者の操作に応じて画面上を移動するカーソル２０を表示させる。そして、コンピュータは、カーソル２０が重畳されたＢＢの候補１２を強調表示させる。これにより、実施形態に係る情報処理方法は、作成者によるＢＢの候補１２の選択ミスを抑制することができる。

【0019】

次に、図３を参照して実施形態に係るコンピュータの一例である情報処理装置の構成について説明する。図３は、実施形態に係る情報処理装置の構成の一例を示すブロック図である。

【0020】

図３に示すように、情報処理装置１は、画像データベース（以下、「画像ＤＢ１００」と記載する）と、端末装置１０１とに接続される。画像ＤＢ１００は、例えば、データフラッシュ等の情報記憶デバイスであり、機械学習モデルに学習させる認識対象物が撮像された画像を記憶する記憶装置である。画像ＤＢ１００には、例えば、数千枚から数万枚の画像が記憶される。

【0021】

端末装置１０１は、作成者によって教師データの作成に使用される装置である。端末装置１０１は、例えば、ノート型パソコンである。なお、端末装置１０１は、画像を表示する機能、およびＢＢの候補を選択する機能を備えるものであれば、デスクトップ型のパソコンおよびタブレット型端末等、他の装置であってもよい。

【0022】

情報処理装置１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを有するマイクロコンピュータや各種の回路を含む。情報処理装置１は、ＣＰＵがＲＯＭに記憶されたプログラムを、ＲＡＭを作業領域として使用して実行することにより機能する画像取得部２と、ＢＢ候補生成部３と、ＢＢ候補提示部４と、ＢＢ付与部５とを備える。

【0023】

なお、情報処理装置１が備える画像取得部２、ＢＢ候補生成部３、ＢＢ候補提示部４、およびＢＢ付与部５は、一部または全部がＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。

【0024】

情報処理装置１が備える画像取得部２、ＢＢ候補生成部３、ＢＢ候補提示部４、およびＢＢ付与部５は、それぞれ以下に説明する情報処理の作用を実現または実行する。なお、情報処理装置１の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

【0025】

画像取得部２は、画像ＤＢ１００から教師データ用の認識対象物が撮像された画像を取得してＢＢ候補生成部３へ出力する。ＢＢ候補生成部３は、画像取得部２から入力される画像に対して学習を要さない領域探索を行い、ＢＢの候補を生成する。

【0026】

ＢＢ候補生成部３は、例えば、セレクティブサーチ等の学習を必要としないアルゴリズムによって、画像における各認識対象物が存在する領域を検出してＢＢの候補を生成する。ＢＢ候補生成部３は、画像取得部２から入力される画像と、生成したＢＢの候補の画像における位置（座標）を示す情報とをＢＢ候補提示部４へ出力する。

【0027】

ＢＢ候補提示部４は、画像取得部２から取得された画像にＢＢの候補を重畳させて端末装置１０１へ出力し、端末装置１０１に表示させることによって、作成者にＢＢの候補を提示する。ここで、図４Ａ〜図５を参照し、実施形態に係るＢＢの候補の提示方法について説明する。

【0028】

図４Ａ〜図５は、実施形態に係るＢＢの候補の提示方法を示す説明図である。情報処理装置１は、画像に対してセレクティブサーチ等の学習を必要としないアルゴリズムによって領域探索を行った場合、図１および図２に示したように、認識対象物となる１台の車両に、大きさの異なる複数のＢＢを重複して重畳させることがある。

【0029】

例えば、情報処理装置１は、車体を囲む領域だけでなく、１台の車両の中でも、車両の屋根部分や車両のフロントガラス部分等の車体よりも小さな領域を車両と判断して、ＢＢの候補を生成する場合がある。

【0030】

このように、１台の車両に、大きさの異なる複数のＢＢの候補が重複して重畳される場合、作成者にとっては、適切なＢＢの候補を選択する作業が煩雑となる。そこで、情報処理装置１は、生成するＢＢの候補から、ＢＢの候補として不適切なもの、および不必要なものを事前に削除してから提示する。

【0031】

例えば、ＢＢ候補生成部３は、図４Ａのように、大きさが異なる複数の重畳されるＢＢの候補４１，４２，４３，４４，４５，４６，４７，４８を生成する場合がある。そこで、ＢＢ候補提示部４は、生成されたＢＢの候補４１，４２，４３，４４，４５，４６，４７，４８のうち、予め設定するサイズよりも小さなＢＢの候補４４，４５，４６，４７，４８を消去してから提示する。

【0032】

これにより、図４Ｂに示すように、ＢＢ候補提示部４は、予め設定されるサイズ以上のＢＢの候補４１，４２，４３を作成者に提示して選択肢の数を減少させることによって、作成者に適切なＢＢの候補を容易に選択させることができる。

【0033】

また、例えば、ＢＢ候補生成部３は、画像中に画素値が比較的近い画素の集合が存在する場合、その領域に認識対象物がなくてもＢＢの候補を生成することがある。このような認識対象物が存在しない位置に生成されるＢＢの候補は、作成者にとっては不要なＢＢの候補である。

【0034】

例えば、情報処理装置１は、画像に対してセレクティブサーチ等の学習を必要としないアルゴリズムによって領域探索を行った場合、図１および図２に示したように、認識対象物となる車両が存在しない道路の領域にＢＢの候補を重畳させることがある。

【0035】

そこで、ＢＢ候補提示部４は、隣接または重畳するＢＢの候補によって囲まれる画像の画素値が閾値未満である場合に、隣接または重畳するＢＢの候補を消去してから提示する。例えば、図５に示すように、ＢＢ候補提示部４は、道路の領域１０３，１０４に重畳されるＢＢの候補を消去し、道路の領域１０３，１０４以外の領域に重畳されるＢＢの候補１１を作成者に提示する。

【0036】

これにより、ＢＢ候補提示部４は、不要なＢＢの候補を消去してから必要なＢＢの候補１１を作成者に提示して選択肢の数を減少させることによって、作成者に適切なＢＢの候補を容易に選択させることができる。

【0037】

図２へ戻り、ＢＢ候補提示部４の説明を続ける。ＢＢ候補提示部４は、作成者にＢＢの候補を提示した後、作成者によって一つのＢＢの候補１２がカーソル２０によって選択された場合（図２参照）に、ＢＢの候補１２を強調表示させる。

【0038】

ＢＢ候補提示部４は、例えば、強調表示させたＢＢの候補１２が作成者によってダブルクリックされる場合に、そのＢＢの候補１２の位置（座標）を端末装置１０１から取得する。そして、ＢＢ候補提示部４は、端末装置１０１から取得したＢＢの候補１２の位置（座標）と、画像取得部２によって取得された画像とをＢＢ付与部５へ出力する。

【0039】

ＢＢ付与部５は、ＢＢ候補提示部４から位置が入力されるＢＢの候補１２をＢＢの候補１２によって囲まれる画像（例えば、図２に示す車両の画像）に付与し、教師データとして端末装置１０１へ出力する。

【0040】

ここでは、作成者によって一つのＢＢの候補１２がカーソル２０によって選択される場合について説明したが、カーソル２０が重畳されたＢＢの候補が複数存在することがある。また、提示したＢＢの候補の中に作成者が所望するＢＢの候補が存在にない場合もある。

【0041】

次に、かかる場合のＢＢ候補提示部４の動作について、図６〜図７Ｂを参照して説明する。図６は、実施形態に係るＢＢの決定方法を示す説明図である。図７Ａおよび図７Ｂは、実施形態に係るＢＢの作成方法を示す説明図である。

【0042】

図６に示すように、作成者によるＢＢの候補の選択操作によって、例えば、カーソル２０が３つのＢＢの候補１３，１４，１５に重畳される場合がある。かかる場合、ＢＢ候補提示部４は、まず、カーソル２０によって選択される座標を取得する。カーソル２０によって選択される座標は、図６に示す白抜き矢印の先端の座標である。

【0043】

続いて、ＢＢ候補提示部４は、各ＢＢの候補１３，１４，１５の各重心１３ａ，１４ａ，１５ａの座標を取得する。その後、ＢＢ候補提示部４は、カーソル２０によって選択される座標から、各ＢＢの候補１３，１４，１５の各重心１３ａ，１４ａ，１５ａまでの距離Ｄ１３，Ｄ１４，Ｄ１５を算出する。

【0044】

そして、ＢＢ候補提示部４は、カーソル２０によって選択される座標からＢＢの候補の重心までの距離が最小のＢＢの候補１５を強調表示させる。これにより、ＢＢ候補提示部４は、カーソル２０が重畳されたＢＢの候補が複数存在する場合に、作成者が選択を所望している可能性の高いＢＢの候補１５を的確に選択して強調表示させることができる。

【0045】

また、図７Ａに示すように、例えば、認識対象物の車両と一部が重畳するＢＢの候補６，１７，１８は提示されるが、車両の回りを囲むＢＢの候補が提示されない場合がある。かかる場合、ＢＢ候補提示部４は、手動によるＢＢの入力要求を作成者に対して行う。

【0046】

作成者は、所望するＢＢの候補が提示されない場合、手動によるＢＢの入力要求に応じて、所望するＢＢの四隅となる４点をカーソル２０によって選択する。ＢＢ候補提示部４は、カーソル２０によって選択される四点の座標を端末装置１０１から取得する。

【0047】

そして、ＢＢ候補提示部４は、図７Ｂに示すように、画像における任意の四点がカーソル２０によって選択される場合に、四点をつなぐＢＢ１９を生成して強調表示させる。これにより、ＢＢ候補提示部４は、作成者が所望するＢＢの候補を領域探索によって提示できない場合であっても、作成者が所望する車両の回りを囲むＢＢを強調表示させて提示することができる。

【0048】

次に、図８を参照し、実施形態に係る情報処理装置が実行する処理について説明する。図８は、実施形態に係る情報処理装置が実行する処理の一例を示すフローチャートである。図８に示すように、情報処理装置１は、教師データ用の画像を取得し（ステップＳ１０１）、画像に対して学習を要さない領域探索を行い（ステップＳ１０２）、ＢＢの項を生成する（ステップＳ１０３）。

【0049】

続いて、情報処理装置１は、予め定めるサイズより小さなＢＢの候補を消去する（ステップＳ１０４）。その後、情報処理装置１は、各画素値の差が閾値未満のＢＢの候補を消去する（ステップＳ１０５）。

【0050】

続いて、情報処理装置１は、画像にＢＢの候補を重畳させて作成者に提示する（ステップＳ１０６）。その後、情報処理装置１は、ＢＢの候補の選択操作があるか否かを判断する（ステップＳ１０７）。そして、情報処理装置１は、選択操作があると判断した場合（ステップＳ１０７，Ｙｅｓ）、複数のＢＢの候補があるか否かを判断する（ステップＳ１０８）。

【0051】

情報処理装置１は、複数のＢＢの候補があると判断した場合（ステップＳ１０８，Ｙｅｓ）、重心までの距離が最小のＢＢの候補を選択し（ステップＳ１０９）、処理をステップＳ１１０へ移す。情報処理装置１は、複数のＢＢの候補がないと判断した場合（ステップＳ１０８，Ｎｏ）、処理をステップＳ１１０へ移す。

【0052】

また、情報処理装置１は、ＢＢの候補の選択操作がないと判断した場合（ステップＳ１０７，Ｎｏ）、四点選択操作があるか否かを判断する（ステップＳ１１２）。そして、情報処理装置１は、四点選択操作がないと判断した場合（ステップＳ１１２，Ｎｏ）、処理を終了する。その後、情報処理装置１は、再度、ステップＳ１０１から処理を開始する。

【0053】

また、情報処理装置１は、四点選択操作があると判断した場合（ステップＳ１１２，Ｙｅｓ）、選択された四点をつなぐＢＢの候補を生成し（ステップＳ１１３）、処理をステップＳ１１０へ移す。

【0054】

ステップＳ１１０において、情報処理装置１は、選択または作成されたＢＢの候補を強調表示させる。その御、情報処理装置１は、強調表示したＢＢの候補を画像に付与して（ステップＳ１１１）、処理を終了する。その後、情報処理装置１は、再度、ステップＳ１０１から処理を開始する。

【0055】

なお、情報処理装置１は、予め定めるサイズより小さなＢＢの候補を消去する処理（ステップＳ１０４）と、各画素値の差が閾値未満のＢＢの候補を消去する処理（ステップＳ１０５）とを省略することもできる。

【0056】

また、情報処理装置１は、予め定めるサイズより小さなＢＢの候補を消去する処理（ステップＳ１０４）と、各画素値の差が閾値未満のＢＢの候補を消去する処理（ステップＳ１０５）との順序を入れ替えることもできる。また、情報処理装置１は、各画素値の差と比較する閾値を任意に設定変更することができる。

【0057】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0058】

１ 情報処理装置
２ 画像取得部
３ ＢＢ候補生成部
４ ＢＢ候補提示部
５ ＢＢ付与部
１００ 画像ＤＢ
１０１ 端末装置

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7A】

【図7B】

【図8】