特開 2021-163256 情報処理方法および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-163256(P2021-163256A)

(43)【公開日】2021年10月11日

(54)【発明の名称】情報処理方法および情報処理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210913BHJP

【ＦＩ】

   G06T7/00 300Z

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

【全頁数】10

(21)【出願番号】特願2020-65017(P2020-65017)

(22)【出願日】2020年3月31日

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】岡田 康貴

(72)【発明者】

【氏名】関 竜介

(72)【発明者】

【氏名】広見 怜

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA01

5L096DA02

5L096FA16

5L096HA07

5L096KA03

5L096KA15

(57)【要約】

【課題】人によって正解値が画像に付与される場合に、人為的なミスの発生を抑制することができる情報処理方法および情報処理プログラムを提供すること。
【解決手段】実施形態の一態様に係る情報処理方法は、バウンディングボックスによって物体が囲まれた画像を取得するステップと、バウンディングボックスによって囲まれた物体の画像を認識して物体の名称と名称の信頼度とを導出するステップと、バウンディングボックスに付与する名称の候補を信頼度に基づいて選択し、名称の候補のリストを生成して提示するステップとを含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

バウンディングボックスによって物体が囲まれた画像を取得するステップと、
前記バウンディングボックスによって囲まれた前記物体の画像を認識して前記物体の名称と前記名称の信頼度とを導出するステップと、
前記バウンディングボックスに付与する前記名称の候補を前記信頼度に基づいて選択し、前記名称の候補のリストを生成して提示するステップと
を含むことを特徴とする情報処理方法。

【請求項2】

同一の前記物体について導出される前記名称の候補から、前記信頼度が閾値以上の名称の候補を選択し、前記信頼度が高い順に配置して前記リストを生成するステップと
を含むことを特徴とする請求項１に記載の情報処理方法。

【請求項3】

前記同一の前記物体について導出される全ての前記名称の前記信頼度が前記閾値未満である場合は、前記リストの提示を行わずに、前記物体の名称の入力要求を行うステップと
を含むことを特徴とする請求項２に記載の情報処理方法。

【請求項4】

前記バウンディングボックスによって囲まれた前記物体の画像と、前記名称が既知の物体の画像データベースとを比較して、前記信頼度を導出するステップと
を含むことを特徴とする請求項１〜３のいずれか一つに記載の情報処理方法。

【請求項5】

バウンディングボックスに付与された名称と、前記物体の画像とを対応付けて前記画像データベースに登録するステップと
を含むことを特徴とする請求項４に記載の情報処理方法。

【請求項6】

バウンディングボックスによって物体が囲まれた画像を取得するステップと、
前記バウンディングボックスによって囲まれた前記物体の画像を認識して前記物体の名称と前記名称の信頼度とを導出するステップと、
前記バウンディングボックスに付与する前記名称のラベルの候補を前記信頼度に基づいて選択し、前記ラベルの候補のリストを生成して提示するステップと
をコンピュータに実行させることを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実施形態は、情報処理方法および情報処理プログラムに関する。

【背景技術】

【0002】

ＣＮＮ（Convolutional Neural Network）を用いた画像認識用の機械学習モデルを生成する手法の一つに、教師あり学習がある（例えば、特許文献１参照）。教師あり学習では、正解値が付与された画像の教師データを未学習の機械学習モデルに入力し、学習させることによって画像認識用の機械学習モデルを生成する。

【0003】

物体を画像認識する機械学習モデルを生成する場合、例えば、同一の物体をあらゆる方向から撮像した各画像に物体の名称が正解値として付与された膨大な数の教師データを用意する必要がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０−００９４４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、教師データは、人によって正解値が画像に付与される場合に、人為的なミスが発生する恐れがある。

【0006】

実施形態の一態様は、上記に鑑みてなされたものであって、人によって正解値が画像に付与される場合に、人為的なミスの発生を抑制することができる情報処理方法および情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

実施形態の一態様に係る情報処理方法は、バウンディングボックスによって物体が囲まれた画像を取得するステップと、前記バウンディングボックスによって囲まれた前記物体の画像を認識して前記物体の名称と前記名称の信頼度とを導出するステップと、前記バウンディングボックスに付与する前記名称の候補を前記信頼度に基づいて選択し、前記名称の候補のリストを生成して提示するステップとを含む。

【発明の効果】

【0008】

実施形態の一態様に係る情報処理方法および情報処理プログラムは、人によって正解値が画像に付与される場合に、人為的なミスの発生を抑制することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係る情報処理方法の一例の概要説明図である。

【図2】図２は、実施形態に係る情報処理装置の構成の一例を示すブロック図である。

【図3】図３は、実施形態に係る画像ＤＢの一例の説明図である。

【図4】図４は、実施形態に係る名称候補リスト提示部によって提示される情報の第１例を示す説明図である。

【図5】図５は、実施形態に係る名称候補リスト提示部によって提示される情報の第２例を示す説明図である。

【図6】図６は、実施形態に係る情報処理装置が実行する処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して、情報処理方法および情報処理プログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。また、以下の説明では、同一の構成要素に対して同一の符号を付することにより、重複する説明を省略する。

【0011】

図１は、実施形態に係る情報処理方法の概要説明図である。実施形態に係る情報処理方法では、機械学習の一つである教師あり学習用の教師データとして使用される画像に付与される正解値の候補を教師データの作成者（以下、単に「作成者」と記載する）に提示する。

【0012】

ここでは、ＣＮＮ（Convolutional Neural Network）を用いて画像認識を行う機械学習モデルに学習させる教師データ用の画像に付与される正解値の候補として、認識対象物の名称の候補を提示する場合を例に挙げて説明する。

【0013】

例えば、機械学習モデルによって車両を画像認識させる場合、あらゆる方向から撮像された膨大な数の車両の画像に、車両という正解値が付与された教師データを機械学習モデルに入力して事前に学習させる。

【0014】

しかしながら、例えば、数千枚から数万枚の車両の画像に人が名称を付与するとなると、教師データの作成に膨大な量の作業が必要となる。また、膨大な数の画像に対して名称を付与する必要があるため、複数人で名称の付与作業が行われることが一般的である。このため、人によって名称が画像に付与される場合に、名称のバラツキおよび間違い等の人為的なミスが発生するおそれがある。

【0015】

そこで、実施形態に係る情報処理方法では、コンピュータが、教師データとなる画像に含まれる認識対象物の名称として信頼度の高い名称の候補のリストを作成者に提示することによって、人為的なミスの発生を抑制する。

【0016】

例えば、図１に示すように、作成者１００は、教師データの作成に使用する端末装置１０１によって、まず、教師データとなる画像に対して、画像中の車両を囲むバウンディングボックス（以下、「ＢＢ１０」と記載する）を作成して付与する（ステップＳ１）。

【0017】

コンピュータの一例である情報処理装置１は、端末装置１０１からＢＢ１０によって物体の一例である車両が囲まれた画像（以下、「ＢＢ付画像」と記載する）を取得する（ステップＳ２）。情報処理装置１は、ＢＢ付画像を画像認識して、物体の名称と、名称の信頼度とを導出する（ステップＳ３）。

【0018】

情報処理装置１は、ＢＢ１０に付与する名称の候補を導出した信頼度に基づいて選択し、名称の候補のリストを生成する（ステップＳ４）。そして、情報処理装置１は、生成した名称の候補のリストを端末装置１０１へ送信して、作成者１００に提示する（ステップＳ５）。

【0019】

作成者１００は、提示されるリストから名称を選択してＢＢ１０に付与する（ステップＳ６）。これにより、作成者１００は、ＢＢ１０に名称を付与する場合に、人為的なミスの発生を抑制することができる。

【0020】

また、情報処理装置１は、ＢＢ１０に付与された名称を端末装置１０１から取得する（ステップＳ７）。そして、情報処理装置１は、取得した名称とＢＢ１０が付与された画像とを対応付けて画像データベース（以下、「画像ＤＢ」と記載する）に登録する（ステップＳ８）。

【0021】

これにより、情報処理装置１は、画像ＤＢに順次登録される画像を使用することによって、例えば、次回以降に導出する物体の名称および名称の信頼度の精度を向上させることができる。

【0022】

次に、図２を参照して実施形態に係るコンピュータの一例である情報処理装置の構成について説明する。図２は、実施形態に係る情報処理装置の構成の一例を示すブロック図である。図２に示すように、情報処理装置１は、端末装置１０１と接続される。

【0023】

情報処理装置１は、制御部２と記憶部３とを備える。記憶部３は、例えば、データフラッシュ等の情報記憶デバイスであり、画像ＤＢ３１を記憶する。ここで、図３を参照して画像ＤＢ３１について説明する。

【0024】

図３に示すように、画像ＤＢ３１には、名称が既知の物体の画像が予め蓄積されている。具体的には、画像ＤＢ３１には、画像と画像中の物体の名称とが対応付けられた情報が予め蓄積されている。例えば、画像ＤＢ３１には、セダンタイプの車両の画像に対してセダンという名称が対応付けられた情報、小型車の画像に対してコンパクトカーという名称が対応付けられた情報等が蓄積されている。

【0025】

また、画像ＤＢ３１には、車両以外にも、信号機の画像に信号機という名称が対応付けられた情報、人の画像に人という名称が対応付けられた情報等が蓄積されている。画像ＤＢ３１には、例えば、数千から数万単位の情報が予め蓄積される。

【0026】

図２へ戻り、制御部２の説明を行う。制御部２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを有するマイクロコンピュータや各種の回路を含む。

【0027】

制御部２は、ＣＰＵがＲＯＭに記憶された情報処理プログラムを、ＲＡＭを作業領域として使用して実行することにより機能するＢＢ付画像取得部２１と、名称信頼度導出部２２と、名称候補リスト提示部２３と、名称取得部２４と、名称登録部２５とを備える。

【0028】

なお、制御部２が備えるＢＢ付画像取得部２１、名称信頼度導出部２２、名称候補リスト提示部２３、名称取得部２４、および名称登録部２５は、一部または全部がＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。

【0029】

制御部２が備えるＢＢ付画像取得部２１、名称信頼度導出部２２、名称候補リスト提示部２３、名称取得部２４、および名称登録部２５は、それぞれ以下に説明する情報処理の作用を実現または実行する。なお、制御部２の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

【0030】

ＢＢ付画像取得部２１は、端末装置１０１からＢＢ付画像を取得して、名称信頼度導出部２２へ出力する。名称信頼度導出部２２は、ＢＢ付画像取得部２１から入力されるＢＢ付画像におけるＢＢ１０によって囲まれる物体を画像認識によって検知する。

【0031】

そして、名称信頼度導出部２２は、ＢＢ１０によって囲まれた物体の画像と、画像ＤＢ３１とを比較して、名称の候補と、名称の信頼度とを導出する。具体的には、名称信頼度導出部２２は、画像ＤＢ３１を参照して、検知した物体と類似する複数の物体を検索し、例えば、該当する物体に対応付けられた名称が同一の物体の数が多い名称ほど高くなる信頼度を導出する。

【0032】

このように、名称信頼度導出部２２は、ＢＢ１０によって囲まれた物体の画像と、名称が既知の物体の画像ＤＢ３１とを比較して、名称の候補の信頼度を導出するので、正確な信頼度を導出することができる。名称信頼度導出部２２は、導出した名称の候補と、名称の信頼度とを名称候補リスト提示部２３へ出力する。

【0033】

名称候補リスト提示部２３は、同一の物体について導出される名称の候補から、信頼度が閾値（例えば、７０％）以上の名称の候補を選択し、信頼度が高い順に配置してリストを生成し、端末装置１０１へ送信して作成者１００に提示する。

【0034】

また、名称候補リスト提示部２３は、同一の物体について導出される全ての名称の信頼度が閾値（例えば、７０％）未満である場合は、リストの提示を行わずに、作成者１００に対して物体の名称の入力要求を行う。

【0035】

ここで、図４および図５を参照して名称候補リスト提示部２３によって提示される情報の一例について説明する。図４および図５は、実施形態に係る名称候補リスト提示部によって提示される情報の一例を示す説明図である。

【0036】

名称候補リスト提示部２３は、端末装置１０１から入力される車両のＢＢ付画像について、信頼度が閾値を超える名称の候補を導出した場合、例えば、図４に示す表示画面１０３を端末装置１０１に表示させる。

【0037】

このとき、名称候補リスト提示部２３は、例えば、表示画面１０３における左側に、端末装置１０１から取得したＢＢ１０によって囲まれる車両の画像を表示させる。そして、名称候補リスト提示部２３は、表示画面１０３の右側に、信頼度が高い上位３つの名称の候補を信頼度が高い順に配置した名称の候補のリスト１１を表示させる。

【0038】

名称候補リスト提示部２３は、リスト１１における名称の候補の左側に、信頼度の順位を表示させ、名称の候補の右側に信頼度の値を表示させる。作成者１００は、表示画面に表示されるカーソル１２を移動させて、ＢＢ１０に付与する名称の候補を選択し、決定ボタン１３をクリックすることによって、ＢＢ１０に付与する名称を決定することができる。

【0039】

このように、名称候補リスト提示部２３は、名称の候補を絞り込んで作成者１００に提示することにより、作成者１００によって正解値が画像に付与される場合に、人為的なミスの発生を抑制することができる。

【0040】

また、端末装置１０１から入力される車両のＢＢ付画像について導出した名称の候補の信頼度が全て閾値未満であった場合、例えば、図５に示す表示画面１０４を端末装置１０１に表示させる。

【0041】

このとき、名称候補リスト提示部２３は、例えば、表示画面１０３における左側に、端末装置１０１から取得したＢＢ付画像を表示させ、表示画面１０３における右側に、名称入力要求１４を表示させる。

【0042】

名称候補リスト提示部２３は、例えば、「該当する名称がありません。名称を入力してください。」というテキスト情報を表示させて、作成者１００に、ＢＢ１０に付与する名称の入力を促す。作成者１００は、テキストボックスに名称を手動入力することによって、ＢＢ１０に名称を付与することができる。

【0043】

図２へ戻り名称取得部２４について説明する。名称取得部２４は、作成者１００によってＢＢ１０に名称が付与された場合、および手動入力によって名称が入力されてＢＢ１０に付与された場合に、端末装置１０１からＢＢ１０に付与された名称を取得する。名称取得部２４は、取得した名称を名称登録部２５へ出力する。

【0044】

名称登録部２５は、名称取得部２４から入力される名称と、ＢＢ付画像とを対応付けて画像ＤＢ３１に登録する。名称登録部２５は、作成者１００によってＢＢ１０に名称が付与される度に、名称と、ＢＢ付画像とを対応付けて画像ＤＢ３１に登録する。これにより、名称信頼度導出部２２は、画像ＤＢ３１に蓄積される情報量が増大するので、導出する名称の信頼度を向上させることができる。

【0045】

次に、図６を参照して実施形態に係る情報処理装置１が実行する処理の一例について説明する。図６は、実施形態に係る情報処理装置が実行する処理の一例を示すフローチャートである。

【0046】

図６に示すように、制御部２は、まず、端末装置１０１からＢＢ付画像を取得し（ステップＳ１０１）、ＢＢ付画像から物体を画像認識する（ステップＳ１０２）。その後、制御部２は、物体の名称および名称の信頼度を導出する（ステップＳ１０３）。

【0047】

続いて、制御部２は、信頼度が全て閾値未満か否かを判定する（ステップＳ１０４）。そして、制御部２は、信頼度が全て閾値未満ではないと判定した場合（ステップＳ１０４，Ｎｏ）、つまり、信頼度が閾値以上の名称があると判定した場合、信頼度が閾値以上の名称候補を選択する（ステップＳ１０５）。

【0048】

そして、制御部２は、名称の候補のリストを生成する（ステップＳ１０６）。このとき、制御部２は、同一の物体について導出される名称の候補から、信頼度が閾値以上の名称の候補を選択し、信頼度が高い順に所定数（例えば、上位３つ）の名称を配置してリストを生成する。

【0049】

その後、制御部２は、名称の候補のリストを端末装置１０１へ送信して提示し（ステップＳ１０７）、処理をステップＳ１０８へ移す。また、制御部２は、導出した信頼度が全て閾値未満であると判定した場合（ステップＳ１０４，Ｙｅｓ）、作成者１００に対して物体の名称の入力要求を行い（ステップＳ１１０）、処理をステップＳ１０８へ移す。

【0050】

ステップＳ１０８において、制御部２は、作成者１００によってＢＢに付与された名称を取得したか否かを判定する。そして、制御部２は、付与された名称を取得したと判定した場合（ステップＳ１０８，Ｙｅｓ）、名称と画像とを対応付けて画像ＤＢ３１（ステップＳ１０９）に登録し、処理を終了する。そして、制御部２は、再度ステップＳ１０１から処理を開始する。また、制御部２は、付与された名称を取得しないと判定した場合（ステップＳ１０８，Ｎｏ）、処理を終了し、再度ステップＳ１０１から処理を開始する。

【0051】

なお、上述した実施形態では、情報処理装置１と端末装置１０１とが有線によって接続される場合を例に挙げて説明したが、情報処理装置１は、例えば、クラウド上に設けられ、無線通信によって端末装置１０１と接続されてもよい。また、上述した実施形態では、情報処理装置１が画像ＤＢ３１を備える場合を例に挙げて説明したが、画像ＤＢ３１は、例えば、クラウド上に設けられてもよい。

【0052】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0053】

１ 情報処理装置
２ 制御部
２１ ＢＢ付画像取得部
２２ 名称信頼度導出部
２３ 名称候補リスト提示部
２４ 名称取得部
２５ 名称登録部
３ 記憶部
３１ 画像ＤＢ
１００ 作成者
１０１ 端末装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】