ホーム > 特許ランキング > 株式会社デンソーテン
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022150552
(43)【公開日】2022-10-07
(54)【発明の名称】データ処理装置及び方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20220929BHJP
【ＦＩ】
G06T7/00 350C
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021053198
(22)【出願日】2021-03-26
(71)【出願人】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(74)【代理人】
【識別番号】110001933
【氏名又は名称】特許業務法人 佐野特許事務所
(72)【発明者】
【氏名】関 竜介
(72)【発明者】
【氏名】岡田 康貴
(72)【発明者】
【氏名】片山 雄喜
(72)【発明者】
【氏名】広見 怜
(72)【発明者】
【氏名】荻島 葵
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA25
5L096DA02
5L096EA35
5L096FA16
5L096FA32
5L096FA33
5L096FA52
5L096FA60
5L096FA66
5L096FA69
5L096GA34
5L096GA51
5L096HA09
5L096HA11
5L096JA05
5L096JA11
5L096KA04
5L096KA15
5L096MA07
(57)【要約】 （修正有）
【課題】データセットにおけるクラス情報の誤りを特定するデータ処理装置及び方法を提供する。
【解決手段】画像分類データセットは、各々に物体の画像データを含む複数の物体画像と、各物体画像中の物体のクラスを特定するクラス情報を含む。複数の物体画像に含まれるｍ枚の物体画像の特徴量ＦＴとｍ枚の物体画像に対するクラス情報とに基づき、ｍ枚の物体画像のクラスタリングを行う。クラスタリングにより得られる１以上のクラスタ（ＣＴＢ１、ＣＴＢ２）について、クラスタ毎に、当該クラスタに属する複数の特徴点の重心（ＧＢ１、ＧＢ２）及び当該重心と各特徴量との距離ｄを導出し、複数の特徴量に対して導出した複数の距離の平均及び分散を導出する。平均及び分散の導出結果に基づいて、クラス情報に誤りのある物体画像が属するクラスタを誤りクラスタとして特定する。
【選択図】図１３
【解決手段】画像分類データセットは、各々に物体の画像データを含む複数の物体画像と、各物体画像中の物体のクラスを特定するクラス情報を含む。複数の物体画像に含まれるｍ枚の物体画像の特徴量ＦＴとｍ枚の物体画像に対するクラス情報とに基づき、ｍ枚の物体画像のクラスタリングを行う。クラスタリングにより得られる１以上のクラスタ（ＣＴＢ１、ＣＴＢ２）について、クラスタ毎に、当該クラスタに属する複数の特徴点の重心（ＧＢ１、ＧＢ２）及び当該重心と各特徴量との距離ｄを導出し、複数の特徴量に対して導出した複数の距離の平均及び分散を導出する。平均及び分散の導出結果に基づいて、クラス情報に誤りのある物体画像が属するクラスタを誤りクラスタとして特定する。
【選択図】図１３
【特許請求の範囲】
【請求項1】
各々に物体の画像データを含む複数の物体画像と、各物体画像中の物体のクラスを特定するクラス情報と、を含む画像分類データセットを取得する画像分類データセット取得部と、
前記画像分類データセットにおける各物体画像の特徴量を導出する特徴量導出部と、
前記複数の物体画像に含まれるｍ枚の物体画像の特徴量と前記ｍ枚の物体画像に対する前記クラス情報とに基づき、前記ｍ枚の物体画像のクラスタリングを行うクラスタリング処理部と（ｍは３以上の整数）、
前記クラスタリングにより得られる１以上のクラスタについて、クラスタごとに、当該クラスタに属する複数の特徴点の重心及び当該重心と各特徴量との距離を導出し、前記複数の特徴量に対して導出した複数の距離の平均及び分散を導出する指標導出部と、
前記平均及び前記分散の導出結果に基づいて、前記クラス情報に誤りのある物体画像が属するクラスタを誤りクラスタとして特定する誤り特定部と、を備える
、データ処理装置。
前記画像分類データセットにおける各物体画像の特徴量を導出する特徴量導出部と、
前記複数の物体画像に含まれるｍ枚の物体画像の特徴量と前記ｍ枚の物体画像に対する前記クラス情報とに基づき、前記ｍ枚の物体画像のクラスタリングを行うクラスタリング処理部と（ｍは３以上の整数）、
前記クラスタリングにより得られる１以上のクラスタについて、クラスタごとに、当該クラスタに属する複数の特徴点の重心及び当該重心と各特徴量との距離を導出し、前記複数の特徴量に対して導出した複数の距離の平均及び分散を導出する指標導出部と、
前記平均及び前記分散の導出結果に基づいて、前記クラス情報に誤りのある物体画像が属するクラスタを誤りクラスタとして特定する誤り特定部と、を備える
、データ処理装置。
【請求項2】
前記誤り特定部は、導出された平均が所定の第１閾値以上であって且つ導出された散が所定の第２閾値以上であるクラスタを、前記誤りクラスタとして特定する
、請求項１に記載のデータ処理装置。
、請求項１に記載のデータ処理装置。
【請求項3】
前記クラスタリング処理部は、前記クラスタリングにおいて前記ｍ枚の物体画像をｋ個のクラスタに分類し、
ｋは、前記ｍ枚の物体画像に対する前記クラス情報により表される、前記ｍ枚の物体画像における物体のクラスの種類数に等しい
、請求項１又は２に記載のデータ処理装置。
ｋは、前記ｍ枚の物体画像に対する前記クラス情報により表される、前記ｍ枚の物体画像における物体のクラスの種類数に等しい
、請求項１又は２に記載のデータ処理装置。
【請求項4】
前記誤り特定部は、前記誤りクラスタに属するｎ枚の物体画像の再クラスタリングを前記ｎ枚の物体画像に対するｎ個の特徴量に基づいて行い、前記再クラスタリングの結果に基づいて、前記ｎ枚の物体画像の中から前記クラス情報に誤りのある物体画像を特定する（ｎは３以上の整数）
、請求項１～３の何れかに記載のデータ処理装置。
、請求項１～３の何れかに記載のデータ処理装置。
【請求項5】
前記誤り特定部は、前記再クラスタリングにより前記ｎ枚の物体画像を第１及び第２クラスタに分類し、前記第２クラスタに属する物体画像の総数が前記第１クラスタに属する物体画像の総数よりも少ないとき、前記第２クラスタに属する物体画像を前記クラス情報に誤りのある物体画像として特定する
、請求項４に記載のデータ処理装置。
、請求項４に記載のデータ処理装置。
【請求項6】
前記誤り特定部は、前記再クラスタリングにより前記ｎ枚の物体画像を第１及び第２クラスタに分類し、
前記ｎ枚の物体画像についてのｎ個の特徴量の重心と前記第２クラスタとの距離が、前記ｎ枚の物体画像についてのｎ個の特徴量の重心と前記第１クラスタとの距離よりも大きいとき、前記第２クラスタに属する物体画像を前記クラス情報に誤りのある物体画像として特定する
、請求項４に記載のデータ処理装置。
前記ｎ枚の物体画像についてのｎ個の特徴量の重心と前記第２クラスタとの距離が、前記ｎ枚の物体画像についてのｎ個の特徴量の重心と前記第１クラスタとの距離よりも大きいとき、前記第２クラスタに属する物体画像を前記クラス情報に誤りのある物体画像として特定する
、請求項４に記載のデータ処理装置。
【請求項7】
前記複数の物体画像は複数の入力画像から切り出された画像であり、
前記複数の入力画像を複数の学習用画像として用い、前記複数の学習用画像の画像データと各学習用画像内の物体の位置及びクラスを特定するアノテーション情報とを含む学習用データセットを生成する学習用データセット生成部が当該データ処理装置に設けられ、
前記学習用データセット生成部は、前記誤り特定部の特定結果に基づき、前記クラス情報に誤りのある物体画像を含む入力画像を前記複数の入力画像からアノテーション対象として抽出し、前記アノテーション対象に対して外部から与えられた情報を用いて、前記アノテーション対象に対する前記アノテーション情報を修正する
、請求項４～６の何れかに記載のデータ処理装置。
前記複数の入力画像を複数の学習用画像として用い、前記複数の学習用画像の画像データと各学習用画像内の物体の位置及びクラスを特定するアノテーション情報とを含む学習用データセットを生成する学習用データセット生成部が当該データ処理装置に設けられ、
前記学習用データセット生成部は、前記誤り特定部の特定結果に基づき、前記クラス情報に誤りのある物体画像を含む入力画像を前記複数の入力画像からアノテーション対象として抽出し、前記アノテーション対象に対して外部から与えられた情報を用いて、前記アノテーション対象に対する前記アノテーション情報を修正する
、請求項４～６の何れかに記載のデータ処理装置。
【請求項8】
前記複数の物体画像は複数の入力画像から切り出された画像であり、
前記複数の入力画像の一部を複数の学習用画像として抽出し、前記複数の学習用画像の画像データと各学習用画像内の物体の位置及びクラスを特定するアノテーション情報とを含む学習用データセットを生成する学習用データセット生成部が当該データ処理装置に設けられ、
前記学習用データセット生成部は、前記誤り特定部の特定結果に基づき、前記クラス情報に誤りのある物体画像を含む入力画像を前記複数の学習用画像から除外する
、請求項４～６の何れかに記載のデータ処理装置。
前記複数の入力画像の一部を複数の学習用画像として抽出し、前記複数の学習用画像の画像データと各学習用画像内の物体の位置及びクラスを特定するアノテーション情報とを含む学習用データセットを生成する学習用データセット生成部が当該データ処理装置に設けられ、
前記学習用データセット生成部は、前記誤り特定部の特定結果に基づき、前記クラス情報に誤りのある物体画像を含む入力画像を前記複数の学習用画像から除外する
、請求項４～６の何れかに記載のデータ処理装置。
【請求項9】
前記画像分類データセットを用いてニューラルネットワークの機械学習を実行することで物体分類用の推論モデルを作成する機械学習処理部を更に備え、
前記特徴量導出部は、前記推論モデルに対して前記画像分類データセットを入力することで各物体画像の特徴量を導出する
、請求項１～８の何れかに記載のデータ処理装置。
前記特徴量導出部は、前記推論モデルに対して前記画像分類データセットを入力することで各物体画像の特徴量を導出する
、請求項１～８の何れかに記載のデータ処理装置。
【請求項10】
各々に物体の画像データを含む複数の物体画像と、各物体画像中の物体のクラスを特定するクラス情報と、を含む画像分類データセットを取得する画像分類データセット取得ステップと、
前記画像分類データセットにおける各物体画像の特徴量を導出する特徴量導出ステップと、
前記複数の物体画像に含まれるｍ枚の物体画像の特徴量と前記ｍ枚の物体画像に対する前記クラス情報とに基づき、前記ｍ枚の物体画像のクラスタリングを行うクラスタリング処理ステップと（ｍは３以上の整数）、
前記クラスタリングにより得られる１以上のクラスタについて、クラスタごとに、当該クラスタに属する複数の特徴点の重心及び当該重心と各特徴量との距離を導出し、前記複数の特徴量に対して導出した複数の距離の平均及び分散を導出する指標導出ステップと、
前記平均及び前記分散の導出結果に基づいて、前記クラス情報に誤りのある物体画像が属するクラスタを誤りクラスタとして特定する誤り特定ステップと、を備える
、データ処理方法。
前記画像分類データセットにおける各物体画像の特徴量を導出する特徴量導出ステップと、
前記複数の物体画像に含まれるｍ枚の物体画像の特徴量と前記ｍ枚の物体画像に対する前記クラス情報とに基づき、前記ｍ枚の物体画像のクラスタリングを行うクラスタリング処理ステップと（ｍは３以上の整数）、
前記クラスタリングにより得られる１以上のクラスタについて、クラスタごとに、当該クラスタに属する複数の特徴点の重心及び当該重心と各特徴量との距離を導出し、前記複数の特徴量に対して導出した複数の距離の平均及び分散を導出する指標導出ステップと、
前記平均及び前記分散の導出結果に基づいて、前記クラス情報に誤りのある物体画像が属するクラスタを誤りクラスタとして特定する誤り特定ステップと、を備える
、データ処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データ処理装置及び方法に関する。
【背景技術】
【0002】
機械学習の一種である教師あり学習により画像認識（物体検出又は物体分類等）を行う推論モデルを構築するためには、一般に、アノテーション情報が付与された大量の画像（数千枚から数百万枚の画像、又は、それを超える枚数の画像）が必要である。アノテーション情報は、例えば、人間による手動アノテーション又は学習済みモデルによる自動アノテーションによって作成される。大量の画像の画像データとアノテーション情報とを含むデータセットを用いて教師あり学習を実施できる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０１７－５１５１８９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
但し、手動アノテーション及び自動アノテーションの何れの場合でも、画像中の物体に誤ったクラス情報（ラベル）がアノテーションされることがある。人手（人間の目）によるチェックを個々の画像に対して行えば誤ったクラス情報（ラベル）を判別することができるが、当該チェックには膨大なコスト（時間及び人間の労力）が発生する。クラス情報に誤りがあるデータを装置側で自動抽出することができれば、データセット中の不備を探すコストを削減でき、有益である。
【0005】
本発明は、クラス情報の誤りの特定に寄与するデータ処理装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係るデータ処理装置は、各々に物体の画像データを含む複数の物体画像と、各物体画像中の物体のクラスを特定するクラス情報と、を含む画像分類データセットを取得する画像分類データセット取得部と、前記画像分類データセットにおける各物体画像の特徴量を導出する特徴量導出部と、前記複数の物体画像に含まれるｍ枚の物体画像の特徴量と前記ｍ枚の物体画像に対する前記クラス情報とに基づき、前記ｍ枚の物体画像のクラスタリングを行うクラスタリング処理部と（ｍは３以上の整数）、前記クラスタリングにより得られる１以上のクラスタについて、クラスタごとに、当該クラスタに属する複数の特徴点の重心及び当該重心と各特徴量との距離を導出し、前記複数の特徴量に対して導出した複数の距離の平均及び分散を導出する指標導出部と、前記平均及び前記分散の導出結果に基づいて、前記クラス情報に誤りのある物体画像が属するクラスタを誤りクラスタとして特定する誤り特定部と、を備える構成（第１の構成）である。
【0007】
上記第１の構成に係るデータ処理装置において、前記誤り特定部は、導出された平均が所定の第１閾値以上であって且つ導出された分散が所定の第２閾値以上であるクラスタを、前記誤りクラスタとして特定する構成（第２の構成）であっても良い。
【0008】
上記第１又は第２の構成に係るデータ処理装置において、前記クラスタリング処理部は、前記クラスタリングにおいて前記ｍ枚の物体画像をｋ個のクラスタに分類し、ｋは、前記ｍ枚の物体画像に対する前記クラス情報により表される、前記ｍ枚の物体画像における物体のクラスの種類数に等しい構成（第３の構成）であっても良い。
【0009】
上記第１～第３の構成の何れかに係るデータ処理装置において、前記誤り特定部は、前記誤りクラスタに属するｎ枚の物体画像の再クラスタリングを前記ｎ枚の物体画像に対するｎ個の特徴量に基づいて行い、前記再クラスタリングの結果に基づいて、前記ｎ枚の物体画像の中から前記クラス情報に誤りのある物体画像を特定する（ｎは３以上の整数）構成（第４の構成）であっても良い。
【0010】
上記第４の構成に係るデータ処理装置において、前記誤り特定部は、前記再クラスタリングにより前記ｎ枚の物体画像を第１及び第２クラスタに分類し、前記第２クラスタに属する物体画像の総数が前記第１クラスタに属する物体画像の総数よりも少ないとき、前記第２クラスタに属する物体画像を前記クラス情報に誤りのある物体画像として特定する構成（第５の構成）であっても良い。
【0011】
上記第４の構成に係るデータ処理装置において、前記誤り特定部は、前記再クラスタリングにより前記ｎ枚の物体画像を第１及び第２クラスタに分類し、前記ｎ枚の物体画像についてのｎ個の特徴量の重心と前記第２クラスタとの距離が、前記ｎ枚の物体画像についてのｎ個の特徴量の重心と前記第１クラスタとの距離よりも大きいとき、前記第２クラスタに属する物体画像を前記クラス情報に誤りのある物体画像として特定する構成（第６の構成）であっても良い。
【0012】
上記第４～第６の構成の何れかに係るデータ処理装置において、前記複数の物体画像は複数の入力画像から切り出された画像であり、前記複数の入力画像を複数の学習用画像として用い、前記複数の学習用画像の画像データと各学習用画像内の物体の位置及びクラスを特定するアノテーション情報とを含む学習用データセットを生成する学習用データセット生成部が当該データ処理装置に設けられ、前記学習用データセット生成部は、前記誤り特定部の特定結果に基づき、前記クラス情報に誤りのある物体画像を含む入力画像を前記複数の入力画像からアノテーション対象として抽出し、前記アノテーション対象に対して外部から与えられた情報を用いて、前記アノテーション対象に対する前記アノテーション情報を修正する構成（第７の構成）であっても良い。
【0013】
上記第４～第６の構成の何れかに係るデータ処理装置において、前記複数の物体画像は複数の入力画像から切り出された画像であり、前記複数の入力画像の一部を複数の学習用画像として抽出し、前記複数の学習用画像の画像データと各学習用画像内の物体の位置及びクラスを特定するアノテーション情報とを含む学習用データセットを生成する学習用データセット生成部が当該データ処理装置に設けられ、前記学習用データセット生成部は、前記誤り特定部の特定結果に基づき、前記クラス情報に誤りのある物体画像を含む入力画像を前記複数の学習用画像から除外する構成（第８の構成）であっても良い。
【0014】
上記第１～第８の構成の何れかに係るデータ処理装置において、前記画像分類データセットを用いてニューラルネットワークの機械学習を実行することで物体分類用の推論モデルを作成する機械学習処理部を更に備え、前記特徴量導出部は、前記推論モデルに対して前記画像分類データセットを入力することで各物体画像の特徴量を導出する構成（第９の構成）であっても良い。
【0015】
本発明に係るデータ処理方法は、各々に物体の画像データを含む複数の物体画像と、各物体画像中の物体のクラスを特定するクラス情報と、を含む画像分類データセットを取得する画像分類データセット取得ステップと、前記画像分類データセットにおける各物体画像の特徴量を導出する特徴量導出ステップと、前記複数の物体画像に含まれるｍ枚の物体画像の特徴量と前記ｍ枚の物体画像に対する前記クラス情報とに基づき、前記ｍ枚の物体画像のクラスタリングを行うクラスタリング処理ステップと（ｍは３以上の整数）、前記クラスタリングにより得られる１以上のクラスタについて、クラスタごとに、当該クラスタに属する複数の特徴点の重心及び当該重心と各特徴量との距離を導出し、前記複数の特徴量に対して導出した複数の距離の平均及び分散を導出する指標導出ステップと、前記平均及び前記分散の導出結果に基づいて、前記クラス情報に誤りのある物体画像が属するクラスタを誤りクラスタとして特定する誤り特定ステップと、を備える構成（第１０の構成）である。
【発明の効果】
【0016】
本発明によれば、クラス情報の誤りの特定に寄与するデータ処理装置及び方法を提供することが可能となる。
【図面の簡単な説明】
【0017】
【図1】本発明の実施形態に係るデータ処理装置の構成図を示す。
【図2】本発明の実施形態で想定される複数の入力画像を示す図である。
【図3】本発明の実施形態に係り、１枚の入力画像から複数枚の物体画像が切り出される様子を示す図である。
【図4】本発明の実施形態で想定される複数の物体画像を示す図である。
【図5】本発明の実施形態に属する第１実施例に係り、複数の物体画像及び対応するクラス情報を含む評価データセット（ＥＳ１）を示す図である。
【図7】本発明の実施形態に属する第１実施例に係り、複数の物体画像及び対応するクラス情報を含む評価データセット（ＥＳ２）を示す図である。
【図9】本発明の実施形態に属する第１実施例に係り、複数の物体画像及び対応するクラス情報を含む評価データセット（ＥＳ３）を示す図である。
【図13】本発明の実施形態に属する第４実施例に係り、データ処理装置の動作の一部フローチャートである。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量又は部材等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量又は部材等の名称を省略又は略記することがある。例えば、後述の“１０”によって参照される画像分類データセット取得部は（図１参照）、画像分類データセット取得部１０と表記されることもあるし、取得部１０と略記されることもあり得るが、それらは全て同じものを指す。
【0019】
図１に本実施形態に係るデータ処理装置１の構成図を示す。データ処理装置１は、画像分類データセット取得部１０、機械学習処理部２０、推論部３０、クラスタリング処理部４０、指標導出部５０、誤り特定部６０、学習用データセット生成部７０及びデータベース８０を備える。尚、データ処理装置１は単一のコンピュータ装置にて構成されても良いし、物理的に分離した複数のコンピュータ装置にて構成されても良い。所謂クラウドコンピューティングを利用してデータ処理装置１が構成されても良い。
【0020】
画像分類データセット取得部１０は、複数の入力画像に基づく画像分類データセットを取得する。ここでは、図２に示す如く、画像分類データセットはＬ枚の入力画像に基づいて取得されるものとする。Ｌは２以上の任意の整数であり、例えば数千～数百万の値を持つ。各入力画像は１以上の物体を含む。例えば、自動車等の車両に搭載されたカメラの撮影画像の中から選ばれた多数の静止画像が複数の入力画像として用いられて良い。Ｌ枚の入力画像における第ｉ番目の入力画像は記号“ＩＩ［ｉ］”にて参照されることがある。ｉは任意の整数を表す。
【0021】
尚、本実施形態では、或る画像内に物体の画像データが含まれることを、当該画像に当該物体が含まれる又は存在すると表現することがある。同様に、或る画像中の注目した画像領域（例えば後述の物体領域）内に物体の画像データが含まれることを、注目した画像領域に物体が含まれる又は存在すると表現することがある。本実施形態において物体とは、データ処理装置１による画像認識の対象となる認識対象物体を指す。
【0022】
図３の画像６１０は１枚の入力画像の例である。入力画像６１０には３つの物体６１１～６１３が含まれている。物体６１１、６１２、６１３は、夫々、車両、人間、交通標識である。本実施形態では、車両として路上を走行可能な自動車を主として想定する。
【0023】
取得部１０は機械学習により生成された物体検出器を有していて良い。この場合、取得部１０は、物体検出器を用いて入力画像ごとに物体検出を行うことで画像分類データセットを生成できる。物体検出では、画像認識の対象となる画像内の物体の位置を特定する位置特定と、画像認識の対象となる画像内の物体のクラス（種別）を特定するクラス識別と、が行われる。
【0024】
従って、入力画像６１０に対する物体検出において、物体検出器は、入力画像６１０に、物体６１１を含む物体領域６１１Ｂ、物体６１２を含む物体領域６１２Ｂ及び物体６１３を含む物体領域６１３Ｂを設定することができる。入力画像６１０内の物体６１１～６１３の位置が特定されることで物体領域６１１Ｂ～６１３Ｂが設定される。取得部１０は入力画像６１０から物体領域６１１Ｂ～６１３Ｂを切り出すことで物体画像６２１～６２３を生成する。或る物体の物体領域は、当該物体の像を取り囲む矩形領域（望ましくは最小の矩形領域）であって、バウンディングボックスとも称される。また、物体検出器は、クラス識別において、物体領域ごとに当該物体領域内の物体のクラス（種類）を特定する。
【0025】
物体のクラスとして複数のクラスがある。位置特定又はクラス識別など、任意の処理の対象として注目された任意の物体を、説明の具体化及び明確化のため、注目物体と称することがある。物体検出では入力画像内の各物体が注目物体となり得る。クラス識別では、注目物体が上記複数のクラスの何れに属するのかを判別する。物体のクラスは物体の種別と同義である。ここでは、説明の具体化のため、複数のクラスが第１～第３クラスを含むものとし、第１、第２、第３クラスは、夫々、車両、人間、交通標識であるとする。この場合、クラス識別では、注目物体が車両、人間及び交通標識の何れであるか、或いは、第１～第３クラスに属さないクラス（例えば第４クラス）の物体であるかを判別することになる。
【0026】
入力画像６１０に対するクラス識別では、物体領域６１１Ｂ、６１２Ｂ、６１３Ｂ内の物体が、夫々、車両（即ち第１クラスの物体）、人間（即ち第２クラスの物体）、交通標識（即ち第３クラスの物体）であると判別されることになる（但し、クラス識別に誤りがないと仮定）。
【0027】
物体検出器により入力画像ごとに物体検出が行われることで、入力画像ＩＩ［１］～ＩＩ［Ｌ］から各々に１つの物体の画像データを含む多数の物体画像が生成され、各物体画像に対しクラス情報が付与される。或る物体画像に付与されるクラス情報は、当該物体画像内の物体のクラスを特定する情報である。従って、クラス識別に誤りがないと仮定すれば、物体画像６２１、６２２、６２３に付与されるクラス情報は、夫々、第１、第２、第３クラスを表す。尚、クラス情報はラベルとも称される。また、上記位置特定の結果を表す情報を物体位置情報と称する。或る入力画像に対する物体位置情報は当該入力画像内の各物体の物体領域の位置（詳細には物体領域における１つの対角線の両端の座標値）を特定する。クラス情報及び物体位置情報を含む情報をアノテーション情報と称する。物体検出器による物体検出では、入力画像ごとにアノテーション情報が生成されることになる。
【0028】
図４に示す如く、以下では、入力画像ＩＩ［１］～ＩＩ［Ｌ］から計Ｈ枚の物体画像ＯＩ［１］～ＯＩ［Ｈ］が生成されたものとし、物体画像ＯＩ［ｉ］に付与されたクラス情報を記号“ＣＬＳ［ｉ］”にて表す。Ｈは２以上の任意の整数であり、ここでは各入力画像から１以上の物体領域が切り出されることを想定しているので“Ｈ≧Ｌ”である。実際には例えば、Ｈは数千～数百万の値を持つ。画像分類データセットは物体画像ＯＩ［１］～ＯＩ［Ｈ］の画像データとクラス情報ＣＬＳ［１］～ＣＬＳ［Ｈ］を含み、画像分類データセットにおいて物体画像ＯＩ［ｉ］の画像データとクラス情報ＣＬＳ［ｉ］は互いに関連付けられている。また、各物体画像が何れの入力画像に基づく物体画像であるかを表す抽出元情報が、データ処理装置１内の各部位に共有及び認識されるものとする。従って例えば、物体画像ＯＩ［１］～ＯＩ［５］が入力画像ＩＩ［１］から切り出されたものである場合、その旨が抽出元情報にて規定される。抽出元情報は画像分類データセットに含まれていても良い。
【0029】
取得部１０が物体検出器を有している場合の画像分類データセットの生成方法を説明したが、取得部１０が物体検出器を有していることは必須ではない。例えば、人間の手動操作に基づきアノテーション情報がデータ処理装置１に入力されることで画像分類データセットが生成されても良い。即ち例えば、データ処理装置１の管理者から所定のマンマシンインターフェース（不図示）を通じてデータ処理装置１に与えられた操作情報に基づき、各入力画像に対し物体領域が設定され且つ各物体領域（換言すれば各物体画像）のクラス情報の指定が行われ、これによって各入力画像に対するアノテーション情報の生成並びに画像分類データセットの生成及び取得が行われるようにしても良い。或いは例えば、取得部１０は、データ処理装置１と異なる外部装置（不図示）から有線又は無線通信を通じ、予め作成されたデータセットの入力を受けるものであっても良い。ここにおけるデータセットは、入力画像ＩＩ［１］～ＩＩ［Ｌ］の画像データと各入力画像に対するアノテーション情報を含み、取得部１０は、入力されたデータセットに基づいて画像分類データセットを生成及び取得しても良い。以下の説明において、画像分類データセットとは、特に記述無き限り、取得部１０にて取得された画像分類データセットを指すものとする。
【0030】
機械学習処理部２０は、ニューラルネットワーク２１（以下、ＮＮ２１と称する）を有し、機械学習処理を実行する。機械学習処理部２０は、機械学習処理において、画像分類データセットを用いてＮＮ２１の機械学習を実行することにより所定の推論を行う推論モデルを作成する。ここにおける機械学習は深層学習に分類されるものであって良く、従って、ＮＮ２１はディープニューラルネットワークであって良い。機械学習の中でＮＮ２１のパラメータ（重み及びバイアス）が適正に設定される。パラメータ（重み及びバイアス）が適正に設定された後のＮＮ２１が推論モデルに相当する。
【0031】
推論部３０はＮＮ２１による推論モデルを用いて所定の推論を行う。ＮＮ２１は画像分類用のニューラルネットワークであり、故に推論モデルにおける推論は画像分類用の推論である。即ち、推論部３０は、物体を含む物体画像が与えられたとき、推論において、当該物体画像に含まれる物体のクラスを特定（判別）するクラス識別を行う。この際、推論部３０は、クラス識別の実現に有益な特徴量を当該物体画像から導出する特徴量導出処理を実行し、特徴量に基づき当該物体画像に含まれる物体のクラスを特定（判別）する。特徴量は多次元のベクトル量であって、特徴量ベクトルと読み替えても良い。特徴量導出処理は推論部３０に含まれる特徴量導出部３１により実行される。ＮＮ２１の推論モデルに対して画像分類データセットが入力されることで、画像分類データセットにおける各物体画像に対してＮＮ２１の推論モデルによる推論が行われる。この推論の中で、画像分類データセットにおける各物体画像に対して特徴量導出処理が実行され、これによって各物体画像の特徴量が導出される。
【0032】
クラスタリング処理部４０は特徴量導出処理の結果に基づくクラスタリング処理を実行する。即ち、クラスタリング処理において、クラスタリング処理部４０は、画像分類データセット内の各物体画像に対して導出された特徴量に基づき、当該画像分類データセットにおける複数の物体画像のクラスタリングを行う。クラスタリング処理部４０は、特徴量導出処理にて導出された特徴量の次元削減を行い、次元削減後の特徴量に基づいてクラスタリングを行っても良い。例えば主成分分析を用いて次元削減を行うことができる。以下に示す特徴量は、次元削減を行わないならば特徴量導出処理にて導出された特徴量そのものを指し、次元削減を行ったならば次元削減後の特徴量を指すものとする。
【0033】
クラスタリングは、画像分類データセット内の複数の物体画像について導出された複数の特徴量間の距離に基づき実行される。特徴量間の距離は、特徴量が定義される特徴空間上の距離であって、例えば、ユークリッド距離又はコサイン類似度である。クラスタリング処理により、画像分類データセット内において、類似した特徴量を持つ物体画像同士が共通のクラスタに分類される。クラスタリングの方法として階層型クラスタリングを用いて良い。但し、非階層型クラスタリング（ｋ平均法など）によりクラスタリングを行っても良い。
【0034】
ここで、クラスタリング処理部４０におけるクラスタリングは、当該画像分類データセットに含まれる全物体画像に対して一括して行われるものではない。本実施形態では、物体画像ＯＩ［１］～ＯＩ［Ｈ］を複数の組に分割し、組ごとに当該組に属する物体画像のクラスタリングを行う。換言すれば、入力画像［１］～入力画像［Ｌ］を複数の組に分割し、組ごとに、当該組に属する入力画像内の物体画像のクラスタリングを行う。このようなクラスタリングの具体例及び技術的意義については後述される。
【0035】
画像分類データセットの作成には、入力画像内の物体の位置及び物体のクラスに対するアノテーションが必要である。画像分類データセットを物体検出器により作成する場合にも手動操作を通じて作成する場合にも、物体のクラスが誤ってアノテーションされる場合がある。つまり例えば、注目物体が本当は人間（即ち第２クラスの物体）であるのにかかわらず、当該注目物体が車両（即ち第１クラスの物体）であると誤ってクラス情報が付与され、結果、誤ったクラス情報が画像分類データセットに含まれることもある。
【0036】
指標導出部５０は、このような誤りを特定するために有益な指標を導出し、誤り特定部６０は、導出された指標に基づいて誤りのあるデータ等を特定する（詳細は後述）。
【0037】
学習用データセット生成部７０は、複数の学習用画像の画像データと各学習用画像内の物体の位置及びクラスを特定するアノテーション情報とを含む学習用データセットを生成する。
【0038】
取得部１０にて取り扱われる入力画像ＩＩ［１］～ＩＩ［Ｌ］の画像データ及び各入力画像のアノテーション情報を含むデータセットを、便宜上、暫定データセットと称する。暫定データセットは、生成部７０にて生成されるべき学習用データセットの元となるデータセットであり、仮に、暫定データセットにおけるアノテーションに一切誤りがなければ暫定データセットそのものが学習用データセットとなる。但し、上述したように、膨大な数のアノテーションには誤りが含まれることがあり、生成部７０にて当該誤りを修正又は除去し、誤りの修正又は除去後の暫定データセットを学習用データセットとして生成する。
【0039】
データベース８０は、不揮発性の記録媒体から成り、生成部７０の制御の下、生成部７０にて生成された学習用データセットを記憶する。暫定データセットもデータベース８０に記憶されていて良い。データベース８０に記憶された暫定データセットが生成部７０により学習用データセットに書き換え又は更新されると考えても良い。磁気ディスク、光ディスク若しくは半導体メモリ、又は、それらの組み合わせにてデータベース８０を構成することができる。尚、データベース８０はデータ処理装置１の外部に設けられた外部記録装置であっても良い。
【0040】
以下、複数の実施例の中で、データ処理装置１に関わる幾つかの具体的な動作例、応用技術、変形技術等を説明する。本実施形態にて上述した事項は、特に記述無き限り且つ矛盾無き限り、以下の各実施例に適用される。各実施例において、上述の事項と矛盾する事項がある場合には、各実施例での記載が優先されて良い。また矛盾無き限り、以下に示す複数の実施例の内、任意の実施例に記載した事項を、他の任意の実施例に適用することもできる（即ち複数の実施例の内の任意の２以上の実施例を組み合わせることも可能である）。
【0041】
＜＜第１実施例＞＞
第１実施例を説明する。上述したように、クラスタリング処理部４０におけるクラスタリングは、当該画像分類データセットに含まれる全物体画像に対して一括して行われるものではなく、当該画像分類データセットに含まれる全物体画像の一部を含む評価データセットを単位にクラスタリングが行われる。
第１実施例を説明する。上述したように、クラスタリング処理部４０におけるクラスタリングは、当該画像分類データセットに含まれる全物体画像に対して一括して行われるものではなく、当該画像分類データセットに含まれる全物体画像の一部を含む評価データセットを単位にクラスタリングが行われる。
【0042】
まず、図５を参照し、物体画像ＯＩ［１］～ＯＩ［Ｈ］の一部である物体画像ＯＩ［１１］～ＯＩ［２０］の画像データを含んだ評価データセットＥＳ１に対するクラスタリングを説明する。評価データセットＥＳ１は、画像分類データセットから抽出された、物体画像ＯＩ［１１］～ＯＩ［２０］のクラス情報（即ちＣＬＳ［１１］～ＣＬＳ［２０］；図４参照）を含む。物体画像ＯＩ［１１］～ＯＩ［２０］は１又は複数の入力画像ＩＩ［ＪＡ１］～ＩＩ［ＪＡ２］から切り出された物体画像であるとする。“０＜ＪＡ１≦ＪＡ２＜Ｌ”であり、差（ＪＡ２－ＪＡ１）は０又は１以上の整数値を持つ。
【0043】
物体画像ＯＩ［１１］～ＯＩ［１４］の夫々に含まれる物体は車両であって、物体画像ＯＩ［１５］～ＯＩ［２０］の夫々に含まれる物体は人間である。画像分類データセット及び評価データセットＥＳ１において、物体画像ＯＩ［１１］～ＯＩ［１４］の各クラス情報は車両に対応する第１クラスを指し示し、物体画像ＯＩ［１５］～ＯＩ［２０］の各クラス情報は人間に対応する第２クラスを指し示す。これらのクラス情報に誤りはない。各物体画像に対して特徴量導出処理が実行されることで各物体画像の特徴量が導出される。以下、物体画像ＯＩ［ｉ］の特徴量を記号“ＦＴ［ｉ］”にて参照する。
【0044】
図６は、物体画像ＯＩ［１１］～ＯＩ［２０］に対応する特徴量ＦＴ［１１］～ＦＴ［２０］を特徴空間上にプロットした様子を示す図である。実際には、各特徴量は多次元ベクトル量であるが、図６では各特徴量が二次元ベクトル量であるかのように示している。特徴量が特徴空間にプロットされる様子を示す後述の他の図においても同様である。但し、上述の次元削減により特徴量の次元数を“２”にまで削減するようにしても良い。
【0045】
尚、以下では、任意の自然数ｕについて、物体画像ＯＩ［ｕ］が或る注目したクラスタに分類される又は属することを、特徴量ＦＴ［ｕ］が当該注目したクラスタに分類される又は属すると表現することもある。即ち、物体画像ＯＩ［ｕ］が当該注目したクラスタに分類される又は属することを、特徴量ＦＴ［ｕ］が当該注目したクラスタに分類される又は属することは等価である。
【0046】
クラスタリング処理部４０は、画像分類データセット（評価データセットＥＳ１）における物体画像ＯＩ［１１］～ＯＩ［２０］のクラス情報に基づき、物体画像ＯＩ［１１］～ＯＩ［２０］をｋＡ個のクラスタに分類する（即ち、クラスタ数をｋＡに設定した上でクラスリングを行う）。ｋＡは、画像分類データセットの物体画像ＯＩ［１１］～ＯＩ［２０］へのクラス情報により表されるクラスの種類数（即ちクラス情報により表される物体画像ＯＩ［１１］～ＯＩ［２０］の物体の種類数）である。換言すれば、ｋＡは、物体画像ＯＩ［１１］～ＯＩ［２０］に付与された計１０個のクラス情報が指し示すクラスの種類数（総数）に等しい。図５の例では、物体画像ＯＩ［１１］～ＯＩ［２０］に付与された計１０個のクラス情報が指し示すクラスは第１クラス及び第２クラスの２つであるため“ｋＡ＝２”である。クラスタリングとして非階層型クラスタリングを行う場合にはクラスタの総数を“ｋＡ＝２”に設定した上でクラスタリングを行えば良く、クラスタリングとして階層型クラスタリングを行う場合にはクラスタの総数が“ｋＡ＝２”となった時点でクラスタリングを止めれば良い。
【0047】
図６に示す如く、特徴量ＦＴ［１１］～ＦＴ［２０］に対しては２つのクラスタＣＴＡ１及びＣＴＡ２が設定される。特徴量ＦＴ［１１］～ＦＴ［１４］はクラスタＣＴＡ１に分類され、特徴量ＦＴ［１５］～ＦＴ［２０］はクラスタＣＴＡ２に分類される。図６において、点ＧＡ１はクラスタＣＴＡ１に属する特徴量ＦＴ［１１］～ＦＴ［１４］の重心を表し、点ＧＡ２はクラスタＣＴＡ２に属する特徴量ＦＴ［１５］～ＦＴ［２０］の重心を表す。
【0048】
指標導出部５０は、クラスタリング処理部４０により生成されたクラスタごとに、当該クラスタの重心を導出し且つ当該重心と当該クラスタに属する各特徴量との距離を導出する。重心及び特徴量間の距離は、２つの特徴量間の距離と同様に、特徴量が定義される特徴空間上の距離であって、例えば、ユークリッド距離又はコサイン類似度である。特徴量ＦＴ［１１］～ＦＴ［２０］に対して導出された距離を、夫々、記号“ｄ［１１］～ｄ［２０］”にて参照する。距離ｄ［１１］～ｄ［１４］は、夫々、重心ＧＡ１と特徴量ＦＴ［１１］～ＦＴ［１４］との距離を表す。距離ｄ［１５］～ｄ［２０］は、夫々、重心ＧＡ２と特徴量ＦＴ［１５］～ＦＴ［２０］との距離を表す。
【0049】
指標導出部５０は、更に、クラスタリング処理部４０により生成されたクラスタごとに、導出した複数の距離の平均及び分散を導出する。指標導出部５０にて導出される平均及び分散を、以下では、距離平均、距離分散と称する。クラスタＣＴＡ１に対して導出される距離平均及び距離分散を、夫々、記号“ＡＶＥＡ１”及び“σ２
Ａ１”にて参照する。そうすると、距離平均ＡＶＥＡ１は距離ｄ［１１］～ｄ［１４］の平均であり、距離分散σ２
Ａ１は距離ｄ［１１］～ｄ［１４］の分散である。同様に、クラスタＣＴＡ２に対して導出される距離平均及び距離分散を、夫々、記号“ＡＶＥＡ２”及び“σ２
Ａ２”にて参照する。そうすると、距離平均ＡＶＥＡ２は距離ｄ［１５］～ｄ［２０］の平均であり、距離分散σ２
Ａ２は距離ｄ［１５］～ｄ［２０］の分散である。
【0050】
誤り特定部６０は、指標導出部５０にてクラスタごとに導出された距離平均及び距離分散に基づいて、各クラスタが誤りクラスタであるか否かを判定する。誤りクラスタとは、クラス情報に誤りのある物体画像が属するクラスタである。クラス情報に誤りのある物体画像とは、換言すれば、誤りのあるクラス情報が付与された物体画像であり、以下、誤りラベル付き物体画像とも称する。これとは逆に、正しいクラス情報が付与された物体画像を正解ラベル付き物体画像と称する。また、以下では、誤り特定部６０にて誤りクラスタであると特定されなかったクラスタを正解クラスタと称することがある。誤り特定部６０は、各クラスタが正解クラスタ及び誤りクラスタの何れであるかを判定する機能を有している、とも言える。
【0051】
誤り特定部６０は、クラスタリング処理部４０により生成されたクラスタごとに、距離平均及び距離分散を夫々所定の閾値ＴＨ１及びＴＨ２と比較し、その比較結果に基づき所定の誤り条件を満たすクラスタを誤りクラスタとして特定する。或るクラスタについて、対応する距離平均が所定の閾値ＴＨ１以上であって且つ対応する距離分散が所定の閾値ＴＨ２以上であるとき、当該クラスタについて誤り条件が満たされる。
【0052】
閾値ＴＨ１及びＴＨ２を以下のように設定して良い。即ち、各々に認識対象物体を含む複数の閾値設定用物体画像を予め用意しておき、複数の閾値設定用物体画像に対するクラスタリング結果に基づいて閾値ＴＨ１及びＴＨ２を設定して良い。その際、クラスタリング処理部４０は、複数の閾値設定用物体画像を複数のクラスタに分類する。次に、指標導出部５０は、クラスタごとに、複数の距離の平均及び分散を導出する。次に、複数の閾値設定用物体画像について、導出された複数の距離の平均に適当なオフセット値（０でも可）を加えた値を閾値ＴＨ１に設定し、導出された複数の距離の分散に適当なオフセット値（０でも可）を加えた値を閾値ＴＨ２に設定する。そして、設定した閾値ＴＨ１及びＴＨ２を、対応するクラスタ（同じ種別の物体に関するクラスタ）に対する上記比較に使用して良い。複数の閾値設定用物体画像の画像データは、既存且つ任意のデータセットから得られるものであって良く、例えば、例えば、Microsoft COCOデータセットに含まれる画像データであって良い。
【0053】
クラスタＣＴＡ１については距離平均ＡＶＥＡ１及び距離分散σ２
Ａ１が夫々閾値ＴＨ１及びＴＨ２と比較され、クラスタＣＴＡ２については距離平均ＡＶＥＡ２及び距離分散σ２
Ａ２が夫々閾値ＴＨ１及びＴＨ２と比較される。図５及び図６の例では、画像分類データセットにおける物体画像ＯＩ［１０］～ＯＩ［２０]のクラス情報に誤りはない。このため、クラスタＣＴＡ１における距離平均ＡＶＥＡ１及び距離分散σ２
Ａ１は閾値ＴＨ１及びＴＨ２より小さく、且つ、クラスタＣＴＡ２における距離平均ＡＶＥＡ２及び距離分散σ２
Ａ２も閾値ＴＨ１及びＴＨ２より小さい。故に、クラスタＣＴＡ１及びＣＴＡ２は何れも誤りクラスタとして特定されない（換言すれば正解クラスタであると判定される）。
【0054】
次に、図７を参照し、物体画像ＯＩ［１］～ＯＩ［Ｈ］の一部である体画像ＯＩ［３１］～ＯＩ［４０］の画像データを含んだ評価データセットＥＳ２に対するクラスタリングを説明する。評価データセットＥＳ２は、画像分類データセットから抽出された、物体画像ＯＩ［３１］～ＯＩ［４０］のクラス情報（即ちＣＬＳ［３１］～ＣＬＳ［４０］；図４参照）を含む。物体画像ＯＩ［３１］～ＯＩ［４０］は１又は複数の入力画像ＩＩ［ＪＢ１］～ＩＩ［ＪＢ２］から切り出された物体画像であるとする。“ＪＡ２＜ＪＢ１≦ＪＢ２＜Ｌ”であり、差（ＪＢ２－ＪＢ１）は０又は１以上の整数値を持つ。
【0055】
物体画像ＯＩ［３１］～ＯＩ［３４］の夫々に含まれる物体は車両であり、物体画像ＯＩ［３５］～ＯＩ［３８］の夫々に含まれる物体は人間であり、物体画像ＯＩ［３９］及びＯＩ［４０］の夫々に含まれる物体は交通標識である。画像分類データセット及び評価データセットＥＳ２において、物体画像ＯＩ［３１］～ＯＩ［３４］の各クラス情報は車両に対応する第１クラスを指し示し、物体画像ＯＩ［３５］～ＯＩ［３８］の各クラス情報は人間に対応する第２クラスを指し示す。これらのクラス情報に誤りはない。但し、画像分類データセット及び評価データセットＥＳ２において、物体画像ＯＩ［３９］及びＯＩ［４０］のクラス情報は人間に対応する第２クラスを指し示しており、故に物体画像ＯＩ［３９］及びＯＩ［４０］のクラス情報には誤りがある。
【0056】
図８は、物体画像ＯＩ［３１］～ＯＩ［４０］に対応する特徴量ＦＴ［３１］～ＦＴ［４０］を特徴空間上にプロットした様子を示す図である。クラスタリング処理部４０は、画像分類データセット（評価データセットＥＳ２）における物体画像ＯＩ［３１］～ＯＩ［４０］のクラス情報に基づき、物体画像ＯＩ［３１］～ＯＩ［４０］をｋＢ個のクラスタに分類する（即ち、クラスタ数をｋＢに設定した上でクラスリングを行う）。ｋＢは、画像分類データセットの物体画像ＯＩ［３１］～ＯＩ［４０］へのクラス情報により表されるクラスの種類数（即ちクラス情報により表される物体画像ＯＩ［３１］～ＯＩ［４０］の物体の種類数）である。換言すれば、ｋＢは、物体画像ＯＩ［３１］～ＯＩ［４０］に付与された計１０個のクラス情報が指し示すクラスの種類数（総数）に等しい。図７の例では、物体画像ＯＩ［３１］～ＯＩ［４０］に付与された計１０個のクラス情報が指し示すクラスは、本来は第１～第３クラスの３つとなるべきところ、実際には誤って第１クラス及び第２クラスの２つとなっているため“ｋＢ＝２”である。クラスタリングとして非階層型クラスタリングを行う場合にはクラスタの総数を“ｋＢ＝２”に設定した上でクラスタリングを行えば良く、クラスタリングとして階層型クラスタリングを行う場合にはクラスタの総数が“ｋＢ＝２”となった時点でクラスタリングを止めれば良い。
【0057】
図８に示す如く、特徴量ＦＴ［３１］～ＦＴ［４０］に対しては２つのクラスタＣＴＢ１及びＣＴＢ２が設定される。ここでは、特徴量ＦＴ［３１］～ＦＴ［３４］はクラスタＣＴＢ１に分類され、特徴量ＦＴ［３５］～ＦＴ［４０］はクラスタＣＴＢ２に分類されたとする。図８において、点ＧＢ１はクラスタＣＴＢ１に属する特徴量ＦＴ［３１］～ＦＴ［３４］の重心を表し、点ＧＢ２はクラスタＣＴＢ２に属する特徴量ＦＴ［３５］～ＦＴ［４０］の重心を表す。
【0058】
指標導出部５０は、上述したように、クラスタリング処理部４０により生成されたクラスタごとに、当該クラスタの重心を導出し且つ当該重心と当該クラスタに属する各特徴量との距離を導出する。特徴量ＦＴ［３１］～ＦＴ［４０］に対して導出された距離を、夫々、記号“ｄ［３１］～ｄ［４０］”にて参照する。距離ｄ［３１］～ｄ［３４］は、夫々、重心ＧＢ１と特徴量ＦＴ［３１］～ＦＴ［３４］との距離を表す。距離ｄ［３５］～ｄ［４０］は、夫々、重心ＧＢ２と特徴量ＦＴ［３５］～ＦＴ［４０］との距離を表す。
【0059】
指標導出部５０は、更に上述の如くクラスタごとに距離平均及び距離分散を導出する。クラスタＣＴＢ１に対して導出される距離平均及び距離分散を、夫々、記号“ＡＶＥＢ１”及び“σ２
Ｂ１”にて参照する。そうすると、距離平均ＡＶＥＢ１は距離ｄ［３１］～ｄ［３４］の平均であり、距離分散σ２
Ｂ１は距離ｄ［３１］～ｄ［３４］の分散である。同様に、クラスタＣＴＢ２に対して導出される距離平均及び距離分散を、夫々、記号“ＡＶＥＢ２”及び“σ２
Ｂ２”にて参照する。そうすると、距離平均ＡＶＥＢ２は距離ｄ［３５］～ｄ［４０］の平均であり、距離分散σ２
Ｂ２は距離ｄ［３５］～ｄ［４０］の分散である。
【0060】
誤り特定部６０は、クラスタＣＴＢ１及びＣＴＢ２の夫々について誤り条件の成否を判定する。クラスタＣＴＢ１については距離平均ＡＶＥＢ１及び距離分散σ２
Ｂ１が夫々閾値ＴＨ１及びＴＨ２と比較され、クラスタＣＴＢ２については距離平均ＡＶＥＢ２及び距離分散σ２
Ｂ２が夫々閾値ＴＨ１及びＴＨ２と比較される。図７及び図８の例では、クラスタＣＴＢ１における距離平均ＡＶＥＢ１及び距離分散σ２
Ｂ１は夫々閾値ＴＨ１及びＴＨ２より小さく、結果、クラスタＣＴＢ１は誤りクラスタとして特定されない（換言すれば正解クラスタであると判定される）。但し、クラスタＣＴＢ２における距離平均ＡＶＥＢ２及び距離分散σ２
Ｂ２は夫々閾値ＴＨ１及びＴＨ２より大きい。このため、クラスタＣＴＢ２は誤り条件を満たし、結果、クラスタＣＴＢ２は誤りクラスタとして特定される。
【0061】
次に、図９を参照し、物体画像ＯＩ［１］～ＯＩ［Ｈ］の一部である体画像ＯＩ［５１］～ＯＩ［６０］の画像データを含んだ評価データセットＥＳ３に対するクラスタリングを説明する。評価データセットＥＳ３は、画像分類データセットから抽出された、物体画像ＯＩ［５１］～ＯＩ［６０］のクラス情報（即ちＣＬＳ［５１］～ＣＬＳ［６０］；図４参照）を含む。物体画像ＯＩ［５１］～ＯＩ［６０］は１又は複数の入力画像ＩＩ［ＪＣ１］～ＩＩ［ＪＣ２］から切り出された物体画像であるとする。“ＪＢ２＜ＪＣ１≦ＪＣ２＜Ｌ”であり、差（ＪＣ２－ＪＣ１）は０又は１以上の整数値を持つ。
【0062】
物体画像ＯＩ［５１］～ＯＩ［５８］の夫々に含まれる物体は車両であり、物体画像ＯＩ［５９］及びＯＩ［６０］の夫々に含まれる物体は人間である。画像分類データセット及び評価データセットＥＳ３において、物体画像ＯＩ［５１］～ＯＩ［５８］の各クラス情報は車両に対応する第１クラスを指し示す。これらのクラス情報に誤りはない。但し、画像分類データセット及び評価データセットＥＳ３において、物体画像ＯＩ［５９］及びＯＩ［６０］のクラス情報も車両に対応する第１クラスを指し示しており、故に物体画像ＯＩ［５９］及びＯＩ［６０］のクラス情報には誤りがある。
【0063】
図１０は、物体画像ＯＩ［５１］～ＯＩ［６０］に対応する特徴量ＦＴ［５１］～ＦＴ［６０］を特徴空間上にプロットした様子を示す図である。クラスタリング処理部４０は、画像分類データセット（評価データセットＥＳ３）における物体画像ＯＩ［５１］～ＯＩ［６０］のクラス情報に基づき、物体画像ＯＩ［５１］～ＯＩ［６０］をｋＣ個のクラスタに分類する（即ち、クラスタ数をｋＣに設定した上でクラスリングを行う）。ｋＣは、画像分類データセットの物体画像ＯＩ［５１］～ＯＩ［６０］へのクラス情報により表されるクラスの種類数（即ちクラス情報により表される物体画像ＯＩ［５１］～ＯＩ［６０］の物体の種類数）である。換言すれば、ｋＣは、物体画像ＯＩ［５１］～ＯＩ［６０］に付与された計１０個のクラス情報が指し示すクラスの種類数（総数）に等しい。図９の例において、物体画像ＯＩ［５１］～ＯＩ［６０］に付与された計１０個のクラス情報が指し示すクラスは、本来は第１及び第２クラスの２つとなるべきところ、誤って第１クラスのみとなっているため“ｋＣ＝１”である。クラスタリングとして非階層型クラスタリングを行う場合にはクラスタの総数を“ｋＣ＝１”に設定した上でクラスタリングを行えば良く、クラスタリングとして階層型クラスタリングを行う場合にはクラスタの総数が“ｋＣ＝１”となるまでクラスタリングを継続すれば良い。但し、“ｋＣ＝１”の場合には実体的なクラスタリング用の演算は不要とも言え、単に特徴量ＦＴ［５１］～ＦＴ［６０］を全て包含する単一のクラスタを設定すれば足る。
【0064】
【0065】
指標導出部５０は、上述したように、クラスタリング処理部４０により生成されたクラスタごとに、当該クラスタの重心を導出し且つ当該重心と当該クラスタに属する各特徴量との距離を導出する。評価データセットＥＳ３に対しては単一のクラスタＣＴＣ１が設定されるため、クラスタＣＴＣ１のみに注目して各距離が導出される。特徴量ＦＴ［５１］～ＦＴ［６０］に対して導出された距離を、夫々、記号“ｄ［５１］～ｄ［６０］”にて参照する。距離ｄ［５１］～ｄ［６０］は、夫々、重心ＧＣ１と特徴量ＦＴ［５１］～ＦＴ［６０］との距離を表す。
【0066】
指標導出部５０は、更にクラスタＣＴＣ１に対して距離平均及び距離分散を導出する。クラスタＣＴＣ１に対して導出される距離平均及び距離分散を、夫々、記号“ＡＶＥＣ１”及び“σ２
Ｃ１”にて参照する。そうすると、距離平均ＡＶＥＣ１は距離ｄ［５１］～ｄ［６０］の平均であり、距離分散σ２
Ｃ１は距離ｄ［５１］～ｄ［６０］の分散である。
【0067】
誤り特定部６０は、クラスタＣＴＣ１について誤り条件の成否を判定する。クラスタＣＴＣ１について距離平均ＡＶＥＣ１及び距離分散σ２
Ｃ１が夫々閾値ＴＨ１及びＴＨ２と比較される。図９及び図１０の例において、クラスタＣＴＣ１における距離平均ＡＶＥＣ１及び距離分散σ２
Ｃ１は夫々閾値ＴＨ１及びＴＨ２よりも大きい。このため、クラスタＣＴＣ１は誤り条件を満たし、結果、クラスタＣＴＣ１は誤りクラスタとして特定される。
【0068】
正解クラスタ内の特徴量は真に同一のクラスの物体についての特徴量であるため、正解クラスタ内の特徴量のばらつきは比較的小さい。これに対し、誤りクラスタ内の特徴量は互いに異なるクラスの物体についての特徴量を含むため、誤りクラスタ内の特徴量のばらつきは比較的大きくなる。これらを考慮し、上述の如く、クラスタごとに距離平均及び距離分散を導出し、それらの導出結果に基づいて誤りクラスタを特定する。この方法により、人の目に頼ることなくデータ処理装置１自身で誤りクラスタを良好に検出することが可能となり、人の目に頼る場合と比べてデータセット中の不備を探すコスト（時間及び人間の労力）を削減できる。誤りクラスタを特定できれば、誤りクラスタに属する物体画像のクラス情報を修正して学習用データセットを生成する又は当該物体画像を含む入力画像を学習用データセットから除外するなどといった対応が可能となり、結果、学習用データセットの質を高めることが可能となる。学習用データセットの質を高めることで、学習用データセットを用いた機械学習にて構築される画像認識用の推論モデルの性能を高めることができる。
【0069】
＜＜第２実施例＞＞
第２実施例を説明する。第２実施例は上述の第１実施例と組み合わせて実施される。第２実施例では、誤りクラスタが特定された場合に、誤り特定部６０により実行可能な誤りラベル特定処理を説明する。
第２実施例を説明する。第２実施例は上述の第１実施例と組み合わせて実施される。第２実施例では、誤りクラスタが特定された場合に、誤り特定部６０により実行可能な誤りラベル特定処理を説明する。
【0070】
誤りラベル特定処理において、誤り特定部６０は、誤りクラスタ内で当該誤りクラスタに属する物体画像を第１及び第２クラスタにグループ分けするクラスタリングを行う。誤りラベル特定処理におけるクラスタリングを、クラスタリング処理４０が行う上述のクラスタリングと明確に区別すべく、再クラスタリングと称する。再クラスタリングは、誤りクラスタに属する各物体画像の特徴量に基づいて行う。即ち、或る誤りクラスタにｎ枚の物体画像が属するのであれば、当該ｎ枚の物体画像について特徴量導出処理にて導出されたｎ個の特徴量に基づき、再クラスタリングを行う。但し、この再クラスタリングは“ｎ≧３”を満たすことを前提に実行される。故に、誤りラベル特定処理は“ｎ≧３”を満たす誤りクラスタに対して実行可能である。再クラスタリングを、クラスタ数を２に設定した非階層型クラスタリング（ｋ平均法など）にて実現できる。
【0071】
誤りラベル特定処理に係る誤り特定部６０は、再クラスタリングの結果に基づき、上記ｎ枚の物体画像の中から誤りラベル付き物体画像（即ちクラス情報に誤りのある物体画像）を特定する。誤り特定部６０は、誤りクラスタに属する各物体画像が正解ラベル付き物体画像及び誤りラベル付き物体画像の何れであるかを判定する機能を有しているとも言える。誤りラベル特定処理として、以下の第１又は第２誤りラベル特定処理を採用できる。
【0072】
図７及び図８に対応する上記評価データセットＥＳ２に注目して第１誤りラベル特定処理を説明する。図１１を参照する。評価セットＥＳ２に対しては第１実施例で述べたようにクラスタＣＴＢ２が誤りクラスタとして特定される。誤りクラスタＣＴＢ２には物体画像ＯＩ［３５］～ＯＩ［４０］が属する。換言すれば、誤りクラスタＣＴＢ２には特徴量ＦＴ［３５］～ＦＴ［４０］が属する。故に、誤りクラスタＣＴＢ２において“ｎ＝６”である。誤り特定部６０は、特徴量ＦＴ［３５］～ＦＴ［４０］に基づき物体画像ＯＩ［３５］～ＯＩ［４０］の再クラスタリングを行うことで物体画像ＯＩ［３５］～ＯＩ［４０］を第１及び第２クラスタに分類する。図１１において、クラスタＣＴＢ２＿１及びＣＴＢ２＿２の内、何れか一方が第１クラスタに相当し、他方が第２クラスタに相当する。特徴量ＦＴ［３５］～ＦＴ［３８］はクラスタＣＴＢ２＿１に分類され、特徴量ＦＴ［３９］及びＦＴ［４０］はクラスタＣＴＢ２＿２に分類される。図１１における点ＧＢ２は図８の重心ＧＢ２と一致する。
【0073】
第１誤りラベル特定処理では、誤りクラスタ内の各物体画像の再クラスタリングにより形成される第１及び第２クラスタの内、属する物体画像がより少ない方のクラスタ内の物体画像を誤りラベル付き物体画像として特定する。即ち、第１誤りラベル特定処理では、誤りクラスタ内の各物体画像の再クラスタリングにより第１及び第２クラスタを形成した後、第２クラスタに属する物体画像の総数が第１クラスタに属する物体画像の総数よりも少ないならば、第２クラスタに属する物体画像を誤りラベル付き物体画像（即ちクラス情報に誤りのある物体画像）として特定し、第１クラスタに属する物体画像の総数が第２クラスタに属する物体画像の総数よりも少ないならば、第１クラスタに属する物体画像を誤りラベル付き物体画像として特定する。
【0074】
図１１の例では、クラスタＣＴＢ２＿１に属する物体画像の総数は４であって且つクラスタＣＴＢ２＿２に属する物体画像の総数は２である。このため、評価データセットＥＳ２の誤りクラスタに対して第１誤りラベル特定処理を適用した場合には、クラスタＣＴＢ２＿２に属する各物体画像が誤りラベル付き物体画像として特定される。
【0075】
上記評価データセットＥＳ２に注目して第２誤りラベル特定処理を説明する。特徴量ＦＴ［３５］～ＦＴ［４０］をクラスタＣＴＢ２＿１及びＣＴＢ２＿２に分類するまでの処理は、第１及び第２誤りラベル特定処理間で共通である。第２誤りラベル特定処理では、誤りクラスタ内の各物体画像の再クラスタリングにより形成される第１及び第２クラスタの内、当該誤りクラスタの重心からより遠い方のクラスタ内の物体画像を誤りラベル付き物体画像として特定する。即ち、第２誤りラベル特定処理では、誤りクラスタ内の各物体画像の再クラスタリングにより第１及び第２クラスタを形成する。そして、当該誤りクラスタの重心と第２クラスタとの距離が当該誤りクラスタの重心と第１クラスタとの距離よりも大きいならば、第２クラスタに属する物体画像を誤りラベル付き物体画像（即ちクラス情報に誤りのある物体画像）として特定する。逆に、当該誤りクラスタの重心と第１クラスタとの距離が当該誤りクラスタの重心と第２クラスタとの距離よりも大きいならば、第１クラスタに属する物体画像を誤りラベル付き物体画像として特定する。当該誤りクラスタの重心と第１クラスタとの距離とは、当該誤りクラスタの重心と第１クラスタに属する全特徴量の重心との距離であって良く、当該誤りクラスタの重心と第２クラスタとの距離とは、当該誤りクラスタの重心と第２クラスタに属する全特徴量の重心との距離であって良い。
【0076】
図１１の例において（図８も参照）、誤りクラスタＣＴＢ２の重心ＧＢ２とクラスタＣＴＢ２＿２との距離（詳細には、クラスタＣＴＢ２＿２に属する特徴量ＦＴ［３９］及びＦＴ［４０］の重心と重心ＧＢ２との距離）は、誤りクラスタＣＴＢ２の重心ＧＢ２とクラスタＣＴＢ２＿１との距離（詳細には、クラスタＣＴＢ２＿１に属する特徴量ＦＴ［３５］～ＦＴ［３８］の重心と重心ＧＢ２との距離）よりも大きい。このため、評価データセットＥＳ２の誤りクラスタに対して第２誤りラベル特定処理を適用した場合にも、第１誤りラベル特定処理を適用した場合と同様、クラスタＣＴＢ２＿２に属する各物体画像が誤りラベル付き物体画像として特定される。
【0077】
図９及び図１０に対応する上記評価データセットＥＳ３に注目して第１誤りラベル特定処理を説明する。図１２を参照する。評価データセットＥＳ３に対しては第１実施例で述べたようにクラスタＣＴＣ１が誤りクラスタとして特定される。誤りクラスタＣＴＣ１には物体画像ＯＩ［５１］～ＯＩ［６０］が属する。換言すれば、誤りクラスタＣＴＣ１には特徴量ＦＴ［５１］～ＦＴ［６０］が属する。故に、誤りクラスタＣＴＣ１において“ｎ＝１０”である。誤り特定部６０は、特徴量ＦＴ［５１］～ＦＴ［６０］に基づき物体画像ＯＩ［５１］～ＯＩ［６０］の再クラスタリングを行うことで物体画像ＯＩ［５１］～ＯＩ［６０］を第１及び第２クラスタに分類する。図１２において、クラスタＣＴＣ１＿１及びＣＴＣ１＿２の内、何れか一方が第１クラスタに相当し、他方が第２クラスタに相当する。特徴量ＦＴ［５１］～ＦＴ［５８］はクラスタＣＴＣ１＿１に分類され、特徴量ＦＴ［５９］及びＦＴ［６０］はクラスタＣＴＣ１＿２に分類される。図１２における点ＧＣ１は図１０の重心ＧＣ１と一致する。
【0078】
図１２の例では、クラスタＣＴＣ１＿１に属する物体画像の総数は８であって且つクラスタＣＴＣ１＿２に属する物体画像の総数は２である。このため、評価データセットＥＳ３の誤りクラスタに対して第１誤りラベル特定処理を適用した場合には、クラスタＣＴＣ１＿２に属する各物体画像が誤りラベル付き物体画像として特定される。
【0079】
図１２の例において（図１０も参照）、誤りクラスタＣＴＣ１の重心ＧＣ１とクラスタＣＴＣ１＿２との距離（詳細には、クラスタＣＴＣ１＿２に属する特徴量ＦＴ［５９］及びＦＴ［６０］の重心と重心ＧＣ１との距離）は、誤りクラスタＣＴＣ１の重心ＧＣ１とクラスタＣＴＣ１＿１との距離（詳細には、クラスタＣＴＣ１＿１に属する特徴量ＦＴ［５１］～ＦＴ［５８］の重心と重心ＧＣ１との距離）よりも大きい。このため、評価データセットＥＳ３の誤りクラスタに対して第２誤りラベル特定処理を適用した場合にも、第１誤りラベル特定処理を適用した場合と同様、クラスタＣＴＣ１＿２に属する各物体画像が誤りラベル付き物体画像として特定される。
【0080】
本実施例に示す如く、誤りクラスタに対して再クラスタリングを実行すれば、誤りクラスタが、正解ラベル付き物体画像が属するクラスタと、誤りラベル付き物体画像が属するクラスタと、に分解されると見込まれる。このため、再クラスタリングの結果を参照することで、誤りラベル付き物体画像を容易に特定することが可能となる。
【0081】
より具体的には、誤りクラスタに対して再クラスタリングを実行して第１及び第２クラスタを形成したとき、第１及び第２クラスタの内、一方のクラスタに属する物体画像は正解ラベル付き物体画像であって且つ他方のクラスタに属する物体画像は誤りラベル付き物体画像であると見込まれる。一方で、基本的に画像分類データセットのアノテーション情報の大部分は正しいと期待される。従って、第１及び第２クラスタの内、属する物体画像がより少ない方のクラスタ内の物体画像が誤りラベル付き物体画像である可能性が高い。この知見に基づく第１誤りラベル特定処理を用いれば、誤りラベル付き物体画像を精度良く特定することができる。
【0082】
また、画像分類データセットのアノテーション情報の大部分は正しいと期待されるのであるから、誤りクラスタ内の各物体画像の再クラスタリングにより形成される第１及び第２クラスタの内、当該誤りクラスタの重心からより遠い方のクラスタ内の物体画像が誤りラベル付き物体画像である可能性が高い。この知見に基づく第２誤りラベル特定処理を用いることでも、誤りラベル付き物体画像を精度良く特定することができる。
【0083】
＜＜第３実施例＞＞
第３実施例を説明する。第３実施例は上述の第１及び第２実施例と組み合わせて実施される。上述したように、学習用データセット生成部７０は、複数の学習用画像の画像データと各学習用画像内の物体の位置及びクラスを特定するアノテーション情報とを含む学習用データセットを生成する。入力画像ＩＩ［１］～ＩＩ［Ｌ］の夫々は学習用画像の候補であり、仮に、取得部１０にて取り扱われる入力画像ＩＩ［１］～ＩＩ［Ｌ］の画像データ及び各入力画像のアノテーション情報を含むデータセット（暫定データセット）において、誤りラベル付き物体画像が一切存在しないのであれば、暫定データセットが、そのまま学習用データセットとなる。但し、実際には、或る程度、誤りラベル付き物体画像が存在することが多い。第３実施例では、誤りラベル付き物体画像が特定された場合に、学習用データセット生成部７０により実行可能な誤りラベル対応処理を説明する。
第３実施例を説明する。第３実施例は上述の第１及び第２実施例と組み合わせて実施される。上述したように、学習用データセット生成部７０は、複数の学習用画像の画像データと各学習用画像内の物体の位置及びクラスを特定するアノテーション情報とを含む学習用データセットを生成する。入力画像ＩＩ［１］～ＩＩ［Ｌ］の夫々は学習用画像の候補であり、仮に、取得部１０にて取り扱われる入力画像ＩＩ［１］～ＩＩ［Ｌ］の画像データ及び各入力画像のアノテーション情報を含むデータセット（暫定データセット）において、誤りラベル付き物体画像が一切存在しないのであれば、暫定データセットが、そのまま学習用データセットとなる。但し、実際には、或る程度、誤りラベル付き物体画像が存在することが多い。第３実施例では、誤りラベル付き物体画像が特定された場合に、学習用データセット生成部７０により実行可能な誤りラベル対応処理を説明する。
【0084】
まず、図５及び図６に対応する上記評価データセットＥＳ１に注目する。評価データセットＥＳ１に関して、クラスタリング処理部４０により生成されたクラスタＣＴＡ１及びＣＴＡ２は何れも誤りクラスタは特定されず、故に、物体画像ＯＩ［１１］～ＯＩ［２０］は何れも誤りラベル付き物体画像として特定されない。生成部７０は、誤りラベル付き物体画像が特定されない評価データセット（ここではＥＳ１）に対しては誤りラベル対応処理を実行しない。生成部７０は、誤りクラスタが一切特定されない評価データセット中の各物体画像を正解ラベル付き物体画像とみなし、正解ラベル付き物体画像を含む各入力画像を学習用画像に設定する。学習用画像に設定された各入力画像の画像データは学習用データセットに含められる。
【0085】
例えば、物体画像ＯＩ［１１］～ＯＩ［１４］が入力画像ＩＩ［ＪＡ１］に含まれ、物体画像ＯＩ［１５］～ＯＩ［１７］が入力画像ＩＩ［ＪＡ１＋１］に含まれ、且つ、物体画像ＯＩ［１８］～ＯＩ［２０］が入力画像ＩＩ［ＪＡ１＋２］に含まれるのであれば（ここでは“ＪＡ１＋２＝ＪＡ２”であると仮定）、３枚の入力画像ＩＩ［ＪＡ１］～ＩＩ［ＪＡ１＋２］を３枚の学習用画像に設定し、入力画像ＩＩ［ＪＡ１］～ＩＩ［ＪＡ１＋２］の画像データと、暫定データセットにおける入力画像ＩＩ［ＪＡ１］～ＩＩ［ＪＡ１＋２］のアノテーション情報とを、そのまま学習用データセットに含める。
【0086】
次に、図７、図８及び図１１に対応する上記評価データセットＥＳ２に注目する。評価データセットＥＳ２に関しては、クラスタリング処理部４０により生成されたクラスタＣＴＢ１及びＣＴＢ２の内、クラスタＣＴＢ２のみが誤りクラスタとして特定され、且つ、物体画像ＯＩ［３１］～［４０］の内、物体画像ＯＩ［３９］及び［４０］のみが誤りラベル付き物体画像として特定される。生成部７０は、誤りラベル付き物体画像が特定された評価データセット（ここではＥＳ２）に対して誤りラベル対応処理を実行する。誤りラベル対応処理として、以下の第１誤りラベル対応処理を採用できる。
【0087】
今、物体画像ＯＩ［３１］～ＯＩ［３４］が入力画像ＩＩ［ＪＢ１］に含まれ、物体画像ＯＩ［３５］～ＯＩ［３７］が入力画像ＩＩ［ＪＢ１＋２］に含まれ、且つ、物体画像ＯＩ［３８］～ＯＩ［４０］が入力画像ＩＩ［ＪＢ１＋２］に含まれるケースＣＡＳＥ１を想定する（当該ケースでは“ＪＢ１＋２＝ＪＢ２”）。
【0088】
ケースＣＡＳＥ１に係る第１誤りラベル対応処理において、生成部７０は、誤りラベル付き物体画像である物体画像ＯＩ［３９］及び［４０］を含む入力画像ＩＩ［ＪＢ１＋２］をアノテーション対象として抽出し、暫定データセットにおける入力画像ＩＩ［ＪＢ１＋２］のアノテーション情報に誤りが含まれる可能性があることを、データ処理装置１の管理者に対して通知する（この通知を通知ＮＴ１と称する）。通知ＮＴ１は、データ処理装置１に設けられた又は接続された表示画面（不図示）での表示を通じて行われて良い。通知ＮＴ１は、入力画像ＩＩ［ＪＢ１＋２］のアノテーション情報の正解を求める正解要求通知を含んでいて良い。通知ＮＴ１を受けた管理者は、入力画像ＩＩ［ＪＢ１＋２］のアノテーション情報の正解を示す正解情報を、ポインティングデバイス等の所定のマンマシンインターフェース（不図示）を通じてデータ処理装置１に入力する。ここにおける正解情報は、物体画像ＯＩ［３９］及び［４０］中の物体が交通標識であること（即ち第３クラスの物体であること）を指し示す。生成部７０は、正解情報に基づき入力画像ＩＩ［ＪＢ１＋２］に対するアノテーション情報（暫定データセット中のアノテーション情報）を修正し、入力画像ＩＩ［ＪＢ１＋２］の画像データと当該修正したアノテーション情報とを、１枚の教師用画像の画像データ及び当該教師用画像のアノテーション情報の組として、学習用データセットに含める。
【0089】
ケースＣＡＳＥ１において、入力画像ＩＩ［ＪＢ１］及びＩＩ［ＪＢ１＋１］は２枚の学習用画像に設定され、入力画像ＩＩ［ＪＢ１］及びＩＩ［ＪＢ１＋１］の画像データと、暫定データセットにおける入力画像ＩＩ［ＪＢ１］及びＩＩ［ＪＢ１＋１］のアノテーション情報とが、そのまま学習用データセットに含められる。
【0090】
物体画像ＯＩ［３１］～ＯＩ［４０］が全て１枚の入力画像ＩＩ［ＪＢ１］に含まれるケースＣＡＳＥ２もあり得る（当該ケースでは“ＪＢ１＝ＪＢ２”）。
【0091】
ケースＣＡＳＥ２に係る第１誤りラベル対応処理において、生成部７０は、誤りラベル付き物体画像である物体画像ＯＩ［３９］及び［４０］を含む入力画像ＩＩ［ＪＢ１］をアノテーション対象として抽出し、暫定データセットにおける入力画像ＩＩ［ＪＢ１］のアノテーション情報に誤りが含まれる可能性があることを、データ処理装置１の管理者に対して通知する（この通知を通知ＮＴ２と称する）。通知ＮＴ２は、データ処理装置１に設けられた又は接続された表示画面（不図示）での表示を通じて行われて良い。通知ＮＴ２は、入力画像ＩＩ［ＪＢ１］のアノテーション情報の正解を求める正解要求通知を含んでいて良い。通知ＮＴ２を受けた管理者は、入力画像ＩＩ［ＪＢ１］のアノテーション情報の正解を示す正解情報を、ポインティングデバイス等の所定のマンマシンインターフェース（不図示）を通じてデータ処理装置１に入力する。ここにおける正解情報は、物体画像ＯＩ［３９］及び［４０］中の物体が交通標識であること（即ち第３クラスの物体であること）を指し示す。生成部７０は、正解情報に基づき入力画像ＩＩ［ＪＢ１］に対するアノテーション情報（暫定データセット中のアノテーション情報）を修正し、入力画像ＩＩ［ＪＢ１］の画像データと当該修正したアノテーション情報とを、１枚の教師用画像の画像データ及び当該教師用画像のアノテーション情報の組として、学習用データセットに含める。
【0092】
誤りラベル対応処理として、以下の第２誤りラベル対応処理を採用することもできる。上記ケースＣＡＳＥ１に係る第２誤りラベル対応処理において、生成部７０は、誤りラベル付き物体画像である物体画像ＯＩ［３９］及び［４０］を含む入力画像ＩＩ［ＪＢ１＋２］を学習用画像に設定しない。即ち、入力画像ＩＩ［ＪＢ１＋２］の画像データを学習用データセットから除外する（学習用データセットに含めない）。第２誤りラベル対応処理が採用される場合、ケースＣＡＳＥ１においては、第１誤りラベル対応処理が採用される場合と同様に、入力画像ＩＩ［ＪＢ１］及びＩＩ［ＪＢ２］は２枚の学習用画像に設定され、入力画像ＩＩ［ＪＢ１］及びＩＩ［ＪＢ１＋１］の画像データと、暫定データセットにおける入力画像ＩＩ［ＪＢ１］及びＩＩ［ＪＢ１＋１］のアノテーション情報とが、そのまま学習用データセットに含められる。上記ケースＣＡＳＥ２に係る第２誤りラベル対応処理において、生成部７０は、誤りラベル付き物体画像である物体画像ＯＩ［３９］及び［４０］を含む入力画像ＩＩ［ＪＢ１］を学習用画像に設定しない。即ち、入力画像ＩＩ［ＪＢ１］の画像データを学習用データセットから除外する（学習用データセットに含めない）。尚、第２誤りラベル対応処理が採用される場合であっても、ケースＣＡＳＥ１、ＣＡＳＥ２において、上記通知ＮＴ１、ＮＴ２が行われるようにしても良い（但し正解要求通知は非実行）。
【0093】
評価データセットＥＳ２に注目して第１及び第２誤りラベル対応処理を説明したが、評価データセットＥＳ３を含む他の評価データセットに対しても同様の処理が実行される。
【0094】
このように、第１誤りラベル対応処理を採用する生成部７０は、複数の入力画像（ＩＩ［１］～ＩＩ［Ｌ］）を複数の学習用画像に設定し、複数の入力画像（ＩＩ［１］～ＩＩ［Ｌ］）としての複数の学習用画像の画像データと各学習用画像内の物体の位置及びクラスを特定するアノテーション情報とを含む学習用データセットを生成する。この際、第１誤りラベル対応処理を採用する生成部７０は、誤り特定部６０の特定結果（誤りクラスタ及び誤りラベル付き物体画像の特定結果）に基づき、誤りラベル付き物体画像を含む入力画像をアノテーション対象として抽出し、アノテーション対象に対して外部から与えられた情報（正解情報）を用いて、アノテーション対象に対するアノテーション情報を修正する。修正後のアノテーション情報が学習用データセットに含められることになる。
【0095】
これに対し、第２誤りラベル対応処理を採用する生成部７０は、複数の入力画像（ＩＩ［１］～ＩＩ［Ｌ］）の一部を複数の学習用画像として抽出し、抽出によって得られた複数の学習用画像の画像データと各学習用画像内の物体の位置及びクラスを特定するアノテーション情報とを含む学習用データセットを生成する。この際、第２誤りラベル対応処理を採用する生成部７０は、誤り特定部６０の特定結果（誤りクラスタ及び誤りラベル付き物体画像の特定結果）に基づき、誤りラベル付き物体画像を含む入力画像を上記複数の学習用画像から除外する。例えば、入力画像ＩＩ［１］～ＩＩ［１００００］が存在する場合において、入力画像ＩＩ［１］～ＩＩ［９８００］の夫々が誤りラベル付き物体画像を含まず、且つ、入力画像ＩＩ［９８０１］～ＩＩ［１００００］の夫々が誤りラベル付き物体画像を含むのであれば、入力画像ＩＩ［１］～ＩＩ［９８００］のみが計９８００枚の学習用画像として抽出されて、９８００枚の学習用画像の画像データを含む学習用データセットが生成される。
【0096】
第１及び第２ラベル対応処理の何れを採用した場合でも、質の高い学習用データセット、即ちアノテーション情報に誤りの少ない（理想的には誤りの無い）学習用データセットを生成することが可能である。学習用データセットの質を高めることで、学習用データセットを用いた機械学習にて構築される画像認識用の推論モデルの性能を高めることができる。第２ラベル対応処理の採用時には手動による正解情報の入力作業が不要となるというメリットがある。一方で、第１ラベル対応処理の採用時には、第２ラベル対応処理の採用時と比べて、学習用画像の枚数を増やすことができるというメリットがある。
【0097】
＜＜第４実施例＞＞
第４実施例を説明する。図１３にデータ処理装置１の動作の一部フローチャートを示す。画像分類データセットの取得処理、機械学習処理、及び、特徴量導出処理は、ステップＳ１１に至る前に実行済みであるとする。但し、特徴量導出処理の実行タイミングは後述のステップＳ１２に至る前であれば任意である。
第４実施例を説明する。図１３にデータ処理装置１の動作の一部フローチャートを示す。画像分類データセットの取得処理、機械学習処理、及び、特徴量導出処理は、ステップＳ１１に至る前に実行済みであるとする。但し、特徴量導出処理の実行タイミングは後述のステップＳ１２に至る前であれば任意である。
【0098】
図１３の動作では、評価データセットを単位にクラスタリング処理を行うために、まずステップＳ１１において、クラスタリング処理部４０がｍ枚の物体画像の画像データと当該ｍ枚の物体画像のクラス情報とを含む評価データセットを設定する。ｍ枚の物体画像は画像分類データセット中のＭ枚の入力画像から切り出された物体画像である。Ｍは１以上の整数である。
【0099】
ｍは３以上の整数である。但し、ｍは４以上の整数であっても良いし、５以上の整数であっても良いし、更にそれ以上の整数であっても良い。ｍは固定値ｍＣＮＳＴ（例えば“ｍ＝ｍＣＮＳＴ＝１０）であっても良い。“ｍ＝ｍＣＮＳＴ”である場合、Ｍの値は不定であり、固定値ｍＣＮＳＴの枚数分の物体画像を含むＭ枚の入力画像を画像分類データセット中から抽出することによって評価データセットが設定される。“ｍ＝ｍＣＮＳＴ”とするのではなく、“Ｍ＝ＭＣＮＳＴ”としても良い。ＭＣＮＳＴは固定値であり、基本的には２以上の整数であるが、１であり得ても良い。“Ｍ＝ＭＣＮＳＴ”である場合、ＭＣＮＳＴ枚の入力画像に設定された物体領域（バウンディングボックス）の総数がｍの値になるので、評価データセットが設定されるたびにｍの値は変動しうる。“Ｍ＝ＭＣＮＳＴ”とすることを原則としつつも、Ｍ枚の入力画像に設定される物体領域（バウンディングボックス）の総数が必要数（少なくとも３）に満たない場合には、当該総数が必要数以上となるまでＭの値を増大させて良い。
【0100】
ステップＳ１１にて評価データセットが設定されると、その設定された評価データセットに対しステップＳ１２～Ｓ１５の処理又はステップＳ１２～Ｓ１６の処理が順次実行される。即ちステップＳ１２において、クラスタリング処理部４０は、評価データセットにおけるｍ枚の物体画像の特徴量及びクラス情報に基づきｍ枚の物体画像のクラスタリングを行い、これによってｍ枚の物体画像を１以上のクラスタに分類する。続くステップＳ１３において、指標導出部５０は、クラスタごとに特徴量の重心、距離平均及び距離分散を導出する。そしてステップＳ１４において、誤り特定部６０は、距離平均及び距離分散に基づき誤りクラスタを特定するための処理を実行する。この処理にて誤りクラスタが特定されたか否かがステップＳ１５にてチェックされる。誤りクラスタが特定された場合（ステップＳ１５のＹ）にはステップＳ１６の処理を行ってからステップＳ１７に進むが、誤りクラスタが特定されなかった場合（ステップＳ１５のＮ）にはステップＳ１６の処理を経ずにステップＳ１７に直接進む。ステップＳ１６において、誤り特定部６０は、誤りクラスタの再クラスタリングを経て誤りラベル付き物体画像を特定する。
【0101】
ステップＳ１７において、データ処理装置１（例えばクラスタリング処理部４０）は、画像分類データセットに含まれる全ての物体画像に対する評価が完了したか否かを判定する。画像分類データセットに含まれる全ての物体画像が何れかの評価データセットに含められた上でステップＳ１２～Ｓ１５の処理又はステップＳ１２～Ｓ１６の処理が行われたならば、上記評価が完了したと判定して（ステップＳ１７のＹ）ステップＳ１８に進む。
画像分類データセットに含まれる１以上の物体画像が未だ評価データセットに含められていないのであれば、ステップＳ１１に戻ってステップＳ１１以降の処理を繰り返す。
画像分類データセットに含まれる１以上の物体画像が未だ評価データセットに含められていないのであれば、ステップＳ１１に戻ってステップＳ１１以降の処理を繰り返す。
【0102】
ステップＳ１８において、学習用データセット生成部７０は、必要に応じて第３実施例で述べた誤りラベル対応処理を行いつつ、暫定データセットを元に学習用データセットを生成する。生成された学習用データセットはデータベース８０に記憶される。
【0103】
＜＜第５実施例＞＞
第５実施例を説明する。第５実施例では、上述した事項に対する応用技術、変形技術又は補足事項等を説明する。
第５実施例を説明する。第５実施例では、上述した事項に対する応用技術、変形技術又は補足事項等を説明する。
【0104】
上述の実施例において、誤りクラスタに属する誤りラベル付き物体画像の数が２つとなる具体例に挙げたが（図７～図１２参照）、１つの誤りクラスタに属する誤りラベル付き物体画像の数は１であり得るし、３以上であり得る。
【0105】
データ処理装置１は、ハードウェアとして、演算処理装置であるＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＲＯＭ（Read only memory）及びＲＡＭ（Random access memory）等を備える。データ処理装置１は、ＲＯＭに格納されたプログラム又は他の装置から通信を通じて取得されたプログラムをＣＰＵにて実行することにより、図１に示す各部位の機能を実現して良く、故に図１３のステップＳ１１～Ｓ１８の各処理を実現して良い。
【0106】
データ処理装置１にて生成された学習用データセットを用いて、任意のニューラルネットワークを機械学習させることにより画像認識用の推論モデルを構築できる。例えば、車載装置においてＤＮＮ（Deep Neural Network）を含む学習器を形成しておき、学習用データセットを教師データとして用いて、車載装置の学習器に機械学習を行わせるようにしても良い。機械学習を経て車載装置の学習器により物体検出が可能な推論モデルが形成される。そして、車載装置にて推論モデルによる物体検出を行わせ、物体検出の結果を、車両で実施され得る自動運転又は運転支援等に利用して良い。ここにおける車載装置は、自動車等の車両に設置される装置を指す。
【0107】
尚、データ処理装置１自体が車載装置であっても構わない。車両（例えば放送中継車）によっては、豊富な計算資源を有する車載装置が設置されることもあり、この場合においては特にデータ処理装置１自体を車載装置とすることも可能である。
【0108】
データ処理装置１により実行される処理の一部又は全部は、ソフトウェアおよびハードウェアの混在処理により実現しても良い。前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本実施形態の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体は、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリである。
【0109】
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
【符号の説明】
【0110】
１ データ処理装置
１０ 画像分類データセット取得部
２０ 機械学習処理部
２１ ニューラルネットワーク
３０ 推論部
３１ 特徴量導出部
４０ クラスタリング処理部
５０ 指標導出部
６０ 誤り特定部
７０ 学習用データセット生成部
８０ データベース
１０ 画像分類データセット取得部
２０ 機械学習処理部
２１ ニューラルネットワーク
３０ 推論部
３１ 特徴量導出部
４０ クラスタリング処理部
５０ 指標導出部
６０ 誤り特定部
７０ 学習用データセット生成部
８０ データベース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
