特開 2017-162436 画像処理方法、画像処理装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2017-162436(P2017-162436A)

(43)【公開日】2017年9月14日

(54)【発明の名称】画像処理方法、画像処理装置およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20170818BHJP

   G06T 1/00 20060101ALI20170818BHJP

   H04N 5/225 20060101ALI20170818BHJP

   B60R 11/02 20060101ALI20170818BHJP

【ＦＩ】

   G06T7/20 C

   G06T1/00 330B

   H04N5/225 C

   B60R11/02 Z

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

【全頁数】32

(21)【出願番号】特願2016-188647(P2016-188647)

(22)【出願日】2016年9月27日

(31)【優先権主張番号】62/306,827

(32)【優先日】2016年3月11日

(33)【優先権主張国】US

(71)【出願人】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】小塚 和紀

(72)【発明者】

【氏名】谷川 徹

(72)【発明者】

【氏名】齊藤 雅彦

【テーマコード（参考）】

3D020

5B057

5C122

5L096

【Ｆターム（参考）】

3D020BA20

3D020BE03

5B057AA16

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057DA06

5C122DA03

5C122DA14

5C122EA47

5C122EA55

5C122EA59

5C122FH14

5C122HB01

5L096BA04

5L096CA04

5L096HA03

5L096KA04

(57)【要約】

【課題】学習用データの品質のばらつきを抑制することができる画像処理方法を提供する。
【解決手段】車載カメラにより撮影された時系列に連続し、少なくとも一部の画像に第１領域を示す第１アノテーションが付与された複数の画像において、時系列上の最後の時刻から遡りながら、第１アノテーションの有無に基づいて当該画像における第１領域の有無を判定する判定ステップ（Ｓ１０２）と、第１領域が無いと判定された最初の第１時刻における画像を特定し、特定した第１時刻の画像の遮蔽物の領域の一部を含み、運動物体が隠れており運動物体が遮蔽物から走行経路中に出現する前であることを示す第２領域であって、時系列上の第１時刻の次の時刻である第２時刻における画像中の第１領域の大きさに応じた大きさの第２領域を決定する決定ステップ（Ｓ１０３）と、決定された第２領域を示す第２アノテーションを付与する付与ステップ（Ｓ１０４）と、を含む。
【選択図】図１０

【特許請求の範囲】

【請求項1】

車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、少なくとも一部の画像に、当該画像の中に存在する遮蔽物の近傍かつ前記車両の走行経路中に存在する運動物体であることを示す第１領域を示す第１アノテーションが付与された複数の画像を取得する取得ステップと、
前記取得ステップにおいて取得した前記複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、前記第１アノテーションの有無に基づいて当該画像における前記第１領域の有無を判定する判定ステップと、
前記複数の画像のうち前記判定ステップにおいて前記第１領域が無いと判定された最初の第１時刻における画像を特定し、特定した前記第１時刻の画像の前記遮蔽物の領域の一部を含み、前記運動物体が隠れており前記運動物体が前記遮蔽物から前記走行経路中に出現する前であることを示す第２領域であって、時系列上の前記第１時刻の次の時刻である第２時刻における画像中の前記第１領域の大きさに応じた大きさの第２領域を決定する決定ステップと、
前記決定ステップにおいて決定された前記第２領域を示す第２アノテーションを付与する付与ステップと、を含む、
画像処理方法。

【請求項2】

前記決定ステップでは、
前記第２時刻における画像中の前記第１領域を、当該第１領域から前記遮蔽物に向かう方向にそのまま所定距離ずらすことにより、前記第１時刻の画像の前記遮蔽物の領域の一部を含む前記第２領域を決定する、
請求項１に記載の画像処理方法。

【請求項3】

前記決定ステップでは、さらに、
前記第１時刻の画像より時系列上の所定時間遡った時刻までに含まれる１以上の画像を特定し、特定した１以上の画像において前記遮蔽物の領域の一部を含む前記第２領域を決定する、
請求項１または２に記載の画像処理方法。

【請求項4】

前記画像処理方法は、さらに、
前記車両に搭載された車載カメラにより撮影された時系列に連続するすべての画像であって前記車両のブレーキ強度または加速度を示す情報と紐付けられているすべての画像のうち、前記車両のブレーキ強度または加速度が閾値より大きい時点から一定期間前の時点までの複数の画像である第１絞り込み画像を選択する第１絞り込みステップと、
前記第１絞り込みステップにおいて選択された前記第１絞り込み画像のうち、前記車両の走行経路中に存在する運動物体であることを示す領域を示すアノテーションが付与された１以上の画像を含む時系列に連続する複数の画像を選択することにより、前記すべての画像から、前記少なくとも一部の画像に前記第１アノテーションが付与された前記複数の画像に絞り込む第２絞り込みステップと、を含み、
前記取得ステップでは、前記第２絞り込みステップにおいて絞り込まれた前記複数の画像を取得する、
請求項１〜３のいずれか１項に記載の画像処理方法。

【請求項5】

前記画像処理方法は、さらに、
前記第１絞り込みステップの前に、クラウドソーシングのワーカに、前記すべての画像に対して、画像中に存在する運動物体であることを示す領域を示すアノテーションを付与させるワーカステップを含む、
請求項４に記載の画像処理方法。

【請求項6】

前記画像処理方法は、さらに、
前記第２絞り込みステップの前に、クラウドソーシングのワーカに、前記第１絞り込みステップにおいて選択された前記第１絞り込み画像に対して、当該第１絞り込み画像中に存在する運動物体であることを示す領域を示すアノテーションを付与させるワーカステップを含む、
請求項５に記載の画像処理方法。

【請求項7】

前記第２領域は、前記車両が走行する上で前記運動物体と衝突する可能性のある危険領域であり、
前記画像処理方法は、さらに、
前記付与ステップにおいて付与された前記第２アノテーションに、前記車両のブレーキ強度または加速度が前記閾値より大きい時点における前記ブレーキ強度または加速度の大きさに応じた危険度を含める危険度付与ステップを含む、
請求項４〜６のいずれか１項に記載の画像処理方法。

【請求項8】

前記運動物体は、人物であり、
前記第２領域は、前記第１領域と同一の大きさの領域である、
請求項１〜７のいずれか１項に記載の画像処理方法。

【請求項9】

前記遮蔽物は、駐停車中の自動車であり、
前記運動物体は、自動車のドアであり、
前記第２領域は、前記第１領域と同一の大きさの領域である、
請求項１〜７のいずれか１項に記載の画像処理方法。

【請求項10】

前記運動物体は、子供が遊びに使う物体であり、
前記第２領域は、前記第１領域を前記第１時刻の画像中の高さ方向に拡大した領域と同一の大きさの領域である、
請求項１〜７のいずれか１項に記載の画像処理方法。

【請求項11】

前記第２領域は、前記車両が走行する上で前記運動物体と衝突する可能性のある危険領域であり、
前記画像処理方法は、さらに、
前記付与ステップにおいて付与された前記第２アノテーションに、さらに、前記運動物体の属性に応じた危険度を含める危険度付与ステップを含む、
請求項８に記載の画像処理方法。

【請求項12】

前記第２領域は、前記車両が走行する上で前記運動物体と衝突する可能性のある危険領域であり、
前記画像処理方法は、さらに、
前記付与ステップにおいて付与された前記第２アノテーションに、さらに、前記第２領域の大きさが大きいほど高い危険度を含める危険度付与ステップを含む、
請求項１〜１０のいずれか１項に記載の画像処理方法。

【請求項13】

前記判定ステップは、
前記取得ステップにおいて取得した複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、前記第１アノテーションが付与されていない最初の画像を判定する第１判定ステップと、
前記第１判定ステップにおいて判定された前記最初の画像の第３時刻の時系列上の次の時刻における画像中の前記第１領域を、前記第３時刻の画像から時刻を時系列順に遡りながら、当該第１領域から前記遮蔽物に向かう方向にずらした当該画像それぞれの中の位置に前記第１領域が存在するかを画像処理により判定する第２判定ステップとを含む、
請求項１〜１２にいずれか１項に記載の画像処理方法。

【請求項14】

車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、少なくとも一部の画像に、当該画像の中に存在する遮蔽物の近傍かつ前記車両の走行経路中に存在する運動物体であることを示す第１領域を示す第１アノテーションが付与された複数の画像を取得する取得部と、
前記取得部が取得した前記複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、前記第１アノテーションの有無に基づいて当該画像における前記第１領域の有無を判定する判定部と、
前記複数の画像のうち前記判定部により前記第１領域が無いと判定された最初の第１時刻における画像を特定し、特定した前記第１時刻の画像の前記遮蔽物の領域の一部を含み、前記運動物体が隠れており前記運動物体が前記遮蔽物から前記走行経路中に出現する前であることを示す第２領域であって、時系列上の前記第１時刻の次の時刻における画像中の前記第１領域の大きさに応じた大きさの第２領域を決定する決定部と、
前記決定部において決定された前記第２領域を示す第２アノテーションを付与する付与部とを、備える、
画像処理装置。

【請求項15】

車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、少なくとも一部の画像に、当該画像の中に存在する遮蔽物の近傍かつ前記車両の走行経路中に存在する運動物体であることを示す第１領域を示す第１アノテーションが付与された複数の画像を取得する取得ステップと、
前記取得ステップにおいて取得した前記複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、前記第１アノテーションの有無に基づいて当該画像における前記第１領域の有無を判定する判定ステップと、
前記複数の画像のうち前記判定ステップにおいて前記第１領域が無いと判定された最初の第１時刻における画像を特定し、特定した前記第１時刻の画像の前記遮蔽物の領域の一部を含み、前記運動物体が隠れており前記運動物体が前記遮蔽物から前記走行経路中に出現する前であることを示す第２領域であって、時系列上の前記第１時刻の次の時刻における画像中の前記第１領域の大きさに応じた大きさの第２領域を決定する決定ステップと、
前記決定ステップにおいて決定された前記第２領域を示す第２アノテーションを付与する付与ステップとを、
コンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理方法、画像処理装置およびプログラムに関する。

【背景技術】

【0002】

近年、ニューラルネットワークを用いた機械学習技術による一般物体認識が、高い性能を示し注目されている。

【0003】

しかし、ニューラルネットワークによる一般物体認識において、高い認識性能を引き出すためには、認識ターゲットとする物体の名前や種類等がアノテーション（正解情報）として付けされた画像を大量に用いて学習処理を行う必要がある。

【0004】

また、機械学習では、学習用データとして大規模のデータ（ビッグデータ）が提供されれば、精度が向上することが知られている。

【0005】

ビッグデータを集める方法の一つとして、クラウドソーシングなど第三者へのアウトソーシングを利用する方法がある。クラウドソーシングは、インターネットを通じて不特定多数の者（ワーカ）に簡単な作業（タスク）を安価で依頼する仕組みである。そのため、クラウドソーシングを利用してビッグデータのデータ収集を行えば、ビッグデータを構成する個々のデータに対するタスクを多数のワーカに分配して依頼することができるので、ビッグデータを効率的（比較的安価で短時間）に収集できる。

【0006】

例えば特許文献１には、なるべく少ない人数により高い作業精度でクラウドソーシングを実現する技術が開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１３−１９７７８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献１に開示される技術を用いても、アノテーションを付す作業に高度な認識を必要とする場合、アノテーションを付す作業はクラウドソーシングのワーカの個人差が出やすいという問題がある。アノテーションを付す作業に高度な認識を必要とする場合としては、例えば車両が走行する上で人が飛び出してきて危険となるような危険領域を示すアノテーションを付すことなどがある。危険な領域のアノテーションは、特定の物体の種類や位置を付与するアノテーションと比較して、位置の特定や危険の度合いを決定することが難しく、ワーカの個人差が大きくなる。したがって、アノテーションを付す作業に高度な認識を必要とする場合、クラウドソーシングで得られる学習用データの品質にばらつきが生じてしまうという問題がある。そして、品質のばらつきのある学習用データからなるビッグデータを用いて機械学習を行った場合、学習の精度は向上しない。

【0009】

本開示は、上述の事情を鑑みてなされたもので、学習用データの品質のばらつきを抑制することができる画像処理方法、画像処理装置およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するために、本発明の一形態に係るタスク画像処理方法は、車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、少なくとも一部の画像に、当該画像の中に存在する遮蔽物の近傍かつ前記車両の走行経路中に存在する運動物体であることを示す第１領域を示す第１アノテーションが付与された複数の画像を取得する取得ステップと、前記取得ステップにおいて取得した前記複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、前記第１アノテーションの有無に基づいて当該画像における前記第１領域の有無を判定する判定ステップと、前記複数の画像のうち前記判定ステップにおいて前記第１領域が無いと判定された最初の第１時刻における画像を特定し、特定した前記第１時刻の画像の前記遮蔽物の領域の一部を含み、前記運動物体が隠れており前記運動物体が前記遮蔽物から前記走行経路中に出現する前であることを示す第２領域であって、時系列上の前記第１時刻の次の時刻である第２時刻における画像中の前記第１領域の大きさに応じた大きさの第２領域を決定する決定ステップと、前記決定ステップにおいて決定された前記第２領域を示す第２アノテーションを付与する付与ステップと、を含む。

【0011】

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0012】

本発明によれば、学習用データの品質のばらつきを抑制することができる画像処理方法等を実現できる。

【図面の簡単な説明】

【0013】

【図1】図１は、実施の形態１における画像処理装置の機能構成の一例を示す図である。

【図2】図２は、実施の形態１におけるアノテーション部が取得する複数の画像の一例を示す図である。

【図3】図３は、図２に示す複数の画像に対して実施の形態１におけるアノテーション部が行う画像処理の説明図である。

【図4】図４は、図２に示す複数の画像に対して実施の形態１におけるアノテーション部が行う画像処理の一例の説明図である。

【図5】図５は、図２に示す複数の画像に対して実施の形態１におけるアノテーション部が行う画像処理の別の例の説明図である。

【図6】図６は、図１に示す絞り込み部の詳細機能構成の一例を示す図である。

【図7】図７は、実施の形態１における絞り込み部の第１絞り込み方法の説明図である。

【図8】図８は、実施の形態１における絞り込み部の第２絞り込み方法の説明図である。

【図9】図９は、実施の形態１における画像処理装置の絞り込み部の動作を示すフローチャートである。

【図10】図１０は、実施の形態１における画像処理装置のアノテーション部での動作を示すフローチャートである。

【図11】図１１は、実施の形態１におけるアノテーション部が取得する複数の画像の一例を示す図である。

【図12】図１２は、実施の形態１におけるアノテーション部が決定して付与する第２領域の一例を示す図である。

【図13】図１３は、実施の形態１の効果の説明図である。

【図14】図１４は、変形例１におけるアノテーション部が取得する複数の画像の一例を示す図である。

【図15】図１５は、変形例１におけるアノテーション部が決定する第２領域の一例を示す図である。

【図16】図１６は、変形例２におけるアノテーション部が取得する複数の画像の一例を示す図である。

【図17】図１７は、変形例２におけるアノテーション部が決定する第２領域の一例を示す図である。

【図18】図１８は、変形例３におけるアノテーション部が取得する複数の画像の一例を示す図である。

【図19】図１９は、変形例３におけるアノテーション部が決定する第２領域の一例を示す図である。

【図20】図２０は、変形例４の第１例におけるアノテーション部が取得処理で取得する複数の画像の一例を示す図である。

【図21】図２１は、変形例４の第１例におけるアノテーション部が付与する第２アノテーションの一例を示す図である。

【図22】図２２は、変形例４の第２例におけるアノテーション部が取得する複数の画像の一例を示す図である。

【図23】図２３は、変形例４の第２例におけるアノテーション部が付与する第２アノテーションの一例を示す図である。

【図24】図２４は、変形例４の第３例におけるアノテーション部が付与する危険度の決定方法の説明図である。

【図25】図２５は、実施の形態２における判定部の詳細構成の一例を示す図である。

【図26】図２６は、実施の形態２における画像処理装置の判定部の動作を示すフローチャートである。

【図27】図２７は、実施の形態２における取得部が取得する複数の画像の一例を示す図である。

【図28】図２８は、図２７に示す複数の画像に対して実施の形態２における判定部が行う画像処理の説明図である。

【図29】図２９は、実施の形態３における画像処理装置の機能構成の一例を示す図である。

【発明を実施するための形態】

【0014】

本発明の一態様に係る画像処理方法は、車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、少なくとも一部の画像に、当該画像の中に存在する遮蔽物の近傍かつ前記車両の走行経路中に存在する運動物体であることを示す第１領域を示す第１アノテーションが付与された複数の画像を取得する取得ステップと、前記取得ステップにおいて取得した前記複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、前記第１アノテーションの有無に基づいて当該画像における前記第１領域の有無を判定する判定ステップと、前記複数の画像のうち前記判定ステップにおいて前記第１領域が無いと判定された最初の第１時刻における画像を特定し、特定した前記第１時刻の画像の前記遮蔽物の領域の一部を含み、前記運動物体が隠れており前記運動物体が前記遮蔽物から前記走行経路中に出現する前であることを示す第２領域であって、時系列上の前記第１時刻の次の時刻である第２時刻における画像中の前記第１領域の大きさに応じた大きさの第２領域を決定する決定ステップと、前記決定ステップにおいて決定された前記第２領域を示す第２アノテーションを付与する付与ステップと、を含む。

【0015】

このようにして、車載カメラにより撮影された複数の画像に対して、クラウドソーシングのワーカであれば高度な認識を必要とする第２領域を示す第２アノテーションを機械的に付すことができる。それにより、当該複数の画像を含む学習用データの品質のばらつきを抑制することができる。

【0016】

ここで、例えば、前記決定ステップでは、前記第２時刻における画像中の前記第１領域を、当該第１領域から前記遮蔽物に向かう方向にそのまま所定距離ずらすことにより、前記第１時刻の画像の前記遮蔽物の領域の一部を含む前記第２領域を決定するとしてもよい。

【0017】

これにより、第２領域を示す第２アノテーションを機械的に付すことができる。

【0018】

また、例えば、前記決定ステップでは、さらに、前記第１時刻の画像より時系列上の所定時間遡った時刻までに含まれる１以上の画像を特定し、特定した１以上の画像において前記遮蔽物の領域の一部を含む前記第２領域を決定するとしてもよい。

【0019】

これにより、１以上の画像に対して第２領域を示す第２アノテーションを機械的に付すことができる。

【0020】

また、例えば、前記画像処理方法は、さらに、前記車両に搭載された車載カメラにより撮影された時系列に連続するすべての画像であって前記車両のブレーキ強度または加速度を示す情報と紐付けられているすべての画像のうち、前記車両のブレーキ強度または加速度が閾値より大きい時点から一定期間前の時点までの複数の画像である第１絞り込み画像を選択する第１絞り込みステップと、前記第１絞り込みステップにおいて選択された前記第１絞り込み画像のうち、前記車両の走行経路中に存在する運動物体であることを示す領域を示すアノテーションが付与された１以上の画像を含む時系列に連続する複数の画像を選択することにより、前記すべての画像から、前記少なくとも一部の画像に前記第１アノテーションが付与された前記複数の画像に絞り込む第２絞り込みステップと、を含み、前記取得ステップでは、前記第２絞り込みステップにおいて絞り込まれた前記複数の画像を取得するとしてもよい。

【0021】

これにより、車載カメラにより撮影された複数の画像のうち、第２領域を示す第２アノテーションを付す可能性のある時系列画像であって第１領域を示す第１アノテーションが付された画像を含む時系列画像に絞り込んだ上で、第２領域を示す第２アノテーションを機械的に付すことができる。

【0022】

ここで、例えば、前記画像処理方法は、さらに、前記第１絞り込みステップの前に、クラウドソーシングのワーカに、前記すべての画像に対して、画像中に存在する運動物体であることを示す領域を示すアノテーションを付与させるワーカステップを含むとしてもよい。

【0023】

また、例えば、前記画像処理方法は、さらに、前記第２絞り込みステップの前に、クラウドソーシングのワーカに、前記第１絞り込みステップにおいて選択された前記第１絞り込み画像に対して、当該第１絞り込み画像中に存在する運動物体であることを示す領域を示すアノテーションを付与させるワーカステップを含むとしてもよい。

【0024】

これらにより、クラウドソーシングのワーカに、画像中に存在する運動物体であることを示す領域を示すアノテーションを付与させることができる。

【0025】

ここで、例えば、前記第２領域は、前記車両が走行する上で前記運動物体と衝突する可能性のある危険領域であり、前記画像処理方法は、さらに、前記付与ステップにおいて付与された前記第２アノテーションに、前記車両のブレーキ強度または加速度が前記閾値より大きい時点における前記ブレーキ強度または加速度の大きさに応じた危険度を含める危険度付与ステップを含むとしてもよい。

【0026】

これにより、車両の走行上の危険領域である第２領域を示す第２アノテーションに、さらに危険度を含めることができる。

【0027】

また、例えば、前記運動物体は、人物であり、前記第２領域は、前記第１領域と同一の大きさの領域であるとしてもよい。

【0028】

これにより、第２領域を車両が走行する上で人物と衝突する可能性のある危険領域として、第２領域を示す第２アノテーションを機械的に付すことができる。

【0029】

また、例えば、前記遮蔽物は、駐停車中の自動車であり、前記運動物体は、自動車のドアであり、前記第２領域は、前記第１領域と同一の大きさの領域であるとしてもよい。

【0030】

これにより、第２領域を車両が走行する上で衝突する可能性のある危険領域として、第２領域を示す第２アノテーションを機械的に付すことができる。

【0031】

また、例えば、前記運動物体は、子供が遊びに使う物体であり、前記第２領域は、前記第１領域を前記第１時刻の画像中の高さ方向に拡大した領域と同一の大きさの領域であるとしてもよい。

【0032】

これにより、第２領域を車両が走行する上で子供と衝突する可能性のある危険領域として、第２領域を示す第２アノテーションを機械的に付すことができる。

【0033】

また、例えば、前記第２領域は、前記車両が走行する上で前記運動物体と衝突する可能性のある危険領域であり、前記画像処理方法は、さらに、前記付与ステップにおいて付与された前記第２アノテーションに、さらに、前記運動物体の属性に応じた危険度を含める危険度付与ステップを含むとしてもよい。

【0034】

これにより、車両の走行上の危険領域である第２領域を示す第２アノテーションに、さらに危険度を含めることができる。

【0035】

また、例えば、前記第２領域は、前記車両が走行する上で前記運動物体と衝突する可能性のある危険領域であり、前記画像処理方法は、さらに、前記付与ステップにおいて付与された前記第２アノテーションに、さらに、前記第２領域の大きさが大きいほど高い危険度を含める危険度付与ステップを含むとしてもよい。

【0036】

これにより、車両の走行上の危険領域である第２領域を示す第２アノテーションに、さらに危険度を含めることができる。

【0037】

また、例えば、前記判定ステップは、前記取得ステップにおいて取得した複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、前記第１アノテーションが付与されていない最初の画像を判定する第１判定ステップと、前記第１判定ステップにおいて判定された前記最初の画像の第３時刻の時系列上の次の時刻における画像中の前記第１領域を、前記第３時刻の画像から時刻を時系列順に遡りながら、当該第１領域から前記遮蔽物に向かう方向にずらした当該画像それぞれの中の位置に前記第１領域が存在するかを画像処理により判定する第２判定ステップとを含むとしてもよい。

【0038】

これにより、一部の画像に付されているべき第１領域を示す第１アノテーションが付されていない場合でも、画像処理により当該一部の画像に第１領域が有るか否か判定することができる。それにより、高度な認識を必要とする第２領域を示す第２アノテーションをさらに付すことができるので、当該複数の画像を含む学習用データの品質のばらつきを抑制することができる。

【0039】

また、本発明の一態様に係る画像処理装置は、車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、少なくとも一部の画像に、当該画像の中に存在する遮蔽物の近傍かつ前記車両の走行経路中に存在する運動物体であることを示す第１領域を示す第１アノテーションが付与された複数の画像を取得する取得部と、前記取得部が取得した前記複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、前記第１アノテーションの有無に基づいて当該画像における前記第１領域の有無を判定する判定部と、前記複数の画像のうち前記判定部により前記第１領域が無いと判定された最初の第１時刻における画像を特定し、特定した前記第１時刻の画像の前記遮蔽物の領域の一部を含み、前記運動物体が隠れており前記運動物体が前記遮蔽物から前記走行経路中に出現する前であることを示す第２領域であって、時系列上の前記第１時刻の次の時刻における画像中の前記第１領域の大きさに応じた大きさの第２領域を決定する決定部と、前記決定部において決定された前記第２領域を示す第２アノテーションを付与する付与部とを、備える。

【0040】

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ−ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

【0041】

以下、本発明の一態様に係る画像処理方法等について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。

【0042】

（実施の形態１）
［画像処理装置１０の構成］
図１は、実施の形態１における画像処理装置１０の機能構成の一例を示す図である。

【0043】

画像処理装置１０は、記憶部２０に記憶されているアノテーション付与データに対して、ワーカであれば高度な認識を必要とするアノテーションを機械的にさらに付す画像処理を行い、学習用データとして、記憶部３０に出力する。本実施の形態では、アノテーション付与データは、クラウドソーシングにおけるワーカによって、明示的に存在する運動物体を示すアノテーションが付与された複数の画像であって車載カメラにより撮影された複数の画像である。なお、運動物体が画像中に明示的に存在する場合にアノテーションを付することは、ワーカに高度な認識を要求しないので、ワーカの個人差が出にくく、品質にばらつきがない。

【0044】

本実施の形態では、画像処理装置１０は、図１に示すように、アノテーション部１１と、絞り込み部１２と、記憶部１３とを備える。以下、各構成要素について詳細に説明する。

【0045】

［アノテーション部１１］
図２は、実施の形態１におけるアノテーション部１１が取得する複数の画像の一例を示す図である。図３および図４は、図２に示す複数の画像に対して実施の形態１におけるアノテーション部１１が行う画像処理の一例の説明図である。

【0046】

アノテーション部１１は、図１に示すように、取得部１１１と、判定部１１２と、決定部１１３と、付与部１１４とを備える。

【0047】

（取得部１１１）
取得部１１１は、車両に搭載された車載カメラにより撮影された時系列に連続する複数の画像であって、少なくとも一部の画像に、当該画像の中に存在する遮蔽物の近傍かつ車両の走行経路中に存在する運動物体であることを示す第１領域を示す第１アノテーションが付与された複数の画像を取得する。

【0048】

本実施の形態では、取得部１１１は、例えば図２に示す時系列に連続する複数の画像のような第１領域を示す第１アノテーションが付されたデータを記憶部１３から取得する。

【0049】

ここで、図２を用いて時系列に連続する複数の画像について説明する。

【0050】

図２に示す複数の画像は、学習用データを構成する複数の画像の一部であり、例えば車両に搭載された車載カメラにより撮影された映像の一部を構成する時系列に連続する服すの画像である。より具体的には、図２に示す複数の画像は、フレーム１０１ａ、フレーム１０１ｂ、フレーム１０１ｃ、フレーム１０１ｄ、フレーム１０１ｅ、フレーム１０１ｆ等からなる。当該複数の画像それぞれには、道路１０１１と遮蔽物１０１２とが含まれており（写っており）、当該複数の画像の一部（フレーム１０１ｂ〜フレーム１０１ｆ）には、人物などの運動物体６０が含まれている。一般的に、車載カメラにより撮影された映像を構成する画像では、人物等の運動物体６０の動きより、車などの車両の動きの方が大きい（速い）ので、当該複数の画像において、運動物体６０は遠ざかっている（または近づいている）。また、図２に示す運動物体６０は、人物である。

【0051】

さらに、当該複数の画像の一部の画像（フレーム１０１ｃ〜フレーム１０１ｆ）に、第１領域（第１アノテーション）が付与されている。ここで、第１領域（第１アノテーション）は、明示的に存在する運動物体６０のうち遮蔽物の近傍かつ車両の走行経路中に存在する運動物体であることを示している。

【0052】

以下では、運動物体６０は、人物であるとして説明する。

【0053】

（判定部１１２）
判定部１１２は、取得部１１１が取得した複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、第１アノテーションの有無に基づいて当該画像における第１領域の有無を判定する。

【0054】

本実施の形態では、判定部１１２は、例えば図２に示す複数の画像において、フレーム１０１ｆ、フレーム１０１ｅ、…、フレーム１０１ａをこの順に、それぞれの画像（フレーム）に付された第１アノテーションの有無に従って、第１領域の有無を判定する。例えば、判定部１１２は、フレーム１０１ｆには第１アノテーションが付されているので、フレーム１０１ｆには第１領域があると判定し、フレーム１０１ｆ中に存在する第１領域を示す枠の位置と大きさを判定する。判定部１１２は、フレーム１０１ｅ〜フレーム１０１ｃについてもこの順で同様の判定を行うが、上述した通りであるので、説明は省略する。また、判定部１１２は、例えば、フレーム１０１ｂおよびフレーム１０１ａには第１アノテーションが付されていないので、フレーム１０１ａには第１領域がないと判定する。

【0055】

（決定部１１３）
決定部１１３は、複数の画像のうち判定部１１２で第１領域が無いと判定された最初の第１時刻における画像を特定する。決定部１１３は、特定した第１時刻の画像の遮蔽物の領域の一部を含み、運動物体が隠れており当該運動物体が当該遮蔽物から走行経路中に出現する前であることを示す第２領域であって、時系列上の第１時刻の次の時刻である第２時刻における画像中の第１領域の大きさに応じた大きさの第２領域を決定する。ここで、決定部１１３は、第２時刻における画像中の第１領域を、当該第１領域から遮蔽物に向かう方向にそのまま所定距離ずらすことにより、第１時刻の画像の遮蔽物の領域の一部を含む第２領域を決定する。なお、運動物体が人物である場合、第２領域は、第１領域と同一の大きさの領域である。

【0056】

本実施の形態では、決定部１１３は、図２に示す複数の画像において判定部１１２により第１領域が無いと判定された最初の第１時刻における画像を特定し、特定した第１時刻における画像における遮蔽物の一部を含む第２領域を決定する。なお、第２領域は、車両が走行する上で運動物体（人物）と衝突する可能性のある危険領域である。

【0057】

より具体的に、図３に示すように、決定部１１３は、図２に示す複数の画像において判定部１１２により第１領域が無いと判定された最初の第１時刻である時刻ｔ１におけるフレーム１０１ｂを特定する。そして、図４に示すように、決定部１１３は、特定した時刻ｔ１のフレーム１０１ｂにおける遮蔽物１０１２の一部を含む第２領域を決定する。

【0058】

ここで、第２領域は、特定した時刻ｔ１の次の時刻ｔ２における画像であるフレーム１０１ｃ中の人物である運動物体６０を囲う枠で示される第１領域の大きさと同一の大きさである。また、第２領域は、時刻ｔ１におけるフレーム１０１ｂにおいて、時刻ｔ２のフレーム１０１ｃ中の第１領域に対応する位置から所定距離ずらした位置に決定される。所定距離は、例えば、運動物体６０が時間（ｔ２−ｔ１）において移動した距離である。また、第２領域は、時刻ｔのフレーム１０１ｂの遮蔽物１０１２の領域の一部を含み、運動物体６０が隠れており当該運動物体６０が当該遮蔽物１０１２から車両の走行経路中に出現する前であることを示す。これは、時刻ｔ１において車両が走行中である場合、時刻ｔ２において当該車両が人物である運動物体６０と衝突する危険性があることを意味する。つまり、第２領域は、車両走行する上で運動物体（人物）と衝突する可能性のある危険領域であることを意味する。

【0059】

このようにして、決定部１１３は、１以上の画像に対して第２領域を機械的に決定することができる。

【0060】

なお、決定部１１３は、特定した第１時刻の画像において第２領域を決定するとしたが、これに限らない。決定部１１３は、第１時刻における画像を特定し、さらに、第１時刻の画像より時系列上の所定時間遡った時刻までに含まれる１以上の画像を特定し、特定した１以上の画像において遮蔽物の領域の一部を含む第２領域を決定してもよい。

【0061】

以下、図５を用いて具体的に説明する。図５は、図２に示す複数の画像に対して実施の形態１におけるアノテーション部１１が行う画像処理の別の例の説明図である。

【0062】

図５に示すように、決定部１１３は、図２に示す複数の画像において判定部１１２により第１領域が無いと判定された最初の第１時刻である時刻ｔ１におけるフレーム１０１ｂを特定する。さらに、決定部１１３は、特定した時刻ｔ１におけるフレーム１０１ｂから所定時間遡った時刻（ｔ１−△）までに含まれる画像（図ではフレーム１０１ａ）を特定する。そして、決定部１１３は、特定した時刻（ｔ１−△）〜時刻ｔ１に含まれるフレーム１０１ｂおよびフレーム１０１における遮蔽物１０１２の一部を含む第２領域を決定する。第２領域の具体的な決定方法は上述した通りであるので、ここでの詳細な説明は省略する。このようにして、決定部１１３は、１以上の画像に対して第２領域を機械的に決定することができる。

【0063】

なお、決定部１１３は、図２に示す複数の画像において判定部１１２により第１領域があると判定された最後の時刻ｔ２における画像を特定してもよい。この場合、決定部１１３は、さらに、決定部１１３は、特定した時刻ｔ２におけるフレーム１０１ｃから所定時間遡った時刻（ｔ２−△）までに含まれる画像（図ではフレーム１０１ａ、フレーム１０１ｂ）を特定してもよい。そして、特定した時刻（ｔ２−△）〜時刻ｔ２に含まれるフレーム１０１ｂおよびフレーム１０１における遮蔽物１０１２の一部を含む第２領域を決定してもよい。

【0064】

（付与部１１４）
付与部１１４は、決定部１１３で決定された第２領域を示す第２アノテーションを付与する。

【0065】

本実施の形態では、付与部１１４は、決定部１１３により決定された第２領域を示す第２アノテーションを、例えば図４または図５に示す画像に付与する。また、付与部１１４は、第２アノテーションを付した複数の画像（アノテーション付与データに対してさらに第２アノテーションを付したもの）を、学習用データとして、記憶部３０に出力する。

【0066】

［絞り込み１２の構成］
図６は、図１に示す絞り込み部１２の詳細機能構成の一例を示す図である。図７は、実施の形態１における絞り込み部１２の第１絞り込み方法の説明図である。図８は、実施の形態１における絞り込み部１２の第２絞り込み方法の説明図である。

【0067】

絞り込み部１２は、図６に示すように、第１絞り込み部１２１と、第２絞り込み部１２２とを備える。

【0068】

絞り込み部１２は、記憶部２０から取得したアノテーション付与データを所定の時系列画像に絞り込み、記憶部１３に保存する。ここで、所定の時系列画像とは、車両が走行する上で運動物体（人物）と衝突する可能性のある危険領域であって、ワーカであれば高度な認識を必要とする危険領域を付す可能性のある時系列画像である。

【0069】

本実施の形態では、記憶部２０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やメモリ等で構成され、クラウドソーシングのワーカによりアノテーションが付されたデータ（アノテーション付与データ）が記憶されている。ここで、アノテーション付与データは、車両に搭載された車載カメラにより撮影された時系列に連続するすべての画像であって車両のブレーキ強度または加速度を示す情報と紐付けられているすべての画像である。そして、アノテーション付与データは、クラウドソーシングのワーカにより、当該すべての画像において、画像中に存在する運動物体であることを示す領域を示すアノテーションが付されている。

【0070】

第１絞り込み部１２１は、記憶部２０に記憶されているアノテーション付与データであるすべての画像を、ブレーキ情報等により例えば図５に示す第１期間に紐づけられる複数の画像（第１絞り込み画像）に絞り込む。より具体的には、第１絞り込み部１２１は、車両に搭載された車載カメラにより撮影された時系列に連続するすべての画像であって車両のブレーキ強度または加速度を示す情報と紐付けられているすべての画像のうち、当該車両のブレーキ強度または加速度が閾値より大きい時点から一定期間前の時点までの複数の画像である第１絞り込み画像を選択する。

【0071】

そして、第２絞り込み部１２２は、第１絞り込み部１２１により絞り込まれた複数の画像（第１絞り込み画像）を、さらに、画像処理等により、車両が走行する走行経路中にアノテーションが付されている画像を含む時系列に連続する複数の画像に絞り込む。ここで、車両が走行する走行経路とは、例えば、図８に示す画像（フレーム１０２）における道路１０２０上である。より具体的には、第２絞り込み部１２２は、第１絞り込み部１２１で選択された第１絞り込み画像のうち、当該車両の走行経路中に存在する運動物体であることを示す領域を示すアノテーションが付与された１以上の画像を含む時系列に連続する複数の画像を選択することにより、すべての画像から、少なくとも一部の画像に第１領域を示す第１アノテーションが付与された複数の画像に絞り込む。

【0072】

そして、第２絞り込み部１２２は、絞り込んだ当該複数の画像を記憶部１３に記憶する。

【0073】

［記憶部１３］
記憶部１３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やメモリ等で構成されている。記憶部１３は、絞り込み部１２により絞り込まれた複数の画像を記憶している。

【0074】

［画像処理装置１０の動作］
次に、以上のように構成された画像処理装置１０の動作について、図９〜図１２を用いて説明する。

【0075】

図９は、実施の形態１における画像処理装置１０の絞り込み部１２の動作を示すフローチャートである。

【0076】

図９において、まず、画像処理装置１０の絞り込み部１２は、記憶部２０から、アノテーション付与データを取得する。

【0077】

次に、絞り込み部１２は、取得したアノテーション付与データをブレーキ情報等により絞り込む第１絞り込み処理を行う（Ｓ９０）。具体的には、上述したように、絞り込み部１２は、車両に搭載された車載カメラにより撮影された時系列に連続するすべての画像であって車両のブレーキ強度または加速度を示す情報と紐付けられているすべての画像のうち、当該車両のブレーキ強度または加速度が閾値より大きい時点から一定期間前の時点までの複数の画像である第１絞り込み画像を選択する。

【0078】

次に、絞り込み部１２は、Ｓ９０において絞り込まれた第１絞り込み画像を、さらに画像処理等により絞り込む第２絞り込み処理を行う（Ｓ９１）。具体的には、上述したように、絞り込み部１２は、第１絞り込み処理により絞り込まれた第１絞り込み画像のうち、当該車両の走行経路中に存在する運動物体であることを示す領域を示すアノテーションが付与された１以上の画像を含む時系列に連続する複数の画像を選択することにより、すべての画像から、少なくとも一部の画像に第１領域を示す第１アノテーションが付与された複数の画像に絞り込む。そして、第２絞り込み処理により絞り込まれた複数の画像を記憶部１３に記憶する。

【0079】

図１０は、実施の形態１における画像処理装置１０のアノテーション部１１での動作を示すフローチャートである。図１１は、実施の形態１におけるアノテーション部１１が取得する複数の画像の一例を示す図である。図１２は、実施の形態１におけるアノテーション部１１が決定して付与する第２領域の一例を示す図である。

【0080】

図１０において、まず、画像処理装置１０のアノテーション部１１は、記憶部１３から、第２絞り込み処理により絞り込まれた複数の画像を取得する取得処理を行う（Ｓ１０１）。より具体的には、上述したように、アノテーション部１１は、第２絞り込み処理により絞り込まれた時系列に連続する複数の画像であって、少なくとも一部の画像に、当該画像の中に存在する遮蔽物の近傍かつ車両の走行経路中に存在する運動物体であることを示す第１領域を示す第１アノテーションが付与された複数の画像を取得する。例えば、アノテーション部１１は、図１１に示すようなフレーム１０１ａ、フレーム１０１ｂ、…、を含む複数の画像であって、遮蔽物１０２２としてバスと、遮蔽物１０２２の近傍かつ走行経路である道路１０２１上に存在する運動物体６１として人物とが少なくとも一部のフレームに含まれる複数の画像を取得する。

【0081】

次に、アノテーション部１１は、Ｓ１０１において取得した複数の画像それぞれにおいて第１領域が有るかどうかを判定する判定処理を行う（Ｓ１０２）。より具体的には、上述したように、アノテーション部１１は、Ｓ１０１において取得した複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、第１アノテーションの有無に基づいて当該画像における第１領域の有無を判定する。

【0082】

次に、アノテーション部１１は、Ｓ１０２において、複数の画像において第１領域が無いと判定された最初の第１時刻における画像を特定し、特定した第１時刻における画像における遮蔽物の一部を含む第２領域を決定する決定処理を行う（Ｓ１０３）。具体的には、上述したように、アノテーション部１１は、Ｓ１０２において、まず、複数の画像のうち第１領域が無いと判定された最初の第１時刻における画像を特定する。次いで、アノテーション部１１は、特定した第１時刻の画像の遮蔽物の領域の一部を含む第２領域であって、時系列上の第１時刻の次の時刻である第２時刻における画像中の第１領域の大きさと同じ大きさの第２領域を決定する。例えば、アノテーション部１１は、第１領域が無いと判定された最初の第１時刻における画像として、図１２に示す時刻ｔ１におけるフレーム１０２ａを特定する。そして、アノテーション部１１は、フレーム１０２ａにおけるバスである遮蔽物１０２２の一部の位置に、人物（運動物体６１）が隠れていて時刻ｔ１の次の時刻においてバス（遮蔽物１０２２）から出現して走行中の車両にとって危険となる危険領域を示す第２領域を決定する。ここで、第２領域は、時系列上の時刻ｔ１の次の時刻である時刻ｔ２におけるフレーム１０２ｂの第１領域の大きさと同じ大きさである。

【0083】

次に、アノテーション部１１は、Ｓ１０３で決定した第２領域を示す第２アノテーションを付与する付与処理を行う（Ｓ１０４）。例えば、アノテーション部１１は、図１２に示す時刻ｔ１におけるフレーム１０２ａに対して、Ｓ１０３で決定された第２領域があることを示す第２アノテーションを付与する。そして、アノテーション部１１は、第２アノテーションをさらに付与した複数の画像を、学習用データとして、記憶部３０に出力する。

【0084】

このようにして、画像処理装置１０は、記憶部２０に記憶されているアノテーション付与データに対して、ワーカであれば高度な認識を必要とするアノテーションを機械的にさらに付す画像処理を行い、学習用データとして、記憶部３０に出力することができる。

【0085】

なお、上記では、画像処理装置１０は、記憶部２０に記憶されているアノテーション付与データを用いて、第１絞り込み処理（Ｓ９０）および第２絞り込み処理（Ｓ９１）を行うとして説明したが、これに限らない。すなわち、画像処理装置１０は、第１絞り込み処理（Ｓ９０）の前に、クラウドソーシングのワーカに、すべての画像に対して、画像中に存在する運動物体であることを示す領域を示すアノテーションを付与させてアノテーション付与データを生成しているとして説明したが、これに限らない。

【0086】

画像処理装置１０は、アノテーションが付与されていない車載カメラにより撮影された時系列に連続するすべての画像を取得し、取得したすべての画像に対して第１絞り込み処理（Ｓ９０）を行ってもよい。この場合、第１絞り込み処理がされた複数の画像（第１絞り込み画像）に対して、クラウドソーシングのワーカに、画像中に存在する運動物体であることを示す領域を示すアノテーションを付与させればよい。すなわち、画像処理装置１０は、第２絞り込み処理（Ｓ９１）の前に、クラウドソーシングのワーカに、第１絞り込み処理（Ｓ９０）において選択された第１絞り込み画像に対して、当該第１絞り込み画像中に存在する運動物体であることを示す領域を示すアノテーションを付与させればよい。

【0087】

［効果等］
以上のように、本実施の形態によれば、当該複数の画像を含む学習用データの品質のばらつきを抑制することができる画像処理方法等を実現できる。

【0088】

ここで、図１３を用いて、本実施の形態の画像処理方法等の効果について説明する。図１３は、実施の形態１の効果の説明図である。図１３の（ａ）に示される複数の画像は、車両に搭載された車載カメラにより前方（走行方向）が撮影された時系列に連続する複数の画像の一例である。図１３の（ｂ）には、図１３の（ａ）に示す複数の画像それぞれに紐づけられているブレーキ強度または加速度が示されている。なお、図２〜図４と同様の要素には同一の符号を付しており、詳細な説明は省略する。

【0089】

図１３の（ａ）および（ｂ）から、当該車載カメラを搭載した車両の運転手が、時刻ｔ２のフレーム１０１ｃで遮蔽物１０１２から人物（運動物体６０）が見え始めて、当該車両をぶつけないように急ブレーキを行い、加速度が変化している様子がわかる。

【0090】

そこで、車両が走行する上で人物などの運動物体が飛び出してきて危険となりそうな領域（危険領域）を車両の運転手に通知するため、当該危険領域をアノテーション（正解情報）として付された画像を用いて学習処理を行わせる必要がある。

【0091】

しかし、にクラウドソーシングのワーカが、車両が走行する上で人物などの運動物体が飛び出してきて衝突しそうな遮蔽物中の危険領域を認識してアノテーションを付す場合、遮蔽物の一部を含む危険領域（例えば大きさや位置などを示す枠）を付すアノテーション作業にワーカの個人差が出やすい。例えば図１３の（ａ）に示される時刻ｔ１のフレーム１０１ｂを見て、車両が走行する上で人物などの運動物体６０が飛び出してきて衝突しそうな危険領域を認識するのは経験や次の時刻の画像との比較をする等の高度な認識を必要とするからである。

【0092】

一方、図１３の（ａ）に示される時刻ｔ２以降の画像（フレーム１０１ｃ〜フレーム１０１ｆ）のように、人物である運動物体６０画像中に出現している場合には、運動物体６０を示す危険領域を付すアノテーション作業にクラウドソーシングのワーカの個人差は出にくい。ワーカは、画像中で見える通りに運動物体６０を示すアノテーションを付すことができるので、高度な認識を必要としないからである。

【0093】

以上から、本実施の形態の画像処理方法では、車載カメラにより撮影された時系列画像において画像内に見える人物などの運動物体を示すアノテーションをクラウドソーシングのワーカに行わせればよい。一方、車両が走行する上で人物などの運動物体６０が飛び出してきそうな危険領域（第２領域）を、画像処理装置１０若しくは画像処理方法を実行するコンピュータ等の機械に行わせればよい。具体的には、車載カメラにより撮影された時系列画像のうち車両の走行経路上において遮蔽物から出現した人物などの運動物体を示す領域（第１領域）が第１アノテーションとして付された画像を含む時系列の複数の画像に絞り込む。そして、当該複数の画像において、時系列上の時刻を遡りながら、第１領域が無い最初の時刻における画像を特定し、特定した当該画像の遮蔽物の一部を含む第２領域を決定して、危険領域（第２領域）を示す第２アノテーションを付与すればよい。

【0094】

以上のようにして、本実施の形態の画像処理方法等は、クラウドソーシングのワーカに、画像中に存在する運動物体であることを示す領域を示すアノテーションを付与させることができる。また、本実施の形態の画像処理方法等は、車載カメラにより撮影された複数の画像に対して、クラウドソーシングのワーカであれば高度な認識を必要とする第２領域を示す第２アノテーションを機械的に付すことができる。それにより、当該複数の画像を含む学習用データの品質のばらつきを抑制することができる。

【0095】

（変形例１）
実施の形態１では、運動物体の例として人物を例に挙げたがこれに限らない。遮蔽物が駐停車中の自動車で、運動物体が駐停車中の自動車のドアであってもよい。この場合、第２領域は、第１領域と同一の大きさでよい。以下、図１４および図１５を用いて具体的に説明する。

【0096】

図１４は、変形例１におけるアノテーション部１１が取得する複数の画像の一例を示す図である。図１５は、変形例１におけるアノテーション部１１が決定する第２領域の一例を示す図である。

【0097】

変形例１におけるアノテーション部１１は、図１４に示すようなフレーム１０３ａ、フレーム１０３ｂ、…、を含む複数の画像であって、駐停車中の自動車である遮蔽物１０３２と、遮蔽物１０３２の近傍かつ走行経路である道路１０３１上に存在する自動車のドアである運動物体６２とが少なくとも一部のフレームに含まれる複数の画像を取得する。

【0098】

また、変形例１におけるアノテーション部１１は、第１領域が無いと判定された最初の第１時刻における画像として、図１５に示す時刻ｔ１におけるフレーム１０３ａを特定する。そして、変形例１におけるアノテーション部１１は、フレーム１０３ａの駐停車中の自動車である遮蔽物１０３２の一部の位置（一部を含む位置）に、ドア（運動物体６２）が隠れていて時刻ｔ１の次の時刻において当該自動車（遮蔽物１０３２）から出現して走行中の車両にとって危険となる危険領域を示す第２領域を決定する。ここで、第２領域は、実施の形態１と同様に、時系列上の時刻ｔ１の次の時刻である時刻ｔ２におけるフレーム１０３ｂの第１領域の大きさと同じ大きさに決定される。

【0099】

また、変形例１におけるアノテーション部１１は、図１５に示す時刻ｔ１におけるフレーム１０３ａに対して、決定された第２領域があることを示す第２アノテーションを付与する。そして、当該アノテーション部１１は、第２アノテーションをさらに付与したを含む複数の画像を、学習用データとして、記憶部３０に出力する。

【0100】

このようにして、本変形例の画像処理方法等は、駐停車中の自動車のドアを示す第２領域を車両が走行する上で衝突する可能性のある危険領域として機械的に決定し、当該第２領域を示す第２アノテーションを機械的に付すことができる。

【0101】

（変形例２）
変形例１では、運動物体の例として自動車のドアを例に挙げたがこれに限らない。運動物体はボールやフリスビーなど子供が遊びに使う物体であってもよい。この場合、第２領域は、第１領域を第１時刻の画像中の高さ方向に拡大した領域と同一の大きさの領域であってもよい。以下、運動物体がボールである場合の例について、図１６および図１７を用いて具体的に説明する。

【0102】

図１６は、変形例２におけるアノテーション部１１が取得する複数の画像の一例を示す図である。図１７は、変形例２におけるアノテーション部１１が決定する第２領域の一例を示す図である。

【0103】

変形例２におけるアノテーション部１１は、図１６に示すようなフレーム１０４ａ、フレーム１０４ｂ、…、フレーム１０４ｎを含む複数の画像であって、遮蔽物１０４２と、遮蔽物１０４２の近傍かつ走行経路である道路１０４１上に存在するボールである運動物体６３とが少なくとも一部のフレームに含まれる複数の画像を取得する。なお、変形例２におけるアノテーション部１１が取得する複数の画像には、子供である運動物体６４をさらに含むフレーム１０４ｎを含んでいてもよいし、含まなくてもよい。

【0104】

また、変形例２におけるアノテーション部１１は、第１領域が無いと判定された最初の第１時刻における画像として、図１７に示す時刻ｔ１におけるフレーム１０４ａを特定する。そして、変形例２におけるアノテーション部１１は、フレーム１０４ａの遮蔽物１０４２の一部の位置（一部を含む位置）に、ボール（運動物体６３）が隠れていて時刻ｔ１の次の時刻において遮蔽物１０４２から出現することからその後に子供が出現するので走行中の車両にとって危険となる危険領域を示す第２領域を決定する。ここで、第２領域は、実施の形態１と異なり、ボールである運動物体６３の近傍に存在する子供である運動物体６４の大きさとなるように決定される。すなわち、第２領域は、時系列上の時刻ｔ１の次の時刻である時刻ｔ２におけるフレーム１０４ｂの第１領域の大きさと比較して、時刻ｔ１のフレーム１０３ａの高さ方向に拡大した領域と同一の大きさの領域となるように決定される。また、高さ方向の拡大率は、ボールである運動物体６３の軌跡の高さから決定される。

【0105】

また、変形例２におけるアノテーション部１１は、図１７に示す時刻ｔ１におけるフレーム１０４ａに対して、決定された第２領域があることを示す第２アノテーションを付与する。そして、当該アノテーション部１１は、第２アノテーションを付与した画像を含む複数の画像を、学習用データとして、記憶部３０に出力する。

【0106】

このようにして、本変形例の画像処理方法等は、子供が遊びに使う物体を示す第２領域を車両が走行する上で子供と衝突する可能性のある危険領域として機械的に決定し、当該第２領域を示す第２アノテーションを機械的に付すことができる。

【0107】

（変形例３）
実施の形態１では、車載カメラが前方カメラであるとして説明したが、これに限らない。車載カメラが前方に走行する車両の左または右方向を撮影するサイドカメラであってもよい。

【0108】

ここで、車載カメラが前方カメラであり、かつ、人の飛び出し等、車両の前方に運動物体が出現する場合、この車載カメラにより撮影された時系列画像では、当該運動物体は、画像の中央方向に向かって移動するように見える。一方、静止している物体は、この車載カメラにより撮影された時系列画像では、画像の中央から外に向かって移動するように見える。

【0109】

それに対して、変形例３における車載カメラが左カメラであり、かつ、車両の左側に運動物体が出現すると、この車載カメラにより撮影された時系列画像では、当該運動物体は、画像の右に向かって移動するように見える。一方、静止している物体は、この車載カメラにより撮影された時系列画像では、画像の右側から左に向かって移動するように見える。

【0110】

以上から、車載カメラが左カメラなどのサイドカメラである場合、車両と並走し、かつ、追いつく若しくは追い抜く自転車に乗った人物を運動物体と扱うことにより、実施の形態１で説明したように、高度な認識を必要とする第２領域を示す第２アノテーションを機械的に付すことができる。

【0111】

以下、運動物体が車両と並走し、追いつく若しくは追い抜く自転車に乗った人物であるとして、変形例３におけるアノテーション部１１の動作について図１８および図１９を用いて説明する。

【0112】

図１８は、変形例３におけるアノテーション部１１が取得する複数の画像の一例を示す図である。図１９は、変形例３におけるアノテーション部１１が決定する第２領域の一例を示す図である。

【0113】

変形例３におけるアノテーション部１１は、図１８に示すようなフレーム１０５ａ、フレーム１０５ｂ、フレーム１０５ｃ、…、フレーム１０５ｎを含む複数の画像であって、遮蔽物１０５２と、遮蔽物１０５２の近傍かつ走行経路である道路１０５１上に存在する自転車に乗った人物である運動物体６５とが少なくとも一部のフレームに含まれる複数の画像を取得する。なお、変形例３におけるアノテーション部１１が取得する複数の画像には、遮蔽物１０５２を含まないフレーム１０５ａを含んでいてもよいし、含まなくてもよい。

【0114】

また、変形例３におけるアノテーション部１１は、第１領域が無いと判定された最初の第１時刻における画像として、図１９に示す時刻ｔ１におけるフレーム１０５ｂを特定する。そして、変形例３におけるアノテーション部１１は、フレーム１０５ｂの遮蔽物１０５２の一部の位置（一部を含む位置）に、自転車に乗った人物である運動物体６５が隠れていて時刻ｔ１の次の時刻において遮蔽物１０５２から出現するので走行中の車両にとって巻き込む可能性がある危険領域を示す第２領域を決定する。ここで、第２領域は、実施の形態１と同様に、時系列上の時刻ｔ１の次の時刻である時刻ｔ２におけるフレーム１０３ｂの第１領域の大きさと同じ大きさに決定される。

【0115】

また、変形例３におけるアノテーション部１１は、図１９に示す時刻ｔ１におけるフレーム１０５ｂに対して、決定された第２領域があることを示す第２アノテーションを付与する。そして、当該アノテーション部１１は、第２アノテーションを付与した画像を含む複数の画像を、学習用データとして、記憶部３０に出力する。

【0116】

このように、本変形例３によれば、車載カメラがサイドカメラであってもよく、サイドカメラである車載カメラにより撮影された複数の画像に対しても、高度な認識を必要とする第２領域を示す第２アノテーションを機械的に付すことができる。

【0117】

（変形例４）
上記の実施の形態１および変形例１〜変形例３では、アノテーション部１１が第２領域を決定し、決定した第２領域を示す第２アノテーションを付すことについて説明したが、これに限らない。アノテーション部１１は、走行中の車両にとっての危険領域である第２領域を決定することに加えて、第２領域の危険度をさらに決定してもよい。この場合、アノテーション部１１は、走行中の車両にとっての危険領域である第２領域を示すことに加えてその危険度を示す第２アノテーションを付与すればよい。以下、第２領域の危険度の決定方法等について具体的に説明する。

【0118】

＜第１例：危険度の決定方法＞
図２０は、変形例４の第１例におけるアノテーション部１１が取得処理で取得する複数の画像の一例を示す図である。図２１は、変形例４の第１例におけるアノテーション部１１が付与する第２アノテーションの一例を示す図である。

【0119】

変形例４の第１例におけるアノテーション部１１は、図２０に示すようなフレーム１０６ａ、フレーム１０６ｂ、…、を含む複数の画像を取得する。図２０に示す複数の画像には、遮蔽物１０６２および遮蔽物１０６３と、遮蔽物１０６２の近傍かつ走行経路である道路１０６１上に存在する人物である運動物体６６と、遮蔽物１０６３の近傍かつ走行経路である道路１０６１上に存在する人物である運動物体６７とが少なくとも一部のフレームに含まれる。

【0120】

また、変形例４の第１例におけるアノテーション部１１は、第１領域が無いと判定された最初の第１時刻における画像として、図２１に示す時刻ｔ１におけるフレーム１０６ａを特定する。次に、当該アノテーション部１１は、フレーム１０６ａの遮蔽物１０６２および遮蔽物１０６２の一部の位置（一部を含む位置）に、運動物体６６および運動物体６７が隠れていて時刻ｔ１の次の時刻において遮蔽物１０６２および遮蔽物１０６２から出現するため走行中の車両が衝突する危険性のある危険領域を示す第２領域を決定する。ここで、第２領域は、実施の形態１と同様に、時系列上の時刻ｔ１の次の時刻である時刻ｔ２におけるフレーム１０６ｂの対応する第１領域の大きさと同じ大きさに決定される。さらに、当該アノテーション部１１は、決定した第２領域の大きさに応じて危険度を決定する。図２１に示す例では、運動物体６６を示す第１領域の方が運動物体６７を示す第１領域よりも大きい。そのため、当該アノテーション部１１は、運動物体６６を示す第１領域に対応する第２領域の方が、運動物体６７を示す第１領域に対応する第２領域よりも高い危険度を決定する。例えば人物の真の大きさはおおよそ同じとして取り扱えるため、画像中で人物の大きさが大きい場合には、走行中の車両に近くに存在し、より危険であると考えることができるからである。

【0121】

また、当該アノテーション部１１は、図２１に示す時刻ｔ１におけるフレーム１０６ａに対して、上記のように決定された第２領域と当該第２領域の危険度とを示す第２アノテーションを付与する。つまり、変形例４の第１例では、アノテーション部１１は、付与した第２領域を示す第２アノテーションに、さらに、第２領域の大きさが大きいほど高い値を示す危険度を含める。

【0122】

なお、危険度の値は、第２領域の最大面積（枠の面積）の比率や、第２領域に対応する第１領域に示される人物等の運動物体の大きさの比率により決定することができる。

【0123】

＜第２例：危険度の決定方法＞
図２２は、変形例４の第２例におけるアノテーション部１１が取得する複数の画像の一例を示す図である。図２３は、変形例４の第２例におけるアノテーション部１１が付与する第２アノテーションの一例を示す図である。

【0124】

変形例４の第２例におけるアノテーション部１１は、図２２に示すようなフレーム１０７ａ、フレーム１０７ｂ、…、を含む複数の画像を取得する。図２２に示す複数の画像には、遮蔽物１０７２と、遮蔽物１０７２の近傍かつ走行経路である道路１０７１上に存在する子供である運動物体６８とが少なくとも一部のフレームに含まれる。

【0125】

また、変形例４の第２例におけるアノテーション部１１は、第１領域が無いと判定された最初の第１時刻における画像として、図２３に示す時刻ｔ１におけるフレーム１０７ａを特定する。次に、当該アノテーション部１１は、フレーム１０７ａの遮蔽物１０７２の一部の位置（一部を含む位置）に、運動物体６６および運動物体６７が隠れていて時刻ｔ１の次の時刻において遮蔽物１０７２から出現するため走行中の車両にとって危険となる危険領域を示す第２領域を決定する。ここで、第２領域は、実施の形態１と同様に、時系列上の時刻ｔ１の次の時刻である時刻ｔ２におけるフレーム１０７ｂの対応する第１領域の大きさと同じ大きさに決定される。さらに、当該アノテーション部１１は、第２領域の危険度を、当該第２領域に対応する第１領域が示す運動物体の属性に応じて決定する。図２３に示す例では、第１領域の運動物体が子供であるため危険度を高く決定する。運動物体の属性が子供であれば、走行中の車両に飛び出し易くより危険であると考えることができるからである。なお、運動物体の属性が、子供および高齢者、成人、他の自動車、ボール等の物体である場合、左側である程に危険度が高い（子供および高齢者＞成人＞他の自動車＞ボール等の物体）であるとすればよい。

【0126】

当該アノテーション部１１は、図２３に示す時刻ｔ１におけるフレーム１０７ａに対して、上記のように決定された第２領域と当該第２領域の危険度とを示す第２アノテーションを付与する。つまり、変形例４の第２例では、アノテーション部１１は、付与した第２アノテーションに、さらに、第２領域に対応する第１領域の運動物体の属性に応じた危険度を含める。

【0127】

＜第３例：危険度の決定方法＞
なお、危険度の決定方法は、上記のようにアノテーション部１１が取得する複数の画像に基づく場合に限らない。当該複数の画像に紐付けられている車両のブレーキ強度または加速度を示す情報に基づいて、危険度を決定するとしてもよい。

【0128】

図２４は、変形例４の第３例におけるアノテーション部１１が付与する危険度の決定方法の説明図である。なお、図７と同様の要素には同一の符号を付しており、詳細な説明は省略する。

【0129】

変形例４の第３例におけるアノテーション部１１は、第１領域が無いと判定された最初の第１時刻（時刻ｔ１）における画像を特定する。そして、特定した時刻ｔ１における画像の遮蔽物の一部の位置（一部を含む位置）に、運動物体が隠れていて時刻ｔ１の次の時刻において遮蔽物から出現するため走行中の車両にとって危険となる危険領域を示す第２領域を決定する。ここで、当該アノテーション部１１は、第２領域の危険度を、複数の画像に紐付けられている車両のブレーキ強度または加速度が閾値より大きい時点におけるブレーキ強度または加速度の大きさに応じて決定する。つまり、当該アノテーション部１１は、図２４に示すように、特定した時刻ｔ１（特定した画像と同じタイミング）におけるブレーキ強度に応じた危険度ではなく、実際に危険が発生し、ブレーキ強度が最大のＲａ（図で時刻ｔｐにおけるブレーキ強度Ｒａ）に応じた危険度を決定する。なお、図２４では、ブレーキ強度が縦軸である場合に例を示しているが、これに限らず、ハンドル回避量や車両の加速度であってもよい。

【0130】

以上のように、本変形例の画像処理方法等によれば、車両が走行する上で危険な危険領域である第２領域を示す第２アノテーションに、さらに当該第２領域の危険度を含めることができる。

【0131】

（実施の形態２）
実施の形態１では、車載カメラにより撮影された時系列画像において画像内に見える人物などの運動物体を示すアノテーションをクラウドソーシングのワーカに行わせるとして説明した。しかし、ワーカの作業品質は一定ではないので、車載カメラにより撮影された時系列画像のうち一部の画像において、人物などの運動物体が画像内に見えていても当該運動物体があることを示す第１領域を示すアノテーションが付されていない場合も考えられる。

【0132】

以下、この場合について実施の形態２として実施の形態１と異なるところを中心に説明する。

【0133】

［画像処理装置１０Ａの構成］
実施の形態２に係る画像処理装置１０Ａは、実施の形態１に係る画像処理装置１０と比較して、アノテーション部１１Ａの判定部１１２Ａの構成が異なる。それ以外の構成は、実施の形態１に係る画像処理装置１０と同様のため説明は省略する。

【0134】

［判定部１１２Ａ］
図２５は、実施の形態２における判定部１１２の詳細構成の一例を示す図である。

【0135】

判定部１１２Ａは、取得部１１１が取得した複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、第１アノテーションの有無に基づいて当該画像における第１領域の有無を判定する。

【0136】

本実施の形態では、判定部１１２Ａは、取得部１１１が取得した複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、第１アノテーションが付与されていない最初の画像を判定する。判定部１１２Ａは、判定した最初の画像の第３時刻の時系列上の次の時刻における画像中の第１領域を、第３時刻の画像から時刻を時系列順に遡りながら、当該第１領域から前記遮蔽物に向かう方向にずらした当該画像それぞれの中の位置に第１領域が存在するかを画像処理により判定する。

【0137】

［画像処理装置１０Ａの動作］
次に、以上のように構成された画像処理装置１０Ａの動作について、図２６〜図２９を用いて説明する。

【0138】

図２６は、実施の形態２における画像処理装置１０Ａの判定部１１２Ａの動作を示すフローチャートである。図２７は、実施の形態２における取得部１１１が取得する複数の画像の一例を示す図である。図２８は、図２７に示す複数の画像に対して実施の形態２における判定部１１２Ａが行う画像処理の説明図である。なお、図２〜図４と同様の要素には同一の符号を付しており、詳細な説明は省略する。

【0139】

まず、画像処理装置１０Ａの取得部１１１は、記憶部２０から、アノテーション付与データである複数の画像を取得する。本実施の形態では、取得部１１１が取得する複数の画像は、一部の画像において人物である運動物体６０が画像内に見えていても当該運動物体６０があることを示す第１領域（第１アノテーション）が付されていない。図２７に示す例では、一部の画像（フレーム１０１ｃ、フレーム１０１ｄ、フレーム１０１ｅ）において人物である運動物体６０が画像（フレーム）内に見えていても第１領域が付されていない。

【0140】

次に、図２６に示すように、判定部１１２Ａは、取得部１１１が取得した複数の画像において、時系列上の最後の時刻の画像から時刻を順に遡りながら、第１アノテーションが付与されていない最初の画像を判定する第１判定処理を行う（Ｓ２０２１）。例えば、判定部１１２Ａは、図２７に示す複数の画像（フレーム１０１ａ〜フレーム１０１ｆ）において、時系列上の最後の時刻の画像であるフレーム１０１ｆから時刻を順に遡りながら、第１アノテーションすなわち第１領域が付与されていない最初の画像であるフレーム１０１ｅを判定する。

【0141】

次に、判定部１１２Ａは、判定した最初の画像の第３時刻の時系列上の次の時刻における画像中の第１領域を、第３時刻の画像から時刻を時系列順に遡りながら、当該第１領域から前記遮蔽物に向かう方向にずらした当該画像それぞれの中の位置に第１領域が存在するかを画像処理により判定する第２判定処理を行う（Ｓ１０２２）。例えば、図２８に示すように、判定部１１２Ａは、フレーム１０１ｅの第３時刻である時刻ｔ３の時系列上の次の時刻ｔ４におけるフレーム１０１ｆ中の第１領域を、時刻ｔ３のフレーム１０１ｅから時刻を時系列順に遡りながら、当該第１領域から遮蔽物１０１２に向かう方向にずらした当該画像（フレーム１０１ｅ〜フレーム１０１ａ）それぞれの中の位置に第１領域が存在するかを画像処理により判定する。図２８に示す例では、判定部１１２Ａは、フレーム１０１ｃ〜フレーム１０１ｅにおいて画像処理により第１領域が存在すると判定している。

【0142】

このようにして、判定部１１２Ａは、取得部１１１が取得した複数の画像のうち、第１アノテーションの無い画像に対して、さらに、画像処理により、遮蔽物の近傍かつ車両の走行経路中に存在する運動物体であることを示す第１領域の有無を判定する。

【0143】

［効果等］
以上のように、本実施の形態によれば、車載カメラにより撮影された複数の画像の一部の画像において、高度な認識を必要としない第１領域を示す第１アノテーションが付されていない場合でも、複数の画像（映像）を巻き戻しながら第１領域を追跡することで、当該第１領域の有無を画像認識で機械的に判定することができる。つまり、一部の画像に付されているべき第１領域を示す第１アノテーションが付されていない場合でも、画像処理により当該一部の画像に第１領域が有るか否か判定することができる。これにより、車載カメラにより撮影された複数の画像に対して、高度な認識を必要とする第２領域を示す第２アノテーションを機械的に付すことができるので、当該複数の画像を含む学習用データの品質のばらつきを抑制することができる画像処理方法等を実現できる。

【0144】

（実施の形態３）
実施の形態１では、車載カメラにより撮影された時系列画像において画像内に見える人物などの運動物体を示すアノテーションをクラウドソーシングのワーカに行わせるとして説明したが、これに限らない。当該時系列画像に対して運動物体を示す領域および当該領域を示すアノテーションをワーカではなく、画像処理装置が付すとしてもよい。

【0145】

以下、この場合について実施の形態３として実施の形態１と異なるところを中心に説明する。

【0146】

［画像処理装置１０Ｂの構成］
図２９は、実施の形態３における画像処理装置１０Ｂの機能構成の一例を示す図である。なお、図１等と同様の要素には同一の符号を付しており、詳細な説明は省略する。

【0147】

図２９に示す画像処理装置１０Ｂは、実施の形態１に係る画像処理装置１０と比較して、アノテーション付与部１４Ｂおよび記憶部２０Ｂとが追加されている点で構成が異なる。それ以外の構成は、実施の形態１に係る画像処理装置１０と同様のため説明は省略する。

【0148】

記憶部４０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やメモリ等で構成されている。記憶部４０は、車載カメラにより撮影された映像データ（時系列画像）を記憶している。

【0149】

アノテーション付与部１４Ｂは、記憶部４０に記憶されている車載カメラにより撮影された映像データ（時系列画像）を取得する。アノテーション付与部１４Ｂは、取得した映像データ（時系列画像）に対して、画像処理を行うことにより画像内に見えている人物などの運動物体があることを示す領域およびその領域を示すアノテーションを付す。アノテーション付与部１４Ｂは、アノテーションを付した映像データ（時系列画像）をアノテーション付与データとして記憶部２０Ｂに出力する。

【0150】

記憶部２０Ｂは、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やメモリ等で構成されている。記憶部４０は、アノテーション付与部１４Ｂによりアノテーションが付されたデータ（アノテーション付与データ）を記憶する。

【0151】

［効果等］
以上のように、本実施の形態によれば、車載カメラにより撮影された映像データ（時系列画像）において、高度な認識を必要としない領域およびその領域を示すアノテーションを、クラウドソーシングのワーカではなく、機械的に（画像処理装置１０Ｂが）付すことができる。そして、車載カメラにより撮影された複数の画像に対して、さらに、高度な認識を必要とする第２領域を示す第２アノテーションを機械的に付すことができる。

【0152】

このようにして、本実施の形態の画像処理方法等によれば、当該複数の画像を含む学習用データの品質のばらつきを抑制することができる画像処理方法等を実現できる。

【0153】

以上、本発明の一つまたは複数の態様に係る画像処理方法等について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。例えば、以下のような場合も本発明に含まれる。

【0154】

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

【0155】

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

【0156】

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

【0157】

（４）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

【0158】

（５）また、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

【0159】

（６）また、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

【0160】

（７）また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

【0161】

（８）また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

【産業上の利用可能性】

【0162】

本発明は、画像処理方法、画像処理装置およびそのプログラムに利用できる。特に、車両が走行する上で人等が飛び出してきて危険となるような危険領域を機械学習させる際に用いられる学習用データを、品質にばらつきがなく作成するための画像処理方法、画像処理装置およびそのプログラムに利用可能である。

【符号の説明】

【0163】

１０、１０Ａ 画像処理装置
１１、１１Ａ アノテーション部
１２ 絞り込み部
１３、２０、２０Ｂ、３０、４０ 記憶部
６０、６１、６２、６３、６４、６５、６６、６７、６８ 運動物体
１０１、１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ、１０１ｅ、１０１ｆ、１０２、１０２ａ、１０２ｂ、１０３ａ、１０３ｂ、１０４ａ、１０４ｂ、１０４ｎ、１０５ａ、１０５ｂ、１０５ｃ、１０５ｎ、１０６ａ、１０６ｂ、１０７ａ、１０７ｂ フレーム
１１１ 取得部
１１２、１１２Ａ 判定部
１１３ 決定部
１２１ 第１絞り込み部
１２２ 第２絞り込み部
１０１１、１０２０、１０２１、１０３１、１０４１、１０５１、１０６１、１０７１ 道路
１０１２、１０２２、１０３２、１０４２、１０５２、１０６２、１０６３、１０７２ 遮蔽物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】