特開 2024-165470 アノテーション検証方法、アノテーション検証装置、アノテーション検証プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024165470

(43)【公開日】2024-11-28

(54)【発明の名称】アノテーション検証方法、アノテーション検証装置、アノテーション検証プログラム

(51)【国際特許分類】

   G06V 10/72 20220101AFI20241121BHJP

   G06T 7/00 20170101ALI20241121BHJP

   G06N 20/00 20190101ALI20241121BHJP

【ＦＩ】

G06V10/72

G06T7/00 350B

G06N20/00 130

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023081699

(22)【出願日】2023-05-17

(71)【出願人】

【識別番号】521042770

【氏名又は名称】ウーブン・バイ・トヨタ株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】ディーラッジ コタギリー

(72)【発明者】

【氏名】フロリン バイドュク

(72)【発明者】

【氏名】エッセキエル カステヤーノ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096CA24

5L096FA32

5L096FA69

5L096GA51

(57)【要約】

【課題】画像シーケンスに含まれる各画像に対するアノテーションの作業結果を容易かつ適切に検証することが可能なアノテーション検証方法を提供する。
【解決手段】本開示に係るアノテーション検証方法は、コンピュータにより実行され、画像シーケンスに含まれる第１の画像シーケンスに対する第１の作業結果を取得することと、第１の作業結果から第１の画像シーケンスに含まれる各画像における対象物体領域の位置に関する第１参照情報を取得することと、第１参照情報を含む参照情報に基づいて、対象画像における対象物体領域の予測位置を算出することと、対象画像に対する作業結果から対象画像における対象物体領域の実指定位置を取得することと、対象画像における予測位置の対象物体領域と実指定位置の対象物体領域とを比較することにより対象画像に対する作業結果を検証することと、を含んでいる。
【選択図】図３

【特許請求の範囲】

【請求項1】

画像シーケンスに対するアノテーションの作業結果を検証するアノテーション検証方法であって、
前記アノテーションは、前記画像シーケンスに含まれる各画像について対象物体を囲む対象物体領域をアノテータが指定する作業であり、
前記アノテーション検証方法は、コンピュータにより実行され、
前記画像シーケンスに含まれる第１の画像シーケンスに対する検証済みの前記作業結果である第１の作業結果を取得することと、
前記第１の作業結果から前記第１の画像シーケンスに含まれる各画像における前記対象物体領域の位置に関する第１参照情報を取得することと、
前記第１参照情報を含む参照情報に基づいて、前記第１の画像シーケンスに隣接する画像である対象画像における前記対象物体領域の予測位置を算出することと、
前記対象画像に対する前記作業結果から前記対象画像において実際に指定された前記対象物体領域の位置である実指定位置を取得することと、
前記対象画像における前記予測位置の前記対象物体領域と前記実指定位置の前記対象物体領域とを比較することにより前記対象画像に対する前記作業結果を検証することと、
を含む
アノテーション検証方法。

【請求項2】

請求項１に記載のアノテーション検証方法であって、
前記対象画像に対する前記作業結果を検証することは、
前記予測位置の前記対象物体領域と前記実指定位置の前記対象物体領域の重なりの程度を算出することと、
前記重なりの程度が所定のしきい値より小さいとき、前記対象画像に対する前記作業結果に異常があると判定することと、
を含む
アノテーション検証方法。

【請求項3】

請求項１に記載のアノテーション検証方法であって、
前記対象物体の分類に関する第２参照情報を取得することをさらに含み、
前記参照情報は、前記第２参照情報をさらに含む
アノテーション検証方法。

【請求項4】

請求項１に記載のアノテーション検証方法であって、
前記画像シーケンスは、所定のカメラによって撮像されており、
前記アノテーション検証方法は、前記第１の画像シーケンスに含まれる各画像における前記カメラから前記対象物体までの距離に関する第３参照情報を取得することをさらに含み、
前記参照情報は、前記第３参照情報をさらに含む
アノテーション検証方法。

【請求項5】

請求項１に記載のアノテーション検証方法であって、
前記画像シーケンスは、移動体に搭載されたカメラによって撮像されており、
前記アノテーション検証方法は、前記第１の画像シーケンスに含まれる各画像が撮像されたときの前記移動体の速度に関する第４参照情報を取得することをさらに含み、
前記参照情報は、前記第４参照情報をさらに含む
アノテーション検証方法。

【請求項6】

請求項１乃至請求項５のいずれか１項に記載のアノテーション検証方法であって、
前記アノテーションは、複数のアノテータによって行われており、
前記第１参照情報を取得することは、
前記複数のアノテータの各々の前記アノテーションに対する信頼度を取得することと、
前記信頼度を重みとして、前記第１の画像シーケンスに含まれる各画像について、前記複数のアノテータそれぞれが指定した前記対象物体領域の位置の加重平均位置を算出することと、
を含み、
前記第１参照情報は、前記第１の画像シーケンスに含まれる各画像における前記加重平均位置である
アノテーション検証方法。

【請求項7】

請求項６に記載のアノテーション検証方法であって、
前記対象画像に対する前記作業結果の検証の結果に基づいて、前記信頼度を更新することをさらに含む
アノテーション検証方法。

【請求項8】

請求項７に記載のアノテーション検証方法であって、
前記信頼度を更新することは、
前記アノテーションの困難度を取得することと、
前記困難度に応じて更新時の前記信頼度の変化量を調整することと、
を含む
アノテーション検証方法。

【請求項9】

画像シーケンスに対するアノテーションの作業結果を検証するアノテーション検証装置であって、
１又は複数のプロセッサを備え、
前記アノテーションは、前記画像シーケンスに含まれる各画像について対象物体を囲む対象物体領域をアノテータが指定する作業であり、
前記１又は複数のプロセッサは、
前記画像シーケンスに含まれる第１の画像シーケンスに対する検証済みの前記作業結果である第１の作業結果を取得する処理と、
前記第１の作業結果から前記第１の画像シーケンスに含まれる各画像における前記対象物体領域の位置に関する第１参照情報を取得する処理と、
前記第１参照情報を含む参照情報に基づいて、前記第１の画像シーケンスに隣接する画像である対象画像における前記対象物体領域の予測位置を算出する処理と、
前記対象画像に対する前記作業結果から前記対象画像において実際に指定された前記対象物体領域の位置である実指定位置を取得する処理と、
前記対象画像における前記予測位置の前記対象物体領域と前記実指定位置の前記対象物体領域とを比較することにより前記対象画像に対する前記作業結果を検証する処理と、
を実行するように構成されている
アノテーション検証装置。

【請求項10】

画像シーケンスに対するアノテーションの作業結果を検証する処理をコンピュータに実行させるアノテーション検証プログラムであって、
前記アノテーションは、前記画像シーケンスに含まれる各画像について対象物体を囲む対象物体領域をアノテータが指定する作業であり、
前記アノテーション検証プログラムは、
前記画像シーケンスに含まれる第１の画像シーケンスに対する検証済みの前記作業結果である第１の作業結果を取得する処理と、
前記第１の作業結果から前記第１の画像シーケンスに含まれる各画像における前記対象物体領域の位置に関する第１参照情報を取得する処理と、
前記第１参照情報を含む参照情報に基づいて、前記第１の画像シーケンスに隣接する画像である対象画像における前記対象物体領域の予測位置を算出する処理と、
前記対象画像に対する前記作業結果から前記対象画像において実際に指定された前記対象物体領域の位置である実指定位置を取得する処理と、
前記対象画像における前記予測位置の前記対象物体領域と前記実指定位置の前記対象物体領域とを比較することにより前記対象画像に対する前記作業結果を検証する処理と、
を前記コンピュータに実行させるように構成されている
ことを特徴とするアノテーション検証プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像シーケンスに対するアノテーションの作業結果を検証する技術に関する。

【背景技術】

【0002】

画像を入力として物体検出等を行う機械学習モデルは、アノテーションが行われた画像を教師データとして学習が行われる。このような機械学習モデルの性能は、教師データのアノテーションの品質に大きく依存することが知られている。このため、教師データのアノテーションの品質を確保するための技術が考えられている。

【0003】

例えば、特許文献１には、所望のアノテーションが行われていない画像を含むデータセットを用いて物体検出の学習を行った場合において、物体検出精度の低下を抑えることを目的とする技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２２－０４３３６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

アノテーションの品質は、アノテータの作業に左右される。アノテータの作業ミスによって、あるいは悪意のあるアノテータの作業によって、アノテーションの作業結果は、異常なアノテーションを含む可能性がある。

【0006】

特に画像シーケンスに対するアノテーションにおいては、一部の画像に異常なアノテーションが行われることは、アノテーションの品質を大きく低下させる要因となる。しかしながら、一般に画像シーケンスは多くの画像で構成されており、１つ１つの画像シーケンスに含まれる各画像に対する作業結果を人手で検証することは多大な労力を要することとなる。

【0007】

本開示の１つの目的は、画像シーケンスに対するアノテーションに関して、画像シーケンスに含まれる各画像に対する作業結果を容易かつ適切に検証することが可能な技術を提供することにある。

【課題を解決するための手段】

【0008】

本開示の第１の観点は、画像シーケンスに対するアノテーションの作業結果を検証するアノテーション検証方法に関する。ここでアノテーションは、画像シーケンスに含まれる各画像について対象物体を囲む対象物体領域をアノテータが指定する作業である。

【0009】

第１の観点に係るアノテーション検証方法は、コンピュータにより実行され、画像シーケンスに含まれる第１の画像シーケンスに対する検証済みの作業結果である第１の作業結果を取得することと、第１の作業結果から第１の画像シーケンスに含まれる各画像における対象物体領域の位置に関する第１参照情報を取得することと、第１参照情報を含む参照情報に基づいて、第１の画像シーケンスに隣接する画像である対象画像における対象物体領域の予測位置を算出することと、対象画像に対する作業結果から対象画像において実際に指定された対象物体領域の位置である実指定位置を取得することと、対象画像における予測位置の対象物体領域と実指定位置の対象物体領域とを比較することにより対象画像に対する作業結果を検証することと、を含む。

【0010】

本開示の第２の観点は、画像シーケンスに対するアノテーションの作業結果を検証するアノテーション検証装置に関する。ここでアノテーションは、画像シーケンスに含まれる各画像について対象物体を囲む対象物体領域をアノテータが指定する作業である。

【0011】

第２の観点に係るアノテーション検証装置は、画像シーケンスに含まれる第１の画像シーケンスに対する検証済みの作業結果である第１の作業結果を取得する処理と、第１の作業結果から第１の画像シーケンスに含まれる各画像における対象物体領域の位置に関する第１参照情報を取得する処理と、第１参照情報を含む参照情報に基づいて、第１の画像シーケンスに隣接する画像である対象画像における対象物体領域の予測位置を算出する処理と、対象画像に対する作業結果から対象画像において実際に指定された対象物体領域の位置である実指定位置を取得する処理と、対象画像における予測位置の対象物体領域と実指定位置の対象物体領域とを比較することにより対象画像に対する作業結果を検証する処理と、を実行するように構成された１又は複数のプロセッサを備える。

【0012】

本開示の第３の観点は、画像シーケンスに対するアノテーションの作業結果を検証する処理をコンピュータに実行させるアノテーション検証プログラムに関する。ここでアノテーションは、画像シーケンスに含まれる各画像について対象物体を囲む対象物体領域をアノテータが指定する作業である。

【0013】

第３の観点に係るアノテーション検証プログラムは、画像シーケンスに含まれる第１の画像シーケンスに対する検証済みの作業結果である第１の作業結果を取得する処理と、第１の作業結果から第１の画像シーケンスに含まれる各画像における対象物体領域の位置に関する第１参照情報を取得する処理と、第１参照情報を含む参照情報に基づいて、第１の画像シーケンスに隣接する画像である対象画像における対象物体領域の予測位置を算出する処理と、対象画像に対する作業結果から対象画像において実際に指定された対象物体領域の位置である実指定位置を取得する処理と、対象画像における予測位置の対象物体領域と実指定位置の対象物体領域とを比較することにより対象画像に対する作業結果を検証する処理と、をコンピュータに実行させるように構成されている。

【発明の効果】

【0014】

本開示によれば、第１の画像シーケンスに含まれる各画像における対象物体領域の位置に関する第１参照情報が取得される。また第１参照情報を含む参照情報に基づいて、第１の画像シーケンスに隣接する対象画像における対象物体領域の予測位置が算出される。そして、対象画像における予測位置の対象物体領域と実指定位置の対象物体領域とを比較することにより対象画像に対する作業結果が検証される。これにより、画像シーケンスに含まれる各画像に対する作業結果を容易かつ適切に検証することができる。

【図面の簡単な説明】

【0015】

【図1】画像シーケンスに対するアノテーションの作業結果について説明するための概念図である。

【図2】異常なアノテーションを含む作業結果の一例を示す概念図である。

【図3】本実施形態に係るアノテーション検証方法の概要について説明するための概念図である。

【図4】本実施形態に係るアノテーション検証方法において算出される予測位置の一例を示す概念図である。

【図5】機械学習モデルにより構成された回帰モデルの一例を示す図である。

【図6】対象物体が異なる２つの画像シーケンスの一例を示す概念図である。

【図7】カメラから対象物体までの距離が異なる２つの画像シーケンスの一例を示す概念図である。

【図8】画像シーケンスが移動体に搭載されたカメラによって撮像されている場合において移動体の速度が異なる２つの画像シーケンスの一例を示す概念図である。

【図9】本実施形態に係るアノテーション検証方法において、対象画像に対する作業結果に異常がないとする場合と異常があるとする場合の一例を示す概念図である。

【図10】本実施形態に係るアノテーション検証装置の構成の一例を示す図である。

【図11】本実施形態に係るアノテーション検証装置が実行する処理の一例を示すフローチャートである。

【図12】第２実施形態に係るアノテーション検証方法の概要について説明するための概念図である。

【図13】第２実施形態に係るアノテーション検証装置の構成の一例を示す図である。

【図14】第２実施形態に係るアノテーション検証装置が実行する処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0016】

以下、図面を参照して実施形態について説明する。

【0017】

１．第１実施形態
１－１．概要
本実施形態に係るアノテーション検証方法は、画像シーケンスに対するアノテーションの作業結果を検証するために実施される。図１は、画像シーケンス１０に対するアノテーションの作業結果２０について説明するための概念図である。

【0018】

画像シーケンス１０は、所定の順序を有する一連の画像で構成される。画像シーケンス１０は、典型的には、カメラによって連続的に撮像されたビデオデータである。この場合、画像シーケンス１０に含まれる各画像は、ビデオデータのフレームである。またこの場合、画像シーケンス１０に含まれる各画像は、撮像された時刻に応じた順序を有する。以下の説明では、画像シーケンス１０に含まれる画像の数をＮとし、画像シーケンス１０に含まれる各画像の順序を、＃１，＃２，＃３，・・・，＃Ｎの番号で表す。

【0019】

画像シーケンス１０は、監視カメラやライブカメラ等の所定位置に固定されたカメラによって撮像されている場合もあれば、車載カメラ等の移動体（車両、ドローン、等）に搭載されたカメラ（以下、「搭載カメラ」と呼ぶ。）によって撮像されている場合もある。

【0020】

画像シーケンス１０は、各画像に関する付加情報を表すデータ（以下、「付加データ」と呼ぶ。）をさらに含んでいても良い。付加データとして、各画像の深度情報、各画像の撮像時刻の情報、各画像の撮像地点の情報、等が例示される。

【0021】

画像シーケンス１０に対するアノテーションは、画像シーケンス１０に含まれる各画像について対象物体を囲む領域（以下、「対象物体領域」と呼ぶ。）をアノテータ１が指定する作業である。ただし本実施形態において、アノテータ１は、人間でなくても良い。例えば、画像シーケンス１０に対するアノテーションは、機械的に行われていても良い。

【0022】

図１では、アノテーションの作業結果２０として、画像に映る車両を囲むバウンディングボックス２１が示されている。つまり図１では、対象物体は、車両であり、対象物体領域は、バウンディングボックス２１である。

【0023】

対象物体は、通常、画像シーケンス１０の内容やアノテーションの目的等に応じて適宜決定される。例えば、人物検出を行う機械学習モデルのための教師データを作成する目的でアノテーションが実施される場合、対象物体は、人物であることが想定される。また本実施形態において、対象物体領域の形態はバウンディングボックス２１に限定されるものではない。例えば、対象物体領域は、多角形ポリゴンやセグメンテーションであっても良い。以下では、対象物体領域をバウンディングボックス２１とするアノテーションを例として説明する。

【0024】

作業結果２０は、データとして管理される。作業結果２０は、「アノテーションデータ」と呼ぶこともできる。作業結果２０は、少なくとも各画像において指定されたバウンディングボックス２１の位置情報を含んでいる。例えば位置情報は、各画像において指定されたバウンディングボックス２１の四隅（左上隅，右上隅，左下隅，及び右下隅）と重心の座標位置である。その他、作業結果２０は、対象物体の分類情報（車両、人物、飛行機、等）、アノテータ１の属性情報（識別番号、実績、等）、等を含んでいても良い。

【0025】

作業結果２０は、画像シーケンス１０に付加される。作業結果２０が付加された画像シーケンス１０が教師データとして用いられることとなる。

【0026】

ところで作業結果２０は、アノテータ１の作業ミスによって、あるいは悪意のあるアノテータ１の作業によって、異常なアノテーションを含む可能性がある。図２は、異常なアノテーションを含む作業結果２０の一例を示す概念図である。図２に示す作業結果２０では、＃ｋ＋１の画像に異常なアノテーションが行われている。このような異常なアノテーションを含む作業結果２０によって作成された教師データを用いることは、機械学習モデルの性能を低下させる要因となる。さらには、自動運転車等に係るシステムが機械学習モデルによって実現される場合には、システムの安全性を低下させる虞がある。

【0027】

また画像シーケンス１０に対するアノテーションにおいては、作業結果２０に異常なアノテーションが含まれることは、アノテーションの一貫性を局所的に損なわせる。例えば図２に示す例では、＃ｋ、＃ｋ＋１、及び＃ｋ＋２の３つの連続する画像は、道路を走行する車両を連続的に映している。このため、＃ｋ、＃ｋ＋１、及び＃ｋ＋２の３つの連続する画像に対するアノテーションは、車両をトラッキングするように一貫して行われることが期待される。しかしながら図２に示す例では、＃ｋ＋１の画像におけるバウンディングボックス２１の位置が車両から大きく外れている。このため図２に示す作業結果２０は、＃ｋ、＃ｋ＋１、＃ｋ＋２の３つの連続する画像に関して、アノテーションの一貫性が損なわれている。

【0028】

画像シーケンス１０が教師データとして用いられる場合、このようにアノテーションの一貫性が局所的に損なわれることも機械学習モデルの性能を低下させる要因となる。

【0029】

本実施形態に係るアノテーション検証方法は、画像シーケンス１０に対するアノテーションの作業結果２０を対象として、異常なアノテーションの有無を検証することを可能とする。さらに本実施形態に係るアノテーション検証方法は、アノテーションの局所的な一貫性を検証することを可能とする。

【0030】

以下、図３を参照して、本実施形態に係るアノテーション検証方法の概要について説明する。

【0031】

本実施形態に係るアノテーション検証方法は、画像シーケンス１０に含まれる各画像に対する作業結果２０を所定の検証方向に従って逐次的に検証する。図３において、検証方向は、昇順である。これは画像シーケンス１０がビデオデータであるとき、過去から未来に向けて画像を検証する方向である。ただし検証方向は、降順とすることも可能である。あるいは検証方向は、中間の画像から＃１の画像及び＃Ｎの画像に向けて降順及び昇順に画像を検証する方向とすることも可能である。

【0032】

以下、作業結果２０を検証する対象の画像を「対象画像」と呼ぶ。図３では、＃ｉの画像を対象画像とする場合について説明する。つまり、＃ｉ－１の画像までは検証済みであるとする。

【0033】

本実施形態に係るアノテーション検証方法では、まず画像シーケンス１０に含まれる部分的な画像シーケンス１２（以下、「第１の画像シーケンス１２」と呼ぶ。）に対する検証済みの作業結果２２（以下、「第１の作業結果２２」と呼ぶ。）が取得される。特に第１の画像シーケンス１２は、対象画像と隣接する画像シーケンスである。第１の画像シーケンス１２のサイズは、あらかじめ定められていて良い。図３において、第１の画像シーケンス１２のサイズはＭである。つまり図３において、第１の画像シーケンス１２は、＃ｉ－Ｍから＃ｉ－１までのＭ個の連続する画像である。

【0034】

第１の作業結果２２から、少なくとも第１の画像シーケンス１２に含まれる各画像におけるバウンディングボックス２１の位置に関する情報（以下、「第１参照情報」と呼ぶ。）が取得される。例えば、第１参照情報は、第１の画像シーケンス１２に含まれる各画像におけるバウンディングボックス２１の四隅と重心の座標位置の情報である。

【0035】

次に本実施形態に係るアノテーション検証方法では、第１参照情報を含む情報（以下、単に「参照情報」と呼ぶ。）に基づいて、対象画像におけるバウンディングボックス２１の位置が予測される。図３では、予測された位置（以下、「予測位置」と呼ぶ。）のバウンディングボックス２１が点線で示されている。少なくとも第１参照情報に基づいて予測位置を算出することで、第１の画像シーケンス１２に含まれる各画像におけるバウンディングボックス２１の位置のシーケンシャルな変化に対して妥当な予測位置を算出することが可能である。特に参照情報に基づいて算出された予測位置は、第１の画像シーケンス１２に対してアノテーションの一貫性を保つ位置となることが期待できる。

【0036】

図４は、本実施形態に係るアノテーション検証方法において算出される予測位置の一例を示す概念図である。図４では、第１の画像シーケンス１２は、＃ｉ－３、＃ｉ－２、及び＃ｉ－１の３個の連続する画像である。また図４では、第１の画像シーケンス１２に対する第１の作業結果２２の一例として、バウンディングボックス２１ａ、２１ｂ、及び２１ｃが示されている。つまり、第１参照情報は、バウンディングボックス２１ａ、２１ｂ、及び２１ｃの位置に関する情報である。

【0037】

図４では、予測位置のバウンディングボックス２１（点線）の一例が示されている。図４に示す予測位置は、バウンディングボックス２１ａ、２１ｂ、及び２１ｃの位置の外挿となっている。予測位置のバウンディングボックス２１は、バウンディングボックス２１ａ、２１ｂ、及び２１ｃの位置の変化に対して妥当な位置となっていることがわかる。第１の画像シーケンス１２のサイズを大きくすれば、より精度の良い予測位置を算出することが期待できる。

【0038】

このような予測位置の算出は、参照情報を説明変数とする回帰モデルを用いて行うことができる。この場合、説明変数は、第１の画像シーケンス１２に含まれる各画像に対応したＭ個の変数で表すことができる。例えば、参照情報が第１参照情報である場合、説明変数は、下記のＭ個のベクトルｗｋ（ｋ＝１，２，・・・，Ｍ）で表すことができる。ここで、ｗ１，ｗ２，・・・，ｗＭは、それぞれ第１の画像シーケンス１２の中の＃ｉ－Ｍ，＃ｉ－Ｍ＋１，・・・，＃ｉ－１の画像に対応している。ベクトルｗｋの要素であるＰｔｌ，Ｐｔｒ，Ｐｂｌ，及びＰｂｒは、それぞれ対応する画像におけるバウンディングボックス２１の左上隅，右上隅，左下隅，及び右下隅の座標位置である。またＣＰは、対応する画像におけるバウンディングボックス２１の重心の座標位置である。

【0039】

【数1】

【0040】

回帰モデルは、例えば、学習済みの機械学習モデルにより構成することができる。この場合、機械学習モデルは、上記のＭ個のベクトルｗｋを時系列データとして入力する再帰型ニューラルネットワーク（RNN; Recurrent Neural Network）を採用することができる。このときベクトルｗｋは、「特徴ベクトル」と呼ぶこともできる。

【0041】

図５は、機械学習モデルで構成された回帰モデル１２２の一例を示す図である。図５に示す回帰モデル１２２は、ＲＮＮを採用する機械学習モデルで構成されている。つまり、各ベクトルｗｋは、それぞれ対応するレイヤに入力され、最終段の＃Ｍのレイヤを除く各レイヤは、隠れ状態を次のレイヤに出力する。各レイヤは、例えば、ＬＳＴＭ（Long Short Term Memory）で構成される。そして、最終段の＃Ｍのレイヤの出力ｙが回帰モデル１２２の出力となる。出力ｙは、例えば、予測位置のバウンディングボックス２１の四隅及び重心の座標位置を要素とするベクトルである。

【0042】

本実施形態に係るアノテーション検証方法では、予測位置の精度を向上させるため、参照情報は、以下で説明される情報をさらに含んでいても良い。

【0043】

参照情報となる１つは、対象物体の分類に関する情報（以下、「第２参照情報」と呼ぶ。）である。例えば、第２参照情報は、車両、人物、飛行機、等により対象物体の分類を指定する情報である。第２参照情報は、例えば、作業結果２０から取得することができる。画像シーケンス１０において、対象物体の位置の変化の傾向は、対象物体の分類に応じて異なることが想定される。図６は、対象物体が異なる２つの画像シーケンス１０の一例を示す概念図である。図６の（Ａ）は、対象物体が人物である場合である。図６の（Ｂ）は、対象物体が車両である場合である。図６の（Ａ）に示すように、対象物体が人物である場合、各画像に映る人物の位置は、人物の歩行によってある程度自由に変化し得る。また各画像において人物が映る範囲は、人物の動作に合わせて変化することが想定される。一方で図６の（Ｂ）に示すように、対象物体が車両である場合、各画像に映る車両の位置や範囲は、車両の走行によって線形に変化する傾向がある。このように対象物体の分類に応じて各画像に映る対象物体の位置の変化の傾向は異なることが想定される。従って、参照情報が第２参照情報を含むことにより、参照情報に基づく予測位置の算出において、対象物体の分類に応じた位置の変化の傾向を考慮することができる。延いては、予測位置の精度を向上させることができる。

【0044】

参照情報となる他の１つは、各画像におけるカメラから対象物体までの距離に関する情報（以下、「第３参照情報」と呼ぶ。）である。例えば、第３参照情報は、各画像に映る対象物体の深度情報である。第３参照情報は、例えば、各画像において指定されたバウンディングボックス２１の位置と、各画像の深度情報と、から取得することができる。各画像の深度情報は、例えば、画像シーケンス１０に含まれる付加データとして与えられる。あるいは各画像の深度情報は、画像シーケンス１０に含まれる付加データから算出されても良い。画像シーケンス１０において、対象物体の位置の変化の程度は、カメラから対象物体までの距離に応じて異なることが想定される。図７は、カメラから対象物体（人物）までの距離が異なる２つの画像シーケンス１０の一例を示す概念図である。図７の（Ａ）は、カメラから対象物体までの距離が小さい場合、すなわち対象物体が近い場合である。図７の（Ｂ）は、カメラから対象物体までの距離が大きい場合、すなわち対象物体が遠い場合である。図７の（Ａ）に示すように、対象物体が近い場合、各画像に映る対象物体の位置の変化は大きくなる。一方で図７の（Ｂ）に示すように、対象物体が遠い場合、各画像に映る対象物体の位置の変化は小さくなる。このようにカメラから対象物体までの距離に応じて対象物体の位置の変化の程度は異なることが想定される。従って、参照情報が第３参照情報を含むことにより、参照情報に基づく予測位置の算出において、カメラから対象物体までの距離に応じた位置の変化の程度を考慮することができる。延いては、予測位置の精度を向上させることができる。

【0045】

他の１つは、画像シーケンス１０が移動体に搭載されたカメラによって撮像されている場合において、各画像が撮像されたときの移動体の速度に関する情報（以下、「第４参照情報」と呼ぶ。）である。例えば、第４参照情報は、各画像が車載カメラによって撮像されたときの車両の速度の情報である。車両の速度の情報は、例えば、画像シーケンス１０に含まれる付加データとして与えられる。画像シーケンス１０において、対象物体の位置の変化の程度は、カメラを搭載する移動体の速度に応じて異なることが想定される。図８は、カメラを搭載する移動体の速度が異なる２つの画像シーケンス１０の一例を示す概念図である。図８の（Ａ）は、カメラを搭載する移動体の速度が大きい場合である。図８の（Ｂ）は、カメラを搭載する移動体の速度が小さい場合である。図８の（Ａ）に示すように、移動体の速度が大きい場合、各画像に映る対象物体（木）の位置の変化は大きくなる。一方で図８の（Ｂ）に示すように、移動体の速度が小さい場合、各画像に映る対象物体の位置の変化は小さくなる。このようにカメラを搭載する移動体の速度に応じて対象物体の位置の変化の程度は異なることが想定される。従って、参照情報が第４参照情報を含むことにより、参照情報に基づく予測位置の算出において、カメラを搭載する移動体の速度に応じた位置の変化の程度を考慮することができる。延いては、予測位置の精度を向上させることができる。

【0046】

参照情報が上記の情報を含むとき、回帰モデル１２２を用いて予測位置を算出する場合は、説明変数となるベクトルｗｋの要素に上記の情報を含めれば良い。例えば、参照情報が各画像に映る対象物体の深度情報（第３参照情報）をさらに含むとき、ベクトルｗｋは、対応する画像に映る対象物体の深度情報を要素としてさらに含んでいれば良い。

【0047】

以上説明したように、本実施形態に係るアノテーション検証方法では、参照情報に基づいて対象画像におけるバウンディングボックス２１の予測位置が算出される。

【0048】

さらに本実施形態に係るアノテーション検証方法では、作業結果２０から対象画像において実際に指定されたバウンディングボックス２１の位置（以下、「実指定位置」と呼ぶ。）が取得される。

【0049】

そして本実施形態に係るアノテーション検証方法では、対象画像における予測位置のバウンディングボックス２１と実指定位置のバウンディングボックス２１とを比較することにより対象画像に対する作業結果２０が検証される。つまり、対象画像における予測位置のバウンディングボックス２１と実指定位置のバウンディングボックス２１がどの程度合致しているかによって、対象画像に対する作業結果２０が検証される。特に対象画像に対する作業結果２０に異常があるか否かが検証される。

【0050】

図９は、本実施形態に係るアノテーション検証方法において、対象画像に対する作業結果２０に異常がないとする場合と異常があるとする場合の一例を示す概念図である。図９に示すように、本実施形態に係るアノテーション検証方法によれば、予測位置のバウンディングボックス２１（点線）と実指定位置のバウンディングボックス２１（実線）がほとんど合致しているときは、対象画像に対する作業結果２０に異常がないと判定される。一方で、予測位置のバウンディングボックス２１（点線）と実指定位置のバウンディングボックス２１（実線）が乖離しているときは、対象画像に対する作業結果２０に異常があると判定される。

【0051】

上述したように、本実施形態に係るアノテーション検証方法によれば、第１の画像シーケンス１２に含まれる各画像におけるバウンディングボックス２１の位置のシーケンシャルな変化に対して妥当な予測位置を算出することが可能である。従って、予測位置のバウンディングボックス２１と実指定位置のバウンディングボックス２１とを比較することにより、対象画像に対する作業結果２０に異常があるか否かを適切に検証することができる。さらに算出される予測位置は、第１の画像シーケンス１２に対してアノテーションの一貫性を保つ位置となることが期待できる。従って、アノテーションの局所的な一貫性の観点においても、対象画像に対する作業結果２０に異常があるか否かを検証することができる。

【0052】

なお予測位置のバウンディングボックス２１と実指定位置のバウンディングボックス２１がどの程度合致しているかは、予測位置のバウンディングボックス２１と実指定位置のバウンディングボックス２１の重なりの程度を指標とすることができる。この場合、重なりの程度が所定のしきい値より小さいとき、対象画像に対する作業結果２０に異常があると判定される。重なりの程度は、例えば、ＩｏＵ（Intersection over Union）で表される。

【0053】

このように重なりの程度を指標とするしきい値判定を行うことで、予測位置のバウンディングボックス２１と実指定位置のバウンディングボックス２１との比較による検証を簡易に実現することができる。

【0054】

対象画像に対する作業結果２０の検証が終了すると、検証方向に沿って対象画像をシフトさせて上記のステップが繰り返される。図３に示す場合、＃ｉの画像を対象画像とする検証が終了すると、＃ｉ＋１の画像が次の対象画像となる。このとき第１の画像シーケンス１２は、＃ｉ－Ｍ＋１から＃ｉまでのＭ個の連続する画像となる。ただし第１の画像シーケンス１２は、作業結果２０に異常があると判定された画像を除いて選択されても良い。例えば、＃ｉの画像に対する作業結果２０に異常があると判定された場合、＃ｉ＋１の画像を対象画像とするときの第１の画像シーケンス１２は、＃ｉ－Ｍから＃ｉ－１までのＭ個の連続する画像としても良い。このように第１の画像シーケンス１２が選択されることにより、予測位置の精度の低下を抑制することができる。

【0055】

このようにして本実施形態に係るアノテーション検証方法では、画像シーケンス１０に含まれる各画像に対する作業結果２０が逐次的に検証される。本実施形態に係るアノテーション検証方法による検証結果は、画像ごとに作業結果２０に異常があるか否かの判定結果を与えるように生成される。例えば検証結果は、下記の表に示されるように、作業結果２０に異常があると判定されるときにＴＲＵＥとなる異常判定フラグが画像ごとに管理されたデータである。下記に示す検証結果の例では、＃２の画像に対する作業結果２０に異常があると判定されている。検証結果は、データとして作業結果２０又は画像シーケンス１０に付加されて良い。あるいは検証結果は、データとしてユーザに提供されても良い。

【0056】

【表1】

【0057】

以上説明したように、本実施形態に係るアノテーション検証方法によれば、対象画像と隣接する第１の画像シーケンス１２に含まれる各画像におけるバウンディングボックス２１の位置に関する第１参照情報が取得される。また第１参照情報を含む参照情報に基づいて、対象画像におけるバウンディングボックス２１の予測位置が算出される。そして、対象画像における予測位置のバウンディングボックス２１と実指定位置のバウンディングボックス２１とを比較することにより対象画像に対する作業結果２０が検証される。これにより、対象画像に対する作業結果２０を適切に検証することが可能である。

【0058】

さらに、対象画像を所定の検証方向に沿ってシフトさせることで、画像シーケンス１０に含まれる各画像に対する作業結果２０を逐次的に検証することができる。従って、本実施形態に係るアノテーション検証方法がコンピュータにより実行されることで、画像シーケンス１０に含まれる各画像に対する作業結果２０を容易に検証することが可能である。

【0059】

また本実施形態に係るアノテーション検証方法によれば、第１参照情報は、作業結果２０から取得することができる。従って、本実施形態に係るアノテーション検証方法は、少なくとも作業結果２０が与えられれば検証が可能である。延いては、本実施形態に係るアノテーション検証方法によれば、他のアノテータ１による作業結果２０等との比較を要することなく作業結果２０を検証することができる。

【0060】

なお本実施形態に係るアノテーション検証方法によれば、第１の画像シーケンス１２に含まれる各画像は、作業結果２０が検証済みであることが想定される。このため、初回の対象画像に対する第１の画像シーケンス１２に含まれる各画像は、他の手段によって作業結果２０が検証済みであって良い。例えば、図３に示す場合、初回の対象画像となる＃Ｍ＋１の画像に対して、第１の画像シーケンス１２に含まれる＃１から＃ＭまでのＭ個の画像に対する作業結果２０は、他の手段によって検証済みであって良い。他の手段による検証は、人手による検証であって良い。この場合においても、本実施形態に係るアノテーション検証方法によれば、第１の画像シーケンス１２のサイズ分の画像に対する作業結果２０を人手で検証するだけで、画像シーケンス１０に含まれる各画像に対する作業結果２０を容易に検証することが可能である。

【0061】

１－２．アノテーション検証装置
本実施形態に係るアノテーション検証方法は、コンピュータが実行する処理により実現される。以下、本実施形態に係るアノテーション検証方法を実施するためのアノテーション検証装置について説明する。

【0062】

図１０は、本実施形態に係るアノテーション検証装置１００の構成の一例を示すブロック図である。アノテーション検証装置１００は、画像データベースＤ１０にアクセス可能に構成されている。例えば、アノテーション検証装置１００は、インターネットを介して画像データベースＤ１０を格納するサーバと接続している。あるいはアノテーション検証装置１００は、画像データベースＤ１０を記憶装置１２０に格納するように構成することも可能である。

【0063】

画像データベースＤ１０は、カメラ２００又は搭載カメラ３１０によって撮像された画像シーケンス１０を管理する。

【0064】

画像データベースＤ１０が格納する画像シーケンス１０は、画像データ１１と、付加データ１３と、作業結果２０と、を含んでいる。

【0065】

画像データ１１は、画像シーケンス１０に含まれる各画像を表すデータである。付加データ１３は、画像シーケンス１０に含まれる各画像に関する付加情報を表すデータである。

【0066】

カメラ２００は、種々の形態のものであって良い。カメラ２００として、ビデオカメラ、監視カメラ、ライブカメラ、等が例示される。カメラ２００によって撮像された画像シーケンス１０は、適宜に画像データベースＤ１０にアップロードされる。カメラ２００は、撮像する画像を順次に画像データベースＤ１０にアップロードするように構成されていても良い。

【0067】

搭載カメラ３１０は、移動体３００に搭載されている。移動体３００としては、車両、ドローン、等が例示される。移動体３００は、移動体３００の状態や周囲環境を検出するセンサ３２０を備えている。センサ３２０として、ＬIＤＡＲ（Light Detection And Ranging）、ＩＭＵ（Inertial Measurement Unit）、速度センサ、ＧＰＳ受信機、等が例示される。センサ３２０によって検出される情報として、移動体３００の速度、移動体３００の位置、移動体３００と周囲物標との距離、等が例示される。移動体３００は、搭載カメラ３１０によって撮像された画像シーケンス１０を適宜に画像データベースＤ１０にアップロードする。さらに移動体３００は、センサ３２０によって検出される情報を画像シーケンス１０の付加データ１３として画像データベースＤ１０にアップロードするように構成されていても良い。例えば、移動体３００は、画像シーケンス１０に含まれる各画像が撮像されたときの移動体３００の速度を付加データ１３として画像データベースＤ１０にアップロードする。

【0068】

作業端末４００は、画像データベースＤ１０が管理する画像シーケンス１０に対するアノテーションを行うための装置である。作業端末４００は、画像データベースＤ１０から画像シーケンス１０を読み出す。そして、アノテータ１が作業端末４００を操作することにより、読み出した画像シーケンス１０に対するアノテーションが行われる。作業端末４００は、アノテーションの作業結果２０を画像データベースＤ１０にアップロードする。
る。

【0069】

ユーザインタフェース５００は、アノテーション検証装置１００のユーザに対するインタフェースを提供する。例えば、ユーザインタフェース５００は、キーボード、マウス、タッチパネル、等の入力機器と、ディスプレイ、スピーカ、等の出力機器と、により構成される。

【0070】

本実施形態に係るアノテーション検証装置１００は、画像データベースＤ１０が管理する画像シーケンス１０を読み込み、読み込んだ画像シーケンス１０に対する作業結果２０を上述したアノテーション検証方法により検証する処理を実行する。読み込む画像シーケンス１０は、例えば、ユーザインタフェース５００を介してユーザにより決定される。あるいはアノテーション検証装置１００は、画像データベースＤ１０を参照し、作業結果２０が付加された画像シーケンス１０を順次に読み込むように構成されていても良い。アノテーション検証装置１００による検証結果は、例えば、画像データベースＤ１０に送信され、対応する画像シーケンス１０に付加される。あるいは、検証結果は、ユーザインタフェース５００を介してユーザに提供される。

【0071】

本実施形態に係るアノテーション検証装置１００は、１又は複数のプロセッサ１１０（以下、単に「プロセッサ１１０」と呼ぶ。）と、１又は複数の記憶装置１２０（以下、単に「記憶装置１２０」と呼ぶ。）と、を含むコンピュータである。プロセッサ１１０は、各種処理を実行する。プロセッサ１１０は、例えば、演算装置やレジスタ等を含むＣＰＵ（Central Processing Unit）で構成することができる。記憶装置１２０は、プロセッサ１１０と接続し、プロセッサ１１０の処理の実行に必要な各種情報を格納する。記憶装置１２０は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、等の記録媒体で構成することができる。

【0072】

記憶装置１２０には、コンピュータプログラム１２１と、回帰モデル１２２と、が格納される。

【0073】

コンピュータプログラム１２１は、コンピュータで読み取り可能な記録媒体に格納される。コンピュータプログラム１２１は、プロセッサ１１０に各種処理を実行させるように構成された複数のインストラクションを含んでいる。プロセッサ１１０が複数のインストラクションに従って動作することにより、プロセッサ１１０による各種処理の実行が実現される。

【0074】

１－３．処理
以下、アノテーション検証装置１００が実行する処理、より具体的にはプロセッサ１１０が実行する処理について説明する。

【0075】

図１１は、プロセッサ１１０が実行する処理の一例を示すフローチャートである。図１１に示す処理は、例えば、実行開始の要求を受けて対象の画像シーケンス１０を読み込んだときに開始する。

【0076】

ステップＳ１００で、プロセッサ１１０は、初期化処理を実行する。初期化処理において、プロセッサ１１０は、付加データ１３や作業結果２０等の各種情報の取得、初回の対象画像の決定、検証方向の確認、等を行う。

【0077】

次にステップＳ１１０で、プロセッサ１１０は、対象画像に隣接する第１の画像シーケンス１２を選択し、第１の画像シーケンス１２に対する検証済みの第１の作業結果２２を取得する。

【0078】

次にステップＳ１２０で、プロセッサ１１０は、参照情報を取得する。少なくとも、ステップＳ１２０において、プロセッサ１１０は、ステップＳ１１０において取得した第１の作業結果２２から第１参照情報を取得する。さらにステップＳ１２０において、プロセッサ１１０は、付加データ１３や第１の作業結果２２から第２参照情報、第３参照情報、又は第４参照情報を取得しても良い。

【0079】

次にステップＳ１３０で、プロセッサ１１０は、ステップＳ１２０において取得した参照情報に基づいて対象画像におけるバウンディングボックス２１の予測位置を算出する。

【0080】

次にステップＳ１４０で、プロセッサ１１０は、対象画像におけるバウンディングボックス２１の実指定位置を取得する。

【0081】

次にステップＳ１５０で、プロセッサ１１０は、予測位置のバウンディングボックス２１と実指定位置のバウンディングボックス２１の重なりの程度を算出する。

【0082】

次にステップＳ１６０で、プロセッサ１１０は、ステップＳ１５０において算出した重なりの程度が所定のしきい値より小さいか否かを判定する。所定のしきい値は、本実施形態を適用する環境に応じて好適に与えられて良い。

【0083】

重なりの程度が所定のしきい値よりも小さい場合（ステップＳ１６０；Ｙｅｓ）、プロセッサ１１０は、対象画像に対する作業結果２０に異常があると判定する（ステップＳ１７０）。例えば、プロセッサは、対象画像に対応する異常判定フラグをＴＲＵＥとする。その後、処理は、ステップＳ１８０に進む。

【0084】

重なりの程度が所定のしきい値以上となる場合（ステップＳ１６０；Ｎｏ）、対象画像に対する作業結果２０に異常はないとして、処理はステップＳ１８０に進む。

【0085】

ステップＳ１８０で、プロセッサ１１０は、検証を終了するか否かを判断する。例えば、プロセッサ１１０は、画像シーケンス１０に含まれる全ての画像に対する作業結果２０の検証が完了したことを条件として、検証を終了すると判断する。

【0086】

検証を終了すると判断する場合（ステップＳ１８０；Ｙｅｓ）、処理は終了する。

【0087】

検証を終了しないと判断する場合（ステップＳ１８０；Ｎｏ）、プロセッサ１１０は、対象画像をシフトさせる（ステップＳ１９０）。その後、プロセッサ１１０は、再度ステップＳ１１０から処理を繰り返す。

【0088】

以上説明したように、プロセッサ１１０が処理を実行することにより、本実施形態に係るアノテーション検証装置１００の機能が実現される。またこのようにプロセッサ１１０が処理を実行することにより、本実施形態に係るアノテーション検証方法が実施される。またこのようにプロセッサ１１０に処理を実行させるコンピュータプログラム１２１により、本実施形態に係るアノテーション検証プログラムが実現される。

【0089】

２．第２実施形態
以下、第２実施形態について説明する。なお以下の説明では、上記の記載と重複する部分については適宜省略している。

【0090】

２－１．概要
画像シーケンス１０に対するアノテーションでは、同一の画像シーケンス１０に対して複数のアノテータ１がアノテーションを行っている場合がある。この場合、画像シーケンス１０に対するアノテーションの作業結果２０は、複数のアノテータ１の各々の作業結果２０を含んでいる。複数のアノテータ１の各々の作業結果２０は、通常、各アノテータ１の技量や傾向等によって互いに差異があることが想定される。

【0091】

第２実施形態に係るアノテーション検証方法は、同一の画像シーケンス１０に対して複数のアノテータ１がアノテーションを行っている場合に適用される。以下、図１２を参照して、第２実施形態に係るアノテーション検証方法の概要について説明する。図１２は、同一の画像シーケンス１０に対する＃１，＃２，及び＃３の３人のアノテータ１の作業結果２０がそれぞれ概念的に示されている。

【0092】

第２実施形態に係るアノテーション検証方法では、複数のアノテータ１の各々のアノテーションに対する信頼度が管理される。各アノテータ１の信頼度は、各アノテータ１によるアノテーションの正しさを推定する値である。図１２では、＃１，＃２，及び＃３のアノテータ１の信頼度がそれぞれ９０％，８０％，６０％で与えられている。つまり、＃１のアノテータ１によるアノテーションは、９０％で正しいアノテーションであることが推定され、＃３のアノテータ１によるアノテーションは、６０％で正しいアノテーションであることが推定される。なお信頼度の表現は、百分率に限定されない。例えば、信頼度は、小数によって表されても良い。

【0093】

各アノテータ１の信頼度は、後述するように、アノテーション検証方法による検証結果に基づく更新より与えることができる。この場合、各アノテータ１の信頼度の初期値は、好適に与えられて良い。その他、各アノテータ１の信頼度は、アノテーションの実施回数、経験年数、等を指標として与えられても良い。

【0094】

第２実施形態に係るアノテーション検証方法は、画像シーケンス１０に含まれる各画像に対する複数のアノテータ１の各々の作業結果２０を所定の検証方向に従って逐次的に検証する。図１２において、検証方向は、昇順である。図１２では、＃ｉの画像を対象画像とする場合について説明する。

【0095】

第２実施形態に係るアノテーション検証方法では、まず第１の作業結果２２が取得される。第２実施形態では、第１の作業結果２２は、第１の画像シーケンス１２に対する複数のアノテータ１の各々の検証済みの作業結果２０を含んでいる。

【0096】

次に第２実施形態に係るアノテーション検証方法では、複数のアノテータ１の各々の信頼度が取得される。そして、第２実施形態に係るアノテーション検証方法では、第１の作業結果２２と、複数のアノテータ１の各々の信頼度と、から第１参照情報が取得される。

【0097】

第２実施形態において、第１参照情報は、第１の画像シーケンス１２に含まれる各画像について複数のアノテータ１がそれぞれ指定したバウンディングボックス２１の位置の加重平均位置２３である。特に加重平均位置２３の算出に係る重みは、複数のアノテータ１の各々の信頼度である。

【0098】

図１２では、加重平均位置２３がベクトルｗｋ（ｋ＝１，２，・・・，Ｍ）で示されている。例えば、ｗ１は、＃ｉ－Ｍの画像について＃１，＃２，及び＃３のアノテータ１がそれぞれ指定したバウンディングボックス２１の四隅及び重心の座標位置の加重平均を要素とするベクトルである。例えば、ベクトルｗｋ（ｋ＝１，２，・・・，Ｍ）は、以下の式で表すことができる。ここで、α１，α２，及びα３は、それぞれ＃１，＃２，及び＃３のアノテータ１の信頼度である。またｖ１ｋ，ｖ２ｋ，及びｖ３ｋは、それぞれ＃１，＃２，及び＃３のアノテータが対応する画像について指定したバウンディングボックス２１の四隅及び重心の座標位置を要素とするベクトルである。

【0099】

【数2】

【0100】

次に第２実施形態に係るアノテーション検証方法では、第１参照情報を含む参照情報に基づいて、対象画像におけるバウンディングボックス２１の予測位置を算出する。予測位置の算出は、第１実施形態と同様であって良い。つまり、予測位置は、第１参照情報として加重平均位置２３を含む参照情報を説明変数とする回帰モデル１２２を用いて行われて良い。また参照情報は、第２参照情報、第３参照情報、又は第４参照情報を含んでいても良い。

【0101】

次に第２実施形態に係るアノテーション検証方法では、複数のアノテータ１の各々の作業結果２０から、複数のアノテータ１それぞれについて対象画像におけるバウンディングボックス２１の実指定位置が取得される。

【0102】

そして第２実施形態に係るアノテーション検証方法では、複数のアノテータ１それぞれについて、対象画像における予測位置のバウンディングボックス２１と実指定位置のバウンディングボックス２１とを比較することにより対象画像に対する作業結果２０が検証される。予測位置のバウンディングボックス２１は、複数のアノテータ１それぞれの検証において共通となる。また複数のアノテータ１それぞれの検証における比較の方法は、第１実施形態と同様であって良い。特に複数のアノテータ１それぞれの検証における比較は、対象画像における予測位置のバウンディングボックス２１と実指定位置のバウンディングボックス２１の重なりの程度を指標として行われて良い。

【0103】

複数のアノテータ１のそれぞれについて対象画像に対する作業結果２０の検証が終了すると、検証方向に沿って対象画像をシフトさせて上記のステップが繰り返される。

【0104】

このようにして第２実施形態に係るアノテーション検証方法では、複数のアノテータ１それぞれについて画像シーケンス１０に含まれる各画像に対する作業結果２０が逐次的に検証される。

【0105】

第２実施形態に係るアノテーション検証方法では、検証結果に基づいて複数のアノテータ１の各々の信頼度が更新される。典型的には、検証結果において作業結果２０に異常があると判定されたアノテータ１の信頼度を減少させる。さらに、検証結果において作業結果２０に異常はない（作業結果２０は正常である）と判定されたアノテータ１の信頼度を増加させても良い。信頼度の更新は、対象画像に対する作業結果２０の検証が終了する毎に行われても良いし、各画像に対する作業結果２０の検証がすべて終了したときに行われても良い。

【0106】

アノテータ１の信頼度を更新するとき、信頼度の変化量は、アノテーションの困難度により調整されて良い。アノテーションの困難度は、アノテータ１がアノテーションを正しく行うことの難しさを表す値である。

【0107】

アノテーションの困難度は、対象物体の大きさを１つの指標とすることができる。例えば、対象物体が小石のような小さな物体であるとき、アノテーションの困難度を高く設定する。

【0108】

またアノテーションの困難度は、対象物体の動きの自由度を１つの指標とすることができる。例えば、対象物体が鳥や飛行機等の飛行物体であるとき、アノテーションの困難度を高く設定する。

【0109】

またアノテーションの困難度は、画像における対象物体の見分けやすさを１つの指標とすることができる。例えば、対象物体の分類が対象物体としない他の分類と紛らわしいとき（例えば、バンとＳＵＶや歩道と自転車道、等）、アノテーションの困難度を高く設定する。

【0110】

またアノテーションの困難度は、画像の外観を１つの指標とすることができる。例えば、画像の輝度やコントラストが低いほど、アノテーションの困難度を高く設定する。

【0111】

またアノテーションの困難度は、複数のアノテータ１の間の作業結果２０の差異の程度を指標とすることができる。この場合、複数のアノテータ１の間の作業結果２０の差異の程度は、クリッペンドルフのα係数（Krippendorff’s alpha）を採用することができる。例えば、α係数が大きいほど、つまり複数のアノテータ１の間で作業結果２０の差異が小さいほど、アノテーションの困難度を高く設定する。

【0112】

またアノテーションの困難度は、画像を入力とする学習済みの機械学習モデルにより算出されても良い。この場合、機械学習モデルは、例えば、ＣＮＮ（Convolutional Neural Network）により構成される。

【0113】

アノテーションの困難度は、画像シーケンス１０に対して設定されても良いし、画像シーケンス１０に含まれる各画像それぞれに対して個別に設定されても良い。

【0114】

アノテーションの困難度に応じた信頼度の変化量の調整は、例えば、以下の表に示すように行われる。ただし、アノテーションの困難度に対してより多くの段階で又は連続的に信頼度の変化量を調整するように行われても良い。このようにアノテーションの困難度に応じて信頼度の変化量を調整することで、複数のアノテータ１の各々の信頼度をより的確に管理することができる。

【0115】

【表2】

【0116】

以上説明したように、第２実施形態に係るアノテーション検証方法によれば、第１参照情報として加重平均位置２３を含む参照情報に基づいて、対象画像におけるバウンディングボックス２１の予測位置が算出される。そして、複数のアノテータ１それぞれについて、対象画像における予測位置のバウンディングボックス２１と実指定位置のバウンディングボックス２１とを比較することにより対象画像に対する作業結果２０が検証される。また対象画像を所定の検証方向に沿ってシフトさせることで、複数のアノテータ１それぞれについて、画像シーケンス１０に含まれる各画像に対する作業結果２０が逐次的に検証される。これにより、同一の画像シーケンス１０に対して複数のアノテータ１がアノテーションを行っている場合について、検証の効率を保持しつつ、作業結果２０の検証が可能となる。特に、複数のアノテータ１の各々の信頼度を重みとして加重平均位置２３が算出されるので、各アノテータ１の技量を考慮して、複数のアノテータ１の各々の作業結果２０を検証することができる。

【0117】

さらに第２実施形態に係るアノテーション検証方法によれば、検証結果に基づいて複数のアノテータ１の各々の信頼度が更新される。これにより、複数のアノテータ１の各々の信頼度を動的に管理することができる。

【0118】

２－２．アノテーション検証装置
以下、第２実施形態に係るアノテーション検証方法を実施するためのアノテーション検証装置１００について説明する。

【0119】

図１３は、第２実施形態に係るアノテーション検証装置１００の構成の一例を示すブロック図である。第２実施形態に係るアノテーション検証装置１００では、第１実施形態と比較して、記憶装置１２０に信頼度情報１２３が格納される。

【0120】

信頼度情報１２３は、各アノテータ１の信頼度を管理する。例えば信頼度情報１２３は、各アノテータ１の識別情報と各アノテータ１の信頼度とが紐づけられたデータである。信頼度情報１２３は、プロセッサ１１０が実行する処理により更新されて管理される。

【0121】

２－３．処理
以下、第２実施形態に係るアノテーション検証装置１００が実行する処理、より具体的にはプロセッサ１１０が実行する処理について説明する。

【0122】

第２実施形態に係るプロセッサ１１０が実行する処理は、図１１に示す処理と同等であって良い。ただし、ステップＳ１４０乃至ステップＳ１７０に係る処理は、複数のアノテータ１それぞれについて実行される。またステップＳ１２０において、第２実施形態に係るプロセッサ１１０は、少なくとも図１４に示す以下の処理を実行する。

【0123】

ステップＳ２１０で、プロセッサ１１０は、複数のアノテータ１の各々の信頼度を取得する。例えば、プロセッサ１１０は、各アノテータ１の識別情報を用いて信頼度情報１２３を参照することにより各アノテータ１の信頼度を取得する。

【0124】

次にステップＳ２２０で、プロセッサ１１０は、ステップＳ１１０で取得した第１の作業結果２２と、ステップＳ２１０で取得した複数のアノテータ１の各々の信頼度と、に基づいて、第１参照情報として加重平均位置２３を算出する。

【符号の説明】

【0125】

１ アノテータ
１０ 画像シーケンス
１１ 画像データ
１２ 第１の画像シーケンス
１３ 付加データ
２０ 作業結果
２１ バウンディングボックス
２２ 第１の作業結果
２３ 加重平均位置
１００ アノテーション検証装置
１１０ プロセッサ
１２０ 記憶装置
１２１ コンピュータプログラム
１２２ 回帰モデル
１２３ 信頼度情報
Ｄ１０ 画像データベース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】