特開 2024-130386 情報処理装置、アノテーション方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024130386

(43)【公開日】2024-09-30

(54)【発明の名称】情報処理装置、アノテーション方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240920BHJP

【ＦＩ】

G06T7/00 C

G06T7/00 U

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023040067

(22)【出願日】2023-03-14

(71)【出願人】

【識別番号】322003857

【氏名又は名称】パナソニックオートモーティブシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】張 嶼城

(72)【発明者】

【氏名】木内 真也

(72)【発明者】

【氏名】黒田 豊治

(72)【発明者】

【氏名】前田 昌克

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096CA02

5L096CA23

5L096DA01

5L096DA02

5L096FA18

5L096FA59

5L096FA64

5L096FA66

5L096FA69

5L096GA51

5L096HA11

5L096JA13

5L096KA04

(57)【要約】

【課題】アノテーション作業にかかる負担を軽減することができる情報処理装置、アノテーション方法、及びプログラムを提供する。
【解決手段】本開示に係る情報処理装置は、第１取得部と、第１検出部と、第２取得部と、第２検出部と、照合部と、補正部と、を備える。第１取得部は、３次元距離センサにより生成された３次元情報を取得する。第１検出部は、前記３次元情報に含まれる物体の領域である３次元領域を検出する。第２取得部は、撮影部より撮影された２次元画像を取得する。第２検出部は、前記２次元画像に含まれる物体の領域である２次元領域を検出する。照合部は、前記第１特定部による３次元領域と、前記第２特定部による２次元領域とを照合する。補正部は、前記照合部による照合結果に基づいて、前記第１検出部による検出結果を補正する。
【選択図】図４

【特許請求の範囲】

【請求項1】

３次元距離センサにより生成された３次元情報を取得する第１取得部と、
前記３次元情報に含まれる物体の領域である３次元領域を検出する第１検出部と、
撮影部より撮影された２次元画像を取得する第２取得部と、
前記２次元画像に含まれる物体の領域である２次元領域を検出する第２検出部と、
前記第１検出部による前記３次元領域と、前記第２検出部による前記２次元領域とを照合する照合部と、
前記照合部による照合結果に基づいて、前記第１検出部による検出結果を補正する補正部と、
を備える情報処理装置。

【請求項2】

前記３次元領域から、前記２次元領域に対応する照合領域を抽出する抽出部を更に備え、
前記照合部は、前記３次元領域の前記照合領域と、前記２次元領域とを照合する、
請求項１に記載の情報処理装置。

【請求項3】

操作を受け付ける操作部を更に備え、
前記照合部は、前記２次元領域と適合しない前記照合領域のリストである誤検出リストを生成し、
前記補正部は、前記操作部が受け付けた操作に基づいて、前記誤検出リストに含まれる前記照合領域に対応する前記３次元領域を修正する、
請求項２に記載の情報処理装置。

【請求項4】

前記照合部は、照合する前記照合領域が無い前記２次元領域のリストである未検出リストを生成し、
前記補正部は、前記未検出リストに含まれる前記２次元領域に対応する前記３次元領域を追加する、
請求項２に記載の情報処理装置。

【請求項5】

前記補正部は、前記未検出リストの前記２次元領域に含まれる物体の車種により特定される大きさの前記３次元領域を付加する、
請求項４に記載の情報処理装置。

【請求項6】

前記補正部は、前記未検出リストの前記２次元領域に車両の側面が含まれているが、車種を特定することができない場合に、一般的な車両の大きさの前記３次元領域を付加する、
請求項４に記載の情報処理装置。

【請求項7】

前記補正部は、前記誤検出リストに含まれる前記照合領域を強調表示する、
請求項３に記載の情報処理装置。

【請求項8】

前記補正部は、前記誤検出リストに含まれる前記照合領域の詳細な情報を表示する、
請求項３に記載の情報処理装置。

【請求項9】

前記補正部は、前記未検出リストに含まれる前記２次元領域を表示する、
請求項４に記載の情報処理装置。

【請求項10】

前記第１検出部は、前記３次元領域をアノテーションし、
前記補正部は、前記照合部による照合結果に基づいて、前記第１検出部によるアノテーション結果を補正する、
請求項１から請求項９の何れか一項に記載の情報処理装置。

【請求項11】

３次元距離センサにより生成された３次元情報を取得し、
前記３次元情報に含まれる物体の領域である３次元領域を検出し、
撮影部より撮影された２次元画像を取得し、
前記２次元画像に含まれる物体の領域である２次元領域を検出し、
前記３次元領域と、前記２次元領域とを照合し、
照合結果に基づいて、前記３次元領域の検出結果を補正する、
ことを含むアノテーション方法。

【請求項12】

３次元距離センサにより生成された３次元情報を取得し、
前記３次元情報に含まれる物体の領域である３次元領域を検出し、
撮影部より撮影された２次元画像を取得し、
前記２次元画像に含まれる物体の領域である２次元領域を検出し、
前記３次元領域と、前記２次元領域とを照合し、
照合結果に基づいて、前記３次元領域の検出結果を補正する、
をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、アノテーション方法、及びプログラムに関する。

【背景技術】

【0002】

従来、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などの３次元距離センサにより取得された３次元情報に基づいて、対象物を認識する技術について研究されている。このような技術を向上させるためには、アノテーションされた３次元情報が数多く必要になる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０２２／２０１３７５号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、手動により３次元情報にアノテーションを付加するのは煩雑である。

【0005】

本開示は、アノテーション作業にかかる負担を軽減することができる情報処理装置、アノテーション方法、及びプログラムを提供する。

【課題を解決するための手段】

【0006】

本開示に係る情報処理装置は、第１取得部と、第１検出部と、第２取得部と、第２検出部と、照合部と、補正部と、を備える。第１取得部は、３次元距離センサにより生成された３次元情報を取得する。第１検出部は、前記３次元情報に含まれる物体の領域である３次元領域を検出する。第２取得部は、撮影部より撮影された２次元画像を取得する。第２検出部は、前記２次元画像に含まれる物体の領域である２次元領域を検出する。照合部は、前記第１特定部による３次元領域と、前記第２特定部による２次元領域とを照合する。補正部は、前記照合部による照合結果に基づいて、前記第１検出部による検出結果を補正する。

【発明の効果】

【0007】

本開示に係る情報処理装置、アノテーション方法、及びプログラムによれば、アノテーション作業にかかる負担を軽減することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、第１の実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。

【図2】図２は、第１の実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。

【図3】図３は、３次元検出ボックスが付加された３次元情報の一例を示す図である。

【図4】図４は、３次元照合領域の一例を示す図である。

【図5】図５は、２次元検出ボックスの一例を示す図である。

【図6】図６は、車両を示す点群を強調表示した画像の一例を示す図である。

【図7】図７は、３次元情報に付加するか否かを入力する画像の一例を示す図である。

【図8】図８は、第１の実施形態に係る情報処理装置が実行するアノテーション処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、本開示に係る情報処理装置、アノテーション方法、及びプログラムの実施形態について説明する。

【0010】

（第１の実施形態）
図１は、第１の実施形態に係る情報処理装置１のハードウェア構成の一例を示す図である。情報処理装置１は、パーソナルコンピュータやサーバ装置などのコンピュータである。情報処理装置１は、３次元距離センサにより取得された３次元情報に対する物体検出の結果を付与する。

【0011】

ここで、３次元情報に含まれる物体を検出する物体検出（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）を行う学習済みモデルを生成するためには、数多くの教師データが必要になる。すなわち、物体検出の検出結果がアノテーションされた３次元情報が数多く必要になる。しかしながら、数多くの３次元情報に対して、アノテーション作業を行うことは煩雑である。

【0012】

そこで、情報処理装置１は、アノテーション作業の負担を軽減する。本実施形態では、道路などをスキャンした３次元画像に対して、３次元画像に含まれる車両の位置、車両の大きさ等の情報を付与するアノテーション作業の負担を軽減する場合を例について説明する。すなわち、本実施形態に係る情報処理装置１は、３次元画像から物体を検出し、検出した物体を囲うバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）をアノテーションする。

【0013】

情報処理装置１は、プロセッサ１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１、記憶部１２、通信部１３、表示部１４、及び操作部１５を備える。

【0014】

プロセッサ１０は、情報処理装置１を制御する。例えば、プロセッサ１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの処理回路である。なお、プロセッサ１０は、ＣＰＵに限らず、他の処理回路であってもよい。

【0015】

ＲＡＭ１１は、キャッシュまたはバッファなどとして使用される揮発性メモリである。プロセッサ１０は、特定のコンピュータプログラムを記憶部１２から読み出してＲＡＭ１１に展開することによって、各種機能を実現する。

【0016】

記憶部１２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記憶装置である。例えば、記憶部１２は、情報処理装置１が有する機能を実現するためのコンピュータプログラムを記憶する。

【0017】

通信部１３は、ネットワークを介して接続された装置と通信を実行する。例えば、通信部１３は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。

【0018】

表示部１４は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）などの表示装置である。

【0019】

操作部１５は、キーボードやマウスやタッチパネルなどの入力装置である。

【0020】

次に、第１の実施形態に係る情報処理装置１が有する機能について説明する。

【0021】

図２は、第１の実施形態に係る情報処理装置１の機能構成の一例を示すブロック図である。情報処理装置１のプロセッサ１０は、特定のコンピュータプログラムを記憶部１２から読み出してＲＡＭ１１に展開することによって、各種機能を実現する。更に詳しくは、情報処理装置１は、事前アノテーション部１１０、抽出部１１５、２次元画像取得部１２１、２次元物体検出部１２２、照合部１３０、及び補正部１４０を備える。

【0022】

事前アノテーション部１１０は、３次元情報に含まれる物体を検出する物体検出の検出結果を付与する。すなわち、事前アノテーション部１１０は、３次元情報に対して物体検出を実行することにより、３次元情報から検出した物体を囲うバウンディングボックスを３次元情報に付与する。さらに詳しくは、事前アノテーション部１１０は、３次元情報取得部１１１、３次元物体検出部１１２、領域調整部１１３、及び識別情報付与部１１４を備える。

【0023】

３次元情報取得部１１１は、３次元距離センサにより生成された３次元情報を取得する。３次元情報取得部１１１は、第１取得部の一例である。さらに詳しくは、３次元情報取得部１１１は、ＬｉＤＡＲなどの３次元距離センサによりスキャンされた３次元情報を取得する。３次元情報は、３次元距離センサによりスキャンされた空間上の物体の形状を、３次元座標を示す点により表現した情報である。また、３次元情報の各点には、３次元距離センサが物体を検出した強度が含まれる。

【0024】

例えば、３次元情報取得部１１１は、ネットワークを介して接続された装置から３次元情報を取得する。なお、３次元情報取得部１１１は、ＬｉＤＡＲに限らず、他の３次元距離センサによりスキャンされた３次元情報を取得してもよい。また、３次元情報取得部１１１は、情報処理装置１が３次元距離センサを有している場合には、３次元距離センサから３次元情報を取得してもよい。

【0025】

３次元物体検出部１１２は、３次元情報に含まれる物体を検出する物体検出を実行することにより、３次元情報に含まれる物体の領域である３次元検出ボックスＢ１を検出する。３次元物体検出部１１２は、第１検出部の一例である。すなわち、３次元物体検出部１１２は、３次元検出ボックスＢ１を３次元情報にアノテーションする。例えば、３次元物体検出部１１２は、３次元情報取得部１１１により取得された３次元情報を学習済みモデルに入力することにより物体検出を実行する。例えば、学習済みモデルは、ボクセルのＲＣＮＮ（Ｒｅｇｉｏｎ Ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）などである。また、３次元物体検出部１１２は、ＯｐｅｎＰＣＤｅｔなどの物体ごとの３次元情報が登録されたツールにより物体検出を実行してもよい。

【0026】

さらに詳しくは、３次元物体検出部１１２は、物体検出を実行することにより、検出した車両や歩行者などの物体を囲う３次元のバウンディングボックスである３次元検出ボックスＢ１を取得する。３次元検出ボックスＢ１には、３次元情報に含まれる物体の識別結果、物体の位置を示す座標、物体の大きさ等の情報が含まれる。

【0027】

図３は、３次元検出ボックスＢ１が付加された３次元情報の一例を示す図である。図３に示すように、３次元検出ボックスＢ１は、３次元情報から検出した物体の領域を示す情報である。言い換えると、３次元検出ボックスＢ１は、３次元情報が点群により示す車両などの物体を覆う立方体である。

【0028】

領域調整部１１３は、３次元検出ボックスＢ１が示す領域を、３次元検出ボックスＢ１内の物体に応じて調整する。ここで、３次元検出ボックスＢ１の領域と、物体の領域とが一致しない場合がある。例えば、３次元物体検出部１１２は、３次元情報から車両を検出したとする。この場合に、３次元物体検出部１１２は、一般的な車両の大きさに基づいて、３次元検出ボックスＢ１を設定する。日本には、比較的に小さい車両が多い。そのため、３次元物体検出部１１２が想定している車両の大きさと、３次元情報に含まれる車両の大きさと、が一致しないことがある。そこで、領域調整部１１３は、３次元情報に含まれる車両の大きさに一致するように、３次元検出ボックスＢ１の大きさを調整する。

【0029】

識別情報付与部１１４は、３次元物体検出部１１２により検出された物体に対して、物体のそれぞれを識別するための識別情報を付与する。言い換えると、識別情報付与部１１４は、３次元物体検出部１１２により設定された３次元検出ボックスＢ１に対して、３次元検出ボックスＢ１のそれぞれを識別するための識別情報を付与する。

【0030】

このようにして、事前アノテーション部１１０は、事前に３次元情報にアノテーションする。すなわち、事前アノテーション部１１０は、補正部１４０が補正を行う前に、３次元情報にアノテーションする。さらに詳しくは、事前アノテーション部１１０は、３次元物体検出部１１２が検出した３次元検出ボックスＢ１について、領域調整部１１３が領域を調整し、識別情報付与部１１４が識別情報を付与することにより３次元情報にアノテーションする。

【0031】

抽出部１１５は、大きさが調整された３次元検出ボックスＢ１から、２次元検出ボックスＢ３（図５参照）に対応する３次元照合領域Ｂ２を抽出する。図４は、３次元照合領域Ｂ２の一例を示す図である。図４に示す３次元検出ボックスＢ１は、車両の領域を示している。３次元照合領域Ｂ２は、３次元検出ボックスＢ１から抽出される領域であって、２次元画像から抽出された領域と照合する２次元の領域である。

【0032】

抽出部１１５は、大きさが調整された３次元検出ボックスＢ１から、断面又は面を３次元照合領域Ｂ２として抽出する。さらに詳しくは、抽出部１１５は、照合対象の２次元画像に応じて、３次元照合領域Ｂ２として抽出する断面又は面を特定する。

【0033】

例えば、図４に示すように物体を右側前方から撮像した２次元画像と照合する場合、抽出部１１５は、図４に示す３次元照合領域Ｂ２を抽出する。具体的には、抽出部１１５は、３次元検出ボックスＢ１の上面の頂点を繋ぐ対角線と、この対角線と平行であって３次元検出ボックスＢ１の底面の頂点を繋ぐ対角線と、を通る断面を３次元照合領域Ｂ２として抽出する。すなわち、抽出部１１５は、３次元検出ボックスＢ１の正面左上側の頂点と背面右上側の頂点とを繋ぐ対角線と、３次元検出ボックスＢ１の正面左下側の頂点と背面右下側の頂点とを繋ぐ対角線と、を通る断面を３次元照合領域Ｂ２として抽出する。

【0034】

また、物体を左側前方から撮像した２次元画像と照合する場合、抽出部１１５は、３次元検出ボックスＢ１の正面右上側の頂点と、背面左上側の頂点とを繋ぐ対角線と、３次元検出ボックスＢ１の正面右下側の頂点と、背面左下側の頂点とを繋ぐ対角線とを通る断面を３次元照合領域Ｂ２として抽出する。

【0035】

また、物体を前方から撮像した２次元画像と照合する場合、抽出部１１５は、３次元検出ボックスＢ１の正面を３次元照合領域Ｂ２として抽出する。

【0036】

２次元画像取得部１２１は、撮像部より撮像された２次元画像を取得する。２次元画像取得部１２１は、第２取得部の一例である。２次元画像は、２次元の画像データである。例えば、２次元画像取得部１２１は、ネットワークを介して接続された装置から２次元画像を取得する。また、２次元画像取得部１２１は、情報処理装置１が撮像部を有している場合には、撮像部から２次元画像を取得してもよい。

【0037】

２次元物体検出部１２２は、２次元画像に含まれる物体を検出する物体検出を実行することにより、２次元画像に含まれる物体の領域である２次元検出ボックスＢ３（図５参照）を検出する。２次元物体検出部１２２は、第２検出部の一例である。例えば、２次元物体検出部１２２は、２次元画像取得部１２１により取得された２次元画像を学習済みモデルに入力することにより物体検出を実行する。例えば、学習済みモデルは、２次元画像から、車両を斜め方向から撮像した画像、車両の正面の画像、車両の右側側面の画像、車両の左側側面の画像を検出した場合に、該当する車両の２次元物体検出情報を取得する。例えば、学習済みモデルは、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）などである。

【0038】

２次元物体検出部１２２は、物体検出を実行することにより、検出した車両や歩行者などの物体を囲う２次元のバウンディングボックスである２次元検出ボックスＢ３を取得する。２次元検出ボックスＢ３には、２次元画像に含まれる物体の識別結果、物体の位置を示す座標、物体の大きさが含まれる。

【0039】

図５は、２次元検出ボックスＢ３の一例を示す図である。図５に示すように、２次元検出ボックスＢ３は、２次元画像から検出した物体の領域を示す情報である。また、２次元検出ボックスＢ３は、３次元画像から抽出された３次元照合領域Ｂ２と照合する２次元の領域である。

【0040】

照合部１３０は、３次元物体検出部１１２による３次元検出ボックスＢ１と、２次元物体検出部１２２による２次元検出ボックスＢ３とを照合する。すなわち、照合部１３０は、３次元検出ボックスＢ１から抽出した３次元照合領域Ｂ２と、２次元検出ボックスＢ３とを照合する。さらに詳しくは、照合部１３０は、抽出部１１５により抽出された３次元照合領域Ｂ２と、一対一の関係を有する２次元検出ボックスＢ３を特定する。言い換えると、照合部１３０は、抽出部１１５により抽出された３次元照合領域Ｂ２に対応する２次元検出ボックスＢ３を特定する。

【0041】

照合部１３０は、抽出部１１５により抽出された３次元照合領域Ｂ２の中心点から、２次元物体検出部１２２により検出された複数の２次元検出ボックスＢ３のそれぞれの中心点までのユークリッド距離を得る。また、照合部１３０は、ユークリッド距離により、Ｈｕｎｇａｒｉａｎアルゴリズムのコスト行列を構築する。そして、照合部１３０は、３次元照合領域Ｂ２に対応する２次元検出ボックスＢ３を特定する。この処理を、照合部１３０は、抽出部１１５により抽出されたそれぞれの３次元照合領域Ｂ２に対して実行する。

【0042】

また、照合部１３０は、３次元照合領域Ｂ２と２次元検出ボックスＢ３との対応付けを検証する。そして、照合部１３０は、３次元照合領域Ｂ２と２次元検出ボックスＢ３との対応付けが不適切な場合に、誤検出リストを生成する。誤検出リストは、２次元検出ボックスＢ３と適合しない３次元照合領域Ｂ２のリストである誤検出リストを生成する。

【0043】

例えば、照合部１３０は、３次元照合領域Ｂ２の面積と２次元検出ボックスＢ３の面積とを比較することより、適切な対応付けであるか否かを判定する。さらに詳しくは、照合部１３０は、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）に基づいて、一対一の関係にある３次元照合領域Ｂ２と２次元検出ボックスＢ３との領域の重なり度合いを算出する。

【0044】

ここで、照合部１３０は、ユークリッド距離により対応付けているため、３次元照合領域Ｂ２の物体と２次元検出ボックスＢ３の物体とがそれぞれ異なっていても、３次元照合領域Ｂ２と２次元検出ボックスＢ３とを対応付けてしまう可能性がある。例えば、照合部１３０は、歩行者の３次元照合領域Ｂ２と、車両の２次元検出ボックスＢ３とを対応付けてしまう可能性がある。そこで、照合部１３０は、領域の重なり度合いにより異なる物体同士を対応付けていないかを判定する。

【0045】

照合部１３０は、領域の重なり度合いが閾値未満の場合に、３次元照合領域Ｂ２と２次元検出ボックスＢ３との対応付けは誤りであると判定する。照合部１３０は、対応付けは間違いと判定した場合に、判定対象の３次元照合領域Ｂ２を誤検出リストに登録する。この処理を、照合部１３０は、一対一の関係にある３次元照合領域Ｂ２と２次元検出ボックスＢ３とのそれぞれに対して実行する。

【0046】

さらに、照合部１３０は、抽出部１１５により抽出された３次元照合領域Ｂ２が、何れの２次元検出ボックスＢ３とも対応付けられなかった場合に、対応付けられなかった３次元照合領域Ｂ２を誤検出リストに加える。

【0047】

また、照合部１３０は、何れの３次元照合領域Ｂ２とも対応付けられなかった２次元検出ボックスＢ３が有る場合に、未検出リストに生成する。未検出リストは、照合する３次元照合領域Ｂ２が無い２次元検出ボックスＢ３のリストである。

【0048】

補正部１４０は、照合部１３０による照合結果に基づいて、事前アノテーション部１１０による事前アノテーションの結果を補正する。すなわち、補正部１４０は、誤検出リスト、及び未検出リストについて補正する。

【0049】

補正部１４０は、未検出リストに含まれる２次元検出ボックスＢ３に対応する３次元検出ボックスＢ１を３次元情報に付加する。さらに詳しくは、補正部１４０は、未検出リストの２次元検出ボックスＢ３内の画像に基づいて、車両の車種を特定可能であるか否かを判定する。

【0050】

補正部１４０は、車両の車種を特定可能な場合、未検出リストの２次元検出ボックスＢ３に含まれる物体の車種により特定される大きさの３次元検出ボックスＢ１を３次元情報に付加する。さらに詳しくは、補正部１４０は、未検出リストの２次元検出ボックスＢ３内の画像に含まれる車両の車種を特定する。車種とは、車両の種類を示す情報である。例えば、車種は、車検証の型式であってもよいし、車両保険における車種であってもよい。また、補正部１４０は、高さや奥行などの各車両の大きさに関する情報を有するデータベースなどから、特定した車両の大きさを示す情報を取得する。例えば、車両の大きさを示す情報は、車検証の車幅、車長、車高などの情報である。また、補正部１４０は、２次元検出ボックスＢ３内の画像に含まれる車両を示す点群を、３次元情報から特定する。そして、補正部１４０は、データベースから取得した車両の大きさに基づいて、３次元情報から特定した点群の位置に３次元検出ボックスＢ１を３次元情報に付加する。

【0051】

例えば、補正部１４０は、２次元検出ボックスＢ３内の画像が、車両の右側側面や左側側面などの車両の一部の場合、車両の車種を特定することができない。補正部１４０は、未検出リストの２次元検出ボックスＢ３に車両の側面が含まれているが、車種を特定することができない場合に、一般的な車両の大きさの３次元検出ボックスＢ１を３次元情報に付加する。さらに詳しくは、補正部１４０は、車両の車種を特定することができない場合、各車両の大きさに関する情報を有するデータベースなどから、一般的な車両の大きさを示す情報を取得する。また、補正部１４０は、２次元検出ボックスＢ３内の画像に含まれる車両を示す点群を、３次元情報から特定する。そして、補正部１４０は、データベースから取得した一般的な車両の大きさに基づいて、３次元情報から特定した点群の位置に３次元検出ボックスＢ１を３次元情報に付加する。一般的な車両の大きさは、事前に設定されていてもよいし、データベースに登録された各車両の大きさの平均値や中央値であってもよいし、他の方法により決定されたものであってもよい。

【0052】

このようにして、補正部１４０は、未検出リストの２次元検出ボックスＢ３内の画像に基づいて、車両の位置および車両の大きさを示す情報を３次元情報に付加する。

【0053】

また、補正部１４０は、未検出リストの２次元検出ボックスＢ３内の画像に含まれる車両を示す点群を強調して表示部１４に表示してもよい。図６は、車両を示す点群を強調表示した画像の一例を示す図である。例えば、補正部１４０は、未検出枠線Ｂ４で囲うことにより、車両を示す点群を強調して表示する。なお、補正部１４０は、未検出枠線Ｂ４で囲う方法に限らず、点群の色を変えることにより強調してもよいし、点群の点滅により強調してもよいし、他の方法により強調してもよい。

【0054】

補正部１４０は、誤検出リストの３次元検出ボックスＢ１が誤っているか否かの判断をユーザに求める。すなわち、補正部１４０は、３次元検出ボックスＢ１が誤っているか否かの操作を受け付ける。補正部１４０は、操作部の一例である。そして、補正部１４０は、受け付けた操作に基づいて、誤検出リストに含まれる３次元照合領域Ｂ２に対応する３次元検出ボックスＢ１を修正する。さらに詳しくは、補正部１４０は、誤検出リストの３次元検出ボックスＢ１を３次元情報に付加するか否かを入力する画像を表示部１４に表示する。

【0055】

図７は、３次元情報に付加するか否かを入力する画像の一例を示す図である。補正部１４０は、点群画像Ｒ１と、詳細情報表示領域Ｒ２とを表示部１４に表示する。点群画像Ｒ１は、誤検出リストの３次元照合領域Ｂ２を含む３次元情報を示す画像である。また、点群画像Ｒ１は、誤検出リストの３次元照合領域Ｂ２に含まれる車両などの物体を示す点群を強調する誤検出枠線Ｂ５を有する。

【0056】

補正部１４０は、誤検出枠線Ｂ５で囲うことにより、３次元照合領域Ｂ２を有する３次元検出ボックスＢ１の車両などの物体を示す点群を強調して表示する。なお、補正部１４０は、誤検出枠線Ｂ５で囲う方法に限らず、点群の色を変えることにより強調してもよいし、点群の点滅により強調してもよいし、他の方法により強調してもよい。

【0057】

詳細情報表示領域Ｒ２は、誤検出リストの３次元照合領域Ｂ２を有する３次元検出ボックスＢ１に含まれ点群の詳細な情報を表示する領域である。例えば、詳細情報表示領域Ｒ２は、３次元検出ボックスＢ１に含まれ点群が示す車両の高さや奥行などの大きさや、位置などの情報を表示する領域である。

【0058】

さらに、補正部１４０は、点群画像Ｒ１に重畳して、メッセージＭ１と、はいボタンＭ２と、いいえボタンＭ３とを表示する。例えば、メッセージＭ１は、「間違い？」などにより誤検出であるか否かの判断をユーザに求める文章である。はいボタンＭ２は、事前アノテーション部１１０による検出が誤検出であることを示す操作を受け付けるボタンである。いいえボタンＭ３は、事前アノテーション部１１０による検出が誤検出ではないことを示す操作を受け付けるボタンである。

【0059】

補正部１４０は、はいボタンＭ２が押下された場合に、強調表示を維持する。強調表示を維持することにより、補正部１４０は、作業者によるアノテーション作業において調整を求める。補正部１４０は、いいえボタンＭ３が押下された場合に、点群の表示を元の状態に戻す。すなわち、補正部１４０は、点群の強調表示を削除する。これにより、補正部１４０は、作業者によるアノテーション作業において調整が不要な状態にする。

【0060】

このように、補正部１４０は、誤検出リスト、及び未検出リストについて補正することで、事前アノテーション部１１０によるアノテーション結果を補正する。

【0061】

次に、情報処理装置１が実行するアノテーション処理の流れについて説明する。

【0062】

図８は、第１の実施形態に係る情報処理装置１が実行するアノテーション処理の一例を示すフローチャートである。

【0063】

３次元情報取得部１１１は、ＬｉＤＡＲなどの３次元距離センサによりスキャンされた３次元情報を取得する（ステップＳ１）。

【0064】

３次元物体検出部１１２は、３次元情報に対して物体検出を実行することにより、３次元情報から検出した物体のそれぞれを囲う３次元検出ボックスＢ１を検出する（ステップＳ２）。

【0065】

領域調整部１１３は、３次元検出ボックスＢ１の物体に基づいて、３次元検出ボックスＢ１の領域を調整する（ステップＳ３）。

【0066】

識別情報付与部１１４は、３次元検出ボックスＢ１のそれぞれに識別情報を付加する（ステップＳ４）。

【0067】

抽出部１１５は、３次元検出ボックスＢ１から、断面又は面を３次元照合領域Ｂ２として抽出する（ステップＳ５）。

【0068】

２次元画像取得部１２１は、撮影部より撮影された２次元画像を取得する（ステップＳ６）。

【0069】

２次元物体検出部１２２は、２次元画像に含まれる物体を検出する物体検出を実行することにより、２次元画像から検出した物体のそれぞれを覆う２次元検出ボックスＢ３を検出する（ステップＳ７）。

【0070】

照合部１３０は、３次元照合領域Ｂ２と、２次元検出ボックスＢ３とを照合する（ステップＳ８）。これにより、照合部１３０は、誤検出リストと未検出リストとを生成する。

【0071】

補正部１４０は、誤検出リストと未検出リストとの少なくも一方に基づいて補正が必要であるか否かを判定する（ステップＳ９）。補正が不要な場合に（ステップＳ９；Ｎｏ）、情報処理装置１は、アノテーション処理を終了する。

【0072】

一方、誤検出リストと未検出リストとの少なくも一方に基づいて補正が必要な場合に（ステップＳ９；Ｙｅｓ）、補正部１４０は、事前アノテーション部１１０によるアノテーション結果を補正する（ステップＳ１０）。

【0073】

以上により、情報処理装置１は、アノテーション処理を終了する。

【0074】

以上のように、第１の実施形態に係る情報処理装置１は、３次元距離センサにより生成された３次元情報に含まれる物体の領域である３次元検出ボックスＢ１を検出する。また、情報処理装置１は、撮影部より撮影された２次元画像に含まれる物体の領域である２次元検出ボックスＢ３を検出する。そして、情報処理装置１は、３次元検出ボックスＢ１と、２次元検出ボックスＢ３との照合結果に基づいて、事前に実行したアノテーション結果を補正する。

【0075】

このように、情報処理装置１は、事前に物体検出を実行することにより、検出結果をアノテーションする。そして、情報処理装置１は、アノテーション結果と、２次元画像から検出した２次元検出ボックスＢ３と基づいて、アノテーション結果に不具合が含まれる可能性がある場合に、アノテーション結果を補正する。これにより、ユーザは、アノテーション作業の全部ではなく、一部を行えばよい。したがって、情報処理装置１は、アノテーション作業にかかる負担を軽減することができる。

【0076】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0077】

１ 情報処理装置
１０ プロセッサ
１１ ＲＡＭ（Random Access Memory）
１２ 記憶部
１３ 通信部
１４ 表示部
１５ 操作部
１１０ 事前アノテーション部
１１１ ３次元情報取得部
１１２ ３次元物体検出部
１１３ 領域調整部
１１４ 識別情報付与部
１１５ 抽出部
１２１ ２次元画像取得部
１２２ ２次元物体検出部
１３０ 照合部
１４０ 補正部
Ｂ１ ３次元検出ボックス
Ｂ２ ３次元照合領域
Ｂ３ ２次元検出ボックス
Ｂ４ 未検出枠線
Ｂ５ 誤検出枠線
Ｒ１ 点群画像
Ｒ２ 詳細情報表示領域
Ｍ１ メッセージ
Ｍ２ はいボタン
Ｍ３ いいえボタン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】