知財求人 - 知財ポータルサイト「IP Force」
特開2024-172028情報処理プログラム、情報処理装置、および情報処理方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024172028
(43)【公開日】2024-12-12
(54)【発明の名称】情報処理プログラム、情報処理装置、および情報処理方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20241205BHJP
G06T 7/70 20170101ALI20241205BHJP
【ＦＩ】
G06T7/00 350B
G06T7/70 A
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023089443
(22)【出願日】2023-05-31
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】高橋 俊裕
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096AA09
5L096CA04
5L096EA33
5L096FA01
5L096FA09
5L096FA33
5L096FA34
5L096FA66
5L096FA67
5L096FA69
5L096GA51
5L096HA05
5L096KA04
(57)【要約】
【課題】高精度な学習に適した学習データの提供を支援する。
【解決手段】情報処理プログラムは、画像データを取得する画像取得ステップと、画像データに対する時間的要素および空間的要素の少なくとも一方の時間的空間的誤差を校正するために用いる校正パラメータが不明であり時間的空間的誤差が未校正の、複数の点の各々ごとに奥行情報が規定された点群データを取得する点群取得ステップと、画像データと点群データとを含む学習データごとに校正パラメータを算出する校正パラメータ算出ステップと、校正パラメータに基づいて校正パラメータの算出に用いた学習データの有効性を判定する判定ステップと、コンピュータに実行させるための情報処理プログラムである。
【選択図】図１
【解決手段】情報処理プログラムは、画像データを取得する画像取得ステップと、画像データに対する時間的要素および空間的要素の少なくとも一方の時間的空間的誤差を校正するために用いる校正パラメータが不明であり時間的空間的誤差が未校正の、複数の点の各々ごとに奥行情報が規定された点群データを取得する点群取得ステップと、画像データと点群データとを含む学習データごとに校正パラメータを算出する校正パラメータ算出ステップと、校正パラメータに基づいて校正パラメータの算出に用いた学習データの有効性を判定する判定ステップと、コンピュータに実行させるための情報処理プログラムである。
【選択図】図１
【特許請求の範囲】
【請求項1】
画像データを取得する画像取得ステップと、
前記画像データに対する時間的要素および空間的要素の少なくとも一方の時間的空間的誤差を校正するために用いる校正パラメータが不明であり前記時間的空間的誤差が未校正の、複数の点の各々ごとに奥行情報が規定された点群データを取得する点群取得ステップと、
前記画像データと前記点群データとを含む学習データごとに前記校正パラメータを算出する校正パラメータ算出ステップと、
前記校正パラメータに基づいて、前記校正パラメータの算出に用いた前記学習データの有効性を判定する判定ステップと、
をコンピュータに実行させるための情報処理プログラム。
前記画像データに対する時間的要素および空間的要素の少なくとも一方の時間的空間的誤差を校正するために用いる校正パラメータが不明であり前記時間的空間的誤差が未校正の、複数の点の各々ごとに奥行情報が規定された点群データを取得する点群取得ステップと、
前記画像データと前記点群データとを含む学習データごとに前記校正パラメータを算出する校正パラメータ算出ステップと、
前記校正パラメータに基づいて、前記校正パラメータの算出に用いた前記学習データの有効性を判定する判定ステップと、
をコンピュータに実行させるための情報処理プログラム。
【請求項2】
前記校正パラメータ算出ステップは、
前記校正パラメータおよび前記校正パラメータによって表される前記時間的空間的誤差の大きさを表す誤差評価値を算出し、
前記判定ステップは、
前記誤差評価値が高いほど、より低い前記有効性を判定する、
請求項１に記載の情報処理プログラム。
前記校正パラメータおよび前記校正パラメータによって表される前記時間的空間的誤差の大きさを表す誤差評価値を算出し、
前記判定ステップは、
前記誤差評価値が高いほど、より低い前記有効性を判定する、
請求項１に記載の情報処理プログラム。
【請求項3】
前記校正パラメータ算出ステップは、
前記点群データを取得した測距センサおよび前記画像データを撮影した撮影センサの各々の、位置姿勢、相対角度、相対距離、角速度、および速度、のうち少なくとも１つ以上に基づいて、前記学習データに含まれる前記画像データと前記点群データとの間の取得タイミングのずれを示す時間オフセットを前記校正パラメータとして算出する、
請求項１に記載の情報処理プログラム。
前記点群データを取得した測距センサおよび前記画像データを撮影した撮影センサの各々の、位置姿勢、相対角度、相対距離、角速度、および速度、のうち少なくとも１つ以上に基づいて、前記学習データに含まれる前記画像データと前記点群データとの間の取得タイミングのずれを示す時間オフセットを前記校正パラメータとして算出する、
請求項１に記載の情報処理プログラム。
【請求項4】
前記校正パラメータ算出ステップは、
前記画像データを構成する画素を、該画像データと同じタイミングで取得されたと推測される前記点群データの取得時の測距センサの姿勢情報を用いて、前記学習データに含まれる該画像データまたは該画像データ以外の他の画像データ上に再投影した再投影画素と、該画像データを構成する画素と、の距離、画素値の差、および画素の特徴量の差、の少なくとも１つを表す再投影誤差に基づいて、
前記学習データに含まれる前記画像データと前記点群データとの間の取得タイミングのずれを示す時間オフセット、前記画像データを撮影した撮影センサの構造を示す内部パラメータ、および前記撮影センサと前記測距センサとの間の空間的な関係性を示す外部パラメータ、の少なくとも１つを含む前記校正パラメータを算出する、
請求項１に記載の情報処理プログラム。
前記画像データを構成する画素を、該画像データと同じタイミングで取得されたと推測される前記点群データの取得時の測距センサの姿勢情報を用いて、前記学習データに含まれる該画像データまたは該画像データ以外の他の画像データ上に再投影した再投影画素と、該画像データを構成する画素と、の距離、画素値の差、および画素の特徴量の差、の少なくとも１つを表す再投影誤差に基づいて、
前記学習データに含まれる前記画像データと前記点群データとの間の取得タイミングのずれを示す時間オフセット、前記画像データを撮影した撮影センサの構造を示す内部パラメータ、および前記撮影センサと前記測距センサとの間の空間的な関係性を示す外部パラメータ、の少なくとも１つを含む前記校正パラメータを算出する、
請求項１に記載の情報処理プログラム。
【請求項5】
前記校正パラメータ算出ステップは、
前記点群データにより観測される物体の位置情報と、前記画像データにより観測される前記物体の位置情報と、の差分に基づいて、前記学習データに含まれる前記画像データと前記点群データとの間の取得タイミングのずれを示す時間オフセット、前記画像データを撮影した撮影センサの構造を示す内部パラメータ、および前記撮影センサと前記点群データを取得した測距センサとの間の空間的な関係性を示す外部パラメータ、の少なくとも１つを含む前記校正パラメータを算出する、
請求項１に記載の情報処理プログラム。
前記点群データにより観測される物体の位置情報と、前記画像データにより観測される前記物体の位置情報と、の差分に基づいて、前記学習データに含まれる前記画像データと前記点群データとの間の取得タイミングのずれを示す時間オフセット、前記画像データを撮影した撮影センサの構造を示す内部パラメータ、および前記撮影センサと前記点群データを取得した測距センサとの間の空間的な関係性を示す外部パラメータ、の少なくとも１つを含む前記校正パラメータを算出する、
請求項１に記載の情報処理プログラム。
【請求項6】
前記校正パラメータ算出ステップは、
前記誤差評価値に基づいて、前記誤差評価値によって表される前記時間的空間的誤差が大きいほど低い、前記学習データに対する信頼度を更に算出する、
請求項２に記載の情報処理プログラム。
前記誤差評価値に基づいて、前記誤差評価値によって表される前記時間的空間的誤差が大きいほど低い、前記学習データに対する信頼度を更に算出する、
請求項２に記載の情報処理プログラム。
【請求項7】
前記判定ステップの判定結果を出力する出力制御ステップ、
を含む請求項１に記載の情報処理プログラム。
を含む請求項１に記載の情報処理プログラム。
【請求項8】
前記有効性が所定値以上の前記学習データに含まれる前記画像データおよび前記点群データの少なくとも一方を、該学習データから算出された前記校正パラメータによって校正する校正ステップと、
校正された前記学習データに基づいて、前記画像データから前記画像データを構成する画素ごとの推定奥行情報を出力する学習モデルを学習する学習ステップと、
を含む請求項１に記載の情報処理プログラム。
校正された前記学習データに基づいて、前記画像データから前記画像データを構成する画素ごとの推定奥行情報を出力する学習モデルを学習する学習ステップと、
を含む請求項１に記載の情報処理プログラム。
【請求項9】
前記学習ステップは、
前記有効性が所定値以上の校正された前記学習データに含まれる前記画像データを前記学習モデルに入力し、
前記学習モデルから出力される画素ごとの推定奥行情報と校正された前記学習データに含まれる前記点群データによって規定される点ごとの奥行情報との誤差が最小化されるように前記学習モデルのパラメータを調整する、
請求項８に記載の情報処理プログラム。
前記有効性が所定値以上の校正された前記学習データに含まれる前記画像データを前記学習モデルに入力し、
前記学習モデルから出力される画素ごとの推定奥行情報と校正された前記学習データに含まれる前記点群データによって規定される点ごとの奥行情報との誤差が最小化されるように前記学習モデルのパラメータを調整する、
請求項８に記載の情報処理プログラム。
【請求項10】
前記学習ステップは、
校正された前記学習データに含まれる前記画像データを学習モデルに入力し、前記学習モデルから出力される画素ごとの推定奥行情報と校正された前記学習データに含まれる点群データによって規定される点ごとの奥行情報との誤差を算出し、
前記学習データから算出された前記校正パラメータによって表される前記時間的空間的誤差が小さいほど高い信頼度に応じて前記誤差を重み付けした重み付け誤差が最小化されるように前記学習モデルのパラメータを調整する、
請求項９に記載の情報処理プログラム。
校正された前記学習データに含まれる前記画像データを学習モデルに入力し、前記学習モデルから出力される画素ごとの推定奥行情報と校正された前記学習データに含まれる点群データによって規定される点ごとの奥行情報との誤差を算出し、
前記学習データから算出された前記校正パラメータによって表される前記時間的空間的誤差が小さいほど高い信頼度に応じて前記誤差を重み付けした重み付け誤差が最小化されるように前記学習モデルのパラメータを調整する、
請求項９に記載の情報処理プログラム。
【請求項11】
前記学習ステップは、
前記校正パラメータによって表される前記時間的空間的誤差が小さいほど高い信頼度の大きさに従って前記学習データの順列を生成し、前記順列に従って前記学習データに含まれる前記画像データを前記学習モデルに入力する、
請求項８に記載の情報処理プログラム。
前記校正パラメータによって表される前記時間的空間的誤差が小さいほど高い信頼度の大きさに従って前記学習データの順列を生成し、前記順列に従って前記学習データに含まれる前記画像データを前記学習モデルに入力する、
請求項８に記載の情報処理プログラム。
【請求項12】
画像データを取得する画像取得部と、
前記画像データに対する時間的要素および空間的要素の少なくとも一方の時間的空間的誤差を校正するために用いる校正パラメータが不明であり前記時間的空間的誤差が未校正の、複数の点の各々ごとに奥行情報が規定された点群データを取得する点群取得部と、
前記画像データと前記点群データとを含む学習データごとに前記校正パラメータを算出する校正パラメータ算出部と、
前記校正パラメータに基づいて、前記校正パラメータの算出に用いた前記学習データの有効性を判定する判定部と、
を備える情報処理装置。
前記画像データに対する時間的要素および空間的要素の少なくとも一方の時間的空間的誤差を校正するために用いる校正パラメータが不明であり前記時間的空間的誤差が未校正の、複数の点の各々ごとに奥行情報が規定された点群データを取得する点群取得部と、
前記画像データと前記点群データとを含む学習データごとに前記校正パラメータを算出する校正パラメータ算出部と、
前記校正パラメータに基づいて、前記校正パラメータの算出に用いた前記学習データの有効性を判定する判定部と、
を備える情報処理装置。
【請求項13】
画像データを取得する画像取得ステップと、
前記画像データに対する時間的要素および空間的要素の少なくとも一方の時間的空間的誤差を校正するために用いる校正パラメータが不明であり前記時間的空間的誤差が未校正の、複数の点の各々ごとに奥行情報が規定された点群データを取得する点群取得ステップと、
前記画像データと前記点群データとを含む学習データごとに前記校正パラメータを算出する校正パラメータ算出ステップと、
前記校正パラメータに基づいて、前記校正パラメータの算出に用いた前記学習データの有効性を判定する判定ステップと、
を含む情報処理方法。
前記画像データに対する時間的要素および空間的要素の少なくとも一方の時間的空間的誤差を校正するために用いる校正パラメータが不明であり前記時間的空間的誤差が未校正の、複数の点の各々ごとに奥行情報が規定された点群データを取得する点群取得ステップと、
前記画像データと前記点群データとを含む学習データごとに前記校正パラメータを算出する校正パラメータ算出ステップと、
前記校正パラメータに基づいて、前記校正パラメータの算出に用いた前記学習データの有効性を判定する判定ステップと、
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、情報処理プログラム、情報処理装置、および情報処理方法に関する。
【背景技術】
【0002】
１視点から撮影された画像データと各画素の奥行情報とから構成される複数の学習データからなる学習データセットからその関係性を学習し、１視点の画像データから各画素の奥行情報を推定する技術が提案されている。学習には、撮影センサによって撮影された画像データと、測距センサによって測距された画素ごとに奥行情報を規定した点群データと、の時間的要素および空間的要素の対応関係が正確となるように校正された学習データを用いる必要がある。そこで、校正パラメータを用いて学習データを校正する技術が開示されている。
【0003】
しかし、従来技術では、校正パラメータを用いても校正しきれない時間的空間的誤差を有する学習データについても校正パラメータを用いて校正し学習に用いており、学習精度が低下する場合があった。すなわち、従来技術では、高精度な学習に適した学習データの提供を支援することは困難であった。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特表２０２２－５４３０１７号公報
【非特許文献】
【0005】
【非特許文献1】Park, Chanoh, et al. "Spatiotemporal camera-LiDAR calibration: A targetless and structureless approach." IEEE Robotics and Automation Letters 5.2 (2020): 1556-1563.
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明が解決しようとする課題は、高精度な学習に適した学習データを提供可能な、情報処理プログラム、情報処理装置、および情報処理方法を提供することである。
【課題を解決するための手段】
【0007】
実施形態の情報処理プログラムは、画像データを取得する画像取得ステップと、前記画像データに対する時間的要素および空間的要素の少なくとも一方の時間的空間的誤差を校正するために用いる校正パラメータが不明であり前記時間的空間的誤差が未校正の、複数の点の各々ごとに奥行情報が規定された点群データを取得する点群取得ステップと、前記画像データと前記点群データとを含む学習データごとに前記校正パラメータを算出する校正パラメータ算出ステップと、前記校正パラメータに基づいて、前記校正パラメータの算出に用いた前記学習データの有効性を判定する判定ステップと、をコンピュータに実行させるための情報処理プログラムである。
【図面の簡単な説明】
【0008】
【図1】情報処理システムの模式図。
【図2A】時間オフセットの適用前の波形の模式図。
【図2B】時間オフセットの適用後の波形の模式図。
【図3】再投影誤差のイメージ図。
【図4A】校正パラメータの適用前の位置の軌跡のイメージ図。
【図4B】校正パラメータの適用後の位置の軌跡のイメージ図。
【図5】学習データの有効性判定処理の流れを示すフローチャート。
【図6】学習処理の流れを示すフローチャート。
【図7】ハードウェア構成図。
【発明を実施するための形態】
【0009】
以下に添付図面を参照して、情報処理プログラム、情報処理装置、および情報処理方法を詳細に説明する。
【0010】
図１は、本実施形態の情報処理システム１の一例の模式図である。
【0011】
情報処理システム１は、情報処理装置１０と、ＵＩ（ユーザ・インターフェース）部１２と、撮影センサ１４と、測距センサ１６と、を備える。情報処理装置１０と、ＵＩ部１２、撮影センサ１４、および測距センサ１６とは、バス１８等を介して通信可能に接続されている。
【0012】
ＵＩ部１２は、表示機能と、入力機能と、を有する。表示機能は、各種の情報を表示する。表示機能は、例えば、ディスプレイ、投影装置、などである。入力機能は、ユーザによる操作入力を受付ける。入力機能は、例えば、マウスおよびタッチパッドなどのポインティングデバイス、キーボード、などである。表示機能と入力機能とを一体的に構成したタッチパネルとしてもよい。
【0013】
撮影センサ１４は、１視点からの撮影によって画像データを得る単焦点のカメラである。撮影センサ１４は、時系列に沿って撮影した画像データを情報処理装置１０へ順次出力する。
【0014】
測距センサ１６は、実空間における測距範囲の複数の点の各々ごとに奥行情報が規定された点群データを得る。測距センサ１６は、例えば、レーザセンサ、レーダセンサ、ミリ波センサ等である。測距センサ１６は、時系列に沿った測距によって得られた点群データを、情報処理装置１０へ順次出力する。
【0015】
撮影センサ１４の撮影範囲と測距センサ１６の測距範囲とは少なくとも一部が重複するように予め調整されている。なお、撮影センサ１４の撮影範囲と測距センサ１６の測距範囲とは一致することが好ましい。
【0016】
情報処理装置１０は、画像データと点群データとを含む学習データの有効性判定、および学習モデルの学習等の処理を実行する。
【0017】
情報処理装置１０は、記憶部２０と、通信部２２と、処理部２４と、を備える。記憶部２０、通信部２２、ＵＩ部１２、撮影センサ１４、および測距センサ１６と、処理部２４とは、通信可能に接続されている。
【0018】
記憶部２０は、各種のデータを記憶する。通信部２２は、ネットワーク等を介して外部の情報処理装置等と通信するための通信インターフェースである。
【0019】
記憶部２０、ＵＩ部１２、撮影センサ１４、および測距センサ１６は、有線または無線で処理部２４に通信可能に接続された構成であればよい。例えば、記憶部２０、ＵＩ部１２、撮影センサ１４、および測距センサ１６の少なくとも１つと処理部２４とをネットワーク等を介して接続してもよい。
【0020】
また、記憶部２０は、情報処理装置１０の外部に設けられていてもよい。また、記憶部２０、および後述する処理部２４に含まれる１または複数の機能部の少なくとも１つを、ネットワーク等を介して処理部２４に通信可能に接続された外部の情報処理装置に搭載した構成としてもよい。
【0021】
処理部２４は、情報処理装置１０において情報処理を実行する。処理部２４は、画像取得部２４Ａと、点群取得部２４Ｂと、校正パラメータ算出部２４Ｃと、判定部２４Ｄと、出力制御部２４Ｅと、校正部２４Ｆと、学習部２４Ｇと、を有する。
【0022】
画像取得部２４Ａ、点群取得部２４Ｂ、校正パラメータ算出部２４Ｃ、判定部２４Ｄ、出力制御部２４Ｅ、校正部２４Ｆ、および学習部２４Ｇは、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Central Processing Unit）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣなどのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。
【0023】
画像取得部２４Ａは、画像データを取得する。画像取得部２４Ａは、撮影センサ１４から順次出力される画像データを順次取得する。
【0024】
点群取得部２４Ｂは、点群データを取得する。点群取得部２４Ｂは、測距センサ１６から順次出力される点群データを順次取得する。
【0025】
点群データとは、上述したように、複数の点の各々ごとに奥行情報が規定されたデータである。奥行情報とは、測距センサ１６から実空間の要素である点までの距離を表す情報である。点群データを構成する複数の点の各々は、それぞれ、画像データを構成する何れかの画素に対応する。
【0026】
点群取得部２４Ｂが取得する点群データは、校正パラメータが不明であり、時間的空間的誤差が未校正の点群データである。すなわち、点群取得部２４Ｂは、校正パラメータが不明であり、且つ時間的空間的誤差が未校正の点群データを取得する。
【0027】
校正パラメータとは、画像データに対する時間的要素および空間的要素の少なくとも一方の時間的空間的誤差を校正するために用いるパラメータである。本実施形態では、校正パラメータは、時間的空間的誤差を表すものとして説明する。
【0028】
時間的要素の時間的空間的誤差とは、画像データと点群データとの取得タイミングのずれを表す時間オフセットを意味する。画像データの取得タイミングとは、画像取得部２４Ａが撮影センサ１４から該画像データを取得したタイミングを意味する。点群データの取得タイミングとは、点群取得部２４Ｂが測距センサ１６から該点群データを取得したタイミングを意味する。なお、画像データの取得タイミングは、撮影センサ１４が該画像データを撮影した撮影タイミングであってもよい。また、この場合、点群データの取得タイミングは、測距センサ１６が該点群データを測距した測距タイミングであってもよい。
【0029】
時間オフセットは、画像取得部２４Ａおよび点群取得部２４Ｂの各々の収集開始時刻および取得の更新速度のずれ等によって表される。収集開始時刻とは、画像取得部２４Ａおよび点群取得部２４Ｂの各々が、画像データおよび点群データの各々の取得をそれぞれ開始した時刻を表す。更新速度とは、画像取得部２４Ａおよび点群取得部２４Ｂの各々が画像データおよび点群データをそれぞれ取得する速度を表す。
【0030】
すなわち、時間的要素の時間的空間的誤差を校正するために用いる校正パラメータが不明であるとは、画像取得部２４Ａおよび点群取得部２４Ｂの各々の収集開始時刻および取得の更新速度のずれが不明であることを表す。また、時間的要素の時間的空間的誤差が未校正であるとは、画像データおよび点群データの少なくとも一方に対する、画像取得部２４Ａおよび点群取得部２４Ｂの各々の収集開始時刻および取得の更新速度のずれが未校正であることを意味する。
【0031】
空間的要素の時間的空間的誤差とは、画像データを構成する画素と点群データを構成する点との空間的な対応関係が不明、および対応関係にずれがある、の少なくとも一方を表す。空間的な対応関係は、撮影センサ１４の物理的な構造を表す内部パラメータと、撮影センサ１４と測距センサ１６とのセンサ間の空間的且つ相対的な位置関係の関係性を表す外部パラメータと、によって表される。
【0032】
すなわち、空間的要素の時間的空間的誤差を校正するために用いる校正パラメータが不明であるとは、上記内部パラメータおよび上記外部パラメータの少なくとも一方が不明であることを表す。また、空間的要素の時間的空間的誤差が未校正であるとは、点群データを構成する複数の点の各々と、画像データを構成する複数の画素の各々と、の正確な対応付けがなされていないことを意味する。正確な対応づけがなされた状態である場合、画像データを構成する複数の画素の各々と、点群データを構成する複数の点の各々とは、画素と点との対ごとに、実空間における同じ対象の同じ箇所の同じタイミングにおける要素を示すものとなる。
【0033】
ここで、撮影センサ１４と測距センサ１６とがハードウェア的に同期している場合には、画像取得部２４Ａおよび点群取得部２４Ｂは、撮影センサ１４および測距センサ１６の各々から同期された時刻の画像データと点群データとを取得することができる。また、撮影センサ１４および測距センサ１６の設計上の理由等からこれらのセンサをハードウェア的に同期させることが困難である場合には、画像取得部２４Ａおよび点群取得部２４Ｂは、撮影センサ１４および測距センサ１６の各々から得られるタイムスタンプを基準に、同期された画像データと点群データとを取得することが可能となる。しかし、撮影センサ１４および測距センサ１６の各々のタイムスタンプには、気温やＧＰＳ（Global Positioning System）の受信状況等によって誤差が生じる場合がある。このため、点群データには、このような時間的要素によって表される時間的空間的誤差が含まれる場合や、該時間的空間的誤差が不明の場合がある。
【0034】
また、画像データを構成する複数の画素の各々と、点群データを構成する複数の点の各々とを、実空間における同じ要素を示すように対応付けするためには、撮影センサ１４の物理的な構造を表す内部パラメータと、撮影センサ１４と測距センサ１６とのセンサ間の空間的且つ相対的な位置関係を表す外部パラメータとを用いて対応付けを行う必要がある。しかし、このような内部パラメータおよび外部パラメータの少なくとも一方が不明な場合がある。すなわち、点群データには、このような内部パラメータおよび外部パラメータによって表される空間的要素の時間的空間的誤差が含まれる場合や、該時間的区間的誤差が不明の場合がある。
【0035】
点群取得部２４Ｂは、このような時間的空間的誤差を校正するために用いる校正パラメータが不明であり、時間的空間的誤差が未校正の点群データを取得する。
【0036】
校正パラメータ算出部２４Ｃは、画像データと点群データとを含む学習データごとに校正パラメータを算出する。
【0037】
本実施形態では、校正パラメータ算出部２４Ｃは、画像取得部２４Ａおよび点群取得部２４Ｂの各々で取得した、時系列に沿った１シーケンス分の複数の画像データおよび複数の点群データからなる群を、学習データとして取得する。
【0038】
シーケンスとは、予め定めた所定時間である。所定時間は、例えば、１０秒、２０秒などであるが、この時間に限定されない。すなわち、校正パラメータ算出部２４Ｃは、１シーケンスの間に画像取得部２４Ａおよび点群取得部２４Ｂの各々で取得した時系列に連続する複数の画像データおよび複数の点群データを、学習データとして取得する。なお、校正パラメータ算出部２４Ｃは、１つの画像データと１つの点群データとの対を学習データとして用いてもよく、１シーケンス分の画像データおよび点群データを学習データとして取得する形態に限定されない。
【0039】
本実施形態では、校正パラメータ算出部２４Ｃは、学習データごとに、校正パラメータおよび該校正パラメータによって表される時間的空間的誤差の大きさを表す誤差評価値を算出する。
【0040】
例えば、校正パラメータ算出部２４Ｃは、以下の第１の算出方法～第３の算出方法の３つの算出方法の何れかを用いて校正パラメータおよび誤差評価値を算出する。
【0041】
まず、第１の算出方法について説明する。
【0042】
第１の算出方法では、校正パラメータ算出部２４Ｃは、撮影センサ１４と測距センサ１６の各々の位置姿勢、相対角度、相対距離、角速度、速度、の内の少なくとも１つ以上に基づいて、学習データに含まれる画像データと点群データとの間の取得タイミングのずれを示す時間オフセットを校正パラメータとして算出する。また、校正パラメータ算出部２４Ｃは、算出した校正パラメータの誤差評価値を算出する。
【0043】
詳細には、校正パラメータ算出部２４Ｃは、画像取得部２４Ａおよび点群取得部２４Ｂの各々の収集開始時刻と取得の更新速度を推定することにより、時間オフセットを算出する。
【0044】
具体的には、校正パラメータ算出部２４Ｃは、学習データを構成する時系列の複数の画像データおよび複数の点群データについて、例えばＶＯ（Visual Odometry）やＬＯ（LiDAR Odometry）から取得した軌跡を位置合わせすることで、それぞれのデータの対応を求め、おおまかな時間オフセットを算出する。そして、校正パラメータ算出部２４Ｃは、算出したおおまかな時間オフセットから、画像取得部２４Ａと点群取得部２４Ｂの収集開始時刻および取得の更新速度の初期値を求める。校正パラメータ算出部２４Ｃは、おおまかな時間オフセットから収集開始時刻および取得の更新速度の初期値を生成し、生成した該初期値を、後述する校正パラメータの算出に用いる。
【0045】
次に、校正パラメータ算出部２４Ｃは、ＶＯとＬＯから、撮影センサ１４と測距センサ１６の各々の位置姿勢、相対角度、相対距離、角速度、速度、の内の少なくとも１つ以上を求める。
【0046】
校正パラメータ算出部２４Ｃは、点群データを取得した測距センサ１６の、位置姿勢、相対角度、相対距離、角速度、および速度、のうち少なくとも１つ以上を求める。測距センサ１６の相対角度および相対距離とは、学習データを構成する時系列の複数の点群データの各々の測距時の測距センサ１６の、１つ前のタイミングで取得した点群データの測距時の測距センサ１６に対する相対的な角度および相対的な距離を意味する。
【0047】
校正パラメータ算出部２４Ｃは、ＬＯから取得した時系列の位置姿勢情報によって、点群データを取得した測距センサ１６の、位置姿勢、相対角度、相対距離、角速度、および速度、のうち少なくとも１つ以上を求めればよい。
【0048】
同様に、校正パラメータ算出部２４Ｃは、画像データを撮影した撮影センサ１４の、位置姿勢、相対角度、相対距離、角速度、および速度、のうち少なくとも１つ以上を求める。撮影センサ１４の相対角度および相対距離とは、学習データを構成する時系列の複数の画像データの各々の撮影時の撮影センサ１４の、１つ前のタイミングで取得した画像データの撮影時の撮影センサ１４に対する相対的な角度および相対的な距離を意味する。
【0049】
校正パラメータ算出部２４Ｃは、ＶＯから取得した時系列の位置姿勢情報によって、画像データを取得した撮影センサ１４の、位置姿勢、相対角度、相対距離、角速度、および速度、のうち少なくとも１つ以上を求めればよい。
【0050】
そして、校正パラメータ算出部２４Ｃは、画像取得部２４Ａおよび点群取得部２４Ｂによる更新速度が同じとなるように、撮影センサ１４または測距センサ１６の時系列の位置姿勢、相対角度、相対距離、角速度、および速度、のうち少なくとも１つ以上を補完する。補完するとは、画像取得部２４Ａおよび点群取得部２４Ｂによる更新速度が同じとなるように、撮影センサ１４または測距センサ１６の時系列の位置姿勢、相対角度、相対距離、角速度、および速度、のうち少なくとも１つ以上の値を調整することを意味する。そして、校正パラメータ算出部２４Ｃは、補完した位置姿勢、相対角度、相対距離、角速度、および速度、のうち少なくとも１つ以上を正規化した波形ａおよび波形ｂについて、相互相関関数から高い相関が求まる収集開始時刻または更新速度を求めることにより、取得タイミングのずれである時間オフセットを算出する。
【0051】
波形ａは、学習データに含まれる時系列に沿った複数の画像データの各々の取得時（すなわち撮影時）の、補完された、位置姿勢、相対角度、相対距離、角速度、および速度、のうち少なくとも１つ以上の時系列に沿った推移を表す。波形ｂは、学習データに含まれる時系列に沿った複数の点群データの各々の取得時（すなわち測距時）の、補完された、位置姿勢、相対角度、相対距離、角速度、および速度、のうち少なくとも１つ以上の時系列に沿った推移を表す。
【0052】
そして、校正パラメータ算出部２４Ｃは、学習データに含まれる画像データおよび点群データの各々から得られる、上記補完した位置姿勢、相対角度、相対距離、角速度、および速度、のうち少なくとも１つ以上について、取得タイミングごとの画像データの数の値をｉとする。また、校正パラメータ算出部２４Ｃは、画像データと点群データの内、数が多い方の値をＮとし、画像データと点群データの数の値の合計値をｋ、配列の各要素を複素共役数に変換する関数をｃｏｎｊ（）とする。すると、特定の更新速度では、画像データと点群データのk通りの収集開始時刻の組み合わせにおける相関を示す配列cは、相互相関関数から以下式（１）によって表される。
【0053】
【数1】
【0054】
校正パラメータ算出部２４Ｃは、複数の更新速度について上記配列ｃを求め、高い相関の求まる収集開始時刻および更新速度の少なくとも一方をグリッドサーチにより探索する。校正パラメータ算出部２４Ｃは、この探索によって得られた収集開始時刻および更新速度の少なくとも一方のずれによって表される時間オフセットを、校正パラメータとして算出する。
【0055】
【0056】
図１に戻り説明を続ける。
【0057】
また、校正パラメータ算出部２４Ｃは、算出した校正パラメータによって表される時間的空間的誤差の大きさを表す誤差評価値を算出する。詳細には、校正パラメータ算出部２４Ｃは、学習データに含まれる画像データと点群データとの相関が低いほど高い誤差評価値を算出する。相関とは、時間的空間的誤差によって表される時間的要素と空間的要素の一致度および関係度を表す。第１の算出方法の場合、校正パラメータ算出部２４Ｃは、上記配列ｃによって表される相関が低いほど高い誤差評価値を算出する。誤差評価値の算出には、探索した学習データに含まれる複数の画像データおよび複数の点群データの全体の相関を誤差評価値とする方法や、学習データに含まれる時系列に沿った複数の画像データと複数の点群データを複数の時間区間に分割した上で、各時間区間の相関を誤差評価値とする方法が挙げられる。
【0058】
次に、第２の算出方法について説明する。
【0059】
第２の算出方法では、校正パラメータ算出部２４Ｃは、画像データを構成する画素を、該画像データと同じタイミングで取得されたと推測される点群データの取得時の測距センサ１６の姿勢情報を用いて、学習データに含まれる該画像データまたは該画像データ以外の他の画像データ上に再投影する。そして、校正パラメータ算出部２４Ｃは、再投影した再投影画素と、再投影前の画素と、の距離、画素値の差、および画素の特徴量の差、の少なくとも１つを表す再投影誤差に基づいて、校正パラメータを算出する。第２の算出方法では、校正パラメータ算出部２４Ｃは、学習データに含まれる画像データと点群データとの間の取得タイミングのずれを示す時間オフセット、画像データを撮影した撮影センサ１４の構造を示す内部パラメータ、および撮影センサ１４と測距センサ１６との間の空間的な関係性を示す外部パラメータ、の少なくとも１つを含む校正パラメータを算出する。
【0060】
詳細には、校正パラメータ算出部２４Ｃは、学習データに含まれる時系列の複数の画像データおよび複数の点群データについて、例えばＶＯやＬＯから取得した軌跡を位置合わせすることでそれぞれのデータの対応を求め、おおまかな時間オフセットを算出して適用する。校正パラメータ算出部２４Ｃは、おおまかな時間オフセットから収集開始時刻および取得の更新速度の初期値を生成し、生成した該初期値を、後述する校正パラメータの算出に用いる。
【0061】
次に、校正パラメータ算出部２４Ｃは、学習データに含まれる時系列の点群データについて、初期時刻t０の測距センサ１６の姿勢により世界座標を定義した上で、時系列の複数の点群データの各々の取得時（測距時）の測距センサ１６の姿勢Ｔｉ
Ｌを取得する。また、校正パラメータ算出部２４Ｃは、点群データと同じ時刻に取得した画像データの画像Ｉｉから特徴点またはオプティカルフローなどにより該画像データ以外の他の画像データの画像Ｉｊとの間で対応する画素Ｐｉｊ
Ｉを求める。そして、校正パラメータ算出部２４Ｃは、画素の対応関係と測距センサ１６から求めた撮影センサ１４の相対的な姿勢（Ｔｉ
Ｌ）－１Ｔｊ
Ｌとから、三角測量により、画素Ｐｉｊ
Ｉの世界座標における位置ｐｉ
ｗを求める。更に、校正パラメータ算出部２４Ｃは、他の時刻の姿勢Ｔｋ
Ｌを用いて位置ｐｉ
ｗを画像データの画像Ｉｋに投影し、画素Ｐｋｉ
Ｉとの画像座標上の距離と、画素Ｐｉｊ
Ｉと画素Ｐｋｉ
Ｉとの間の画素値の差分と、画素Ｐｉｊ
Ｉと画素Ｐｋｉ
Ｉとの間の特徴量の差分と、の内の少なくとも１つ以上により、再投影誤差ｐｅｋｉを求める。
【0062】
そして、校正パラメータ算出部２４Ｃは、線形補完により学習データに含まれる時系列の複数の点群データの各々の測距時の測距センサ１６の姿勢を連続値に変換する。校正パラメータ算出部２４Ｃは、求めた再投影誤差ｐｅｋｉを用いて、ＬＭ（Levenberg Marquardt algorithm）法などの非線形最小二乗法により、外部パラメータＴＬ
Ｃ、内部パラメータπ、および更新速度と初期時刻の差分を包括した時間オフセットΔｔｋ、の少なくとも一つ以上を解く。この処理により、校正パラメータ算出部２４Ｃは、時間オフセットΔｔｋ、内部パラメータπ、および外部パラメータＴＬ
Ｃの少なくとも一つ以上を、校正パラメータとして算出する。
【0063】
図３は、再投影誤差ｐｅｋｉのイメージ図である。
【0064】
再投影誤差ｐｅｋｉは、以下式（２）によって表される。
【0065】
【数2】
【0066】
式（２）中、ｔｋは、画像Ｉｋを取得した時刻の初期値を示す。
【0067】
校正パラメータ算出部２４Ｃは、学習データに含まれる画像データについて、取得時間の近い近傍の他の画像データの画像上の全ての画素pei＊の各々の特徴点に対して、再投影誤差ｐｅｋｉを計算する。そして、校正パラメータ算出部２４Ｃは、学習データに含まれる全ての複数の画像データの各々の再投影誤差ｐｅｋｉの合計値を、画像データの再投影誤差として求めればよい。
【0068】
また、校正パラメータ算出部２４Ｃは、算出した校正パラメータによって表される時間的空間的誤差の大きさを表す誤差評価値を算出する。詳細には、校正パラメータ算出部２４Ｃは、学習データに含まれるシーケンス内の全ての画像データの各々の再投影誤差の合計値、各画像データに含まれる各画素の再投影誤差の合計値、の少なくとも一方を用いて、再投影誤差の合計値が大きいほど高い誤差評価値を算出する。
【0069】
次に、第３の算出方法について説明する。
【0070】
第３の算出方法では、校正パラメータ算出部２４Ｃは、点群データにより観測される物体の位置情報と、画像データにより観測される該物体の位置情報と、の差分に基づいて、時間オフセット、内部パラメータ、および外部パラメータ、の少なくとも１つを含む校正パラメータを算出する。
【0071】
詳細には、校正パラメータ算出部２４Ｃは、学習データを構成する時系列の複数の画像データおよび複数の点群データについて、例えばＶＯやＬＯから取得した軌跡を位置合わせすることでそれぞれのデータの対応を求め、おおまかな時間オフセットを算出して適用する。校正パラメータ算出部２４Ｃは、おおまかな時間オフセットから収集開始時刻および取得の更新速度の初期値を生成し、生成した該初期値を、後述する校正パラメータの算出に用いる。
【0072】
次に、校正パラメータ算出部２４Ｃは、学習データに含まれる複数の点群データの各々で観測される同一の物体を検出する。校正パラメータ算出部２４Ｃは、例えば、機械学習された３次元の物体検出器や点群データのセマンティックセグメンテーションにより物体を検出すればよい。また、校正パラメータ算出部２４Ｃは、検出した物体の測距センサ１６に対する３次元的な位置ｘｉ’を算出する。また、校正パラメータ算出部２４Ｃは、点群データを用いて、検出した物体のサイズを算出する。
【0073】
そして、校正パラメータ算出部２４Ｃは、学習データに含まれる複数の画像データに写り込む、上記物体を検出する。校正パラメータ算出部２４Ｃは、機械学習された物体検出器やセマンティックセグメンテーションなどにより、該物体を検出する。そして、校正パラメータ算出部２４Ｃは、点群データから算出した物体のサイズと、物体の画像データの画像Ｉｉ上における大きさと、内部パラメータπと、を用いて、撮影センサ１４に対する物体の３次元的な位置ｘｉを算出する。内部パラメータπは、予め算出または予め定めた初期値により求めればよい。
【0074】
校正パラメータ算出部２４Ｃは、点群データから算出した物体の３次元的な位置ｘｉ’と、画像データから算出した該物体の三次元的な位置ｘｉと、の位置の差分ｔｅｉを、算出する。校正パラメータ算出部２４Ｃは、更新速度と初期時刻の差分を包括した時間オフセットΔｔｉ、内部パラメータπ、および外部パラメータＴＬ
Ｃの少なくとも１つ以上について、ＬＭ法などの非線形最小二乗法により、画像データと点群データとから算出した物体の３次元的な位置を線形補完で連続値に変換した上で差分ｔｅｉを解く。この計算処理により、校正パラメータ算出部２４Ｃは、時間オフセットΔｔｉ、内部パラメータπ、および外部パラメータＴＬ
Ｃの少なくとも１つ以上を、校正パラメータとして算出する。
【0075】
位置の差分ｔｅｉは、校正前の同期時刻をtｉとすると、下記式（３）によって表される。
【0076】
【数3】
【0077】
式（３）中、ｔｉは、画像Ｉiを取得した時刻の初期値を示す。
【0078】
位置の差分ｔｅｉには、全ての同期したデータに対する合計値を用いればよい。
【0079】
図４Ａは、校正パラメータを適用する前の位置ｘｉ’および位置ｘｉの軌跡の一例のイメージ図である。図４Ｂは、校正パラメータを適用した後の位置ｘｉ’および位置ｘｉの軌跡の一例のイメージ図である。図４Ａおよび図４Ｂ中、縦軸は撮影センサ１４および測距センサ１６から物体までの縦方向の水平距離を示し、横軸は横方向の水平距離を示す。
【0080】
また、校正パラメータ算出部２４Ｃは、算出した校正パラメータによって表される時間的空間的誤差の大きさを表す誤差評価値を算出する。詳細には、校正パラメータ算出部２４Ｃは、学習データに含まれるシーケンス内の全ての画像データと全ての点群データとの物体の位置の差分の合計値、または、各データにおける位置の差分が大きいほど、高い誤差評価値を算出する。
【0081】
図１に戻り説明を続ける。
【0082】
なお、校正パラメータ算出部２４Ｃは、算出した誤差評価値に基づいて、誤差評価値によって表される時間的空間的誤差が大きいほど低い、該誤差評価値の算出に用いた学習データに対する信頼度を更に算出してもよい。信頼度とは、学習データとしての有効性を表す評価値である。信頼度が高いほど、学習データとしての有効性が高いことを意味する。
【0083】
また、校正パラメータ算出部２４Ｃは、学習データに含まれる複数の画像データおよび複数の点群データ内、または、複数の学習データ内および複数の点群データ内、における誤差評価値の分散の少なくとも１つ以上を正規化した上で、学習データに対する信頼度を算出してもよい。
【0084】
校正パラメータ算出部２４Ｃは、学習データ、該学習データから算出した校正パラメータ、誤差評価値、および信頼度を対応付けて記憶部２０へ記憶する。
【0085】
判定部２４Ｄは、校正パラメータに基づいて、校正パラメータの算出に用いた学習データの有効性を判定する。学習データの有効性を判定するとは、学習データを該学習データから算出した校正パラメータによって校正した校正済の学習データが、学習モデルの学習に有効な学習データであるかを判定することを意味する。
【0086】
詳細には、判定部２４Ｄは、校正パラメータによって表される時間的空間的誤差の誤差評価値が高いほど、該校正パラメータの算出に用いた学習データについて、より低い有効性を判定する。また、判定部２４Ｄは、誤差評価値が低いほど、該誤差評価値によって表される時間的空間的誤差を表す校正パラメータの算出に用いた学習データについて、より高い有効性を判定する。
【0087】
具体的には、例えば、判定部２４Ｄは、誤差評価値に対して有効性の判断に用いるための閾値を予め設定する。そして、判定部２４Ｄは、誤差評価値が閾値未満である場合、該誤差評価値によって表される時間的空間的誤差を表す校正パラメータの算出に用いた学習データを有効性の高い学習データとして判定する。また、判定部２４Ｄは、誤差評価値が閾値以上である場合、該誤差評価値によって表される時間的空間的誤差を表す校正パラメータの算出に用いた学習データを有効性の低い学習データとして判定する。判定部２４Ｄは、有効性が低いと判定した学習データを、無効な学習データとして判定してもよい。
【0088】
また、判定部２４Ｄは、誤差評価値に対して、学習データ内、または学習データに含まれる複数の画像データおよび複数の点群データの各々内における分散により、誤差評価値を再算出してもよい。そして、判定部２４Ｄは、再算出した誤差評価値が予め定めた閾値未満である場合、該誤差評価値によって表される時間的空間的誤差を表す校正パラメータの算出に用いた学習データを有効性の高い学習データとして判定する。また、判定部２４Ｄは、誤差評価値が閾値以上である場合、該誤差評価値によって表される時間的空間的誤差を表す校正パラメータの算出に用いた学習データを有効性の低い学習データとして判定する。判定部２４Ｄは、有効性が低いと判定した学習データを、無効な学習データとして判定してもよい。
【0089】
また、判定部２４Ｄは、誤差評価値が高いほど低い値を、有効性の判断結果を表す値として判定してもよい。
【0090】
そして、判定部２４Ｄは、有効性の判定結果を、該判定に用いた誤差評価値および学習データに対応付けて記憶部２０に更に記憶する。
【0091】
このため、記憶部２０には、１シーケンス分の複数の画像データおよび複数の点群データを含む学習データごとに、有効性の判定結果、校正パラメータ、誤差評価値、および信頼度が対応付けて記憶される。
【0092】
出力制御部２４Ｅは、判定部２４Ｄの判定結果を出力する。例えば、出力制御部２４Ｅは、学習データと、該学習データの有効性の判定結果と、を対応付けてＵＩ部１２へ出力する。ＵＩ部１２へ判定結果を出力することで、ユーザに対して学習データの有効性の判定結果を視認可能に提供することができる。ユーザが、有効性の判定結果に応じて、有効性が低いと判定された学習データを取り除き、有効性が高いと判定された学習データを学習モデルの学習に用いるよう操作指示することで、高精度な学習に適した学習データを学習に用いることが可能となる。
【0093】
また、出力制御部２４Ｅは、学習データと、該学習データの有効性の判定結果と、を対応付けて通信部２２を介して外部の情報処理装置へ出力する。外部の情報処理装置は、有効性の判定結果に応じて、有効性が低いと判定された学習データを取り除き、有効性が高いと判定された学習データを学習モデルの学習に用いることで、高精度な学習に適した学習データを学習に用いることが可能となる。
【0094】
また、出力制御部２４Ｅは、学習データと、該学習データの有効性の判定結果と、を校正部２４Ｆへ出力してもよい。
【0095】
この場合、出力制御部２４Ｅは、有効性が所定値以上と判定された学習データおよび該学習データから算出された校正パラメータを校正部２４Ｆへ出力する。または、出力制御部２４Ｅは、画像取得部２４Ａおよび点群取得部２４Ｂで取得した学習データ、該学習データから算出された校正パラメータ、および該学習データの有効性の判定結果と該学習データに対する信頼度との少なくとも一方、を校正部２４Ｆへ出力する。
【0096】
有効性が所定値以上であるとは、学習データから算出された校正パラメータによって表される時間的空間的誤差の大きさを表す誤差評価値が上記閾値以上であることを表す。
【0097】
校正部２４Ｆは、有効性が所定値以上の学習データに含まれる画像データおよび点群データの少なくとも一方を、該学習データから算出された校正パラメータによって校正する。すなわち、校正部２４Ｆは、判定部２４Ｄによって誤差評価値が閾値未満であり有効な学習データと判定された学習データについて、該学習データに含まれる画像データおよび点群データの少なくとも一方を、該学習データから算出された校正パラメータによって校正する。校正部２４Ｆは、学習データに含まれる画像データおよび点群データの少なくとも一方を、画像データと点群データとの間の時間的空間的誤差が相殺されるように、校正パラメータを用いて校正すればよい。校正パラメータを用いた画像データおよび点群データの少なくとも一方の校正処理には、公知の方法を用いてればよい。
【0098】
また、校正部２４Ｆは、有効性が所定値以上または所定値未満に拘わらず、記憶部２０に記憶された全ての学習データの各々について、学習データから算出された校正パラメータを用いて、該学習データに含まれる画像データおよび点群データの少なくとも一方を校正してもよい。
【0099】
学習部２４Ｇは、校正部２４Ｆにより校正された学習データに基づいて、画像データから画像データを構成する画素ごとの推定奥行情報を出力する学習モデルを学習する。学習モデルは、機械学習モデルである。
【0100】
例えば、校正部２４Ｆが、有効性が所定値以上の学習データに含まれる画像データおよび点群データの少なくとも一方を、該学習データから算出された校正パラメータによって校正した場合を想定する。言い換えると、校正部２４Ｆが、判定部２４Ｄによって誤差評価値が閾値未満であり有効な学習データと判定された学習データを、校正パラメータを用いて校正した場合を想定する。
【0101】
この場合、学習部２４Ｇは、有効な学習データと判定され校正パラメータによって校正された学習データに含まれる画像データを学習モデルに入力し、該学習モデルから出力される画素ごとの推定奥行情報と、該学習データに含まれる点群データによって規定された点ごとの奥行情報と、の誤差が最小化されるように、該学習モデルのパラメータを調整する。このパラメータの調整処理により、学習部２４Ｇは学習モデルを学習する。
【0102】
学習部２４Ｇが、有効な学習データと判定され校正パラメータによって校正された学習データを用いて学習モデルを学習することで、画像データから高精度な推定奥行情報を出力する高精度な学習モデルを学習することができる。
【0103】
また、例えば、校正部２４Ｆが、有効性が所定値以上または所定値未満に拘わらず、出力制御部２４Ｅから受付けた全ての学習データについて、該学習データから算出された校正パラメータを用いて、該学習データに含まれる画像データおよび点群データの少なくとも一方を校正した場合を想定する。
【0104】
この場合、学習部２４Ｇは、校正された学習データに含まれる画像データを学習モデルに入力し、該学習モデルから出力される画素ごとの推定奥行情報と、該学習データに含まれる点群データによって規定された点ごとの奥行情報と、の誤差を算出する。そして、学習部２４Ｇは、校正パラメータ算出部２４Ｃによって算出された校正パラメータによって表される時間的空間的誤差が小さいほど高い信頼度に応じて該誤差を重み付けした重み付け誤差が最小化されるように、学習モデルのパラメータを調整する。詳細には、学習部２４Ｇは、推定奥行情報と奥行情報との誤差を、信頼度が高いほど高い値となるように重み付けした重み付け誤差を算出する。具体的には、例えば、学習部２４Ｇは、推定奥行情報と奥行情報との誤差を、信頼度で重み付けした重み付け誤差を算出する。そして、学習部２４Ｇは、重み付け誤差が最小化されるように、該学習モデルのパラメータを調整する。このパラメータの調整処理により、学習部２４Ｇは学習モデルを学習する。
【0105】
学習部２４Ｇが、信頼度に応じて誤差を重み付けした重み付け誤差が最小化されるように、学習モデルのパラメータを調整することで、画像データから高精度な推定奥行情報を出力する高精度な学習モデルを学習することができる。
【0106】
また、学習部２４Ｇは信頼度の大きさに従って学習データの順列を生成し、順列に従って学習データに含まれる画像データを学習モデルに入力し学習してもよい。詳細には、学習部２４Ｇは、記憶部２０に記憶されている全ての学習データを取得し、信頼度の大きい順に学習データを並べ替える。そして、信頼度の大きい順に、学習データに含まれる画像データを学習モデルに入力し学習してもよい。
【0107】
また、学習部２４Ｇは、校正パラメータによって校正された学習データについて、信頼度の大きい順に学習データを並べ替え、信頼度の大きい順に、学習データに含まれる画像データを学習モデルに入力し学習してもよい。
【0108】
学習部２４Ｇが、信頼度の大きさに従って学習データの順列を生成し、順列に従って学習データに含まれる画像データを学習モデルに入力し学習することで、学習がより早く収束し、学習効率の向上、学習時間の短縮、および高精度な学習を実現することができる。
【0109】
次に、本実施形態の情報処理装置１０で実行する情報処理の流れの一例を説明する。
【0110】
図５は、本実施形態の情報処理装置１０で実行する学習データの有効性判定処理の流れの一例を示すフローチャートである。
【0111】
校正パラメータ算出部２４Ｃは、撮影センサ１４から画像取得部２４Ａで取得した画像データと測距センサ１６から点群取得部２４Ｂで取得した点群データとを含む学習データを取得する（ステップＳ１００）。例えば、校正パラメータ算出部２４Ｃは、時系列に沿った１シーケンス分の複数の画像データおよび複数の点群データからなる群を、学習データとして取得する。
【0112】
校正パラメータ算出部２４Ｃは、ステップ１００で取得した学習データの校正パラメータを算出する（ステップＳ１０２）。また、校正パラメータ算出部２４Ｃは、ステップＳ１０２で算出した校正パラメータによって表される時間的空間的誤差の大きさを表す誤差評価値を算出する（ステップＳ１０４）。また、校正パラメータ算出部２４Ｃは、ステップＳ１０４で算出した誤差評価値に基づいて、誤差評価値によって表される時間的空間的誤差が大きいほど低い信頼度を、該誤差評価値の算出に用いた学習データに対する信頼度として算出する（ステップＳ１０６）。
【0113】
判定部２４Ｄは、ステップＳ１０４で算出した誤差評価値が閾値未満であるか否かを判断する（ステップＳ１０８）。誤差評価値が閾値未満であると判定した場合（ステップＳ１０８：Ｙｅｓ）、判定部２４Ｄは、ステップＳ１００で取得した学習データの有効性が高いと判定する（ステップＳ１１０）。そして、ステップＳ１１４へ進む。
【0114】
一方、誤差評価値が閾値以上であると判断した場合（ステップＳ１０８：Ｎｏ）、判定部２４Ｄは、ステップＳ１００で取得した学習データの有効性が低いと判定する（ステップＳ１１２）。そして、ステップＳ１１４へ進む。
【0115】
ステップＳ１１４では、判定部２４Ｄは、ステップ１００で取得した学習データと、ステップＳ１０２で算出した校正パラメータと、ステップＳ１１０またはステップ１１２の有効性の判定結果と、ステップＳ１０４およびステップＳ１０６でそれぞれ算出した誤差評価値および信頼度と、を対応付けて記憶部２０へ記憶する。
【0116】
出力制御部２４Ｅは、ステップＳ１１０またはステップＳ１１２による判定部２４Ｄの判定結果を、ＵＩ部１２および外部の情報処理装置などに出力する（ステップＳ１１６）。そして、本ルーチンを終了する。
【0117】
処理部２４がステップＳ１００～ステップＳ１１４の処理を異なるシーケンスの学習データごとに実行することで、複数の学習データの各々ごとに、校正パラメータ、有効性の判定結果、誤差評価値、および信頼度が対応付けて記憶部２０に記憶される。
【0118】
次に、処理部２４が実行する学習処理について説明する。
【0119】
図６は、処理部２４が実行する学習処理の流れの一例を示すフローチャートである。
【0120】
校正部２４Ｆは、記憶部２０に記憶された学習データの各々について、該学習データから算出された校正パラメータを用いて、該学習データに含まれる画像データおよび点群データの少なくとも一方を校正する（ステップＳ２００）。上述したように、校正部２４Ｆは、誤差評価値が閾値未満であり有効性が高いと判定された学習データについて、該学習データから算出された校正パラメータを用いて、該学習データに含まれる画像データおよび点群データの少なくとも一方を校正してもよい。
【0121】
そして、学習部２４Ｇは、ステップＳ２００で校正された学習データに基づいて、画像データから画像データを構成する画素ごとの推定奥行情報を出力する学習モデルを学習する（ステップＳ２０２）。そして、本ルーチンを終了する。
【0122】
以上説明したように、本実施形態の情報処理装置で実行される情報処理プログラムは、画像データを取得する画像取得ステップと、画像データに対する時間的要素および空間的要素の少なくとも一方の時間的空間的誤差を校正するために用いる校正パラメータが不明であり時間的空間的誤差が未校正の、複数の点の各々ごとに奥行情報が規定された点群データを取得する点群取得ステップと、画像データと点群データとを含む学習データごとに校正パラメータを算出する校正パラメータ算出ステップと、校正パラメータに基づいて校正パラメータの算出に用いた学習データの有効性を判定する判定ステップと、コンピュータに実行させるための情報処理プログラムである。
【0123】
従来技術には、校正パラメータが不明であり未校正の学習データの校正パラメータを算出し、学習データの校正に用いる技術が開示されている。しかしながら、校正パラメータを用いて校正された学習データには、校正に失敗した学習データが含まれる場合がある。すなわち、校正パラメータを用いても校正しきれない時間的空間的誤差を有する学習データは、校正パラメータを適用しても時間的空間的誤差を校正することができない。このような校正された学習データを学習モデルの学習に用いると、校正に失敗した学習データを学習に用いることとなり、高精度な学習が実現できない場合があった。すなわち、従来技術では、高精度な学習に適した学習データが提供されていなかった。
【0124】
一方、本実施形態の情報処理プログラムは、画像データと点群データとを含む未校正の学習データごとに算出した校正パラメータに基づいて、校正パラメータの算出に用いた学習データの有効性を判定する。すなわち、本実施形態の情報処理プログラムは、校正パラメータを用いて校正したときの学習データの有効性を判定する。
【0125】
このため、本実施形態の情報処理プログラムは、校正パラメータを用いて校正された学習データが学習モデルの学習に適しているか否かを表す有効性を判定することができる。また、本実施形態の情報処理プログラムは、学習データの、学習モデルの学習に用いるデータとしての有効性を提供することができる。このため、本実施形態の情報処理プログラムは、高精度な学習に適した学習データの提供を支援することが可能となる。
【0126】
従って、本実施形態の情報処理プログラムは、高精度な学習に適した学習データの提供を支援することができる。
【0127】
また、本実施形態の情報処理プログラムは、学習データの有効性に応じて学習モデルを学習するため、高精度な学習を行うことができる。
【0128】
次に、上記実施形態の情報処理装置１０の、ハードウェア構成の一例を説明する。
【0129】
図７は、上記実施形態の情報処理装置１０の一例のハードウェア構成図である。
【0130】
上記実施形態の情報処理装置１０は、ＣＰＵ（Central Processing Unit）９０Ｄなどの制御装置と、ＲＯＭ（Read Only Memory）９０ＥやＲＡＭ（Random Access Memory）９０ＦやＨＤＤ（ハードディスクドライブ）９０Ｇなどの記憶装置と、各種機器とのインターフェースであるＩ／Ｆ部９０Ｂと、出力情報などの各種情報を出力する出力部９０Ａと、ユーザによる操作を受付ける入力部９０Ｃと、各部を接続するバス９０Ｈとを備えており、通常のコンピュータを利用したハードウェア構成となっている。
【0131】
上記実施形態の情報処理装置１０では、ＣＰＵ９０Ｄが、ＲＯＭ９０Ｅから情報処理プログラムをＲＡＭ９０Ｆ上に読み出して実行することにより、上記各部がコンピュータ上で実現される。
【0132】
なお、上記実施形態の情報処理装置１０で実行される上記各処理を実行するための情報処理プログラムは、ＨＤＤ９０Ｇに記憶されていてもよい。また、上記実施形態の情報処理装置１０で実行される上記各処理を実行するための情報処理プログラムは、ＲＯＭ９０Ｅに予め組み込まれて提供されていてもよい。
【0133】
また、上記実施形態の情報処理装置１０で実行される上記処理を実行するための情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disc）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、上記実施形態の情報処理装置１０で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態の情報処理装置１０で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワーク経由で提供または配布するようにしてもよい。
【0134】
なお、上記には、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0135】
１０ 情報処理装置
１４ 撮影センサ
１６ 測距センサ
２４Ａ 画像取得部
２４Ｂ 点群取得部
２４Ｃ 校正パラメータ算出部
２４Ｄ 判定部
２４Ｅ 出力制御部
２４Ｆ 校正部
２４Ｇ 学習部
１４ 撮影センサ
１６ 測距センサ
２４Ａ 画像取得部
２４Ｂ 点群取得部
２４Ｃ 校正パラメータ算出部
２４Ｄ 判定部
２４Ｅ 出力制御部
２４Ｆ 校正部
２４Ｇ 学習部
【図1】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】