知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025154259
(43)【公開日】2025-10-10
(54)【発明の名称】画像処理装置、画像処理方法及びプログラム
(51)【国際特許分類】
G06T 7/55 20170101AFI20251002BHJP
G06T 7/00 20170101ALI20251002BHJP
G01B 11/00 20060101ALI20251002BHJP
【ＦＩ】
G06T7/55
G06T7/00 350B
G01B11/00 H
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2024057163
(22)【出願日】2024-03-29
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】竹内 倭
(72)【発明者】
【氏名】林 剣之介
(72)【発明者】
【氏名】杉原 知道
【テーマコード（参考）】
2F065
5L096
【Ｆターム（参考）】
2F065AA04
2F065FF05
2F065JJ19
2F065JJ26
2F065QQ08
2F065QQ24
2F065QQ25
2F065QQ31
2F065RR08
5L096AA06
5L096BA05
5L096CA05
5L096DA02
5L096EA39
5L096FA66
5L096FA67
5L096FA69
5L096GA51
(57)【要約】
【課題】３次元画像計測に用いる学習済みモデルの出力から信頼できる情報を特定すること。
【解決手段】画像処理装置は、第１視点画像及び第２視点画像を取得する画像取得部と、第１画像及び第２画像を入力し、第１画像中の点のそれぞれについて第１推定視差を第１画像中の第１位置座標と対応付けて出力する第１学習済みモデルを利用可能とされ、第１視点画像を第１画像とし、第２視点画像を第２画像として第１学習済みモデルに入力して第１位置座標と対応付けられた第１推定視差を取得する推論部と、各第１視点画像中の点について、第１位置座標及び第１推定視差から第２視点画像中の対応点の推定位置を求め、第１位置座標、第１推定視差、第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、対応付けデータの集合から、第１推定視差の信頼度が高い、第１位置座標及び第１推定視差の組を特定する高信頼度領域特定手段と、を備える。
【選択図】図１
【解決手段】画像処理装置は、第１視点画像及び第２視点画像を取得する画像取得部と、第１画像及び第２画像を入力し、第１画像中の点のそれぞれについて第１推定視差を第１画像中の第１位置座標と対応付けて出力する第１学習済みモデルを利用可能とされ、第１視点画像を第１画像とし、第２視点画像を第２画像として第１学習済みモデルに入力して第１位置座標と対応付けられた第１推定視差を取得する推論部と、各第１視点画像中の点について、第１位置座標及び第１推定視差から第２視点画像中の対応点の推定位置を求め、第１位置座標、第１推定視差、第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、対応付けデータの集合から、第１推定視差の信頼度が高い、第１位置座標及び第１推定視差の組を特定する高信頼度領域特定手段と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数の画像間の視差に基づく３次元画像計測処理を行う画像処理装置であって、
第１視点及び第２視点のそれぞれで撮像された第１視点画像及び第２視点画像を取得する画像取得部と、
第１画像及び第２画像を入力し、前記第１画像中の点のそれぞれについて前記第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差を前記第１画像中の点の位置を表す第１位置座標と対応付けて出力する第１学習済みモデルを利用可能とされ、前記第１視点画像を前記第１画像とし、前記第２視点画像を前記第２画像として前記第１学習済みモデルに入力して前記第１位置座標と対応付けられた前記第１推定視差を取得する推論部と、
各前記第１視点画像中の点について、前記第１位置座標及び前記第１推定視差から前記第２視点画像中の対応点の推定位置を求め、前記第１位置座標、前記第１推定視差、前記第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、前記対応付けデータの集合から、前記第１推定視差の信頼度が高い、前記第１位置座標及び前記第１推定視差の組を特定する高信頼度領域特定手段と、を備える、
画像処理装置。
第１視点及び第２視点のそれぞれで撮像された第１視点画像及び第２視点画像を取得する画像取得部と、
第１画像及び第２画像を入力し、前記第１画像中の点のそれぞれについて前記第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差を前記第１画像中の点の位置を表す第１位置座標と対応付けて出力する第１学習済みモデルを利用可能とされ、前記第１視点画像を前記第１画像とし、前記第２視点画像を前記第２画像として前記第１学習済みモデルに入力して前記第１位置座標と対応付けられた前記第１推定視差を取得する推論部と、
各前記第１視点画像中の点について、前記第１位置座標及び前記第１推定視差から前記第２視点画像中の対応点の推定位置を求め、前記第１位置座標、前記第１推定視差、前記第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、前記対応付けデータの集合から、前記第１推定視差の信頼度が高い、前記第１位置座標及び前記第１推定視差の組を特定する高信頼度領域特定手段と、を備える、
画像処理装置。
【請求項2】
前記推論部は、さらに、前記第１画像及び前記第２画像を入力し、前記第２画像中の点のそれぞれについて前記第１画像中の対応点との間の視差の機械学習による推論値である第２推定視差を前記第２画像中の点の位置を表す第２位置座標と対応付けて出力する第２学習済みモデルを利用可能とされ、前記第１視点画像を前記第１画像とし、前記第２視点画像を前記第２画像として前記第２学習済みモデルに入力して前記第２位置座標と対応付けられた第２推定視差を取得し、
前記高信頼度領域特定手段は、前記対応付けデータにおいて前記第１位置座標に対応付けられている前記第２視点画像中の対応点の推定位置と同一の前記第２位置座標に対応付けられた前記第２推定視差を特定し、前記第１位置座標に対応付けられている前記第１推定視差の大きさと特定された前記第２推定視差の大きさとの差が所定のしきい値よりも小さい場合に、前記第１位置座標に対応付けられている前記第１推定視差の信頼度は高いとする、
請求項１に記載の画像処理装置。
前記高信頼度領域特定手段は、前記対応付けデータにおいて前記第１位置座標に対応付けられている前記第２視点画像中の対応点の推定位置と同一の前記第２位置座標に対応付けられた前記第２推定視差を特定し、前記第１位置座標に対応付けられている前記第１推定視差の大きさと特定された前記第２推定視差の大きさとの差が所定のしきい値よりも小さい場合に、前記第１位置座標に対応付けられている前記第１推定視差の信頼度は高いとする、
請求項１に記載の画像処理装置。
【請求項3】
前記第１学習済みモデルは、前記第１推定視差を前記第１画像中の点の位置と対応付けて出力することに加えて、前記第２画像中の点のそれぞれについて前記第１画像中の対応点との間の視差の機械学習による推論値である第２推定視差を前記第２画像中の点の位置を表す第２位置座標と対応付けて出力し、
前記推論部は、前記第１視点画像を前記第１画像とし、前記第２視点画像を前記第２画像として前記第１学習済みモデルに入力して前記第１位置座標と対応付けられた前記第１推定視差、及び前記第２位置座標と対応付けられた前記第２推定視差を取得し、
前記高信頼度領域特定手段は、前記対応付けデータにおいて前記第１位置座標に対応付けられている前記第２視点画像中の対応点の推定位置と同一の前記第２位置座標に対応付けられた前記第２推定視差を特定し、前記第１位置座標に対応付けられている前記第１推定視差の大きさと特定された前記第２推定視差の大きさとの差が所定のしきい値よりも小さい場合に、前記第１位置座標に対応付けられている前記第１推定視差の信頼度は高いとする、
請求項１に記載の画像処理装置。
前記推論部は、前記第１視点画像を前記第１画像とし、前記第２視点画像を前記第２画像として前記第１学習済みモデルに入力して前記第１位置座標と対応付けられた前記第１推定視差、及び前記第２位置座標と対応付けられた前記第２推定視差を取得し、
前記高信頼度領域特定手段は、前記対応付けデータにおいて前記第１位置座標に対応付けられている前記第２視点画像中の対応点の推定位置と同一の前記第２位置座標に対応付けられた前記第２推定視差を特定し、前記第１位置座標に対応付けられている前記第１推定視差の大きさと特定された前記第２推定視差の大きさとの差が所定のしきい値よりも小さい場合に、前記第１位置座標に対応付けられている前記第１推定視差の信頼度は高いとする、
請求項１に記載の画像処理装置。
【請求項4】
前記推論部は、前記第２視点画像を視差方向に反転処理した第２反転画像を前記第１画像とし、前記第１視点画像を視差方向に反転処理した第１反転画像を前記第２画像として前記第１学習済みモデルに入力して前記第１位置座標と対応付けられた前記第１推定視差を取得し、前記第１位置座標を視差方向に反転処理して第２位置座標とするとともに前記第１推定視差の符号を反転処理して第２推定視差とし、
前記高信頼度領域特定手段は、前記対応付けデータにおいて前記第１位置座標に対応付けられている前記第２視点画像中の対応点の推定位置と同一の前記第２位置座標に対応付けられた前記第２推定視差を特定し、前記対応付けデータにおいて前記第１位置座標に対応付けられている前記第１推定視差の大きさと特定された前記第２推定視差の大きさとの差が所定のしきい値よりも小さい場合に、前記対応付けデータにおいて前記第１位置座標に対応付けられている前記第１推定視差の信頼度は高いとする、
請求項１に記載の画像処理装置。
前記高信頼度領域特定手段は、前記対応付けデータにおいて前記第１位置座標に対応付けられている前記第２視点画像中の対応点の推定位置と同一の前記第２位置座標に対応付けられた前記第２推定視差を特定し、前記対応付けデータにおいて前記第１位置座標に対応付けられている前記第１推定視差の大きさと特定された前記第２推定視差の大きさとの差が所定のしきい値よりも小さい場合に、前記対応付けデータにおいて前記第１位置座標に対応付けられている前記第１推定視差の信頼度は高いとする、
請求項１に記載の画像処理装置。
【請求項5】
前記高信頼度領域特定手段は、着目する前記対応付けデータに含まれる前記第２視点画像中の対応点の推定位置と同一の前記第２視点画像中の対応点の推定位置を含む他の前記対応付けデータが所定数以上存在する場合は、同一の前記第２視点画像中の対応点の推定位置を含む所定数以上の前記対応付けデータに含まれる前記第１推定視差の少なくとも一部の信頼度は高くないとする、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項6】
前記高信頼度領域特定手段は、着目する前記対応付けデータに含まれる前記第２視点画像中の対応点の推定位置と同一の前記第２視点画像中の対応点の推定位置を含む他の前記対応付けデータが複数存在する場合は、それらの前記対応付けデータに含まれる前記第１推定視差の中で絶対値が最も大きな前記第１推定視差のみを信頼度が高いとする、
請求項５に記載の画像処理装置。
請求項５に記載の画像処理装置。
【請求項7】
前記第１推定視差の信頼度が高い、前記第１位置座標及び前記第１推定視差の組として特定された各点の奥行きを表す深度情報を算出する深度算出部をさらに備える、
請求項１から４のいずれか１項に記載の画像処理装置。
請求項１から４のいずれか１項に記載の画像処理装置。
【請求項8】
複数の画像間の視差に基づく３次元画像計測処理を行う画像処理装置であって、
第１視点及び第２視点のそれぞれで撮像された第１視点画像及び第２視点画像を取得する画像取得部と、
第１画像及び第２画像を入力し、前記第１画像中の点のそれぞれについて前記第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差を前記第１画像中の点の位置を表す第１位置座標と対応付けて出力する第１学習済みモデルを利用可能とされ、前記第１視点画像を前記第１画像とし、前記第２視点画像を前記第２画像として前記第１学習済みモデルに入力して前記第１位置座標と対応付けられた前記第１推定視差を取得する推論部と、
各前記第１視点画像中の点について、前記第１位置座標及び前記第１推定視差から前記第２視点画像中の対応点の推定位置を求め、前記第１推定視差に対応する第１深度を求め、前記第１位置座標、前記第１深度、前記第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、前記対応付けデータの集合から、前記第１深度の信頼度が高い、前記第１位置座標及び前記第１深度の組を特定する高信頼度領域特定手段と、を備える、
画像処理装置。
第１視点及び第２視点のそれぞれで撮像された第１視点画像及び第２視点画像を取得する画像取得部と、
第１画像及び第２画像を入力し、前記第１画像中の点のそれぞれについて前記第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差を前記第１画像中の点の位置を表す第１位置座標と対応付けて出力する第１学習済みモデルを利用可能とされ、前記第１視点画像を前記第１画像とし、前記第２視点画像を前記第２画像として前記第１学習済みモデルに入力して前記第１位置座標と対応付けられた前記第１推定視差を取得する推論部と、
各前記第１視点画像中の点について、前記第１位置座標及び前記第１推定視差から前記第２視点画像中の対応点の推定位置を求め、前記第１推定視差に対応する第１深度を求め、前記第１位置座標、前記第１深度、前記第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、前記対応付けデータの集合から、前記第１深度の信頼度が高い、前記第１位置座標及び前記第１深度の組を特定する高信頼度領域特定手段と、を備える、
画像処理装置。
【請求項9】
複数の画像間の視差に基づく３次元画像計測処理を行う画像処理方法であって、
第１視点及び第２視点のそれぞれで撮像された第１視点画像及び第２視点画像を取得するステップと、
第１画像及び第２画像を入力し、前記第１画像中の点のそれぞれについて前記第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差を前記第１画像中の点の位置を表す第１位置座標と対応付けて出力する学習済みモデルを利用可能とされ、前記第１視点画像を前記第１画像とし、前記第２視点画像を前記第２画像として前記学習済みモデルに入力して前記第１位置座標と対応付けられた前記第１推定視差を取得するステップと、
各前記第１視点画像中の点について、前記第１位置座標及び前記第１推定視差から前記第２視点画像中の対応点の推定位置を求め、前記第１位置座標、前記第１推定視差、前記第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、前記対応付けデータの集合から、前記第１推定視差の信頼度が高い、前記第１位置座標及び前記第１推定視差の組を特定するステップと、を備える、
画像処理方法。
第１視点及び第２視点のそれぞれで撮像された第１視点画像及び第２視点画像を取得するステップと、
第１画像及び第２画像を入力し、前記第１画像中の点のそれぞれについて前記第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差を前記第１画像中の点の位置を表す第１位置座標と対応付けて出力する学習済みモデルを利用可能とされ、前記第１視点画像を前記第１画像とし、前記第２視点画像を前記第２画像として前記学習済みモデルに入力して前記第１位置座標と対応付けられた前記第１推定視差を取得するステップと、
各前記第１視点画像中の点について、前記第１位置座標及び前記第１推定視差から前記第２視点画像中の対応点の推定位置を求め、前記第１位置座標、前記第１推定視差、前記第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、前記対応付けデータの集合から、前記第１推定視差の信頼度が高い、前記第１位置座標及び前記第１推定視差の組を特定するステップと、を備える、
画像処理方法。
【請求項10】
複数の画像間の視差に基づく３次元画像計測処理を行うプログラムであって、
第１視点及び第２視点のそれぞれで撮像された第１視点画像及び第２視点画像を取得する処理と、
第１画像及び第２画像を入力し、前記第１画像中の点のそれぞれについて前記第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差を前記第１画像中の点の位置を表す第１位置座標と対応付けて出力する学習済みモデルを利用可能とされ、前記第１視点画像を前記第１画像とし、前記第２視点画像を前記第２画像として前記学習済みモデルに入力して前記第１位置座標と対応付けられた前記第１推定視差を取得する処理と、
各前記第１視点画像中の点について、前記第１位置座標及び前記第１推定視差から前記第２視点画像中の対応点の推定位置を求め、前記第１位置座標、前記第１推定視差、前記第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、前記対応付けデータの集合から、前記第１推定視差の信頼度が高い、前記第１位置座標及び前記第１推定視差の組を特定する処理と、
をコンピュータに実行させる、プログラム。
第１視点及び第２視点のそれぞれで撮像された第１視点画像及び第２視点画像を取得する処理と、
第１画像及び第２画像を入力し、前記第１画像中の点のそれぞれについて前記第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差を前記第１画像中の点の位置を表す第１位置座標と対応付けて出力する学習済みモデルを利用可能とされ、前記第１視点画像を前記第１画像とし、前記第２視点画像を前記第２画像として前記学習済みモデルに入力して前記第１位置座標と対応付けられた前記第１推定視差を取得する処理と、
各前記第１視点画像中の点について、前記第１位置座標及び前記第１推定視差から前記第２視点画像中の対応点の推定位置を求め、前記第１位置座標、前記第１推定視差、前記第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、前記対応付けデータの集合から、前記第１推定視差の信頼度が高い、前記第１位置座標及び前記第１推定視差の組を特定する処理と、
をコンピュータに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
ステレオ画像などの視点が異なる複数の画像間の視差に基づいて画像中の奥行きなどの３次元情報を取得する３次元画像計測を行う技術が知られている。この種の技術では、一方の画像に写る点が他方の画像のどの点に写るかという対応点を推定し、画像間の視差を求める。また、例えば非特許文献１に示されるように、３次元画像計測処理に、機械学習技術を適用することが提案されている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】L. Lipson, Z. Teed and J. Deng, "RAFT-Stereo: Multilevel Recurrent Field Transforms for Stereo Matching," 2021 International Conference on 3D Vision (3DV), London, United Kingdom, 2021, pp. 218-227, doi: 10.1109/3DV53792.2021.00032. [online]＜URL:https://arxiv.org/pdf/2109.07547.pd＞,[令和6年2月28日検索]
【発明の概要】
【発明が解決しようとする課題】
【0004】
３次元画像計測において、１枚の画像だけに写る点は、他の画像における対応点を特定することができないため、正しい視差を算出することは原理的にできない。例えば、１枚の画像には映るが他の画像では別の物体に遮られて死角となる箇所は、対応点を決定できない。
【0005】
しかし、機械学習された学習済みモデルを３次元画像計測に用いる場合、対応点が不確実な領域でも、学習した情報を利用して学習済みモデルが補完することで、視差を算出できる。そのため、学習済みモデルの出力には、対応点が確実な領域に基づく信頼度が高い情報と、対応点が不確実な領域から算出された信頼度が低い情報とが混在する可能性があるが、それらを区別することが困難であった。
【0006】
本発明は、上記に鑑みてなされたものであり、３次元画像計測に用いる学習済みモデルの出力から信頼できる情報を特定することが可能な画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る画像処理装置は、複数の画像間の視差に基づく３次元画像計測処理を行う画像処理装置であって、第１視点及び第２視点のそれぞれで撮像された第１視点画像及び第２視点画像を取得する画像取得部と、第１画像及び第２画像を入力し、第１画像中の点のそれぞれについて第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差を第１画像中の点の位置を表す第１位置座標と対応付けて出力する第１学習済みモデルを利用可能とされ、第１視点画像を第１画像とし、第２視点画像を第２画像として第１学習済みモデルに入力して第１位置座標と対応付けられた第１推定視差を取得する推論部と、各第１視点画像中の点について、第１位置座標及び第１推定視差から第２視点画像中の対応点の推定位置を求め、第１位置座標、第１推定視差、第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、対応付けデータの集合から、第１推定視差の信頼度が高い、第１位置座標及び第１推定視差の組を特定する高信頼度領域特定手段と、を備える。
【0008】
本発明に係る画像処理装置は、複数の画像間の視差に基づく３次元画像計測処理を行う画像処理装置であって、第１視点及び第２視点のそれぞれで撮像された第１視点画像及び第２視点画像を取得する画像取得部と、第１画像及び第２画像を入力し、第１画像中の点のそれぞれについて第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差を第１画像中の点の位置を表す第１位置座標と対応付けて出力する第１学習済みモデルを利用可能とされ、第１視点画像を第１画像とし、第２視点画像を第２画像として第１学習済みモデルに入力して第１位置座標と対応付けられた第１推定視差を取得する推論部と、各第１視点画像中の点について、第１位置座標及び第１推定視差から第２視点画像中の対応点の推定位置を求め、第１推定視差に対応する第１深度を求め、第１位置座標、第１深度、第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、対応付けデータの集合から、第１深度の信頼度が高い、第１位置座標及び第１深度の組を特定する高信頼度領域特定手段と、を備える。
【0009】
本発明に係る画像処理方法は、複数の画像間の視差に基づく３次元画像計測処理を行う画像処理方法であって、第１視点及び第２視点のそれぞれで撮像された第１視点画像及び第２視点画像を取得するステップと、第１画像及び第２画像を入力し、第１画像中の点のそれぞれについて第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差を第１画像中の点の位置を表す第１位置座標と対応付けて出力する学習済みモデルを利用可能とされ、第１視点画像を第１画像とし、第２視点画像を第２画像として学習済みモデルに入力して第１位置座標と対応付けられた第１推定視差を取得するステップと、各第１視点画像中の点について、第１位置座標及び第１推定視差から第２視点画像中の対応点の推定位置を求め、第１位置座標、第１推定視差、第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、対応付けデータの集合から、第１推定視差の信頼度が高い、第１位置座標及び第１推定視差の組を特定するステップと、を備える。
【0010】
本発明に係るプログラムは、複数の画像間の視差に基づく３次元画像計測処理を行うプログラムであって、第１視点及び第２視点のそれぞれで撮像された第１視点画像及び第２視点画像を取得する処理と、第１画像及び第２画像を入力し、第１画像中の点のそれぞれについて第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差を第１画像中の点の位置を表す第１位置座標と対応付けて出力する学習済みモデルを利用可能とされ、第１視点画像を第１画像とし、第２視点画像を第２画像として学習済みモデルに入力して第１位置座標と対応付けられた第１推定視差を取得する処理と、各第１視点画像中の点について、第１位置座標及び第１推定視差から第２視点画像中の対応点の推定位置を求め、第１位置座標、第１推定視差、第２視点画像中の対応点の推定位置が対応付けられた対応付けデータを生成し、対応付けデータの集合から、第１推定視差の信頼度が高い、第１位置座標及び第１推定視差の組を特定する処理と、をコンピュータに実行させる。
【発明の効果】
【0011】
本発明によれば、３次元画像計測に用いる学習済みモデルの出力から信頼できる情報を特定することが可能な画像処理装置、画像処理方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
以下、本発明に係る画像処理装置、画像処理方法及びプログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
【0014】
［第１実施形態］
（画像処理装置の概要）
図１は、第１実施形態に係る画像処理装置１００の概要を模式的に示す図である。図１に示す画像処理装置１００は、複数の画像間の視差に基づく３次元画像計測処理を行う画像処理装置である。
（画像処理装置の概要）
図１は、第１実施形態に係る画像処理装置１００の概要を模式的に示す図である。図１に示す画像処理装置１００は、複数の画像間の視差に基づく３次元画像計測処理を行う画像処理装置である。
【0015】
画像処理装置１００は、機械学習された学習済みモデルを利用して複数の画像間の視差情報を取得し、取得した視差情報に基づいて画像中の各点の奥行きを表わす深度情報７０を取得する。画像中の各点の深度情報７０によって、画像中に写る物体の３次元位置などを把握できる。
【0016】
図１に示す画像処理装置１００は、画像取得部１と、推論部２と、高信頼度領域特定手段３と、深度算出部４と、出力部５と、記憶部６と、を備える。
【0017】
画像取得部１は、３次元画像計測処理の対象となる複数の画像を取得する。複数の画像は、同一の物体（被写体）を、互いに異なる視点から撮像した画像である。画像の数、すなわち視点の数は、複数であれば特に限定されない。画像取得部１は、少なくとも、第１視点及び第２視点のそれぞれで撮像された第１視点画像４１及び第２視点画像４２を取得する。第１視点画像４１及び第２視点画像４２は、例えばステレオ画像である。ステレオ画像は、平行にずらした２つの視点（第１視点と第２視点）から撮影された画像であり、２枚一組の画像ペアを構成する。ステレオ画像の視点がずれる方向は、特に限定されないが、一例では画像の水平（左右）方向に一致する。視点がずれる方向は、画像間の視差が発生する方向であり、本明細書では視差方向と呼称する。また、２枚のステレオ画像の撮像条件（カメラの焦点距離、画像数、画角など）は同一である。
【0018】
ステレオ画像は、例えば、左カメラ２１と右カメラ２２とを備えた撮像装置２０により撮像される。左カメラ２１及び右カメラ２２は、特に限定されないが、例えばＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）などの撮像素子を含む。本実施形態では、左カメラ２１と右カメラ２２とは、カメラの光学特性は互いに同一（焦点距離、画角など）であり、かつ既知である。左カメラ２１及び右カメラ２２は、光軸が平行で、撮像する画像の左右方向に所定間隔で並ぶ。左カメラ２１及び右カメラ２２の光軸間の距離であるベースライン長は、既知である。左カメラ２１及び右カメラ２２は、同一時点の静止画像を撮像できる。左カメラ２１の撮像視野及び右カメラ２２の撮像視野は、互いに重なる。なお、以下の説明において、画像中の水平方向の位置の原点を画像の左端とする。また、左カメラ２１及び右カメラ２２の画像中の上下方向の位置は等しいものとする。
【0019】
画像処理装置１００と撮像装置２０とは、有線又は無線により通信可能である。画像処理装置１００は、インターネットなどのネットワークを介して撮像装置２０と通信可能であってもよい。画像取得部１は、撮像装置２０により撮像された第１視点画像４１及び第２視点画像４２を取得する。第１視点画像４１は、例えば左カメラ２１で撮像された左画像である。この場合、第１視点は、左カメラ２１の光軸位置である。第２視点画像４２は、例えば右カメラ２２で撮像された右画像である。この場合、第２視点は、右カメラ２２の光軸位置である。なお、第１視点画像４１が右画像で第２視点画像４２が左画像であってもよい。
【0020】
推論部２は、画像取得部１により取得された複数の画像から、画像間の視差の情報を取得する。推論部２は、機械学習により生成された学習済みモデルを用いて、視差を取得する。推論部２は、第１学習済みモデル１２を利用可能とされる。第１学習済みモデル１２は、第１画像及び第２画像を入力し、第１画像中の点のそれぞれについて第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差５１を第１画像中の点の位置を表す第１位置座標と対応付けて出力する。推論部２は、第１視点画像４１を第１画像とし、第２視点画像４２を第２画像として第１学習済みモデル１２に入力して第１位置座標と対応付けられた第１推定視差５１を取得する。
【0021】
視差は、一方の視点画像と他方の視点画像との対応点ペアの間の、視差方向の座標の変位である。一方の視点画像のある画素である着目点Ｐ（図２参照）に写った空間上の位置は、他方の視点画像で視差方向にずれた画素である対応点Ｑ（図２参照）に写る。視差は、着目点Ｐを基準としたとき、着目点Ｐの位置座標に対する対応点Ｑの位置座標の変位量である。学習済みモデルは、一方の視点画像を基準とした推定視差だけを出力してもよいし、一方の視点画像を基準とした推定視差と、他方の視点画像を基準とした推定視差との両方を出力してもよい。本実施形態では、推論部２は、少なくとも第１視点画像４１の各点の第１推定視差５１（図７参照）を出力する。第１推定視差５１は、第１視点画像４１の各点（着目点Ｐ）に対する、第２視点画像４２の対応点Ｑの変位量（画素のシフト量）を示す情報である。
【0022】
推論部２は、推定視差をどのような表現形式で出力してもよい。推論部２は、各点の推定視差を画像形式で表現した視差画像を出力してもよい。視差画像の各画素の画素値は、視差を表す。推論部２は、例えばｃｓｖ（comma-separated values）のような任意のデータ形式で、各点の推定視差を出力してもよい。
【0023】
高信頼度領域特定手段３は、第１推定視差５１の信頼度が高い、第１位置座標及び第１推定視差５１の組を特定する。ここでは、高信頼度領域特定手段３によって特定された、第１推定視差５１の信頼度が高い第１位置座標の集合を、高信頼度領域と呼ぶ。高信頼度領域特定手段３は、高信頼度領域を特定する信頼度情報６０を出力する。信頼度情報６０は、第１視点画像４１中の信頼度が高い領域を特定した情報である。信頼度情報６０は、第１推定視差５１の信頼度が高い点の第１位置座標のみを含むことによって、高信頼度領域を特定してもよい。信頼度情報６０は、第１視点画像４１中の全ての点について、信頼度が高いか否かを示す情報を含むことにより、高信頼度領域を特定してもよい。信頼度情報６０は、例えば、第１視点画像４１の各点に対する信頼度の高低を表す情報を含む。信頼度情報６０は、例えば、信頼度が高いことを示す「１」と、信頼度が高くないことを示す「０」とのいずれかからなる二値情報である。この場合、第１視点画像４１の各点のうちで「１」のデータが付与された点が高信頼度領域である。
【0024】
深度算出部４は、第１推定視差５１と、信頼度情報６０とに基づいて、第１視点画像４１における各点の奥行きを表す深度情報７０を算出する。深度算出部４は、第１視点画像４１と、第１視点画像４１の各画素の第１推定視差５１と、カメラパラメータ１３とに基づいて、深度情報７０を算出する。カメラパラメータ１３は、第１視点画像４１及び第２視点画像４２を撮像した撮像装置２０の光学特性であって、深度情報７０の算出に用いる情報である。カメラパラメータ１３は、撮像装置２０のベースライン長Ｂの情報や、焦点距離ｆの情報などを含む。
【0025】
図２は、深度情報７０の算出を説明する図である。第１視点画像４１（左画像）の着目点Ｐは、左カメラ２１の原点ＯＬを中心とした左カメラ座標系における座標（ｕＬ，ｖＬ）で表される。第２視点画像４２（右画像）の対応点Ｑは、右カメラ２２の原点ＯＲを中心とした右カメラ座標系における座標（ｕＲ，ｖＲ）で表される。第１視点画像４１の着目点Ｐと、第２視点画像４２の対応点Ｑとは、空間上の同一の点ＭＬ＝（Ｘ，Ｙ，Ｚ）を写す。点ＭＬは、点Ｍの左カメラ座標系での座標値を表す。平行ステレオ画像では、第１視点画像４１（左画像）と第２視点画像４２（右画像）との対応点ペアは画像中の上下方向の位置について同じ位置となるので、ｖＬとｖＲとは等しい。以降の説明において、上下方向の位置については言及を省略する。
【0026】
着目点Ｐ及び対応点Ｑと空間上の点Ｍとは、式（１）および（２）の関係で表される。
ここで、ｆは、左カメラ２１及び右カメラ２２の焦点距離である。Ｂは、原点ＯＬと原点ＯＲとの間のベースライン長である。
また、第１視点画像４１の着目点Ｐの第１推定視差５１で表される視差ｄは、式（３）で表される。式（３）を奥行きＺについて変形すると、式（４）が得られる。
【数1】
また、第１視点画像４１の着目点Ｐの第１推定視差５１で表される視差ｄは、式（３）で表される。式（３）を奥行きＺについて変形すると、式（４）が得られる。
【数2】
【0027】
これにより、深度算出部４は、第１視点画像４１の各点について、奥行きＺを表す深度情報７０を算出することができる。本実施形態では、深度算出部４は、第１推定視差５１の信頼度が高い、第１位置座標及び第１推定視差５１の組として特定された各点の奥行きＺを表す深度情報７０を算出する。深度算出部４は、第１視点画像４１の各点のうち、信頼度が高くない点の深度情報７０を出力しなくてもよい。深度算出部４は、信頼度が高くない点の深度情報７０については、算出した奥行きＺとともに、信頼度が高くないことを示す補足情報を付加して出力してもよい。
【0028】
深度算出部４は、深度情報７０をどのような形式で出力してもよい。深度算出部４は、深度情報７０として、各点の奥行きＺを画像形式で表現した深度画像を出力してもよい。深度算出部４は、例えばｃｓｖのような任意のデータ形式で、各点の深度情報７０を出力してもよい。
【0029】
出力部５は、画像処理装置１００において生成した情報を、データ利用機器ＤＵに出力する。出力部５は、深度算出部４により算出された深度情報７０をデータ利用機器ＤＵに出力する。出力部５は、深度情報７０に加えて、信頼度情報６０や視差情報を出力してもよい。画像処理装置１００とデータ利用機器ＤＵとは、有線又は無線により通信可能である。画像処理装置１００は、インターネットなどのネットワークを介してデータ利用機器ＤＵと通信可能であってもよい。
【0030】
データ利用機器ＤＵは、特に限定されない。データ利用機器ＤＵは、例えば深度情報７０に基づいてロボットを制御するための制御装置であってもよいし、深度情報７０に基づいて移動体の経路設定を行う移動体制御装置であってもよい。データ利用機器ＤＵは、深度情報７０に基づいて環境地図の作成と自己位置推定を行うＳＬＡＭ（Simultaneous Localization and Mapping）演算装置であってもよい。データ利用機器ＤＵは、画像処理装置１００に設けられていてもよい。つまり、画像処理装置１００は、データ利用機器ＤＵとして、深度情報７０を用いて演算処理を行う装置を備えていてもよい。
【0031】
記憶部６は、画像処理装置１００において利用される各種の情報を記憶する。記憶部６は、プログラム１１、第１学習済みモデル１２及びカメラパラメータ１３を記憶する。プログラム１１は、コンピュータを、画像取得部１、推論部２、高信頼度領域特定手段３、深度算出部４及び出力部５として機能させるアプリケーションプログラムである。記憶部６は、例えばＳＳＤ（Solid State Drive）や、ＨＤＤ（Hard Disk Drive）のような書き換え可能な補助記憶装置を含む。
【0032】
図３は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述の画像処理装置１００は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。画像処理装置１００の機能は、プログラム１１としてストレージ１００３に記憶されている。画像処理装置１００の記憶部６は、ストレージ１００３によって実現される。プロセッサ１００１は、プログラム１１をストレージ１００３から読み出してメインメモリ１００２に展開し、プログラム１１に従って各種の処理を実行する。プログラム１１は、プロセッサ１００１を、画像取得部１、推論部２、高信頼度領域特定手段３、深度算出部４及び出力部５として機能させる。なお、プログラム１１は、ネットワークを介してコンピュータシステム１０００に配信されてもよい。
【0033】
（画像処理装置の具体的構成例）
図４は、第１実施形態に係る画像処理装置１００の具体的構成例を示すブロック図である。図４では、第１実施形態に係る画像処理装置１００を、ロボットシステム１１０に適用した例を示す。
図４は、第１実施形態に係る画像処理装置１００の具体的構成例を示すブロック図である。図４では、第１実施形態に係る画像処理装置１００を、ロボットシステム１１０に適用した例を示す。
【0034】
ロボットシステム１１０は、第１実施形態に係る画像処理装置１００と、撮像装置２０と、カメラ移動ロボット３０と、カメラ移動ロボット３０を制御するロボット制御装置３１と、作業ロボット３２と、作業ロボット３２を制御するロボット制御装置３３と、を備える。すなわち、ロボットシステム１１０は、撮像装置２０によって撮像したステレオ画像に対して画像処理装置１００により３次元画像計測処理を行い、得られる深度情報７０に基づいて物体認識を行うロボットビジョンを備える。ロボットシステム１１０は、物体認識の結果に基づいて作業ロボット３２により所定の作業を実行する。
【0035】
作業ロボット３２は、モータなどの駆動源と、駆動源によって動作する可動部とを備え、可動部を動かすことで所定の作業を行う。作業ロボット３２の種類は特に限定されず、作業ロボット３２が実行する作業の内容も限定されない。作業ロボット３２の種類は、例えば、垂直多関節ロボット、スカラロボット、パラレルロボット、直交ロボット、双腕又は多腕ロボット、人型ロボットなどである。作業の内容としては、ピッキング作業、パレタイジング作業、搬送作業、部品組付け作業、加工作業、溶接などの接合作業、作業者との協調作業などが例示される。
【0036】
カメラ移動ロボット３０は、モータなどの駆動源と、駆動源によって動作する可動部とを備え、撮像装置２０を保持して移動する。カメラ移動ロボット３０は、作業ロボット３２の作業エリアの全体や作業ロボット３２の周辺の画像を取得できるように、撮像装置２０を移動させる。カメラ移動ロボット３０の種類は特に限定されない。カメラ移動ロボット３０は、パン及びチルトといった角度変更が可能な電動雲台であってもよいし、角度変更と位置変更とが可能な多関節ロボットなどであってもよい。
【0037】
画像処理装置１００は、上述した画像取得部１、推論部２、高信頼度領域特定手段３、深度算出部４、出力部５及び記憶部６に加えて、物体認識部７及び撮像制御部８を備える。この例では、物体認識部７がデータ利用機器ＤＵに該当する。
【0038】
物体認識部７は、深度算出部４により算出された深度情報７０に基づいて、画像中から物体を認識する。物体認識部７は、記憶部６から、認識対象となる物体のＣＡＤデータ１４を取得する。ＣＡＤデータ１４は、物体の３次元形状を規定する。物体認識部７は、深度情報７０に対して、ＣＡＤデータ１４で規定された物体の３次元マッチング処理を行い、認識対象の位置及び姿勢を取得する。認識対象となる物体は、例えば、作業ロボット３２による作業の対象物である。
【0039】
深度算出部４は、信頼度情報６０に基づいて、第１推定視差５１の信頼度が高い、第１位置座標及び第１推定視差５１の組として特定された各点の深度情報７０を出力する。物体認識部７は、信頼度が高い点の深度情報７０に基づいて、３次元マッチング処理を行う。物体認識部７は、信頼度が高くない点の深度情報７０が存在する場合、信頼度が高くない点の深度情報７０を３次元マッチング処理に用いない。物体認識にＣＡＤデータ１４を用いる場合、認識対象となる物体の外形形状が既知である。そのため、深度情報７０は、認識対象となる物体の外形形状を測定するのではなく、認識対象となる物体の位置及び姿勢を特定するために利用される。この場合、物体の位置及び姿勢を特定可能な数の位置情報が得られればよいため、利用可能な深度情報７０の点数が減少したとしても、信頼度が高い点の深度情報７０だけを利用することで、物体の位置及び姿勢の認識精度が向上する。なお、物体認識部７は、信頼度が高い点だけでなく、信頼度が高くない点の深度情報７０を利用してもよい。例えば、信頼度が高い点の深度情報７０に大きな重みを付け、信頼度が高くない点の深度情報７０には小さな重みを付け、重み付けで物体の認識処理を行ってもよい。出力部５は、物体認識部７により生成された認識対象の位置及び姿勢の情報を、ロボット制御装置３３に出力する。
【0040】
ロボット制御装置３３は、作業ロボット３２を制御する。ロボット制御装置３３は、出力部５から出力される認識対象の位置及び姿勢の情報に基づいて、作業ロボット３２を動作させる。
【0041】
撮像制御部８は、深度算出部４により算出された深度情報７０又は物体認識部７により生成された認識対象の位置及び姿勢の情報に基づいて、ロボット制御装置３１に対する制御情報を生成する。出力部５は、撮像制御部８により生成された制御情報を、ロボット制御装置３１に出力する。ロボット制御装置３１は、カメラ移動ロボット３０を制御する。ロボット制御装置３１は、出力部５から出力される制御情報に基づいて、カメラ移動ロボット３０を動作させる。
【0042】
なお、撮像装置２０の視野は固定でもよく、その場合、カメラ移動ロボット３０、ロボット制御装置３１及び撮像制御部８を設けなくてもよい。
【0043】
（信頼度情報の詳細説明）
図５は、第１視点画像４１及び第２視点画像４２に写る領域の差異を説明するための具体例を示した模式図である。図６は、図５に示した具体例において取得される第１視点画像４１及び第２視点画像４２を示した模式図である。図５は、説明のため便宜的に、撮像装置２０の撮像系をピンホールカメラモデルで示す。図６は、説明のため便宜的に、撮像される画像の画素数を減少させて単純化している。
図５は、第１視点画像４１及び第２視点画像４２に写る領域の差異を説明するための具体例を示した模式図である。図６は、図５に示した具体例において取得される第１視点画像４１及び第２視点画像４２を示した模式図である。図５は、説明のため便宜的に、撮像装置２０の撮像系をピンホールカメラモデルで示す。図６は、説明のため便宜的に、撮像される画像の画素数を減少させて単純化している。
【0044】
左カメラ２１は、撮像視野２３の範囲で仮想的な画像面２５に投影された像を第１視点画像４１として取得する。右カメラ２２は、撮像視野２４の範囲で仮想的な画像面２６に投影された像を第２視点画像４２として取得する。図５では、撮像装置２０によって、ある物体９０が撮像される例を示す。物体９０の前面のうち、領域９１は、撮像視野２３及び撮像視野２４の両方に含まれる。物体９０の領域９２は、左カメラ２１の撮像視野２３の外部にあり、撮像視野２４のみに含まれる。物体９０の側面である領域９３は、右カメラ２２の撮像視野２４からは、前面に遮られた死角にあるため、左カメラ２１の撮像視野２３のみに含まれる。
【0045】
この場合、図６に示すように、第１視点画像４１及び第２視点画像４２には、物体９０の領域９１が、共通して写る。第１視点画像４１には、領域９２が写らず、物体９０の領域９３が写る。第２視点画像４２には、物体９０の領域９３が写らず、領域９２が写る。
【0046】
（第１推定視差の取得）
図７は、第１視点画像４１及び第２視点画像４２を入力した時に第１学習済みモデル１２により出力される第１推定視差５１の具体例を示す模式図である。第１学習済みモデル１２は、ステレオ画像のうち左画像（第１画像）を入力する左チャンネルＬｃｈと、ステレオ画像のうち右画像（第２画像）を入力する右チャンネルＲｃｈと、推論結果である推定視差を出力する出力チャンネルＯｃｈとを有する。推論部２は、第１視点画像４１を第１学習済みモデル１２の左チャンネルＬｃｈに入力し、第２視点画像４２を第１学習済みモデル１２の右チャンネルＲｃｈに入力する。第１学習済みモデル１２は、左チャンネルＬｃｈに入力された画像、すなわち第１視点画像４１の各点（各画素）についての第１推定視差５１を出力チャンネルＯｃｈから出力する。
図７は、第１視点画像４１及び第２視点画像４２を入力した時に第１学習済みモデル１２により出力される第１推定視差５１の具体例を示す模式図である。第１学習済みモデル１２は、ステレオ画像のうち左画像（第１画像）を入力する左チャンネルＬｃｈと、ステレオ画像のうち右画像（第２画像）を入力する右チャンネルＲｃｈと、推論結果である推定視差を出力する出力チャンネルＯｃｈとを有する。推論部２は、第１視点画像４１を第１学習済みモデル１２の左チャンネルＬｃｈに入力し、第２視点画像４２を第１学習済みモデル１２の右チャンネルＲｃｈに入力する。第１学習済みモデル１２は、左チャンネルＬｃｈに入力された画像、すなわち第１視点画像４１の各点（各画素）についての第１推定視差５１を出力チャンネルＯｃｈから出力する。
【0047】
第１学習済みモデル１２の種類は、特に限定されない。第１学習済みモデル１２は、概略では、入力された第１視点画像４１及び第２視点画像４２の各々の特徴ベクトルの抽出を行う特徴抽出処理、第１視点画像４１及び第２視点画像４２の特徴ベクトル間で最も類似する対応点ペアを見つける対応点マッチング処理、得られた対応点ペアから視差方向の変位を表す視差ｄを求め、設定されたデータ形式で出力する出力処理、を行うように設計され、所望の精度での出力が得られるように機械学習されている。
【0048】
視差は、ｄ（ｕ，ｖ）で表される。左画像（第１画像）を基準とする視差は、ｄｌ（ｕｌ，ｖｌ）で表される。上述の通り、各画像の上下方向は一致するとみなすと、同一行（同一のＹ座標ｖＬ、ｖＲ）の各データについて、第１推定視差５１は、次のデータ形式Ｄ１で表される。
［データ形式Ｄ１］ （ｕｌ、ｄｌ ＊）
ここで、ｕｌは左画像（第１視点画像４１）中の位置（第１位置座標）、ｄｌ ＊は第１学習済みモデル１２が出力した推定視差である。位置ｕｌ、推定視差ｄｌ ＊は、長さの単位（ｍｍなど）で表してもよいし、画素数で表してもよい。図７では、便宜的に、第１推定視差５１を視差画像の形式で出力する例を示し、第１推定視差５１の各画素は、第１視点画像４１を基準とした視差（第２視点画像４２における対応点Ｑまでの画素シフト量）を表す。
［データ形式Ｄ１］ （ｕｌ、ｄｌ ＊）
ここで、ｕｌは左画像（第１視点画像４１）中の位置（第１位置座標）、ｄｌ ＊は第１学習済みモデル１２が出力した推定視差である。位置ｕｌ、推定視差ｄｌ ＊は、長さの単位（ｍｍなど）で表してもよいし、画素数で表してもよい。図７では、便宜的に、第１推定視差５１を視差画像の形式で出力する例を示し、第１推定視差５１の各画素は、第１視点画像４１を基準とした視差（第２視点画像４２における対応点Ｑまでの画素シフト量）を表す。
【0049】
第１学習済みモデル１２は、左チャンネルＬｃｈに入力された第１画像（ここでは第１視点画像４１）の各点の視差を出力するように設計及び学習される。各点の視差を出力するため、本来視差を算出できない点の視差については、機械学習により最も確からしいと推定される値によって補完される。したがって、第１推定視差５１において、第１視点画像４１及び第２視点画像４２に共通して写る領域９１については、正確な視差が算出されている可能性が高いが、第１視点画像４１にしか写らない領域（ここでは、物体９０の領域９３）の視差については、第１学習済みモデル１２が補完した値であり、正確な値が出力されているとは限らない。
【0050】
そこで、本実施形態に係る高信頼度領域特定手段３は、各第１視点画像４１中の点について、第１位置座標、第１推定視差５１、第２視点画像４２中の対応点Ｑの推定位置が対応付けられた対応付けデータを生成し、対応付けデータの集合から、第１推定視差５１の信頼度が高い、第１位置座標及び第１推定視差５１の組を特定する。図７の例では、高信頼度領域特定手段３は、領域９１が写る点（画素）とその推定視差については、第１推定視差５１の信頼度が高い、第１位置座標及び第１推定視差５１の組として特定する。高信頼度領域特定手段３は、領域９１を高信頼度領域として特定した信頼度情報６０を出力する。高信頼度領域特定手段３は、信頼度情報６０により、第１視点画像４１の各点のうちで、信頼度が高い領域を特定することを可能にする。以下、高信頼度領域特定手段３による高信頼度領域の特定処理について説明する。
【0051】
（対応点の取得）
高信頼度領域特定手段３は、第１位置座標（ｕｌ）及び第１推定視差５１（ｄｌ ＊）から第２視点画像４２中の対応点Ｑの推定位置を求める。
式（３）より、対応点Ｑの位置は、式（５）で表される。
ここで、ｕｒ
＊は、第１推定視差５１から求められる対応点Ｑの推定位置である。
高信頼度領域特定手段３は、第１位置座標（ｕｌ）及び第１推定視差５１（ｄｌ ＊）から第２視点画像４２中の対応点Ｑの推定位置を求める。
式（３）より、対応点Ｑの位置は、式（５）で表される。
【数3】
【0052】
図８は、対応点Ｑを説明する模式図である。図８において、左画像である第１視点画像４１の各点の数値は、その点の第１位置座標（ｕｌ）を示している。第１推定視差５１は、第１視点画像４１の各点と同じ点の視差（ｄｌ
＊）を示す。例えば点線で示した上から３行目の着目点Ｐ（ｕｌ＝５）に対して、右画像（第２視点画像４２）における対応点Ｑは、右画像（第２視点画像４２）の同一の行における、視差（ｄｌ
＊＝２）の分だけ減算した点（ｕｒ
＊＝３）である。第１視点画像４１の全ての点について対応点Ｑを算出することで、各対応点Ｑの推定位置（ｕｒ
＊）が得られる。すなわち、高信頼度領域特定手段３は、データ形式Ｄ１のデータに、対応点Ｑの推定位置（ｕｒ
＊）を付加したデータ形式Ｄ２として、対応付けデータを得る。
［データ形式Ｄ２］ （ｕｌ、ｄｌ ＊、ｕｒ ＊）
図８では、第１視点画像４１の各点の画素値を、その点に対する対応点Ｑの推定位置（ｕｒ ＊）とした画像である対応点マップ４５を示す。対応点マップ４５は、第１位置座標（ｕｌ）と、その第１位置座標（ｕｌ）の対応点Ｑの推定位置（ｕｒ ＊）との組を示す。なお、高信頼度領域の特定のためには、対応点Ｑの推定位置（ｕｒ ＊）が把握できればよいので、対応点Ｑの推定位置を表す画像（対応点マップ４５）を生成する必要はない。
［データ形式Ｄ２］ （ｕｌ、ｄｌ ＊、ｕｒ ＊）
図８では、第１視点画像４１の各点の画素値を、その点に対する対応点Ｑの推定位置（ｕｒ ＊）とした画像である対応点マップ４５を示す。対応点マップ４５は、第１位置座標（ｕｌ）と、その第１位置座標（ｕｌ）の対応点Ｑの推定位置（ｕｒ ＊）との組を示す。なお、高信頼度領域の特定のためには、対応点Ｑの推定位置（ｕｒ ＊）が把握できればよいので、対応点Ｑの推定位置を表す画像（対応点マップ４５）を生成する必要はない。
【0053】
（第２推定視差の取得）
第１実施形態では、高信頼度領域特定手段３は、第１推定視差５１における信頼度の高いデータを特定するための比較対象として、第２視点画像４２の各点の３次元位置に関する第２推定視差５２を取得する。
第１実施形態では、高信頼度領域特定手段３は、第１推定視差５１における信頼度の高いデータを特定するための比較対象として、第２視点画像４２の各点の３次元位置に関する第２推定視差５２を取得する。
【0054】
図９は、第１推定視差５１と第２推定視差５２とを示す模式図である。第２推定視差５２は、第２視点画像４２を基準とした視差（第１視点画像４１における対応点までの画素シフト量）を表す。つまり、第１推定視差５１は、第１視点画像４１中の画素を着目点Ｐとし、第２視点画像４２における対応点Ｑまでの変位量を示す情報であるのに対して、第２推定視差５２は、第２視点画像４２中の画素を着目点Ｐとし、第１視点画像４１における対応点Ｑまでの変位量を示す情報である。右画像を基準とする視差は、ｄｒ
＊（ｕｒ，ｖｒ）で表される。
【0055】
第２推定視差５２は、次のデータ形式Ｄ３で表される。
［データ形式Ｄ３］ （ｕｒ、ｄｒ ＊）
ただし、ｕｒは右画像（第２視点画像４２）中の位置を表す第２位置座標である。ｄｒ ＊は右画像（第２視点画像４２）を基準とする推定視差（第２推定視差５２の値）である。位置座標ｕｒ、推定視差ｄｒ ＊は、長さの単位（ｍｍなど）で表してもよいし、画素数で表してもよい。図７では、便宜的に、第２推定視差５２を視差画像の形式で出力する例を示し、第２推定視差５２の各画素の画素値は、第２視点画像４２の各第２位置座標（ｕｒ）と対応付けられた推定視差（第１視点画像４１における対応点Ｑまでの画素シフト量）を表す。図９において点線で示すように、第１推定視差５１及び第２推定視差５２の同一行に含まれる各点は、第１視点画像４１及び第２視点画像４２の対応点ペアの推定視差を、それぞれ左画像基準及び右画像基準で表現したことになる。
［データ形式Ｄ３］ （ｕｒ、ｄｒ ＊）
ただし、ｕｒは右画像（第２視点画像４２）中の位置を表す第２位置座標である。ｄｒ ＊は右画像（第２視点画像４２）を基準とする推定視差（第２推定視差５２の値）である。位置座標ｕｒ、推定視差ｄｒ ＊は、長さの単位（ｍｍなど）で表してもよいし、画素数で表してもよい。図７では、便宜的に、第２推定視差５２を視差画像の形式で出力する例を示し、第２推定視差５２の各画素の画素値は、第２視点画像４２の各第２位置座標（ｕｒ）と対応付けられた推定視差（第１視点画像４１における対応点Ｑまでの画素シフト量）を表す。図９において点線で示すように、第１推定視差５１及び第２推定視差５２の同一行に含まれる各点は、第１視点画像４１及び第２視点画像４２の対応点ペアの推定視差を、それぞれ左画像基準及び右画像基準で表現したことになる。
【0056】
第２推定視差５２の取得方法は、特に限定されない。第１実施形態では、第２推定視差５２の取得方法として、３つの取得例を示す。
【0057】
（第２推定視差５２の第１取得例）
図１０は、第２推定視差５２の第１取得例を示す模式図である。第１取得例では、別々の学習済みモデル（１２Ａ、１２Ｂ）を用いて、第１推定視差５１と第２推定視差５２とを取得する。具体的には、推論部２は、第１学習済みモデル１２Ａを用いて、第１推定視差５１を出力する。第１学習済みモデル１２Ａは、上記の第１学習済みモデル１２と同じである。推論部２は、第２学習済みモデル１２Ｂを用いて、第２推定視差５２を出力する。すなわち、推論部２は、第１学習済みモデル１２Ａに加えて、第１画像及び第２画像を入力し、第２画像中の点のそれぞれについて第１画像中の対応点Ｑとの間の視差の機械学習による推論値である第２推定視差５２（ｄｒ ＊）を第２画像中の点の位置を表す第２位置座標（ｕｒ）と対応付けて出力する第２学習済みモデル１２Ｂを利用可能とされる。推論部２は、第１視点画像４１を第１画像とし、第２視点画像４２を第２画像として第２学習済みモデル１２Ｂに入力して第２位置座標（ｕｒ）と対応付けられた第２推定視差５２（ｄｒ ＊）を取得する。
図１０は、第２推定視差５２の第１取得例を示す模式図である。第１取得例では、別々の学習済みモデル（１２Ａ、１２Ｂ）を用いて、第１推定視差５１と第２推定視差５２とを取得する。具体的には、推論部２は、第１学習済みモデル１２Ａを用いて、第１推定視差５１を出力する。第１学習済みモデル１２Ａは、上記の第１学習済みモデル１２と同じである。推論部２は、第２学習済みモデル１２Ｂを用いて、第２推定視差５２を出力する。すなわち、推論部２は、第１学習済みモデル１２Ａに加えて、第１画像及び第２画像を入力し、第２画像中の点のそれぞれについて第１画像中の対応点Ｑとの間の視差の機械学習による推論値である第２推定視差５２（ｄｒ ＊）を第２画像中の点の位置を表す第２位置座標（ｕｒ）と対応付けて出力する第２学習済みモデル１２Ｂを利用可能とされる。推論部２は、第１視点画像４１を第１画像とし、第２視点画像４２を第２画像として第２学習済みモデル１２Ｂに入力して第２位置座標（ｕｒ）と対応付けられた第２推定視差５２（ｄｒ ＊）を取得する。
【0058】
推論部２は、左画像（第１画像）である第１視点画像４１を第１学習済みモデル１２Ａ及び第２学習済みモデル１２Ｂの左チャンネルＬｃｈにそれぞれ入力し、右画像（第２画像）である第２視点画像４２を第１学習済みモデル１２Ａ及び第２学習済みモデル１２Ｂの右チャンネルＲｃｈにそれぞれ入力する。第１学習済みモデル１２Ａは、第１推定視差５１を出力チャンネルＯｃｈから出力し、第２学習済みモデル１２Ｂは、第２推定視差５２を出力チャンネルＯｃｈから出力する。これにより、高信頼度領域特定手段３は、第１学習済みモデル１２Ａにより生成された第１推定視差５１を取得し、第２学習済みモデル１２Ｂにより生成された第２推定視差５２を取得する。
【0059】
（第２推定視差５２の第２取得例）
図１１は、第２推定視差５２の第２取得例を示す模式図である。第２取得例では、１つの第１学習済みモデル１２Ｃを用いて、第１推定視差５１と第２推定視差５２とを取得する。具体的には、第１学習済みモデル１２Ｃは、第１推定視差５１を第１画像中の点の位置と対応付けて出力することに加えて、第２画像中の点のそれぞれについて第１画像中の対応点Ｑとの間の視差の機械学習による推論値である第２推定視差５２（ｄｒ ＊）を第２画像中の点の位置を表す第２位置座標（ｕｒ）と対応付けて出力する。推論部２は、第１視点画像４１を左画像（第１画像）とし、第２視点画像４２を右画像（第２画像）として第１学習済みモデル１２に入力して第１位置座標（ｕｌ）と対応付けられた第１推定視差５１（ｄｌ ＊）、及び第２位置座標（ｕｒ）と対応付けられた第２推定視差５２（ｄｒ ＊）を取得する。
図１１は、第２推定視差５２の第２取得例を示す模式図である。第２取得例では、１つの第１学習済みモデル１２Ｃを用いて、第１推定視差５１と第２推定視差５２とを取得する。具体的には、第１学習済みモデル１２Ｃは、第１推定視差５１を第１画像中の点の位置と対応付けて出力することに加えて、第２画像中の点のそれぞれについて第１画像中の対応点Ｑとの間の視差の機械学習による推論値である第２推定視差５２（ｄｒ ＊）を第２画像中の点の位置を表す第２位置座標（ｕｒ）と対応付けて出力する。推論部２は、第１視点画像４１を左画像（第１画像）とし、第２視点画像４２を右画像（第２画像）として第１学習済みモデル１２に入力して第１位置座標（ｕｌ）と対応付けられた第１推定視差５１（ｄｌ ＊）、及び第２位置座標（ｕｒ）と対応付けられた第２推定視差５２（ｄｒ ＊）を取得する。
【0060】
第１学習済みモデル１２Ｃは、ステレオ画像のうち左画像（第１画像）を入力する左チャンネルＬｃｈと、ステレオ画像のうち右画像（第２画像）を入力する右チャンネルＲｃｈと、推論結果である第１推定視差５１を出力する第１出力チャンネルＯ１ｃｈと、推論結果である第２推定視差５２を出力する第２出力チャンネルＯ２ｃｈと、を有する。推論部２は、左画像（第１画像）である第１視点画像４１を第１学習済みモデル１２Ｃの左チャンネルＬｃｈに入力し、右画像（第２画像）である第２視点画像４２を第１学習済みモデル１２Ｃの右チャンネルＲｃｈに入力する。第１学習済みモデル１２Ｃは、第１推定視差５１を第１出力チャンネルＯ１ｃｈから出力し、第２推定視差５２を第２出力チャンネルＯ２ｃｈから出力する。これにより、高信頼度領域特定手段３は、第１学習済みモデル１２Ｃにより生成された第１推定視差５１及び第２推定視差５２を取得する。
【0061】
（第２推定視差５２の第３取得例）
図１２は、第２推定視差５２の第３取得例を示す模式図である。なお、図１２に示した画像及び推定視差の模式図は、画像の左右を区別するために便宜的に示したものであり、物体９０の像や視差を反映したものではない。第２推定視差５２の第３取得例は、第１推定視差５１を出力する処理を学習した第１学習済みモデル１２を用いて、第２推定視差５２を取得する例を示す。第１学習済みモデル１２は、第１視点画像４１及び第２視点画像４２を入力とし、第１推定視差５１を出力とする処理を学習している。そのため、第１推定視差５１を取得する場合には、推論部２は、図７に示したように、第１視点画像４１を第１学習済みモデル１２の左チャンネルＬｃｈに入力し、第２視点画像４２を第１学習済みモデル１２の右チャンネルＲｃｈに入力することで、第１推定視差５１を出力チャンネルＯｃｈから出力させる。
図１２は、第２推定視差５２の第３取得例を示す模式図である。なお、図１２に示した画像及び推定視差の模式図は、画像の左右を区別するために便宜的に示したものであり、物体９０の像や視差を反映したものではない。第２推定視差５２の第３取得例は、第１推定視差５１を出力する処理を学習した第１学習済みモデル１２を用いて、第２推定視差５２を取得する例を示す。第１学習済みモデル１２は、第１視点画像４１及び第２視点画像４２を入力とし、第１推定視差５１を出力とする処理を学習している。そのため、第１推定視差５１を取得する場合には、推論部２は、図７に示したように、第１視点画像４１を第１学習済みモデル１２の左チャンネルＬｃｈに入力し、第２視点画像４２を第１学習済みモデル１２の右チャンネルＲｃｈに入力することで、第１推定視差５１を出力チャンネルＯｃｈから出力させる。
【0062】
これに対して、第２推定視差５２を取得する場合、図１２に示すように、推論部２は、第１学習済みモデル１２に対する入力画像の入れ替え処理及び視差方向の反転処理を行う。推論部２は、左画像（第１画像）である第１視点画像４１と、右画像（第２画像）である第２視点画像４２とを、それぞれ視差方向（左右方向）に反転させる反転処理を行い、第１反転画像４３と第２反転画像４４とを得る。第１反転画像４３は、第１視点画像４１が左右反転された画像であり、第２反転画像４４は、第２視点画像４２が左右反転された画像である。そして、推論部２は、第２視点画像４２を視差方向に反転処理した第２反転画像４４を第１画像とし、第１視点画像４１を視差方向に反転処理した第１反転画像４３を第２画像として第１学習済みモデル１２に入力する。すなわち、推論部２は、第２反転画像４４を第１学習済みモデル１２の左チャンネルＬｃｈに入力し、第１反転画像４３を第１学習済みモデル１２の右チャンネルＲｃｈに入力する。その結果、第１学習済みモデル１２は、反転推定視差５３を出力する。反転推定視差５３は、第１学習済みモデル１２の左チャンネルＬｃｈに入力された画像である第１反転画像４３の各点を基準として、第２反転画像４４の対応点Ｑへの画素シフト量を表す。推論部２は、得られた反転推定視差５３に対して、視差方向の反転処理を行うことにより、第２推定視差５２を取得する。
【0063】
このように、第２推定視差５２の第３取得例では、推論部２は、第２視点画像４２を視差方向に反転処理した第２反転画像４４を第１画像とし、第１視点画像４１を視差方向に反転処理した第１反転画像４３を第２画像として第１学習済みモデル１２に入力して第１位置座標と対応付けられた第１推定視差を取得し、第１位置座標を視差方向に反転処理して第２位置座標とするとともに第１推定視差の符号を反転処理して第２推定視差５２とする。
【0064】
第１実施形態では、第１取得例、第２取得例及び第３取得例のいずれの方法で第２推定視差５２を取得してもよい。第１取得例では、２つの学習済みモデルをそれぞれ作成する必要があり、第２取得例では、１つの学習済みモデルで済む代わりに、学習済みモデルの規模が大きくなるため、推論及び学習に要する演算コストが増大する。一方、第３取得例では、画像の反転処理や、入力画像の入れ替え処理を行うだけなので、１つの学習済みモデルで済むと共に、学習済みモデルの規模が小さく、推論及び学習に要する演算コストが低減できる。
【0065】
以上により、高信頼度領域特定手段３は、第１位置座標、第１推定視差５１及び対応点Ｑの推定位置の情報を含むデータ形式Ｄ２の対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）と、第２位置座標及び第２推定視差５２を含むデータ形式Ｄ３のデータ（ｕｒ、ｄｒ
＊）とを合わせて、次のデータ形式Ｄ４のデータを取得する。
［データ形式Ｄ４］ （ｕｌ、ｄｌ ＊、ｕｒ ＊、ｕｒ、ｄｒ ＊）
データ形式Ｄ４において、データ（ｕｌ、ｄｌ ＊、ｕｒ ＊）は互いに関連付けられたデータである。データ（ｕｒ、ｄｒ ＊）は互いに関連付けられたデータである。
［データ形式Ｄ４］ （ｕｌ、ｄｌ ＊、ｕｒ ＊、ｕｒ、ｄｒ ＊）
データ形式Ｄ４において、データ（ｕｌ、ｄｌ ＊、ｕｒ ＊）は互いに関連付けられたデータである。データ（ｕｒ、ｄｒ ＊）は互いに関連付けられたデータである。
【0066】
（着目点における第１推定視差と対応点における第２推定視差との対比）
図１３は、第１推定視差５１、対応点Ｑ及び第２推定視差５２の関係を示した模式図である。第１推定視差５１は、左画像（第１画像）である第１視点画像４１の各点における第１画像基準の視差を表し、第２推定視差５２は、右画像（第２画像）である第２視点画像４２の各点における第２画像基準の視差を表す。ここでは、着目点Ｐ、対応点Ｑの関係は、第１推定視差５１を基準とする。高信頼度領域特定手段３は、着目点Ｐにおける第１推定視差５１と、対応点Ｑにおける第２推定視差５２とに基づいて、第１推定視差５１の信頼度を判定する。
図１３は、第１推定視差５１、対応点Ｑ及び第２推定視差５２の関係を示した模式図である。第１推定視差５１は、左画像（第１画像）である第１視点画像４１の各点における第１画像基準の視差を表し、第２推定視差５２は、右画像（第２画像）である第２視点画像４２の各点における第２画像基準の視差を表す。ここでは、着目点Ｐ、対応点Ｑの関係は、第１推定視差５１を基準とする。高信頼度領域特定手段３は、着目点Ｐにおける第１推定視差５１と、対応点Ｑにおける第２推定視差５２とに基づいて、第１推定視差５１の信頼度を判定する。
【0067】
第１推定視差５１及び第２推定視差５２が正しい場合、真の視差ｄｌと真の視差ｄｒとは、式（６）の関係で表される。
式（６）から、式（７）が成り立つ。
【数4】
【数5】
【0068】
つまり、推論部２における推論が正しい場合、着目点Ｐの第１推定視差５１である推定視差ｄｌ
＊と、対応点Ｑの第２推定視差５２である推定視差ｄｒ
＊とは、符号が反対で値が等しくなる。
【0069】
したがって、着目点Ｐの第１位置座標（ｕｌ）における推定視差ｄｌ
＊（ｕｌ）と、対応点Ｑの推定位置ｕｒ
＊における推定視差ｄｒ
＊（ｕｒ
＊）とが、式（８）を満たすとき、推論部２における推論が正しいと言える。
【数6】
【0070】
そこで、第１実施形態では、高信頼度領域特定手段３は、対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）において第１位置座標（ｕｌ）に対応付けられている第２視点画像４２中の対応点Ｑの推定位置（ｕｒ
＊）と同一の第２位置座標（ｕｒ）に対応付けられた第２推定視差５２を特定し、対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）において第１位置座標（ｕｌ）に対応付けられている第１推定視差５１の大きさｄｌ
＊（ｕｌ）と特定された第２推定視差５２の大きさｄｒ
＊（ｕｒ
＊）との差が所定のしきい値よりも小さい場合に、対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）において第１位置座標（ｕｌ）に対応付けられている第１推定視差５１の信頼度は高いとする。すなわち、高信頼度領域特定手段３は、着目点Ｐについて、式（９）の左辺が閾値より小さい場合に、その点の信頼度が高いと判定する。高信頼度領域特定手段３は、着目点Ｐについて、式（９）の左辺が閾値以上となる場合に、その点の信頼度が高くないと判定する。
【数7】
【0071】
例えば図１３に示した例では、実線で示すように、第１推定視差５１の着目点Ｐ１（ｕｌ＝９）の推定視差ｄｌ
＊（ｕｌ）が「２」であり、対応点Ｑ１の推定位置ｕｒ
＊は「７」である。第２推定視差５２から、対応点Ｑ１の推定視差ｄｒ
＊（ｕｒ
＊）が「－２」であることが分かる。この場合、式（９）の左辺で示す着目点Ｐ１の第１推定視差５１と対応点Ｑ１の第２推定視差５２との誤差は０となり、着目点Ｐ１について第１推定視差５１の信頼度が高いと判断できる。
【0072】
一方、点線で示すように、第１推定視差５１の着目点Ｐ２（ｕｌ＝４）の推定視差ｄｌ
＊（ｕｌ）が「１」であり、対応点Ｑ２の推定位置ｕｒ
＊は「３」である。第２推定視差５２から、対応点Ｑ２の推定視差ｄｒ
＊（ｕｒ
＊）が「－２」であることが分かる。この場合、着目点Ｐ２の第１推定視差５１と対応点Ｑ２の第２推定視差５２との誤差は１となる。例えば式（９）の右辺の閾値が「１」の場合、着目点Ｐ２について第１推定視差５１の信頼度が高くないと判断される。
【0073】
高信頼度領域特定手段３は、第１推定視差５１の各第１位置座標（ｕｌ）について、式（９）に基づいて信頼度を判定することにより、第１推定視差５１の信頼度が高い、第１位置座標及び第１推定視差５１の組（ｕｌ，ｄｌ
＊）を特定する。高信頼度領域特定手段３は、第１推定視差５１の信頼度が高い第１位置座標の集合である高信頼度領域を示す信頼度情報６０を出力する。上述の通り、信頼度情報６０のデータ形式は特に限定されないが、ここでは一例として、信頼度情報６０が、信頼度の高低を表す二値情報であるとする。すなわち、信頼度情報６０は、第１視点画像４１の各点について、式（９）を満たす場合にＲ＝１となり、式（９）を満たさない場合にＲ＝０となる変数Ｒを含む。Ｒ＝１は、着目点Ｐにおける第１推定視差５１と対応点Ｑにおける第２推定視差５２との誤差が閾値未満であり、第１推定視差５１の信頼度が高いことを示す。Ｒ＝０は、着目点Ｐにおける第１推定視差５１と対応点Ｑにおける第２推定視差５２との誤差が閾値以上であり、第１推定視差５１の信頼度が高くないことを示す。高信頼度領域特定手段３は、データ形式Ｄ４に、信頼度情報６０である各点の変数Ｒを付加して、データ形式Ｄ５で表されるデータを取得する。
［データ形式Ｄ５］ （ｕｌ、ｄｌ ＊、ｕｒ ＊、ｕｒ、ｄｒ ＊、Ｒ）
データ形式Ｄ５において、データ（ｕｌ、ｄｌ ＊、ｕｒ ＊、Ｒ）は互いに関連付けられたデータである。データ（ｕｒ、ｄｒ ＊）は互いに関連付けられたデータである。
［データ形式Ｄ５］ （ｕｌ、ｄｌ ＊、ｕｒ ＊、ｕｒ、ｄｒ ＊、Ｒ）
データ形式Ｄ５において、データ（ｕｌ、ｄｌ ＊、ｕｒ ＊、Ｒ）は互いに関連付けられたデータである。データ（ｕｒ、ｄｒ ＊）は互いに関連付けられたデータである。
【0074】
図１４は、信頼度情報６０の一例を示した模式図である。信頼度情報６０の表現形式は、特に限定されないが、図１４では、信頼度情報６０を、第１視点画像４１の各点の画素値を、その点に対する信頼度とした画像（ｕｌ、Ｒ）で表現した例を示す。図１３のケースで、式（９）の閾値を「１」とすると、図１４に示すように、背景及び領域９１が写る画素についてはＲ＝１となり、領域９３が写る画素についてはＲ＝０となる。信頼度情報６０により、物体９０が写る画素領域のうち、領域９１を写す点は信頼度が高い高信頼度領域であり、領域９３を写す点は信頼度が高くない領域であることが分かる。このように、信頼度情報６０は、第１視点画像４１の各点のうち信頼度が高い高信頼度領域を他の領域から区別することができる。
【0075】
（信頼度情報に基づく深度情報の算出）
次に、信頼度情報６０に基づく深度情報７０の算出について説明する。図１５は、第１実施形態に係る高信頼度領域特定手段３による信頼度情報６０の取得方法を模式的に示した図である。図１６は、深度算出部４における深度情報７０の算出方法の一例を模式的に示した図である。
次に、信頼度情報６０に基づく深度情報７０の算出について説明する。図１５は、第１実施形態に係る高信頼度領域特定手段３による信頼度情報６０の取得方法を模式的に示した図である。図１６は、深度算出部４における深度情報７０の算出方法の一例を模式的に示した図である。
【0076】
図１５に示すように、高信頼度領域特定手段３は、第１推定視差５１と第２推定視差５２とにより、式（９）に基づく信頼度の計算処理を行い、信頼度情報６０を出力する。図１４に示したように、高信頼度領域特定手段３は、第１視点画像４１の各点の高信頼度領域を表すマスクデータとして信頼度情報６０を出力できる。マスクデータは、第１視点画像４１の各第１位置座標の第１推定視差５１についての信頼度の値（Ｒ＝１又はＲ＝０）を有する二値画像である。
【0077】
図１６に示すように、深度算出部４は、第１推定視差５１と信頼度情報６０とに基づいて深度情報７０を算出する。深度算出部４は、例えば、第１推定視差５１と、マスクデータである信頼度情報６０とのＡＮＤ（論理積）演算を行う。第１推定視差５１は、信頼度情報６０のうち信頼度が高い（Ｒ＝１）点については、演算後に視差（ｄｌ
＊）の値を保持し、信頼度情報６０のうち信頼度が高くない（Ｒ＝０）点については、演算後に視差（ｄｌ
＊）が０となる。深度算出部４は、ＡＮＤ演算後の第１推定視差５１と、カメラパラメータ１３とに基づいて、式（４）により、各点の奥行きＺを取得する。深度算出部４は、例えば、各画素の画素値が奥行きＺを表す深度画像の形式で深度情報７０を出力する。出力される深度情報７０は、信頼度が高くない点について深度情報（奥行きＺ）を含まず、信頼度が高い高信頼度領域の深度情報（奥行きＺ）だけを含む。そのため、信頼度が高くない点の視差から算出された深度情報が出力されることが回避される。
【0078】
図１７は、深度算出部４における深度情報７０の算出方法の他の例を模式的に示した図である。図１７では、深度算出部４は、第１視点画像４１の各点の深度情報７０を算出する際に、信頼度情報６０を参照して高信頼度領域に属する各点の第１位置座標を得る。深度算出部４は、第１視点画像４１の各点のうち、高信頼度領域に属する（Ｒ＝１を保持する）点については、使用点として深度計算の対象とし、高信頼度領域に属さない（Ｒ＝０を保持する）点については、非使用点として深度計算の対象から除外する。深度算出部４は、非使用点については、例えば奥行きＺに「０」を割り当ててもよいし、非使用点であることを示す情報（例えば「ＮａＮ」）を割り当ててもよい。
【0079】
（画像処理方法）
次に、第１実施形態に係る画像処理方法について説明する。図１８は、第１実施形態に係る画像処理方法を示すフローチャートである。実施形態に係る画像処理方法は、複数の画像間の視差に基づく３次元画像計測処理を行う画像処理方法である。実施形態に係る画像処理方法は、画像処理装置１００によって実施される。言い換えると、第１実施形態に係るプログラム１１が、コンピュータシステム１０００に、図１８に係る各ステップの処理を実行させる。
次に、第１実施形態に係る画像処理方法について説明する。図１８は、第１実施形態に係る画像処理方法を示すフローチャートである。実施形態に係る画像処理方法は、複数の画像間の視差に基づく３次元画像計測処理を行う画像処理方法である。実施形態に係る画像処理方法は、画像処理装置１００によって実施される。言い換えると、第１実施形態に係るプログラム１１が、コンピュータシステム１０００に、図１８に係る各ステップの処理を実行させる。
【0080】
図１８に示すように、実施形態に係る画像処理方法は、第１視点画像４１及び第２視点画像４２を取得するステップＳ１と、推定視差を取得するステップＳ２と、信頼度判定により、対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）の集合から、第１推定視差５１の信頼度が高い、第１位置座標及び第１推定視差５１の組（ｕｌ，ｄｌ
＊）を特定するステップＳ３と、を備える。また、図１８に示す例では、画像処理方法は、第１視点画像４１における各点の奥行きＺを表す深度情報７０を算出するステップＳ４と、深度情報７０に基づいて物体認識を行うステップＳ５と、物体認識結果に基づいて制御情報を出力するステップＳ６とをさらに備える。
【0081】
第１視点画像４１及び第２視点画像４２を取得するステップＳ１は、第１視点及び第２視点のそれぞれで撮像された第１視点画像４１及び第２視点画像４２を取得する。すなわち、画像取得部１が、撮像装置２０から、左カメラ２１で撮像された第１視点画像４１と右カメラ２２で撮像された第２視点画像４２とをそれぞれ取得する。画像取得部１は、取得した第１視点画像４１及び第２視点画像４２を推論部２に出力する。
【0082】
推定視差を出力するステップＳ２は、第１視点画像４１及び第２視点画像４２を入力とし、推定視差を出力とする処理を学習した第１学習済みモデル１２を用いて、少なくとも第１視点画像４１の各点の第１推定視差５１を出力する。第１実施形態においては、第１視点画像４１の各点の第１推定視差５１に加えて、第２視点画像４２の各点の第２推定視差５２が取得される。すなわち、推論部２が、第１学習済みモデル１２に第１視点画像４１及び第２視点画像４２を入力することにより、第１学習済みモデル１２の出力としての第１推定視差５１を取得する。推論部２は、第２推定視差５２の第１取得方法、第２取得方法、第３取得方法のいずれか又は他の方法で、第２推定視差５２を取得する。推論部２は、取得した第１推定視差５１を、高信頼度領域特定手段３及び深度算出部４に出力する。推論部２は、取得した第２推定視差５２を、高信頼度領域特定手段３に出力する。
【0083】
信頼度判定を行うステップＳ３は、各第１視点画像４１中の点について、第１位置座標及び第１推定視差５１から第２視点画像４２中の対応点Ｑの推定位置を求め、第１位置座標、第１推定視差５１、第２視点画像４２中の対応点Ｑの推定位置が対応付けられた対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）を生成し、対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）の集合から、第１推定視差５１の信頼度が高い、第１位置座標及び第１推定視差５１の組（ｕｌ，ｄｌ
＊）を特定する。図１９を参照して、第１実施形態に係る信頼度判定処理（ステップＳ３）について説明する。
【0084】
図１９は、第１実施形態に係る信頼度判定処理を示すフローチャートである。高信頼度領域特定手段３は、推論部２から出力された第１推定視差５１を取得する（ステップＳ１１）。高信頼度領域特定手段３は、各第１視点画像４１中の点について、第１位置座標及び第１推定視差５１から第２視点画像４２中の対応点Ｑの推定位置（ｕｒ
＊）を求め、第１位置座標、第１推定視差５１、第２視点画像４２中の対応点Ｑの推定位置が対応付けられた対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）を生成する。高信頼度領域特定手段３は、推論部２から出力された第２推定視差５２を取得する（ステップＳ１２）。高信頼度領域特定手段３は、第１位置座標に対応付けられている第１推定視差５１の信頼度の判定を行う（ステップＳ１３）。
【0085】
高信頼度領域特定手段３は、対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）において第１位置座標（ｕｌ）に対応付けられている第２視点画像４２中の対応点Ｑの推定位置（ｕｒ
＊）と同一の第２位置座標（ｕｒ）に対応付けられた第２推定視差５２を特定し、第１位置座標に対応付けられている第１推定視差５１の大きさ（ｄｌ
＊）と特定された第２推定視差５２の大きさ（ｄｒ
＊）との差が所定のしきい値よりも小さい場合に、第１位置座標に対応付けられている第１推定視差５１の信頼度は高いとする。すなわち、高信頼度領域特定手段３は、式（９）により、第１推定視差５１と第２推定視差５２との誤差が閾値未満である場合、その着目点Ｐについて信頼度が高いと判定（Ｒ＝１）する。高信頼度領域特定手段３は、第１推定視差５１と第２推定視差５２との誤差が閾値以上である場合、その着目点Ｐについて信頼度が高くないと判定（Ｒ＝０）する。高信頼度領域特定手段３は、第１視点画像４１中の全ての点（画素）に対して、信頼度の変数Ｒを求めて信頼度情報６０を取得する。高信頼度領域特定手段３は、各点の信頼度情報６０を深度算出部４に出力する（ステップＳ１４）。これにより、図１８のステップＳ３では、高信頼度領域特定手段３が第１視点画像４１の各点についての信頼度情報６０を取得して、深度算出部４に出力する。
【0086】
図１８に示すように、深度情報７０を算出するステップＳ４は、第１推定視差５１と、信頼度情報６０とに基づいて、第１視点画像４１における各点の奥行きを表す深度情報７０を算出する。すなわち、深度算出部４が、第１推定視差５１の信頼度が高い、第１位置座標及び第１推定視差５１の組（ｕｌ，ｄｌ
＊）として特定された各点の奥行きＺを表す深度情報７０を、例えば図１６又は図１７に例示した手法により算出する。そして、深度算出部４は、信頼度が高くない点の深度情報７０を含まず、信頼度が高い点の深度情報７０を含んだ出力深度情報７１を物体認識部７に出力する。
【0087】
物体認識を行うステップＳ５は、出力された出力深度情報７１（第１視点画像４１の各点の内、信頼度が高い点の深度情報７０）と、ＣＡＤデータ１４とに基づいて、認識対象となる物体９０の位置及び姿勢を認識する。すなわち、物体認識部７が、ＣＡＤデータ１４で表された物体９０の表面の各点を、出力深度情報７１の各点の奥行きＺから把握される空間上の各点とマッチングするマッチング処理により、物体９０の３次元位置情報及び３次元の各軸周りの回転角度である姿勢情報を取得する。物体認識部７は、取得した物体９０の位置及び姿勢の情報を、出力部５に出力する。物体認識部７は、撮像装置２０の視野を物体９０の位置や姿勢に応じて変更する場合には、取得した物体９０の位置及び姿勢の情報を、撮像制御部８に出力してもよい。
【0088】
物体認識結果に基づいて制御情報を出力するステップＳ６は、物体認識結果である物体９０の位置及び姿勢の情報を、ロボット制御装置３３に出力する。すなわち、出力部５が、物体認識部７から出力された物体９０の位置及び姿勢の情報を、通信によりロボット制御装置３３に出力する。ロボット制御装置３３は、取得した物体９０の位置及び姿勢の情報に基づいて、作業ロボット３２の動作を制御する。
【0089】
撮像装置２０の視野を物体９０の位置や姿勢に応じて変更する場合には、撮像制御部８が、物体認識部７から出力された物体９０の位置及び姿勢の情報を、出力部５から通信によりロボット制御装置３１に出力する。ロボット制御装置３１は、取得した物体９０の位置及び姿勢の情報に基づいて、例えば動体追跡などを行うようにカメラ移動ロボット３０の動作を制御する。
【0090】
以上のように、第１実施形態に係る画像処理装置１００は、複数の画像間の視差に基づく３次元画像計測処理を行う画像処理装置であって、第１視点及び第２視点のそれぞれで撮像された第１視点画像４１及び第２視点画像４２を取得する画像取得部１と、第１画像及び第２画像を入力し、第１画像中の点のそれぞれについて第２画像中の対応点との間の視差の機械学習による推論値である第１推定視差５１を第１画像中の点の位置を表す第１位置座標と対応付けて出力する第１学習済みモデル１２を利用可能とされ、第１視点画像４１を第１画像とし、第２視点画像４２を第２画像として第１学習済みモデル１２に入力して第１位置座標と対応付けられた第１推定視差５１を取得する推論部２と、各第１視点画像４１中の点について、第１位置座標及び第１推定視差５１から第２視点画像４２中の対応点Ｑの推定位置を求め、第１位置座標、第１推定視差５１、第２視点画像４２中の対応点Ｑの推定位置が対応付けられた対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）を生成し、対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）の集合から、第１推定視差５１の信頼度が高い、第１位置座標及び第１推定視差５１の組（ｕｌ，ｄｌ
＊）を特定する高信頼度領域特定手段３と、を備える。
【0091】
この構成によれば、第１位置座標、第１推定視差５１及び対応点Ｑの推定位置の対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）の集合から、第１推定視差５１の信頼度が高い、第１位置座標及び第１推定視差５１の組（ｕｌ，ｄｌ
＊）を特定できる。これにより、３次元画像計測に用いる第１学習済みモデル１２の出力から、信頼できる情報を特定することが可能となる。
【0092】
第１実施形態に係る画像処理装置１００において、第２推定視差５２の第１取得例では、推論部２は、さらに、第１画像及び第２画像を入力し、第２画像中の点のそれぞれについて第１画像中の対応点Ｑとの間の視差の機械学習による推論値である第２推定視差５２を第２画像中の点の位置を表す第２位置座標と対応付けて出力する第２学習済みモデル１２Ｂを利用可能とされ、第１視点画像４１を第１画像とし、第２視点画像４２を第２画像として第２学習済みモデル１２Ｂに入力して第２位置座標と対応付けられた第２推定視差５２を取得する。高信頼度領域特定手段３は、対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）において第１位置座標に対応付けられている第２視点画像４２中の対応点Ｑの推定位置と同一の第２位置座標に対応付けられた第２推定視差５２を特定し、第１位置座標に対応付けられている第１推定視差５１の大きさと特定された第２推定視差５２の大きさとの差が所定のしきい値よりも小さい場合に、第１位置座標に対応付けられている第１推定視差５１の信頼度は高いとする。これにより、第１視点画像４１及び第２視点画像４２を、第１学習済みモデル１２Ａと第２学習済みモデル１２Ｂとにそれぞれ入力することで、第１推定視差５１及び第２推定視差５２を取得できる。そして、式（９）のように第１位置座標に対応付けられている第１推定視差５１の大きさと特定された第２推定視差５２の大きさとを比較することで、容易に、適切な信頼度判定ができる。
【0093】
第１実施形態に係る画像処理装置１００において、第２推定視差５２の第２取得例では、第１学習済みモデル１２Ｃは、第１推定視差５１を第１画像中の点の位置と対応付けて出力することに加えて、第２画像中の点のそれぞれについて第１画像中の対応点Ｑとの間の視差の機械学習による推論値である第２推定視差５２を第２画像中の点の位置を表す第２位置座標と対応付けて出力し、推論部２は、第１視点画像４１を第１画像とし、第２視点画像４２を第２画像として第１学習済みモデル１２に入力して第１位置座標と対応付けられた第１推定視差５１、及び第２位置座標と対応付けられた第２推定視差５２を取得する。高信頼度領域特定手段３は、対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）において第１位置座標に対応付けられている第２視点画像４２中の対応点Ｑの推定位置と同一の第２位置座標に対応付けられた第２推定視差５２を特定し、第１位置座標に対応付けられている第１推定視差５１の大きさと特定された第２推定視差５２の大きさとの差が所定のしきい値よりも小さい場合に、第１位置座標に対応付けられている第１推定視差５１の信頼度は高いとする。これにより、１つの第１学習済みモデル１２Ｃによって、第１推定視差５１及び第２推定視差５２の両方を取得できる。そして、式（９）のように第１位置座標に対応付けられている第１推定視差５１の大きさと特定された第２推定視差５２の大きさとを比較することで、容易に、適切な信頼度判定ができる。
【0094】
第１実施形態に係る画像処理装置１００において、第２推定視差５２の第３取得例では、推論部２は、第２視点画像４２を視差方向に反転処理した第２反転画像４４を第１画像とし、第１視点画像４１を視差方向に反転処理した第１反転画像４３を第２画像として第１学習済みモデル１２に入力して第２反転画像４４中の点の位置と対応付けられた反転推定視差５３を取得し、取得した反転推定視差５３及び反転推定視差５３と対応付けられた点の位置を視差方向に反転処理することにより、第２画像中の点の位置を表す第２位置座標と対応付けられた第２推定視差５２を取得する。高信頼度領域特定手段３は、対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）において第１位置座標に対応付けられている第２視点画像４２中の対応点Ｑの推定位置と同一の第２位置座標に対応付けられた第２推定視差５２を特定し、第１位置座標に対応付けられている第１推定視差５１の大きさと特定された第２推定視差５２の大きさとの差が所定のしきい値よりも小さい場合に、第１位置座標に対応付けられている第１推定視差５１の信頼度は高いとする。これによれば、１つの第１学習済みモデル１２Ｃによって、第１推定視差５１及び第２推定視差５２の両方を取得できる。そして、式（９）のように第１位置座標に対応付けられている第１推定視差５１の大きさと特定された第２推定視差５２の大きさとを比較することで、容易に、適切な信頼度判定ができる。
【0095】
第１実施形態に係る画像処理装置１００は、複数の画像間の視差に基づく３次元画像計測処理を行う画像処理方法であって、第１視点及び第２視点のそれぞれで撮像された第１視点画像４１及び第２視点画像４２を取得するステップＳ１と、第１画像及び第２画像を入力し、第１画像中の点のそれぞれについて第２画像中の対応点Ｑとの間の視差の機械学習による推論値である第１推定視差５１を第１画像中の点の位置を表す第１位置座標と対応付けて出力する学習済みモデルを利用可能とされ、第１視点画像４１を第１画像とし、第２視点画像４２を第２画像として学習済みモデルに入力して第１位置座標と対応付けられた第１推定視差５１を取得するステップＳ２と、各第１視点画像４１中の点について、第１位置座標及び第１推定視差５１から第２視点画像４２中の対応点Ｑの推定位置を求め、第１位置座標、第１推定視差５１、第２視点画像４２中の対応点Ｑの推定位置が対応付けられた対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）を生成し、対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）の集合から、第１推定視差５１の信頼度が高い、第１位置座標及び第１推定視差５１の組（ｕｌ，ｄｌ
＊）を特定するステップＳ３と、を備える。
【0096】
この構成によれば、第１位置座標、第１推定視差５１及び対応点Ｑの推定位置の対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）の集合から、第１推定視差５１の信頼度が高い、第１位置座標及び第１推定視差５１の組（ｕｌ，ｄｌ
＊）を特定できる。これにより、３次元画像計測に用いる第１学習済みモデル１２の出力から、信頼できる情報を特定することが可能となる。
【0097】
第１実施形態に係るプログラム１１は、複数の画像間の視差に基づく３次元画像計測処理を行うプログラムであって、第１視点及び第２視点のそれぞれで撮像された第１視点画像４１及び第２視点画像４２を取得する処理（ステップＳ１）と、第１画像及び第２画像を入力し、第１画像中の点のそれぞれについて第２画像中の対応点Ｑとの間の視差の機械学習による推論値である第１推定視差５１を第１画像中の点の位置を表す第１位置座標と対応付けて出力する学習済みモデルを利用可能とされ、第１視点画像４１を第１画像とし、第２視点画像４２を第２画像として学習済みモデルに入力して第１位置座標と対応付けられた第１推定視差５１を取得する処理（ステップＳ２）と、各第１視点画像４１中の点について、第１位置座標及び第１推定視差５１から第２視点画像４２中の対応点Ｑの推定位置を求め、第１位置座標、第１推定視差５１、第２視点画像４２中の対応点Ｑの推定位置が対応付けられた対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）を生成し、対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）の集合から、第１推定視差５１の信頼度が高い、第１位置座標及び第１推定視差５１の組（ｕｌ，ｄｌ
＊）を特定する処理（ステップＳ３）と、をコンピュータ（すなわち、コンピュータシステム１０００）に実行させる。
【0098】
この構成によれば、第１位置座標、第１推定視差５１及び対応点Ｑの推定位置の対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）の集合から、第１推定視差５１の信頼度が高い、第１位置座標及び第１推定視差５１の組（ｕｌ，ｄｌ
＊）を特定できる。これにより、３次元画像計測に用いる第１学習済みモデル１２の出力から、信頼できる情報を特定することが可能となる。
【0099】
なお、第１実施形態では、図５及び図６において第１視点と第２視点とのうち一方の視点で死角になる部位が画像中に存在することに起因して、第１学習済みモデル１２から信頼度が高くない推定視差（画像に基づかずに補完された推定視差）が出力される例を示したが、本実施形態では、信頼度が高くない推定視差がどのような要因で出力されるかは特に限定されない。例えば、第１視点画像４１及び第２視点画像４２の両方に写る部位（図５の物体９０の領域９１など）であっても、光の反射や屈折などによって局所的に対応点マッチングが困難になるケースがある。具体的には、第１視点画像４１及び第２視点画像４２のいずれかにおいて、光の反射によって局所的に画素飽和（いわゆる白飛び）が生じて対応点マッチングが困難になる部位が発生した場合でも、第１学習済みモデル１２は、その画素飽和が生じた箇所の推定視差を補完する。このような場合でも、本実施形態によれば、適切な対応点マッチングにより推定視差が算出された箇所（信頼度が高い箇所）を、画像に基づかずに視差が補完された箇所（信頼度が高くない箇所）と区別して特定可能である。
【0100】
［第２実施形態］
第２実施形態について説明する。以下の説明において、上述の第１実施形態と同一又は同等の構成要素については同一の符号を付し、その構成要素の説明を簡略又は省略する。
第２実施形態について説明する。以下の説明において、上述の第１実施形態と同一又は同等の構成要素については同一の符号を付し、その構成要素の説明を簡略又は省略する。
【0101】
上記第１実施形態では、高信頼度領域特定手段３が第２推定視差５２を取得し、着目点Ｐにおける第１推定視差５１と対応点Ｑにおける第２推定視差５２とに基づいて信頼度情報６０を取得する例を示した。これに対して、第２実施形態では、高信頼度領域特定手段３が第２推定視差５２を取得せずに、着目点Ｐと対応点Ｑとの対応関係に基づいて信頼度情報６０を取得する例について説明する。
【0102】
高信頼度領域特定手段３は、第１実施形態と同様に、第１推定視差５１に基づいて第１視点画像４１の着目点Ｐに対応する第２視点画像４２における対応点Ｑを取得する。具体的には、高信頼度領域特定手段３は、推論部２より、［データ形式Ｄ１］（ｕｌ、ｄｌ
＊）で表される第１推定視差５１を取得する。次に、高信頼度領域特定手段３は、式（５）に基づいて、第１推定視差５１から対応点Ｑの推定位置（ｕｒ
＊）を取得する。これにより、高信頼度領域特定手段３は、データ形式Ｄ１のデータに、対応点Ｑの推定位置を付加したデータ形式Ｄ２の対応付けデータを得る。
［データ形式Ｄ２］ （ｕｌ、ｄｌ ＊、ｕｒ ＊）
［データ形式Ｄ２］ （ｕｌ、ｄｌ ＊、ｕｒ ＊）
【0103】
図２０は、第２実施形態に係る信頼度の判定方法を説明するための模式図である。図２０は、データ形式Ｄ２の対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）の表現形式の一例として、対応点Ｑの分布を表す対応点マップ４５を示す。対応点マップ４５の各点は、（ｕｌ、ｕｒ
＊）で表される。
【0104】
第２実施形態においても、第１視点画像４１と第２視点画像４２とが平行ステレオ画像であり、対応点ペアが画像中の上下方向の同じ位置（同一の行）となるものとする。対応点マップ４５の各点の位置は、第１視点画像４１の各点の第１位置座標（ｕｌ）で表される。対応点マップ４５の各点の値は、その点（ｕｌ）に対応する対応点Ｑの第２視点画像４２での推定位置（ｕｒ
＊）を表す。式（６）から、推論部２の第１学習済みモデル１２によって出力された第１推定視差５１が正しい場合、対応点マップ４５の同一行の中で、着目点Ｐ（ｕｌ）と対応点Ｑ（ｕｒ
＊）とは一対一対応となり、同一行の中に同じ対応点Ｑ（ｕｒ
＊）を示す着目点Ｐ（ｕｌ）が複数存在することはない。これに対して、対応点ペアが決定できない点について第１学習済みモデル１２が第１推定視差５１を補完した場合、着目点Ｐ（ｕｌ）と対応点Ｑ（ｕｒ
＊）とが一対一対応とならず、同じ対応点Ｑ（ｕｒ
＊）を示す着目点Ｐ（ｕｌ）が複数存在する可能性がある。つまり、第１学習済みモデル１２が補完によって第１推定視差５１を生成した場合、対応点マップ４５の同一行において、推定位置（ｕｒ
＊）の値が同一である点が複数存在する可能性が生じる。
【0105】
そこで、高信頼度領域特定手段３は、着目する対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）に含まれる第２視点画像４２中の対応点Ｑの推定位置（ｕｒ
＊）と同一の第２視点画像４２中の対応点Ｑの推定位置（ｕｒ
＊）を含む他の対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）が所定数以上存在する場合は、同一の第２視点画像４２中の対応点Ｑの推定位置（ｕｒ
＊）を含む所定数以上の対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）に含まれる第１推定視差５１の少なくとも一部の信頼度は高くないとする。
【0106】
高信頼度領域特定手段３は、同一のｕｒ
＊の値を含むデータ数ｍを、ｕｒ
＊の値ごとに計数する。例えば図２０では、ある行（２行目）に着目したとき、ｕｒ
＊＝２となる点が２つ（ｕｌ＝２、ｕｌ＝３）存在し、ｕｒ
＊＝３となる点が２つ（ｕｌ＝４、ｕｌ＝５）存在する（点線部参照）。これらの各点は、データ数ｍ＝２となる。高信頼度領域特定手段３は、対応点マップの各点（第１視点画像４１の各点と同一である）について取得したデータ数ｍをデータ形式Ｄ２に付加することで、データ形式Ｄ６のデータを取得する。
［データ形式Ｄ６］ （ｕｌ、ｄｌ ＊、ｕｒ ＊、ｍ）
データ形式Ｄ６において、データ（ｕｌ、ｄｌ ＊、ｕｒ ＊、ｍ）は互いに関連付けられたデータである。
［データ形式Ｄ６］ （ｕｌ、ｄｌ ＊、ｕｒ ＊、ｍ）
データ形式Ｄ６において、データ（ｕｌ、ｄｌ ＊、ｕｒ ＊、ｍ）は互いに関連付けられたデータである。
【0107】
そして、高信頼度領域特定手段３は、例えば第１視点画像４１の各点における同一の対応点Ｑを指す点の数ｍと閾値との比較に基づいて、信頼度を判定する。信頼度の判定結果は、例えば式（１０）及び式（１１）で求められる。
ここで、ｕｎは、第１視点画像４１（第１推定視差５１）の各点のうち、視差方向の同一ラインに含まれる各点を示す。式（１０）は、ある着目点Ｐについて、視差方向の同一ラインに同一のｕｒ
＊の値を有する点が存在する場合に値が「１」となり、同一ラインに同一のｕｒ
＊の値を有する点が存在しない場合に値が「０」となるデルタ関数である。式（１１）のＮは、視差方向の同一ラインに存在する点（画素）の総数であり、画像の場合には画像の横幅の画素数に相当する。式（１１）の左辺の分母が、同一の対応点Ｑを指す点の数ｍに相当する。式（１１）の左辺は、全ての対応点ペアが一対一対応でｍ＝１となるときに、最大で「１」となり、ｍの値が大きいほど「０」に近づく。
【数8】
【0108】
高信頼度領域特定手段３は、第１視点画像４１の各点について、式（１０）及び式（１１）に基づいて信頼度情報６０を取得する。上述の通り、信頼度情報６０の形式は特に限定されないが、一例として、第２実施形態では、信頼度情報６０は、第１視点画像４１の各点について変数Ｓを含む。変数Ｓは、式（１１）を満たす場合にＳ＝１となり、式（１１）を満たさない場合にＳ＝０となる。Ｓ＝１は、同一の対応点Ｑを指す点の数ｍに基づく式（１１）の左辺が閾値以上であり、第１推定視差５１の信頼度が高いことを示す。Ｓ＝０は、式（１１）の左辺が閾値未満であり、第１推定視差５１の信頼度が高くないことを示す。
【0109】
式（１１）において、右辺の閾値を「１」とした場合、同一の対応点Ｑを指す点の数ｍが１の場合でのみＳ＝１となる。右辺の閾値は、１未満でもよい。例えば閾値を０．５とした場合、同一の対応点Ｑを指す点の数ｍが２の場合でもＳ＝１となる。数ｍが２以上となることを許容する場合、同一の対応点Ｑを指す各点の推定視差ｄｌ
＊の値をそのまま用いてもよいし、同一の対応点Ｑを指す各点のうち、推定視差ｄｌ
＊が最も大きい点についてＳ＝１とし、それ以外の点についてＳ＝０としてもよい。同一の対応点Ｑを指す各点のうち、推定視差ｄｌ
＊が最も大きい点は、撮像装置２０に対して最も近い位置にある点であり、視野内で死角になっている可能性が最も低い点であるから、相対的に信頼度が高いと評価できるためである。そのため、右辺の閾値が１未満の場合において、高信頼度領域特定手段３は、着目する対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）に含まれる第２視点画像４２中の対応点Ｑの推定位置（ｕｒ
＊）と同一の第２視点画像４２中の対応点Ｑの推定位置（ｕｒ
＊）を含む他の対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）が複数存在する場合は、それらの対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）に含まれる第１推定視差５１の中で絶対値が最も大きな第１推定視差５１（ｄｌ
＊）のみを信頼度が高いとする。
【0110】
高信頼度領域特定手段３は、データ形式Ｄ２に、信頼度情報６０である各点の変数Ｓを付加して、データ形式Ｄ７で表されるデータを取得する。
［データ形式Ｄ７］ （ｕｌ、ｄｌ ＊、ｕｒ ＊、Ｓ）
データ形式Ｄ７において、データ（ｕｌ、ｄｌ ＊、ｕｒ ＊、Ｓ）は互いに関連付けられたデータである。高信頼度領域特定手段３は、データ形式Ｄ７から、変数Ｓを含む信頼度情報６０を任意の表現形式で出力する。
［データ形式Ｄ７］ （ｕｌ、ｄｌ ＊、ｕｒ ＊、Ｓ）
データ形式Ｄ７において、データ（ｕｌ、ｄｌ ＊、ｕｒ ＊、Ｓ）は互いに関連付けられたデータである。高信頼度領域特定手段３は、データ形式Ｄ７から、変数Ｓを含む信頼度情報６０を任意の表現形式で出力する。
【0111】
図２１は、第２実施形態に係る信頼度判定処理を示すフローチャートである。なお、第２実施形態において、信頼度の判定処理以外の処理は、図１８に示した画像処理方法の各処理と同様である。第２実施形態は、図１８に示した画像処理方法のステップＳ３の処理のみが異なる。
【0112】
図２１に示すように、高信頼度領域特定手段３は、推論部２から出力された第１推定視差５１を取得する（ステップＳ２１）。高信頼度領域特定手段３は、第１推定視差５１に基づいて第１視点画像４１の着目点Ｐに対応する第２視点画像４２における対応点Ｑを取得し、視差方向のラインごとに、同一の対応点Ｑを指す点の数をカウントする（ステップＳ２２）。高信頼度領域特定手段３は、着目点Ｐと視差方向に並ぶ各点のうち、同一の対応点Ｑを指す点の数に基づいて、信頼度を判定する（ステップＳ２３）。すなわち、高信頼度領域特定手段３は、同一の対応点Ｑを指す点の数ｍと閾値とを比較する式（１１）により、式（１１）の左辺が閾値以上である点について、信頼度が高いと判定（Ｓ＝１）する。高信頼度領域特定手段３は、式（１１）の左辺が閾値未満である点について、信頼度が高くないと判定（Ｓ＝０）する。高信頼度領域特定手段３は、第１推定視差５１の全ての点（画素）に対して、信頼度の変数Ｓを求めて信頼度情報６０を取得する。高信頼度領域特定手段３は、各点の信頼度情報６０を深度算出部４に出力する（ステップＳ２４）。これにより、図１８のステップＳ３では、高信頼度領域特定手段３が第１視点画像４１の各点についての信頼度情報６０を取得して、深度算出部４に出力する。
【0113】
以上のように、第２実施形態に係る画像処理装置１００では、高信頼度領域特定手段３は、着目する対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）に含まれる第２視点画像４２中の対応点Ｑの推定位置と同一の第２視点画像４２中の対応点Ｑの推定位置（ｕｒ
＊）を含む他の対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）が所定数以上存在する場合は、同一の第２視点画像４２中の対応点Ｑの推定位置（ｕｒ
＊）を含む所定数以上の対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）に含まれる第１推定視差５１の少なくとも一部の信頼度は高くないとする。これにより、着目点Ｐと対応点Ｑとが理論的には一対一対応となる関係を有することから、同一の対応点Ｑを指す点の数によって第１学習済みモデル１２の出力である第１推定視差５１の信頼度の高低を適切に評価することができる。
【0114】
第２実施形態に係る画像処理装置１００では、高信頼度領域特定手段３は、着目する対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）に含まれる第２視点画像４２中の対応点Ｑの推定位置と同一の第２視点画像４２中の対応点Ｑの推定位置を含む他の対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）が複数存在する場合は、それらの対応付けデータ（ｕｌ、ｄｌ
＊、ｕｒ
＊）に含まれる第１推定視差５１の中で絶対値が最も大きな第１推定視差５１のみを信頼度が高いとする。これにより、着目点Ｐと対応点Ｑとが一対一対応にならない場合にも、最も信頼度が高いと考えられる第１位置座標及び第１推定視差５１の組（ｕｌ，ｄｌ
＊）を特定できる。
【0115】
第２実施形態のその他の効果は、上記第１実施形態と同様である。
【0116】
［第３実施形態］
第３実施形態について説明する。以下の説明において、上述の第１実施形態、第２実施形態と同一又は同等の構成要素については同一の符号を付し、その構成要素の説明を簡略又は省略する。
第３実施形態について説明する。以下の説明において、上述の第１実施形態、第２実施形態と同一又は同等の構成要素については同一の符号を付し、その構成要素の説明を簡略又は省略する。
【0117】
上記第１実施形態及び第２実施形態では、推論部２において第１学習済みモデル１２により出力された推定視差から対応点Ｑを取得し、着目点Ｐと対応点Ｑとに基づいて信頼度情報６０を取得する例を示した。これに対して、第３実施形態では、高信頼度領域特定手段３が深度情報に基づいて信頼度を判定する例について説明する。
【0118】
具体的には、第３実施形態では、高信頼度領域特定手段３は、各第１視点画像４１中の点について、第１位置座標（ｕｌ）及び第１推定視差（ｄｌ
＊）から第２視点画像４２中の対応点Ｑの推定位置（ｕｒ
＊）を求め、第１推定視差（ｄｌ
＊）に対応する第１深度（Ｚ１）を求め、第１位置座標（ｕｌ）、第１深度（Ｚ１）、第２視点画像４２中の対応点Ｑの推定位置（ｕｒ
＊）が対応付けられた対応付けデータを生成し、対応付けデータの集合から、第１深度（Ｚ１）の信頼度が高い、第１位置座標（ｕｌ）及び第１深度（Ｚ１）の組を特定する。
【0119】
第３実施形態では、信頼度を判定する前に、推論部２から出力された推定視差に基づいて、深度算出部４によって予め深度情報が算出される。算出される深度情報は、信頼度が高い推定視差から算出された奥行きＺと、信頼度が高くない推定視差から算出された奥行きＺとを、それぞれ含む可能性がある。第３実施形態では、高信頼度領域特定手段３は、深度算出部４によって算出された深度情報の各点について、奥行きＺの信頼度を判定する。
【0120】
【0121】
図２２に示すように、第３実施形態では、推論部２により、第１推定視差５１及び第２推定視差５２が出力される。第２推定視差５２の取得方法は、上述の通り特に限定されず、第１取得例、第２取得例及び第３取得例のいずれの方法で第２推定視差５２を取得してもよい。第１推定視差５１は、第１視点画像４１の各第１位置座標（ｕｌ）についての推定視差ｄｌ
＊を表す。第２推定視差５２は、第２視点画像４２の各第２位置座標（ｕｒ）についての推定視差ｄｒ
＊を表す。これにより、深度算出部４は、データ形式Ｄ８の情報を得る。
［データ形式Ｄ８］ （ｕｌ、ｄｌ ＊、ｕｒ、ｄｒ ＊）
（ｕｌ、ｄｌ ＊）は、互いに関連付けられたデータであり、（ｕｒ、ｄｒ ＊）は、互いに関連付けられたデータである。
［データ形式Ｄ８］ （ｕｌ、ｄｌ ＊、ｕｒ、ｄｒ ＊）
（ｕｌ、ｄｌ ＊）は、互いに関連付けられたデータであり、（ｕｒ、ｄｒ ＊）は、互いに関連付けられたデータである。
【0122】
高信頼度領域特定手段３は、深度算出部４により、第１推定視差（ｄｌ
＊）に対応する第１深度（Ｚ１）を求める。高信頼度領域特定手段３は、深度算出部４により、第２推定視差（ｄｒ
＊）に対応する第２深度（Ｚ２）を求める。深度算出部４は、第１推定視差５１及び第２推定視差５２に基づいて、第１視点画像４１における各点の奥行きを表す第１深度情報７０Ａ及び第２視点画像４２における各点の奥行きを表す第２深度情報７０Ｂを算出する。第１深度情報７０Ａは、第１推定視差５１と、カメラパラメータ１３とに基づいて、式（４）により算出された第１視点画像４１の各点の奥行き（第１深度）Ｚ１を表す。第２深度情報７０Ｂは、第２推定視差５２と、カメラパラメータ１３とに基づいて、式（４）により算出された第２視点画像４２の各点の奥行き（第２深度）Ｚ２を表す。深度算出部４は、第１深度情報７０Ａ及び第２深度情報７０Ｂを、高信頼度領域特定手段３に出力する。これにより、高信頼度領域特定手段３は、データ形式Ｄ９の情報を得る。
［データ形式Ｄ９］ （ｕｌ、ｄｌ ＊、Ｚ１、ｕｒ、ｄｒ ＊、Ｚ２）
（ｕｌ、ｄｌ ＊、Ｚ１）は、互いに関連付けられたデータであり、（ｕｒ、ｄｒ ＊、Ｚ２）は、互いに関連付けられたデータである。
［データ形式Ｄ９］ （ｕｌ、ｄｌ ＊、Ｚ１、ｕｒ、ｄｒ ＊、Ｚ２）
（ｕｌ、ｄｌ ＊、Ｚ１）は、互いに関連付けられたデータであり、（ｕｒ、ｄｒ ＊、Ｚ２）は、互いに関連付けられたデータである。
【0123】
図２３に示すように、高信頼度領域特定手段３は、第１深度情報７０Ａと第２深度情報７０Ｂとに基づいて、第１深度（Ｚ１）の信頼度が高い点の第１位置座標及び第１深度の組（ｕｌ，Ｚ１）を特定する。高信頼度領域特定手段３は、カメラパラメータ１３を用いて、第１視点の第１深度情報７０Ａと第２視点の第２深度情報７０Ｂとのうちいずれか一方を、他方の視点へと変換する視点変換処理を行う。図２３の例では、高信頼度領域特定手段３は、カメラパラメータ１３と、式（１）から（４）に示した関係に基づいて、第２視点の第２深度情報７０Ｂを、第１視点の深度情報に変換する。視点変換処理後の第２深度情報７０Ｂは、第１視点画像４１の各点について、第２推定視差５２に基づいて算出された奥行きＺ２
＊を有するデータである。
【0124】
高信頼度領域特定手段３は、第１視点の第１深度情報７０Ａの各点の奥行き（第１深度）Ｚ１と、視点変換処理後の第２深度情報７０Ｂの同じ点の奥行きＺ２
＊とに基づいて、その点の信頼度情報６０を取得する。例えば、信頼度情報６０は、同じ点の奥行き（第１深度）Ｚ１と奥行きＺ２
＊との誤差が閾値未満となる場合に、Ｔ＝１となり、同じ点の奥行き（第１深度）Ｚ１と奥行きＺ２
＊との誤差が閾値以上となる場合に、Ｔ＝０となる変数Ｔを含む。Ｔ＝１は、奥行きの誤差が閾値未満であり、推定視差の信頼度が高いことを示す。Ｔ＝０は、奥行きの誤差が閾値以上であり、推定視差の信頼度が高くないことを示す。この結果、第１深度（Ｚ１）の信頼度が高い点（Ｔ＝１となる点）の第１位置座標及び第１深度の組（ｕｌ，Ｚ１）が特定される。
【0125】
高信頼度領域特定手段３は、データ形式Ｄ９に、信頼度情報６０である各点の変数Ｔを付加して、データ形式Ｄ１０で表されるデータを取得する。
［データ形式Ｄ１０］ （ｕｌ、ｄｌ ＊、Ｚ１、ｕｒ、ｄｒ ＊、Ｚ２、Ｔ）
［データ形式Ｄ１０］ （ｕｌ、ｄｌ ＊、Ｚ１、ｕｒ、ｄｒ ＊、Ｚ２、Ｔ）
【0126】
高信頼度領域特定手段３は、データ形式Ｄ１０から、変数Ｔを含む信頼度情報６０を任意の表現形式で出力する。図２３の例では、第１視点を基準としているので、信頼度情報６０は、第１深度情報７０Ａの各点に対する信頼度の高低を表す情報を含む。例えば、高信頼度領域特定手段３は、第１視点画像４１の各点の信頼度を表すマスクデータとして信頼度情報６０を出力できる。マスクデータは、第１視点画像４１の各点と同一の点の信頼度の値（Ｔ＝１又はＴ＝０）を有する二値画像である。マスクデータの各行に含まれる点は、（ｕｌ、Ｔ）で表現される。
【0127】
深度算出部４は、高信頼度領域特定手段３から、信頼度情報６０を取得する。深度算出部４は、信頼度情報６０に基づき、第１深度情報７０Ａにおける各点のうち、信頼度が高くない点を除いて、信頼度が高い点の出力深度情報７１を出力する。具体的には、深度算出部４は、第１深度情報７０Ａと、マスクデータである信頼度情報６０とのＡＮＤ（論理積）演算を行い、出力深度情報７１を取得する。出力深度情報７１は、信頼度情報６０のうち信頼度が高い（Ｔ＝１を保持する）点については、演算後に奥行き（第１深度）Ｚ１を保持し、信頼度情報６０のうち信頼度が高くない（Ｔ＝０を保持する）点については、演算後に奥行き（第１深度）Ｚ１が０となる。これにより、出力深度情報７１は、信頼度が高くない点について深度情報（第１深度Ｚ１）を含まず、信頼度が高い点の深度情報（第１深度Ｚ１）だけを含む。そのため、信頼度が高くない点の視差から算出された深度情報が出力されることが回避される。
【0128】
図２４は、第３実施形態に係る画像処理方法を示すフローチャートである。
【0129】
画像取得部１は、第１視点及び第２視点のそれぞれで撮像された第１視点画像４１及び第２視点画像４２を取得する（ステップＳ３１）。推論部２は、第１視点画像４１を第１画像とし、第２視点画像４２を第２画像として学習済みモデルに入力して、第１視点画像４１の各点の位置を表す第１位置座標と対応付けられた第１推定視差５１（ｕｌ、ｄｌ
＊）と、第２視点画像４２の各点の位置を表す第２位置座標と対応付けられた第２推定視差５２（ｕｒ、ｄｒ
＊）と、を出力する（ステップＳ３２）。深度算出部４は、第１推定視差５１及び第２推定視差５２に基づいて、第１視点画像４１における各点の奥行き（第１深度）を表す第１深度情報７０Ａ及び第２視点画像４２における各点の奥行き（第２深度）を表す第２深度情報７０Ｂを算出する（ステップＳ３３）。高信頼度領域特定手段３は、第１深度情報７０Ａと第２深度情報７０Ｂとに基づいて、第１深度情報７０Ａの各点についての信頼度を判定する（ステップＳ３４）。高信頼度領域特定手段３は、判定結果として信頼度情報６０を出力する。深度算出部４は、信頼度情報６０に基づき、第１深度情報７０Ａにおける各点のうち、信頼度が高くない点を除いて、信頼度が高い点の出力深度情報７１を出力する（ステップＳ３５）。
【0130】
物体認識部７が、ＣＡＤデータ１４と出力深度情報７１とに基づいて、認識対象となる物体９０の位置情報及び姿勢情報を取得する（ステップＳ５）。出力部５が、物体認識部７から出力された物体９０の位置及び姿勢の情報を、通信によりロボット制御装置３３に出力する（ステップＳ６）。ロボット制御装置３３は、取得した物体９０の位置及び姿勢の情報に基づいて、作業ロボット３２の動作を制御する。
【0131】
以上のように、第３実施形態に係る画像処理装置１００は、複数の画像間の視差に基づく３次元画像計測処理を行う画像処理装置であって、第１視点及び第２視点のそれぞれで撮像された第１視点画像４１及び第２視点画像４２を取得する画像取得部１と、第１画像及び第２画像を入力し、第１画像中の点のそれぞれについて第２画像中の対応点Ｑとの間の視差の機械学習による推論値である第１推定視差５１（ｄｌ
＊）を第１画像中の点の位置を表す第１位置座標（ｕｌ）と対応付けて出力する第１学習済みモデル１２を利用可能とされ、第１視点画像４１を第１画像とし、第２視点画像４２を第２画像として第１学習済みモデル１２に入力して第１位置座標（ｕｌ）と対応付けられた第１推定視差５１を取得する推論部２と、各第１視点画像４１中の点について、第１位置座標（ｕｌ）及び第１推定視差５１（ｄｌ
＊）から第２視点画像４２中の対応点Ｑの推定位置（ｕｒ
＊）を求め、第１推定視差５１（ｄｌ
＊）に対応する第１深度（Ｚ１）を求め、第１位置座標（ｕｌ）、第１深度（Ｚ１）、第２視点画像４２中の対応点Ｑの推定位置（ｕｒ
＊）が対応付けられた対応付けデータ（ｕｌ、ｄｌ
＊、Ｚ１）を生成し、対応付けデータの集合から、第１深度（Ｚ１）の信頼度が高い、第１位置座標及び第１深度の組（ｕｌ、Ｚ１）を特定する高信頼度領域特定手段３と、を備える。
【0132】
この構成によれば、第１視点の第１深度情報７０Ａと第２視点の第２深度情報７０Ｂとが、理論的には対応点ペアにおいて一致するという関係に基づいて、第１視点画像４１の各点についての信頼度（Ｔ）を判定できる。その結果、第１深度（Ｚ１）の信頼度が高い点の第１位置座標及び第１深度（Ｚ１）の組（ｕｌ、Ｚ１）を特定することがきる。これにより、３次元画像計測に用いる学習済みモデルの出力から、信頼できる情報を特定することが可能となる。
【0133】
第３実施形態に係る画像処理装置１００において、深度算出部４は、第１深度情報７０Ａにおける各点のうち、第１深度（Ｚ１）の信頼度が高い、第１位置座標及び第１深度（Ｚ１）の組（ｕｌ、Ｚ１）として特定された各点の深度情報７０である出力深度情報７１を出力する。これにより、信頼度が高い点の深度情報（第１深度Ｚ１）を出力し、信頼度が高くない点については深度情報（第１深度Ｚ１）を出力しないようにすることができる。その結果、深度情報を利用した物体認識などを行う場合に、信頼度が高く正確である可能性がある深度情報だけを利用できるので、深度情報を利用した情報処理の精度を向上させることができる。
【0134】
第３実施形態のその他の効果は、上記第１実施形態と同様である。
【0135】
本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態では、画像処理装置１００の各部が、コンピュータシステム１０００のプロセッサ１００１によって実現される例を示したが、画像処理装置１００が、クライアント－サーバモデルによるコンピュータシステムを構成する１又は複数のサーバ装置によって実現されてもよい。例えば、サーバ装置がクライアント端末から第１視点画像４１及び第２視点画像４２を受信して、信頼度情報６０を取得し、信頼度情報６０に基づいて取得した深度情報７０をクライアント端末に出力してもよい。
【0136】
上記実施形態では、第１視点画像４１及び第２視点画像４２の２つの視点画像からなるステレオ画像を扱う例を示したが、画像処理装置１００は、３つ以上の視点画像を取得してもよい。それぞれの視点画像は、画像の左右方向において平行でなくてもよい。言い換えると、視差方向は画像の左右方向以外でもよい。また、上記実施形態では、左カメラ２１と右カメラ２２との光学特性は互いに同一である例を示したが、光学特性が既知であれば、各視点画像を取得するカメラの光学特性は互いに異なっていてもよい。この場合、各視点画像に対して光学特性の差異を補正する処理を実行してもよい。
【0137】
上記第１実施形態では、推定視差から高信頼度領域を特定し、特定した高信頼度領域に属する各点の深度情報を算出する例を示したが、高信頼度領域を特定する前に推定視差から深度情報を算出し、第３実施形態のように深度同士の対比によって高信頼度領域を特定してもよい。深度情報を算出せず、推定視差から高信頼度領域を特定し、特定した高信頼度領域に属する各点の推定視差を出力してもよい。上記第１実施形態において、画像処理装置１００がデータ利用機器ＤＵに出力するデータは、推定視差でもよいし、深度でもよい。上記第２実施形態についても同様であり、画像処理装置１００は、特定した高信頼度領域に属する各点の推定視差を出力してもよいし、高信頼度領域に属する各点の推定視差から深度情報を算出して、算出した深度情報を出力してもよい。
【0138】
上記実施形態では、画像処理装置１００が深度算出部４を備える例を示したが、画像処理装置１００は、深度算出部４を備えなくてもよい。
【符号の説明】
【0139】
１…画像取得部、２…推論部、３…高信頼度領域特定手段、４…深度算出部、５…出力部、６…記憶部、７…物体認識部、８…撮像制御部、１１…プログラム、１２…第１学習済みモデル、１２Ａ…第１学習済みモデル、１２Ｂ…第２学習済みモデル、１２Ｃ…第１学習済みモデル、１３…カメラパラメータ、１４…ＣＡＤデータ、２０…撮像装置、２１…左カメラ、２２…右カメラ、２３…撮像視野、２４…撮像視野、２５…画像面、２６…画像面、３０…カメラ移動ロボット、３１…ロボット制御装置、３２…作業ロボット、３３…ロボット制御装置、４１…第１視点画像、４２…第２視点画像、４３…第１反転画像、４４…第２反転画像、４５…対応点マップ、５１…第１推定視差、５２…第２推定視差、５３…反転推定視差、６０…信頼度情報、７０…深度情報、７０Ａ…第１深度情報、７０Ｂ…第２深度情報、７１…出力深度情報、９０…物体、９１…領域、９２…領域、９３…領域、１００…画像処理装置、１１０…ロボットシステム、１０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インターフェース、Ｐ、Ｐ１、Ｐ２…着目点、Ｑ、Ｑ１、Ｑ２…対応点。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】