特表2022-515517画像深度推定方法および装置、電子機器、ならびに記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-02-18
(54)【発明の名称】画像深度推定方法および装置、電子機器、ならびに記憶媒体
(51)【国際特許分類】
G06T 7/55 20170101AFI20220210BHJP
H04N 5/232 20060101ALI20220210BHJP
【ＦＩ】
G06T7/55
H04N5/232 290
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021537988
(86)(22)【出願日】2019-08-21
(85)【翻訳文提出日】2021-06-28
(86)【国際出願番号】 CN2019101778
(87)【国際公開番号】W WO2021003807
(87)【国際公開日】2021-01-14
(31)【優先権主張番号】201910621318.4
(32)【優先日】2019-07-10
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】519454800
【氏名又は名称】浙江商▲湯▼科技▲開▼▲発▼有限公司
【氏名又は名称原語表記】ＺＨＥＪＩＡＮＧ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＤＥＶＥＬＯＰＭＥＮＴ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ ２８８－８， Ｎｏ． ８５７， Ｓｈｉｘｉｎｂｅｉ Ｒｏａｄ， Ｎｉｎｇｗｅｉ Ｓｔｒｅｅｔ， Ｘｉａｏｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｈａｎｇｚｈｏｕ， Ｚｈｅｊｉａｎｇ ３１１２１５ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】▲齊▼勇
(72)【発明者】
【氏名】▲項▼▲驍▼▲駿▼
(72)【発明者】
【氏名】姜翰青
(72)【発明者】
【氏名】章国▲鋒▼
【テーマコード（参考）】
5C122
5L096
【Ｆターム（参考）】
5C122FA08
5C122FH11
5C122FH23
5C122GA01
5C122GA23
5C122HA13
5C122HA35
5C122HB01
5C122HB10
5L096AA09
5L096CA04
5L096EA03
5L096EA14
5L096FA62
5L096FA66
5L096FA76
(57)【要約】
本開示の実施例は、現在フレームに対応する基準フレームおよび現在フレームの逆深度空間範囲を取得するステップと、現在フレームおよび基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、現在フレームに対応するｋ層の現在画像、および基準フレームに対応するｋ層の基準画像を得るステップであって、ｋは２以上の自然数であるステップと、ｋ層の基準画像および逆深度空間範囲に基づき、ｋ層の現在画像に対して逆深度推定の反復処理を行い、現在フレームの逆深度推定結果を得るステップと、を含む画像深度推定方法を開示する。上記解決手段を実施することで、画像の深度推定結果をリアルタイムに得ることができ、かつ深度推定結果の正確度が高い。
【特許請求の範囲】
【請求項1】
現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するステップと、前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するｋ層の現在画像、および前記基準フレームに対応するｋ層の基準画像を得るステップであって、ｋは２以上の自然数であるステップと、
前記ｋ層の基準画像および前記逆深度空間範囲に基づき、前記ｋ層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るステップと、を含む、画像深度推定方法。
【請求項2】
現在フレームに対応する基準フレームを取得する前記ステップは、少なくとも二つの選別対象フレームを取得するステップと、
前記少なくとも二つの選別対象フレームから、前記現在フレームと所定角度拘束条件を満たす少なくとも一つのフレームを、前記基準フレームとして選択するステップと、を含む、請求項１に記載の画像深度推定方法。
【請求項3】
前記所定角度拘束条件は、前記現在フレームに対応する姿勢中心および前記基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が、第一の所定角度範囲にあることであって、前記目標点は前記現在フレームに対応する平均深度点と前記基準フレームに対応する平均深度点との接続線の中点であることと、
前記現在フレームおよび前記基準フレームに対応する光軸夾角が、第二の所定角度範囲にあることと、
前記現在フレームおよび前記基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む、請求項２に記載の画像深度推定方法。
【請求項4】
前記ｋ層の基準画像および前記逆深度空間範囲に基づき、前記ｋ層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得る前記ステップは、前記ｋ層の現在画像および前記逆深度空間範囲に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップであって、前記第ｉ層のサンプリング点は前記ｋ層の現在画像のうちの第ｉ層の現在画像をサンプリングして得られた画素点であり、ｉは１以上、且つｋ以下の自然数であるステップと、
前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記ｋ層の基準画像のうちの第ｉ層の基準画像に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、第ｉ層の逆深度値を得るステップと、
ｉ＝ｋになるまで、ｉ＝ｉ＋１にして、前記ｋ層の現在画像内の、解像度が前記第ｉ層の現在画像より高い第ｉ＋１層の現在画像に対して逆深度推定を継続して行い、第ｋ層の逆深度値を得るステップと、
前記第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、を含む、請求項１から３のいずれか一項に記載の画像深度推定方法。
【請求項5】
前記ｋ層の現在画像および前記逆深度空間範囲に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定する前記ステップは、前記逆深度空間範囲に対して区間分割を行い、各分割区間から一つの逆深度値を選択し、複数の初期逆深度値を得るステップと、
前記複数の初期逆深度値を第１層のサンプリング点内の各サンプリング点に対応する逆深度候補値として特定するステップと、
ｉが１に等しくない場合、前記ｋ層の現在画像から、第ｉ－１層のサンプリング点、および第ｉ－１層の逆深度値を取得するステップと、
前記第ｉ－１層の逆深度値、第ｉ－１層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップと、を含む、請求項４に記載の画像深度推定方法。
【請求項6】
前記第ｉ－１層の逆深度値、第ｉ－１層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定する前記ステップは、前記第ｉ－１層のサンプリング点から、第一サンプリング点との距離が最も近い第二サンプリング点、および前記第二サンプリング点と隣接する少なくとも二つの第三サンプリング点を特定するステップであって、前記第一サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、
前記第ｉ－１層の逆深度値に基づき、前記少なくとも二つの第三サンプリング点の各々の逆深度値、および前記第二サンプリング点の逆深度値を取得し、少なくとも三つの逆深度値を得るステップと、
前記少なくとも三つの逆深度値から、最大逆深度値および最小逆深度値を特定するステップと、
前記複数の初期逆深度値から、前記最大逆深度値と前記最小逆深度値の範囲内にある逆深度値を選択し、選択された逆深度値を前記第一サンプリング点に対応する逆深度候補値として特定するステップと、
前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値が特定されるまで、前記第ｉ層のサンプリング点内の前記第一サンプリング点ではないサンプリング点に対応する逆深度候補値を継続して特定するステップと、を含む、請求項５に記載の画像深度推定方法。
【請求項7】
前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記ｋ層の基準画像のうちの第ｉ層の基準画像に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、第ｉ層の逆深度値を得る前記ステップは、前記第ｉ層のサンプリング点内の各サンプリング点に対して、それぞれ対応する逆深度候補値内の各逆深度値に従って、前記第ｉ層のサンプリング点内の各サンプリング点を前記第ｉ層の基準画像に投影し、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層の投影点を得るステップと、
前記第ｉ層のサンプリング点および前記第ｉ層の投影点に基づいてブロックマッチングを行い、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果を得るステップと、
前記第ｉ層のマッチング結果に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第ｉ層の逆深度値を得るステップと、を含む、請求項４に記載の画像深度推定方法。
【請求項8】
前記第ｉ層のサンプリング点および前記第ｉ層の投影点に基づいてブロックマッチングを行い、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果を得る前記ステップは、予め設定されたウィンドウにより、前記第ｉ層の現在画像から、マッチング対象サンプリング点を中心とした第一画像ブロックを選択し、前記第ｉ層の基準画像から、前記マッチング対象サンプリング点に対応する第ｉ層の投影点内の各投影点をそれぞれ中心とした複数の第二画像ブロックを選択するステップであって、前記マッチング対象サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、
前記第一画像ブロックを前記複数の第二画像ブロック内の各画像ブロックとそれぞれ比較し、複数のマッチング結果を得て、前記複数のマッチング結果を前記マッチング対象サンプリング点に対応する第ｉ層のマッチング結果として特定するステップと、
前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果が得られるまで、前記第ｉ層のサンプリング点内の前記マッチング対象サンプリング点と異なるサンプリング点に対応する第ｉ層のマッチング結果を継続して特定するステップと、を含む、請求項７に記載の画像深度推定方法。
【請求項9】
前記第ｉ層のマッチング結果に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第ｉ層の逆深度値を得る前記ステップは、前記第ｉ層のサンプリング点のうちのいずれか一つである目標サンプリング点に対応する第ｉ層のマッチング結果から、目標マッチング結果を選択するステップと、
前記目標サンプリング点に対応する第ｉ層の投影点内の、前記目標マッチング結果に対応する投影点を目標投影点として特定するステップと、
前記逆深度候補値の内、前記目標投影点に対応する逆深度値を前記目標サンプリング点の逆深度値として特定するステップと、
前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値が特定されるまで、前記第ｉ層のサンプリング点内の、前記目標サンプリング点と異なるサンプリング点の逆深度値を継続して特定し、前記第ｉ層の逆深度値を得るステップと、を含む、請求項７に記載の画像深度推定方法。
【請求項10】
第ｋ層の逆深度値を得る前記ステップの後に、さらに、前記第ｋ層の逆深度値に対して補間最適化を行い、最適化後の第ｋ層の逆深度値を得るステップと、
前記最適化後の第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、を含む、請求項４から９のいずれか一項に記載の画像深度推定方法。
【請求項11】
前記第ｋ層の逆深度値に対して補間最適化を行い、最適化後の第ｋ層の逆深度値を得る前記ステップは、前記第ｋ層の逆深度値内の各逆深度値に対して、それぞれ第ｋ層のサンプリング点内の対応するサンプリング点の候補逆深度値から、前記逆深度値の隣接逆深度値を選択するステップであって、前記第ｋ層のサンプリング点は前記ｋ層の現在画像のうちの第ｋ層の現在画像をサンプリングして得られた画素点であるステップと、
前記隣接逆深度値に対応するマッチング結果を取得するステップと、
前記隣接逆深度値および前記隣接逆深度値に対応するマッチング結果に基づき、前記第ｋ層の逆深度値内の各逆深度値に対して補間最適化を行い、前記最適化後の第ｋ層の逆深度値を得るステップと、を含む、請求項１０に記載の画像深度推定方法。
【請求項12】
現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するように構成された取得部と、前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するｋ層の現在画像、および前記基準フレームに対応するｋ層の基準画像を得るように構成されたダウンサンプリング部であって、ｋは２以上の自然数であるダウンサンプリング部と、
前記ｋ層の基準画像および前記逆深度空間範囲に基づき、前記ｋ層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るように構成された推定部と、を含む、画像深度推定装置。
【請求項13】
前記取得部は、具体的に、少なくとも二つの選別対象フレームを取得するステップと、前記少なくとも二つの選別対象フレームから、前記現在フレームと所定角度拘束条件を満たす少なくとも一つのフレームを、前記基準フレームとして選択するステップと、を実行するように構成される、請求項１２に記載の画像深度推定装置。
【請求項14】
前記所定角度拘束条件は、前記現在フレームに対応する姿勢中心および前記基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が、第一の所定角度範囲にあることであって、前記目標点は前記現在フレームに対応する平均深度点と前記基準フレームに対応する平均深度点との接続線の中点であることと、
前記現在フレームおよび前記基準フレームに対応する光軸夾角が、第二の所定角度範囲にあることと、
前記現在フレームおよび前記基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む、請求項１３に記載の画像深度推定装置。
【請求項15】
前記推定部は、具体的に、前記ｋ層の現在画像および前記逆深度空間範囲に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップであって、前記第ｉ層のサンプリング点は前記ｋ層の現在画像のうちの第ｉ層の現在画像をサンプリングして得られた画素点であり、ｉは１以上、且つｋ以下の自然数であるステップと、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記ｋ層の基準画像のうちの第ｉ層の基準画像に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、第ｉ層の逆深度値を得るステップと、ｉ＝ｋになるまで、ｉ＝ｉ＋１にして、前記ｋ層の現在画像内の、解像度が前記第ｉ層の現在画像より高い第ｉ＋１層の現在画像に対して逆深度推定を継続して行い、第ｋ層の逆深度値を得るステップと、前記第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、を実行するように構成される、請求項１２から１４のいずれか一項に記載の画像深度推定装置。
【請求項16】
前記推定部は、具体的に、前記逆深度空間範囲に対して区間分割を行い、各分割区間から一つの逆深度値を選択し、複数の初期逆深度値を得るステップと、前記複数の初期逆深度値を第１層のサンプリング点内の各サンプリング点に対応する逆深度候補値として特定するステップと、ｉが１に等しくない場合、前記ｋ層の現在画像から、第ｉ－１層のサンプリング点、および第ｉ－１層の逆深度値を取得するステップと、前記第ｉ－１層の逆深度値、第ｉ－１層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップと、を実行するように構成される、請求項１５に記載の画像深度推定装置。
【請求項17】
前記推定部は、具体的に、前記第ｉ－１層のサンプリング点から、第一サンプリング点との距離が最も近い第二サンプリング点、および前記第二サンプリング点と隣接する少なくとも二つの第三サンプリング点を特定するステップであって、前記第一サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、前記第ｉ－１層の逆深度値に基づき、前記少なくとも二つの第三サンプリング点の各々の逆深度値、および前記第二サンプリング点の逆深度値を取得し、少なくとも三つの逆深度値を得るステップと、前記少なくとも三つの逆深度値から、最大逆深度値および最小逆深度値を特定するステップと、前記複数の初期逆深度値から、前記最大逆深度値と前記最小逆深度値の範囲内にある逆深度値を選択し、選択された逆深度値を前記第一サンプリング点に対応する逆深度候補値として特定するステップと、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値が特定されるまで、前記第ｉ層のサンプリング点内の前記第一サンプリング点ではないサンプリング点に対応する逆深度候補値を継続して特定するステップと、を実行するように構成される、請求項１６に記載の画像深度推定装置。
【請求項18】
前記推定部は、具体的に、前記第ｉ層のサンプリング点内の各サンプリング点に対して、それぞれ対応する逆深度候補値内の各逆深度値に従って、前記第ｉ層のサンプリング点内の各サンプリング点を前記第ｉ層の基準画像に投影し、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層の投影点を得るステップと、前記第ｉ層のサンプリング点および前記第ｉ層の投影点に基づいてブロックマッチングを行い、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果を得るステップと、前記第ｉ層のマッチング結果に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第ｉ層の逆深度値を得るステップと、を実行するように構成される、請求項１５に記載の画像深度推定装置。
【請求項19】
前記推定部は、具体的に、予め設定されたウィンドウにより、前記第ｉ層の現在画像から、マッチング対象サンプリング点を中心とした第一画像ブロックを選択し、前記第ｉ層の基準画像から、前記マッチング対象サンプリング点に対応する第ｉ層の投影点内の各投影点をそれぞれ中心とした複数の第二画像ブロックを選択するステップであって、前記マッチング対象サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、前記第一画像ブロックを前記複数の第二画像ブロック内の各画像ブロックとそれぞれ比較し、複数のマッチング結果を得て、前記複数のマッチング結果を前記マッチング対象サンプリング点に対応する第ｉ層のマッチング結果として特定するステップと、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果が得られるまで、前記第ｉ層のサンプリング点内の前記マッチング対象サンプリング点と異なるサンプリング点に対応する第ｉ層のマッチング結果を継続して特定するステップと、を実行するように構成される、請求項１８前記の画像深度推定方法。
【請求項20】
前記推定部は、具体的に、前記第ｉ層のサンプリング点のうちのいずれか一つである目標サンプリング点に対応する第ｉ層のマッチング結果から、目標マッチング結果を選択するステップと、前記目標サンプリング点に対応する第ｉ層の投影点内の、前記目標マッチング結果に対応する投影点を目標投影点として特定するステップと、前記逆深度候補値の内、前記目標投影点に対応する逆深度値を前記目標サンプリング点の逆深度値として特定するステップと、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値が特定されるまで、前記第ｉ層のサンプリング点内の、前記目標サンプリング点と異なるサンプリング点の逆深度値を継続して特定し、前記第ｉ層の逆深度値を得るステップと、を実行するように構成される、請求項１８に記載の画像深度推定装置。
【請求項21】
前記推定部はさらに、前記第ｋ層の逆深度値に対して補間最適化を行い、最適化後の第ｋ層の逆深度値を得るステップと、前記最適化後の第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、を実行するように構成される、請求項１５から２０のいずれか一項に記載の画像深度推定装置。
【請求項22】
前記推定部は、具体的に、前記第ｋ層の逆深度値内の各逆深度値に対して、それぞれ第ｋ層のサンプリング点内の対応するサンプリング点の候補逆深度値から、隣接逆深度値を選択するステップであって、前記第ｋ層のサンプリング点は前記ｋ層の現在画像のうちの第ｋ層の現在画像をサンプリングして得られた画素点であるステップと、前記隣接逆深度値に対応するマッチング結果を取得するステップと、前記隣接逆深度値および前記隣接逆深度値に対応するマッチング結果に基づき、前記第ｋ層の逆深度値内の各逆深度値に対して補間最適化を行い、前記最適化後の第ｋ層の逆深度値を得るステップと、を実行するように構成される、請求項２１に記載の画像深度推定装置。
【請求項23】
プロセッサ、メモリおよび通信バスを含む電子機器であって、前記通信バスは、前記プロセッサと前記メモリとの間の接続通信を実現するように構成され、
前記プロセッサは、前記メモリに記憶される画像深度推定プログラムを実行して、請求項１から１１のいずれか一項に記載の画像深度推定方法を実現するように構成される、電子機器。
【請求項24】
携帯電話またはタブレット型コンピュータである、請求項２３に記載の電子機器。
【請求項25】
一つ以上のプロセッサにより実行されて請求項１から１１のいずれか一項に記載の画像深度推定方法を実現可能な一つ以上のプログラムが記憶されている、コンピュータ可読記憶媒体。
【請求項26】
プロセッサにより実行される時に請求項１から１１のいずれか一項に記載の画像深度推定方法の対応するステップを実現するコンピュータ可読コードを含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、出願番号が２０１９１０６２１３１８．４であり、出願日が２０１９年０７月１０日であり、出願の名称が「画像深度推定方法および装置、電子機器、ならびに記憶媒体」である中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本願は、出願番号が２０１９１０６２１３１８．４であり、出願日が２０１９年０７月１０日であり、出願の名称が「画像深度推定方法および装置、電子機器、ならびに記憶媒体」である中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【0002】
本開示はコンピュータビジョンの技術分野に関し、特に画像深度推定方法および装置、電子機器、ならびに記憶媒体に関する。
【背景技術】
【0003】
画像の深度推定はコンピュータビジョン分野の重要な課題である。画像の深度情報を直接取得することができない場合には、深度推定方法で、シーンの三次元再構築を達成し、さらに拡張現実およびゲームなどのアプリケーションにサービスを提供するしかない。
【0004】
現在、コンピュータビジョンに基づく深度推定方法は、アクティブビジョン方法およびパッシブビジョン方法の二種類に分けられる。ここで、アクティブビジョン方法とは、被検物体に制御可能な光ビームを照射し、そして光ビームが物体の表面上で形成する画像を撮影し、幾何学的関係によって被検物体の距離を算出する方法であり、パッシブビジョン方法は、立体視、デプスフロムフォーカス法、およびデプスフロムデフォーカス法などを含み、主に一つ以上の撮影装置により取得された二次元画像情報に基づいて深度情報を特定している。
【発明の概要】
【課題を解決するための手段】
【0005】
本開示の実施例は画像深度推定方法および装置、電子機器、ならびに記憶媒体を提供しようとする。
【0006】
本開示の実施例の技術的解決手段は以下のように実現される。
【0007】
本開示の実施例は、画像深度推定方法を提供し、
現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するステップと、
前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するｋ層の現在画像、および前記基準フレームに対応するｋ層の基準画像を得るステップであって、ｋは２以上の自然数であるステップと、
前記ｋ層の基準画像および前記逆深度空間範囲に基づき、前記ｋ層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るステップと、を含む。
現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するステップと、
前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するｋ層の現在画像、および前記基準フレームに対応するｋ層の基準画像を得るステップであって、ｋは２以上の自然数であるステップと、
前記ｋ層の基準画像および前記逆深度空間範囲に基づき、前記ｋ層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るステップと、を含む。
【0008】
理解すべきこととして、本開示の実施例では、現在フレームおよび現在フレームに対応する基準フレームに対してダウンサンプリング処理を行い、得られた複数層の現在画像と複数層の基準画像とを組み合わせて逆深度推定の反復処理を行い、それによって現在フレームの逆深度推定結果を特定する。逆深度推定結果を特定するプロセスにおいて、層ずつに逆深度探索空間を減少させるため、逆深度推定の計算量が低減され、推定速度が向上し、逆深度推定結果をリアルタイムに得ることができる。
【0009】
上記画像深度推定方法において、現在フレームに対応する基準フレームを取得する前記ステップは、
少なくとも二つの選別対象フレームを取得するステップと、
前記少なくとも二つの選別対象フレームから、前記現在フレームと所定角度拘束条件を満たす少なくとも一つのフレームを、前記基準フレームとして選択するステップと、を含む。
少なくとも二つの選別対象フレームを取得するステップと、
前記少なくとも二つの選別対象フレームから、前記現在フレームと所定角度拘束条件を満たす少なくとも一つのフレームを、前記基準フレームとして選択するステップと、を含む。
【0010】
理解すべきこととして、本開示の実施例では、所定角度の所定条件に応じて少なくとも二つの選別対象フレームから基準フレームを選択しており、一定程度、品質が高く、現在フレームとのマッチングに適するフレームを選択し、それによって後続の深度推定プロセスにおいて推定の正確性を向上させることができる。
【0011】
上記画像深度推定方法において、前記所定角度拘束条件は、
前記現在フレームに対応する姿勢中心および前記基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が、第一の所定角度範囲にあることであって、前記目標点は前記現在フレームに対応する平均深度点と前記基準フレームに対応する平均深度点との接続線の中点であることと、
前記現在フレームおよび前記基準フレームに対応する光軸夾角が、第二の所定角度範囲にあることと、
前記現在フレームおよび前記基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む。
前記現在フレームに対応する姿勢中心および前記基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が、第一の所定角度範囲にあることであって、前記目標点は前記現在フレームに対応する平均深度点と前記基準フレームに対応する平均深度点との接続線の中点であることと、
前記現在フレームおよび前記基準フレームに対応する光軸夾角が、第二の所定角度範囲にあることと、
前記現在フレームおよび前記基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む。
【0012】
理解すべきこととして、本開示の実施例では、一つ目の角度条件は現在シールから二つのカメラまでの距離を限定しており、角度が大きくなりすぎると、シーンが近すぎることを示し、二つのフレームの重なり度合いが低くなり、角度が小さくなりすぎると、シーンが遠すぎることを示し、視差が小さくなり、誤差が大きくなり、カメラが非常に近い場合でも角度が小さくなりすぎる場合があり、この場合、誤差が同様に大きくなる。二つ目の角度条件は二つのカメラの十分な共通視野領域を確保するために設定される。三つ目の角度条件は、カメラが光軸回りに回転して後続の深度推定計算プロセスが影響を受けることを回避するために設定される。上記三つの角度条件を同時に満たすフレームは基準フレームとして、現在フレーム深度推定の精度の向上に寄与する。
【0013】
上記画像深度推定方法において、前記ｋ層の基準画像および前記逆深度空間範囲に基づき、前記ｋ層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得る前記ステップは、
前記ｋ層の現在画像および前記逆深度空間範囲に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップであって、前記第ｉ層のサンプリング点は前記ｋ層の現在画像のうちの第ｉ層の現在画像をサンプリングして得られた画素点であり、ｉは１以上、且つｋ以下の自然数であるステップと、
前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記ｋ層の基準画像のうちの第ｉ層の基準画像に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、第ｉ層の逆深度値を得るステップと、
ｉ＝ｋになるまで、ｉ＝ｉ＋１にして、前記ｋ層の現在画像内の、解像度が前記第ｉ層の現在画像より高い第ｉ＋１層の現在画像に対して逆深度推定を継続して行い、第ｋ層の逆深度値を得るステップと、
前記第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、を含む。
前記ｋ層の現在画像および前記逆深度空間範囲に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップであって、前記第ｉ層のサンプリング点は前記ｋ層の現在画像のうちの第ｉ層の現在画像をサンプリングして得られた画素点であり、ｉは１以上、且つｋ以下の自然数であるステップと、
前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記ｋ層の基準画像のうちの第ｉ層の基準画像に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、第ｉ層の逆深度値を得るステップと、
ｉ＝ｋになるまで、ｉ＝ｉ＋１にして、前記ｋ層の現在画像内の、解像度が前記第ｉ層の現在画像より高い第ｉ＋１層の現在画像に対して逆深度推定を継続して行い、第ｋ層の逆深度値を得るステップと、
前記第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、を含む。
【0014】
理解すべきこととして、本開示の実施例では、ｋ層の基準画像および逆深度空間範囲に基づき、ｋ層の現在画像に対して逆深度推定の反復処理を行う際に、例えば最上層（第１層）の現在画像（画素が最も少ない画像）から、順に最下層へ逆深度推定の反復を行い、層ずつに逆深度探索空間を縮小し、それにより逆深度推定の計算量を効果的に低減するようにしてもよい。
【0015】
上記画像深度推定方法において、前記ｋ層の現在画像および前記逆深度空間範囲に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定する前記ステップは、
前記逆深度空間範囲に対して区間分割を行い、各分割区間から一つの逆深度値を選択し、複数の初期逆深度値を得るステップと、
前記複数の初期逆深度値を第１層のサンプリング点内の各サンプリング点に対応する逆深度候補値として特定するステップと、
ｉが１に等しくない場合、前記ｋ層の現在画像から、第ｉ－１層のサンプリング点、および第ｉ－１層の逆深度値を取得するステップと、
前記第ｉ－１層の逆深度値、第ｉ－１層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップと、を含む。
前記逆深度空間範囲に対して区間分割を行い、各分割区間から一つの逆深度値を選択し、複数の初期逆深度値を得るステップと、
前記複数の初期逆深度値を第１層のサンプリング点内の各サンプリング点に対応する逆深度候補値として特定するステップと、
ｉが１に等しくない場合、前記ｋ層の現在画像から、第ｉ－１層のサンプリング点、および第ｉ－１層の逆深度値を取得するステップと、
前記第ｉ－１層の逆深度値、第ｉ－１層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップと、を含む。
【0016】
理解すべきこととして、本開示の実施例では、逆深度空間範囲に対して区間分割を行い、それにより異なる区間内から逆深度値を選択することで、区間毎に、逆深度候補値とする一つの逆深度値が存在するようになる。つまり、各サンプリング点は、異なる逆深度範囲内に一つの逆深度候補値が存在し、後続でサンプリング点の逆深度値を特定する時に、異なる逆深度範囲の逆深度値でも逆深度値の推定および特定を行うことができ、推定プロセスが全逆深度空間範囲をカバーするようになり、さらに最終的に逆深度値を正確に推定することができる。
【0017】
上記画像深度推定方法において、前記第ｉ－１層の逆深度推定値、第ｉ－１層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定する前記ステップは、
前記第ｉ－１層のサンプリング点から、第一サンプリング点との距離が最も近い第二サンプリング点、および前記第二サンプリング点と隣接する少なくとも二つの第三サンプリング点を特定するステップであって、前記第一サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、
前記第ｉ－１層の逆深度値に基づき、前記少なくとも二つの第三サンプリング点の各々の逆深度値、および前記第二サンプリング点の逆深度値を取得し、少なくとも三つの逆深度値を得るステップと、
前記少なくとも三つの逆深度値から、最大逆深度値および最小逆深度値を特定するステップと、
前記複数の初期逆深度値から、前記最大逆深度値と前記最小逆深度値の範囲内にある逆深度値を選択し、前記複数の逆深度等分値を選択し、選択された逆深度値を前記第一サンプリング点に対応する逆深度候補値として特定するステップと、
前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値が特定されるまで、前記第ｉ層のサンプリング点内の前記第一サンプリング点ではないサンプリング点に対応する逆深度候補値を継続して特定するステップと、を含む。
前記第ｉ－１層のサンプリング点から、第一サンプリング点との距離が最も近い第二サンプリング点、および前記第二サンプリング点と隣接する少なくとも二つの第三サンプリング点を特定するステップであって、前記第一サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、
前記第ｉ－１層の逆深度値に基づき、前記少なくとも二つの第三サンプリング点の各々の逆深度値、および前記第二サンプリング点の逆深度値を取得し、少なくとも三つの逆深度値を得るステップと、
前記少なくとも三つの逆深度値から、最大逆深度値および最小逆深度値を特定するステップと、
前記複数の初期逆深度値から、前記最大逆深度値と前記最小逆深度値の範囲内にある逆深度値を選択し、前記複数の逆深度等分値を選択し、選択された逆深度値を前記第一サンプリング点に対応する逆深度候補値として特定するステップと、
前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値が特定されるまで、前記第ｉ層のサンプリング点内の前記第一サンプリング点ではないサンプリング点に対応する逆深度候補値を継続して特定するステップと、を含む。
【0018】
理解すべきこととして、本開示の実施例では、ｉ－１層のサンプリング点に対応する逆深度値により、複数の初期逆深度値から第ｉ層のサンプリング点の逆深度候補値を特定しており、第ｉ層のサンプリング点のより正確な逆深度候補値を得ることができ、かつ、逆深度候補値の数が低減され、対応的に、逆深度推定の計算量が低減される。
【0019】
上記画像深度推定方法において、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記ｋ層の基準画像のうちの第ｉ層の基準画像に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、第ｉ層の逆深度値を得る前記ステップは、
前記第ｉ層のサンプリング点内の各サンプリング点に対して、それぞれ対応する逆深度候補値内の各逆深度値に従って、前記第ｉ層のサンプリング点内の各サンプリング点を前記第ｉ層の基準画像に投影し、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層の投影点を得るステップと、
前記第ｉ層のサンプリング点および前記第ｉ層の投影点に基づいてブロックマッチングを行い、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果を得るステップと、
前記第ｉ層のマッチング結果に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第ｉ層の逆深度値を得るステップと、を含む。
前記第ｉ層のサンプリング点内の各サンプリング点に対して、それぞれ対応する逆深度候補値内の各逆深度値に従って、前記第ｉ層のサンプリング点内の各サンプリング点を前記第ｉ層の基準画像に投影し、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層の投影点を得るステップと、
前記第ｉ層のサンプリング点および前記第ｉ層の投影点に基づいてブロックマッチングを行い、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果を得るステップと、
前記第ｉ層のマッチング結果に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第ｉ層の逆深度値を得るステップと、を含む。
【0020】
理解すべきこととして、本開示の実施例では、第ｉ層のサンプリング点に対して、対応する第ｉ層の投影点とそれぞれマッチングし、それにより異なる逆深度値を利用して投影した投影点との相違度を特定し、それによって、第ｉ層のサンプリング点の逆深度値を正確に選択することができる。
【0021】
上記画像深度推定方法において、前記第ｉ層のサンプリング点および前記第ｉ層の投影点に基づいてブロックマッチングを行い、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果を得る前記ステップは、
予め設定されたウィンドウにより、前記第ｉ層の現在画像から、マッチング対象サンプリング点を中心とした第一画像ブロックを選択し、前記第ｉ層の基準画像から、前記マッチング対象サンプリング点に対応する第ｉ層の投影点内の各投影点をそれぞれ中心とした複数の第二画像ブロックを選択するステップであって、前記マッチング対象サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、
前記第一画像ブロックを前記複数の第二画像ブロック内の各画像ブロックとそれぞれ比較し、複数のマッチング結果を得て、前記複数のマッチング結果を前記マッチング対象サンプリング点に対応する第ｉ層のマッチング結果として特定するステップと、
前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果が得られるまで、前記第ｉ層のサンプリング点内の前記マッチング対象サンプリング点と異なるサンプリング点に対応する第ｉ層のマッチング結果を継続して特定するステップと、を含む。
予め設定されたウィンドウにより、前記第ｉ層の現在画像から、マッチング対象サンプリング点を中心とした第一画像ブロックを選択し、前記第ｉ層の基準画像から、前記マッチング対象サンプリング点に対応する第ｉ層の投影点内の各投影点をそれぞれ中心とした複数の第二画像ブロックを選択するステップであって、前記マッチング対象サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、
前記第一画像ブロックを前記複数の第二画像ブロック内の各画像ブロックとそれぞれ比較し、複数のマッチング結果を得て、前記複数のマッチング結果を前記マッチング対象サンプリング点に対応する第ｉ層のマッチング結果として特定するステップと、
前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果が得られるまで、前記第ｉ層のサンプリング点内の前記マッチング対象サンプリング点と異なるサンプリング点に対応する第ｉ層のマッチング結果を継続して特定するステップと、を含む。
【0022】
理解すべきこととして、本開示の実施例では、ブロックマッチングの方式でサンプリング点と投影点をマッチングし、得られたマッチング結果は実際に、マッチングのペナルティ値であり、それは該投影点とサンプリング点との相違度を表し、対応的に、該投影点を投影する逆深度値がサンプリング点の逆深度値として使用できる程度を示しており、したがって、その結果を使用して後続でサンプリング点の逆深度値を正確に選択することができる。
【0023】
上記画像深度推定方法において、前記第ｉ層のマッチング結果に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第ｉ層の逆深度値を得る前記ステップは、
前記第ｉ層のサンプリング点のうちのいずれか一つである目標サンプリング点に対応する第ｉ層のマッチング結果から、目標マッチング結果を選択するステップと、
前記目標サンプリング点に対応する第ｉ層の投影点内の、前記目標マッチング結果に対応する投影点を目標投影点として特定するステップと、
前記逆深度候補値の内、前記目標投影点に対応する逆深度値を前記目標サンプリング点の逆深度値として特定するステップと、
前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値が特定されるまで、前記第ｉ層のサンプリング点内の、前記目標サンプリング点と異なるサンプリング点の逆深度値を継続して特定し、前記第ｉ層の逆深度値を得るステップと、を含む。
前記第ｉ層のサンプリング点のうちのいずれか一つである目標サンプリング点に対応する第ｉ層のマッチング結果から、目標マッチング結果を選択するステップと、
前記目標サンプリング点に対応する第ｉ層の投影点内の、前記目標マッチング結果に対応する投影点を目標投影点として特定するステップと、
前記逆深度候補値の内、前記目標投影点に対応する逆深度値を前記目標サンプリング点の逆深度値として特定するステップと、
前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値が特定されるまで、前記第ｉ層のサンプリング点内の、前記目標サンプリング点と異なるサンプリング点の逆深度値を継続して特定し、前記第ｉ層の逆深度値を得るステップと、を含む。
【0024】
理解すべきこととして、本開示の実施例では、上記のサンプリング点のマッチングプロセスは、実際に、一つのサンプリング点に対して、異なる逆深度値を利用して投影する投影点との相違度をそれぞれ特定することである。選択されたマッチング結果値が最小である結果は、対応する投影点とサンプリング点との相違度が最小であることを示し、したがって、該投影点で採用される逆深度値をサンプリング点の逆深度値として特定し、それによりサンプリング点の正確な逆深度値を得ることができる。
【0025】
上記画像深度推定方法において、第ｋ層の逆深度値を得る前記ステップの後に、前記方法は、
前記第ｋ層の逆深度値に対して補間最適化を行い、最適化後の第ｋ層の逆深度値を得るステップと、
前記最適化後の第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、をさらに含む。
前記第ｋ層の逆深度値に対して補間最適化を行い、最適化後の第ｋ層の逆深度値を得るステップと、
前記最適化後の第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、をさらに含む。
【0026】
理解すべきこととして、本開示の実施例では、上記プロセスにおいて推定された深度は離散値であるため、二次補間を行い、各サンプリング点の逆深度を調整することで、より正確な逆深度値を得るようにしてもよい。
【0027】
上記画像深度推定方法において、前記第ｋ層の逆深度値に対して補間最適化を行い、最適化後の第ｋ層の逆深度値を得る前記ステップは、
前記第ｋ層の逆深度値内の各逆深度値に対して、それぞれ第ｋ層のサンプリング点内の対応するサンプリング点の候補逆深度値から、隣接逆深度値を選択するステップであって、前記第ｋ層のサンプリング点は前記ｋ層の現在画像のうちの第ｋ層の現在画像をサンプリングして得られた画素点であるステップと、
前記隣接逆深度値に対応するマッチング結果を取得するステップと、
前記隣接逆深度値および前記隣接逆深度値に対応するマッチング結果に基づき、前記第ｋ層の逆深度値内の各逆深度値に対して補間最適化を行い、前記最適化後の第ｋ層の逆深度値を得るステップと、を含む。
前記第ｋ層の逆深度値内の各逆深度値に対して、それぞれ第ｋ層のサンプリング点内の対応するサンプリング点の候補逆深度値から、隣接逆深度値を選択するステップであって、前記第ｋ層のサンプリング点は前記ｋ層の現在画像のうちの第ｋ層の現在画像をサンプリングして得られた画素点であるステップと、
前記隣接逆深度値に対応するマッチング結果を取得するステップと、
前記隣接逆深度値および前記隣接逆深度値に対応するマッチング結果に基づき、前記第ｋ層の逆深度値内の各逆深度値に対して補間最適化を行い、前記最適化後の第ｋ層の逆深度値を得るステップと、を含む。
【0028】
理解すべきこととして、本開示の実施例では、特定されたサンプリング点の逆深度値、その隣接逆深度値および隣接逆深度値に対応するマッチング結果により、サンプリング点の逆深度値の補間調整をより正確に行うことができ、かつ調整方式が簡単で高速である。
【0029】
本開示の実施例は、
現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するように構成された取得部と、
前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するｋ層の現在画像、および前記基準フレームに対応するｋ層の基準画像を得るステップであって、ｋは２以上の自然数であるステップを実行するように構成されたダウンサンプリング部と、
前記ｋ層の基準画像および前記逆深度空間範囲に基づき、前記ｋ層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るように構成された推定部と、を含む画像深度推定装置を提供する。
現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するように構成された取得部と、
前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するｋ層の現在画像、および前記基準フレームに対応するｋ層の基準画像を得るステップであって、ｋは２以上の自然数であるステップを実行するように構成されたダウンサンプリング部と、
前記ｋ層の基準画像および前記逆深度空間範囲に基づき、前記ｋ層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るように構成された推定部と、を含む画像深度推定装置を提供する。
【0030】
上記画像深度推定装置において、前記取得部は、具体的に、少なくとも二つの選別対象フレームを取得するステップと、前記少なくとも二つの選別対象フレームから、前記現在フレームと所定角度拘束条件を満たす少なくとも一つのフレームを、前記基準フレームとして選択するステップと、を実行するように構成される。
【0031】
上記画像深度推定装置において、前記所定角度拘束条件は、
前記現在フレームに対応する姿勢中心および前記基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が、第一の所定角度範囲にあることであって、前記目標点は前記現在フレームに対応する平均深度点と前記基準フレームに対応する平均深度点との接続線の中点であることと、
前記現在フレームおよび前記基準フレームに対応する光軸夾角が、第二の所定角度範囲にあることと、
前記現在フレームおよび前記基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む。
前記現在フレームに対応する姿勢中心および前記基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が、第一の所定角度範囲にあることであって、前記目標点は前記現在フレームに対応する平均深度点と前記基準フレームに対応する平均深度点との接続線の中点であることと、
前記現在フレームおよび前記基準フレームに対応する光軸夾角が、第二の所定角度範囲にあることと、
前記現在フレームおよび前記基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む。
【0032】
上記画像深度推定装置において、前記推定部は、具体的に、前記ｋ層の現在画像および前記逆深度空間範囲に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップであって、前記第ｉ層のサンプリング点は前記ｋ層の現在画像のうちの第ｉ層の現在画像をサンプリングして得られた画素点であり、ｉは１以上、且つｋ以下の自然数であるステップと、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記ｋ層の基準画像のうちの第ｉ層の基準画像に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、第ｉ層の逆深度値を得るステップと、ｉ＝ｋになるまで、ｉ＝ｉ＋１にして、前記ｋ層の現在画像内の、解像度が前記第ｉ層の現在画像より高い第ｉ＋１層の現在画像に対して逆深度推定を継続して行い、第ｋ層の逆深度値を得るステップと、前記第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、を実行するように構成される。
【0033】
上記画像深度推定装置において、前記推定部は、具体的に、前記逆深度空間範囲に対して区間分割を行い、各分割区間から一つの逆深度値を選択し、複数の初期逆深度値を得るステップと、前記複数の初期逆深度値を第１層のサンプリング点内の各サンプリング点に対応する逆深度候補値として特定するステップと、ｉが１に等しくない場合、前記ｋ層の現在画像から、第ｉ－１層のサンプリング点、および第ｉ－１層の逆深度値を取得するステップと、前記第ｉ－１層の逆深度推定値、第ｉ－１層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップと、を実行するように構成される。
【0034】
上記画像深度推定装置において、前記推定部は、具体的に、前記第ｉ－１層のサンプリング点から、第一サンプリング点との距離が最も近い第二サンプリング点、および前記第二サンプリング点と隣接する少なくとも二つの第三サンプリング点を特定するステップであって、前記第一サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、前記第ｉ－１層の逆深度値に基づき、前記少なくとも二つの第三サンプリング点の各々の逆深度値、および前記第二サンプリング点の逆深度値を取得し、少なくとも三つの逆深度値を得るステップと、前記少なくとも三つの逆深度値から、最大逆深度値および最小逆深度値を特定するステップと、前記複数の初期逆深度値から、前記最大逆深度値と前記最小逆深度値の範囲内にある逆深度値を選択し、選択された逆深度値を前記第一サンプリング点に対応する逆深度候補値として特定するステップと、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値が特定されるまで、前記第ｉ層のサンプリング点内の前記第一サンプリング点ではないサンプリング点に対応する逆深度候補値を継続して特定するステップと、を実行するように構成される。
【0035】
上記画像深度推定装置において、前記推定部は、具体的に、前記第ｉ層のサンプリング点内の各サンプリング点に対して、それぞれ対応する逆深度候補値内の各逆深度値に従って、前記第ｉ層のサンプリング点内の各サンプリング点を前記第ｉ層の基準画像に投影し、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層の投影点を得るステップと、前記第ｉ層のサンプリング点および前記第ｉ層の投影点に基づいてブロックマッチングを行い、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果を得るステップと、前記第ｉ層のマッチング結果に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第ｉ層の逆深度値を得るステップと、を実行するように構成される。
【0036】
上記画像深度推定装置において、前記推定部は、具体的に、予め設定されたウィンドウにより、前記第ｉ層の現在画像から、マッチング対象サンプリング点を中心とした第一画像ブロックを選択し、前記第ｉ層の基準画像から、前記マッチング対象サンプリング点に対応する第ｉ層の投影点内の各投影点をそれぞれ中心とした複数の第二画像ブロックを選択するステップであって、前記マッチング対象サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、前記第一画像ブロックを前記複数の第二画像ブロック内の各画像ブロックとそれぞれ比較し、複数のマッチング結果を得て、前記複数のマッチング結果を前記マッチング対象サンプリング点に対応する第ｉ層のマッチング結果として特定するステップと、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果が得られるまで、前記第ｉ層のサンプリング点内の前記マッチング対象サンプリング点と異なるサンプリング点に対応する第ｉ層のマッチング結果を継続して特定するステップと、を実行するように構成される。
【0037】
上記画像深度推定装置において、前記推定部は、具体的に、前記第ｉ層のサンプリング点のうちのいずれか一つである目標サンプリング点に対応する第ｉ層のマッチング結果から、目標マッチング結果を選択するステップと、前記目標サンプリング点に対応する第ｉ層の投影点内の、前記目標マッチング結果に対応する投影点を目標投影点として特定するステップと、前記逆深度候補値の内、前記目標投影点に対応する逆深度値を前記目標サンプリング点の逆深度値として特定するステップと、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値が特定されるまで、前記第ｉ層のサンプリング点内の、前記目標サンプリング点と異なるサンプリング点の逆深度値を継続して特定し、前記第ｉ層の逆深度値を得るステップと、を実行するように構成される。
【0038】
上記画像深度推定装置において、前記推定部はさらに、前記第ｋ層の逆深度値に対して補間最適化を行い、最適化後の第ｋ層の逆深度値を得るステップと、前記最適化後の第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、を実行するように構成される。
【0039】
上記画像深度推定装置において、前記推定部は、具体的に、前記第ｋ層の逆深度値内の各逆深度値に対して、それぞれ第ｋ層のサンプリング点内の対応するサンプリング点の候補逆深度値から、隣接逆深度値を選択するステップであって、前記第ｋ層のサンプリング点は前記ｋ層の現在画像のうちの第ｋ層の現在画像をサンプリングして得られた画素点であるステップと、前記隣接逆深度値に対応するマッチング結果を取得するステップと、前記隣接逆深度値および前記隣接逆深度値に対応するマッチング結果に基づき、前記第ｋ層の逆深度値内の各逆深度値に対して補間最適化を行い、前記最適化後の第ｋ層の逆深度値を得るステップと、を実行するように構成される。
【0040】
本開示の実施例は、プロセッサ、メモリおよび通信バスを含む電子機器であって、
前記通信バスは、前記プロセッサと前記メモリの間の接続通信を実現するように構成され、
前記プロセッサは、前記メモリに記憶される画像深度推定プログラムを実行して、上記画像深度推定方法を実現するように構成される、電子機器を提供する。
前記通信バスは、前記プロセッサと前記メモリの間の接続通信を実現するように構成され、
前記プロセッサは、前記メモリに記憶される画像深度推定プログラムを実行して、上記画像深度推定方法を実現するように構成される、電子機器を提供する。
【0041】
上記電子機器において、前記電子機器は携帯電話またはタブレット型コンピュータである。
【0042】
本開示の実施例は、一つ以上のプロセッサにより実行されて上記画像深度推定方法を実現可能な一つ以上のプログラムが記憶されている、コンピュータ可読記憶媒体を提供する。
【0043】
本開示の実施例は、プロセッサにより実行される時に上記画像深度推定方法の対応するステップを実現するコンピュータ可読コードを含む、コンピュータプログラムを提供する。
【0044】
以上のことから、本開示の実施例の技術的解決手段では、現在フレームに対応する基準フレームおよび現在フレームの逆深度空間範囲を取得し、現在フレームおよび基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、現在フレームに対応するｋ（ｋは２以上の自然数）層の現在画像、および基準フレームに対応するｋ層の基準画像を得て、そしてｋ層の基準画像および逆深度空間範囲に基づき、ｋ層の現在画像に対して逆深度推定の反復処理を行い、現在フレームの逆深度推定結果を得る。つまり、本開示が提供する技術的解決手段は、複数層の現在画像を、複数層の基準画像と組み合わせて逆深度推定の反復処理を行い、それによって層ずつに逆深度探索空間を減少させ、現在フレームの逆深度推定結果を特定しており、該逆深度推定結果は現在フレームの画素点の、カメラ座標系でのｚ軸座標値の逆数であり、座標変換を別途行う必要がなく、かつ層ずつに逆深度探索空間を減少させることは逆深度推定の計算量の低減、および推定速度の向上に寄与し、その結果、画像の深度推定結果をリアルタイムに得ることができ、かつ深度推定結果の正確度が高い。
【図面の簡単な説明】
【0045】
【図1】本開示の実施例が提供する画像深度推定方法のフローチャートである。
【図2】本開示の実施例が提供する例示的なカメラ姿勢夾角の模式図である。
【図3】本開示の実施例が提供する逆深度推定の反復処理の第一のフローチャートである。
【図4】本開示の実施例が提供する例示的な３層の現在画像の模式図である。
【図5】本開示の実施例が提供する逆深度候補値特定のフローチャートである。
【図6】本開示の実施例が提供する例示的なサンプリング点投影の模式図である。
【図7】本開示の実施例が提供する逆深度推定の反復処理の第二のフローチャートである。
【図8】本開示の実施例が提供する画像深度推定装置の構成模式図である。
【図9】本開示の実施例が提供する電子機器の構成模式図である。
【発明を実施するための形態】
【0046】
以下に本開示の実施例における図面と関連付けて、本開示の実施例における技術的解決手段を明確に、完全に説明する。
【0047】
本開示の実施例は画像深度推定方法を提供し、その実行主体は画像深度推定装置であってもよく、例えば、画像深度推定方法は端末機器またはサーバまたは他の電子機器によって実行されてもよく、そのうち、端末機器はユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、モバイル機器、ユーザ端末、端末、セルラー電話、コードレス電話機、携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ハンドヘルド機器、計算機器、車載機器、ウェアラブル機器などであってもよい。いくつかの可能な実施形態では、該画像深度推定方法はプロセッサによってメモリに記憶されるコンピュータ可読命令を呼び出すように実現してもよい。図１は本開示の実施例が提供する画像深度推定方法のフローチャートである。図１に示すように、主に以下のステップを含む。
【0048】
Ｓ１０１で、現在フレームに対応する基準フレームおよび現在フレームの逆深度空間範囲を取得する。
【0049】
本開示の実施例では、画像深度推定装置を例にして実行主体を説明する。まず、画像深度推定装置は現在フレームの深度を推定する際に、現在フレームに対応する基準フレームおよび現在フレームの逆深度空間範囲を取得する必要がある。
【0050】
説明すべきこととして、本開示の実施例では、現在フレームは深度推定を必要とする画像であり、基準フレームは現在フレームの深度推定を行う時の、参照およびマッチング用の画像であり、基準フレームの数は複数であってもよく、深度推定の速度とロバスト性のバランスを考慮し、５つ程度の基準フレームを選択することが望ましく、本開示の実施例は具体的な現在フレームの基準フレームを限定しない点である。
【0051】
具体的には、本開示の実施例では、画像深度推定装置が現在フレームに対応する基準フレームを取得するステップは、少なくとも二つの選別対象フレームを取得するステップと、少なくとも二つの選別対象フレームから、現在フレームと所定角度拘束条件を満たす少なくとも一つのフレームを選択し、該少なくとも一つのフレームを基準フレームとするステップと、を含む。
【0052】
説明すべきこととして、本開示の実施例では、画像深度推定装置は、他の方式、例えば、ユーザから送信された少なくとも二つの選別対象フレームへの選択命令を受信し、選択命令に指示された少なくとも一つのフレームを基準フレームとするように、基準フレームを取得してもよい点である。本願の実施例は基準フレームを取得する具体的な方式を限定しない。
【0053】
説明すべきこととして、本開示の実施例では、画像深度推定装置が少なくとも二つの選別対象フレームから選択した現在フレームに対応する基準フレームは複数であってもよく、かついずれの基準フレームも現在フレームと所定角度拘束条件を満たす点である。選別対象フレームは現在フレームと同一のシーンにおいて、異なる角度で取得された画像である。画像深度推定装置には撮影モジュールが配備されてもよく、該撮影モジュールによって選別対象フレームを取得してもよいが、当然ながら、他の独立した撮影機器によって選別対象フレームを取得してから、画像深度推定装置によって撮影機器から選別対象フレームをさらに取得するようにしてもよい。具体的な所定角度拘束条件は実際の深度推定のニーズに応じて事前に画像深度推定装置に設定してもよく、他の装置に記憶して、深度推定が必要な時に他の装置から取得するようにしてもよく、またはユーザにより入力される角度拘束条件を受信することで取得するなどのようにしてもよく、本開示の実施例はこれを限定しない。
【0054】
具体的には、本開示の実施例では、所定角度拘束条件は、現在フレームに対応する姿勢中心および基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が第一所定角度範囲にあることであって、目標点は現在フレームに対応する平均深度点と基準フレームに対応する平均深度点との接続線の中点であることと、現在フレームおよび基準フレームに対応する光軸夾角が第二の所定角度範囲にあることと、現在フレームおよび基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む。ここで、縦軸は三次元空間におけるカメラ座標系のＹ軸である。
【0055】
本開示のいくつかの実施例では、現在フレームに対応する姿勢中心は、実際に、現在フレームを取得する時のカメラの位置および姿勢における、カメラの中心（光心）である。基準フレームに対応する姿勢中心は、実際に、基準フレームを取得する時のカメラの位置および姿勢における、カメラの中心（光心）である。
【0056】
例示的に、本開示の実施例では、図２に示すように、現在フレーム取得時のカメラの姿勢を姿勢１として、基準フレーム取得時のカメラの姿勢を姿勢２として定義し、姿勢１時にカメラの中心（光心）から対応するシーンまでの平均深度点は点Ｐ１であり、姿勢２時にカメラの中心（光心）から対応するシーンまでの平均深度点は点Ｐ２であり、Ｐ１とＰ２の間の接続線の中点は点Ｐであり、所定角度条件は具体的に以下の三つの角度条件を含む。１番目の角度条件としては、姿勢１と姿勢２の時のカメラの中心と点Ｐとの接続線により形成された画角αが［５ｏ，４５ｏ］の間である。２番目の角度条件としては、カメラの姿勢１と姿勢２の時の光軸夾角が［０ｏ，４５ｏ］の間である。三つ目は、カメラの姿勢１および姿勢２の時のＹ軸の夾角が［０ｏ，３０ｏ］の間である。この三つの角度条件を同時に満たすフレームしか基準フレームとすることができない。以上の角度区間はいずれも実施時に調整することができる。
【0057】
説明すべきこととして、本開示の実施例では、現在フレームおよび基準フレームを取得するカメラは、位置特定装置を配備し、それにより現在フレームおよび基準フレームを取得する時に、対応する姿勢を直接取得することができ、画像深度推定装置は位置特定装置において取得された関連姿勢を取得してもよいが、当然ながら、画像深度推定装置は姿勢推定アルゴリズムに従って、得られた現在フレームおよび基準フレームにおけるいくつかの特徴点と組み合わせて、対応する姿勢を算出してもよい点である。
【0058】
理解すべきこととして、本開示の実施例では、一つ目の角度条件は現在シールから二つのカメラまでの距離を限定しており、角度が大きくなりすぎると、シーンが近すぎることを示し、二つのフレームの重なり度合いが低くなり、角度が小さくなりすぎると、シーンが遠すぎることを示し、視差が小さくなり、誤差が大きくなり、カメラが非常に近い場合でも角度が小さくなりすぎる場合があり、この場合、誤差が同様に大きくなる。二つ目の角度条件は二つのカメラの十分な共通視野領域を確保するために設定される。三つ目の角度条件は、カメラが光軸回りに回転して後続の深度推定計算プロセスが影響を受けることを回避するために設定される。上記三つの角度条件を同時に満たすフレームは基準フレームとして、現在フレーム深度推定の精度の向上に寄与する。
【0059】
説明すべきこととして、本開示の実施例では、画像深度推定装置は現在フレームに基づいて対応する逆深度空間範囲を直接取得してもよく、ここで、逆深度空間範囲は現在フレームにおける画素点の逆深度値の取り得る空間範囲であり、当然ながら、画像深度推定装置はユーザの設定命令を受信し、設定命令に応じてユーザにより指示された逆深度空間範囲を取得するようにしてもよい点である。本開示の実施例は具体的な逆深度空間範囲を限定しない。例えば、逆深度空間範囲は［ｄｍｉｎ，ｄｍａｘ］であり、ｄｍｉｎは逆深度空間範囲内の最小の逆深度値であり、ｄｍａｘは逆深度空間範囲内の最大の逆深度値である。
【0060】
Ｓ１０２で、現在フレームおよび基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、現在フレームに対応するｋ層の現在画像、および基準フレームに対応するｋ層の基準画像を得て、ここで、ｋは２以上の自然数である。
【0061】
本開示の実施例では、画像深度推定装置は現在フレームに対応する基準フレームを取得した後、現在フレームおよび基準フレームに対してピラミッドダウンサンプリング処理をそれぞれ行い、それにより現在フレームに対応するｋ層の現在画像、および基準フレームに対応するｋ層の基準画像を得ることができる。
【0062】
説明すべきこととして、本開示の実施例では、基準フレームは複数であってもよいため、画像深度推定装置が各基準フレーム画像に対してピラミッドダウンサンプリング処理をそれぞれ行うことで、得られたｋ層の基準画像は実際に複数のグループであり、本開示の実施例はｋ層の基準画像の具体的な数を限定しない点である。
【0063】
説明すべきこととして、本開示の実施例では、画像深度推定装置が現在フレームおよび基準フレームに対してピラミッドダウンサンプリング処理をそれぞれ行うことで、得られた現在画像ピラミッドおよび基準画像ピラミッドは層の数が同じであり、採用するスケール因子も同じである点である。例えば、画像深度推定装置が現在フレームおよび基準フレームに対してスケール因子が２のダウンサンプリングをそれぞれ行うことで、三層の現在画像および三層の基準画像が形成され、それぞれ三層であるこの二グループの画像のうち、最上層画像の解像度は最も低く、中間層画像の解像度は最上層画像の解像度より高く、最下層画像の解像度は最も高く、実際に、最下層画像は元画像、即ち対応する現在フレームおよび基準フレームである。具体的な画像の層の数ｋ、およびダウンサンプリングのスケール因子は実際のニーズに応じて予め設定してもよく、本開示の実施例はそれを限定しない。
【0064】
例示的に、本開示の実施例では、画像深度推定装置は現在フレームＩｔに対応する５つの基準フレームを取得しており、それぞれ、基準フレームＩ１、基準フレームＩ２、基準フレームＩ３、基準フレームＩ４、および基準フレームＩ５であり、画像深度推定装置は、これらのフレームに対してスケール因子が２であるダウンサンプリングをそれぞれ行い、それにより現在フレームＩｔに対応する３層の現在画像、および基準フレームＩ１、基準フレームＩ２、基準フレームＩ３、基準フレームＩ４および基準フレームＩ５のそれぞれに対応する三層の基準画像を取得する。
【0065】
Ｓ１０３で、ｋ層の基準画像および逆深度空間範囲に基づき、ｋ層の現在画像に対して逆深度推定の反復処理を行い、現在フレームに対応する逆深度推定結果を得る。
【0066】
本開示の実施例では、画像深度推定装置はｋ層の現在画像およびｋ層の基準画像を取得した後、ｋ層の基準画像および逆深度空間範囲に基づき、ｋ層の現在画像に対して、例えば、最上層（第１層）の現在画像（画素が最も少ない画像）から、最下層へ順に逆深度推定の反復を行い、最下の第ｋ層まで、層ずつに逆深度探索空間を縮小するように、逆深度推定の反復処理を行い、現在フレームに対応する逆深度推定結果を得ることができる。
【0067】
図３は本開示の実施例が提供する逆深度推定の反復処理の第一のフローチャートである。図３に示すように、画像深度推定装置がｋ層の基準画像および逆深度空間範囲に基づき、ｋ層の現在画像に対して逆深度推定の反復処理を行い、現在フレームに対応する逆深度推定結果を得るステップは、以下のステップを含む。
【0068】
Ｓ３０１で、ｋ層の現在画像および逆深度空間範囲に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定し、ここで、第ｉ層のサンプリング点はｋ層の現在画像のうちの第ｉ層の現在画像をサンプリングして得られた画素点であり、ｉは１以上、且つｋ以下の自然数である。
【0069】
本開示の実施例では、ｋ層の現在画像は解像度の低い順に、第１層の現在画像、第２層の現在画像、第３層の現在画像、……、第ｋ層の現在画像を含み、第１層の現在画像はｋ層の現在画像のうちの最上層画像であり、第ｋ層の現在画像は現在画像ピラミッドにおける最下層画像であり、同様に、ｋ層の基準画像は解像度の低い順に、第１層の基準画像、第２層の基準画像、第３層の基準画像、……、第ｋ層の基準画像を含み、第１層の基準画像は基準画像ピラミッドにおける最上層画像であり、第ｋ層の基準画像は基準画像ピラミッドにおける最下層画像である。
【0070】
説明すべきこととして、本開示の実施例では、画像深度推定装置はｋ層の現在画像のうちの第ｉ層の現在画像に対して画素点をサンプリングしてもよく、ここで、サンプリングによって得られた画素点は第ｉ層のサンプリング点であり、ｉの具体的な値は１より大きくかつｋ以下の自然数であり、本開示の実施例はそれを限定しない点である。
【0071】
説明すべきこととして、本開示の実施例では、画像深度推定装置は第ｉ層の現在画像に対して画素点をサンプリングする時、所定のサンプリングステップサイズで実現してもよい点である。具体的なサンプリングステップサイズは実際のニーズに応じて決定してもよく、本開示の実施例はこれを限定しない。
【0072】
図４は本開示の実施例が提供する例示的な３層の現在画像の模式図である。図４に示すように、画像深度推定装置は事前に現在フレームに対して、ｘ軸およびｙ軸座標でサンプリングステップサイズを２とするように画素点をサンプリングし、合計３層の現在画像を得るようにしてもよく、そのうち、第１層の現在画像の解像度が最も低く、第２層の現在画像の解像度が第１層の現在画像より高く、第３層の現在画像の解像度が第２層の現在画像より高く、第３層の現在画像は実際に現在フレームの元画像である。
【0073】
具体的には、本開示の実施例では、画像深度推定装置がｋ層の現在画像および逆深度空間範囲に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層の逆深度候補値を特定するステップは、ｉが１に等しい場合、逆深度空間範囲の区間等分割を行い、分割区間の複数の逆深度等分値を得るステップと、複数の逆深度等分値を第１層のサンプリング点内の各サンプリング点に対応する逆深度候補値として特定するステップと、ｉが１に等しくない場合、ｋ層の現在画像から第ｉ－１層のサンプリング点、および第ｉ－１層の逆深度推定値を取得するステップと、第ｉ－１層の逆深度推定値、第ｉ－１層のサンプリング点、および複数の逆深度等分値に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップと、を含む。
【0074】
理解すべきこととして、本開示の実施例では、画像深度推定装置は逆深度空間範囲に対して区間分割を行い、それによりそれぞれの区間内から逆深度値を選択することで、いずれの区間内にも逆深度候補値となる一つの逆深度値が存在するようになる。つまり、いずれのサンプリング点も異なる逆深度範囲内に一つの逆深度候補値が存在し、後続でサンプリング点の逆深度値を特定すれば、異なる逆深度範囲の逆深度値でも逆深度値の推定および特定を行うことができ、推定プロセスが全逆深度空間範囲をカバーするようになり、さらに最終的に逆深度値を正確に推定することができる。
【0075】
理解すべきこととして、本開示の実施例では、ｉが１に等しい場合、画像深度推定装置は第１層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定する必要があり、ここで、第１層のサンプリング点はｋ層の現在画像のうち解像度が最も低い第１層の現在画像におけるサンプリング点であり、画像深度推定装置が取得する現在フレームに対応する逆深度空間範囲は［ｄｍｉｎ，ｄｍａｘ］であり、それを等分して、分割区間のｑ個の逆深度等分値ｄ１、ｄ２、……、ｄｑを得ることができ、このｑ個の逆深度等分値を全て初期逆深度値、即ち第１層のサンプリング点内の各サンプリング点に対応する逆深度候補値として特定することができ、当然ながら、逆深度候補値はｄｍｉｎおよびｄｍａｘを含んでもよい。つまり、第１層のサンプリング点の各々について言えば、それらに対応する逆深度候補値は完全に同じである。画像深度推定装置による逆深度空間範囲の等分割区間は実際のニーズに応じて設定してもよく、本開示の実施例はそれを限定しない。
【0076】
説明すべきこととして、本開示の実施例では、画像深度推定装置が上記等分割方式で逆深度空間範囲に対して区間分割を行い、分割区間の逆深度値を逆深度候補値とすれば、逆深度候補値が全逆深度空間範囲を均一にカバーし、後続で逆深度候補値から特定された逆深度値がより正確になるように保証できる点である。
【0077】
説明すべきこととして、本開示の実施例では、ｉが１に等しい場合、逆深度空間範囲を等分割の方式で分割する以外、非等分割の方式で分割してもよい点である。例えば、予め設定された複数の異なる間隔で逆深度空間範囲を順に分割するか、または、予め設定された初期分割間隔で、間隔の変化ルール従って、毎回分割するたびに間隔を調整し、さらに調整後の間隔で次の区間を分割する。当然ながら、初期逆深度値の選択は分割された区間から一つの逆深度値を直接ランダムに選択してもよく、各分割区間の中間の逆深度値を選択してもよい。本開示の実施例は具体的な区間分割方式および初期逆深度値の選択方式を限定しない。
【0078】
説明すべきこととして、本開示の実施例では、ｉが１に等しくない場合、画像深度推定装置はｋ層の現在画像から第ｉ－１層のサンプリング点、即ちｋ層の現在画像のうちの第ｉ－１層のサンプリング点をサンプリングして得られた画素点を取得する必要があり、かつ、第ｉ－１層の逆深度値を取得する必要もある点である。各層の現在画像はいずれも異なるサンプリングステップサイズでサンプリング可能である。そのうち、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定する前に、ｉ＝ｉ－１となった場合には、画像深度推定装置は既に上記逆深度推定ステップに従って第ｉ層の逆深度値、即ち第ｉ－１層のサンプリング点内の各サンプリング点の逆深度値を得ていた。したがって、画像深度推定装置は第ｉ－１層の逆深度値を直接取得し、さらに第ｉ－１層の逆深度値、第ｉ－１層のサンプリング点、および複数の逆深度等分値に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定することができる。
【0079】
図５は本開示の実施例が提供する逆深度候補値特定のフローチャートである。図５に示すように、画像深度推定装置が第ｉ－１層の逆深度推定値、第ｉ－１層のサンプリング点、および複数の初期逆深度値に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップは、
第ｉ－１層のサンプリング点から、第一サンプリング点との距離が最も近い第二サンプリング点、および第二サンプリング点と隣接する少なくとも二つの第三サンプリング点を特定するステップであって、第一サンプリング点は第ｉ層のサンプリング点のうちのいずれか一つであるステップＳ５０１と、
第ｉ－１層の逆深度値に基づき、少なくとも二つの第三サンプリング点の各々の逆深度値、および第二サンプリング点の深度値を取得し、少なくとも三つの逆深度値を得るステップＳ５０２と、
少なくとも三つの逆深度値から、最大逆深度値および最小逆深度値を特定するステップＳ５０３と、
複数の初期逆深度値から、最大逆深度値と最小逆深度値の範囲内にある逆深度値を選択し、選択された逆深度値を第一サンプリング点に対応する逆深度候補値として特定するステップＳ５０４と、
第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値が特定されるまで、第ｉ層のサンプリング点のうち第一サンプリング点ではないサンプリング点に対応する逆深度候補値を継続して特定するステップＳ５０５と、を含む。
第ｉ－１層のサンプリング点から、第一サンプリング点との距離が最も近い第二サンプリング点、および第二サンプリング点と隣接する少なくとも二つの第三サンプリング点を特定するステップであって、第一サンプリング点は第ｉ層のサンプリング点のうちのいずれか一つであるステップＳ５０１と、
第ｉ－１層の逆深度値に基づき、少なくとも二つの第三サンプリング点の各々の逆深度値、および第二サンプリング点の深度値を取得し、少なくとも三つの逆深度値を得るステップＳ５０２と、
少なくとも三つの逆深度値から、最大逆深度値および最小逆深度値を特定するステップＳ５０３と、
複数の初期逆深度値から、最大逆深度値と最小逆深度値の範囲内にある逆深度値を選択し、選択された逆深度値を第一サンプリング点に対応する逆深度候補値として特定するステップＳ５０４と、
第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値が特定されるまで、第ｉ層のサンプリング点のうち第一サンプリング点ではないサンプリング点に対応する逆深度候補値を継続して特定するステップＳ５０５と、を含む。
【0080】
説明すべきこととして、本開示の実施例では、ｉが１に等しい場合、第ｉ層のサンプリング点、即ち第１層のサンプリング点内の各サンプリング点に対応する逆深度候補値は、全て同じであり、ｉが１に等しくない場合、第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層の逆深度候補値は、第ｉ－１層のサンプリング点および第ｉ－１層の逆深度値に基づき、複数の初期逆深度値から選択し、範囲が小さい逆深度候補値を特定することができ、かつ第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値は全て異なることがある。
【0081】
例示的に、本開示の実施例では、
【0082】
【化1】
【0083】
は第ｉ層のサンプリング点のうちのいずれか一つであり、画像深度推定装置は第ｉ－１層のサンプリング点から
【0084】
【化2】
【0085】
との距離が最も近いサンプリング点
【0086】
【化3】
【0087】
を探し出し、それにより第ｉ－１層のサンプリング点から、
【0088】
【化4】
【0089】
を中心として、その隣接の複数の（例えば８つ）サンプリング点を特定し、その後、第ｉ－１層の逆深度値に基づき、
【0090】
【化5】
【0091】
、およびそれと隣接する８つのサンプリング点内の各サンプリング点の逆深度値を取得し、つまり９つの逆深度値を得て、さらに、９つの逆深度値のうち最大の逆深度値ｄ１と最小の逆深度値ｄ２を限界とし、複数の初期逆深度値のうちｄ１とｄ２の間の深度値を選び出し、ｄ１およびｄ２を含めて、全て
【0092】
【化6】
【0093】
に対応する候補逆深度値として特定することができる。
【0094】
説明すべきこととして、本開示の実施例では、画像深度推定装置は第ｉ－１層のサンプリング点から第二サンプリング点と隣接する第三サンプリング点を特定する際に、その周囲の８つのサンプリング点を全て第三サンプリング点として特定してもよいが、当然ながら、それと左右に隣接する２つのサンプリング点、または上下に隣接する２つのサンプリング点を第三サンプリング点として特定してもよく、またそれと上下左右に隣接する４つのサンプリング点を全て第三サンプリング点として特定してもよく、本開示の実施例は第三サンプリング点の具体的な数を限定しない点である。
【0095】
説明すべきこととして、本開示の実施例では、画像深度推定装置はさらに、他のルールに従って第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定してもよい点である。例えば、ユーザにより設定された異なる層のサンプリング点に対する異なる逆深度候補値を受信し、ここで、同一層のサンプリング点内の各サンプリング点に対応する逆深度候補値は同じである。本開示の実施例は逆深度候補値を特定する具体的な方式を限定しない。
【0096】
Ｓ３０２で、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値およびｋ層の基準画像のうちの第ｉ層の基準画像に基づき、第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、第ｉ層の逆深度値を得る。
【0097】
具体的には、本開示の実施例では、画像深度推定装置が第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値およびｋ層の基準画像のうちの第ｉ層の基準画像に基づき、第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、第ｉ層の逆深度値を得るステップは、第ｉ層のサンプリング点内の各サンプリング点に対して、それぞれ対応する逆深度候補値内の各逆深度値に従って、第ｉ層のサンプリング点内の各サンプリング点を第ｉ層の基準画像に投影し、第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層の投影点を得るステップと、第ｉ層のサンプリング点および第ｉ層の投影点に基づいてブロックマッチングを行い、第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果を得るステップと、第ｉ層のマッチング結果に基づき、第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、第ｉ層の逆深度値を得るステップと、を含む。
【0098】
説明すべきこととして、本開示の実施例では、画像深度推定装置は、第ｉ層のサンプリング点内の各サンプリング点に対して、いずれも対応する逆深度候補値内の各逆深度値に従って第ｉ層の基準画像に投影する。当然ながら、基準フレームが複数あり、対応的に、第ｉ層の基準画像が複数ある場合、画像深度推定装置は第ｉ層のサンプリング点内の各サンプリング点に対して、それぞれ対応する逆深度候補値内の各逆深度値に従って、第ｋ層の各基準画像にそれぞれ投影する。
【0099】
具体的には、本開示の実施例では、現在フレームｔおよび基準フレームｒに対して、画像深度推定装置は、第ｉ層のサンプリング点のうちのいずれか一つである
【0100】
【化7】
【0101】
（ｕおよびｖは該サンプリング点のｘ軸およびｙ軸座標）、および
【0102】
【化8】
【0103】
に対応する逆深度候補値のうちのいずれか一つである
【0104】
【化9】
【0105】
を、下式（１）および下式（２）に従って第ｋ層の基準画像に投影する。
【0106】
【化10】
【0107】
【化11】
【0108】
説明すべきこととして、Ｋは現在フレームｔおよび基準フレームｒを取得するカメラに対応するカメラ内部パラメータ行列であり、
【0109】
【化12】
【0110】
は第ｉ層の現在画像に対応する焦点距離の、ｘ軸およびｙ軸での画素に基づいて測定するスケール因子であり、
【0111】
【化13】
【0112】
は画素を使用して記述されるｘ軸方向の焦点距離の長さであり、
【0113】
【化14】
【0114】
は画素を使用して記述されるｙ軸方向の焦点距離の長さである点である。
【0115】
【化15】
【0116】
は第ｉ層の現在画像の主点位置であり、
【0117】
【化16】
【0118】
の回転行列であり、
【0119】
【化17】
【0120】
の並進ベクトルである。式（１）から最終的に得られた
【0121】
【化18】
【0122】
の行列であり、ここで、１行目の要素は
【0123】
【化19】
【0124】
であり、２行目の要素は
【0125】
【化20】
【0126】
であり、３行目の要素は
【0127】
【化21】
【0128】
であり、式（２）に従ってさらに計算すれば、サンプリング点
【0129】
【化22】
【0130】
を対応する逆深度候補値のうちの逆深度値
【0131】
【化23】
【0132】
に応じて、基準フレームｒのうちの第ｉ層の基準画像に投影した投影点
【0133】
【化24】
【0134】
を得ることができる。
【0135】
理解すべきこととして、本開示の実施例では、第ｉ層のサンプリング点内の各サンプリング点に対して、いずれも式（２）および式（３）によって、対応する逆深度候補値内の各逆深度値に従って第ｉ層の基準画像に投影することができ、第ｉ層の基準画像が複数ある場合、繰り返し実行すればよい。
【0136】
説明すべきこととして、本開示の実施例では、画像深度推定装置は第ｉ層の投影点を得た後、第ｉ層のサンプリング点および第ｉ層の投影点に基づいてブロックマッチングを行うことができる点であり、具体的には、第ｉ層のサンプリング点内の各サンプリング点に対して、対応する第ｉ層の投影点内の各投影点とのブロックマッチングをそれぞれ行い、それにより各サンプリング点に対応する第ｉ層のマッチング結果を得る。
【0137】
具体的には、本開示の実施例では、画像深度推定装置が第ｉ層のサンプリング点および第ｉ層の投影点に基づいてブロックマッチングを行い、第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果を得るステップは、予め設定されたウィンドウにより、第ｉ層の現在画像からマッチング対象サンプリング点を中心とした第一画像ブロックを選択し、第ｉ層の基準画像からマッチング対象サンプリング点に対応する第ｉ層の投影点内の各投影点をそれぞれ中心とした複数の第二画像ブロックを選択するステップであって、マッチング対象サンプリング点は第ｉ層のサンプリング点のうちのいずれか一つであるステップと、第一画像ブロックを複数の第二画像ブロック内の各画像ブロックとそれぞれ比較し、複数のマッチング結果を得て、複数のマッチング結果をマッチング対象サンプリング点に対応する第ｉ層のマッチング結果として特定するステップと、第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果が得られるまで、第ｉ層のサンプリング点のうちマッチング対象サンプリング点と異なるサンプリング点に対応する第ｉ層のマッチング結果を継続して特定するステップと、を含む。例えば、一つの
【0138】
【化25】
【0139】
のウィンドウを用いて、第ｉ層の現在画像および第ｉ層の基準画像から、第ｉ層のサンプリング点内の各サンプリング点およびそれに対応する投影点をそれぞれ中心とし、サンプリング点および投影点の領域点を取得し、二つの画像ブロックを得て、続いて取得された画像ブロックにおける対応する位置の画素点の画素値を比較し、二つの画像ブロックのマッチングのペナルティ値（例えば、画素差の絶対値の和）を得る。同一の逆深度値に対して、第ｉ層の基準画像毎に、一つのペナルティ値を得ることができる。複数の第ｉ層の基準画像が存在する場合、得られた複数のペナルティ値を融合（例えば複数のペナルティ値を平均）すれば、各サンプリング点がそれぞれ一つの逆深度値に対応する第ｉ層のマッチング結果を得ることができる。各サンプリング点の複数の逆深度値に対して、いずれも、各逆深度値に対応する一つのペナルティ値、即ち各サンプリング点に対応する第ｉ層のマッチング結果を得ることができる。
【0140】
具体的には、本開示の実施例では、図６に示すように、現在フレームｔおよびｍ個（ｍは１以上の自然数）の基準フレームに対して、画像深度推定装置は第ｉ層のサンプリング点のうちのいずれか一つである
【0141】
【化26】
【0142】
を、下式（３）に示すように、対応する第ｉ層の投影点のうち逆深度値を
【0143】
【化27】
【0144】
として投影して得られた投影点
【0145】
【化28】
【0146】
とのブロックマッチングを行い、それにより第ｉ層のマッチング結果のうち逆深度値が
【0147】
【化29】
【0148】
であるマッチング結果を得る。
【0149】
【化30】
【0150】
ここで、
【0151】
【化31】
【0152】
を、それに対応する候補逆深度値のうちの逆深度値
【0153】
【化32】
【0154】
に応じて、ｍ個の基準フレームの各々がそれぞれ対応する第ｉ層の基準画像にそれぞれ投影した投影点であり、合計ｍ個である。
【0155】
【化33】
【0156】
の近傍画素値の比較関数であり、該比較関数は
【0157】
【化34】
【0158】
の近傍グレースケール値のゼロ平均正規化相互相関（Ｚｅｒｏ－ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、ＺＮＣＣ）としてもよく、差分絶対値和（Ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅｓ、ＳＡＤ）または差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ、ＳＳＤ）の二つの方法を使用してもよい。
【0159】
【化35】
【0160】
に対応する第ｉ層のマッチング結果のうち、逆深度値が
【0161】
【化36】
【0162】
であるマッチング結果である。
【0163】
説明すべきこととして、本開示の実施例では、第ｉ層のサンプリング点のうち、各サンプリング点に対応する第ｉ層のマッチング結果は、いずれもそれ自体に対応する逆深度候補値のうちのそれぞれの逆深度値のマッチング結果を含み、例えば、第ｉ層のサンプリング点のうちのいずれか一つである
【0164】
【化37】
【0165】
に対して、対応する逆深度候補値はｄ１、ｄ２、……、ｄｑを含み、得られた第ｉ層のマッチング結果は各逆深度値のマッチング結果を含み、本開示の実施例は具体的な第ｉ層のマッチング結果を限定しない点である。
【0166】
例示的に、本開示の実施例では、現在フレームに対応する基準フレームは２つのフレームを含み、各フレームには２層である一群の基準画像がそれぞれ対応付けられており、つまり二つの第１層の基準画像を有し、画像深度推定装置は現在フレームにおける第１層の現在画像の一つのサンプリング点
【0167】
【化38】
【0168】
を、それに対応する逆深度候補値
【0169】
【化39】
【0170】
に応じて二つの第１層の基準画像にそれぞれ投影し、それぞれ二つの第１層の基準画像から三つの投影点、合計６つの投影点を得て、それに対応する第１層の投影点とする。そのうち、
【0171】
【化40】
【0172】
に応じて一つの第１層の基準画像に投影した投影点は
【0173】
【化41】
【0174】
であり、
【0175】
【化42】
【0176】
に応じて別の第１層の基準画像に投影した投影点は
【0177】
【化43】
【0178】
であり、したがって、
【0179】
【化44】
【0180】
を式（３）に代入し、つまりｍを２とするように、
【0181】
【化45】
【0182】
に対応する逆深度値が
【0183】
【化46】
【0184】
であるマッチング結果を得ることができ、同様に、逆深度候補値
【0185】
【化47】
【0186】
であるマッチング結果を得て、
【0187】
【化48】
【0188】
に対応する第ｉ層のマッチング結果として組み合わせることもできる。
【0189】
具体的には、本開示の実施例では、画像深度推定装置が第ｉ層のマッチング結果に基づき、第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、第ｉ層の逆深度値を得るステップは、目標サンプリング点に対応する第ｉ層のマッチング結果から、目標マッチング結果を選択するステップであって、目標サンプリング点は第ｉ層のサンプリング点のうちのいずれか一つであるステップと、目標サンプリング点に対応する第ｉ層の投影点内の、目標マッチング結果に対応する投影点を目標投影点として特定するステップと、逆深度候補値の内、目標投影点に対応する逆深度値を目標サンプリング点の逆深度値として特定するステップと、第ｉ層のサンプリング点内の各サンプリング点の逆深度値が特定されるまで、第ｉ層のサンプリング点内の、目標サンプリング点と異なるサンプリング点の逆深度値を継続して特定し、第ｉ層の逆深度値を得るステップと、を含む。
【0190】
説明すべきこととして、本開示の実施例では、画像深度推定装置は第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果を得た後、下式（４）に従って第ｉ層のサンプリング点のうちのいずれか一つである
【0191】
【化49】
【0192】
の逆深度値を特定することができる点である。
【0193】
【化50】
【0194】
ここで、
【0195】
【化51】
【0196】
に対応する第ｉ層のマッチング結果のうち逆深度値が
【0197】
【化52】
【0198】
であるマッチング結果
【0199】
【化53】
【0200】
は、他の逆深度値とのマッチング結果値と比べて最小となるため、対応する逆深度値
【0201】
【化54】
【0202】
の逆深度値として特定される。
【0203】
理解すべきこととして、本開示の実施例では、サンプリング点を対象とした上記マッチングプロセスは、実際に、一つのサンプリング点に対して、異なる逆深度値で投影した投影点との相違度をそれぞれ特定することであり、式（４）を用いて逆深度値を特定することは、実際に、マッチング結果値が最小である結果を選び出すことであり、それは対応する投影点とサンプリング点との相違度が最小であることを示しているため、該投影点で採用される逆深度値をサンプリング点の逆深度値として特定し、それによりサンプリング点の正確な逆深度値を得ることができる。
【0204】
説明すべきこととして、本開示の実施例では、画像深度推定方法は他の方式で第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定してもよい点である。例えば、各サンプリング点に対応するマッチング結果から特定の範囲にある部分の結果を選択し、その後、該部分の結果から一つのマッチング結果をランダムに選択し、ランダムに選択されたマッチング結果に対応する投影点で採用される逆深度値をサンプリング点の逆深度値として特定する。
【0205】
Ｓ３０３で、ｉ＝ｋになるまで、ｉ＝ｉ＋１にして、ｋ層の現在画像内の、解像度が第ｉ層の現在画像より高い第ｉ＋１層の現在画像に対して逆深度推定を継続して行い、第ｋ層の逆深度値を得る。
【0206】
本開示の実施例では、画像深度推定装置は、第ｉ層の逆深度値を得た後、ｉ＝ｉ＋１にし、そして第ｉ層の現在画像の第ｉ＋１層の現在画像に対して逆深度推定を継続して行い、このプロセスは第ｉ層の逆深度値の取得と同じであるため、ここでは説明を省略する。継続的な反復推定プロセスにおいて、ｉ＝ｋになるまで、画像深度推定装置は、第ｋ層の逆深度値、つまりｋ層の現在画像内の、解像度が最も高い画像、即ち、実際に現在フレームの元画像における各サンプリング点の逆深度値を得ってから、ｉ＝ｉ＋１にする操作を停止する。
【0207】
Ｓ３０４で、第ｋ層の逆深度値を逆深度推定結果として特定する。
【0208】
本開示の実施例では、画像深度推定装置は第ｋ層の逆深度値を得た後、第ｋ層の逆深度値を逆深度推定結果として特定することができる。
【0209】
任意選択的に、上記プロセスにおいて推定された深度は離散値であり、より正確な逆深度を得るためには、二次補間を行い、各サンプリング点の逆深度を調整するようにしてもよい。具体的には、図７に示すように、ステップＳ３０３の後にさらにＳ３０５～Ｓ３０６を含んでもよい。
【0210】
Ｓ３０５で、第ｋ層の逆深度値に対して補間最適化を行い、逆深度推定結果を得る。
【0211】
本開示の実施例では、画像深度推定装置は、第ｋ層のサンプリング点の各々に対応する逆深度値を含む第ｋ層の逆深度値を得た後、より正確な第ｋ層の逆深度値を得るために、第ｋ層の逆深度値に対して補間最適化を行い、つまり第ｋ層のサンプリング点内の各サンプリング点の逆深度値をそれぞれ調整して最適化し、それにより最適化後の第ｋ層の逆深度値を得るようにしてもよい。
【0212】
具体的には、本開示の実施例では、画像深度推定装置が第ｋ層の逆深度値に対して補間最適化を行い、最適化後の第ｋ層の逆深度値を得るステップは、第ｋ層の逆深度値内の各逆深度値に対して、それぞれ第ｋ層のサンプリング点内の対応するサンプリング点の候補逆深度値から、逆深度値の隣接逆深度値を選択するステップであって、第ｋ層のサンプリング点はｋ層の現在画像のうちの第ｋ層の現在画像をサンプリングして得られた画素点であるステップと、隣接逆深度値に対応するマッチング結果を取得するステップと、隣接逆深度値および隣接逆深度値に対応するマッチング結果に基づき、第ｋ層の逆深度値内の各逆深度値に対して補間最適化を行い、最適化後の第ｋ層の逆深度値を得るステップと、を含む。
【0213】
具体的には、本開示の実施例では、第ｋ層の逆深度値は第ｋ層のサンプリング点の各々に対応する逆深度値を含み、画像深度推定装置は第ｋ層のサンプリング点の各々に対応する逆深度値に対して補間最適化を行い、それにより補間最適化結果を、現在フレームの逆深度推定結果として得る必要がある。ここで、第ｋ層のサンプリング点のうちのいずれか一つである
【0214】
【化55】
【0215】
は、それに対応する逆深度値が
【0216】
【化56】
【0217】
である場合、式（５）に従って補間最適化を行うことができる。
【0218】
【化57】
【0219】
式中、
【0220】
【化58】
【0221】
はサンプリング点
【0222】
【化59】
【0223】
に対応する逆深度候補値のうち、
【0224】
【化60】
【0225】
と隣接する前の逆深度値である。
【0226】
【化61】
【0227】
【化62】
【0228】
であり、いずれも
【0229】
【化63】
【0230】
の逆深度値を計算する時に、式（３）によって算出可能であり、
【0231】
【化64】
【0232】
に対応する候補逆深度値のうち
【0233】
【化65】
【0234】
と隣接する二つの逆深度値であり、ここでは説明を省略する。
【0235】
理解すべきこととして、本開示の実施例では、画像深度推定装置は式（５）に従って第ｋ層の逆深度値に対して補間最適化を行っており、ｋ層の現在画像のうち、第ｋ層の現在画像は実際に現在フレームであるため、実際に、現在フレームにおける各サンプリング点の逆深度値が得られた後、それがさらに最適化され、それにより現在フレームにおける各サンプリング点のより正確な逆深度値が得られ、つまり現在フレームの逆深度推定結果が得られる。本開示の実施例では、画像深度推定装置は三つ以上の隣接逆深度値およびそれに対応するマッチング結果を取得し、式（５）に類似する多項式により補間最適化を行うようにしてもよい。また、画像深度推定装置は第ｋ層のサンプリング点の各々の逆深度値に対して、それに対応する逆深度候補値のうち特定された逆深度値と隣接する二つの深度値を取得し、この三つの逆深度値の平均値をサンプリング点の最終的な逆深度値とし、逆深度値の最適化を実現するようにしてもよい。
【0236】
Ｓ３０６で、最適化後の第ｋ層の逆深度値を逆深度推定結果として特定する。
【0237】
本開示の実施例では、画像深度推定装置は最適化後の第ｋ層の逆深度値を得た後、最適化後の第ｋ層の逆深度値を逆深度推定結果として特定することができる。
【0238】
任意選択的に、本開示の実施例では、画像深度推定装置は逆深度推定結果を特定した後、即ちステップＳ１０３の後に、以下のステップを実行してもよい。
【0239】
Ｓ１０４で、逆深度推定結果に基づき、現在フレームの深度推定結果を特定する。
【0240】
本開示の実施例では、画像深度推定装置は現在フレームの逆深度推定結果を得た後、逆深度推定結果に基づき、現在フレームの深度推定結果を特定することができ、該深度推定結果は現在フレームに基づく三次元シーン構築に用いることができる。
【0241】
説明すべきこととして、本開示の実施例では、一つのサンプリング点について、その逆深度値と深度値は互いに逆数であるため、画像深度推定装置は現在フレームの逆深度推定結果、即ち現在フレームにおける各サンプリング点の補間最適化後の逆深度値を得た後、その逆数をそれぞれ取れば対応する深度値を得て、さらに現在フレームの深度推定結果を得ることができる点である。例えば、現在フレームにおける或るサンプリング点の補間最適化後の逆深度値が
【0242】
【化66】
【0243】
である場合、その深度値は
【0244】
【化67】
【0245】
となる。
【0246】
説明すべきこととして、本開示の実施例では、三角化や逆求解などの計算を行わなければカメラ座標系でのｚ軸座標値を得ることができない従来技術と比べ、上記画像深度推定方法により特定された最終の深度推定結果が現在フレームのサンプリング点の、カメラ座標系でのｚ軸座標値であり、座標変換を別途行う必要がない点である。
【0247】
説明すべきこととして、本開示の実施例では、上記画像深度推定方法は現在フレームに基づく三次元シーンの構築プロセスの実現に用いることができる。例えば、ユーザがモバイル機器のカメラを用いて或るシーンを撮影する時、上記画像深度推定方法により現在フレームの深度推定結果を得て、さらにビデオシーンの３Ｄ構造を再構築することができる。ユーザがモバイル機器におけるビデオの現在フレーム内の或る位置をクリックする時、上記画像深度推定方法により特定された現在フレームの深度推定結果に基づき、クリック位置での視線の交点を求めてアンカーを見出して仮想物体を配置し、さらに仮想物体と現実シーンが幾何学的整合性をもって融合された拡張現実効果を実現することができる。単眼ビデオにおいて上記画像深度推定方法により三次元シーン構造を復元し、現実シーンと仮想物体との遮蔽関係を計算することで、仮想物体と現実シーンが遮蔽関係の整合性をもって融合された拡張現実効果を実現することができる。単眼ビデオにおいて上記画像深度推定方法によりシーンの三次元構造を復元し、現実感を有する陰影効果を得て、それにより仮想物体と現実シーンが光学的整合性をもって融合された拡張現実効果を実現することができる。単眼ビデオにおいて上記画像深度推定方法によりシーンの三次元構造、および仮想のカートゥーンキャラクターとの物理的衝突を復元し、それにより仮想のカートゥーンキャラクターと現実シーンが物理的整合性をもって融合された現実感を有する動画効果を実現することができる。
【0248】
また、本開示の実施例では、上記ステップＳ１０４を実行しなくてもよく、該逆深度推定結果は三次元シーン作成でない他の画像処理に用いられてもよい。例えば、目標認識または三次元点距離計算などのデータ処理を行うために、画像サンプリング点の深度情報変化値が他の機器に直接出力される。
【0249】
本開示の実施例は画像深度推定方法を提供し、現在フレームに対応する基準フレームおよび現在フレームの逆深度空間範囲を取得し、現在フレームおよび基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、現在フレームに対応するｋ（ｋは２以上の自然数）層の現在画像、および基準フレームに対応するｋ層の基準画像を得て、そしてｋ層の基準画像および逆深度空間範囲に基づき、ｋ層の現在画像に対して逆深度推定の反復処理を行い、現在フレームの逆深度推定結果を得る。つまり、本開示が提供する技術的解決手段は、複数層の現在画像を複数層の基準画像と組み合わせて逆深度推定の反復処理を行うことで、層ずつに逆深度探索空間を減少させ、現在フレームの深度推定結果を特定し、かつ最終の深度推定結果が現在フレームの画素点の、カメラ座標系でのｚ軸座標値であり、座標変換を別途行う必要がなく、画像の深度推定結果をリアルタイムに得ることができ、かつ深度推定結果の正確度が高い。
【0250】
本開示の実施例は画像深度推定装置をさらに提供し、図８は本開示の実施例が提供する画像深度推定装置の構成模式図である。図８に示すように、それは、
現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するように構成された取得部８０１と、
前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するｋ層の現在画像、および前記基準フレームに対応するｋ層の基準画像を得るステップであって、ｋは２以上の自然数であるステップを実行するように構成されたダウンサンプリング部８０２と、
前記ｋ層の基準画像および前記逆深度空間範囲に基づき、前記ｋ層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るように構成された推定部８０３と、を含み、
任意選択的に、本開示の実施例の画像深度推定装置は、前記逆深度推定結果に基づき、前記現在フレームの深度推定結果を特定するように構成された特定部８０４をさらに含んでもよく、前記深度推定結果は前記現在フレームに基づく三次元シーン構築の実現に用いることができる。
現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するように構成された取得部８０１と、
前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するｋ層の現在画像、および前記基準フレームに対応するｋ層の基準画像を得るステップであって、ｋは２以上の自然数であるステップを実行するように構成されたダウンサンプリング部８０２と、
前記ｋ層の基準画像および前記逆深度空間範囲に基づき、前記ｋ層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るように構成された推定部８０３と、を含み、
任意選択的に、本開示の実施例の画像深度推定装置は、前記逆深度推定結果に基づき、前記現在フレームの深度推定結果を特定するように構成された特定部８０４をさらに含んでもよく、前記深度推定結果は前記現在フレームに基づく三次元シーン構築の実現に用いることができる。
【0251】
任意選択的に、前記取得部８０１は、具体的に、少なくとも二つの選別対象フレームを取得するステップと、前記少なくとも二つの選別対象フレームから、前記現在フレームと所定角度拘束条件を満たす少なくとも一つのフレームを、前記基準フレームとして選択するステップと、を実行するように構成される。
【0252】
任意選択的に、前記所定角度拘束条件は、
前記現在フレームに対応する姿勢中心および前記基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が、第一の所定角度範囲にあることであって、前記目標点は前記現在フレームに対応する平均深度点と前記基準フレームに対応する平均深度点との接続線の中点であることと、
前記現在フレームおよび前記基準フレームに対応する光軸夾角が、第二の所定角度範囲にあることと、
前記現在フレームおよび前記基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む。
前記現在フレームに対応する姿勢中心および前記基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が、第一の所定角度範囲にあることであって、前記目標点は前記現在フレームに対応する平均深度点と前記基準フレームに対応する平均深度点との接続線の中点であることと、
前記現在フレームおよび前記基準フレームに対応する光軸夾角が、第二の所定角度範囲にあることと、
前記現在フレームおよび前記基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む。
【0253】
任意選択的に、前記推定部８０３は、具体的に、前記ｋ層の現在画像および前記逆深度空間範囲に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップであって、前記第ｉ層のサンプリング点は前記ｋ層の現在画像のうちの第ｉ層の現在画像をサンプリングして得られた画素点であり、ｉは１以上、且つｋ以下の自然数であるステップと、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記ｋ層の基準画像のうちの第ｉ層の基準画像に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、第ｉ層の逆深度値を得るステップと、ｉ＝ｋになるまで、ｉ＝ｉ＋１にして、前記ｋ層の現在画像内の、解像度が前記第ｉ層の現在画像より高い第ｉ＋１層の現在画像に対して逆深度推定を継続して行い、第ｋ層の逆深度値を得るステップと、前記第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、を実行するように構成される。
【0254】
任意選択的に、前記推定部８０３は、具体的に、前記逆深度空間範囲に対して区間分割を行い、各分割区間から一つの逆深度値を選択し、複数の初期逆深度値を得るステップと、前記複数の初期逆深度値を第１層のサンプリング点内の各サンプリング点に対応する逆深度候補値として特定するステップと、ｉが１に等しくない場合、前記ｋ層の現在画像から、第ｉ－１層のサンプリング点、および第ｉ－１層の逆深度値を取得するステップと、前記第ｉ－１層の逆深度推定値、第ｉ－１層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップと、を実行するように構成される。
【0255】
任意選択的に、前記推定部８０３は、具体的に、前記第ｉ－１層のサンプリング点から、第一サンプリング点との距離が最も近い第二サンプリング点、および前記第二サンプリング点と隣接する少なくとも二つの第三サンプリング点を特定するステップであって、前記第一サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、前記第ｉ－１層の逆深度値に基づき、前記少なくとも二つの第三サンプリング点の各々の逆深度値、および前記第二サンプリング点の逆深度値を取得し、少なくとも三つの逆深度値を得るステップと、前記少なくとも三つの逆深度値から、最大逆深度値および最小逆深度値を特定するステップと、前記複数の初期逆深度値から、前記最大逆深度値と前記最小逆深度値の範囲内にある逆深度値を選択し、選択された逆深度値を前記第一サンプリング点に対応する逆深度候補値として特定するステップと、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値が特定されるまで、前記第ｉ層のサンプリング点内の前記第一サンプリング点ではないサンプリング点に対応する逆深度候補値を継続して特定するステップと、を実行するように構成される。
【0256】
任意選択的に、前記推定部８０３は、具体的に、前記第ｉ層のサンプリング点内の各サンプリング点に対して、それぞれ対応する逆深度候補値内の各逆深度値に従って、前記第ｉ層のサンプリング点内の各サンプリング点を前記第ｉ層の基準画像に投影し、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層の投影点を得るステップと、前記第ｉ層のサンプリング点および前記第ｉ層の投影点に基づいてブロックマッチングを行い、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果を得るステップと、前記第ｉ層のマッチング結果に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第ｉ層の逆深度値を得るステップと、を実行するように構成される。
【0257】
任意選択的に、前記推定部８０３は、具体的に、予め設定されたウィンドウにより、前記第ｉ層の現在画像から、マッチング対象サンプリング点を中心とした第一画像ブロックを選択し、前記第ｉ層の基準画像から、前記マッチング対象サンプリング点に対応する第ｉ層の投影点内の各投影点をそれぞれ中心とした複数の第二画像ブロックを選択するステップであって、前記マッチング対象サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、前記第一画像ブロックを前記複数の第二画像ブロック内の各画像ブロックとそれぞれ比較し、複数のマッチング結果を得て、前記複数のマッチング結果を前記マッチング対象サンプリング点に対応する第ｉ層のマッチング結果として特定するステップと、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果が得られるまで、前記第ｉ層のサンプリング点内の前記マッチング対象サンプリング点と異なるサンプリング点に対応する第ｉ層のマッチング結果を継続して特定するステップと、を実行するように構成される。
【0258】
任意選択的に、前記推定部８０３は、具体的に、前記第ｉ層のサンプリング点のうちのいずれか一つである目標サンプリング点に対応する第ｉ層のマッチング結果から、目標マッチング結果を選択するステップと、前記目標サンプリング点に対応する第ｉ層の投影点内の、前記目標マッチング結果に対応する投影点を目標投影点として特定するステップと、前記逆深度候補値の内、前記目標投影点に対応する逆深度値を前記目標サンプリング点の逆深度値として特定するステップと、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値が特定されるまで、前記第ｉ層のサンプリング点内の、前記目標サンプリング点と異なるサンプリング点の逆深度値を継続して特定し、前記第ｉ層の逆深度値を得るステップと、を実行するように構成される。
【0259】
任意選択的に、前記推定部８０３はさらに、前記第ｋ層の逆深度値に対して補間最適化を行い、最適化後の第ｋ層の逆深度値を得るステップと、前記最適化後の第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、を実行するように構成される。
【0260】
任意選択的に、前記推定部８０３は、具体的に、前記第ｋ層の逆深度値内の各逆深度値に対して、それぞれ第ｋ層のサンプリング点内の対応するサンプリング点の候補逆深度値から、隣接逆深度値を選択するステップであって、前記第ｋ層のサンプリング点は前記ｋ層の現在画像のうちの第ｋ層の現在画像をサンプリングして得られた画素点であるステップと、前記隣接逆深度値に対応するマッチング結果を取得するステップと、前記隣接逆深度値および前記隣接逆深度値に対応するマッチング結果に基づき、前記第ｋ層の逆深度値内の各逆深度値に対して補間最適化を行い、前記最適化後の第ｋ層の逆深度値を得るステップと、を実行するように構成される。
【0261】
本開示の実施例は画像深度推定装置を提供し、現在フレームに対応する基準フレームおよび現在フレームの逆深度空間範囲を取得し、現在フレームおよび基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、現在フレームに対応するｋ（ｋは２以上の自然数）層の現在画像、および基準フレームに対応するｋ層の基準画像を得て、そしてｋ層の基準画像および逆深度空間範囲に基づき、ｋ層の現在画像に対して逆深度推定の反復処理を行い、現在フレームの逆深度推定結果を得る。つまり、本開示が提供する画像深度推定装置は、複数層の現在画像を複数層の基準画像と組み合わせて逆深度推定の反復処理を行うことで、層ずつに逆深度探索空間を減少させ、現在フレームの深度推定結果を特定し、かつ最終の深度推定結果が現在フレームの画素点の、カメラ座標系でのｚ軸座標値であり、座標変換を別途行う必要がなく、画像の深度推定結果をリアルタイムに得ることができ、かつ深度推定結果の正確度が高い。
【0262】
本開示の実施例は電子機器をさらに提供し、図９は本開示の実施例が提供する電子機器の構成模式図である。図９に示すように、前記電子機器は、プロセッサ９０１、メモリ９０２および通信バス９０３を含み、そのうち、
前記通信バス９０３は、前記プロセッサ９０１と前記メモリ９０２の間の接続通信を実現するように構成され、
前記プロセッサ９０１は、前記メモリ９０２に記憶された画像深度推定プログラムを実行して、上記画像深度推定方法を実現するように構成される。
前記通信バス９０３は、前記プロセッサ９０１と前記メモリ９０２の間の接続通信を実現するように構成され、
前記プロセッサ９０１は、前記メモリ９０２に記憶された画像深度推定プログラムを実行して、上記画像深度推定方法を実現するように構成される。
【0263】
説明すべきこととして、本開示の実施例では、前記電子機器は携帯電話またはタブレット型コンピュータであるが、当然ながら、他のタイプの機器であってもよく、本開示の実施例はこれを限定しない点である。
【0264】
本開示の実施例は、一つ以上のプロセッサにより実行して上記画像深度推定方法を実現可能な一つ以上のプログラムが記憶されている、コンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体は、例えばランダムアクセスメモリ（Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）のような揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）であってもよく、または、例えば読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ、ＨＤＤ）もしくはソリッドステートディスク（Ｓｏｌｉｄ－Ｓｔａｔｅ Ｄｒｉｖｅ、ＳＳＤ）のような非揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）であってもよく、または、携帯電話、コンピュータ、タブレットデバイス、携帯情報端末など、上記メモリの一つまたは任意の組み合わせを含む様々な機器であってもよい。
【0265】
本開示の実施例は、プロセッサにより実行される時に上記画像深度推定方法の対応するステップを実現するコンピュータ可読コードを含む、コンピュータプログラムをさらに提供する。
【0266】
当業者であれば、本開示の実施例が方法、システムまたはコンピュータプログラム製品として提供されてもよいことを理解すべきである。したがって、本開示は、ハードウェア実施例、ソフトウェア実施例またはソフトウェアとハードウェアを組み合わせた実施例の形態を採用してもよい。また、本開示は、コンピュータ利用可能プログラムコードを含む一つ以上のコンピュータ利用可能記憶媒体（ディスクメモリや光学的メモリ等を含むが、それらに限定されない）で実施されるコンピュータプログラム製品の形態を採用してもよい。
【0267】
本開示は本開示の実施例に係る方法、機器（システム）、およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して説明している。なお、フローチャートおよび／またはブロック図におけるそれぞれのフローおよび／またはブロック、ならびにフローチャートおよび／またはブロック図におけるフローおよび／またはブロックの組み合わせはコンピュータプログラム命令によって実現できることを理解すべきである。これらのコンピュータプログラム命令は、機械を製造するために、共通コンピュータ、専用コンピュータ、組み込みプロセッサまたは他のプログラマブル信号処理装置のプロセッサへ提供されてもよく、それにより、コンピュータまたは他のプログラマブル信号処理装置のプロセッサによって実行される命令は、フローチャートの一つ以上のフローおよび／またはブロック図の一つ以上のブロックにおいて指定された機能を実現する手段を創出する。
【0268】
これらのコンピュータプログラム命令は、コンピュータまたは他のプログラマブル信号処理装置を特定の方式で動作させることができるコンピュータ可読メモリに記憶されてもよく、そのようにして、このコンピュータ可読メモリに記憶される命令は、フローチャートの一つ以上のフローおよび／またはブロック図の一つ以上のブロックに指定された機能を実現する命令装置を含む製造品を生成する。
【0269】
これらのコンピュータプログラム命令はコンピュータまたは他のプログラマブル信号処理装置にロードすることにより、コンピュータ実行処理を生成するように、コンピュータまたは他のプログラマブル信号処理装置において一連の動作ステップを実行させるようにしてもよく、それにより、コンピュータまたは他のプログラマブルデータ信号装置において実行される命令はフローチャートの一つ以上のフローおよび／またはブロック図の一つ以上のブロックにおいて指定された機能を実現するためのステップを提供する。
【0270】
以上は本開示の実施例の一部にすぎず、本開示の保護範囲を限定するものではない。論理に違反しない限り、本開示のそれぞれの実施例は相互に組み合わせることができ、異なる実施例において重点として説明されるものが異なって、重点として説明されていない部分については他の実施例の記載を参照すればよい。
【産業上の利用可能性】
【0271】
本開示の実施例の技術的解決手段では、現在フレームに対応する基準フレームおよび現在フレームの逆深度空間範囲を取得し、現在フレームおよび基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、現在フレームに対応するｋ（ｋは２以上の自然数）層の現在画像、および基準フレームに対応するｋ層の基準画像を得て、そしてｋ層の基準画像および逆深度空間範囲に基づき、ｋ層の現在画像に対して逆深度推定の反復処理を行い、現在フレームの逆深度推定結果を得る。つまり、本開示が提供する技術的解決手段は、複数層の現在画像を複数層の基準画像と組み合わせて逆深度推定の反復処理を行い、それによって層ずつに逆深度探索空間を減少させ、現在フレームの逆深度推定結果を特定しており、該逆深度推定結果は現在フレームの画素点の、カメラ座標系でのｚ軸座標値の逆数であり、座標変換を別途行う必要がなく、かつ層ずつに逆深度探索空間を減少させることは逆深度推定の計算量の低減、および推定速度の向上に寄与し、その結果、画像の深度推定結果をリアルタイムに得ることができ、かつ深度推定結果の正確度が高い。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【手続補正書】
【提出日】2021-06-28
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するステップと、前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するｋ層の現在画像、および前記基準フレームに対応するｋ層の基準画像を得るステップであって、ｋは２以上の自然数であるステップと、
前記ｋ層の基準画像および前記逆深度空間範囲に基づき、前記ｋ層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るステップと、を含む、画像深度推定方法。
【請求項2】
現在フレームに対応する基準フレームを取得する前記ステップは、少なくとも二つの選別対象フレームを取得するステップと、
前記少なくとも二つの選別対象フレームから、前記現在フレームと所定角度拘束条件を満たす少なくとも一つのフレームを、前記基準フレームとして選択するステップと、を含む、請求項１に記載の画像深度推定方法。
【請求項3】
前記所定角度拘束条件は、前記現在フレームに対応する姿勢中心および前記基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が、第一の所定角度範囲にあることであって、前記目標点は前記現在フレームに対応する平均深度点と前記基準フレームに対応する平均深度点との接続線の中点であることと、
前記現在フレームおよび前記基準フレームに対応する光軸夾角が、第二の所定角度範囲にあることと、
前記現在フレームおよび前記基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む、請求項２に記載の画像深度推定方法。
【請求項4】
前記ｋ層の基準画像および前記逆深度空間範囲に基づき、前記ｋ層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得る前記ステップは、前記ｋ層の現在画像および前記逆深度空間範囲に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップであって、前記第ｉ層のサンプリング点は前記ｋ層の現在画像のうちの第ｉ層の現在画像をサンプリングして得られた画素点であり、ｉは１以上、且つｋ以下の自然数であるステップと、
前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記ｋ層の基準画像のうちの第ｉ層の基準画像に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、第ｉ層の逆深度値を得るステップと、
ｉ＝ｋになるまで、ｉ＝ｉ＋１にして、前記ｋ層の現在画像内の、解像度が前記第ｉ層の現在画像より高い第ｉ＋１層の現在画像に対して逆深度推定を継続して行い、第ｋ層の逆深度値を得るステップと、
前記第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、を含む、請求項１から３のいずれか一項に記載の画像深度推定方法。
【請求項5】
前記ｋ層の現在画像および前記逆深度空間範囲に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定する前記ステップは、前記逆深度空間範囲に対して区間分割を行い、各分割区間から一つの逆深度値を選択し、複数の初期逆深度値を得るステップと、
前記複数の初期逆深度値を第１層のサンプリング点内の各サンプリング点に対応する逆深度候補値として特定するステップと、
ｉが１に等しくない場合、前記ｋ層の現在画像から、第ｉ－１層のサンプリング点、および第ｉ－１層の逆深度値を取得するステップと、
前記第ｉ－１層の逆深度値、第ｉ－１層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップと、を含む、請求項４に記載の画像深度推定方法。
【請求項6】
前記第ｉ－１層の逆深度値、第ｉ－１層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定する前記ステップは、前記第ｉ－１層のサンプリング点から、第一サンプリング点との距離が最も近い第二サンプリング点、および前記第二サンプリング点と隣接する少なくとも二つの第三サンプリング点を特定するステップであって、前記第一サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、
前記第ｉ－１層の逆深度値に基づき、前記少なくとも二つの第三サンプリング点の各々の逆深度値、および前記第二サンプリング点の逆深度値を取得し、少なくとも三つの逆深度値を得るステップと、
前記少なくとも三つの逆深度値から、最大逆深度値および最小逆深度値を特定するステップと、
前記複数の初期逆深度値から、前記最大逆深度値と前記最小逆深度値の範囲内にある逆深度値を選択し、選択された逆深度値を前記第一サンプリング点に対応する逆深度候補値として特定するステップと、
前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値が特定されるまで、前記第ｉ層のサンプリング点内の前記第一サンプリング点ではないサンプリング点に対応する逆深度候補値を継続して特定するステップと、を含む、請求項５に記載の画像深度推定方法。
【請求項7】
前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記ｋ層の基準画像のうちの第ｉ層の基準画像に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、第ｉ層の逆深度値を得る前記ステップは、前記第ｉ層のサンプリング点内の各サンプリング点に対して、それぞれ対応する逆深度候補値内の各逆深度値に従って、前記第ｉ層のサンプリング点内の各サンプリング点を前記第ｉ層の基準画像に投影し、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層の投影点を得るステップと、
前記第ｉ層のサンプリング点および前記第ｉ層の投影点に基づいてブロックマッチングを行い、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果を得るステップと、
前記第ｉ層のマッチング結果に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第ｉ層の逆深度値を得るステップと、を含む、請求項４に記載の画像深度推定方法。
【請求項8】
前記第ｉ層のサンプリング点および前記第ｉ層の投影点に基づいてブロックマッチングを行い、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果を得る前記ステップは、予め設定されたウィンドウにより、前記第ｉ層の現在画像から、マッチング対象サンプリング点を中心とした第一画像ブロックを選択し、前記第ｉ層の基準画像から、前記マッチング対象サンプリング点に対応する第ｉ層の投影点内の各投影点をそれぞれ中心とした複数の第二画像ブロックを選択するステップであって、前記マッチング対象サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、
前記第一画像ブロックを前記複数の第二画像ブロック内の各画像ブロックとそれぞれ比較し、複数のマッチング結果を得て、前記複数のマッチング結果を前記マッチング対象サンプリング点に対応する第ｉ層のマッチング結果として特定するステップと、
前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果が得られるまで、前記第ｉ層のサンプリング点内の前記マッチング対象サンプリング点と異なるサンプリング点に対応する第ｉ層のマッチング結果を継続して特定するステップと、を含む、請求項７に記載の画像深度推定方法。
【請求項9】
前記第ｉ層のマッチング結果に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第ｉ層の逆深度値を得る前記ステップは、前記第ｉ層のサンプリング点のうちのいずれか一つである目標サンプリング点に対応する第ｉ層のマッチング結果から、目標マッチング結果を選択するステップと、
前記目標サンプリング点に対応する第ｉ層の投影点内の、前記目標マッチング結果に対応する投影点を目標投影点として特定するステップと、
前記逆深度候補値の内、前記目標投影点に対応する逆深度値を前記目標サンプリング点の逆深度値として特定するステップと、
前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値が特定されるまで、前記第ｉ層のサンプリング点内の、前記目標サンプリング点と異なるサンプリング点の逆深度値を継続して特定し、前記第ｉ層の逆深度値を得るステップと、を含む、請求項７に記載の画像深度推定方法。
【請求項10】
第ｋ層の逆深度値を得る前記ステップの後に、さらに、前記第ｋ層の逆深度値に対して補間最適化を行い、最適化後の第ｋ層の逆深度値を得るステップと、
前記最適化後の第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、を含む、請求項４から９のいずれか一項に記載の画像深度推定方法。
【請求項11】
前記第ｋ層の逆深度値に対して補間最適化を行い、最適化後の第ｋ層の逆深度値を得る前記ステップは、前記第ｋ層の逆深度値内の各逆深度値に対して、それぞれ第ｋ層のサンプリング点内の対応するサンプリング点の候補逆深度値から、前記逆深度値の隣接逆深度値を選択するステップであって、前記第ｋ層のサンプリング点は前記ｋ層の現在画像のうちの第ｋ層の現在画像をサンプリングして得られた画素点であるステップと、
前記隣接逆深度値に対応するマッチング結果を取得するステップと、
前記隣接逆深度値および前記隣接逆深度値に対応するマッチング結果に基づき、前記第ｋ層の逆深度値内の各逆深度値に対して補間最適化を行い、前記最適化後の第ｋ層の逆深度値を得るステップと、を含む、請求項１０に記載の画像深度推定方法。
【請求項12】
現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するように構成された取得部と、前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するｋ層の現在画像、および前記基準フレームに対応するｋ層の基準画像を得るように構成されたダウンサンプリング部であって、ｋは２以上の自然数であるダウンサンプリング部と、
前記ｋ層の基準画像および前記逆深度空間範囲に基づき、前記ｋ層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るように構成された推定部と、を含む、画像深度推定装置。
【請求項13】
プロセッサ、メモリおよび通信バスを含む電子機器であって、前記通信バスは、前記プロセッサと前記メモリとの間の接続通信を実現するように構成され、
前記プロセッサは、前記メモリに記憶される画像深度推定プログラムを実行して、請求項１から１１のいずれか一項に記載の画像深度推定方法を実現するように構成される、電子機器。
【請求項14】
一つ以上のプロセッサにより実行されて請求項１から１１のいずれか一項に記載の画像深度推定方法を実現可能な一つ以上のプログラムが記憶されている、コンピュータ可読記憶媒体。
【請求項15】
プロセッサにより実行される時に請求項１から１１のいずれか一項に記載の画像深度推定方法の対応するステップを実現する、コンピュータプログラム。【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【0044】
以上のことから、本開示の実施例の技術的解決手段では、現在フレームに対応する基準フレームおよび現在フレームの逆深度空間範囲を取得し、現在フレームおよび基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、現在フレームに対応するｋ（ｋは２以上の自然数）層の現在画像、および基準フレームに対応するｋ層の基準画像を得て、そしてｋ層の基準画像および逆深度空間範囲に基づき、ｋ層の現在画像に対して逆深度推定の反復処理を行い、現在フレームの逆深度推定結果を得る。つまり、本開示が提供する技術的解決手段は、複数層の現在画像を、複数層の基準画像と組み合わせて逆深度推定の反復処理を行い、それによって層ずつに逆深度探索空間を減少させ、現在フレームの逆深度推定結果を特定しており、該逆深度推定結果は現在フレームの画素点の、カメラ座標系でのｚ軸座標値の逆数であり、座標変換を別途行う必要がなく、かつ層ずつに逆深度探索空間を減少させることは逆深度推定の計算量の低減、および推定速度の向上に寄与し、その結果、画像の深度推定結果をリアルタイムに得ることができ、かつ深度推定結果の正確度が高い。
例えば、本願は以下の項目を提供する。
（項目１）
現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するステップと、
前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するｋ層の現在画像、および前記基準フレームに対応するｋ層の基準画像を得るステップであって、ｋは２以上の自然数であるステップと、
前記ｋ層の基準画像および前記逆深度空間範囲に基づき、前記ｋ層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るステップと、を含む、画像深度推定方法。
（項目２）
現在フレームに対応する基準フレームを取得する前記ステップは、
少なくとも二つの選別対象フレームを取得するステップと、
前記少なくとも二つの選別対象フレームから、前記現在フレームと所定角度拘束条件を満たす少なくとも一つのフレームを、前記基準フレームとして選択するステップと、を含む、項目１に記載の画像深度推定方法。
（項目３）
前記所定角度拘束条件は、
前記現在フレームに対応する姿勢中心および前記基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が、第一の所定角度範囲にあることであって、前記目標点は前記現在フレームに対応する平均深度点と前記基準フレームに対応する平均深度点との接続線の中点であることと、
前記現在フレームおよび前記基準フレームに対応する光軸夾角が、第二の所定角度範囲にあることと、
前記現在フレームおよび前記基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む、項目２に記載の画像深度推定方法。
（項目４）
前記ｋ層の基準画像および前記逆深度空間範囲に基づき、前記ｋ層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得る前記ステップは、
前記ｋ層の現在画像および前記逆深度空間範囲に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップであって、前記第ｉ層のサンプリング点は前記ｋ層の現在画像のうちの第ｉ層の現在画像をサンプリングして得られた画素点であり、ｉは１以上、且つｋ以下の自然数であるステップと、
前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記ｋ層の基準画像のうちの第ｉ層の基準画像に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、第ｉ層の逆深度値を得るステップと、
ｉ＝ｋになるまで、ｉ＝ｉ＋１にして、前記ｋ層の現在画像内の、解像度が前記第ｉ層の現在画像より高い第ｉ＋１層の現在画像に対して逆深度推定を継続して行い、第ｋ層の逆深度値を得るステップと、
前記第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、を含む、項目１から３のいずれか一項に記載の画像深度推定方法。
（項目５）
前記ｋ層の現在画像および前記逆深度空間範囲に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定する前記ステップは、
前記逆深度空間範囲に対して区間分割を行い、各分割区間から一つの逆深度値を選択し、複数の初期逆深度値を得るステップと、
前記複数の初期逆深度値を第１層のサンプリング点内の各サンプリング点に対応する逆深度候補値として特定するステップと、
ｉが１に等しくない場合、前記ｋ層の現在画像から、第ｉ－１層のサンプリング点、および第ｉ－１層の逆深度値を取得するステップと、
前記第ｉ－１層の逆深度値、第ｉ－１層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップと、を含む、項目４に記載の画像深度推定方法。
（項目６）
前記第ｉ－１層の逆深度値、第ｉ－１層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定する前記ステップは、
前記第ｉ－１層のサンプリング点から、第一サンプリング点との距離が最も近い第二サンプリング点、および前記第二サンプリング点と隣接する少なくとも二つの第三サンプリング点を特定するステップであって、前記第一サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、
前記第ｉ－１層の逆深度値に基づき、前記少なくとも二つの第三サンプリング点の各々の逆深度値、および前記第二サンプリング点の逆深度値を取得し、少なくとも三つの逆深度値を得るステップと、
前記少なくとも三つの逆深度値から、最大逆深度値および最小逆深度値を特定するステップと、
前記複数の初期逆深度値から、前記最大逆深度値と前記最小逆深度値の範囲内にある逆深度値を選択し、選択された逆深度値を前記第一サンプリング点に対応する逆深度候補値として特定するステップと、
前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値が特定されるまで、前記第ｉ層のサンプリング点内の前記第一サンプリング点ではないサンプリング点に対応する逆深度候補値を継続して特定するステップと、を含む、項目５に記載の画像深度推定方法。
（項目７）
前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記ｋ層の基準画像のうちの第ｉ層の基準画像に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、第ｉ層の逆深度値を得る前記ステップは、
前記第ｉ層のサンプリング点内の各サンプリング点に対して、それぞれ対応する逆深度候補値内の各逆深度値に従って、前記第ｉ層のサンプリング点内の各サンプリング点を前記第ｉ層の基準画像に投影し、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層の投影点を得るステップと、
前記第ｉ層のサンプリング点および前記第ｉ層の投影点に基づいてブロックマッチングを行い、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果を得るステップと、
前記第ｉ層のマッチング結果に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第ｉ層の逆深度値を得るステップと、を含む、項目４に記載の画像深度推定方法。
（項目８）
前記第ｉ層のサンプリング点および前記第ｉ層の投影点に基づいてブロックマッチングを行い、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果を得る前記ステップは、
予め設定されたウィンドウにより、前記第ｉ層の現在画像から、マッチング対象サンプリング点を中心とした第一画像ブロックを選択し、前記第ｉ層の基準画像から、前記マッチング対象サンプリング点に対応する第ｉ層の投影点内の各投影点をそれぞれ中心とした複数の第二画像ブロックを選択するステップであって、前記マッチング対象サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、
前記第一画像ブロックを前記複数の第二画像ブロック内の各画像ブロックとそれぞれ比較し、複数のマッチング結果を得て、前記複数のマッチング結果を前記マッチング対象サンプリング点に対応する第ｉ層のマッチング結果として特定するステップと、
前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果が得られるまで、前記第ｉ層のサンプリング点内の前記マッチング対象サンプリング点と異なるサンプリング点に対応する第ｉ層のマッチング結果を継続して特定するステップと、を含む、項目７に記載の画像深度推定方法。
（項目９）
前記第ｉ層のマッチング結果に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第ｉ層の逆深度値を得る前記ステップは、
前記第ｉ層のサンプリング点のうちのいずれか一つである目標サンプリング点に対応する第ｉ層のマッチング結果から、目標マッチング結果を選択するステップと、
前記目標サンプリング点に対応する第ｉ層の投影点内の、前記目標マッチング結果に対応する投影点を目標投影点として特定するステップと、
前記逆深度候補値の内、前記目標投影点に対応する逆深度値を前記目標サンプリング点の逆深度値として特定するステップと、
前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値が特定されるまで、前記第ｉ層のサンプリング点内の、前記目標サンプリング点と異なるサンプリング点の逆深度値を継続して特定し、前記第ｉ層の逆深度値を得るステップと、を含む、項目７に記載の画像深度推定方法。
（項目１０）
第ｋ層の逆深度値を得る前記ステップの後に、さらに、
前記第ｋ層の逆深度値に対して補間最適化を行い、最適化後の第ｋ層の逆深度値を得るステップと、
前記最適化後の第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、を含む、項目４から９のいずれか一項に記載の画像深度推定方法。
（項目１１）
前記第ｋ層の逆深度値に対して補間最適化を行い、最適化後の第ｋ層の逆深度値を得る前記ステップは、
前記第ｋ層の逆深度値内の各逆深度値に対して、それぞれ第ｋ層のサンプリング点内の対応するサンプリング点の候補逆深度値から、前記逆深度値の隣接逆深度値を選択するステップであって、前記第ｋ層のサンプリング点は前記ｋ層の現在画像のうちの第ｋ層の現在画像をサンプリングして得られた画素点であるステップと、
前記隣接逆深度値に対応するマッチング結果を取得するステップと、
前記隣接逆深度値および前記隣接逆深度値に対応するマッチング結果に基づき、前記第ｋ層の逆深度値内の各逆深度値に対して補間最適化を行い、前記最適化後の第ｋ層の逆深度値を得るステップと、を含む、項目１０に記載の画像深度推定方法。
（項目１２）
現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するように構成された取得部と、
前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するｋ層の現在画像、および前記基準フレームに対応するｋ層の基準画像を得るように構成されたダウンサンプリング部であって、ｋは２以上の自然数であるダウンサンプリング部と、
前記ｋ層の基準画像および前記逆深度空間範囲に基づき、前記ｋ層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るように構成された推定部と、を含む、画像深度推定装置。
（項目１３）
前記取得部は、具体的に、少なくとも二つの選別対象フレームを取得するステップと、前記少なくとも二つの選別対象フレームから、前記現在フレームと所定角度拘束条件を満たす少なくとも一つのフレームを、前記基準フレームとして選択するステップと、を実行するように構成される、項目１２に記載の画像深度推定装置。
（項目１４）
前記所定角度拘束条件は、
前記現在フレームに対応する姿勢中心および前記基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が、第一の所定角度範囲にあることであって、前記目標点は前記現在フレームに対応する平均深度点と前記基準フレームに対応する平均深度点との接続線の中点であることと、
前記現在フレームおよび前記基準フレームに対応する光軸夾角が、第二の所定角度範囲にあることと、
前記現在フレームおよび前記基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む、項目１３に記載の画像深度推定装置。
（項目１５）
前記推定部は、具体的に、前記ｋ層の現在画像および前記逆深度空間範囲に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップであって、前記第ｉ層のサンプリング点は前記ｋ層の現在画像のうちの第ｉ層の現在画像をサンプリングして得られた画素点であり、ｉは１以上、且つｋ以下の自然数であるステップと、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記ｋ層の基準画像のうちの第ｉ層の基準画像に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、第ｉ層の逆深度値を得るステップと、ｉ＝ｋになるまで、ｉ＝ｉ＋１にして、前記ｋ層の現在画像内の、解像度が前記第ｉ層の現在画像より高い第ｉ＋１層の現在画像に対して逆深度推定を継続して行い、第ｋ層の逆深度値を得るステップと、前記第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、を実行するように構成される、項目１２から１４のいずれか一項に記載の画像深度推定装置。
（項目１６）
前記推定部は、具体的に、前記逆深度空間範囲に対して区間分割を行い、各分割区間から一つの逆深度値を選択し、複数の初期逆深度値を得るステップと、前記複数の初期逆深度値を第１層のサンプリング点内の各サンプリング点に対応する逆深度候補値として特定するステップと、ｉが１に等しくない場合、前記ｋ層の現在画像から、第ｉ－１層のサンプリング点、および第ｉ－１層の逆深度値を取得するステップと、前記第ｉ－１層の逆深度値、第ｉ－１層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップと、を実行するように構成される、項目１５に記載の画像深度推定装置。
（項目１７）
前記推定部は、具体的に、前記第ｉ－１層のサンプリング点から、第一サンプリング点との距離が最も近い第二サンプリング点、および前記第二サンプリング点と隣接する少なくとも二つの第三サンプリング点を特定するステップであって、前記第一サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、前記第ｉ－１層の逆深度値に基づき、前記少なくとも二つの第三サンプリング点の各々の逆深度値、および前記第二サンプリング点の逆深度値を取得し、少なくとも三つの逆深度値を得るステップと、前記少なくとも三つの逆深度値から、最大逆深度値および最小逆深度値を特定するステップと、前記複数の初期逆深度値から、前記最大逆深度値と前記最小逆深度値の範囲内にある逆深度値を選択し、選択された逆深度値を前記第一サンプリング点に対応する逆深度候補値として特定するステップと、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値が特定されるまで、前記第ｉ層のサンプリング点内の前記第一サンプリング点ではないサンプリング点に対応する逆深度候補値を継続して特定するステップと、を実行するように構成される、項目１６に記載の画像深度推定装置。
（項目１８）
前記推定部は、具体的に、前記第ｉ層のサンプリング点内の各サンプリング点に対して、それぞれ対応する逆深度候補値内の各逆深度値に従って、前記第ｉ層のサンプリング点内の各サンプリング点を前記第ｉ層の基準画像に投影し、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層の投影点を得るステップと、前記第ｉ層のサンプリング点および前記第ｉ層の投影点に基づいてブロックマッチングを行い、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果を得るステップと、前記第ｉ層のマッチング結果に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第ｉ層の逆深度値を得るステップと、を実行するように構成される、項目１５に記載の画像深度推定装置。
（項目１９）
前記推定部は、具体的に、予め設定されたウィンドウにより、前記第ｉ層の現在画像から、マッチング対象サンプリング点を中心とした第一画像ブロックを選択し、前記第ｉ層の基準画像から、前記マッチング対象サンプリング点に対応する第ｉ層の投影点内の各投影点をそれぞれ中心とした複数の第二画像ブロックを選択するステップであって、前記マッチング対象サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、前記第一画像ブロックを前記複数の第二画像ブロック内の各画像ブロックとそれぞれ比較し、複数のマッチング結果を得て、前記複数のマッチング結果を前記マッチング対象サンプリング点に対応する第ｉ層のマッチング結果として特定するステップと、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果が得られるまで、前記第ｉ層のサンプリング点内の前記マッチング対象サンプリング点と異なるサンプリング点に対応する第ｉ層のマッチング結果を継続して特定するステップと、を実行するように構成される、項目１８前記の画像深度推定方法。
（項目２０）
前記推定部は、具体的に、前記第ｉ層のサンプリング点のうちのいずれか一つである目標サンプリング点に対応する第ｉ層のマッチング結果から、目標マッチング結果を選択するステップと、前記目標サンプリング点に対応する第ｉ層の投影点内の、前記目標マッチング結果に対応する投影点を目標投影点として特定するステップと、前記逆深度候補値の内、前記目標投影点に対応する逆深度値を前記目標サンプリング点の逆深度値として特定するステップと、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値が特定されるまで、前記第ｉ層のサンプリング点内の、前記目標サンプリング点と異なるサンプリング点の逆深度値を継続して特定し、前記第ｉ層の逆深度値を得るステップと、を実行するように構成される、項目１８に記載の画像深度推定装置。
（項目２１）
前記推定部はさらに、前記第ｋ層の逆深度値に対して補間最適化を行い、最適化後の第ｋ層の逆深度値を得るステップと、前記最適化後の第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、を実行するように構成される、項目１５から２０のいずれか一項に記載の画像深度推定装置。
（項目２２）
前記推定部は、具体的に、前記第ｋ層の逆深度値内の各逆深度値に対して、それぞれ第ｋ層のサンプリング点内の対応するサンプリング点の候補逆深度値から、隣接逆深度値を選択するステップであって、前記第ｋ層のサンプリング点は前記ｋ層の現在画像のうちの第ｋ層の現在画像をサンプリングして得られた画素点であるステップと、前記隣接逆深度値に対応するマッチング結果を取得するステップと、前記隣接逆深度値および前記隣接逆深度値に対応するマッチング結果に基づき、前記第ｋ層の逆深度値内の各逆深度値に対して補間最適化を行い、前記最適化後の第ｋ層の逆深度値を得るステップと、を実行するように構成される、項目２１に記載の画像深度推定装置。
（項目２３）
プロセッサ、メモリおよび通信バスを含む電子機器であって、
前記通信バスは、前記プロセッサと前記メモリとの間の接続通信を実現するように構成され、
前記プロセッサは、前記メモリに記憶される画像深度推定プログラムを実行して、項目１から１１のいずれか一項に記載の画像深度推定方法を実現するように構成される、電子機器。
（項目２４）
携帯電話またはタブレット型コンピュータである、項目２３に記載の電子機器。
（項目２５）
一つ以上のプロセッサにより実行されて項目１から１１のいずれか一項に記載の画像深度推定方法を実現可能な一つ以上のプログラムが記憶されている、コンピュータ可読記憶媒体。
（項目２６）
プロセッサにより実行される時に項目１から１１のいずれか一項に記載の画像深度推定方法の対応するステップを実現するコンピュータ可読コードを含む、コンピュータプログラム。
例えば、本願は以下の項目を提供する。
（項目１）
現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するステップと、
前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するｋ層の現在画像、および前記基準フレームに対応するｋ層の基準画像を得るステップであって、ｋは２以上の自然数であるステップと、
前記ｋ層の基準画像および前記逆深度空間範囲に基づき、前記ｋ層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るステップと、を含む、画像深度推定方法。
（項目２）
現在フレームに対応する基準フレームを取得する前記ステップは、
少なくとも二つの選別対象フレームを取得するステップと、
前記少なくとも二つの選別対象フレームから、前記現在フレームと所定角度拘束条件を満たす少なくとも一つのフレームを、前記基準フレームとして選択するステップと、を含む、項目１に記載の画像深度推定方法。
（項目３）
前記所定角度拘束条件は、
前記現在フレームに対応する姿勢中心および前記基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が、第一の所定角度範囲にあることであって、前記目標点は前記現在フレームに対応する平均深度点と前記基準フレームに対応する平均深度点との接続線の中点であることと、
前記現在フレームおよび前記基準フレームに対応する光軸夾角が、第二の所定角度範囲にあることと、
前記現在フレームおよび前記基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む、項目２に記載の画像深度推定方法。
（項目４）
前記ｋ層の基準画像および前記逆深度空間範囲に基づき、前記ｋ層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得る前記ステップは、
前記ｋ層の現在画像および前記逆深度空間範囲に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップであって、前記第ｉ層のサンプリング点は前記ｋ層の現在画像のうちの第ｉ層の現在画像をサンプリングして得られた画素点であり、ｉは１以上、且つｋ以下の自然数であるステップと、
前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記ｋ層の基準画像のうちの第ｉ層の基準画像に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、第ｉ層の逆深度値を得るステップと、
ｉ＝ｋになるまで、ｉ＝ｉ＋１にして、前記ｋ層の現在画像内の、解像度が前記第ｉ層の現在画像より高い第ｉ＋１層の現在画像に対して逆深度推定を継続して行い、第ｋ層の逆深度値を得るステップと、
前記第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、を含む、項目１から３のいずれか一項に記載の画像深度推定方法。
（項目５）
前記ｋ層の現在画像および前記逆深度空間範囲に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定する前記ステップは、
前記逆深度空間範囲に対して区間分割を行い、各分割区間から一つの逆深度値を選択し、複数の初期逆深度値を得るステップと、
前記複数の初期逆深度値を第１層のサンプリング点内の各サンプリング点に対応する逆深度候補値として特定するステップと、
ｉが１に等しくない場合、前記ｋ層の現在画像から、第ｉ－１層のサンプリング点、および第ｉ－１層の逆深度値を取得するステップと、
前記第ｉ－１層の逆深度値、第ｉ－１層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップと、を含む、項目４に記載の画像深度推定方法。
（項目６）
前記第ｉ－１層の逆深度値、第ｉ－１層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定する前記ステップは、
前記第ｉ－１層のサンプリング点から、第一サンプリング点との距離が最も近い第二サンプリング点、および前記第二サンプリング点と隣接する少なくとも二つの第三サンプリング点を特定するステップであって、前記第一サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、
前記第ｉ－１層の逆深度値に基づき、前記少なくとも二つの第三サンプリング点の各々の逆深度値、および前記第二サンプリング点の逆深度値を取得し、少なくとも三つの逆深度値を得るステップと、
前記少なくとも三つの逆深度値から、最大逆深度値および最小逆深度値を特定するステップと、
前記複数の初期逆深度値から、前記最大逆深度値と前記最小逆深度値の範囲内にある逆深度値を選択し、選択された逆深度値を前記第一サンプリング点に対応する逆深度候補値として特定するステップと、
前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値が特定されるまで、前記第ｉ層のサンプリング点内の前記第一サンプリング点ではないサンプリング点に対応する逆深度候補値を継続して特定するステップと、を含む、項目５に記載の画像深度推定方法。
（項目７）
前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記ｋ層の基準画像のうちの第ｉ層の基準画像に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、第ｉ層の逆深度値を得る前記ステップは、
前記第ｉ層のサンプリング点内の各サンプリング点に対して、それぞれ対応する逆深度候補値内の各逆深度値に従って、前記第ｉ層のサンプリング点内の各サンプリング点を前記第ｉ層の基準画像に投影し、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層の投影点を得るステップと、
前記第ｉ層のサンプリング点および前記第ｉ層の投影点に基づいてブロックマッチングを行い、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果を得るステップと、
前記第ｉ層のマッチング結果に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第ｉ層の逆深度値を得るステップと、を含む、項目４に記載の画像深度推定方法。
（項目８）
前記第ｉ層のサンプリング点および前記第ｉ層の投影点に基づいてブロックマッチングを行い、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果を得る前記ステップは、
予め設定されたウィンドウにより、前記第ｉ層の現在画像から、マッチング対象サンプリング点を中心とした第一画像ブロックを選択し、前記第ｉ層の基準画像から、前記マッチング対象サンプリング点に対応する第ｉ層の投影点内の各投影点をそれぞれ中心とした複数の第二画像ブロックを選択するステップであって、前記マッチング対象サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、
前記第一画像ブロックを前記複数の第二画像ブロック内の各画像ブロックとそれぞれ比較し、複数のマッチング結果を得て、前記複数のマッチング結果を前記マッチング対象サンプリング点に対応する第ｉ層のマッチング結果として特定するステップと、
前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果が得られるまで、前記第ｉ層のサンプリング点内の前記マッチング対象サンプリング点と異なるサンプリング点に対応する第ｉ層のマッチング結果を継続して特定するステップと、を含む、項目７に記載の画像深度推定方法。
（項目９）
前記第ｉ層のマッチング結果に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第ｉ層の逆深度値を得る前記ステップは、
前記第ｉ層のサンプリング点のうちのいずれか一つである目標サンプリング点に対応する第ｉ層のマッチング結果から、目標マッチング結果を選択するステップと、
前記目標サンプリング点に対応する第ｉ層の投影点内の、前記目標マッチング結果に対応する投影点を目標投影点として特定するステップと、
前記逆深度候補値の内、前記目標投影点に対応する逆深度値を前記目標サンプリング点の逆深度値として特定するステップと、
前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値が特定されるまで、前記第ｉ層のサンプリング点内の、前記目標サンプリング点と異なるサンプリング点の逆深度値を継続して特定し、前記第ｉ層の逆深度値を得るステップと、を含む、項目７に記載の画像深度推定方法。
（項目１０）
第ｋ層の逆深度値を得る前記ステップの後に、さらに、
前記第ｋ層の逆深度値に対して補間最適化を行い、最適化後の第ｋ層の逆深度値を得るステップと、
前記最適化後の第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、を含む、項目４から９のいずれか一項に記載の画像深度推定方法。
（項目１１）
前記第ｋ層の逆深度値に対して補間最適化を行い、最適化後の第ｋ層の逆深度値を得る前記ステップは、
前記第ｋ層の逆深度値内の各逆深度値に対して、それぞれ第ｋ層のサンプリング点内の対応するサンプリング点の候補逆深度値から、前記逆深度値の隣接逆深度値を選択するステップであって、前記第ｋ層のサンプリング点は前記ｋ層の現在画像のうちの第ｋ層の現在画像をサンプリングして得られた画素点であるステップと、
前記隣接逆深度値に対応するマッチング結果を取得するステップと、
前記隣接逆深度値および前記隣接逆深度値に対応するマッチング結果に基づき、前記第ｋ層の逆深度値内の各逆深度値に対して補間最適化を行い、前記最適化後の第ｋ層の逆深度値を得るステップと、を含む、項目１０に記載の画像深度推定方法。
（項目１２）
現在フレームに対応する基準フレームおよび前記現在フレームの逆深度空間範囲を取得するように構成された取得部と、
前記現在フレームおよび前記基準フレームに対してそれぞれピラミッドダウンサンプリング処理を行い、前記現在フレームに対応するｋ層の現在画像、および前記基準フレームに対応するｋ層の基準画像を得るように構成されたダウンサンプリング部であって、ｋは２以上の自然数であるダウンサンプリング部と、
前記ｋ層の基準画像および前記逆深度空間範囲に基づき、前記ｋ層の現在画像に対して逆深度推定の反復処理を行い、前記現在フレームの逆深度推定結果を得るように構成された推定部と、を含む、画像深度推定装置。
（項目１３）
前記取得部は、具体的に、少なくとも二つの選別対象フレームを取得するステップと、前記少なくとも二つの選別対象フレームから、前記現在フレームと所定角度拘束条件を満たす少なくとも一つのフレームを、前記基準フレームとして選択するステップと、を実行するように構成される、項目１２に記載の画像深度推定装置。
（項目１４）
前記所定角度拘束条件は、
前記現在フレームに対応する姿勢中心および前記基準フレームに対応する姿勢中心と、目標点との接続線により形成された夾角が、第一の所定角度範囲にあることであって、前記目標点は前記現在フレームに対応する平均深度点と前記基準フレームに対応する平均深度点との接続線の中点であることと、
前記現在フレームおよび前記基準フレームに対応する光軸夾角が、第二の所定角度範囲にあることと、
前記現在フレームおよび前記基準フレームに対応する縦軸夾角が、第三の所定角度範囲にあることと、を含む、項目１３に記載の画像深度推定装置。
（項目１５）
前記推定部は、具体的に、前記ｋ層の現在画像および前記逆深度空間範囲に基づき、第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップであって、前記第ｉ層のサンプリング点は前記ｋ層の現在画像のうちの第ｉ層の現在画像をサンプリングして得られた画素点であり、ｉは１以上、且つｋ以下の自然数であるステップと、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値および前記ｋ層の基準画像のうちの第ｉ層の基準画像に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、第ｉ層の逆深度値を得るステップと、ｉ＝ｋになるまで、ｉ＝ｉ＋１にして、前記ｋ層の現在画像内の、解像度が前記第ｉ層の現在画像より高い第ｉ＋１層の現在画像に対して逆深度推定を継続して行い、第ｋ層の逆深度値を得るステップと、前記第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、を実行するように構成される、項目１２から１４のいずれか一項に記載の画像深度推定装置。
（項目１６）
前記推定部は、具体的に、前記逆深度空間範囲に対して区間分割を行い、各分割区間から一つの逆深度値を選択し、複数の初期逆深度値を得るステップと、前記複数の初期逆深度値を第１層のサンプリング点内の各サンプリング点に対応する逆深度候補値として特定するステップと、ｉが１に等しくない場合、前記ｋ層の現在画像から、第ｉ－１層のサンプリング点、および第ｉ－１層の逆深度値を取得するステップと、前記第ｉ－１層の逆深度値、第ｉ－１層のサンプリング点、および前記複数の初期逆深度値に基づき、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値を特定するステップと、を実行するように構成される、項目１５に記載の画像深度推定装置。
（項目１７）
前記推定部は、具体的に、前記第ｉ－１層のサンプリング点から、第一サンプリング点との距離が最も近い第二サンプリング点、および前記第二サンプリング点と隣接する少なくとも二つの第三サンプリング点を特定するステップであって、前記第一サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、前記第ｉ－１層の逆深度値に基づき、前記少なくとも二つの第三サンプリング点の各々の逆深度値、および前記第二サンプリング点の逆深度値を取得し、少なくとも三つの逆深度値を得るステップと、前記少なくとも三つの逆深度値から、最大逆深度値および最小逆深度値を特定するステップと、前記複数の初期逆深度値から、前記最大逆深度値と前記最小逆深度値の範囲内にある逆深度値を選択し、選択された逆深度値を前記第一サンプリング点に対応する逆深度候補値として特定するステップと、前記第ｉ層のサンプリング点内の各サンプリング点に対応する逆深度候補値が特定されるまで、前記第ｉ層のサンプリング点内の前記第一サンプリング点ではないサンプリング点に対応する逆深度候補値を継続して特定するステップと、を実行するように構成される、項目１６に記載の画像深度推定装置。
（項目１８）
前記推定部は、具体的に、前記第ｉ層のサンプリング点内の各サンプリング点に対して、それぞれ対応する逆深度候補値内の各逆深度値に従って、前記第ｉ層のサンプリング点内の各サンプリング点を前記第ｉ層の基準画像に投影し、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層の投影点を得るステップと、前記第ｉ層のサンプリング点および前記第ｉ層の投影点に基づいてブロックマッチングを行い、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果を得るステップと、前記第ｉ層のマッチング結果に基づき、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値を特定し、前記第ｉ層の逆深度値を得るステップと、を実行するように構成される、項目１５に記載の画像深度推定装置。
（項目１９）
前記推定部は、具体的に、予め設定されたウィンドウにより、前記第ｉ層の現在画像から、マッチング対象サンプリング点を中心とした第一画像ブロックを選択し、前記第ｉ層の基準画像から、前記マッチング対象サンプリング点に対応する第ｉ層の投影点内の各投影点をそれぞれ中心とした複数の第二画像ブロックを選択するステップであって、前記マッチング対象サンプリング点は前記第ｉ層のサンプリング点のうちのいずれか一つであるステップと、前記第一画像ブロックを前記複数の第二画像ブロック内の各画像ブロックとそれぞれ比較し、複数のマッチング結果を得て、前記複数のマッチング結果を前記マッチング対象サンプリング点に対応する第ｉ層のマッチング結果として特定するステップと、前記第ｉ層のサンプリング点内の各サンプリング点に対応する第ｉ層のマッチング結果が得られるまで、前記第ｉ層のサンプリング点内の前記マッチング対象サンプリング点と異なるサンプリング点に対応する第ｉ層のマッチング結果を継続して特定するステップと、を実行するように構成される、項目１８前記の画像深度推定方法。
（項目２０）
前記推定部は、具体的に、前記第ｉ層のサンプリング点のうちのいずれか一つである目標サンプリング点に対応する第ｉ層のマッチング結果から、目標マッチング結果を選択するステップと、前記目標サンプリング点に対応する第ｉ層の投影点内の、前記目標マッチング結果に対応する投影点を目標投影点として特定するステップと、前記逆深度候補値の内、前記目標投影点に対応する逆深度値を前記目標サンプリング点の逆深度値として特定するステップと、前記第ｉ層のサンプリング点内の各サンプリング点の逆深度値が特定されるまで、前記第ｉ層のサンプリング点内の、前記目標サンプリング点と異なるサンプリング点の逆深度値を継続して特定し、前記第ｉ層の逆深度値を得るステップと、を実行するように構成される、項目１８に記載の画像深度推定装置。
（項目２１）
前記推定部はさらに、前記第ｋ層の逆深度値に対して補間最適化を行い、最適化後の第ｋ層の逆深度値を得るステップと、前記最適化後の第ｋ層の逆深度値を前記逆深度推定結果として特定するステップと、を実行するように構成される、項目１５から２０のいずれか一項に記載の画像深度推定装置。
（項目２２）
前記推定部は、具体的に、前記第ｋ層の逆深度値内の各逆深度値に対して、それぞれ第ｋ層のサンプリング点内の対応するサンプリング点の候補逆深度値から、隣接逆深度値を選択するステップであって、前記第ｋ層のサンプリング点は前記ｋ層の現在画像のうちの第ｋ層の現在画像をサンプリングして得られた画素点であるステップと、前記隣接逆深度値に対応するマッチング結果を取得するステップと、前記隣接逆深度値および前記隣接逆深度値に対応するマッチング結果に基づき、前記第ｋ層の逆深度値内の各逆深度値に対して補間最適化を行い、前記最適化後の第ｋ層の逆深度値を得るステップと、を実行するように構成される、項目２１に記載の画像深度推定装置。
（項目２３）
プロセッサ、メモリおよび通信バスを含む電子機器であって、
前記通信バスは、前記プロセッサと前記メモリとの間の接続通信を実現するように構成され、
前記プロセッサは、前記メモリに記憶される画像深度推定プログラムを実行して、項目１から１１のいずれか一項に記載の画像深度推定方法を実現するように構成される、電子機器。
（項目２４）
携帯電話またはタブレット型コンピュータである、項目２３に記載の電子機器。
（項目２５）
一つ以上のプロセッサにより実行されて項目１から１１のいずれか一項に記載の画像深度推定方法を実現可能な一つ以上のプログラムが記憶されている、コンピュータ可読記憶媒体。
（項目２６）
プロセッサにより実行される時に項目１から１１のいずれか一項に記載の画像深度推定方法の対応するステップを実現するコンピュータ可読コードを含む、コンピュータプログラム。
【国際調査報告】