(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-13
(45)【発行日】2022-01-25
(54)【発明の名称】画像キャプチャ方法および画像キャプチャ装置
(51)【国際特許分類】
G06T 7/70 20170101AFI20220118BHJP
G06T 7/00 20170101ALI20220118BHJP
【ＦＩ】
G06T7/70 Z
G06T7/00 610Z
【請求項の数】
18
【外国語出願】
(21)【出願番号】P 2020038019
(22)【出願日】2020-03-05
(65)【公開番号】P2021096805
(43)【公開日】2021-06-24
【審査請求日】2020-03-06
(31)【優先権主張番号】108145972
(32)【優先日】2019-12-16
(33)【優先権主張国・地域又は機関】TW
(31)【優先権主張番号】16/729,507
(32)【優先日】2019-12-30
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】390023582
【氏名又は名称】財團法人工業技術研究院
【氏名又は名称原語表記】ＩＮＤＵＳＴＲＩＡＬ ＴＥＣＨＮＯＬＯＧＹ ＲＥＳＥＡＲＣＨ ＩＮＳＴＩＴＵＴＥ
【住所又は居所原語表記】Ｎｏ．１９５，Ｓｅｃ．４，ＣｈｕｎｇＨｓｉｎｇＲｄ．，Ｃｈｕｔｕｎｇ，Ｈｓｉｎｃｈｕ，Ｔａｉｗａｎ ３１０４０
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100211395
【弁理士】
【氏名又は名称】鈴木 裕貴
(72)【発明者】
【氏名】郭 慧冰
(72)【発明者】
【氏名】陳 國睿
【審査官】藤原 敬利
(56)【参考文献】
【文献】特開２０１０－１２４３９９（ＪＰ，Ａ）
【文献】特開２０１８－０４０９９２（ＪＰ，Ａ）
【文献】特開２０１７－０５５３２５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｈ０４Ｎ ５／２２２－ ５／２５７
(57)【特許請求の範囲】
【請求項1】
画像キャプチャデバイスに適した画像キャプチャ方法であって、検査領域の検査領域画像を第１の時点で第１の画像キャプチャデバイスによってキャプチャするステップと、
前記第１の時点の後の第２の時点で、前記検査領域画像内の局所領域に対応する制御信号を受信するステップと、
処理部によって、前記第１の時点における前記第１の画像キャプチャデバイスと前記第２の時点における第２の画像キャプチャデバイスとの間の相対並進関係および相対回転関係の少なくとも１つを計算するステップと、
前記処理部によって、前記制御信号に応じて、前記第１の時点における前記第１の画像キャプチャデバイスに対する前記局所領域の第１の３次元座標値を計算し、前記第１の３次元座標値を、前記相対並進関係および前記相対回転関係の少なくとも１つに従って、前記第２の時点における前記第２の画像キャプチャデバイスに対する第２の３次元座標値に変換するステップと、
駆動部によって、前記第２の画像キャプチャデバイスを前記第２の３次元座標値に応じた回転量で回転させるように駆動するステップと、
前記第２の画像キャプチャデバイスによって前記局所領域に対応する局所領域画像をキャプチャするステップと、
を備え、
前記第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスは飛行体に搭載され、
前記相対並進関係および前記相対回転関係の少なくとも１つを計算するステップは、
前記飛行体上の第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスの相対位置および相対角度の少なくとも１つと、前記第１の時点から前記第２の時点までの前記飛行体の並進量および回転量の少なくとも１つとに基づいて、前記相対並進関係および前記相対回転関係の少なくとも１つを計算するステップ、
を備える、画像キャプチャ方法。
【請求項2】
請求項１に記載の画像キャプチャ方法において、前記第１の画像キャプチャデバイスは前記飛行体の本体に搭載され、前記第２の画像キャプチャデバイスは前記飛行体の自己安定化装置に搭載され、前記自己安定化装置は前記本体の部分回転量に応じて補償回転量を発生するように構成され、前記相対並進関係及び前記相対回転関係の少なくとも１つを計算するステップはさらに、前記相対並進関係及び前記相対回転関係の少なくとも１つを前記補償回転量に基づいて計算するステップ、
を備える、画像キャプチャ方法。
【請求項3】
請求項１または２に記載の画像キャプチャ方法において、前記第１の３次元座標値を計算するステップは、前記検査領域画像が位置する画像平面座標系に垂直な軸に沿った、前記第１の時点における前記第１の画像キャプチャデバイスと前記局所領域内の１点との間の距離を、推定距離値として推定するステップと、
前記推定距離値と前記画像平面座標系内の前記局所領域内の前記１点の座標値とに基づいて前記第１の画像キャプチャデバイスに対する前記局所領域内の前記１点の前記第１の３次元座標値を計算するステップと、
を備える、画像キャプチャ方法。
【請求項4】
請求項３に記載の画像キャプチャ方法において、画像特徴照合ステップをさらに備え、前記画像特徴照合ステップは、前記第１の時点における前記検査領域画像を第１の画像一時記憶部により記憶し、前記第２の時点における前記局所領域画像を第２の画像一時記憶部により記憶するステップと、
前記処理部によって、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の画像一致度が閾値より大きいか否かを判定するステップと、
を備える、画像キャプチャ方法。
【請求項5】
請求項４に記載の画像キャプチャ方法において、さらに補正ステップを備え、前記補正ステップは、前記処理部によって、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の前記画像一致度が前記閾値より小さいとき、前記推定距離値を補正するステップと、
前記補正された推定距離値と前記画像平面座標系における前記局所領域内の前記１点の座標値とに基づいて前記第１の３次元座標値を補正するステップと、
前記補正された第１の３次元座標値に基づいて前記第２の３次元座標値を補正するステップと、
前記処理部によって、前記補正された第２の３次元座標値に基づいて補正回転量を判定し、前記補正回転量に応じて前記第２の画像キャプチャデバイスを回転させるように前記駆動部に命令するステップと、
を備える、画像キャプチャ方法。
【請求項6】
請求項５に記載の画像キャプチャ方法において、さらに、前記局所領域の別の局所領域画像を第３の時点で前記第２の画像キャプチャデバイスによりキャプチャするステップと、
前記局所領域画像を前記第１の画像一時記憶部により記憶し、前記別の局所領域画像を前記第２の画像一時記憶部により記憶するステップと、
前記処理部によって、前記第２の時点における前記第２の画像キャプチャデバイスと前記第２の時点の後の前記第３の時点における前記第２の画像キャプチャデバイスとの間の別の相対並進関係および別の相対回転関係の少なくとも１つを計算するステップと、
前記処理部によって、前記第１の画像一時記憶部の前記局所領域画像と前記第２の画像一時記憶部の前記別の局所領域画像との間の別の画像一致度が前記閾値より大きいか否かを判定するステップと、
前記処理部によって、前記第２の画像キャプチャデバイスの前記別の相対並進関係および前記別の相対回転関係の少なくとも１つと、前記第１の画像一時記憶部の前記局所領域画像と前記第２の画像一時記憶部の前記別の局所領域画像との間の前記別の画像一致度が前記閾値より大きいか否かとに基づいて別の補正回転量を判定し、前記第２の画像キャプチャデバイスを前記別の補正回転量に応じて回転させるように前記駆動部に命令するステップと、
を備える、画像キャプチャ方法。
【請求項7】
請求項４から６のいずれか一項に記載の画像キャプチャ方法において、さらに補正ステップを備え、前記補正ステップは、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の前記画像一致度が前記閾値以上であるとき、前記処理部によって、前記局所領域画像内の対応する局所領域の中心から前記局所領域画像の中心までの距離を計算して補正回転量を判定し、前記第２の画像キャプチャデバイスを前記補正回転量に応じて回転させるように前記駆動部に命令するステップを備え、
前記局所領域画像内の前記対応する局所領域は、前記局所領域内で前記画像一致度が前記閾値以上である領域である、画像キャプチャ方法。
【請求項8】
請求項１から７のいずれか一項に記載の画像キャプチャ方法において、前記第１の３次元座標値を計算するステップは、前記処理部によって、画像平面座標系内の前記局所領域の座標値に基づいて前記第１の画像キャプチャデバイスに対する前記局所領域の前記第１の３次元座標値を計算するステップ、
を備える、画像キャプチャ方法。
【請求項9】
請求項１から８のいずれか一項に記載の画像キャプチャ方法において、前記制御信号は、前記第１の時点に対応するタイムスタンプおよび前記局所領域の画像特徴を含む、画像キャプチャ方法。
【請求項10】
検査領域の検査領域画像を第１の時点でキャプチャするように構成された第１の画像キャプチャデバイスと、第２の画像キャプチャデバイスと、
前記第１の時点における前記第１の画像キャプチャデバイスと第２の時点における前記第２の画像キャプチャデバイスとの間の相対並進関係および相対回転関係の少なくとも１つを計算するよう構成された処理部であって、前記第１の時点の後の前記第２の時点において前記検査領域画像内の局所領域に対応する制御信号を受信するよう構成され、前記制御信号に応じて、前記第１の時点における前記第１の画像キャプチャデバイスに対する前記局所領域の第１の３次元座標値を計算し、前記第１の３次元座標値を、前記相対並進関係および前記相対回転関係の少なくとも１つに従って、前記第２の時点における前記第２の画像キャプチャデバイスに対する第２の３次元座標値に変換するよう構成された、処理部と、
前記第２の画像キャプチャデバイスを前記第２の３次元座標値に応じた回転量で回転させるよう駆動するよう構成された駆動部と、
を備え、前記駆動部が前記第２の画像キャプチャデバイスを前記回転量で回転させた後で前記第２の画像キャプチャデバイスが前記局所領域の局所領域画像をキャプチャするように構成され、
前記第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスが搭載された飛行体を備え、前記処理部が、前記飛行体上の第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスの相対位置および相対角度の少なくとも１つと、前記第１の時点から前記第２の時点までの前記飛行体の並進量および回転量の少なくとも１つとに基づいて、前記相対並進関係および前記相対回転関係の少なくとも１つを計算するよう構成されている、画像キャプチャ装置。
【請求項11】
請求項１０に記載の画像キャプチャ装置において、前記飛行体は本体および自己安定化装置を備え、前記第１の画像キャプチャデバイスが前記本体に搭載され、前記第２の画像キャプチャデバイスが前記自己安定化装置に搭載され、前記自己安定化装置が前記本体の部分回転量に応じて補償回転量を発生するように構成され、前記処理部が前記補償回転量に基づいて前記相対並進関係及び前記相対回転関係の少なくとも１つを計算するよう構成されている、画像キャプチャ装置。
【請求項12】
請求項１０または１１に記載の画像キャプチャ装置において、前記処理部が、前記検査領域画像が位置する画像平面座標系に垂直な軸に沿った、前記第１の時点における前記第１の画像キャプチャデバイスと前記局所領域内の１点との間の距離を、推定距離値として推定するよう構成され、且つ前記推定距離値と前記画像平面座標系内の前記局所領域内の前記１点の座標値とに基づいて前記第１の画像キャプチャデバイスに対する前記局所領域内の前記１点の前記第１の３次元座標値を計算するよう構成されている、画像キャプチャ装置。
【請求項13】
請求項１２に記載の画像キャプチャ装置において、第１の画像一時記憶部および第２の画像一時記憶部をさらに備え、前記第１の画像一時記憶部が前記第１の時点における前記検査領域画像を記憶するよう構成され、前記第２の画像一時記憶部が前記第２の時点における前記局所領域画像を記憶するよう構成され、前記処理部が、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の画像一致度が閾値より大きいか否かを判定するよう構成されている、画像キャプチャ装置。
【請求項14】
請求項１３に記載の画像キャプチャ装置において、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の前記画像一致度が前記閾値より小さいとき、前記処理部が、前記推定距離値を補正するよう構成され、前記補正された推定距離値と前記画像平面座標系における前記局所領域内の前記１点の前記座標値とに基づいて前記第１の３次元座標値を補正するよう構成され、前記補正された第１の３次元座標値に基づいて前記第２の３次元座標値を補正するよう構成され、且つ前記補正された第２の３次元座標値に基づいて補正回転量を判定するよう構成され、前記駆動部が、前記補正回転量に応じて前記第２の画像キャプチャデバイスを回転させるように構成されている、画像キャプチャ装置。
【請求項15】
請求項１４に記載の画像キャプチャ装置において、前記第２の画像キャプチャデバイスが第３の時点で前記局所領域の別の局所領域画像をキャプチャするよう構成され、前記第１の画像一時記憶部が前記局所領域画像を記憶するように構成され、前記第２の画像一時記憶部が前記別の局所領域画像を記憶するよう構成され、前記処理部が、前記第２の時点における前記第２の画像キャプチャデバイスと前記第２の時点の後の前記第３の時点における前記第２の画像キャプチャデバイスとの間の別の相対並進関係および別の相対回転関係の少なくとも１つを計算するよう構成され、前記処理部が、前記第１の画像一時記憶部の前記局所領域画像と前記第２の画像一時記憶部の前記別の局所領域画像との間の別の画像一致度が前記閾値より大きいか否かを判定するよう構成され、且つ前記処理部が、前記第２の画像キャプチャデバイスの前記別の相対並進関係および前記別の相対回転関係の少なくとも１つと、前記第１の画像一時記憶部の前記局所領域画像と前記第２の画像一時記憶部の前記別の局所領域画像との間の前記別の画像一致度が前記閾値より大きいか否かとに応じて別の補正回転量を判定し、前記第２の画像キャプチャデバイスを前記別の補正回転量に応じて回転させるように前記駆動部に命令するように構成されている、画像キャプチャ装置。
【請求項16】
請求項１３から１５のいずれか一項に記載の画像キャプチャ装置において、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の前記画像一致度が前記閾値以上であるとき、前記処理部が、前記局所領域画像内の対応する局所領域の中心から前記局所領域画像の中心までの距離を計算して補正回転量を判定するよう構成され、前記駆動部が、前記第２の画像キャプチャデバイスを前記補正回転量に応じて回転させるように構成され、前記局所領域画像内の前記対応する局所領域は、前記局所領域内で前記画像一致度が前記閾値以上である領域である、画像キャプチャ装置。
【請求項17】
請求項１０から１６のいずれか一項に記載の画像キャプチャ装置において、前記処理部が、画像平面座標系内の前記局所領域の座標値に基づいて前記第１の画像キャプチャデバイスに対する前記局所領域の前記第１の３次元座標値を計算するよう構成されている、画像キャプチャ装置。
【請求項18】
請求項１０から１７のいずれか一項に記載の画像キャプチャ装置において、前記制御信号は、前記第１の時点に対応するタイムスタンプおよび前記局所領域の画像特徴を含む、画像キャプチャ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理方法および画像処理装置に関し、特に、画像キャプチャ方法および画像キャプチャ装置に関する。
【背景技術】
【0002】
今日では、飛行体に搭載された画像キャプチャ装置を用いて対象物の画像をキャプチャする技術および応用分が注目されている。無人航空機（ＵＡＶ）は、空中にとどまってより適切な視野角からターゲットの画像をキャプチャすることができる。この画像キャプチャ方法に基づいて、画像伝送技術を統合して、遠隔操作撮影の手段による遠隔検査（橋梁断面、貯水池、および／または他の大きな構造物など）を開発することができる。ただし、制御端末とＵＡＶの間の信号伝送には時間遅延があり、この時間遅延の間、ＵＡＶの姿勢は風や機械的振動などの環境要因の影響を受けやすく、画像の移動を生じる。その結果、正確なズームおよびフォーカス画像を取得することが困難になり得る。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本開示は、対象物の画像をキャプチャすることができる画像キャプチャ方法および画像キャプチャ装置を提供する。
【課題を解決するための手段】
【0004】
本開示の画像キャプチャ方法は、以下のステップを含む。検査領域の検査領域画像を第１の時点で第１の画像キャプチャデバイスによってキャプチャする。制御信号を前記第１の時点の後の第２の時点で受信する。前記制御信号は、前記検査領域画像内の局所領域に対応する。処理部を使用して、前記第１の時点における前記第１の画像キャプチャデバイスと前記第２の時点における前記第２の画像キャプチャデバイスとの間の相対並進関係および相対回転関係の少なくとも一つを計算する。前記処理部を使って、前記制御信号に応じて、前記第１の時点における前記第１の画像キャプチャデバイスに対する前記局所領域の第１の３次元座標値を計算し、前記第１の３次元座標値を、前記相対並進関係および前記相対回転関係の少なくとも一つに従って前記第２の時点における前記第２の画像キャプチャデバイスに対する第２の３次元座標値に変換する。駆動部を使って、前記第２の画像キャプチャデバイスを前記第２の３次元座標値に応じた回転量で回転させるように駆動する。前記第２の画像キャプチャデバイスを使って前記局所領域に対応する局所領域画像をキャプチャする。
【0005】
本開示の一実施形態では、前記第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスは飛行体に搭載され、前記相対並進関係および相対回転関係の少なくとも１つを計算するステップは、前記飛行体上の第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスの相対位置および相対角度の少なくとも１つと、前記第１の時点から前記第２の時点までの前記飛行体の並進量および回転量の少なくとも１つとに基づいて、前記相対並進関係および前記相対回転関係の少なくとも１つを計算するステップを含む。
【0006】
本開示の一実施形態において、前記第１の画像キャプチャデバイスは前記飛行体の本体に搭載され、前記第２の画像キャプチャデバイスは前記飛行体の自己安定化装置に搭載される。前記自己安定化装置は前記本体の部分回転量に応じて補償回転量を発生するように構成され、前記相対並進関係及び前記相対回転関係の少なくとも１つを計算するステップはさらに、前記相対並進関係及び前記相対回転関係の少なくとも１つを前記補償回転量に基づいて計算するステップを含む。
【0007】
本開示の一実施形態において、前記第１の３次元座標値を計算するステップは、前記検査領域画像が位置する画像平面座標系に垂直な軸に沿った、前記第１の時点における前記第１の画像キャプチャデバイスと前記局所領域内の１点との間の距離を、推定距離値として推定するステップを含む。第１の画像キャプチャデバイスに対する前記局所領域内の前記１点の前記第１の３次元座標値は、前記推定距離値と前記画像平面座標系内の前記局所領域内の前記１点の座標値とに基づいて計算される。
【0008】
本開示の一実施形態において、前記画像キャプチャ方法は画像特徴照合ステップをさらに含み、前記画像特徴照合ステップは、前記第１の時点における前記検査領域画像を第１の画像一時記憶部により記憶し、前記第２の時点における前記局所領域画像を第２の画像一時記憶部により記憶するステップと、前記処理部によって、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の画像一致度が閾値より大きいか否かを判定するステップを含む。
【0009】
本開示の一実施形態において、前記画像キャプチャ方法はさらに補正ステップを含み、前記補正ステップは、前記処理部によって、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の画像一致度が前記閾値より小さいとき、前記処理部が前記推定距離値を補正するステップを含む。前記補正された推定距離値と前記画像平面座標系における前記局所領域内の前記１点の座標値とに基づいて前記第１の３次元座標値が補正される。前記補正された第１の３次元座標値に基づいて前記第２の３次元座標値が補正される。前記処理部が、前記補正された第２の３次元座標値に基づいて補正回転量を判定し、前記補正回転量に応じて前記第２の画像キャプチャデバイスを回転させるように前記駆動部に命令する。
【0010】
本開示の一実施形態において、前記画像キャプチャ方法は、さらに、前記局所領域の別の局所領域画像を第３の時点で前記第２の画像キャプチャデバイスによりキャプチャするステップと、前記局所領域画像を前記第１の画像一時記憶部により記憶し、前記別の局所領域画像を前記第２の画像一時記憶部により記憶するステップと、前記処理部によって、別の相対並進関係および別の相対回転関係の少なくとも１つを計算するために前記第２の時点における前記第２の画像キャプチャデバイスと前記第２の時点の後の第３の時点における前記第２の画像キャプチャデバイスとの間の別の画像一致度を計算するステップと、前記処理部によって、前記第１の画像一時記憶部の前記局所領域画像と前記第２の画像一時記憶部の前記別の局所領域画像との間の別の画像一致度が前記閾値より大きいか否かを判定するステップと、前記処理部によって、前記第２の画像キャプチャデバイスの前記別の相対並進関係および前記別の相対回転関係の少なくとも１つと、前記第１の画像一時記憶部の前記局所領域画像と前記第２の画像一時記憶部の前記別の局所領域画像との間の前記別の画像一致度が前記閾値より大きいか否かとに基づいて別の補正回転量を判定するステップと、前記第２の画像キャプチャデバイスを前記別の補正回転量に応じて回転させるように前記駆動部に命令するステップとを含む。
【0011】
本開示の一実施形態において、前記画像キャプチャ方法はさらに補正ステップを含み、前記補正ステップは、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の画像一致度が前記閾値以上であるとき、前記処理部によって、前記局所領域画像内の対応する局所領域の中心から前記局所領域画像の中心までの距離を計算して補正回転量を判定し、前記第２の画像キャプチャデバイスを前記補正回転量に応じて回転させるように前記駆動部に命令するステップを備え、前記局所領域画像内の前記対応する局所領域は前記局所領域内で前記画像一致度が前記閾値以上である領域である。
【0012】
本開示の一実施形態において、前記第１の３次元座標値を計算するステップは、前記処理部によって、画像平面座標系内の前記局所領域の座標値に基づいて前記第１の画像キャプチャデバイスに対する前記局所領域の前記第１の３次元座標値を計算するステップを含む。
【0013】
本開示の一実施形態において、前記制御信号は、前記第１の時点に対応するタイムスタンプおよび前記局所領域の画像特徴を含む。
【0014】
本開示の画像キャプチャ装置は、第１の画像キャプチャデバイス、第２の画像キャプチャデバイス、処理部および駆動部を含む。前記第１の画像キャプチャデバイスは、検査領域の検査領域画像を第１の時点でキャプチャするように構成されている。前記処理部は、前記第１の時点における前記第１の画像キャプチャデバイスと第２の時点における前記第２の画像キャプチャデバイスとの間の相対並進関係および相対回転関係の少なくとも一つを計算するよう構成され、且つ前記処理部は前記第１の時点の後の第２の時点において制御信号を受信するよう構成されている。前記制御信号は前記検査領域画像内の局所領域に対応する。前記処理部は、前記制御信号に応じて、前記第１の時点における前記第１の画像キャプチャデバイスに対する前記局所領域の第１の３次元座標値を計算し、前記第１の３次元座標値を、前記相対並進関係および前記相対回転関係の少なくとも１つに従って、前記第２の時点における前記第２の画像キャプチャデバイスに対する第２の３次元座標値に変換するよう構成されている。前記駆動部は、前記第２の画像キャプチャデバイスを前記第２の３次元座標値に応じた回転量で回転させるように駆動するよう構成され、前記駆動部が前記第２の画像キャプチャデバイスを前記回転量で回転させた後に、前記第２の画像キャプチャデバイスが前記局所領域の局所領域画像をキャプチャするように構成されている。
【0015】
本開示の一実施形態において、前記画像キャプチャ装置は飛行体を含み、前記第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスが前記飛行体に搭載される。前記処理部は、前記飛行体上の第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスの相対位置および相対角度の少なくとも１つと、前記第１の時点から前記第２の時点までの前記飛行体の並進量および回転量の少なくとも１つとに基づいて、前記相対並進関係および相対回転関係の少なくとも１つを計算するよう構成されている。
【0016】
本開示の一実施形態において、前記飛行体は本体および自己安定化装置を含む。前記第１の画像キャプチャデバイスは前記本体に搭載され、前記第２の画像キャプチャデバイスは前記自己安定化装置に搭載される。前記自己安定化装置は前記本体の部分回転量に応じて補償回転量を発生するように構成され、前記処理部は前記補償回転量に基づいて前記相対並進関係及び前記相対回転関係の少なくとも１つを計算するよう構成されている。
【0017】
本開示の一実施形態において、前記処理部は、前記第１の時点における前記第１の画像キャプチャデバイスと前記局所領域内の１点との間の距離を画像平面座標系に垂直な軸に沿った推定距離値として推定するよう構成され、且つ前記推定距離値と前記画像平面座標系内の前記局所領域内の前記１点の座標値とに基づいて前記第１の画像キャプチャデバイスに対する前記局所領域内の前記１点の前記第１の３次元座標値を計算するよう構成されている。
【0018】
本開示の一実施形態において、前記画像キャプチャ装置は、第１の画像一時記憶部および第２の画像一時記憶部をさらに備え、前記第１の画像一時記憶部が前記第１の時点における前記検査領域画像を記憶するよう構成され、前記第２の画像一時記憶部が前記第２の時点における前記局所領域画像を記憶するよう構成されている。前記処理部が、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の画像一致度が閾値より大きいか否かを判定するよう構成されている。
【0019】
本開示の一実施形態において、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の画像一致度が前記閾値より小さいとき、前記処理部は、前記推定距離値を補正するよう構成され、前記補正された推定距離値と前記画像平面座標系における前記局所領域内の前記１点の座標値とに基づいて前記第１の３次元座標値を補正するよう構成され、且つ前記補正された第１の３次元座標値に基づいて前記第２の３次元座標値を補正するよう構成されている。さらに、前記処理部は、前記補正された第２の３次元座標値に基づいて補正回転量を判定するよう構成され、前記駆動部が、前記補正回転量に応じて前記第２の画像キャプチャデバイスを回転させるように構成されている。
【0020】
本開示の一実施形態において、前記第２の画像キャプチャデバイスが第３の時点で前記局所領域の別の局所領域画像をキャプチャするよう構成され、前記第１の画像一時記憶部が前記局所領域画像を記憶するよう構成され、前記第２の画像一時記憶部が前記別の局所領域画像を記憶するよう構成され、前記処理部が、前記第２の時点における前記第２の画像キャプチャデバイスと前記第２の時点の後の第３の時点における前記第２の画像キャプチャデバイスとの間の別の相対並進関係および別の相対回転関係の少なくとも１つを計算するよう構成され、前記処理部が、前記第１の画像一時記憶部の前記局所領域画像と前記第２の画像一時記憶部の前記別の局所領域画像との間の別の画像一致度が前記閾値より大きいか否かを判定するよう構成され、且つ前記処理部が、前記第２の画像キャプチャデバイスの前記別の相対並進関係および前記別の相対回転関係の少なくとも１つと、前記第１の画像一時記憶部の前記局所領域画像と前記第２の画像一時記憶部の前記別の局所領域画像との間の前記別の画像一致度が前記閾値より大きいか否かとに応じて別の補正回転量を判定し、前記第２の画像キャプチャデバイスを前記別の補正回転量に応じて回転させるように前記駆動部に命令するように構成されている。
【0021】
本開示の一実施形態において、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の画像一致度が前記閾値以上であるとき、前記処理部が、前記局所領域画像内の対応する局所領域の中心から前記局所領域画像の中心までの距離を計算して補正回転量を判定するよう構成され、前記駆動部が、前記第２の画像キャプチャデバイスを前記補正回転量に応じて回転させるように構成され、前記局所領域画像内の前記対応する局所領域は前記局所領域内で前記画像一致度が前記閾値以上である領域である。
【0022】
本開示の一実施形態において、前記処理部が、画像平面座標系内の前記局所領域の座標値に基づいて前記第１の画像キャプチャデバイスに対する前記局所領域の前記第１の３次元座標値を計算するよう構成されている。
【0023】
本開示の一実施形態において、前記制御信号は、前記第１の時点に対応するタイムスタンプおよび前記局所領域の画像特徴を含む。
【発明の効果】
【0024】
以上に基づき、本画像キャプチャ方法及び画像キャプチャ装置は、第１の時点における第１の画像キャプチャデバイスに対して第２の時点における第２の画像キャプチャデバイスにより発生される並進量及び回転量をパラメータとして利用し、このパラメータを利用して空間内の検査対象（すなわち局所領域）の３次元座標値を計算し、それによって、第１の時点から第２の時点までの経過時間（たとえば、制御信号の送信に起因する時間遅延）中に生じる並進量および／または回転量により発生する３次元座標値の誤差を補正することができる。このように、風などの環境要因および／または画像キャプチャ装置自体の機械的振動により生じる予測不能の並進量および／または回転量を補正することができるため、画像キャプチャ装置の位置を正確に維持することができる。
【図面の簡単な説明】
【0025】
【図1】本開示の一実施形態による画像キャプチャシステムの概略ブロック図である。
【図3A】本開示の一実施形態による画像キャプチャ方法のフローチャートである。
【図3B】本開示の一実施形態による別の画像キャプチャ方法のフローチャートである。
【図7】本開示の一実施形態による画像キャプチャ方法のフローチャートである。
【発明を実施するための形態】
【0026】
図１は、本開示の一実施形態による画像キャプチャシステムの概略ブロック図である。図２は、図１の画像キャプチャ装置の概略側面図である。図１及び図２を参照すると、この実施形態における画像キャプチャシステム１００は、オペレーティング装置１１０および画像キャプチャ装置１２０を含む。一実施形態において、画像キャプチャ装置１２０は、無人航空機（ＵＡＶ）などの無人乗り物、自律車両などの無人車両、ロボット、または機械装置である。別の実施形態では、画像キャプチャ装置１２０は、取り外し可能または取り外し不可能なデバイスである。一実施形態では、オペレーティング装置１１０は、例えば、コンピュータ、サーバー、またはリモートコントロールデバイスなどのリモートデバイスで実装される。オペレーティング装置１１０は、画像キャプチャ装置１２０によってキャプチャされた画像および／または画像内の局所領域を表示し得るスクリーンを含むことができる。一実施形態では、リモートデバイスは、画像キャプチャ装置１２０を遠隔制御するように構成することもできる。一実施形態では、画像キャプチャ装置１２０とリモートデバイスは異なる位置または場所に位置するが、本開示はこれに限定されない。別の実施形態では、画像キャプチャ装置１２０およびリモートデバイスは、同じ位置または場所に設置してもよい。画像キャプチャ装置１２０は、主剛体１２１、第１の画像キャプチャデバイス１２２、第２の画像キャプチャデバイス１２３、処理部１２４、駆動部１２５、慣性検出装置１２６を含む。
【0027】
第１の画像キャプチャデバイス１２２は、例えば、広角カメラであり、検査対象領域の広角画像をキャプチャするために主剛体１２１に取り付けられる。この広角画像は、主剛体１２１上に配置された処理部１２４を介して画像信号ＩＳと共にオペレーティング装置１１０に送信される。一実施形態では、主剛体１２１は、容易に変形されないまたは変形しない主剛体である。一実施形態では、画像信号ＩＳは、無線通信を介してオペレーティング装置１１０に送信される。一実施形態において、ユーザは、オペレーティング装置１１０により表示される広角画像から、検査対象を選択する（または、オペレーティング装置１１０が設定または画像検出に従って検査対象を選択する）ことができ、それに応じてオペレーティング装置１１０は検査対象に関連する命令を発生する。その命令は制御信号ＣＳの形で処理部１２４に送信される。一実施形態では、制御信号ＣＳは、無線通信を介して処理部１２４に送信される。処理部１２４は、命令に従って、第１の画像キャプチャデバイス１２２および第２の画像キャプチャデバイス１２３の並進量および／または回転量に関する計算を実行し、その後第２の画像キャプチャデバイス１２３を検査対象に正しく対面するように回転させる。この命令は、広角画像の時点に対応するタイムスタンプ、および／または検査対象（すなわち、後述する局所領域Ａ）の画像特徴、座標、および／または距離を含む。処理部１２４は、信号送信、計算、情報記憶などの機能を有する回路および電気部品を含むことができる。一実施形態では、処理部１２４は、プロセッサ、無線トランシーバ、および／または制御回路を含む。本開示は、処理部１２４の構成および形態を何ら限定するものでない。
【0028】
第２の画像キャプチャデバイス１２３は、例えばテレスコープカメラであり、駆動部１２５に搭載され、制御信号ＣＳの命令に基づいて、処理部１２４の計算結果に応じて、対応する検査領域に向いて検査領域内の検査対象のスポット画像をキャプチャするように構成される。一実施形態では、慣性検出装置１２６は、例えば空中停滞中に風、機械的振動、またはその他の要因により発生されるＵＡＶの主剛体１２１の並進量および／または回転量を検出するように構成される。駆動部１２５は、例えば、主剛体１２１に結合された自己安定化装置であり、主剛体１２１の並進量および／または回転量に応じて補正並進量および／または補償回転量を発生するように構成されるため、第２の画像キャプチャデバイス１２３は進行方向に向き続けることができる。一実施形態では、慣性検出装置１２６および／または駆動部１２５は、１つの装置として統合することができる。一実施形態では、慣性検出装置１２６および／または駆動部１２５は、例えば、自己安定化ジンバルである。一実施形態では、慣性検出装置１２６は、主剛体１２１上に配置し、配線および／または回路を介して処理部１２４に結合してもよい。
【0029】
以下は、図１の画像キャプチャシステム１００内の画像キャプチャ装置１２０を、本開示の一実施形態よる画像キャプチャ方法を説明するための一例として取り上げる。図３Ａは本開示の一実施形態による画像キャプチャ方法のフローチャートである。この画像キャプチャ方法は、図１に示す画像キャプチャ装置１２０により実行することができる。図３Ａを参照されたい。最初に、第１の時点で、画像キャプチャ装置１２０が、検査領域の検査領域画像Ｉ１を第１の画像キャプチャデバイス１２２によりキャプチャする（ステップＳ１）。第１の時点の後の第２の時点で、制御信号ＣＳが処理部１２４によって受信される（ステップＳ２）。処理部１２４が、第１の時点での第１の画像キャプチャデバイス１２２と第２の時点での第２の画像キャプチャデバイス１２３との間の相対並進関係および／または相対回転関係を計算する（ステップＳ３）。処理部１２４が、検査領域画像Ｉ１内の画像平面座標系ＴＣにおける局所領域Ａの座標値（ｕ、ｖ）に従って、第１の画像キャプチャデバイス１２２に対する局所領域Ａの第１の３次元座標値を計算する（ステップＳ４）。処理部１２４が、相対並進関係および／または相対回転関係に従って、第１の３次元座標値を第２の画像キャプチャデバイス１２３に対する第２の３次元座標値に変換する（ステップＳ５）。駆動部１２５が、局所領域Ａが第２の画像キャプチャデバイス１２３の視野に入るように、第２の画像キャプチャデバイス１２３を第２の３次元座標に応じた回転量で回転駆動する（ステップＳ６）。第２の画像キャプチャデバイス１２３が局所領域Ａの局所領域画像Ｉ２をキャプチャする（ステップＳ７）。
【0030】
詳細には、ステップＳ１において、処理部１２４は、第１の画像キャプチャデバイス１２２によりキャプチャされた検査領域画像Ｉ１と、検査領域画像Ｉ１の第１時点に対応するタイムスタンプをオペレーティング装置１１０に送信する。一実施形態では、画像キャプチャ装置１２０が検査領域画像をキャプチャした後（または各検査領域画像がキャプチャされた後、または同じ時間間隔ごとに）、対応するタイムスタンプ、慣性検出装置１２６によって検出された並進量および／または回転量、駆動部１２５の補正並進量および／または補償回転量、および／または画像キャプチャ装置１２０の位置および／または方向が、画像キャプチャ装置１２０の記憶装置（図示せず）に記憶される。記憶装置は、例えば、不揮発性メモリ（ハードディスクドライブやソリッドステートドライブなど）または揮発性メモリ（ランダムアクセスメモリやレジスタなど）である。
【0031】
ステップＳ２において、オペレーティング装置１１０は画像信号ＩＳに対応する制御信号ＣＳを返送し、画像キャプチャ装置１２０の処理部１２４が制御信号ＣＳを受信する。制御信号ＣＳは、検査領域画像Ｉ１内の検査対象局所領域Ａの信号に対応する。一実施形態では、制御信号ＣＳは、検査領域画像Ｉ１においてユーザが選択した検査対象局所領域Ａに応じてオペレーティング装置１１０により生成される対応信号である。制御信号ＣＳは、局所領域Ａの画像の特徴、座標および／または距離、ならびに第１の時点に対応するタイムスタンプを含む。処理部１２４は、制御信号ＣＳの情報に基づいて、第１の時点に対応する検査領域画像Ｉ１の撮影時点とともに、局所領域Ａの画像特徴、座標、および／または距離を取得することができる。一実施形態では、検査領域画像Ｉ１は、第１の時点でキャプチャされ、オペレーティング装置１１０への送信の時間遅延および局所領域の選択にかかる時間の後に、制御信号ＣＳが画像キャプチャ装置１２０に送信される。その後、画像キャプチャ装置１２０は、第２の時点で制御信号ＣＳを受信する。
【0032】
ステップＳ３において、処理部１２４は、制御信号ＣＳの第１の時点に対応するタイムスタンプに従って第１の時点を判定し、さらに第１の時点における第１の画像キャプチャデバイス１２２と第２の時点における第２の画像キャプチャデバイス１２３の間の並進量および／または回転量を判定する。図４を参照されたい。図４は、画像キャプチャ装置１２０（図２）が第１の時点から第２の時点への間に並進および／または回転を生じることを示し、ここで破線は第１の時点に対応し、実線は第２の時点に対応し、第２の時点は第１の時点よりも後である。第１の時点から第２の時点までの間に、画像キャプチャ装置１２０は、風、機械的振動、および／または他の要因による並進量および／または回転量が存在し得る。駆動部１２５は、図４に示されるように、それに応じて第２の画像キャプチャデバイス１２３を並進および／または回転駆動してその並進量および／または回転量を補正することができる。別の実施形態では、画像キャプチャ装置１２０は、別の位置への飛行による並進量および／または回転量を生じさせることもできる。したがって、第２の時点での第２の画像キャプチャデバイス１２３は、第１の時点での第１の画像キャプチャデバイス１２２に対する並進量および／または回転量を有し、処理部１２４を使用して慣性検出装置１２６の検出に応じた並進量および／または回転量を計算することができる。
【0033】
図５を参照されたい。図５は、図１のオペレーティング装置１１０のスクリーンに表示される画像を示す。本実施形態では、オペレーティング装置１１０のスクリーンには、検査領域画像Ｉ１、局所領域Ａ、局所領域画像Ｉ２が表示される。ユーザは、第１の時点で第１の画像キャプチャデバイス１２２によってキャプチャされた検査領域画像Ｉ１に従って、検査対象局所領域Ａを選択して、対応する制御信号ＣＳを発生する。画像キャプチャ装置１２０は、第２の時点で制御信号ＣＳを受信し、その後第２の画像キャプチャデバイス１２３により第２の時点で検査対象局所領域Ａの画像特徴を含む画像をキャプチャする。第１の時点から第２の時点まで、画像キャプチャ装置１２０は並進量および／または回転量を生成する。加えて、ユーザが第１の画像キャプチャデバイス１２２によってキャプチャされた画像に基づいて第２の画像キャプチャデバイス１２３により画像をキャプチャするため、第１の時点での第１の画像キャプチャデバイス１２２と第２の時点での第２の画像キャプチャデバイス１２３との間には相対並進関係Ｔおよび相対回転関係Ｒがある。一実施形態では、相対並進関係Ｔは相対位置Ｔｓおよび動的並進Ｔｄを含み、相対回転関係Ｒは相対角度Ｒｓおよび動的相対角度Ｒｄを含む。相対位置Ｔｓおよび相対角度Ｒｓは、第１の画像キャプチャデバイス１２２と第２の画像キャプチャデバイス１２３との間の静的な相対関係であり、その相対関係は、例えば、主剛体１２１が水平状態にあり、第２の画像キャプチャデバイス１２３が中心状態にあるとき、第１の画像キャプチャデバイス１２２および第２の画像キャプチャデバイス１２３が同じキャリブレーションパターンを使ってそれらのパターンの比較を計算することによって得ることができる。言い換えれば、相対並進Ｔｓおよび相対回転Ｒｓは、回転なしの状態での第１の画像キャプチャデバイス１２２および第２の画像キャプチャデバイス１２３の設置位置の間の静止姿勢差および撮影角度差とすることができる。動的並進Ｔｄおよび動的相対角度Ｒｄは、例えば、第１の時点に対応する画像キャプチャ装置１２０の位置および角度と第２の時点に対応する画像キャプチャ装置１２０の位置および角度の間の相対関係に基づいて得られる画像キャプチャ装置１２０の動的並進量及び動的回転量とすることができる。一実施形態では、動的並進Ｔｄおよび動的相対回転Ｒｄは、第１の時点と第２の時点との間の主剛体１２１の動的姿勢の差および撮影角度の差、例えば風によって生じる画像キャプチャ装置１２０の姿勢の変化または画像キャプチャ装置１２０の傾きなど、とすることができる。一実施形態では、処理部１２４は、主剛体１２１の動的相対角度Ｒｄを判定できるだけでなく、第１の時点から第２の時点までの主剛体１２１の部分軸の若干の回転量を補償するために駆動部１２５によって発生される補償回転量Ｒｃ、例えば、キャプチャされる画像を安定させるために、検出された並進量および／または回転量に応じて自己安定化ジンバルによって自動的に発生される回転を判定することもできる。
【0034】
一実施形態では、処理部１２４は、第１の時点のタイムスタンプに従って、第１の時点で第１の画像キャプチャデバイス１２２によってキャプチャされた画像を取得することができる。一実施形態では、第１の時点のタイムスタンプに従って、画像キャプチャ装置１２０は、処理部１２４を介して、第１の時点に対応する慣性検出装置１２６によって検出された並進量および／または回転量を、および／または記憶装置から画像キャプチャ装置１２０の位置および／または方向を読み取る。また、画像キャプチャ装置１２０は、第２の時点のタイムスタンプに従って、第２の時点に対応する慣性検出装置１２６により検出された並進量および／または回転量を、および／または記憶装置から画像キャプチャ装置１２０の位置および／または方向を読み取る。これにより、画像キャプチャ装置１２０は、第１の時点における第１の画像キャプチャデバイス１２２と第２の時点における第２の画像キャプチャデバイス１２３との間の相対並進関係および／または相対回転関係を計算し、蓄積する。例えば、処理部１２４は、積分計算によって、第１の時点における第１の画像キャプチャデバイス１２２と第２の時点における第２の画像キャプチャデバイス１２３との間の相対並進関係および／または相対回転関係を計算することができる。一実施形態では、第２の時点は画像キャプチャ装置１２０の現在の時刻であり、したがって、慣性検出装置１２６によって現在検出された並進量および／または回転量、および／または画像キャプチャ装置１２０の位置および／または方向を採用することができる。一実施形態では、第１の時点における第１の画像キャプチャデバイス１２２と第２の時点における第２の画像キャプチャデバイス１２３との間の相対並進関係Ｔおよび相対回転関係Ｒは、次の式（１）および（２）により計算して発生させることができる。
【0035】
Ｔ＝Ｔｓ＋Ｔｄ・・・・式（１）
【0036】
Ｒ＝ＲｄＲｓＲｃ・・・式（２）
【0037】
ステップＳ４において、処理部１２４は、制御信号ＣＳに応じて、第１の画像キャプチャデバイス１２２に対する検査対象局所領域Ａの距離を計算する。一実施形態では、制御信号ＣＳは、検査領域画像Ｉ１においてユーザによって選択された局所領域Ａの座標および／または距離を含む。処理部１２４は、制御信号ＣＳに基づいて第２の時点での第２の画像キャプチャデバイス１２３に対する局所領域Ａの空間座標を判定することができる。
【0038】
図６は、図５の検査領域画像Ｉ１における平面座標と３次元空間との関係を示す。図６内の位置Ｐ１は、第１の時点における空間内の第１の画像キャプチャデバイス１２２の１点（例えば、中心または幾何学的中心）の位置を表す。位置Ｐ２は、空間内の局所領域Ａの１点（例えば、中心または幾何学的中心）を表す。位置Ｐ３は、第２の時点における空間内の第２の画像キャプチャデバイス１２３の１点（例えば、中心または幾何学的中心）の位置を表す。位置Ｐ２に対応する局所領域Ａの１点の座標は、画像平面座標系ＴＣにおいて位置（ｕ、ｖ）である。一実施形態では、制御信号ＣＳは位置（ｕ、ｖ）を含む。一実施形態では、処理部１２４は、画像平面座標系ＴＣ（すなわち、図６の軸Ｘおよび軸Ｙによって定義される画像平面座標系）に垂直な軸（例えば、光軸ＯＡ）に沿った第１の画像キャプチャデバイス１２２の位置Ｐ１と局所領域Ａの位置Ｐ２との間の距離を推定距離値Ｄとして推定する。第１の時点における第１の画像キャプチャデバイス１２２に対する局所領域Ａの１点（たとえば、位置Ｐ２）の第１の３次元座標値Ｐ”は、推定距離値Ｄおよび位置（ｕ、ｖ）に基づいて次式（３）により算出される。式（３）において、ｘ、ｙおよびｚは、第１の３次元座標値Ｐ”の値を表す。図６において、空間座標は、原点としてＰ１を使用し、座標の中心として光軸を使用する。この実施形態では、画像座標は、画像の左上隅を原点として使用し、ｃｘおよびｃｙは、第１の画像キャプチャデバイス１２２の固有のパラメータであり、それぞれ、第１の画像キャプチャデバイス１２２の水平中心点座標および垂直中心点座標を表す。すなわち、画像平面座標系ＴＣにおける光軸ＯＡの座標値である。ｆｘおよびｆｙは、第１の画像キャプチャデバイス１２２の固有のパラメータであり、それぞれＸ軸およびＹ軸に沿った第１の画像キャプチャデバイス１２２の焦点距離を表し、ｚは画像平面座標系ＴＣに垂直な方向を表す。推定距離値Ｄは、ｚ方向における位置Ｐ２と位置Ｐ１との間の距離である。要するに、ステップＳ４において、処理部１２４は、位置（ｕ，ｖ）に基づいて、第１の時刻における第１の画像キャプチャデバイス１２２に対する局所領域Ａの一点（例えば位置Ｐ２）の第１の３次元座標値Ｐ”を算出する。
・・・式（３）
【数1】
【0039】
ステップＳ５において、例えば、以下の式（４）を用いて、第１の時点での第１の画像キャプチャデバイス１２２に対する第１の３次元座標値Ｐ”を第２の時点での第２の画像キャプチャデバイス１２３に対する第２の３次元座標値Ｐ’に変換する。したがって、駆動部１２５を第２の３次元座標値Ｐ’に従って駆動して、局所領域Ａが第２の画像キャプチャデバイス１２３の視野に入るように、第２の画像キャプチャデバイス１２３を回転させることができ、その後、第２の画像キャプチャデバイス１２３を使って局所領域Ａの局所領域画像をキャプチャすることができる。具体的には、式（４）における相対並進関係Ｔおよび相対回転関係Ｒは、ステップＳ３において式（１）および（２）により算出された、第１の時点の第１の画像キャプチャデバイス１２２と第２の時点の第２の画像キャプチャデバイス１２３との間の並進量および／または回転量である。式（４）から導出される変換により、処理部１２４は、第１の時点における第１の画像キャプチャデバイス１２２に対する局所領域Ａの１点（例えば、位置Ｐ２）の第１の３次元座標値Ｐ”を変換して第２の時点における第２の画像キャプチャデバイス１２３に対する局所領域Ａの１点（例えば位置Ｐ２）の第２の３次元座標値Ｐ’を取得することができる。
Ｐ’＝ＲＰ”＋Ｔ・・・式（４）
Ｐ’＝ＲＰ”＋Ｔ・・・式（４）
【0040】
ステップＳ６において、処理部１２４は駆動部１２５に、ステップＳ１～Ｓ５から得られた計算結果に応じて回転するよう命令して、局所領域Ａが第２の画像キャプチャデバイス１２３の視野に入るようにする。
【0041】
ステップＳ７において、第２の画像キャプチャデバイス１２３によって、局所領域Ａの一部または全部を含む局所領域画像Ｉ２をキャプチャする。一実施形態では、局所領域画像Ｉ２は、局所領域Ａの画像の一部（たとえば、局所領域Ａの左半分または下半分の画像、または局所領域Ａの中央領域の画像）、または局所領域Ａの画像全体（たとえば、局所領域Ａの画像と一致する画像、または局所領域Ａおよびその外側を含む画像）を含むことができる。本開示の一実施形態によれば、検査対象の画像を正確にキャプチャすることができる。一実施形態では、局所領域Ａが上述の方法で第２の画像キャプチャデバイス１２３の視野内に導入された後、第２の画像キャプチャデバイス１２３の視野をズームインにより狭めて、局所領域Ａが第２の画像キャプチャデバイス１２３の視野から外れない限り、できるだけ局所領域Ａに焦点を合わせることができる。さらに、第２の３次元座標値Ｐ”をさらに補正するために画像キャプチャの精度に影響を及ぼし得る他の要因を考慮することもできるが、本開示はそれに限定されない。たとえば、画像キャプチャの精度に影響を及ぼす要因には、たとえば、魚眼レンズの使用に起因するレンズの半径方向の歪みと接線方向の歪みがある。
【0042】
図３Ｂを参照されたい。図３Ｂは、本開示の一実施形態による別の画像キャプチャ方法のフローチャートである。この画像キャプチャ方法は、図１に示す画像キャプチャシステム１００により実行することができる。図３Ｂは図３Ａに類似する。同じステップとコンポーネントは同じ符号で示されている。図３Ｂに示す画像キャプチャ方法は、画像キャプチャ装置１２０により実行されるステップＳ１～Ｓ７を含むだけでなく、ステップＳ１とＳ２の間にオペレーティング装置１１０により実行されるステップＳ１０１～Ｓ１０３も含む。
【0043】
ステップＳ１０１において、オペレーティング装置１１０が、画像キャプチャ装置１２０により送信される画像信号ＩＳを受信する。画像信号ＩＳは、第１の時点で第１の画像キャプチャデバイス１２２によりキャプチャされた検査領域画像Ｉ１と、第１の時点に対応するタイムスタンプとを含む。ステップＳ１０２において、オペレーティング装置１１０またはオペレーティング装置１１０のスクリーンを介して、検査領域画像Ｉ１から検査対象領域の局所領域Ａが選択され、対応する制御信号ＣＳが生成される。制御信号ＣＳは、選択された局所領域Ａの画像特徴、座標および／または距離、ならびに第１の時点に対応するタイムスタンプを含む。ステップＳ１０３において、オペレーティング装置１１０は制御信号ＣＳを第２の画像キャプチャデバイス１２３に送信する。したがって、後続のステップＳ２～Ｓ７において、画像キャプチャ装置１２０は、オペレーティング装置１１０によって送信された制御信号ＣＳを受信し、対応する後続の処理を実行することができる。
【0044】
一実施形態では、上記のステップＳ４における推定距離値Ｄは、推定誤差に基づいて計算された不正確な第２の３次元座標値Ｐ’をもたらし得る。一実施形態では、推定距離値Ｄおよび／または第２の３次元座標値Ｐ’が正しいか否かをさらに画像特徴照合ステップにより判定し、推定距離値Ｄおよび／または第２の３次元座標値Ｐ’を補正ステップにより補正することができる
【0045】
図７は、本開示の一実施形態による画像キャプチャ方法のフローチャートである。一実施形態では、図７は、図３Ａ及び／又は図３ＢのステップＳ７に続くものとしてよい。図８は、図１の画像キャプチャ装置のいくつかのコンポーネントの概略ブロック図である。一実施形態では、第１の画像一時記憶部１２７および／または第２の画像一時記憶部１２８は１つの記憶装置に構成しても、または独立の記憶装置としてもよい。図７及び図８を参照すると、画像キャプチャ装置１２０の第１の画像一時記憶部１２７は検査領域画像Ｉ１を記憶するために使用され、画像キャプチャ装置１２０の第２の画像一時記憶部１２８は第２の時点での局所領域画像Ｉ２を記憶するために使用される（ステップＳ８）。一実施形態では、第１の画像一時記憶部１２７は、検査領域画像Ｉ１と検査領域画像Ｉ１内の局所領域Ａの座標および／または距離とを記憶する。一実施形態では、第１の画像一時記憶部１２７は局所領域Ａの内容を記憶する。処理部１２４は、第１の画像一時記憶部１２７に記憶された画像と第２の画像一時記憶部１２８に記憶された画像との画像一致度が閾値より大きいか否かを判定する（ステップＳ９）。一実施形態では、処理部１２４が、第１の画像一時記憶部１２７に記憶された画像と第２の画像一時記憶部１２８に記憶された画像との画像一致度が閾値以上であると判定した場合、推定距離Ｄおよび／または第２の３次元座標値Ｐ’が実際の距離値に近いと判定され、処理部１２４が第１の画像一時記憶部に記憶された画像および第２の画像一時記憶部１２８に記憶された画像の中心からの距離を計算して第２の画像キャプチャデバイス１２３の補正回転量を判定する（ステップＳ１０）。第１の画像一時記憶部１２７に記憶された画像と第２の画像一時記憶部１２８に記憶された画像との画像一致度が閾値よりも低い場合、推定距離値Ｄおよび／または第２の３次元座標値Ｐ’が実際の距離値からずれていると判定され、処理部１２４が推定距離値Ｄを補正して、第２の画像キャプチャデバイス１２３の補正回転量を判定する（ステップＳ１１）。
【0046】
処理部１２４は、第２の画像キャプチャデバイス１２３の補正回転量に応じて、第２の画像キャプチャデバイス１２３を回転および／またはズーム制御する（ステップＳ１２）。処理部１２４は、第１の画像一時記憶部１２７および／または第２の画像一時記憶部１２８を更新するために使用される（ステップＳ１３）。
【0047】
一実施形態において、ステップＳ９において、処理部１２４は、第１の画像一時記憶部１２７によって記憶された画像と第２の画像一時記憶部１２８によって記憶された画像に対して画像特徴照合ステップを実行して、２つの画像間の画像一致度が高いか低いかを判定する。一実施形態では、処理部１２４は、２つの画像間の画像一致度が閾値以上であるか、閾値未満であるかを判定することができる。例えば、第１の画像一時記憶部１２７が検査領域画像Ｉ１を記憶し、第２の画像一時記憶部１２８が局所領域画像Ｉ２を記憶する場合、処理部１２４は、検査領域画像Ｉ１の局所領域Ａと局所領域画像Ｉ２との画像一致度が閾値以上であるか否かを判定することができる。
【0048】
一実施形態において、処理部１２４は、以下の方法により、第１の画像一時記憶部１２７の検査領域画像Ｉ１と第２の画像一時記憶部１２８の局所領域画像Ｉ２との画像一致度を判定する。第２の画像一時記憶部１２８の局所領域画像Ｉ２において、探索窓を使って検査領域画像Ｉ１の局所領域Ａに対応する画像の閾値よりも大きい領域およびその座標（例えば、中心座標）を探索し、探索した座標の局所領域画像Ｉ２の中心からの偏差を判定することによって推定距離値Ｄと実際の値との間の偏差を判定することができる。
【0049】
ステップＳ１０において、処理部１２４は、第１の画像一時記憶部１２７に記憶された画像と第２の画像一時記憶部１２８に記憶された画像との画像一致度の比較結果に基づいて補正ステップを実行することができる。例えば、第１の画像一時記憶部１２７が検査領域画像Ｉ１を記憶し、第２の画像一時記憶部１２８が局所領域画像Ｉ２を記憶し、処理部１２４が検査領域画像Ｉ１と局所領域画像Ｉ２との画像一致度が閾値以上であると判定するとき、補正回転量が、局所領域画像Ｉ２から探索される対応する局所領域Ａ’（例えば、検査領域画像Ｉ１の局所領域Ａと閾値より大きい画像一致度を有する局所領域画像Ｉ２内の領域）の中心座標と局所領域画像Ｉ２の中心座標との間の距離を判定することによって判定される。一実施形態では、局所領域画像Ｉ２から探索された局所領域Ａ’の中心座標と局所領域画像Ｉ２の中心座標との間の距離が判定された後に、補正回転量を判定するために、第２の画像キャプチャデバイス１２３の固有パラメータ（事前に設定または較正される）を使用することができる。代わりに、別の実施形態では、処理部１２４は、検査領域画像Ｉ１の画像特徴部の位置および局所領域画像Ｉ２の画像面積の割合を判定することにより、補正回転量を判定してよい。
【0050】
ステップＳ１１において、処理部１２４は、画像一致度の特徴監視結果に従って補正ステップを実行することができる。例えば、第１の画像一時記憶部１２７が検査領域画像Ｉ１を記憶し、第２の画像一時記憶部１２８が局所領域画像Ｉ２を記憶し、処理部１２４が検査領域画像Ｉ１と局所領域画像Ｉ２との画像一致度が閾値よりも低いと判定すると、処理部１２４が推定距離値Ｄを補正する。第１の３次元座標値Ｐ”が補正された推定距離値および座標値に従って補正され、第２の３次元座標値Ｐ’が第１の３次元座標値Ｐ”に従って補正され、処理部１２４が補正された第２の３次元座標値Ｐ’に従って補正回転量を判定し、補正回転量に応じた回転を駆動部１２６に命令する。処理部１２４を介した推定距離値の補正の詳細に関して、この補正は様々な異なる方法で実施することができるが、本開示はそれらに限定されない。一実施形態では、回転量が補正された後、局所領域画像Ｉ２が再度取得され、第１の画像一時記憶部１２７および第２の画像一時記憶部１２８に記憶された画像間の画像一致度を計算するステップＳ９および後続のステップが、局所領域画像Ｉ２の検索窓内に閾値より大きな画像一致度を有する領域が見つかるまで繰り返される。処理部１２４は、最後に使用した回転量および局所領域画像Ｉ２で見つかった相関領域の中心座標偏差に応じて、第２の時点での第１の画像キャプチャデバイス１２２と第２の画像キャプチャデバイス１２３との間の推定距離および並進量および／または回転量を補正することができる。一実施形態では、処理部１２４は、推定距離値Ｄを補正するために３Ｄ再構成の分野の技術を使用する。例えば、処理部１２４は、推定距離値Ｄおよび推定並進量および／または回転量を修正するために、以下の技術のいずれか１つまたはいくつか、例えば補正ステレオ画像推定テクノロジー、ビデオオドメトリーテクノロジー、ＳｆＭ（Structure from Motion）テクノロジー、拡張カルマンフィルターテクノロジー、視覚的同期ポジショニングおよび視覚的スラムテクノロジーを使用することができる。一実施形態では、処理部１２４は、図３Ａに示すステップＳ４において、複数の異なる推定距離値を使用して複数の第１の３次元座標値Ｐ”を補正し、図３ＡのステップＳ５において、補正された複数の第１の３次元座標値Ｐ”を使用して複数の第２の３次元座標値Ｐ’を補正することにより、複数の推定距離値に対応する複数の第２の３次元座標値Ｐ’を判定することができる。さらに、処理部１２４は、複数の第２の３次元座標値Ｐ’のどの組が比較結果に近いかを検査領域画像Ｉ１と局所領域画像Ｉ２との画像一致度に基づいて判定することによって、第２の画像キャプチャデバイス１２３の補正回転量を判定することができる。一実施形態では、検査領域画像Ｉ１と局所領域画像Ｉ２との間の撮影角度の差が大きすぎて、画像一致度が低くなることがあり得る。したがって、処理部１２４は、駆動部１２５を制御して、複数の異なるプリセット回転量に応じて回転させ、画像一致度が閾値以上になるまで、各プリセット回転量で対応する局所領域画像Ｉ２を撮影することもできる。一実施形態では、第２の画像キャプチャデバイス１２３の焦点倍率の差が大きすぎて、画像の対応が低くなることもあり得る。したがって、処理部１２４は、複数の異なるプリセット焦点距離に応じてズームを実行し、画像一致度がより大きくなるまで各プリセット焦点距離を調整した後に対応する局所領域画像Ｉ２を撮影するように第２の画像キャプチャデバイス１２３を制御することもできる。一実施形態では、処理部１２４は、視覚慣性オドメトリ技術を使用し、図３Ａに示すステップＳ３～Ｓ５を実行して、動的並進Ｔｄ、動的相対角度Ｒｄおよび／または補償回転量Ｒｃを補正し、補正された第２の３次元座標値を判定することができ、それに応じて推定距離値を補正することができる。したがって、処理部１２４は、ステップＳ１１で距離推定値を補正し、それに応じて第２の画像キャプチャデバイス１２３の補正回転量を判定することができる。
【0051】
別の実施形態では、ステップＳ１０およびステップＳ１１の一方のみが実行されるように選択されることに限定されない。処理部１２４は、ステップＳ１０およびステップＳ１１を並行にまたは順に実行して、第２の画像キャプチャデバイス１２３の補正回転量を異なる方法で同時に算出してもよい。
【0052】
次に、処理部１２４は、駆動部１２５に、補正回転量に応じて第２の画像キャプチャデバイス１２３の回転および／または焦点距離を調整するよう命令する（ステップＳ１２）。具体的には、処理部１２４は、ステップＳ１０および／またはステップＳ１１で判定された第２の画像キャプチャデバイス１２３の補正回転量に応じて、補正画像Ｉ３（本開示に図示せず）を回転させて撮影するよう駆動部１２５に命令する。処理部１２４による第２の画像キャプチャデバイス１２３の焦点距離の判定の詳細に関して、補正は様々な異なる方法で実行することができ、本開示はそれに限定されるものではない。一実施形態では、処理部１２４は、検査領域画像Ｉ１内の局所領域Ａの面積と補正画像Ｉ３内の局所領域Ａの面積とを判定し、両面積の比に従って第２の画像キャプチャデバイス１２３の焦点距離を判定することができる。一実施形態では、処理部１２４は、補正された推定距離値および補正された第２の３次元座標値に従って第２の画像キャプチャデバイス１２３の焦点距離を判定することができる。
【0053】
最後に、ステップＳ１３において、処理部１２４は、次の画像キャプチャ動作を実行するために第１の画像一時記憶部１２７および／または第２の画像一時記憶部１２８に記憶されたデータを更新することができる。一実施形態では、処理部１２４は、局所領域Ａに対してズーム操作を実行することができる。局所領域Ａのズーム画像を取得するために、処理部１２４は、第１の画像一時記憶部１２７および／または第２の画像一時記憶部１２８を更新する。具体的には、処理部１２４は、第２の画像一時記憶部１２８に元々記憶されていた局所領域画像Ｉ２を第１の画像一時記憶部１２７に移し、最新（例えば、第２の時点の後の第３の時点）の第２の画像キャプチャデバイス１２３によりキャプチャされた画像を第２の画像一時記憶部１２８に入れる。例えば、第２の画像キャプチャデバイス１２３は、第３の時点で局所領域Ａの画像をより高い倍率でキャプチャすることができる。ステップＳ９～Ｓ１３を再帰的に実行することにより、異なる倍率および異なる撮影角度での検査対象の局所領域Ａの画像をより好適に取得することができる。一実施形態では、処理部１２４は、慣性検出装置１２６によって検出される時間変化と主剛体１２１の並進量および／または回転量に従って、ならびに図３Ａに示すステップＳ３～Ｓ５に従って、対応する第２の３次元座標値を判定することができる。処理部１２４が第１の画像一時記憶部１２７および／または第２の画像一時記憶部１２８を更新した後、画像キャプチャ装置１２０は、ステップＳ９～Ｓ１３を実行して、第２の時点で第２の画像キャプチャデバイスによってキャプチャされた画像と第３の時点で第２の画像キャプチャデバイス１２３によりキャプチャされた画像との間の画像一致度が閾値より大きいか否かを第１の画像一時記憶部１２７に記憶された画像および第２の画像一時記憶部１２８に記憶された画像に基づいて判定する。このようにして、画像キャプチャ装置１２０は、ステップＳ１０および／またはステップＳ１１により第２の画像キャプチャデバイス１２３の補正回転量を判定し、ステップＳ１２により同一または異なる検査対象領域を撮影することができる。一実施形態では、処理部１２４は、プリセット時間隔が経過したと判定されたとき、第１の画像一時記憶部１２７および／または第２の画像一時記憶部１２８を更新することができる。一実施形態では、処理部１２４は、慣性検出装置１２６がプリセットの移動量および／またはプリセットの回転量よりも大きい主剛体１２１の並進量および／または回転量を検知するとき、第１の画像一時記憶部１２７および／または第２の画像一時記憶部１２８を更新することができる。要するに、画像キャプチャ装置１２０は、上述した第１の画像一時記憶部１２７および第２の画像一時記憶部１２８の更新動作により、ユーザにより選択された検査領域画像Ｉ１の局所領域Ａを連続的に撮影することができる。ユーザは、局所領域Ａを連続的に検査することができる。あるいは、ユーザの命令に従って画像キャプチャ装置１２０は局所領域Ａにズームインすることができ、それにより、ユーザは局所領域Ａのより鮮明な画像を検査することができる。局所領域Ａにズームインするための複数のズームインステップに対応する複数の固有のパラメータは、事前に設定または較正することができる。
【0054】
一施形態では、第１の画像一時記憶部１２７および第２の画像一時記憶部１２８（メモリまたは他の適切な形態のものでもよい）は処理部１２４に含めてもよい。加えて、処理部１２４はさらに、第１の画像キャプチャデバイス１２２および第２の画像キャプチャデバイス１２３によりキャプチャされた画像を時間セグメントで格納するために、第１の画像キャプチャデバイス１２２に対応する一時記憶スペースおよび第２の画像キャプチャデバイス１２３に対応する一時記憶スペースを含んでもよい。
【0055】
例えば、処理部１２４は、例えば、中央処理装置（ＣＰＵ）、または他のプログラム可能な汎用または特定用途向けマイクロ制御装置（ＭＣＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブルコントローラ、特定用途向け集積回路（ＡＳＩＣ）、グラフィック処理ユニット（ＧＰＵ）、論理演算装置（ＡＬＵ）、複合プログラマブルロジックデバイス（ＣＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはその他同様のコンポーネントまたは上記のコンポーネントの組み合わせ、を含むことができる。
【0056】
第１の画像一時記憶部１２７および第２画像一時記憶部１２８は、別々に設けられた２つの記憶装置であってもよいし、第１の画像一時記憶部１２７および第２の画像一時記憶部１２８は統合して単一のメモリ装置としてもよい。例えば、第１の画像一時記憶部１２７および第２の画像一時記憶部１２８は、例えば、任意のタイプの固定または取り外し可能なランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、または複数のモジュール、さまざまなアプリケーション、または処理部１２４によって実行可能なさまざまなプログラムを格納する同様のコンポーネントまたは上記コンポーネントの組み合わせとしてもよい。
【0057】
例えば、慣性検出装置１２６は、例えば、加速度センサー、角速度センサー、磁気誘導センサー、加速度計、三軸ジャイロスコープ、六軸ジャイロスコープ、磁力計等または位置や角度の変化を検出するためのそれらの組み合わせとしてもよい。
【産業上の利用可能性】
【0058】
本発明の画像キャプチャ方法および画像キャプチャ装置は、無人航空機に適用することができる。
【符号の説明】
【0059】
１００：画像キャプチャシステム
１１０：オペレーティング装置
１２０：画像キャプチャ装置
１２１：主剛体
１２２：第１の画像キャプチャデバイス
１２３：第２の画像キャプチャデバイス
１２４：処理部
１２５：駆動部
１２６：慣性センサー
１２７：第１の画像一時記憶部
１２８：第２の画像一時記憶部
Ａ：局所領域
ｃｘ、ｃｙ、ｕ、ｖ：座標
Ｄ：距離
Ｉ１：検査領域画像
Ｉ２：局所領域画像
ＩＳ、ＣＳ：信号
ＯＡ：光軸
Ｐ１、Ｐ２、Ｐ３：位置
Ｓ１～Ｓ１３、Ｓ１０１～Ｓ１０３：ステップ
ＴＣ：画像平面座標系
Ｘ、Ｙ：軸
１１０：オペレーティング装置
１２０：画像キャプチャ装置
１２１：主剛体
１２２：第１の画像キャプチャデバイス
１２３：第２の画像キャプチャデバイス
１２４：処理部
１２５：駆動部
１２６：慣性センサー
１２７：第１の画像一時記憶部
１２８：第２の画像一時記憶部
Ａ：局所領域
ｃｘ、ｃｙ、ｕ、ｖ：座標
Ｄ：距離
Ｉ１：検査領域画像
Ｉ２：局所領域画像
ＩＳ、ＣＳ：信号
ＯＡ：光軸
Ｐ１、Ｐ２、Ｐ３：位置
Ｓ１～Ｓ１３、Ｓ１０１～Ｓ１０３：ステップ
ＴＣ：画像平面座標系
Ｘ、Ｙ：軸
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
