7585358 情報処理システム、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-08

(45)【発行日】2024-11-18

(54)【発明の名称】情報処理システム、方法及びプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241111BHJP

   H04N 5/222 20060101ALI20241111BHJP

   H04N 23/68 20230101ALI20241111BHJP

   H04N 7/18 20060101ALI20241111BHJP

【ＦＩ】

H04N23/60 500

H04N5/222 100

H04N23/68

H04N7/18 U

【請求項の数】 12

(21)【出願番号】P 2022580890

(86)(22)【出願日】2021-12-27

(86)【国際出願番号】 JP2021048571

(87)【国際公開番号】W WO2023127020

(87)【国際公開日】2023-07-06

【審査請求日】2023-03-09

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天グループ株式会社

(74)【代理人】

【識別番号】100145838

【弁理士】

【氏名又は名称】畑添 隆人

(74)【代理人】

【識別番号】100103137

【弁理士】

【氏名又は名称】稲葉 滋

(74)【代理人】

【識別番号】100216367

【弁理士】

【氏名又は名称】水谷 梨絵

(72)【発明者】

【氏名】武笠 知幸

(72)【発明者】

【氏名】中澤 満

【審査官】吉田 千裕

(56)【参考文献】

【文献】米国特許出願公開第２０１６／０２１６２４５（ＵＳ，Ａ１）

【文献】特開２０１９－１７９１８８（ＪＰ，Ａ）

【文献】特開２００１－３２０６２１（ＪＰ，Ａ）

【文献】中国特許出願公開第１１２５８０６８３（ＣＮ，Ａ）

【文献】中国特許出願公開第１０９４４３３５９（ＣＮ，Ａ）

【文献】特開２０１４－１６０４０５（ＪＰ，Ａ）

【文献】国際公開第２００９／０９３５８７（ＷＯ，Ａ１）

【文献】特開２０１１－１７４７３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ５／２２２

Ｈ０４Ｎ ２３／６８

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

航空機に搭載された撮像装置によって飛行中に撮像された撮像画像を取得する撮像画像取得手段と、
前記航空機に搭載されたセンサを用いて検出された関連情報を取得する関連情報取得手段と、
時系列に沿って連続して撮像された複数の前記撮像画像を解析することで、撮像の際の前記航空機又は前記撮像装置の時系列に沿った動き情報を取得し、且つ、時系列に沿って連続して取得された前記関連情報を解析することで、検出の際の前記航空機又は前記撮像装置の時系列に沿った動き情報を取得するデータ解析手段と、
前記撮像画像を解析することで取得された動き情報と前記関連情報を解析することで取得された動き情報とをマッチングすることで、前記撮像画像と同時又は近似する時点において取得された前記関連情報を特定する関連情報特定手段と、
前記関連情報として取得された、前記航空機又は前記撮像装置の姿勢に関する情報に基づいて、地球を基準とした前記撮像画像中の方向情報を取得する方向情報取得手段であって、前記関連情報特定手段によって特定された、前記撮像画像と同時又は近似する時点において取得された前記関連情報に基づいて、前記方向情報を取得する、方向情報取得手段と、
前記関連情報を用いて得られた前記方向情報に基づいて前記撮像画像を補正することで、画像が正立した状態における所定方向と画像中の基準方向とが一致した補正画像を得る画像補正手段と、を備え、
前記関連情報特定手段は、前記撮像画像を解析することで取得された動き情報に含まれるパラメータの第一のシークエンス、及び前記関連情報を解析することで取得された動き情報に含まれるパラメータの第二のシークエンスを、過去に取得された関連情報を用いて学習済みの機械学習モデル又は統計モデルに基づいて補間し、補間された前記第一のシークエンスと前記第二のシークエンスとを比較することでシークエンス同士の対応付けであるシークエンスアラインメントを作成し、作成された該シークエンスアラインメントに基づいてマッチングを行うことで、前記撮像画像と同時又は近似する時点において取得された前記関連情報を特定する、
情報処理システム。

【請求項2】

前記画像補正手段は、前記方向情報に基づいて前記撮像画像を回転することで、画像が正立した状態における所定方向と画像中の所定の方位とが一致した補正画像を得る、
請求項１に記載の情報処理システム。

【請求項3】

前記画像補正手段は、前記方向情報に基づいて前記撮像画像を回転することで、画像が正立した状態における所定方向と画像中の北とが一致した補正画像を得る、
請求項２に記載の情報処理システム。

【請求項4】

前記画像補正手段は、前記方向情報に基づいて前記撮像画像を回転することで、画像が正立した状態における所定方向と画像中の鉛直方向とが一致した補正画像を得る、
請求項１に記載の情報処理システム。

【請求項5】

前記関連情報取得手段は、前記関連情報として、前記航空機に搭載された少なくとも１種類の三軸センサにより検出された三次元情報を取得する、
請求項１から４のいずれか一項に記載の情報処理システム。

【請求項6】

前記データ解析手段によって取得された動き情報に基づいて、撮像時点における前記撮像装置の状態が静止状態に近い撮像画像を選択する撮像画像選択手段を更に備え、
前記画像補正手段は、選択された撮像画像を補正することで前記補正画像を得る、
請求項１に記載の情報処理システム。

【請求項7】

前記関連情報として取得された、前記航空機の飛行位置を示す位置情報に基づいて、前記撮像画像に対応する衛星画像を取得する衛星画像取得手段と、
前記衛星画像中の特徴と前記撮像画像中の特徴とを検出して比較することで、前記衛星画像及び前記撮像画像の両方において撮像されている対応する特徴を検出する画像比較手段と、を更に備え、
前記画像補正手段は、前記対応する特徴の画像中の位置が前記衛星画像中の位置と一致又は近似するように前記撮像画像を補正することで、画像が正立した状態における所定方向と画像中の基準方向とが一致した補正画像を得る、
請求項１に記載の情報処理システム。

【請求項8】

前記衛星画像と前記撮像画像とのパースが一致又は近似するように、該衛星画像及び／又は該撮像画像を補正するパース補正手段を更に備え、
前記画像比較手段は、前記パース補正手段による補正後の前記衛星画像及び／又は前記撮像画像を用いて、前記対応する特徴を検出する、
請求項７に記載の情報処理システム。

【請求項9】

前記パース補正手段は、前記撮像画像における撮像ポイントから撮像対象までの距離を推測し、推測された該距離に基づいて、前記衛星画像及び／又は前記撮像画像を補正する、
請求項８に記載の情報処理システム。

【請求項10】

前記パース補正手段は、前記撮像画像における撮像対象の形状を推定し、推定された該形状に基づいて、前記衛星画像及び／又は前記撮像画像を補正する、
請求項８に記載の情報処理システム。

【請求項11】

コンピュータが、
航空機に搭載された撮像装置によって飛行中に撮像された撮像画像を取得する撮像画像取得ステップと、
前記航空機に搭載されたセンサを用いて検出された関連情報を取得する関連情報取得ステップと、
時系列に沿って連続して撮像された複数の前記撮像画像を解析することで、撮像の際の前記航空機又は前記撮像装置の時系列に沿った動き情報を取得し、且つ、時系列に沿って連続して取得された前記関連情報を解析することで、検出の際の前記航空機又は前記撮像装置の時系列に沿った動き情報を取得するデータ解析ステップと、
前記撮像画像を解析することで取得された動き情報と前記関連情報を解析することで取得された動き情報とをマッチングすることで、前記撮像画像と同時又は近似する時点において取得された前記関連情報を特定する関連情報特定ステップと、
前記関連情報として取得された、前記航空機又は前記撮像装置の姿勢に関する情報に基づいて、地球を基準とした前記撮像画像中の方向情報を取得する方向情報取得ステップであって、前記関連情報特定ステップにおいて特定された、前記撮像画像と同時又は近似する時点において取得された前記関連情報に基づいて、前記方向情報を取得する、方向情報取得ステップと、
前記関連情報を用いて得られた前記方向情報に基づいて前記撮像画像を補正することで、画像が正立した状態における所定方向と画像中の基準方向とが一致した補正画像を得る画像補正ステップと、を実行し、
前記関連情報特定ステップでは、前記撮像画像を解析することで取得された動き情報に含まれるパラメータの第一のシークエンス、及び前記関連情報を解析することで取得された動き情報に含まれるパラメータの第二のシークエンスを、過去に取得された関連情報を用いて学習済みの機械学習モデル又は統計モデルに基づいて補間し、補間された前記第一のシークエンスと前記第二のシークエンスとを比較することでシークエンス同士の対応付けであるシークエンスアラインメントを作成し、作成された該シークエンスアラインメントに基づいてマッチングを行うことで、前記撮像画像と同時又は近似する時点において取得された前記関連情報を特定する、
方法。

【請求項12】

コンピュータに、
航空機に搭載された撮像装置によって飛行中に撮像された撮像画像を取得する撮像画像取得ステップと、
前記航空機に搭載されたセンサを用いて検出された関連情報を取得する関連情報取得ステップと、
時系列に沿って連続して撮像された複数の前記撮像画像を解析することで、撮像の際の前記航空機又は前記撮像装置の時系列に沿った動き情報を取得し、且つ、時系列に沿って連続して取得された前記関連情報を解析することで、検出の際の前記航空機又は前記撮像装置の時系列に沿った動き情報を取得するデータ解析ステップと、
前記撮像画像を解析することで取得された動き情報と前記関連情報を解析することで取得された動き情報とをマッチングすることで、前記撮像画像と同時又は近似する時点において取得された前記関連情報を特定する関連情報特定ステップと、
前記関連情報として取得された、前記航空機又は前記撮像装置の姿勢に関する情報に基づいて、地球を基準とした前記撮像画像中の方向情報を取得する方向情報取得ステップであって、前記関連情報特定ステップにおいて特定された、前記撮像画像と同時又は近似する時点において取得された前記関連情報に基づいて、前記方向情報を取得する、方向情報取得ステップと、
前記関連情報を用いて得られた前記方向情報に基づいて前記撮像画像を補正することで、画像が正立した状態における所定方向と画像中の基準方向とが一致した補正画像を得る画像補正ステップと、を実行させ、
前記関連情報特定ステップでは、前記撮像画像を解析することで取得された動き情報に含まれるパラメータの第一のシークエンス、及び前記関連情報を解析することで取得された動き情報に含まれるパラメータの第二のシークエンスを、過去に取得された関連情報を用いて学習済みの機械学習モデル又は統計モデルに基づいて補間し、補間された前記第一のシークエンスと前記第二のシークエンスとを比較することでシークエンス同士の対応付けであるシークエンスアラインメントを作成し、作成された該シークエンスアラインメントに基づいてマッチングを行うことで、前記撮像画像と同時又は近似する時点において取得された前記関連情報を特定する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理技術に関する。

【背景技術】

【0002】

従来、光学センサ及び三軸センサから取得された検出値を用いてドローンの姿勢制御を行う技術が提案されている（特許文献１を参照）。また、機械学習モデルを用いて検出された対象に指向方向を有するボックス境界を適用することで当該対象の指向方向を推定する技術が提案されている（非特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６９３４１１６号公報

【非特許文献】

【0004】

【文献】Jingru Yi、他、「Oriented Object Detection in Aerial Images with Box Boundary-Aware Vectors」、ＷＡＣＶ２０２１、ｐ．２１５０－２１５９

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来、ドローン等の航空機を用いた空撮が行われているが、空撮では撮像の際に撮像方向を所望の方向に合わせる手間が必要であり、また、撮像の際に撮像方向を所望の方向に合わせて撮像したとしても、飛行中の撮像であるために機体の振動やセンサーの誤差、突風等様々な要因で撮像画像の方向と所望の方向とがずれてしまう可能性がある。

【0006】

本開示は、上記した問題に鑑み、飛行中に撮像された撮影画像の向き補正を行うことを課題とする。

【課題を解決するための手段】

【0007】

本開示の一例は、航空機に搭載された撮像装置によって飛行中に撮像された撮像画像を取得する撮像画像取得手段と、前記航空機に搭載されたセンサを用いて検出された情報を取得する関連情報取得手段と、前記関連情報を用いて得られた情報に基づいて前記撮像画像を補正することで、画像が正立した状態における所定方向と画像中の基準方向とが一致した補正画像を得る画像補正手段と、を備える情報処理システムである。

【0008】

本開示は、情報処理装置、システム、コンピュータによって実行される方法又はコンピュータに実行させるプログラムとして把握することが可能である。また、本開示は、そのようなプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものとしても把握できる。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的又は化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。

【発明の効果】

【0009】

本開示によれば、飛行中に撮像された撮影画像の向き補正を行うことが可能となる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係るシステムの構成を示す概略図である。

【図2】実施形態に係る情報処理装置の機能構成の概略を示す図である。

【図3】実施形態に係る、アノテーションが付された画像の例を示す図である。

【図4】実施形態において、画像において特定された領域を示す図である。

【図5】実施形態においてアノテーションが補正された画像の例を示す図である。

【図6】実施形態において取得された撮像画像中の方向情報の例を示す図である。

【図7】実施形態において撮像画像が回転補正されることによって得られた補正画像の例を示す図である。

【図8】実施形態に係るアノテーション補正処理の流れを示すフローチャートである。

【図9】実施形態に係るデータ拡張処理の流れを示すフローチャートである。

【図10】実施形態に係る機械学習処理の流れを示すフローチャートである。

【図11】実施形態に係る状態判定処理の流れを示すフローチャートである。

【図12】実施形態における処理対象のトップビュー画像における方位角（ａｚｉｍｕｔｈ）算出の概要を示す図である。

【図13】実施形態における処理対象のサイドビュー画像における傾き（ｔｉｌｔ）算出の概要を示す図である。

【図14】実施形態に係る画像補正処理の流れを示すフローチャートである。

【図15】バリエーションに係る情報処理装置の機能構成の概略を示す図である。

【図16】バリエーションに係る情報処理装置の機能構成の概略を示す図である。

【図17】バリエーションに係る画像補正処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本開示に係るシステム、情報処理装置、方法およびプログラムの実施の形態を、図面に基づいて説明する。但し、以下に説明する実施の形態は、実施形態を例示するものであって、本開示に係るシステム、情報処理装置、方法およびプログラムを以下に説明する具体的構成に限定するものではない。実施にあたっては、実施の態様に応じた具体的構成が適宜採用され、また、種々の改良や変形が行われてよい。

【0012】

本実施形態では、本開示に係る技術を、ドローンを用いて空撮された画像を用いてモバイル基地局のアンテナ装置の設置状態を確認するシステムのために実施した場合の実施の形態について説明する。但し、本開示に係る技術は、撮影画像の向き補正を行う技術のために広く用いることが可能であり、本開示の適用対象は、実施形態において示した例に限定されない。

【0013】

近年、ドローン等の航空機を用いた空撮が行われているが、空撮では撮像の際に撮像方向を所望の方向に合わせる手間が必要であり、また、撮像の際に撮像方向を所望の方向に合わせて撮像したとしても、飛行中の撮像であるために機体の振動やセンサーの誤差、突風等様々な要因で撮像画像の方向と所望の方向とがずれてしまうことがあった。そして、このようなずれが生じた場合、人手で撮像画像の補正を行う手間も生じてしまう。

【0014】

このような状況に鑑み、本実施形態に係るシステム、情報処理装置、方法およびプログラムでは、撮像時のセンサ出力情報又は衛星画像を参照してドローン等の航空機によって飛行中に撮像された撮影画像の向き補正を行うこととしている。

【0015】

＜システムの構成＞
図１は、本実施形態に係るシステムの構成を示す概略図である。本実施形態に係るシステムは、ネットワークに接続されることで互いに通信可能な情報処理装置１と、ドローン８と、ユーザ端末９とを備える。

【0016】

情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置１４、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等の通信ユニット１５、等を備えるコンピュータである。但し、情報処理装置１の具体的なハードウェア構成に関しては、実施の態様に応じて適宜省略や置換、追加が可能である。また、情報処理装置１は、単一の筐体からなる装置に限定されない。情報処理装置１は、所謂クラウドや分散コンピューティングの技術等を用いた、複数の装置によって実現されてよい。

【0017】

ドローン８は、外部からの入力信号及び／又は装置に記録されたプログラムに応じて飛行が制御される小型の無人航空機であり、プロペラ、モーター、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、通信ユニット、入力装置、出力装置等（図示は省略する）を備える。但し、ドローン８の具体的なハードウェア構成に関しては、実施の態様に応じて適宜省略や置換、追加が可能である。また、本実施形態にかかるドローン８は、撮像装置８１を備えており、所定の対象（本実施形態では、アンテナ装置）周辺を飛行する際に、外部からの入力信号及び／又は装置に記録されたプログラムに応じて対象の撮像を行う。本実施形態において、撮像画像は、モバイル基地局のアンテナ装置の設置状態のうち、主にアンテナの向きを確認するために取得される。このため、ドローン８及び撮像装置８１は、アンテナ装置の真上からアンテナ装置を撮像可能な位置及び姿勢に制御されて撮像を行うことでアンテナ装置を真上から見た画像（所謂トップビュー）を取得し、また、アンテナ装置の真横からアンテナ装置を撮像可能な位置及び姿勢に制御されて撮像を行うことでアンテナ装置を真横から見た画像（所謂サイドビュー）を得る。なお、撮像装置８１は、イメージセンサを備えるカメラであってよく、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサ等を備える深度カメラであってもよい。

【0018】

また、撮像によって得られた画像のデータには、メタデータとして、画像が撮像された際にドローン８又は撮像装置８１に搭載された各種装置から出力されたデータが含まれていてもよい。ここで、ドローン８又は撮像装置８１に搭載された各種装置には、例えば、三軸加速度センサ、三軸角速度センサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）装置、及び方位センサ（例えば、世界座標における姿勢としてのロール角、ヨー角及びピッチ角を出力するコンパス。）等が挙げられる。そして、各種装置から出力されたデータには、例えば、各軸の加速度、各軸の角速度、位置情報及び方角等が含まれてよい。このようなメタデータを画像データに付加する手法としては、ＥＸＩＦ（ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）が知られているが、メタデータを画像データに付加する具体的な手法は限定されない。

【0019】

ユーザ端末９は、ユーザによって使用される端末装置である。ユーザ端末９は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、通信ユニット、入力装置、出力装置等（図示は省略する）を備えるコンピュータである。但し、ユーザ端末９の具体的なハードウェア構成に関しては、実施の態様に応じて適宜省略や置換、追加が可能である。また、ユーザ端末９は、単一の筐体からなる装置に限定されない。ユーザ端末９は、所謂クラウドや分散コンピューティングの技術等を用いた、複数の装置によって実現されてよい。ユーザは、これらのユーザ端末９を介して、画像にアノテーションを付すことによる教師データの作成、ドローン８を用いて撮像された画像の情報処理装置１への転送、等を行う。なお、本実施形態におけるアノテーションとは、アノテーションという行為だけでなく、アノテーションにより画像に付された１以上の点（キーポイント）、ラベル、等を指す。

【0020】

図２は、本実施形態に係る情報処理装置１の機能構成の概略を示す図である。情報処理装置１は、記憶装置１４に記録されているプログラムが、ＲＡＭ１３に読み出され、ＣＰＵ１１によって実行されて、情報処理装置１に備えられた各ハードウェアが制御されることで、アノテーション画像取得部２１、領域特定部２２、エッジ検出部２３、推定部２４、アノテーション補正部２５、調整画像生成部２６、機械学習部２７、処理対象取得部２８、対象検出部２９、角度算出部３０、撮像画像取得部３１、関連情報取得部３２、データ解析部３３、撮像画像選択部３４、関連情報特定部３５、方向情報取得部３６及び画像補正部３７を備える情報処理装置として機能する。なお、本実施形態及び後述する他の実施形態では、情報処理装置１の備える各機能は、汎用プロセッサであるＣＰＵ１１によって実行されるが、これらの機能の一部又は全部は、１又は複数の専用プロセッサによって実行されてもよい。

【0021】

アノテーション画像取得部２１は、機械学習のための教師データとして用いられる画像であって、画像中の所定の対象（本実施形態では、アンテナ装置）が示された位置を示すための１又は複数のアノテーションが付された画像を取得する。

【0022】

図３は、本実施形態に係る、アノテーションが付された、教師データとして用いられる画像の例を示す図である。本実施形態において、教師データは、飛行中のドローン８を用いた空撮によって得られた画像から屋外の電柱や鉄塔等の構造物に設置された携帯電話網用のアンテナ装置を検出するための学習モデルを生成及び／又は更新するために用いられる。このため、画像には、アンテナ装置の位置を示すためのアノテーションが予め付されている。図３に示された例では、基地局の支柱（ポール）に設置されたアンテナ装置を上空から見下ろして（略鉛直方向に向かって）撮像することによって得られた画像において、アンテナ装置を構成する３つの箱状の部材の輪郭（換言すれば、アンテナ装置と背景との境界）に、アノテーションとして複数の点が付されている（図３では視認性を考慮して点の位置を円で示しているが、アノテーションがなされている位置は円の中心である）。なお、本実施形態では、アノテーションが画像中の位置を示す点として付される例について説明したが、アノテーションは、画像中の所定の対象が撮像された領域を示すことが出来るものであればよく、アノテーションの表現形態は限定されない。アノテーションは、例えば画像中に付された直線、曲線、図形、塗りつぶし等であってよい。

【0023】

領域特定部２２は、画像における、１又は複数のアノテーションが所定の基準を満たす領域を特定する。所定の基準としては、画像における、アノテーションの密度、アノテーションの位置、アノテーション同士の位置関係、及びアノテーションの並び等のうち少なくともいずれか１つ以上を用いることが可能である。例えば、領域特定部２２は、画像における、面積に対するアノテーションの量が所定の基準を満たす領域を特定してよい。また、例えば、領域特定部２２は、複数のアノテーションの位置が所定の関係にある領域を特定してもよい。

【0024】

図４は、本実施形態において、画像において特定された所定の基準を満たす領域を示す図である。図４に示された例によれば、画像全体ではなく、１又は複数のアノテーションが所定の基準を満たす領域が特定されていることで、後述するエッジ検出の対象とすべき領域が限定され、画像全体においてエッジ検出を行う場合に比べてエッジ検出のための処理負荷を軽減できることが分かる。ここで、領域を特定する方法は限定されないが、以下に、領域を特定するための具体的な方法を例示する。

【0025】

はじめに、画像における、面積に対するアノテーションの量が所定の基準を満たす領域を特定するための方法の例を説明する。例えば、領域特定部２２は、画像中のアノテーションの一部又は全部による組み合わせ（図４に示す例では、近接する４つのアノテーションの組み合わせ）毎に、これらのアノテーションを結ぶことで形成される領域の重心と、これらのアノテーションの密度が所定密度を下回らない面積（面積には、例えば画素数が用いられてよい）とを算出し、重心を例えば中心となるよう含み当該面積を有する領域を設定することで、面積に対するアノテーションの量が所定の基準を満たす領域を特定することが出来る。また、例えば、領域特定部２２は、画像中のアノテーションの一部又は全部による組み合わせ毎に、これらのアノテーションを含む外接矩形を設定し、この矩形の領域を、矩形の面積とアノテーションの数とを用いて算出されるアノテーションの密度が所定の閾値に達するまで上下左右に向けて広げることで、面積に対するアノテーションの量が所定の基準を満たす領域を特定することが出来る。但し、上記例示した方法は領域を特定するための手法の例であって、領域は、面積に対するアノテーションの量が所定の基準を満たすものであればよく、領域の特定にはその他の具体的手法が採用されてよい。

【0026】

次に、複数のアノテーションの位置が所定の関係にある領域を特定するための方法の例を説明する。例えば、領域特定部２２は、画像中のアノテーションの一部又は全部による組み合わせ毎に、組み合わせに含まれるアノテーションの位置関係を特定する。例えば、本実施形態に係る所定の対象であるアンテナ装置を構成する３つの箱状部材の夫々は、平面視において各辺が所定の長さの関係（比）を有する略多角形（図４に示す例では、四角形）の形状を有する。このため、領域特定部２２は、多角形の頂点の数（図４に示す例では、４）と同数のアノテーションからなるアノテーションの組み合わせの夫々について、組み合わせに含まれるアノテーションが予め設定された各辺が所定の長さの関係（比）を有する略多角形の頂点としての位置関係を有するか否かを判定することで、所定の領域を特定することが出来る。また、例えば、アノテーションの組み合わせの夫々について、複数のアノテーションがなす直線が互いに略並行または略直交するか否かを判定することで、所定の領域を特定してもよい。但し、上記例示した方法は領域を特定するための手法の例であって、領域は、当該領域に係るアノテーションの位置が所定の関係にあるものであればよく、領域の特定にはその他の具体的手法が採用されてよい。また、本実施形態では、矩形の領域を特定する例を説明したが、領域の形状は限定されず、例えば円形であってもよい。

【0027】

エッジ検出部２３は、特定された領域又は当該領域に基づいて設定された範囲において優先的にエッジ検出を行う。即ち、エッジ検出部２３は、領域特定部２２によって特定された領域をそのまま用いてもよいし、当該領域に基づいて異なる範囲を設定し（例えば、マージンを設定する等）、この範囲を用いてもよい。エッジ検出には、従来用いられているエッジ検出法、及び将来考案されるエッジ検出法から適切なものが選択されて用いられてよいため、説明を省略する。従来知られているエッジ検出手法には、例えば勾配法、Ｓｏｂｅｌ法、Ｌａｐｌａｃｉａｎ法、Ｃａｎｎｙ法、等があるが、採用可能なエッジ検出法や採用可能なフィルタは限定されない。

【0028】

推定部２４は、検出されたエッジに基づいて、アノテーションが意図されていた位置を推定する。推定部２４は、アノテーションの位置の周辺において検出されたエッジを参照して、アノテーションが意図されていた位置を推定する。より具体的には、例えば、推定部２４は、領域内において検出されたエッジのうち、アノテーションに最も近い位置を、アノテーションが意図されていた位置として推定してよい。また、例えば、推定部２４は、領域内において検出されたエッジのうち、所定の特徴を有する位置を、アノテーションが意図されていた位置として推定してよい。ここで、所定の特徴を有する位置としては、エッジの線が交差する位置、エッジの線が角をなす位置、又はエッジの線が所定の形状を有している位置、等が例示される。

【0029】

アノテーション補正部２５は、アノテーションの位置を、推定部２４によって推定された位置に移動させることで、アノテーションを、検出されたエッジに沿うように補正する。上述の通り、推定部２４によって推定された位置は、例えば、領域内において検出されたエッジのうち、アノテーションに最も近い位置、エッジの線が交差する位置、エッジの線が角をなす位置、又はエッジの線が所定の形状を有している位置、等である。このようにすることで、アノテーションの位置を、本来アノテータにより意図されていたと考えられる画像中の所定の対象の輪郭（換言すれば、背景との境界）に補正することが出来る。

【0030】

図５は、本実施形態においてアノテーションが補正された画像の例を示す図である。図５に示された例によれば、図３においてエッジからずれた位置に付されていたアノテーションの位置が補正され、所定の対象（本実施形態では、アンテナ装置）の輪郭（換言すれば、背景との境界）に正しくアノテーションが付されていることが分かる。

【0031】

調整画像生成部２６は、画像のパラメータが調整された調整画像を生成する。ここで、調整画像生成部２６は、所定の対象の検出が困難となるように画像のパラメータが調整された調整画像を生成する。所定の対象の検出が困難となるような調整方法としては、例えば、所定の対象（本実施形態では、アンテナ装置）が撮像されている画素と当該所定の対象の背景（例えば、地面やビル、植物、地上の構造物等）が撮像されている画素とが各画素のパラメータにおいて近似又は同一となるような（換言すれば、所定の対象の色が背景色に対して保護色となるような）調整が挙げられる。ここで、調整画像生成部２６は、画像のパラメータのうち、画像の明るさ、露出、ホワイトバランス、色相、彩度、明度、シャープ、ノイズ、及びコントラスト等のうち少なくともいずれかに関係するパラメータが調整された調整画像を生成してよい。

【0032】

また、調整画像生成部２６は、一の画像に基づいて、互いに異なる複数の調整画像を生成してもよい。即ち、調整画像生成部２６は、画像のパラメータが調整された第一の調整画像と、画像のパラメータが第一の調整画像とは異なるように調整された第二の調整画像とを生成してよい。この際、複数生成される調整画像には、同一種類のパラメータについて夫々異なる程度の調整が施された調整画像、及び／又は夫々異なる種類のパラメータについて調整が施された調整画像、が含まれてよい。なお、当該複数の調整画像の夫々には、同一の複数のアノテーションが付されていてよい。当該アノテーションは当該一の画像のエッジ検出を経て補正されたアノテーションであってよく、何れかの調整画像のエッジ検出を経て補正されたアノテーションであってよい。エッジ検出部２３は、調整画像生成部２６により生成された調整画像のエッジ検出を行ってもよい。推定部２４は、調整画像において検出されたエッジのうち、アノテーションに最も近い位置を、アノテーションが意図されていた位置として推定してもよい。ここで、調整画像生成部２６により生成された調整画像においてエッジの線が所定の位置関係等の特徴を呈した場合、その調整画像で検出されたエッジのうち、アノテーションに最も近い位置を、アノテーションが意図されていた位置として推定してよい。

【0033】

機械学習部２７は、アノテーション補正部２５によって補正された画像、及び／又は調整画像を含む教師データを用いた機械学習を実行することで、画像中の所定の対象を検出するための学習モデルを生成する。例えば、本実施形態では、後述する角度算出部３０においても例示するように、ＰｙＴｏｒｃｈライブラリを使用した教師あり機械学習を用いた、画像中の所定の対象を検出するための学習モデル生成を例示する（非特許文献１を参照）。但し、機械学習には、従来用いられている機械学習アルゴリズム、及び将来考案される機械学習アルゴリズムから適切なものが選択されて用いられてよいため、説明を省略する。

【0034】

ここで、機械学習部２７によって教師データとして用いられる画像は、画像中の所定の対象が示された位置を示すための１又は複数のアノテーションが付された画像であればよく、教師データとして用いられる画像の種類は限定されない。機械学習部２７は、アノテーション画像取得部２１によって取得されたままの画像、アノテーション補正部２５によって補正された画像、調整画像生成部２６によって生成された調整画像、アノテーション補正部２５によって補正された画像に基づいて調整画像生成部２６によって生成された調整画像、等を教師データとして用いることが出来る。また、上述のように、調整画像として、一の画像に基づいて生成された互いに異なる複数の調整画像、即ち、第一の調整画像及び第二の調整画像を含む教師データが用いられてよい。なお、教師データとして用いられる画像及び調整画像の夫々は、同一の複数のアノテーションが付されていてよい。

【0035】

処理対象取得部２８は、処理対象画像を取得する。本実施形態において、処理対象画像は、飛行中のドローン８に搭載された撮像装置８１を用いて空撮された画像である。但し、処理対象画像は画像中の所定の対象を検出したい画像であればよく、ＲＧＢ画像であってよく、深度画像であってよく、処理対象画像の種類は限定されない。

【0036】

対象検出部２９は、機械学習部２７によって生成された、画像中の所定の対象を検出するための学習モデルを用いて、処理対象画像中の所定の対象を検出する。本実施形態において、対象検出部２９は、処理対象画像中の所定の対象として、屋外に設置されたアンテナ装置を検出する。但し、対象検出部２９は、教師データとして用いられる画像及びアノテーションの対象に応じて様々な対象を画像中から検出することが可能であり、本開示に係る技術を用いて検出される所定の対象の種類は限定されない。また、検出された所定の対象は、通常、教師データに付されたアノテーションと同様の方法で特定される。即ち、アノテーションが所定の対象の輪郭を示す点であれば、対象検出部２９は、処理対象画像中の所定の対象を、当該所定の対象の輪郭に点を付すことで特定する。但し、所定の対象の特定方法が限定されず、アノテーションとは異なる方法で特定されてもよい。

【0037】

角度算出部３０は、検出された対象の、処理対象画像における所定の基準に対する角度を算出する。より具体的には、本実施形態において、角度算出部３０は、検出された対象の、処理対象画像における所定の方角、鉛直方向及び水平方向のいずれかに対する角度を算出する。ここで、角度算出部３０が角度を算出する方法は限定されないが、例えば、機械学習モデルによる検出（非特許文献１を参照）又は予め定義された対象形状との比較による検出等の手法を用いて対象の方向を検出し、検出された対象の方向と処理対象画像における基準方向とがなす角を算出する方法が採用されてよい。

【0038】

撮像画像取得部３１は、ドローン８に搭載された撮像装置８１によって飛行中に所定の撮像対象について撮像された、一連の複数の撮像画像を取得する。なお、複数の撮像画像に含まれる各撮像画像の撮像タイミングは限定されず、操作者によって任意に入力された撮像指示が受け付けられたタイミングで撮像されたものであってもよいし、あらかじめ設定された定期的なタイミング（例えば、１秒毎）で撮像されたものであってもよい。また、撮像画像は、動画として撮像されたものであってもよい。なお、飛行中の撮像画像を得るために用いられる装置は有人又は無人の、撮像装置を搭載して飛行可能な装置（航空機）であればよく、本実施形態において例示される所謂ドローンに限定されない。

【0039】

関連情報取得部３２は、関連情報として、ドローン８又は撮像装置８１の姿勢に関するセンサ出力データ、及びドローン８又は撮像装置８１の位置情報を取得する。上述の通り、本実施形態に係るドローン８又は撮像装置８１には、三軸加速度センサ、三軸角速度センサ、ＧＰＳ装置及び方位センサ等が搭載され、三次元情報及びドローン８の飛行位置を示す位置情報を含む関連情報が取得されるが、関連情報を取得するために用いられるセンサの種類及び組み合わせは、本実施形態における例示に限定されない。更に、関連情報取得部３２は、関連情報として、撮像画像の撮像時刻情報及び／又はセンサ出力データの検出時刻情報を取得してもよい。本実施形態において、これらの関連情報は、撮像画像データに付加されたメタデータ（ＥＸＩＦ等）を抽出することで取得される。

【0040】

データ解析部３３は、時系列に沿って連続して撮像された複数の撮像画像、又は時系列に沿って連続して取得された関連情報を解析することで、ドローン８又は撮像装置８１の時系列に沿った動き情報を取得する。例えば、データ解析部３３は、時系列に沿って連続して撮像された複数の撮像画像について、前後の撮像画像同士を比較し、撮像画像中の撮像対象の移動に関するパラメータ（例えば、時間的に前後して撮像された第一及び第二の撮像画像間で同一の対象が撮像されている位置が異なっている場合の、第一の撮像画像において当該対象が撮像されている位置から第二の撮像画像において当該対象が撮像されている位置へのベクトル）を計算することで、撮像画像に基づく動き情報（ここでは、動きの大きさ及び方向を示すパラメータ）を取得し、時系列上の各タイミングにおける装置の動きを数値化することが出来る。また、例えば、データ解析部３３は、時系列に沿って連続して取得された関連情報を参照して、三軸センサから出力された値や位置情報の移動、方位角の変化等を計算することで、関連情報に基づく動き情報（動きの大きさ及び方向（回転角を含む）を示すパラメータ）を取得し、時系列上の各タイミングにおける装置の動きを数値化することが出来る。なお、データ解析部３３は、連続して撮影された各撮像画像の特徴点を抽出することで、動き情報を取得してよい。ここで、データ解析部３３は、各撮像画像の特徴点にかかるマッチング等を行うことで、動き情報を取得してよい。

【0041】

この際、データ解析部３３は、撮像画像を解析することで撮像の際のドローン８又は撮像装置８１の動き情報を取得し、且つ、関連情報を解析することで検出の際のドローン８又は撮像装置８１の動き情報を取得してもよい。撮像画像に基づく動き情報と関連情報に基づく動き情報との双方を得るようにすることで、これらの複数種類の動き情報を対比することが可能となる。

【0042】

撮像画像選択部３４は、データ解析部３３によって取得された動き情報に基づいて、撮像時点における撮像装置８１の状態が静止状態に近い撮像画像を選択する。例えば、撮像画像選択部３４は、撮像画像のうち動きを示すパラメータが最も小さいものや所定の閾値未満であるものを選択することで、撮像時点における撮像装置８１の状態が静止状態に近い撮像画像を選択する。このようにすることで、後述する画像補正等の処理の対象として、ブレが少なく精細な撮像画像を選択することが出来る。

【0043】

関連情報特定部３５は、撮像画像と同時又は近似する時点において取得された関連情報（センサ出力データや位置情報等）を特定する。ここで、撮像画像に対応する関連情報を特定する方法は限定されず、例えば、単純に対象の撮像画像のデータに付加されたＥＸＩＦ情報等のメタデータを対応する関連情報として特定してもよいし、撮像画像に付された時刻情報と関連情報に付された時刻情報とを照合して最も近い時刻に係る関連情報を対応する関連情報として特定してもよい。但し、実際には、撮像画像の撮像タイミングと当該撮像画像に付されたメタデータの記録タイミングとがずれている場合や、撮像画像に付された時刻情報とセンサ出力データに付された時刻情報とがずれている場合がある。

【0044】

このため、本実施形態では、撮像画像を解析することで取得された動き情報と関連情報を解析することで取得された動き情報とを対比することで、撮像画像と同時又は近似する時点において取得された関連情報（以下、「撮像画像に対応する関連情報」）を特定することとしている。より詳細に説明すると、本実施形態では、データ解析部３３によって撮像画像に基づく動き情報と関連情報に基づく動き情報との双方を得ておき、撮像画像に基づく動き情報と関連情報に基づく動き情報とを対比し、動き情報から特定される動きの特徴が共通又は近似する撮像画像と関連情報とを同時点に係るものと推定する。ここで、動きの特徴には、例えば、ある時点における装置の急激な動きとして動き情報中のパラメータに表れるスパイクを用いることが出来るし、スパイク以外にも、特徴的なパラメータの動きが参照されてもよい。そして、関連情報特定部３５は、当該推定結果に基づいて、撮像画像に対応する関連情報を特定（マッチング）することが出来る。

【0045】

なお、撮像画像に対応する関連情報の特定（マッチング）にあたっては、動き情報の対比によって撮像画像と関連情報とを直接対応付けることで撮像画像に対応する関連情報を特定する方法が採用されてもよいし、対応すると推定された撮像画像に付された時刻情報と関連情報に付された時刻情報との差分をズレの長さとして推定し、推定されたズレの長さに基づいて撮像画像に対応する関連情報を特定する方法が採用されてもよい。具体的な例を挙げて説明すると、一連の複数の撮像画像のうち、撮像画像に基づく動き情報におけるある動きの特徴（スパイク等）に係る撮像画像に付されたタイムスタンプが１３時０１分００．００５秒であるが、関連情報に基づく動き情報において検出された共通又は近似する動きの特徴に係る関連情報がタイムスタンプ１３時０１分００．５０５秒の撮像画像に付された関連情報であったとする。この場合、当該一連の複数の撮像画像において、選択された撮像画像に対応する関連情報は、当該選択された撮像画像ではなく、０．５００秒後の撮像画像に付された関連情報であることが分かる。このとき、静止状態に近いとして撮像画像選択部３４によって選択された撮像画像が１３時０２分０３．４５６秒の撮像画像であった場合、関連情報特定部３５は、１３時０２分０３．９５６秒の撮像画像に付されたメタデータを、選択された撮像画像に対応する関連情報として特定する。

【0046】

また、プロセッサの処理負荷が変動する等の理由で、上記ズレの長さは時間の経過に応じて変化する（ズレの長さが一定でない）可能性がある。このため、撮像画像に対応する関連情報の特定（マッチング）にあたっては、系列同士の伸縮が無いと仮定した上記の手法に代えて、系列同士の伸縮を見越した対応づけ、例えば、動的計画法等の手法を用いてシークエンスアラインメントを作成する方法が採用されてよい。この場合、関連情報特定部３５は、撮像画像に基づく動き情報に含まれるパラメータのシークエンスと関連情報に基づく動き情報に含まれるパラメータのシークエンスとを比較することで作成されたシークエンスアラインメント（系列同士の対応付け）に基づいて、撮像画像に対応する関連情報を特定する。このような方法が採用されることで、ズレの長さが一定でない場合にも撮像画像と関連情報とを正しく対応付けることが出来る。なお、関連情報特定部３５は、撮像画像に基づく動き情報に含まれるパラメータのシークエンスと関連情報に基づく動き情報に含まれるパラメータのシークエンスとを互いに補間させてよい。また、関連情報特定部３５は、過去に取得された関連情報に基づきパラメータのシークエンスを補間してよい。このとき、関連情報特定部３５は、学習済みの機械学習モデルまたは統計モデルに基づき、シークエンスの補間を行ってよい。

【0047】

方向情報取得部３６は、関連情報として取得された、ドローン８又は撮像装置８１の姿勢に関する情報に基づいて、地球を基準とした撮像画像中の方向情報を取得する。ここで取得される方向情報は、測地学上の方向を示す情報であればよく、方位及び鉛直方向が含まれてよい。この際、方向情報取得部３６は、撮像画像に対応する関連情報（センサ出力データ及び／又は位置情報等）に基づいて、方向情報を取得する。センサ出力データや位置情報等に基づく方位や鉛直方向の取得には既知の算出手法等が用いられてよいため、説明を省略する。

【0048】

図６は、本実施形態において方向情報取得部３６によって取得された撮像画像中の方向情報の例を示す図である。図中に示された五角形の図形は撮像対象の構造物であり、図６の撮像画像は、当該撮像対象を上から撮像することで得られたトップビュー画像である。また、図中の矢印は撮像画像中の方向情報として取得された方位（ここでは、北）を示すものであり、画像として撮像されたものではない。

【0049】

画像補正部３７は、選択された撮像画像を方向情報に基づいて補正することで、画像が正立した状態における所定方向と画像中の基準方向とが一致した補正画像を得る。ここで、補正の具体的な方法としては例えば画像の回転が挙げられるが、画像補正のための具体的な手法は限定されず、その他の補正方法（例えば、アフィン変換等）が採用されてもよい。また、画像が正立した状態における所定方向には、画像の上方向等が採用されてよいし、画像中の基準方向には、所定の方位や鉛直方向、水平方向等が採用されてよい。例えば、撮像画像が対象を上から撮像したトップビュー画像である場合には、基準方向として所定の方位が採用されてよく、撮像画像が対象を横から撮像したサイドビュー画像である場合には、基準方向として鉛直方向や水平方向が採用されてよい。このようにすることで、画像が正立した状態の画像の上方向と撮像画像中の北とが一致した補正画像や、画像が正立した状態の画像の上方向と撮像画像中の鉛直方向とが一致した補正画像を得ることが出来る。なお、所定の方位としてはどのような方位が採用されてもよいが、例えば「北」がある。本実施形態では真北を例に説明するが、磁北であってもよい。真北と磁北とは、緯度経度に基づいて変換可能である。

【0050】

図７は、本実施形態において画像補正部３７によって撮像画像が回転補正されることによって得られた補正画像の例を示す図である。図７に示された例によれば、図６に示された撮像画像が方向情報に基づいて回転補正されることで、画像が正立した状態における上方向と画像中の基準方向である北とが一致した補正画像が得られることが分かる。

【0051】

＜処理の流れ＞
次に、本実施形態に係る情報処理装置１によって実行される処理の流れを説明する。なお、以下に説明する処理の具体的な内容及び処理順序は、本開示を実施するための一例である。具体的な処理内容及び処理順序は、本開示の実施の形態に応じて適宜選択されてよい。

【0052】

以下に説明するアノテーション補正処理、データ拡張処理及び機械学習処理を実行するにあたり、ユーザは、予めアノテーション付きの画像を含む教師データを準備する。本実施形態では、所定の対象として屋外に設置されたアンテナ装置を検出することを目的とするシステムにおいて本開示に係る技術を用いるため、アンテナ装置が写っている画像を含む複数の画像を入手する。なお、複数の画像にはアンテナ装置が写っていない画像が含まれていてもよい。そして、入手した複数の画像に、アンテナ装置の輪郭を示すアノテーションを付すことで、教師データを作成する。この際、画像にアノテーションを付す作業は、アノテータにより人手で行われてもよいし、自動的に行われてもよい。画像にアノテーションを付す処理の詳細については、従来のアノテーション支援技術が採用されてよいため、説明を省略する。

【0053】

図８は、本実施形態に係るアノテーション補正処理の流れを示すフローチャートである。本フローチャートに示された処理は、アノテーション付きの画像を含む教師データが準備され、ユーザによってアノテーション補正の指示が入力されたことを契機として実行される。

【0054】

ステップＳ１０１では、アノテーション付きの画像を含む教師データが取得される。アノテーション画像取得部２１は、画像中の所定の対象（本実施形態では、アンテナ装置）が示された位置を示すための１又は複数のアノテーションが付された画像を、教師データとして取得する。その後、処理はステップＳ１０２へ進む。

【0055】

ステップＳ１０２及びステップＳ１０３では、１又は複数のアノテーションが所定の基準を満たす領域が特定され、特定された領域等においてエッジが検出される。領域特定部２２は、ステップＳ１０１で得られた教師データ中の画像における、１又は複数のアノテーションが所定の基準を満たす領域を特定する（ステップＳ１０２）。そして、エッジ検出部２３は、ステップＳ１０２で特定された領域又は当該領域に基づいて設定された範囲においてエッジ検出を行う（ステップＳ１０３）。その後、処理はステップＳ１０４へ進む。

【0056】

ステップＳ１０４及びステップＳ１０５では、検出されたエッジに沿うように、アノテーションが補正される。推定部２４は、ステップＳ１０３で検出されたエッジに基づいて、アノテーションが意図されていた位置を推定する（ステップＳ１０４）。そして、アノテーション補正部２５は、アノテーションの位置を、ステップＳ１０４で推定された位置に移動させることで、アノテーションを、検出されたエッジに沿うように補正する（ステップＳ１０５）。その後、本フローチャートに示された処理は終了する。

【0057】

上記説明したアノテーション補正処理によれば、機械学習のための教師データとして用いられる画像に付されたアノテーションの補正処理の効率を向上させ、従来に比べて少ない処理負荷でアノテーションを補正することが可能となる。

【0058】

図９は、本実施形態に係るデータ拡張処理の流れを示すフローチャートである。本フローチャートに示された処理は、アノテーション付きの画像を含む教師データが準備され、ユーザによってデータ拡張の指示が入力されたことを契機として実行される。

【0059】

ステップＳ２０１では、アノテーション付きの画像を含む教師データが取得される。アノテーション画像取得部２１は、画像中の所定の対象（本実施形態では、アンテナ装置）が示された位置を示すための１又は複数のアノテーションが付された画像を、教師データとして取得する。なお、ここで取得されるアノテーション付きの画像は、図８を参照して説明したアノテーション補正処理によるアノテーション補正が適用された画像であることが好ましいが、アノテーション補正が適用されていない画像が取得されてもよい。その後、処理はステップＳ２０２へ進む。

【0060】

ステップＳ２０２及びステップＳ２０３では、１又は複数の調整画像が生成される。調整画像生成部２６は、ステップＳ２０１で取得された画像のパラメータが調整された調整画像を生成する（ステップＳ２０２）。調整画像が生成されると、ステップＳ２０１で取得された画像についての予め設定された全てのパターンの調整画像の生成が終了したか否かが判定され（ステップＳ２０３）、終了していない場合（ステップＳ２０３のＮＯ）、処理はステップＳ２０２へ戻る。即ち、調整画像生成部２６は、ステップＳ２０１で取得された一の画像に基づいて、パラメータ調整の内容を変更しながらステップＳ２０２の処理を繰り返し、互いに異なる複数の調整画像を生成する。予め設定された全てのパターンの調整画像の生成が終了した場合（ステップＳ２０３のＹＥＳ）、本フローチャートに示された処理は終了する。

【0061】

上記説明したデータ拡張処理によれば、アノテーション付き画像を用いた機械学習によって生成される学習モデルの性能を向上させるための手間を軽減することが可能となる。

【0062】

図１０は、本実施形態に係る機械学習処理の流れを示すフローチャートである。本フローチャートに示された処理は、アノテーション付きの画像を含む教師データが準備され、ユーザによって機械学習の指示が入力されたことを契機として実行される。

【0063】

ステップＳ３０１では、アノテーション付きの画像を含む教師データが取得される。アノテーション画像取得部２１は、画像中の所定の対象（本実施形態では、アンテナ装置）が示された位置を示すための１又は複数のアノテーションが付された画像を、教師データとして取得する。なお、ここで取得されるアノテーション付きの画像は、図８を参照して説明したアノテーション補正処理によるアノテーション補正が適用された画像、及び／又は図９を参照して説明したデータ拡張処理によって生成された調整画像であることが好ましいが、アノテーション補正及びパラメータ調整のいずれも施されていない画像が取得されてもよい。その後、処理はステップＳ３０２へ進む。

【0064】

ステップＳ３０２では、学習モデルが生成又は更新される。機械学習部２７は、ステップＳ３０１で取得された画像を含む教師データを用いた機械学習を実行することで、画像中の所定の対象（本実施形態では、アンテナ装置）を検出するための学習モデルを生成し、又は既存の学習モデルを更新する。その後、本フローチャートに示された処理は終了する。

【0065】

図１１は、本実施形態に係る状態判定処理の流れを示すフローチャートである。本フローチャートに示された処理は、処理対象画像の画像データが準備され、ユーザによって状態判定の指示が入力されたことを契機として実行される。

【0066】

ユーザは、飛行中のドローン８の撮像装置８１を用いて基地局のアンテナ装置を撮像し、得られた処理対象画像の画像データを情報処理装置１に入力する。この際、ユーザは、複数のアンテナ装置が１枚の処理対象画像に含まれるように撮影してもよい。複数のアンテナ装置が１枚の処理対象画像に含まれる場合、状態判定処理は、処理対象画像に含まれるアンテナ装置の領域毎に実行される。撮像方法及び画像データの情報処理装置１への入力方法は限定されないが、本実施形態では、撮像装置８１が搭載されたドローン８を用いて構造物に設置されたアンテナ装置が撮像され、撮像装置８１からユーザ端末９に通信または記録媒体を介して転送された画像データが更にネットワークを介して情報処理装置１に転送されることで、処理対象画像の画像データが情報処理装置１に入力される。

【0067】

ステップＳ４０１及びステップＳ４０２では、学習モデルを用いて処理対象画像中の所定の対象が検出される。処理対象取得部２８は、処理対象画像（本実施形態では、飛行中のドローン８に搭載された撮像装置８１を用いて空撮された画像）を取得する（ステップＳ４０１）。そして、対象検出部２９は、図１０を参照して説明した機械学習処理によって生成された学習モデルを用いて、ステップＳ４０１で取得された処理対象画像中の所定の対象（本実施形態では、アンテナ装置）を検出する（ステップＳ４０２）。その後、処理はステップＳ４０３へ進む。

【0068】

ステップＳ４０３及びステップＳ４０４では、検出された対象の傾きが算出される。角度算出部３０は、ステップＳ４０２で検出された対象の、処理対象画像における所定の基準に対する角度を算出する。

【0069】

図１２は、本実施形態における処理対象のトップビュー画像における方位角（ａｚｉｍｕｔｈ）算出の概要を示す図である。図１２は、角度算出部３０が、処理対象画像から検出されたアンテナ装置（所定の対象）の向きが、所定の基準である北方向（真北であってもよいし、磁北であってもよい）に対してなす角を算出する場合の概要を示している。はじめに、角度算出部３０は、処理対象画像中の基準方向（ここでは、北方向）を決定する（ステップＳ４０３）。本実施形態では、処理対象画像は、画像の真上方向が北方向となるように予め画像補正されているものとし、画像の真上方向を基準方向として決定する。但し、基準方向は、その他の方法で決定されてもよい。例えば、処理対象画像が画像の真上方向が北方向となるように画像補正された画像でない場合には、当該処理対象画像に付されたメタデータ（各軸の加速度、各軸の角速度、位置情報及び方角等）を参照する方法や当該処理対象画像と地図画像とを比較する方法によって、画像中の北方向を特定し、当該北方向を基準方向として決定してよい。また、基準方向には、北方向以外の方向が採用されてよい。例えば、基準方向として、所定の対象（本実施形態では、アンテナ装置）の設計上正しい設置方向、鉛直方向、水平方向、等が採用されてよい。

【0070】

そして、角度算出部３０は、検出されたアンテナ装置（所定の対象）の向きを決定する（ステップＳ４０４）。ここで、角度算出部３０が所定の対象の向きを決定する方法は限定されないが、例えば、機械学習モデルを用いて検出された対象に指向方向を有するボックス境界を適用することで当該対象の指向方向を推定する方法（非特許文献１を参照）や、予め定義されているアンテナ装置の形状と当該形状におけるアンテナ装置正面方向との組み合わせを読出し、検出されたアンテナ装置の輪郭に当てはめることで、検出されたアンテナ装置の正面方向を決定する方法、等が採用されてよい。そして、角度算出部３０は、決定された基準方向と決定されたアンテナ装置の正面方向とがなす角を算出する。図１２に示した例では、矢印付き細線で示された基準方向と、矢印付き太線で示されたアンテナ装置の正面方向とがなす角が算出される。また、上述の通り、基準方向には、方角の他、所定の対象の設計上正しい設置方向、鉛直方向、水平方向、等が採用されてよい。

【0071】

図１３は、本実施形態における処理対象のサイドビュー画像における傾き（ｔｉｌｔ）算出の概要を示す図である。図１３は、角度算出部３０が、処理対象画像から検出されたアンテナ装置（所定の対象）の傾きが、所定の基準である鉛直方向に対してなす角を算出する場合の概要を示している。はじめに、角度算出部３０は、処理対象画像中の基準方向（ここでは、鉛直方向）を決定する（ステップＳ４０３）。本実施形態では、画像中のセンターポールは鉛直方向に正しく設置されているものとし、センターポールの長手方向を基準方向として決定する。但し、基準方向は、その他の方法で決定されてもよい。例えば、当該処理対象画像に付されたメタデータ（各軸の加速度、各軸の角速度等）を参照する方法によって画像中の鉛直方向を特定し、当該鉛直方向を基準方向として決定してよい。このようにして、角度算出部３０は、所定の対象の方位角（ａｚｉｍｕｔｈ）や傾き（ｔｉｌｔ）等を算出することが出来る。その後、処理はステップＳ４０５へ進む。

【0072】

ステップＳ４０５では、所定の対象の状態が判定される。本実施形態において、情報処理装置１は、ステップＳ４０４で算出された角度が予め設定された所定の範囲内にあるか否かを判定することで、アンテナ装置の設置状態が正しい状態であるか否かを判定する。その後、本フローチャートに示された処理は終了し、判定結果はユーザに対して出力される。

【0073】

上記説明した状態判定処理によれば、基準方向に対する所定の対象の角度を得ることが出来、また、得られた角度を参照することで、所定の対象の状態（本実施形態では、アンテナ装置の設置状態）を判定することが可能となる。

【0074】

図１４は、本実施形態に係る画像補正処理の流れを示すフローチャートである。本フローチャートに示された処理は、ドローン８に搭載された撮像装置８１によって飛行中に撮像された撮像画像が、情報処理装置１に入力されたことを契機として実行される。本フローチャートに示された処理は、図１１を参照して上記説明した状態判定処理において入力される処理対象画像の画像データの準備として実行されてよい。

【0075】

ステップＳ５０１及びステップＳ５０２では、撮像画像及び関連情報が取得される。撮像画像取得部３１によって撮像画像が取得されると（ステップＳ５０１）、関連情報取得部３２は、関連情報として、ドローン８又は撮像装置８１に搭載されたＧＰＳからの位置情報、各種センサからのセンサ出力データ及び時刻情報等を取得する（ステップＳ５０２）。ここで、関連情報の取得方法は限定されず、関連情報は、撮像画像データに付加されたメタデータ（ＥＸＩＦ等）から取得されてもよいし、ドローン８の飛行ログから取得されてもよい。また、センサ出力データは、生データであってもよいし、センサ出力に基づく加工データであってもよい。その後、処理はステップＳ５０３へ進む。

【0076】

ステップＳ５０３及びステップＳ５０４では、撮像の際の動き情報が取得される。データ解析部３３は、ステップＳ５０１で得られた撮像画像を解析することでドローン８又は撮像装置８１の動き情報を取得し（ステップＳ５０３）、また、ステップＳ５０２で得られた関連情報（位置情報、センサ出力データ及び時刻情報等）を解析することでドローン８又は撮像装置８１の動き情報を取得する（ステップＳ５０４）。その後、処理はステップＳ５０５へ進む。

【0077】

ステップＳ５０５及びステップＳ５０６では、好適な状況で撮像された画像が選択され、当該画像に対応するセンサ出力データが特定される。撮像画像選択部３４は、ステップＳ５０３で得られた、撮像画像の解析による動き情報を参照することで、静止状態に近い状態で撮像された撮像画像を選択する（ステップＳ５０５）。そして、関連情報特定部３５は、ステップＳ５０３で得られた動き情報（撮像画像に基づく動き情報）とステップＳ５０４で得られた動き情報（関連情報に基づく動き情報）とを対比することで撮像画像と関連情報とを対応付け、ステップＳ５０５で選択された撮像画像に対応する関連情報（センサ出力データ）を特定する（ステップＳ５０６）。その後、処理はステップＳ５０７へ進む。

【0078】

ステップＳ５０７からステップＳ５０９では、撮像画像が補正される。方向情報取得部３６は、ステップＳ５０６で特定された関連情報（センサ出力データ）に基づいて、ステップＳ５０５で選択された撮像画像中の方向情報（方位及び／又は鉛直方向）を取得する（ステップＳ５０７）。そして、画像補正部３７は、ステップＳ５０５で選択された撮像画像をステップＳ５０７で得られた方向情報に基づいて補正することで、画像が正立した状態における上方向と画像中の基準方向（本実施形態では、北又は鉛直方向）とが一致した補正画像を得る（ステップＳ５０８）。情報処理装置１は、得られた補正画像を出力し（ステップＳ５０９）、本フローチャートに示された処理は終了する。

【0079】

＜バリエーション＞
上記説明した実施形態では、アノテーション補正処理、データ拡張処理、機械学習処理、状態判定処理及び画像補正処理を１の情報処理装置において実行する例について説明したが、これらの処理は夫々が分離されて別個の情報処理装置によって実行されてもよい。また、この際、情報処理装置１が備えるアノテーション画像取得部２１、領域特定部２２、エッジ検出部２３、推定部２４、アノテーション補正部２５、調整画像生成部２６、機械学習部２７、処理対象取得部２８、対象検出部２９、角度算出部３０、撮像画像取得部３１、関連情報取得部３２、データ解析部３３、撮像画像選択部３４、関連情報特定部３５、方向情報取得部３６及び画像補正部３７は、その一部が省略されてよい。

【0080】

図１５は、バリエーションに係る情報処理装置１ｄの機能構成の概略を示す図である。情報処理装置１ｄは、撮像画像取得部３１、関連情報取得部３２、データ解析部３３、撮像画像選択部３４、関連情報特定部３５、方向情報取得部３６及び画像補正部３７を備える情報処理装置として機能する。情報処理装置１ｃが備える各機能は、アノテーション画像取得部２１、領域特定部２２、エッジ検出部２３、推定部２４、アノテーション補正部２５、調整画像生成部２６、機械学習部２７、処理対象取得部２８、対象検出部２９及び角度算出部３０が省略されている点を除いて上記説明した実施形態と概略同様であるため、説明を省略する。

【0081】

また、上記実施形態では、撮像画像中の方向情報に基づいて撮像画像を補正する例について説明したが、撮像画像の補正は、衛星画像に基づいて行われてもよい。

【0082】

図１６は、バリエーションに係る情報処理装置１ｅの機能構成を示す図である。情報処理装置１ｅは、撮像画像取得部３１、関連情報取得部３２、データ解析部３３、撮像画像選択部３４、関連情報特定部３５、画像補正部３７ｂ、衛星画像取得部４１、パース補正部４２及び画像比較部４３を備える情報処理装置として機能する。情報処理装置１ｅが備える各機能のうち、撮像画像取得部３１、関連情報取得部３２、データ解析部３３、撮像画像選択部３４及び関連情報特定部３５の機能については、上記実施形態において説明したものと概略同様であるため、説明を省略する。但し、アノテーション補正処理、データ拡張処理、機械学習処理及び状態判定処理を１の情報処理装置において実行する場合には、これらの処理のための機能部（図２を参照）を更に備えてもよい（図示は省略する）。また、好適な撮像画像を選択する処理を省略する場合、データ解析部３３、撮像画像選択部３４及び関連情報特定部３５は省略されてよく、パースを補正する処理を省略する場合、パース補正部４２は省略されてよい。

【0083】

衛星画像取得部４１は、関連情報取得部３２によって関連情報として取得された位置情報に基づいて、撮像画像に対応する衛星画像を取得する。ここで、衛星画像は、インターネット又はプライベートなネットワークにおいて公開された地図情報サービスや衛星画像のライブラリ等から、位置情報（緯度経度等）を指定して取得されてよい。

【0084】

パース補正部４２は、衛星画像と撮像画像とのパースが一致又は近似するように、衛星画像及び／又は撮像画像を補正する。但し、衛星画像については、極端に大きなズーム値で撮像されており概ね平行投影（正投影）と見なすことができるため、本バリエーションに示す実施形態では、撮像画像を平行投影（正投影）又はそれに近似するようにパース補正することで衛星画像と撮像画像とのパースを一致又は近似させる例を説明する。例えば、パース補正部４２は、撮像画像における撮像ポイントから撮像対象までの距離を推測し、推測された距離に基づいて撮像画像を補正することが出来る。距離の推測には、センサ出力データに含まれる高度情報や対象までの距離情報が用いられてもよいし（例えば、ドローン８又は撮像装置８１が高度計やレーザー距離計等を搭載している場合には、関連情報として高度情報や距離情報を取得可能である。）、予め準備された距離推測のための機械学習モデルが用いられてもよい。また、例えば、パース補正部４２は、撮像画像における撮像対象の三次元形状を推定又は計測し、推定又は計測された三次元形状に基づいて撮像画像を平行投影画像又はズーム倍率の大きい望遠画像として描画し直すことで、撮像画像を補正することが出来る。例えば、ドローン８又は撮像装置８１がＬＩＤＡＲ等の三次元形状スキャナ等を搭載している場合には、関連情報として三次元形状情報を取得可能である。但し、ここで推定される形状は必ずしも完全なものである必要はない。三次元形状の推定には、予め準備された三次元形状推定のための機械学習モデルが用いられてよい。

【0085】

画像比較部４３は、衛星画像中の特徴と撮像画像中の特徴とを検出して比較することで、衛星画像及び撮像画像の両方において撮像されている対応する特徴を検出する。より詳細には、画像比較部４３は、衛星画像と撮像画像との間で対応する特徴として、長期間の時間経過によっても比較的変化しづらい構造物（例えば、道路等）を検出する。このような比較に適した構造物は、予め用意された機械学習モデルを用いて検出されてよい。なお、植生や車両等については、時間の経過に応じて変化する可能性が高いため、対応する特徴の候補としては優先度が低く設定されてよい。例えば、画像比較部４３は、衛星画像及び撮像画像の双方に対してエッジ検出を施して検出されたエッジの特徴量を算出し、算出された特徴量を比較する等の方法で、対応する特徴を検出することができる。但し、２画像間で対応する特徴を検出するための手法には、機械学習等、その他の手法が採用されてもよい。

【0086】

また、本実施形態において画像比較部４３は、パース補正部４２による補正後の衛星画像及び／又は撮像画像を用いて、対応する特徴を検出する。但し、パース補正が省略された場合には、撮像画像取得部３１によって得られた撮像画像がそのまま用いられる。

【0087】

画像補正部３７ｂは、対応する特徴の画像中の位置が衛星画像中の位置と一致又は近似するように撮像画像を補正することで、画像が正立した状態における所定方向と画像中の基準方向とが一致した補正画像を得る。ここで、補正の具体的な方法としては例えば画像の回転が挙げられるが、画像補正のための具体的な手法が限定されないことは、上記説明した実施形態と同様である。

【0088】

図１７は、バリエーションに係る画像補正処理の流れを示すフローチャートである。本フローチャートに示された処理は、ドローン８に搭載された撮像装置８１によって飛行中に撮像された撮像画像が、情報処理装置１に入力されたことを契機として実行される。本フローチャートに示された処理は、図１１を参照して上記説明した状態判定処理において入力される処理対象画像の画像データの準備として実行されてよい。

【0089】

ステップＳ６０１及びステップＳ６０２では、撮像画像及び関連情報が取得される。撮像画像取得部３１によって撮像画像が取得されると（ステップＳ６０１）、関連情報取得部３２は、関連情報として、ドローン８又は撮像装置８１に搭載されたＧＰＳからの位置情報、各種センサからのセンサ出力データ及び時刻情報等を取得する（ステップＳ６０２）。ここで、関連情報の取得方法は限定されず、関連情報は、撮像画像データに付加されたメタデータ（ＥＸＩＦ等）から取得されてもよいし、ドローン８の飛行ログから取得されてもよい。また、センサ出力データは、生データであってもよいし、センサ出力に基づく加工データであってもよい。その後、処理はステップＳ６０３へ進む。但し、上述のように、本バリエーションにおいてデータ解析部３３、撮像画像選択部３４及び関連情報特定部３５は省略されてよく、省略される場合、以下に説明するステップＳ６０３からステップＳ６０６の処理は省略され、処理はステップＳ６０７へ進む。

【0090】

ステップＳ６０３及びステップＳ６０４では、撮像の際の動き情報が取得される。データ解析部３３は、ステップＳ６０１で得られた撮像画像を解析することでドローン８又は撮像装置８１の動き情報を取得し（ステップＳ６０３）、また、ステップＳ６０２で得られた関連情報を解析することでドローン８又は撮像装置８１の動き情報を取得する（ステップＳ６０４）。その後、処理はステップＳ６０５へ進む。

【0091】

ステップＳ６０５及びステップＳ６０６では、好適な状況で撮像された画像が選択され、当該画像に対応する位置情報が特定される。撮像画像選択部３４は、ステップＳ６０３で得られた、撮像画像の解析による動き情報を参照することで、静止状態に近い状態で撮像された撮像画像を選択する（ステップＳ６０５）。そして、関連情報特定部３５は、ステップＳ６０３で得られた動き情報（撮像画像に基づく動き情報）とステップＳ６０４で得られた動き情報（関連情報に基づく動き情報）とを対比することで撮像画像と関連情報とを対応付け、ステップＳ６０５で選択された撮像画像に対応する関連情報（位置情報）を特定する（ステップＳ６０６）。その後、処理はステップＳ６０７へ進む。

【0092】

ステップＳ６０７では、衛星画像が取得される。衛星画像取得部４１は、ステップＳ６０６で特定された関連情報（位置情報）に基づいて、撮像画像に対応する衛星画像を取得する（ステップＳ６０７）。その後、処理はステップＳ６０８へ進む。但し、上述のように、本バリエーションにおいてパース補正部４２は省略されてよく、この場合、以下に説明するステップＳ６０８の処理は省略され、処理はステップＳ６０９へ進む。

【0093】

ステップＳ６０８では、画像のパースが補正される。パース補正部４２は、衛星画像と撮像画像とのパースが一致又は近似するように、衛星画像及び／又は撮像画像を補正する。パース補正のための画像処理の具体的な内容については、パース補正に用いられる情報（距離及び／又は三次元形状等）に応じて従来の手法が用いられてよいため、説明を省略する。なお、上述の通りパース補正は省略されてもよい。その後、処理はステップＳ６０９へ進む。

【0094】

ステップＳ６０９からステップＳ６１１では、衛星画像に基づいて撮像画像が補正される。画像比較部４３は、ステップＳ６０７で得られた衛星画像中の特徴とステップＳ６０１で得られた撮像画像中の特徴とを検出して比較することで、衛星画像及び撮像画像の両方において撮像されている対応する特徴を検出する（ステップＳ６０９）。なお、ここで用いられる画像は、ステップＳ６０８によるパース補正が施されたものであってよい。対応する特徴が検出されると、画像補正部３７ｂは、ステップＳ６０９で検出された対応する特徴の画像中の位置が衛星画像中の位置と一致又は近似するように撮像画像を補正（回転等）することで、画像が正立した状態における所定方向と画像中の基準方向（本実施形態では、北）とが一致した補正画像を得る（ステップＳ６１０）。情報処理装置１は、得られた補正画像（補正された撮像画像）を出力し（ステップＳ６１１）、本フローチャートに示された処理は終了する。

【0095】

また、上記説明した実施形態では、ドローン８を用いて空撮を行う例について説明したが、空撮にはその他の装置（航空機等）が用いられてもよい。

【符号の説明】

【0096】

１ 情報処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】