▶ 株式会社日本自動車部品総合研究所の特許一覧 ▶ 株式会社デンソーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023177525
(43)【公開日】2023-12-14
(54)【発明の名称】画像処理システム
(51)【国際特許分類】
H04N 23/60 20230101AFI20231207BHJP
G03B 15/00 20210101ALI20231207BHJP
G03B 7/091 20210101ALI20231207BHJP
B64C 39/02 20060101ALI20231207BHJP
B64D 47/08 20060101ALI20231207BHJP
【ＦＩ】
H04N5/232 300
H04N5/232 290
G03B15/00 V
G03B7/091
B64C39/02
B64D47/08
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022090251
(22)【出願日】2022-06-02
(71)【出願人】
【識別番号】000004695
【氏名又は名称】株式会社ＳＯＫＥＮ
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】110000578
【氏名又は名称】名古屋国際弁理士法人
(72)【発明者】
【氏名】篠田 圭介
(72)【発明者】
【氏名】古川 大貴
(72)【発明者】
【氏名】吉田 浩史
(72)【発明者】
【氏名】嶋田 凌太
【テーマコード（参考）】
2H002
5C122
【Ｆターム（参考）】
2H002GA66
5C122EA42
5C122FH11
5C122GA01
5C122GA23
5C122GD11
5C122HA03
5C122HA76
5C122HB01
(57)【要約】
【課題】移動体を用いて撮影対象を撮影する場合に、撮影対象の画像に関する作業を効率よく行うことができる技術を提供すること。
【解決手段】画像処理システム１は、移動体３に搭載されたカメラ２１によって撮影された撮影対象の画像に関する処理を行う。画像処理システム１は、カメラ記憶部２５と移動体記憶部１７とパソコン制御部３３とを備える。カメラ記憶部２５は、カメラ２１によって撮影された画像を記憶するように構成されている。移動体記憶部１７は、撮影条件として、撮影に関する時刻、カメラ２１の位置、カメラ２１の姿勢、カメラ２１の移動経路、のうち少なくとも１種の撮影条件を記憶するように構成されている。パソコン制御部３３は、撮影条件に基づいて、撮影部位を特定することが可能な識別子を設定し、識別子をカメラ記憶部２５から得られる画像に付与するように構成されている。
【選択図】図１
【解決手段】画像処理システム１は、移動体３に搭載されたカメラ２１によって撮影された撮影対象の画像に関する処理を行う。画像処理システム１は、カメラ記憶部２５と移動体記憶部１７とパソコン制御部３３とを備える。カメラ記憶部２５は、カメラ２１によって撮影された画像を記憶するように構成されている。移動体記憶部１７は、撮影条件として、撮影に関する時刻、カメラ２１の位置、カメラ２１の姿勢、カメラ２１の移動経路、のうち少なくとも１種の撮影条件を記憶するように構成されている。パソコン制御部３３は、撮影条件に基づいて、撮影部位を特定することが可能な識別子を設定し、識別子をカメラ記憶部２５から得られる画像に付与するように構成されている。
【選択図】図１
【特許請求の範囲】
【請求項1】
移動体（３）に搭載されたカメラ（２１）によって撮影された撮影対象の画像に関する処理を行う画像処理システム（１）であって、
前記カメラによって撮影された前記画像を記憶するように構成された画像記憶部（２５）と、
前記撮影の状態を規定する撮影条件を記憶するように構成された条件記憶部（１７）と、
前記条件記憶部から得られる前記撮影条件に基づいて、撮影部位を特定することが可能な識別情報を設定し、当該識別情報を前記画像記憶部から得られる前記画像に付与するように構成された情報付与部（３３）と、
を備えた、画像処理システム。
前記カメラによって撮影された前記画像を記憶するように構成された画像記憶部（２５）と、
前記撮影の状態を規定する撮影条件を記憶するように構成された条件記憶部（１７）と、
前記条件記憶部から得られる前記撮影条件に基づいて、撮影部位を特定することが可能な識別情報を設定し、当該識別情報を前記画像記憶部から得られる前記画像に付与するように構成された情報付与部（３３）と、
を備えた、画像処理システム。
【請求項2】
請求項１に記載の画像処理システムであって、
前記撮影条件は、前記撮影に関する時刻、前記カメラの位置、前記カメラの姿勢、前記カメラの移動経路、のうち、少なくとも１種である、
画像処理システム。
前記撮影条件は、前記撮影に関する時刻、前記カメラの位置、前記カメラの姿勢、前記カメラの移動経路、のうち、少なくとも１種である、
画像処理システム。
【請求項3】
請求項２に記載の画像処理システムであって、
前記撮影条件として、前記撮影の開始及び前記撮影の終了の時刻を記憶し、前記撮影の開始から前記撮影の終了までの期間に撮影された画像に対して、当該画像であることを示す前記識別情報を付与するように構成された、
画像処理システム。
前記撮影条件として、前記撮影の開始及び前記撮影の終了の時刻を記憶し、前記撮影の開始から前記撮影の終了までの期間に撮影された画像に対して、当該画像であることを示す前記識別情報を付与するように構成された、
画像処理システム。
【請求項4】
請求項１から請求項３までのいずれか１項に記載の画像処理システムであって、
前記移動体は、１以上の目標点座標によって構成される目標経路に沿って移動する機能を有しており、
前記移動体の前記目標点座標への到達時間と前記カメラの撮影時刻とに基づいて、前記目標経路に沿った前記撮影部位に対応した前記識別情報を付与するように構成された、
画像処理システム。
前記移動体は、１以上の目標点座標によって構成される目標経路に沿って移動する機能を有しており、
前記移動体の前記目標点座標への到達時間と前記カメラの撮影時刻とに基づいて、前記目標経路に沿った前記撮影部位に対応した前記識別情報を付与するように構成された、
画像処理システム。
【請求項5】
請求項１から請求項３までのいずれか１項に記載の画像処理システムであって、
前記撮影条件に基づいて、前記カメラによって撮影された画像を任意の個数のグループに分類する機能を有し、
各前記グループに分類された前記画像に対して、当該分類された各グループの前記画像であることを示す前記識別情報を付与するように構成された、
画像処理システム。
前記撮影条件に基づいて、前記カメラによって撮影された画像を任意の個数のグループに分類する機能を有し、
各前記グループに分類された前記画像に対して、当該分類された各グループの前記画像であることを示す前記識別情報を付与するように構成された、
画像処理システム。
【請求項6】
請求項１から請求項３までのいずれか１項に記載の画像処理システムであって、
前記カメラの動作に関する時刻を示すカメラ側時刻と前記移動体の動作に関する時刻を示す移動体側時刻とが別個に設定されている場合に、前記カメラ側時刻と前記移動体側時刻が異なるときには、前記移動体側時刻に最も近い前記カメラ側時刻に対応した前記画像に、前記識別情報を付与するように構成された、
画像処理システム。
前記カメラの動作に関する時刻を示すカメラ側時刻と前記移動体の動作に関する時刻を示す移動体側時刻とが別個に設定されている場合に、前記カメラ側時刻と前記移動体側時刻が異なるときには、前記移動体側時刻に最も近い前記カメラ側時刻に対応した前記画像に、前記識別情報を付与するように構成された、
画像処理システム。
【請求項7】
請求項１から請求項３までのいずれか１項に記載の画像処理システムであって、
前記カメラの動作に関する時刻を示すカメラ側時刻と前記移動体の動作に関する時刻を示す移動体側時刻とを同期させるように構成された、
画像処理システム。
前記カメラの動作に関する時刻を示すカメラ側時刻と前記移動体の動作に関する時刻を示す移動体側時刻とを同期させるように構成された、
画像処理システム。
【請求項8】
請求項１から請求項３までのいずれか１項に記載の画像処理システムであって、
前記情報付与部によって前記識別情報が付与された画像を、外部に出力可能に構成された、
画像処理システム。
前記情報付与部によって前記識別情報が付与された画像を、外部に出力可能に構成された、
画像処理システム。
【請求項9】
請求項１から請求項３までのいずれか１項に記載の画像処理システムであって、
前記情報付与部は前記移動体に設けられた、又は、前記移動体とは別体の装置（９）に設けられた、
画像処理システム。
前記情報付与部は前記移動体に設けられた、又は、前記移動体とは別体の装置（９）に設けられた、
画像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、カメラにて撮影した画像に関する処理を行う画像処理システムの技術に関する。
【背景技術】
【0002】
従来、カメラによって構造物を撮影し、その撮影された画像に基づいて構造物を点検する技術が知られている（例えば、特許文献１参照）。
この従来技術では、構造物の各所に、位置情報を示す信号を発信する発信機を設置しておき、カメラに前記信号の受信機と撮影方向や仰角を検出する構成とを設け、撮影した画像を、撮影位置や撮影方向等や撮影時刻とともに記録している。
この従来技術では、構造物の各所に、位置情報を示す信号を発信する発信機を設置しておき、カメラに前記信号の受信機と撮影方向や仰角を検出する構成とを設け、撮影した画像を、撮影位置や撮影方向等や撮影時刻とともに記録している。
【0003】
また、近年では、ＵＡＶのような移動体を用いて、橋脚等の構造物を撮影して点検を行う技術が開発されている。なお、ＵＡＶは、unmanned aerial vehicle（即ち、無人航空機）の略であり、いわゆるドローンのことである。
【0004】
このＵＡＶによる撮影（即ち、ＵＡＶ空撮）を用いた構造物の点検では、通常では、構造物を面ごとに画像化する工程（即ち、オルソ化）が必要である。
特に、橋脚の点検においては、数ｍｍレベルの非常に細かなひびなども余さず計測する必要があるため、非常に高精度なオルソ化した画像（即ち、オルソ画像）が要求される。このような高精度のオルソ画像を作成するためには、前処理が必要になる。
特に、橋脚の点検においては、数ｍｍレベルの非常に細かなひびなども余さず計測する必要があるため、非常に高精度なオルソ化した画像（即ち、オルソ画像）が要求される。このような高精度のオルソ画像を作成するためには、前処理が必要になる。
【0005】
この前処理としては、例えば、橋脚のある面のオルソ画像を作成するために、目的とする面ごとに画像（即ち、写真）をグルーピングする作業、即ち、画像化したい面だけが撮影された画像以外を除外する作業が行われていた。また、写りの悪い画像を除外したり、重複の多い画像を除外する作業が行われていた。つまり、前処理として、上述した各種の手間のかかる作業（即ち、仕分け）が行われていた。
【0006】
また、従来は、ＵＡＶの点検飛行時に、撮影部位や日時に関する情報をメモしておき、オルソ化の前処理として、このメモを参照して、上述した仕分けを行っていた。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開平１１－１２５８５５号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、発明者の詳細な検討の結果、従来の技術について、下記のような課題が見出された。
具体的には、橋脚等の撮影対象に発振器を取り付けることは、その作業に手間がかかり、あまり現実的ではない。また、従来のメモを用いた方法では、オルソ化の前処理に非常に手間がかかるという問題があった。しかも、メモを紛失した場合には、撮影部位を特定することが困難であるという問題もあった。
具体的には、橋脚等の撮影対象に発振器を取り付けることは、その作業に手間がかかり、あまり現実的ではない。また、従来のメモを用いた方法では、オルソ化の前処理に非常に手間がかかるという問題があった。しかも、メモを紛失した場合には、撮影部位を特定することが困難であるという問題もあった。
【0009】
本開示の一局面は、移動体を用いて撮影対象を撮影する場合に、撮影対象の画像に関する作業を効率よく行うことができる技術を提供することを目的としている。
【課題を解決するための手段】
【0010】
本開示の一態様の画像処理システム（１）は、移動体（３）に搭載されたカメラ（２１）によって撮影された撮影対象の画像に関する処理を行う画像処理システムである。
この画像処理システムは、画像記憶部（２５）と条件記憶部（１７）と情報付与部（３３）とを備える。
この画像処理システムは、画像記憶部（２５）と条件記憶部（１７）と情報付与部（３３）とを備える。
【0011】
画像記憶部は、カメラによって撮影された画像を記憶するように構成されている。
条件記憶部は、撮影の状態を規定する撮影条件（例えば、撮影に関する時刻、カメラの位置、カメラの姿勢、カメラの移動経路、のうち、少なくとも１種）を記憶するように構成されている。なお、撮影の状態を規定する撮影条件とは、どのような状態で撮影が行われたかを示す条件である。
条件記憶部は、撮影の状態を規定する撮影条件（例えば、撮影に関する時刻、カメラの位置、カメラの姿勢、カメラの移動経路、のうち、少なくとも１種）を記憶するように構成されている。なお、撮影の状態を規定する撮影条件とは、どのような状態で撮影が行われたかを示す条件である。
【0012】
情報付与部は、条件記憶部から得られる撮影条件に基づいて、撮影部位を特定することが可能な識別情報を設定し、その識別情報を画像記憶部から得られる画像に付与するように構成されている。
【0013】
このような構成により、本開示の一態様の画像処理出システムでは、移動体を用いて撮影対象を撮影する場合に、撮影対象の画像に関する作業（例えば、仕分け作業）を効率よく行うことができるという顕著な効果を奏する。
【0014】
つまり、この画像処理システムでは、上述した撮影条件を参照することにより、カメラによって撮影された画像に、撮影対象のどの位置を撮影したかを特定できる識別情報（例えば、識別子）を付与することができる。
【0015】
従って、撮影後に、この画像に付与された識別情報に基づいて、画像が撮影対象どこの撮影部位を撮影した画像であるかを容易に判別することができる。そのため、オルソ化の前処理（例えば、仕分けの作業）を効率良く行うことができる。また、従来のように、撮影の際にメモをつける作業が不要になり、しかも、メモを紛失することもないという利点がある。また、撮影対象に発振器を取り付ける作業も不要である。
【0016】
また、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
【図面の簡単な説明】
【0017】
【図1】第１実施形態の画像処理システムの全体構成を示す説明図である。
【図2】第１実施形態の画像処理システムの全体処理の流れを示す説明図である。
【図3】第１実施形態の撮影対象及びアノテーション処理の概略を示す説明図である。
【図4】第１実施形態のアノテーション処理を示すフローチャートである。
【図5】第２実施形態の撮影対象及びアノテーション処理の概略を示す説明図である。
【図6】第２実施形態のアノテーション処理を示すフローチャートである。
【図7】第３実施形態の撮影対象及びアノテーション処理の概略を示す説明図である。
【図8】第３実施形態のアノテーション処理を示すフローチャートである。
【図9】第４実施形態の画像処理システムにおける同期の方法を示す説明図である。
【図10】第５実施形態の画像処理システムにおける同期の方法を示す説明図である。
【図11】第６実施形態の画像処理システムにおける同期の方法を示す説明図である。
【図12】第７実施形態の画像処理システムにおける同期の方法を示す説明図である。
【発明を実施するための形態】
【0018】
以下、本開示の例示的な実施形態について図面を参照しながら説明する。
［１．第１実施形態］
本第１実施形態では、移動体に搭載されたカメラを用いて撮影対象を撮影し、その撮影した画像に関する処理（例えば、画像にメタデータを付与する処理）を行う画像処理システムについて説明する。
［１．第１実施形態］
本第１実施形態では、移動体に搭載されたカメラを用いて撮影対象を撮影し、その撮影した画像に関する処理（例えば、画像にメタデータを付与する処理）を行う画像処理システムについて説明する。
【0019】
［１－１．全体構成］
まず、本第１実施形態の画像処理システム１の全体構成を、図１に基づいて説明する。
図１に示すように、画像処理システム１は、移動体３とカメラユニット５とを備えたカメラ付き移動体（即ち、移動体装置）７と、移動体装置７から取得した画像（即ち、撮影画像）に関する処理を行うパソコン９と、を備える。なお、移動体装置７は、周知のように、無線を利用した移動体操作装置１１により操作することが可能である。
まず、本第１実施形態の画像処理システム１の全体構成を、図１に基づいて説明する。
図１に示すように、画像処理システム１は、移動体３とカメラユニット５とを備えたカメラ付き移動体（即ち、移動体装置）７と、移動体装置７から取得した画像（即ち、撮影画像）に関する処理を行うパソコン９と、を備える。なお、移動体装置７は、周知のように、無線を利用した移動体操作装置１１により操作することが可能である。
【0020】
【0021】
図１に示すように、移動体装置７は、周知のＵＡＶ（即ち、無人航空機）である移動体３と、静止画や動画の撮影が可能なカメラユニット５と、を備える。つまり、移動体装置７は、移動体３にカメラユニット５が搭載された装置である。
【0022】
＜移動体＞
移動体３（従って、移動体装置７）は、空中での移動、所定の位置での静止、自身の姿勢の制御などが可能である。なお、姿勢としては、移動体３の３次元における姿勢、例えば、移動体３の所定の前向き方向に対して、上下の方向や左右の方向（即ち、方位）が挙げられる。また、移動体３は、人によるマニュアルでの操作による飛行等の動作や、予め設定された飛行経路（即ち、目標経路）に沿った自律飛行が可能である。
移動体３（従って、移動体装置７）は、空中での移動、所定の位置での静止、自身の姿勢の制御などが可能である。なお、姿勢としては、移動体３の３次元における姿勢、例えば、移動体３の所定の前向き方向に対して、上下の方向や左右の方向（即ち、方位）が挙げられる。また、移動体３は、人によるマニュアルでの操作による飛行等の動作や、予め設定された飛行経路（即ち、目標経路）に沿った自律飛行が可能である。
【0023】
移動体３は、移動体３の状態や周囲の状況等を検出するセンサ１３と、移動体３の動作等を制御する移動体制御部（即ち、コントローラ）１５と、移動体３の飛行等に関するデータや撮影に関するデータなどを記憶する移動体記憶部１７と、を備えている。
【0024】
なお、図示しないが、移動体３は、周知のように、複数のプロペラや、プロペラを駆動するモータや、モータに電力を供給する電池等を備えている。
センサ１３としては、図示しないが、周知のように、ＧＰＳ装置、３軸の加速度センサ、ジャイロ、気圧センサ、超音波センサ、磁気方位センサ等を備えている。なお、ＧＰＳ装置は、衛星からの信号を利用して自身の位置を検出する周知の装置、即ち、全地球測位衛星システム（ＧＮＳＳ）を利用した測位装置である。
センサ１３としては、図示しないが、周知のように、ＧＰＳ装置、３軸の加速度センサ、ジャイロ、気圧センサ、超音波センサ、磁気方位センサ等を備えている。なお、ＧＰＳ装置は、衛星からの信号を利用して自身の位置を検出する周知の装置、即ち、全地球測位衛星システム（ＧＮＳＳ）を利用した測位装置である。
【0025】
移動体制御部１５は、図示しないが、周知のように、ＣＰＵと、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリとする）と、を備える。移動体制御部１５は、例えば、マイクロコンピュータ等により構成されている。また、移動体制御部１５は、移動体３の動作等における時刻（即ち、移動体側時刻）を検出する移動体用のタイマも備えている。
【0026】
移動体制御部１５の機能は、非遷移的実体的記録媒体（即ち、メモリ）に格納されたプログラムをＣＰＵが実行することにより実現される。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。
【0027】
なお、移動体制御部１５の各種機能を実現する手法はソフトウェイアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェイアを用いて実現してもよい。例えば、上記機能がハードウェイアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。
【0028】
移動体記憶部１７は各種の情報を記憶することができるストレージである。この移動体記憶部１７には、例えば、撮影対象の撮影を開始する撮影開始時刻や、撮影対象の撮影を終了する撮影終了時刻等が記憶される。なお、撮影の開始や撮影の終了は、移動体操作装置１１からの指示によって実行してもよいし、予め設定されたプログラムに従って自動的に実施されてもよい。なお、移動体記憶部１７としては、例えば、ソリッドディスクドライブ（即ち、ＳＳＤ）などが挙げられる。
【0029】
また、移動体記憶部１７には、上述した撮影の時刻（例えば、ある面に対する撮影開始時刻及び撮影終了時刻など）以外に、後述するように、カメラ２１の位置（例えば、緯度や経度や高さ）、カメラ２１の姿勢、カメラ２１の移動経路（例えば、予め設定された目標経路）などの撮影条件を記憶することができる。なお、カメラ２１の姿勢としては、カメラ２１の３次元における姿勢、例えば、水平方向に沿ったある基準の向きに対して、カメラ２１の光軸の向き（即ち、撮影方向）の上下方向の向きや左右方向の向き（即ち、方位）が挙げられる。
【0030】
なお、カメラ２１は移動体３に搭載されているので、例えば、カメラ２１が移動体３に固定されている場合には、カメラ２１の位置や姿勢や移動経路は、実質的に、移動体３（従って、移動体装置７）の位置や姿勢や移動経路とみなすことができる。
【0031】
＜カメラユニット＞
カメラユニット５は、周囲を撮影するカメラ２１と、カメラ２１の動作を制御するカメラ制御部２３と、カメラ２１で撮影した画像等のデータを記憶するカメラ記憶部２５と、を備えている。
カメラユニット５は、周囲を撮影するカメラ２１と、カメラ２１の動作を制御するカメラ制御部２３と、カメラ２１で撮影した画像等のデータを記憶するカメラ記憶部２５と、を備えている。
【0032】
カメラ２１としては、静止画や動画を撮影できるＣＣＤカメラ等のデジタルカメラを採用できる。撮影される画像としては、カラー画像を採用できる。カメラ２１の台数としては、１台又は複数台を採用できる。なお、図示しないが、撮影の際に撮影対象を照らすライト（即ち、ストロボ）を備えていてもよい。
【0033】
カメラ制御部２３は、図示しないが、周知のように、ＣＰＵと、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、非遷移的実体的記録媒体であるメモリとする）とを備える。カメラ制御部２３の構成や機能は、前記移動体制御部１５と基本的に同様であり、メモリに格納されたプログラムをＣＰＵが実行することにより実現される。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、カメラ制御部２３は、カメラ２１の動作における時刻（即ち、カメラ側時刻）を検出するカメラ用のタイマも備えている。
【0034】
カメラ記憶部２５は、移動体記憶部１７と同様な情報を記憶するストレージであり、カメラ２１で撮影した撮影画像の画像データ等を、撮影時刻などのメタデータともに記憶することができる。
【0035】
なお、ここでは、移動体制御部１５とカメラ制御部２３とを別々に記載したが、例えば単一の制御部として、マイクロコンピュータ等で実現してもよい。同様に、移動体記憶部１７とカメラ記憶部２５とを別々に記載したが、例えば単一のストレージで実現してもよい。
【0036】
＜パソコン＞
パソコン（例えば、ノートパソコン）９は、画像等を表示するディスプレイ３１と、パソコン９の動作を制御するパソコン制御部３３と、画像等のデータを記憶するパソコン記憶部３５と、を備えている。
パソコン（例えば、ノートパソコン）９は、画像等を表示するディスプレイ３１と、パソコン９の動作を制御するパソコン制御部３３と、画像等のデータを記憶するパソコン記憶部３５と、を備えている。
【0037】
ディスプレイ３１は、例えば、ＬＥＤ等により画像や文字や記号等を表示する周知の表示装置である。
パソコン制御部３３は、図示しないが、周知のように、ＣＰＵと、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、非遷移的実体的記録媒体であるメモリとする）とを備える。パソコン制御部３３の構成や機能は、前記移動体制御部１５と基本的に同様であり、メモリに格納されたプログラムをＣＰＵが実行することにより実現される。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。
パソコン制御部３３は、図示しないが、周知のように、ＣＰＵと、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、非遷移的実体的記録媒体であるメモリとする）とを備える。パソコン制御部３３の構成や機能は、前記移動体制御部１５と基本的に同様であり、メモリに格納されたプログラムをＣＰＵが実行することにより実現される。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。
【0038】
パソコン記憶部３５は、移動体記憶部１７と同様な情報を記憶するストレージである。このパソコン記憶部３５には、後述するように、画像データに付与する識別子や、画像データに識別子を付与したデータを記憶することができる。
【0039】
［１－３．全体の処理の概略の手順］
次に、画像処理システム１における全体の処理の概略の手順について、図２に基づいて説明する。
次に、画像処理システム１における全体の処理の概略の手順について、図２に基づいて説明する。
【0040】
図２に示すように、移動体３からパソコン９に対して、移動体記憶部１７に記憶された各種の情報（例えば、移動体装置７の動作などに関する移動体情報）として、Ａ面の撮影開始時刻やＡ面の撮影終了時刻などの撮影条件を示す情報を送る。
【0041】
なお、パソコン９に送信される移動体情報が、撮影開始時刻のような時刻に関するデータでない場合には、移動体情報に時刻に関するデータも付与される。なお、移動体情報の時刻に関するデータは、移動体用のタイマを用いて付与される。
【0042】
また、これとは別に、カメラユニット５からパソコン９に対して、カメラ記憶部２５に記憶された撮影時刻の情報が付与された撮影画像のデータ（即ち、タイムスタンプ付きの画像データ）を送る。なお、画像データの時刻に関するデータは、カメラ用のタイマを用いて付与される。
【0043】
パソコン９では、Ａ面の撮影開始時刻やＡ面の撮影終了時刻などの情報に基づいて、当該情報に対応する識別子を取得する。なお、識別子としては、例えば、１、２等の数字などが挙げられる。さらに、タイムスタンプ付きの画像データに対して、識別子を付与する。なお、識別子の取得や付与の方法については、後に詳述する。
【0044】
従って、パソコン９では、タイムスタンプ付きの画像データに識別子を付与した画像データを出力することができる。
［１－４．具体的な処理の方法］
次に、画像処理システム１における具体的な処理の方法について、図３に基づいて詳細に説明する。
［１－４．具体的な処理の方法］
次に、画像処理システム１における具体的な処理の方法について、図３に基づいて詳細に説明する。
【0045】
ここでは、人が移動体操作装置１１を用いて、マニュアルにて移動体装置７を操作する例を挙げて説明する。なお、移動体装置７を、予め設定されたプログラムに従って自律飛行させるようにしてもよい。
【0046】
図３に示すように、四角柱状の橋脚４１を例に挙げると、橋脚４１には、鉛直方向から見た平面視で、周囲に、例えば、Ａ面、Ｂ面、Ｃ面、Ｄ面の４面がある。
そこで、まず、移動体３（即ち、移動体装置７）を操縦して、橋脚４１のＡ面の撮影を開始する位置に移動させる。
そこで、まず、移動体３（即ち、移動体装置７）を操縦して、橋脚４１のＡ面の撮影を開始する位置に移動させる。
【0047】
次に、移動体操作装置１１を操作して、Ａ面の撮影を開始する。つまり、Ａ面を撮影するとともに、その撮影した画像（即ち、撮影画像）の録画を開始する。このとき、Ａ面の撮影開始の時刻のデータが、移動体記憶部１７に記憶される。なお、この時刻のデータは、移動体用のタイマによるデータである。
【0048】
それとともに、撮影された撮影画像の画像データが、カメラ記憶部２５に記憶される。この画像データには、メタデータとして、カメラ２１で撮影された時刻のデータが記憶される。なお、この時刻のデータは、カメラ用のタイマによるデータである。
【0049】
次に、移動体操作装置１１を操作して、Ａ面の撮影を行う経路に従って、移動体装置７を移動させ、その移動とともに、Ａ面の撮影を継続する。つまり、Ａ面の撮影が開始されると、自動的に一定時間毎に撮影が実施される。この撮影の間隔等の撮影条件は、予め設定することができる。
【0050】
このようにして撮影を継続した後に、移動体装置７を橋脚４１のＡ面の撮影を終了する位置に移動させる。そして、移動体操作装置１１を操作して、Ａ面の撮影を終了する。このとき、Ａ面の撮影終了の時刻のデータが、移動体記憶部１７に記憶される。
【0051】
なお、この時点で（即ち、各面での撮影が終了するごとに）、一旦、移動体３を回収してもよい。そして、後述するように、パソコン９にて撮影した画像に識別子を付与する処理を行ってもよい。
次に、移動体操作装置１１を操作して、移動体装置７を、橋脚４１のＢ面の撮影を開始する位置に移動させる。そして、前記Ａ面の撮影と同様にして、移動体操作装置１１を操作して、Ｂ面の撮影を開始する。このとき、Ｂ面の撮影開始の時刻のデータが、移動体記憶部１７に記憶される。
次に、移動体操作装置１１を操作して、移動体装置７を、橋脚４１のＢ面の撮影を開始する位置に移動させる。そして、前記Ａ面の撮影と同様にして、移動体操作装置１１を操作して、Ｂ面の撮影を開始する。このとき、Ｂ面の撮影開始の時刻のデータが、移動体記憶部１７に記憶される。
【0052】
それとともに、撮影された撮影画像の画像データが、カメラ記憶部２５に記憶される。この画像データには、メタデータとして、カメラ２１で撮影された時刻のデータが記憶される。なお、Ｂ面の撮影が開始されると、Ａ面と同様に、自動的に一定時間毎に撮影が実施される。
【0053】
このようにして撮影を継続した後に、移動体装置７をＢ面の撮影を終了する位置に移動させて、Ｂ面の撮影を終了する。このとき、Ｂ面の撮影終了の時刻のデータが、移動体記憶部１７に記憶される。
【0054】
以下、同様にして、Ｃ面及びＤ面の撮影を行うことができる。
上述したような、操作及び処理によって、図３に示すような内容の撮影区間リストが作成され、移動体記憶部１７に記憶される。この撮影区間リストとは、Ａ面での撮影開示時刻、Ａ面での撮影終了時刻、Ｂ面での撮影開始時刻等が、時間の経過に沿って記録されたタイムライン情報である。
上述したような、操作及び処理によって、図３に示すような内容の撮影区間リストが作成され、移動体記憶部１７に記憶される。この撮影区間リストとは、Ａ面での撮影開示時刻、Ａ面での撮影終了時刻、Ｂ面での撮影開始時刻等が、時間の経過に沿って記録されたタイムライン情報である。
【0055】
ここでは、最も早い撮影開始時刻から撮影終了時刻までが、Ａ面を撮影した期間であり、次の撮影開始時刻から撮影終了時刻までが、Ｂ面を撮影した期間である。Ｃ面やＤ面も、同様にて、撮影した期間が分かる。なお、各時刻のデータに加えて、撮影の開始か終了かを区別するデータも記憶されている。
【0056】
一方、カメラ２１によって撮影された画像は、それぞれ、撮影された時刻を示す時刻情報とともに、カメラ記憶部２５に記憶される。つまり、カメラ記憶部２５には、タイムスタンプ付の撮影画像の画像データが記憶される。
【0057】
そして、橋脚４１の撮影が終了して、移動体装置７が回収された後に、移動体装置７からパソコン９に、所定のデータが抽出されて、以下のようにして、アノテーション処理が実施される。
まず、移動体装置７とパソコン９とを、例えば接続コードで接続する。パソコン９では、移動体３から、移動体記憶部１７に記憶されているデータ（即ち、撮影区間リストのデータ）と、カメラ記憶部２５に記憶されているデータ（即ち、タイムスタンプ付の画像データ）と、を受信する。つまり、それらのデータをパソコン記憶部３５に記憶する。
まず、移動体装置７とパソコン９とを、例えば接続コードで接続する。パソコン９では、移動体３から、移動体記憶部１７に記憶されているデータ（即ち、撮影区間リストのデータ）と、カメラ記憶部２５に記憶されているデータ（即ち、タイムスタンプ付の画像データ）と、を受信する。つまり、それらのデータをパソコン記憶部３５に記憶する。
【0058】
なお、接続コードを用いる方法以外に、例えばＳＤカード（登録商標）等の記録媒体を用いてデータをコピーする方法や、無線を使ってデータをコピーする方法を採用できる。
パソコン９では、パソコン記憶部３５に記憶された各データを関連付ける処理を行う。
パソコン９では、パソコン記憶部３５に記憶された各データを関連付ける処理を行う。
【0059】
具体的には、撮影区間リストには、例えば、Ａ面の撮影開始時刻とＡ面の撮影終了時刻が記載されている。一方、画像データには画像を撮影した時刻情報が記憶されている。よって、画像データの時刻情報に基づいて、Ａ面の撮影開始時刻とＡ面の撮影終了時刻との間の時刻に撮影された画像データは、Ａ面の画像データと判断することができる。つまり、Ａ面の撮影開始時刻とＡ面の撮影終了時刻との間に撮影された画像データは、Ａ面を示す識別子に対応した画像データと判断することができる。
【0060】
従って、本第１実施形態では、Ａ面の撮影開始時刻とＡ面の撮影終了時刻との間に撮影された各画像データに対して、それぞれＡ面の画像データであることを示す識別子を付与する。
そして、そのＡ面の識別子を付与した画像データを、パソコン記憶部３５に記憶する。従って、パソコン記憶部３５においては、各撮影時刻毎の画像データには、メタデータとして、それぞれ時刻情報と識別子とが付された画像データが記憶されることになる。
そして、そのＡ面の識別子を付与した画像データを、パソコン記憶部３５に記憶する。従って、パソコン記憶部３５においては、各撮影時刻毎の画像データには、メタデータとして、それぞれ時刻情報と識別子とが付された画像データが記憶されることになる。
【0061】
同様に、Ｂ面の撮影開始時刻とＢ面の撮影開始時刻とに基づいて、各撮影時刻毎の画像データと時刻情報とＢ面の識別子とを付与した画像データが記憶される。
なお、Ｃ面とＤ面も同様である。
なお、Ｃ面とＤ面も同様である。
【0062】
従って、後日、画像の仕分けを行う際には、画像データに付与された識別子を用いて、どの画像データがどの面の画像データかを容易に認識することができる。
［１－５．制御処理］
次に、画像処理システム１の処理のうち、パソコン９にて実施される制御処理について、図４に基づいて説明する。
［１－５．制御処理］
次に、画像処理システム１の処理のうち、パソコン９にて実施される制御処理について、図４に基づいて説明する。
【0063】
この制御処理には、移動体装置７が撮影対象を撮影して帰還した場合に、移動体装置７から得られるデータに基づいてパソコン９にて実施される処理である。つまり、画像データにメタデータとして識別子を付与するアノテーション処理である。
【0064】
まず、図４のステップ（以下、Ｓ）１００にて、画像のリストを順番に読み込む。つまり、パソコン記憶部３５に記憶された画像データ（即ち、カメラ記憶部２５から読み込まれた画像データ）を、時刻の順番に、パソコン制御部３３の処理領域に読み込む。なお、この処理は、読む込む画像がなければ終了（即ち、ループ終了）となる。
【0065】
続くＳ１１０では、撮影区間リストを参照して、各画像を撮影した時刻の撮影対象の識別子を取得する。つまり、撮影区間リストと各画像を撮影した時刻とを比べて、各画像がどの面を撮影したかを示す識別子を決定する。
【0066】
続くＳ１２０では、画像のメタデータ（例えば、ＥＸＩＦ）に識別子を登録する。つまり、各画像の画像データに、Ａ面やＢ面等を区別する識別子を付与し、パソコン記憶部３５に記憶する。
続くＳ１３０では、上述したＳ１００～Ｓ１２０の処理が完了するまで繰り返して実施し、読み込む画像がなければ、一旦本処理を終了する。
続くＳ１３０では、上述したＳ１００～Ｓ１２０の処理が完了するまで繰り返して実施し、読み込む画像がなければ、一旦本処理を終了する。
【0067】
これによって、各撮影時刻毎の画像データに、それぞれ識別子を付与することができる。
［１－６．効果］
本第１実施形態によれば、以下の効果が得られる。
［１－６．効果］
本第１実施形態によれば、以下の効果が得られる。
【0068】
本第１実施形態の画像処理システムでは、カメラ２１によって撮影された画像のデータをカメラ記憶部２５に記憶し、撮影条件として、撮影に関する時刻（例えば、撮影の開始及び終了の時刻）を移動体記憶部１７に記憶する。そして、パソコン９では、撮影に関する時刻に基づいて、撮影部位を特定することが可能な識別子を設定し、その識別子をカメラ記憶部２５から得られた画像のデータに付与している。
【0069】
このような構成により、本第１実施形態では、移動体３を用いて撮影対象（例えば、橋脚４１）を撮影した画像に対する作業（例えば、前処理）を効率良く行うことができるという顕著な効果を奏する。
【0070】
つまり、この画像処理システム１では、上述した撮影条件を参照することにより、カメラ２１によって撮影された画像に、撮影対象のどの位置を撮影したかを特定できる識別子を付与することができる。
【0071】
従って、撮影後に、この画像に付与された識別子に基づいて、画像が撮影対象どこの撮影部位を撮影した画像であるかを容易に判別することができる。そのため、オルソ化の前処理（即ち、仕分けの作業）を効率良く行うことができる。また、従来のように、撮影の際にメモをつける作業が不要になり、しかも、メモを紛失することもないという利点がある。
【0072】
［１－７．対応関係］
次に、本第１実施形態と本開示との関係について説明する。
画像処理システム１は画像処理システムに対応し、移動体３は移動体に対応し、移動体記憶部１７は条件記憶部に対応し、カメラ２１はカメラに対応し、カメラ記憶部２５は画像記憶部に対応し、パソコン制御部３３は情報付与部に対応する。
次に、本第１実施形態と本開示との関係について説明する。
画像処理システム１は画像処理システムに対応し、移動体３は移動体に対応し、移動体記憶部１７は条件記憶部に対応し、カメラ２１はカメラに対応し、カメラ記憶部２５は画像記憶部に対応し、パソコン制御部３３は情報付与部に対応する。
【0073】
［１－８．変形例］
（１）前記識別子を付与するアノテーション処理は、パソコン９にて実施しても良いが、移動体装置７にて実施してもよい。
（１）前記識別子を付与するアノテーション処理は、パソコン９にて実施しても良いが、移動体装置７にて実施してもよい。
【0074】
（２）カメラ２１の動作に関する時刻（例えば、撮影時刻）を示す時刻情報（即ち、カメラ側時刻）と、移動体３の動作に関する時刻（例えば、Ａ面等における撮影の開始の時刻）を示す時刻情報（即ち、移動体側時刻）と、が別個に設定されている場合には、それぞれの時刻がずれることがある。
【0075】
例えば、画像の撮影時刻（即ち、カメラ側時刻）と、Ａ面等での撮影を開始した時刻（移動体側時刻）と、が異なることがある。
そのような場合には、例えば、移動体側時刻に最も近いカメラ側時刻の画像に、前記識別子を付与するようにしてもよい。
そのような場合には、例えば、移動体側時刻に最も近いカメラ側時刻の画像に、前記識別子を付与するようにしてもよい。
【0076】
［２．第２実施形態］
第２実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
第２実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
【0077】
本第２実施形態のハード構成は、第１実施形態と同じであるので、その説明は省略し、第１実施形態と異なる点を中心にして説明する。
［２－１．具体的な処理の方法］
まず、本第２実施形態の画像処理システム１における具体的な処理の方法について、図５に基づいて詳細に説明する。
［２－１．具体的な処理の方法］
まず、本第２実施形態の画像処理システム１における具体的な処理の方法について、図５に基づいて詳細に説明する。
【0078】
図５に示すように、移動体装置７は、予め設定されたウェイポイントに沿って（即ち、目的経路に沿って）自律飛行し、所定時間間隔で自動的に撮影対象を撮影する。なお、ウェイポイントを規定する情報としては、周知のように、緯度、経度、高さの情報が挙げられる。
【0079】
具体的には、移動体装置７は、まず、Ａ面の最初のウェイポイント［１］の位置に移動し、撮影を開始する。このとき、Ａ面の最初のウェイポイント［１］の到達時刻のデータが、最初のウェイポイント［１］のデータとともに移動体記憶部１７に記憶される。なお、この時刻のデータは、移動体用のタイマによるデータである。
【0080】
それとともに、撮影された撮影画像の画像データが、カメラ記憶部２５に記憶される。この画像データには、メタデータとして、カメラ２１で撮影された時刻のデータが記憶される。なお、この時刻のデータは、カメラ用のタイマによるデータである。
【0081】
その後、移動体装置７は、目的経路に沿って移動する（即ち、順次、ウェイポイントの順番に従って移動する）。なお、隣り合うウェイポイントの間を分割区間と称する。
そして、目的経路に沿って定期的に撮影が行われ、その画像データと時刻のデータとがカメラ記憶部２５に記憶される。
そして、目的経路に沿って定期的に撮影が行われ、その画像データと時刻のデータとがカメラ記憶部２５に記憶される。
【0082】
また、各ウェイポイントでは、各ウェイポイントとそのウェイポイントの到達時間とが関連付けて移動体記憶部１７に記憶される。
そして、移動体装置７が、Ａ面の最後のウェイポイント［Ｎ］に到達すると、Ａ面での撮影を終了する。
そして、移動体装置７が、Ａ面の最後のウェイポイント［Ｎ］に到達すると、Ａ面での撮影を終了する。
【0083】
次に、移動体装置７は、Ｂ面の最初のウェイポイント［Ｎ＋１］の位置に移動し、前記Ａ面での処理と同様な処理を行い、Ｂ面の最後のウェイポイントに到達すると、Ｂ面での撮影を終了する。
【0084】
以下、同様にして、Ｃ面及びＤ面の撮影を行うことができる。
上述した処理によって、図５に示すような内容のウェイポイントの到達時刻を示すウェイポイントリストが作成され、移動体記憶部１７に記憶される。このウェイポイントリストとは、各面のウェイポイントの順番及び到達時刻が、時間の経過に沿って記憶されたウェイポイント情報（即ち、タイムライン情報）である。
上述した処理によって、図５に示すような内容のウェイポイントの到達時刻を示すウェイポイントリストが作成され、移動体記憶部１７に記憶される。このウェイポイントリストとは、各面のウェイポイントの順番及び到達時刻が、時間の経過に沿って記憶されたウェイポイント情報（即ち、タイムライン情報）である。
【0085】
なお、Ａ面かＢ面かなどの区別は、ウェイポイントの情報（即ち、順番を示す番号を示す情報）から判別することが可能である。
一方、カメラ２１によって撮影された画像は、第１実施形態と同様に、それぞれ、撮影された時刻を示す時刻情報とともに、カメラ記憶部２５に記憶される。つまり、カメラ記憶部２５には、タイムスタンプ付の撮影画像の画像データが記憶されている。
一方、カメラ２１によって撮影された画像は、第１実施形態と同様に、それぞれ、撮影された時刻を示す時刻情報とともに、カメラ記憶部２５に記憶される。つまり、カメラ記憶部２５には、タイムスタンプ付の撮影画像の画像データが記憶されている。
【0086】
そして、橋脚４１の撮影が終了して回収された後に、移動体装置７からパソコン９に、所定のデータが送られて、以下のようにして、アノテーション処理が実施される。
まず、パソコン９は、移動体３から、移動体記憶部１７に記憶されているデータ（即ち、ウェイポイント情報）と、カメラ記憶部２５に記憶されているデータ（即ち、タイムスタンプ付の画像データ）と、を受信する。つまり、それらのデータをパソコン記憶部３５に記憶する。
まず、パソコン９は、移動体３から、移動体記憶部１７に記憶されているデータ（即ち、ウェイポイント情報）と、カメラ記憶部２５に記憶されているデータ（即ち、タイムスタンプ付の画像データ）と、を受信する。つまり、それらのデータをパソコン記憶部３５に記憶する。
【0087】
パソコン９では、パソコン記憶部３５に記憶された各データを関連付ける処理を行う。
具体的には、ウェイポイント情報には、例えば、Ａ面におけるウェイポイントの到達時刻が記載されている。一方、画像データには時刻情報が記憶されている。よって、画像データの時刻情報に基づいて、Ａ面における最初と最後とのウェイポイントの到達時刻の間に撮影された画像データは、Ａ面の画像データと判断することができる。つまり、Ａ面の最初と最後とのウェイポイントの到達時刻の間に撮影された画像データは、Ａ面を示す識別子に対応した画像データと判断することができる。
具体的には、ウェイポイント情報には、例えば、Ａ面におけるウェイポイントの到達時刻が記載されている。一方、画像データには時刻情報が記憶されている。よって、画像データの時刻情報に基づいて、Ａ面における最初と最後とのウェイポイントの到達時刻の間に撮影された画像データは、Ａ面の画像データと判断することができる。つまり、Ａ面の最初と最後とのウェイポイントの到達時刻の間に撮影された画像データは、Ａ面を示す識別子に対応した画像データと判断することができる。
【0088】
従って、本第２実施形態では、Ａ面における最初と最後とのウェイポイントの到達時刻の間に撮影された各画像データに対して、それぞれＡ面の画像データであることを示す識別子を付与する。
【0089】
なお、Ａ面における最初のウェイポイント［１］の到達時刻から最後のウェイポイント［Ｎ］の到達時刻までの間に撮影された各画像データに対して、それぞれＡ面の画像データであることを示す同じ識別子を付与してもよいが、各分割区間毎に、異なる識別子を付与してもよい。
【0090】
そして、そのＡ面の識別子を付与した画像データを、パソコン記憶部３５に記憶する。従って、パソコン記憶部３５においては、各撮影時刻毎の画像データには、メタデータとして、それぞれ時刻情報と識別子とが付された画像データが記憶されることになる。
【0091】
なお、Ｂ面とＣ面とＤ面も同様である。
従って、後日、画像の仕分けを行う際には、画像データに付与された識別子を用いて、どの画像データがどの面の画像データかを容易に認識することができる。
従って、後日、画像の仕分けを行う際には、画像データに付与された識別子を用いて、どの画像データがどの面の画像データかを容易に認識することができる。
【0092】
［２－２．制御処理］
次に、画像処理システム１のうち、パソコン９にて実施される制御処理について、図６に基づいて説明する。
次に、画像処理システム１のうち、パソコン９にて実施される制御処理について、図６に基づいて説明する。
【0093】
まず、図６のＳ２００にて、画像のリストを順番に読み込む。つまり、パソコン記憶部３５に記憶された画像データ（即ち、カメラ記憶部２５から読み込まれた画像データ）を、時刻の順番に、パソコン制御部３３の処理領域に読み込む。なお、この処理は、読む込む画像がなければ終了（即ち、ループ終了）となる。
【0094】
続くＳ２１０では、ウェイポイントリストを参照して、各画像を撮影した時刻の撮影対象の識別子を取得する。つまり、ウェイポイントと各画像を撮影した時刻とを比べて、各画像がどの面を撮影したかを示す識別子を決定する。
【0095】
続くＳ２２０では、画像のメタデータ（例えば、ＥＸＩＦ）に識別子を登録する。つまり、各画像の画像データに、Ａ面やＢ面等を区別する識別子を付与し、パソコン記憶部３５に記憶する。
続くＳ２３０では、上述したＳ２００～Ｓ２２０の処理が完了するまで繰り返して実施し、読み込む画像がなければ、一旦本処理を終了する。
続くＳ２３０では、上述したＳ２００～Ｓ２２０の処理が完了するまで繰り返して実施し、読み込む画像がなければ、一旦本処理を終了する。
【0096】
これによって、各撮影時刻毎の画像データに、それぞれ識別子を付与することができる。
本第２実施形態は、第１実施形態と同様な効果を奏する。
［３．第３実施形態］
第３実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
本第２実施形態は、第１実施形態と同様な効果を奏する。
［３．第３実施形態］
第３実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
【0097】
本第３実施形態のハード構成は、第１実施形態と同じであるので、その説明は省略し、第１実施形態と異なる点を中心にして説明する。
本第３実施形態では、ｋ－ｍｅａｎｓ法等のクラスタリングの手法を利用して各面を撮影した画像のデータを分類する。
本第３実施形態では、ｋ－ｍｅａｎｓ法等のクラスタリングの手法を利用して各面を撮影した画像のデータを分類する。
【0098】
［３－１．具体的な処理の方法］
まず、本第３実施形態の画像処理システム１における具体的な処理の方法について、図７に基づいて詳細に説明する。
まず、本第３実施形態の画像処理システム１における具体的な処理の方法について、図７に基づいて詳細に説明する。
【0099】
図７に示すように、移動体装置７を、例えば、橋脚４１の周囲に沿って環状に移動させて、定期的に撮影を行う。詳しくは、移動体装置７を、橋脚４１のＡ面、Ｂ面、Ｃ面、Ｄ面の表面に沿って移動させるとともに、移動体装置７のカメラ２１の向き（即ち、撮影する方向：方位）を、橋脚４１の各面に向かうように移動体装置７の姿勢を調節して、定期的に撮影する。
【0100】
なお、図７の右上図は、橋脚４１を上方から見た平面視であり、同図の三角形の最も鋭角の頂点の方向がカメラ２１の撮影方向である。
そして、例えば、Ａ面の最初の撮影位置（即ち、ｐｏｓｅ［１］の位置）にて、カメラ２１で撮影を開始し、さらに、移動体装置７をＡ面の表面に沿って例えば図７の右方向に沿って移動させて、定期的に撮影を行う。なお、ｐｏｓｅの位置は、撮影された位置（例えば、定期的に撮影される位置）を示す。また、ｐｏｓｅの位置は、予め設定されていてもよい。
そして、例えば、Ａ面の最初の撮影位置（即ち、ｐｏｓｅ［１］の位置）にて、カメラ２１で撮影を開始し、さらに、移動体装置７をＡ面の表面に沿って例えば図７の右方向に沿って移動させて、定期的に撮影を行う。なお、ｐｏｓｅの位置は、撮影された位置（例えば、定期的に撮影される位置）を示す。また、ｐｏｓｅの位置は、予め設定されていてもよい。
【0101】
このとき、ｐｏｓｅの情報として、ｐｏｓｅの順番と、カメラ２１の位置のデータと、カメラ２１の姿勢のデータとが、時刻のデータとともに、移動体記憶部１７に記憶される。なお、この時刻のデータは、移動体用のタイマによるデータである。
【0102】
ここで、カメラ２１の位置のデータとしては、例えばＧＰＳ装置による緯度や経度のデータが挙げられる。また、カメラ２１の姿勢（即ち、移動体装置７の姿勢）のデータとしては、北や南等の方位のデータが挙げられる。
【0103】
それとともに、撮影された画像の画像データが、カメラ記憶部２５に記憶される。この画像データには、メタデータとして、カメラ２１で撮影された時刻のデータが記憶される。なお、この時刻のデータは、カメラ用のタイマによるデータである。
【0104】
そして、例えば、目的とする回数分の撮影が実施され場合に、撮影を終了する。
その後、得られた多数の画像データに対して、周知のｋ－ｍｅａｎｓ法を利用してクラスタリングを実施して、画像データの分類を行う。
その後、得られた多数の画像データに対して、周知のｋ－ｍｅａｎｓ法を利用してクラスタリングを実施して、画像データの分類を行う。
【0105】
なお、クラスタリングは、以下のように移動体３側に実施してもよいが、パソコン９にて実施してもよい。
具体的には、カメラ２１の位置とカメラ２１の姿勢とを特徴量として、画像データをＡ面～Ｄ面の４つの面に対応した４つのクラスに分類するクラスタリングを実施する。つまり、画像データを、Ａ面を撮影した画像データ、Ｂ面を撮影した画像データ、Ｃ面を撮影した画像データ、Ｄ面を撮影した画像データに分類する。なお、ｋ－ｍｅａｎｓ法を利用してクラスタリングについては周知であるので、その説明は省略する。
具体的には、カメラ２１の位置とカメラ２１の姿勢とを特徴量として、画像データをＡ面～Ｄ面の４つの面に対応した４つのクラスに分類するクラスタリングを実施する。つまり、画像データを、Ａ面を撮影した画像データ、Ｂ面を撮影した画像データ、Ｃ面を撮影した画像データ、Ｄ面を撮影した画像データに分類する。なお、ｋ－ｍｅａｎｓ法を利用してクラスタリングについては周知であるので、その説明は省略する。
【0106】
上述したクラスタリングの処理によって、図７に左図に示すような内容のグルーピングリストが作成され、移動体記憶部１７に記憶される。このグルーピングリストとは、各ｐｏｓｅにおける情報（例えば、ｐｏｓｅの順番を示す番号や撮影時刻を示す情報）が、時間の経過に沿って記憶されるとともに、各面毎に分類された情報である。
【0107】
例えば、Ａ面から、Ｂ面、Ｃ面、Ｄ面の順番で撮影された場合を考えると、カメラ２１の向きが図７の右上図の上向きで且つ撮影時刻が最も早いグループが、Ａ面を撮影したグループとなる。また、カメラ２１の向きが図７の右上図の左向きで、撮影時刻が次に早いグループが、Ｂ面を撮影したグループとなる。なお、Ｃ面やＤ面も、同様に、各向きが設定され、各撮影時刻のグループが設定される。
【0108】
一方、カメラ２１によって撮影された画像は、第１実施形態と同様に、それぞれ撮影された時刻を示す時刻情報とともに、カメラ記憶部２５に記憶される。つまり、カメラ記憶部２５には、タイムスタンプ付の撮影画像の画像データが記憶されている。
【0109】
そして、橋脚４１の撮影が終了して回収された後に、移動体装置７からパソコン９に、所定のデータが送られて、以下のようにして、アノテーション処理が実施される。
まず、パソコン９は、移動体記憶部１７に記憶されているデータ（即ち、各ｐｏｓｅの情報を含むグルーピングリスト）と、カメラ記憶部２５に記憶されているデータ（即ち、タイムスタンプ付の画像データ）と、を受信する。つまり、それらのデータをパソコン記憶部３５に記憶する。
まず、パソコン９は、移動体記憶部１７に記憶されているデータ（即ち、各ｐｏｓｅの情報を含むグルーピングリスト）と、カメラ記憶部２５に記憶されているデータ（即ち、タイムスタンプ付の画像データ）と、を受信する。つまり、それらのデータをパソコン記憶部３５に記憶する。
【0110】
パソコン９では、パソコン記憶部３５に記憶された各データを関連付ける処理を行う。
具体的には、グルーピングリストには、各ｐｏｓｅの撮影時刻と各ｐｏｓｅがどの面を撮影した情報（即ち、Ａ面～Ｄ面のどのグループに属する情報）かが記載されている。一方、画像データには時刻情報が記憶されている。よって、画像データの時刻情報に基づいて、各画像データがどのグループに属するかを判断することができる。つまり、各画像データが、各面に対応したどの識別子に対応した画像データかを判断することができる。
具体的には、グルーピングリストには、各ｐｏｓｅの撮影時刻と各ｐｏｓｅがどの面を撮影した情報（即ち、Ａ面～Ｄ面のどのグループに属する情報）かが記載されている。一方、画像データには時刻情報が記憶されている。よって、画像データの時刻情報に基づいて、各画像データがどのグループに属するかを判断することができる。つまり、各画像データが、各面に対応したどの識別子に対応した画像データかを判断することができる。
【0111】
従って、本第３実施形態では、各画像データに対して、それぞれ各面の画像データであることを示す識別子を付与する。
そして、その各面の識別子を付与した画像データを、パソコン記憶部３５に記憶する。従って、パソコン記憶部３５においては、各撮影時刻毎の画像データには、メタデータとして、それぞれ時刻情報と識別子とが付された画像データが記憶されることになる。
そして、その各面の識別子を付与した画像データを、パソコン記憶部３５に記憶する。従って、パソコン記憶部３５においては、各撮影時刻毎の画像データには、メタデータとして、それぞれ時刻情報と識別子とが付された画像データが記憶されることになる。
【0112】
従って、後日、画像の仕分けを行う際には、画像データに付与された識別子を用いて、どの画像データがどの面の画像データかを容易に認識することができる。
［３－２．制御処理］
次に、画像処理システム１のうち、パソコン９にて実施される制御処理について、図８に基づいて説明する。
［３－２．制御処理］
次に、画像処理システム１のうち、パソコン９にて実施される制御処理について、図８に基づいて説明する。
【0113】
まず、図８のＳ３００にて、画像のリストを順番に読み込む。つまり、パソコン記憶部３５に記憶された画像データ（即ち、カメラ記憶部２５から読み込まれた画像データ）を、時刻の順番に、パソコン制御部３３の処理領域に読み込む。なお、この処理は、読む込む画像がなければ終了（即ち、ループ終了）となる。
【0114】
続くＳ３１０では、グルーピングリストを参照して、各画像を撮影した時刻の撮影対象の識別子を取得する。つまり、各グループに付与する識別子を決定する。
続くＳ３２０では、画像のメタデータ（例えば、ＥＸＩＦ）に識別子を登録する。つまり、各画像の画像データに、Ａ面やＢ面等を区別する識別子を付与し、パソコン記憶部３５に記憶する。
続くＳ３２０では、画像のメタデータ（例えば、ＥＸＩＦ）に識別子を登録する。つまり、各画像の画像データに、Ａ面やＢ面等を区別する識別子を付与し、パソコン記憶部３５に記憶する。
【0115】
続くＳ３３０では、上述したＳ３００～Ｓ３２０の処理が完了するまで繰り返して実施し、読み込む画像がなければ、一旦本処理を終了する。
これによって、各撮影時刻毎の画像データに、それぞれ識別子を付与することができる。
これによって、各撮影時刻毎の画像データに、それぞれ識別子を付与することができる。
【0116】
本第３実施形態は、第１実施形態と同様な効果を奏する。
なお、本第３実施形態は、マニュアルでの操作や自律飛行による処理に適用することができる。
［４．第４～第７実施形態］
第４～第７実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
なお、本第３実施形態は、マニュアルでの操作や自律飛行による処理に適用することができる。
［４．第４～第７実施形態］
第４～第７実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
【0117】
第４～第７実施形態では、第１実施形態と異なる点を中心にして説明する。
例えば、市販のカメラ２１を移動体３に後付して利用する場合、カメラ２１（従って、カメラユニット５）と移動体３は、それぞれ独立した内部時計（即ち、タイマ）を持つ。このとき、カメラユニット５における時刻と移動体３における時刻とのズレが大きい場合には、画像データに正しい識別子を付与できない恐れがある。
例えば、市販のカメラ２１を移動体３に後付して利用する場合、カメラ２１（従って、カメラユニット５）と移動体３は、それぞれ独立した内部時計（即ち、タイマ）を持つ。このとき、カメラユニット５における時刻と移動体３における時刻とのズレが大きい場合には、画像データに正しい識別子を付与できない恐れがある。
【0118】
従って、以下の第４～第７実施形態では、このような問題の発生を抑制できる例を挙げている。
＜第４実施形態＞
本第４実施形態では、図９に示すように、タイムコード等の時刻同期信号を用いて、カメラ２１（従って、カメラユニット５）と移動体３との各タイマを同期させる。なお、時刻同期信号は、カメラユニット５側から移動体３側に出力しても、移動体３側からカメラユニット５側に出力してもよい。
＜第４実施形態＞
本第４実施形態では、図９に示すように、タイムコード等の時刻同期信号を用いて、カメラ２１（従って、カメラユニット５）と移動体３との各タイマを同期させる。なお、時刻同期信号は、カメラユニット５側から移動体３側に出力しても、移動体３側からカメラユニット５側に出力してもよい。
【0119】
本第４実施形態では、第１～第３実施形態と同様な効果を奏するとともに、カメラユニット５における時刻（即ち、カメラ側時刻）と移動体３における時刻（即ち、移動体側時刻）とのズレを抑制できるので、画像データに正しい識別子を付与することができる。
【0120】
＜第５実施形態＞
本第５実施形態では、図１０に示すように、世界標準時に準じた絶対的な時刻が必要な場合には、移動体３にセンサ１３としてＧＮＳＳレシーバを接続して、絶対時刻による補正を行うことができる。
本第５実施形態では、図１０に示すように、世界標準時に準じた絶対的な時刻が必要な場合には、移動体３にセンサ１３としてＧＮＳＳレシーバを接続して、絶対時刻による補正を行うことができる。
【0121】
例えば、移動体３は、ＧＮＳＳ（即ち、全地球測位衛星システム）から絶対時刻を取得することにより、この絶対時刻の時刻情報を、ウェイポイントの情報や位置・姿勢の情報に付与することができる。
【0122】
また、移動体３からカメラユニット５に、絶対時刻を示す時刻同期信号を送信することにより、カメラユニット５のタイマを移動体３のタイマと同期させることができる。よって、カメラユニット５では、この絶対時刻の時刻情報を、画像データに付与することができる。
【0123】
【0124】
例えば、撮影開始を指示する撮影開始トリガーを、撮影開始トリガー生成装置５１にて生成し、その撮影開始トリガーを、移動体３とカメラユニット５に供給するようにしてもよい。これにより、移動体３での処理（例えば、撮影開始のタイミングの記録等）とカメラユニット５での処理（例えば、撮影開始等）とを同じタイミングとすることができる。
【0125】
なお、撮影開始トリガー生成装置５１は、例えば、カメラユニット５などに設けることができる。
本第６実施形態では、第４実施形態と同様な効果を奏する。つまり、移動体３での所定の動作（例えば、撮影開始）の時刻とカメラユニット５での所定の動作の時刻とを同期させることができる。また、例えば、移動体３では、撮影開始トリガーのタイミングを記憶することができるとともに、センサ情報等に上述した同じタイミングの時刻情報を付与することができる。
本第６実施形態では、第４実施形態と同様な効果を奏する。つまり、移動体３での所定の動作（例えば、撮影開始）の時刻とカメラユニット５での所定の動作の時刻とを同期させることができる。また、例えば、移動体３では、撮影開始トリガーのタイミングを記憶することができるとともに、センサ情報等に上述した同じタイミングの時刻情報を付与することができる。
【0126】
＜第７実施形態＞
本第７実施形態では、図１２に示すように、トリガー信号として、ストロボの動作を指示するフラッシュトリガーを用いる。
本第７実施形態では、図１２に示すように、トリガー信号として、ストロボの動作を指示するフラッシュトリガーを用いる。
【0127】
例えば、カメラユニット５から移動体３に、ストロボの点灯を指示するフラッシュトリガーを送信する。これにより、移動体３での処理（例えば、撮影と同じ時刻のストロボの点灯のタイミングの記録）とカメラユニット５での処理（例えば撮影開始）とを同じタイミングとすることができる。
【0128】
本第７実施形態では、第４実施形態と同様な効果を奏する。例えば、移動体３では、フラッシュトリガーのタイミングを記憶することができるとともに、センサ情報等に上述した同じタイミングの時刻情報を付与することができる。
【0129】
［５．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
【0130】
（５ａ）移動体に搭載されるカメラとしては、１台又は複数台を採用できる。複数台のカメラの場合には、各カメラで撮影された画像に対して、それぞれ上述した本開示の画像処理を適用できる。
【0131】
（５ｂ）上述したアノテーション処理は、移動体装置以外の装置（例えば、パソコン）にて実施してもよいが、移動体装置において実施してもよい。
（５ｃ）カメラは、予め移動体と一体に組み込まれていてもよいが、移動体に対して市販等のカメラを後付けで組み付けてもよい。
（５ｃ）カメラは、予め移動体と一体に組み込まれていてもよいが、移動体に対して市販等のカメラを後付けで組み付けてもよい。
【0132】
（５ｄ）識別子としては、例えば橋脚のＡ面やＢ面等のように撮影する部位を区別できればよく、数字や記号などをデジタル化したものなど、特に限定はない。
（５ｅ）撮影に関する時刻としては、撮影対象に対する（例えば、橋脚のＡ面の）撮影の開始の時刻や撮影の終了の時刻が挙げられる。また、それ以外に、撮影に関する各種の動作のタイミングが挙げられる。
（５ｅ）撮影に関する時刻としては、撮影対象に対する（例えば、橋脚のＡ面の）撮影の開始の時刻や撮影の終了の時刻が挙げられる。また、それ以外に、撮影に関する各種の動作のタイミングが挙げられる。
【0133】
（５ｆ）本開示に記載の画像処理システムは、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。
【0134】
あるいは、本開示に記載の画像処理システムは、一つ以上の専用ハードウェイア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。
もしくは、本開示に記載の画像処理システムは、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウェイア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。
もしくは、本開示に記載の画像処理システムは、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウェイア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。
【0135】
また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。画像処理システムに含まれる各部の機能を実現する手法には、必ずしもソフトウェイアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェイアを用いて実現されてもよい。
【0136】
（５ｇ）上述した画像処理システムの他、当該画像処理システムのコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移有形記録媒体、画像処理方法など、種々の形態で本開示を実現することもできる。
【0137】
（５ｈ）上記各実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記各実施形態の構成の一部を省略してもよい。また、上記各実施形態の構成の少なくとも一部を、他の実施形態の構成に対して付加または置換してもよい。
【符号の説明】
【0138】
１…画像処理システム、３…移動体、５…カメラユニット、７…移動体装置、９…パソコン、１７…移動体記憶部、２１…カメラ、２５…カメラ記憶部、３３…パソコン制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】