特開 2022-85673 撮像装置、撮像方法、コンピュータープログラム及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022085673

(43)【公開日】2022-06-08

(54)【発明の名称】撮像装置、撮像方法、コンピュータープログラム及び情報処理装置

(51)【国際特許分類】

   H04N 5/225 20060101AFI20220601BHJP

   H04N 5/232 20060101ALI20220601BHJP

   G01J 5/48 20220101ALI20220601BHJP

【ＦＩ】

H04N5/225 800

H04N5/232 030

G01J5/48 A

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2020197470

(22)【出願日】2020-11-27

(71)【出願人】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】小柴 聡

【テーマコード（参考）】

2G066

5C122

【Ｆターム（参考）】

2G066BC15

2G066CA01

5C122DA16

5C122EA67

5C122FA11

5C122FA18

5C122FH11

5C122FH14

5C122HB01

(57)【要約】

【課題】より簡易に赤外線カメラの放射率に関するパラメータを得ること。
【解決手段】赤外線カメラとは異なる画像センサーを用いて構成される第１撮像部と、赤外線カメラを用いて構成される第２撮像部と、前記第１撮像部の撮像によって得られた画像の被写体の物体を判定する物体判定部と、前記被写体の物体に応じて前記赤外線カメラの放射率のパラメータを取得するパラメータ取得部と、を備え、前記第２撮像部は、前記パラメータ取得部によって取得された放射率のパラメータを用いて撮像する、撮像装置である。
【選択図】図１

【特許請求の範囲】

【請求項1】

赤外線カメラとは異なる画像センサーを用いて構成される第１撮像部と、
赤外線カメラを用いて構成される第２撮像部と、
前記第１撮像部の撮像によって得られた画像の被写体の物体を判定する物体判定部と、
前記被写体の物体に応じて前記赤外線カメラの放射率のパラメータを取得するパラメータ取得部と、を備え、
前記第２撮像部は、前記パラメータ取得部によって取得された放射率のパラメータを用いて撮像する、撮像装置。

【請求項2】

前記第２撮像部は、前記パラメータ取得部によって取得された放射率のパラメータを用いて、前記物体判定部の判定対象となった被写体を撮像する、請求項１に記載の撮像装置。

【請求項3】

赤外線カメラとは異なる画像センサーを用いて構成される第１撮像部で撮像する第１撮像ステップと、
前記第１撮像部の撮像によって得られた画像の被写体の物体を判定する物体判定ステップと、
前記被写体の物体に応じて赤外線カメラの放射率のパラメータを取得するパラメータ取得ステップと、
赤外線カメラを用いて構成される第２撮像部によって、前記放射率のパラメータを用いて撮像する、第２撮像ステップと、
を有する撮像方法。

【請求項4】

赤外線カメラとは異なる画像センサーを用いて構成される第１撮像部と、赤外線カメラを用いて構成される第２撮像部と、を備えるコンピューターを、請求項１又は２に記載の撮像装置として機能させるためのコンピュータープログラム。

【請求項5】

赤外線カメラとは異なる画像センサーを用いて撮像された画像の被写体の物体を判定する物体判定部と、
前記被写体の物体に応じて前記赤外線カメラの放射率のパラメータを取得するパラメータ取得部と、
を備える情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、赤外線カメラを用いて画像を撮像するための技術に関する。

【背景技術】

【0002】

一般的に、カメラを用いて適切に画像を撮像するためには、カメラに対してパラメータを適切に設定する必要がある。カメラのパラメーラを適切に設定することには非常に労力を要する。そのため、例えば特許文献１に記載のように、カメラのパラメータをより少ない労力で設定しようとする技術が研究されてきた。

【0003】

カメラにも様々な種類のものが存在する。赤外線カメラは、物体の表面の温度を測定するために使用されることがある。赤外線カメラを用いて精度良く温度測定を行うためには、１又は複数のカメラパラメータを適切に設定する必要がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１－２１５０８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示されているようなカメラの位置や焦点距離に関するパラメータの最適値を取得する技術は提供されているものの、赤外線カメラに関するパラメータの最適値を取得する技術は提供されていない。特に、放射率に関するパラメータについては、専門知識を有する者が手動で設定していることが実情である。

【0006】

上記事情に鑑み、本発明は、より簡易に赤外線カメラの放射率に関するパラメータを得ることができる技術の提供を目的としている。

【課題を解決するための手段】

【0007】

本発明の一態様は、赤外線カメラとは異なる画像センサーを用いて構成される第１撮像部と、赤外線カメラを用いて構成される第２撮像部と、前記第１撮像部の撮像によって得られた画像の被写体の物体を判定する物体判定部と、前記被写体の物体に応じて前記赤外線カメラの放射率のパラメータを取得するパラメータ取得部と、を備え、前記第２撮像部は、前記パラメータ取得部によって取得された放射率のパラメータを用いて撮像する、撮像装置である。

【0008】

本発明の一態様は、上述の撮像装置であって、前記第２撮像部は、前記パラメータ取得部によって取得された放射率のパラメータを用いて、前記物体判定部の判定対象となった被写体を撮像する。

【0009】

本発明の一態様は、赤外線カメラとは異なる画像センサーを用いて構成される第１撮像部で撮像する第１撮像ステップと、前記第１撮像部の撮像によって得られた画像の被写体の物体を判定する物体判定ステップと、前記被写体の物体に応じて赤外線カメラの放射率のパラメータを取得するパラメータ取得ステップと、赤外線カメラを用いて構成される第２撮像部によって、前記放射率のパラメータを用いて撮像する、第２撮像ステップと、を有する撮像方法である。

【0010】

本発明の一態様は、赤外線カメラとは異なる画像センサーを用いて構成される第１撮像部と、赤外線カメラを用いて構成される第２撮像部と、を備えるコンピューターを、上記の撮像装置として機能させるためのコンピュータープログラムである。

【0011】

本発明の一態様は、赤外線カメラとは異なる画像センサーを用いて撮像された画像の被写体の物体を判定する物体判定部と、前記被写体の物体に応じて前記赤外線カメラの放射率のパラメータを取得するパラメータ取得部と、を備える情報処理装置である。

【発明の効果】

【0012】

本発明により、より簡易に赤外線カメラの放射率に関するパラメータを得ることが可能となる。

【図面の簡単な説明】

【0013】

【図1】端末装置１０の機能構成の具体例を示す概略ブロック図である。

【図2】パラメータテーブルの具体例を示す図である。

【図3】端末装置１０の動作の流れの具体例を示すフローチャートである。

【図4】撮像システム１００のシステム構成を示す概略ブロック図である。

【図5】撮像システム１００における処理の流れの具体例を示すシーケンスチャートである。

【図6】被写体の具体例を示す図である。

【発明を実施するための形態】

【0014】

以下、本発明の具体的な構成例について、図面を参照しながら説明する。

【0015】

［第１実施形態］
図１は、端末装置１０の機能構成の具体例を示す概略ブロック図である。第１実施形態における端末装置１０は、本発明における撮像装置の一態様である。端末装置１０は、ユーザーによって赤外線カメラの撮像に使用される端末装置である。端末装置１０は、例えばスマートフォン、タブレット、パーソナルコンピューター（据え置き型、携帯型いずれも含む。）、携帯ゲーム機、据え置き型ゲーム機、センサー装置、専用機器などの情報機器を用いて構成される。端末装置１０は、航空機、ドローン、自動車、ロボット等の移動体に搭載されてもよい。端末装置１０は、デジタルサイネージ、自動販売機、インターホン、監視装置等の装置に搭載されてもよい。端末装置１０は、第１撮像部１１、第２撮像部、記憶部１３及び制御部１４を備える。

【0016】

第１撮像部１１は、画像センサーを用いて構成される。第１撮像部１１は、例えば赤外線カメラとは異なる種類の画像センサーを用いて構成されてもよい。第１撮像部１１は、例えば可視光カメラ、ライダー（LiDAR）、レーダー等の装置を用いて構成されてもよい。第１撮像部１１は、音波センサーを用いて構成されてもよい。第１撮像部１１は、上述した画像センサーそのものとして構成されてもよいし、外部機器として画像センサーを端末装置１０に接続するためのインターフェースとして構成されてもよい。画像センサーは、その位置に応じて所定の空間を撮像する。第１撮像部１１は、画像センサーによって撮像された画像のデータを制御部１４に出力する。なお、ライダー（LiDAR）や音波センサーを用いて得られる情報は、画像というよりは三次元データ（三次元形状を示すデータ）として表現されることもある。しかしながら、本明細書においては、これらの三次元データも含めて“画像”と表現する。そのため、上述したように、ライダー（LiDAR）や音波センサーも画像センサーの一態様として定義する。

【0017】

第２撮像部１２は、赤外線カメラを用いて構成される。第２撮像部１２は、赤外線カメラそのものとして構成されてもよいし、外部機器として赤外線カメラを端末装置１０に接続するためのインターフェースとして構成されてもよい。赤外線カメラは、その位置に応じて所定の空間を撮像する。赤外線カメラは、第１撮像部１１における画像センサーと同じ空間を撮像することが望ましい。より好ましくは、赤外線カメラと第１撮像部１１における画像センサーとは、より近い視点位置として設置され、略同じ視線方向の画像を撮像するように構成される。第２撮像部１２は、画像センサーによって撮像された画像のデータを制御部１４に出力する。

【0018】

記憶部１３は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部１３は、制御部１４の処理で使用されるデータを記憶する。記憶部１３は、例えばパラメータテーブルを記憶する。図２は、パラメータテーブルの具体例を示す図である。パラメータテーブルは、複数のパラメータレコードを有する。各パラメータレコードは、物体識別情報及び放射率パラメータの各値を有する。

【0019】

物体識別情報は、物体を示す識別情報である。物体識別情報は、例えば物体のカテゴリを示す情報であってもよいし、物体に割り当てられた固有の名称を示す情報であってもよい。物体のカテゴリは、完成品を示すものであってもよいし、ある完成品を構成する個々の部品を示すものであってもよい。物体のカテゴリの具体例として、自動車、人体、人の頭、人の脚、猫、象、橋桁、アークホーン、送電線、支柱接合部、碍子、ボルト、ナットなどがある。

【0020】

放射率パラメータは、同じレコードの物体識別情報が示す物体を赤外線カメラで撮像する際に使用されることが好ましい放射率のパラメータを示す情報である。放射率パラメータは、例えば物体の表面を構成する物質に応じて定められてもよい。例えば、予め定められている放射率表を用いることによって、各物体識別情報に応じた放射率のパラメータが予め登録されてもよい。

【0021】

記憶部１３は、例えば物体判定処理に用いられるデータを記憶してもよい。このようなデータの具体例として、各物体識別情報が示す物体を画像から判定するために用いられる各物体の特徴量を示すデータがある。このようなデータの他の具体例として、学習済みモデルのデータがある。物体判定処理に用いられる学習済みモデルは、例えばパラメータテーブルに登録されている各物体識別情報が示す物体を画像から判定するために予め学習処理を実行することによって得られるデータである。このような学習処理は、例えば物体の画像とその物体の物体識別情報の正解データ（教師データ）を用いることで行われてもよい。このような学習処理は、端末装置１０で行われてもよいが、他の情報処理装置によって行われてもよい。

【0022】

制御部１４は、ＣＰＵ（Central Processing Unit）等のプロセッサーとメモリーとを用いて構成される。制御部１４は、プロセッサーがプログラムを実行することによって、撮像制御部１４１、物体判定部１４２、パラメータ取得部１４３及び温度判定部１４４として機能する。なお、制御部１４の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0023】

撮像制御部１４１は、第１撮像部１１及び第２撮像部１２の動作を制御する。撮像制御部１４１は、第２撮像部１２の撮像において使用される放射率のパラメータの設定を制御する。撮像制御部１４１は、パラメータ取得部１４３によって判定された放射率のパラメータを第２撮像部１２のパラメータとして設定する。その後に、撮像制御部１４１は、第２撮像部１２に対し撮像を実行させる。撮像制御部１４１は、第２撮像部１２によって撮像された映像のデータを記憶部１３に記録する。

【0024】

物体判定部１４２は、第１撮像部１１において撮像された映像のデータにおいて、所定の領域に位置している被写体の物体を判定する。所定の領域とは、例えば画面の中央部分を含む領域であってもよいし、映像のデータにおいて複数の領域であってもよい。物体判定部１４２は、例えば、被写体の物体が複数の物体識別情報のうちどの物体識別情報が示す物体に近いかを判定する。

【0025】

パラメータ取得部１４３は、物体判定部１４２によって判定された物体識別情報と対応付けてパラメータテーブルに登録されている放射率のパラメータを取得する。

【0026】

温度判定部１４４は、第２撮像部１２によって撮像された映像のデータを用いて、所定の領域に位置している被写体の温度（例えば表面温度）を判定する。

【0027】

図３は、端末装置１０の動作の流れの具体例を示すフローチャートである。まず、撮像制御部１４１は、第１撮像部１１による撮像を行う（ステップＳ１０１）。物体判定部１４２は、第１撮像部１１によって撮像された画像において被写体の物体を判定する（ステップＳ１０２）。物体判定部１４２は、例えば被写体の物体を示す物体識別情報を出力してもよい。パラメータ取得部１４３は、物体判定部１４２によって判定された物体に対応付けてパラメータテーブルに登録されている放射率のパラメータを取得する（ステップＳ１０３）。撮像制御部１４１は、パラメータ取得部１４３によって取得された放射率のパラメータを第２撮像部１２の赤外線カメラに設定する。そして、撮像制御部１４１は第２撮像部１２による撮像を行う（ステップＳ１０４）。撮像制御部１４１は、第２撮像部１２によって撮像された映像のデータを記憶部１３に記録する。温度判定部１４４は、第２撮像部１２によって撮像された映像のデータに基づいて、被写体の温度（例えば表面温度）を判定する（ステップＳ１０５）。温度判定部１４４は、例えば物体判定部１４２によって物体が判定された対象の物体の温度を判定してもよい。

【0028】

このように構成された端末装置１０では、第１撮像部１１によって撮像された物体に応じた放射率のパラメータが赤外線カメラに設定されて赤外線カメラの撮像が行われる。物体に応じた放射率のパラメータは、予めその物体の表面に用いられる物質などに応じて適切に登録された値である。そのため、赤外線カメラで撮像を行うに当たって、ユーザーは赤外線カメラにおける放射率のパラメータを検討する必要がない。したがって、より簡易に赤外線カメラの放射率に関する適切なパラメータを得ることが可能となる。

【0029】

（変形例）
図３に示されるフローチャートは、温度判定が指示されたことに応じて実行されてもよい。図３に示されるフローチャートのうちステップＳ１０１～Ｓ１０３の処理は、所定のタイミングで繰り返し実行されてもよいし、所定のタイミングで１回ずつ実行されてもよい。例えば、１分ごと、５分ごと、１０分ごと等の周期でステップＳ１０１～Ｓ１０３の処理が実行されてもよい。例えば、第２撮像が開始される直前や、温度判定が行われる直前のタイミングでステップＳ１０１～Ｓ１０３の処理が実行されてもよい。

【0030】

図３に示されるフローチャートにおいて、ステップＳ１０５の処理は必ずしも実行される必要は無い。例えば、ステップＳ１０４において第２撮像が実行されて映像が記録されたことに応じて図３のフローチャートの処理が終了してもよい。この場合、記録された映像に基づいて被写体の温度を判定する処理は、端末装置１０とは異なる装置において実行されてもよい。この場合、端末装置１０は温度判定部１４４を備えないように構成されてもよい。

【0031】

端末装置１０の制御部１４が備える物体判定部１４２やパラメータ取得部１４３は、他の情報処理装置（例えばクラウド）に実装されてもよい。この場合、端末装置１０の制御部１４は、他の情報処理装置との間で通信を行うことによって、物体の判定結果や放射率のパラメータを取得してもよい。

【0032】

物体判定部１４２は、第１撮像部１１によって撮像された画像内の複数の被写体について物体を判定してもよい。例えば、物体判定部１４２は、第１撮像部１１によって撮像された画像内の全ての被写体について物体を判定してもよい。この場合、パラメータ取得部１４３は、物体が判定された一部又は全ての被写体について放射率のパラメータを取得してもよい。この場合、撮像制御部１４１は、画像内の各被写体について、パラメータ取得部１４３によって取得された放射率のパラメータを切り替えて第２撮像部１２を用いて撮像してもよい。

【0033】

［第２実施形態］
図４は、撮像システム１００のシステム構成を示す概略ブロック図である。撮像システム１００は、移動体３０をユーザーが操作端末２０を用いて操作し撮像を行うためのシステムである。撮像システム１００は、操作端末２０及び移動体３０を含む。第２実施形態における移動体３０は、本発明における撮像装置の一態様である。操作端末２０及び移動体３０は通信可能に接続される。操作端末２０及び移動体３０は、赤外線通信等の近距離通信やケーブルやバスを用いて直接通信可能に接続されてもよいし、ＷｉＦｉ（登録商標）や移動体通信網等のネットワークを介して通信可能に接続されてもよい。このようなネットワークは、複数のネットワークが組み合わされて構成されてもよい。

【0034】

操作端末２０は、ユーザーによって移動体３０の操作に使用される端末装置である。操作端末２０は、例えばスマートフォン、タブレット、パーソナルコンピューター（据え置き型、携帯型いずれも含む。）、携帯ゲーム機、据え置き型ゲーム機置、専用機器などの情報機器を用いて構成される。操作端末２０は、通信部２１、入力部２２、表示部２３、記憶部２４及び制御部２５を備える。

【0035】

通信部２１は、通信機器である。通信部２１は、例えば近距離通信装置として構成されてもよいし、ネットワークインターフェースとして構成されてもよい。通信部２１は、制御部２５の制御に応じて、移動体３０と通信する。通信部２１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0036】

入力部２２は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。入力部２２は、ユーザーの指示を操作端末２０に入力する際にユーザーによって操作される。入力部２２は、入力装置を操作端末２０に接続するためのインターフェースであっても良い。この場合、入力部２２は、入力装置においてユーザーの入力に応じ生成された入力信号を操作端末２０に入力する。入力部２２は、ユーザーの指示を操作端末２０に入力可能な構成であればどのように構成されてもよい。

【0037】

表示部２３は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置である。表示部２３は、画像表示装置を操作端末２０に接続するためのインターフェースであっても良い。この場合、表示部２３は、画像を表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。画像表示装置は、操作端末２０を使用しているユーザーが表示画像を見ることができるように設けられる。

【0038】

記憶部２４は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部２４は、制御部２５の処理で使用されるデータを記憶する。

【0039】

制御部２５は、ＣＰＵ等のプロセッサーとメモリーとを用いて構成される。制御部２５は、プロセッサーがプログラムを実行することによって、通信制御部２５１及び表示制御部２５２として機能する。なお、制御部２５の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0040】

通信制御部２５１は、入力部２２において入力された操作の内容を示す情報（以下「操作情報」という。）を、通信部２１を介して移動体３０へ送信する。通信制御部２５１は、移動体３０から撮像された映像のデータを受信する。

【0041】

表示制御部２５２は、通信制御部２５１によって受信されたデータの内容を表示部２３に表示させる。例えば、表示制御部２５２は、移動体３０によって撮像された映像のデータが受信された場合には、受信された映像を表示部２３に表示させる。例えば、表示制御部２５２は、移動体３０から物体の候補を示す情報が受信された場合には、受信された各物体の候補を示す情報を表示部２３に表示させる。

【0042】

移動体３０は、操作端末２０に対する操作に応じて移動する機器である。移動体３０は、例えば航空機、ドローン、自動車、四輪車、二輪車、ロボット等の移動体に搭載されてもよい。移動体３０は、第１撮像部３１、第２撮像部３２、通信部３３、移動駆動部３４、記憶部３５及び制御部３６を備える。

【0043】

第１撮像部３１及び第２撮像部３２は、それぞれ第１実施形態の端末装置１０の第１撮像部１１及び第２撮像部１２と同様の構成である。そのため、第１撮像部３１及び第２撮像部３２についての説明は省略する。

【0044】

通信部３３は、通信機器である。通信部３３は、例えば近距離通信装置として構成されてもよいし、ネットワークインターフェースとして構成されてもよい。通信部３３は、操作端末２０の通信部２１と通信可能なプロトコルで通信を行う装置を用いて構成されることが望ましい。通信部３３は、制御部３６の制御に応じて、操作端末２０と通信する。通信部３３は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0045】

移動駆動部３４は、移動体３０の本体の位置を操作端末２０の操作に応じて移動させる装置である。例えば移動体３０が自動車である場合には、移動駆動部３４はエンジンやモーター等の駆動装置と、駆動装置によって駆動される車輪やシャフトを用いて構成される。例えば移動体３０がドローンである場合には、移動駆動部３４はモーター等の駆動装置と、駆動装置によって駆動されるプロペラを用いて構成されてもよい。例えば移動体３０が水中を移動する装置（例えば水中ドローンやＡＵＶ（Autonomous Underwater Vehicle））である場合には、移動駆動部３４はモーター等の駆動装置と、駆動装置によって駆動されるスクリューを用いて構成されてもよい。

【0046】

記憶部３５は、第１実施形態の端末装置１０の記憶部１３と同様の構成である。そのため、記憶部３５についての説明は省略する。

【0047】

制御部３６は、ＣＰＵ等のプロセッサーとメモリーとを用いて構成される。制御部３６は、プロセッサーがプログラムを実行することによって、撮像制御部３６１、物体判定部３６２、パラメータ取得部３６３、温度判定部３６４、通信制御部３６５及び移動制御部３６６として機能する。なお、制御部３６の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0048】

撮像制御部３６１、物体判定部３６２、パラメータ取得部３６３及び温度判定部３６４の動作については、基本的には第１実施形態の端末装置１０の撮像制御部１４１、物体判定部１４２、パラメータ取得部１４３及び温度判定部１４４と同様の構成である。以下、撮像制御部３６１、物体判定部３６２、パラメータ取得部３６３及び温度判定部３６４に関しては、第１実施形態の撮像制御部１４１、物体判定部３６２、パラメータ取得部３６３及び温度判定部３６４と異なる構成や処理について説明する。

【0049】

撮像制御部３６１は、操作端末２０から放射率のパラメータ設定の指示や、撮像の指示を受けたことに応じて、第１撮像部３１による撮像を行ってもよい。撮像制御部３６１は、操作端末２０からの指示がなくても、所定のタイミングで第１撮像部３１又は第２撮像部３２による撮像を行ってもよい。

【0050】

物体判定部３６２は、処理対象の被写体について、複数の物体識別情報のうちどの物体識別情報が示す物体に近いか判定し、所定の基準を越えて近いと判定された１又は複数の候補を取得する。物体判定部３６２は、取得された候補を示す情報を、通信部３３を介して操作端末２０に送信する。物体判定部３６２は、操作端末２０から、それらの候補の中からユーザーによって選択された候補を示す選択結果の情報を受信する。物体判定部３６２は、選択された物体の物体識別情報を判定結果として出力する。

【0051】

パラメータ取得部３６３は、物体判定部３６２から出力される判定結果の物体識別情報に対応付けられた放射率のパラメータを取得する。

【0052】

温度判定部３６４は、パラメータ取得部３６３によって取得された放射率のパラメータを用いて第２撮像部１２によって撮像された映像に基づいて、被写体の温度（例えば表面温度）を判定する。

【0053】

通信制御部３６５は、通信部３３の動作を制御する。例えば、通信制御部３６５は、自装置（移動体３０）と操作端末２０との間の通信を制御する。例えば、通信制御部３６５は、操作端末２０から移動体３０の操作に関する情報を受信すると、受信された情報を移動制御部３６６に出力する。例えば、通信制御部３６５は、物体判定部３６２によって選択された候補を示す情報を操作端末２０に送信する。例えば、通信制御部３６５は、操作端末２０から選択結果を受信すると、受信された選択結果を示す情報を物体判定部３６２に出力する。

【0054】

移動制御部３６６は、操作端末２０から受信される操作内容にしたがって移動駆動部３４の動作を制御する。移動制御部３６６は、例えば移動駆動部３４の動作を制御することによって、移動体３０の加速、減速、定速移動、移動方向の維持又は変更などを実現する。

【0055】

図５は、撮像システム１００における処理の流れの具体例を示すシーケンスチャートである。まず、操作装置２０においてユーザーが入力部２２を操作して第１撮像指示を入力すると、通信制御部２５１は第１撮像指示の入力を受け付ける（ステップＳ２０１）。第１撮像指示は、例えば直接的に第１撮像部３１を用いた撮像を行うことを示す指示であってもよいし、放射率のパラメータの設定を行うことを示す指示であってもよいし、他の態様の指示であってもよい。実質的に、第１撮像部３１を用いた撮像を直接的又は間接的に示す指示であれば、どのような態様で第１撮像指示が入力されてもよい。通信制御部２５１は、入力された第１撮像指示を移動体３０へ送信する（ステップＳ２０２）。

【0056】

移動体３０の通信制御部３６５は、受信された第１撮像指示を撮像制御部３６１に出力する。撮像制御部３６１は、第１撮像指示にしたがって、第１撮像部３１を制御して撮像する（ステップＳ２０３）。物体判定部３６２は、第１撮像部３１によって撮像された映像の所定の領域に位置する物体について、その物体がどのような物体であるかを示す情報（物体識別情報）の候補を判定する（ステップＳ２０４）。物体判定部３６２は、判定された候補を示す情報（以下「物体候補情報」という。）を、操作端末２０に送信する（ステップＳ２０５）。このとき、物体判定部３６２は、第１撮像部３１によって撮像された映像のデータを物体候補情報に含めてもよい。

【0057】

操作端末２０の通信制御部２５１は物体候補情報を受信すると、受信された物体候補情報を表示制御部２５２に出力する。表示制御部２５２は、受信された物体候補情報に含まれる映像を表示部２３に表示させる（ステップＳ２０６）。表示制御部２５２は、受信された物体候補情報が示す内容を表示部２３に表示させる（ステップＳ２０７）。物体候補情報は、映像の表示の上に重畳させる形で表示されてもよいし、映像とは他の画面領域に表示されてもよい。例えば、物体候補情報が複数の物体識別情報を含む場合には、それぞれの物体識別情報が示す物体の属性や名称や物体識別情報そのものが表示部２３に表示されてもよい。表示を見たユーザーは、入力部２２を操作することによって、いずれか一つの候補を選択する（ステップＳ２０８）。選択が行われると、通信制御部２５１は、選択された物体を示す情報（以下「選択情報」という。）を移動体３０へ送信する（ステップＳ２０９）。

【0058】

移動体３０の通信制御部３６５は選択情報を受信すると、受信された選択情報を物体判定部３６２に出力する。パラメータ取得部３６３は、受信された選択情報が示す物体の物体識別情報に応じて放射率のパラメータを取得する（ステップＳ２１０）。撮像制御部３６１は、取得された放射率のパラメータを第２撮像部３２のパラメータとして設定し、第２撮像部３２を用いた撮像を行う（ステップＳ２１１）。撮像制御部３６１は、撮像された映像のデータを記憶部３５に記録する。温度判定部３６４は、撮像された映像に基づいて、被写体の温度を判定する（ステップＳ２１２）。

【0059】

図６は、被写体の具体例を示す図である。図６において、主な被写体は送電鉄塔である。ただし、物体判定部３６２は、送電鉄塔全体で一つの被写体として捉えるのではなく、送電鉄塔を構成している個々の部品を一つの被写体として捉える。例えば、送電線９１、アークホーン９２、碍子９３又は支柱接合部９４がそれぞれ個々の被写体として物体判定部３６２によって判定される。

【0060】

図６の例では、画面の所定領域に位置する被写体が送電線である場合、物体判定部３６２によって物体が送電線であると判定され、パラメータ取得部３６３によって送電線に適した放射率のパラメータが取得される。例えば、送電線の表面の材質に応じて予め放射率のパラメータがパラメータテーブルに登録されている。具体的には、放射率のパラメータとして“０．０５”の値が取得されてもよい。

【0061】

図６の例では、画面の所定領域に位置する被写体がアークホーンである場合、物体判定部３６２によって物体がアークホーンであると判定され、パラメータ取得部３６３によってアークホーンに適した放射率のパラメータが取得される。例えば、アークホーンの表面の材質に応じて予め放射率のパラメータがパラメータテーブルに登録されている。具体的には、放射率のパラメータとして“０．９４”の値が取得されてもよい。

【0062】

図６の例では、画面の所定領域に位置する被写体が碍子である場合、物体判定部３６２によって物体が碍子であると判定され、パラメータ取得部３６３によって碍子に適した放射率のパラメータが取得される。例えば、碍子の表面の材質に応じて予め放射率のパラメータがパラメータテーブルに登録されている。具体的には、放射率のパラメータとして“０．５”の値が取得されてもよい。

【0063】

図６の例では、画面の所定領域に位置する被写体が支柱接合部である場合、物体判定部３６２によって物体が支柱接合部であると判定され、パラメータ取得部３６３によって支柱接合部に適した放射率のパラメータが取得される。例えば、支柱接合部の表面の材質に応じて予め放射率のパラメータがパラメータテーブルに登録されている。具体的には、放射率のパラメータとして“０．３５”の値が取得されてもよい。

【0064】

このように構成された撮像システム１００では、第１撮像部３１によって撮像された物体に応じた放射率のパラメータが赤外線カメラ（第２撮像部３２）に設定されて赤外線カメラの撮像が行われる。物体に応じた放射率のパラメータは、予めその物体の表面に用いられる物質などに応じて適切に登録された値である。そのため、赤外線カメラで撮像を行うに当たって、ユーザーは赤外線カメラにおける放射率のパラメータを検討する必要がない。したがって、より簡易に赤外線カメラの放射率に関するパラメータを得ることが可能となる。

【0065】

また、撮像システム１００では、赤外線カメラ（第２撮像部３２）が搭載される物は移動体３０である。そのため、移動体３０が移動先で近づいた物体について、適切な放射率のパラメータで赤外線カメラを用いた撮像を行うことが可能となる。その結果、移動体３０が移動先で近づいた物体について、精度よく温度（例えば表面温度）を判定することが可能となる。

【0066】

（変形例）
図５に示されるシーケンスチャートは、第２撮像部３２による撮像や温度判定が指示されたことに応じて実行されてもよい。図５に示されるシーケンスチャートにおいて、ステップＳ２０１及びステップＳ２０２の処理は、必ずしも実行されなくてもよい。この場合、例えば移動体３０が所定の条件を満たしたことに応じてステップＳ２０３移行の処理が開始されてもよい。所定の条件とは、例えば移動体３０が移動を開始してから所定の時間が経過したことであってもよいし、移動体３０が備えている位置判定装置（例えばＧＰＳ）に基づいて所定の領域に到着したことが判定されたことであってもよいし、所定の距離を飛行したことであってもよい。また、ステップＳ２０３以降の処理はステップＳ２０１及びステップＳ２０２の処理に関わらず、移動中は常に継続して繰り返し実行されてもよい。

【0067】

ステップＳ２０４の処理において、所定の基準を越えて物体判定部３６２が高い確率で物体が正解であると判定できた場合（例えばその物体であることを示すスコアが所定のスコア以上であった場合）には、ステップＳ２０５～ステップＳ２０９の処理が省略されてもよい。この場合、ユーザーに対して選択候補が提示されることなく、物体判定部３６２による判定結果（高い確率で正解と判定された判定結果）に基づいて放射率のパラメータが取得される。

【0068】

より具体的な例について説明する。所定のスコア以上の候補の物体が１つであった場合には、ステップＳ２０５～ステップＳ２０９の処理が省略される。所定のスコア以上の候補の物体が１つもなかった場合には、ステップＳ２０５において物体候補情報として、スコアが高いものから順に所定の数の物体候補が端末装置１０へ送信される。そしてステップＳ２０６～Ｓ２０９の処理が実行され、ユーザーによって選択された物体を示す選択情報が移動体３０へ送信される。所定のスコア以上の候補の物体が複数あった場合には、ステップＳ２０５において物体候補情報として、所定のスコア以上の全ての物体候補か、所定のスコア以上の物体候補のうちスコアが高いものから順に所定の数の物体候補が端末装置１０へ送信される。そしてステップＳ２０６～Ｓ２０９の処理が実行され、ユーザーによって選択された物体を示す選択情報が移動体３０へ送信される。なお、所定のスコア以上の候補の物体が１つであった場合にも、ステップＳ２０５～ステップＳ２０９の処理が実行されてもよい。この場合、ステップＳ２０５において物体候補情報として、所定のスコア以上の１つの物体候補が端末装置１０へ送信される。そしてステップＳ２０６～Ｓ２０９の処理が実行され、ユーザーによって選択された物体を示す選択情報が移動体３０へ送信される。この場合、所定のスコア以上の１つの物体候補がユーザーによって拒否された場合、スコアが高いものから順に所定の数の物体候補が新たに端末装置１０へ送信されてもよい。その後に、ステップＳ２０６～Ｓ２０９の処理が実行され、ユーザーによって選択された物体を示す選択情報が移動体３０へ送信される。

【0069】

図５に示されるシーケンスチャートにおいて、ステップＳ２１２の処理は必ずしも実行される必要は無い。例えば、ステップＳ２１１において第２撮像が実行されて映像が記録されたことに応じて図５のシーケンスチャートの処理が終了してもよい。この場合、記録された映像に基づいて被写体の温度を判定する処理は、移動体３０とは異なる装置において実行されてもよい。この場合、移動体３０は温度判定部３６４を備えないように構成されてもよい。

【0070】

移動体３０の制御部３６が備える物体判定部３６２やパラメータ取得部３６３は、他の情報処理装置（例えばクラウド）に実装されてもよい。この場合、情報処理装置は、通信部と、物体判定部３６２と、パラメータ取得部３６３と、パラメータテーブルを記憶した記憶部と、を備える。情報処理装置は、移動体３０等の装置からネットワークを介して画像（第１撮像部によって撮像された画像（いわゆる画像や三次元データ等））を受信すると、その画像の被写体の物品に応じた放射率のパラメータを取得し、移動体３０等の装置に対して放射率のパラメータを送信する。この場合、移動体３０の制御部３６は、情報処理装置との間で通信を行うことによって、物体の判定結果や放射率のパラメータを取得してもよい。

【0071】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0072】

１００…撮像システム， １０…端末装置， １１…第１撮像部， １２…第２撮像部， １３…記憶部， １４…制御部， １４１…撮像制御部， １４２…物体判定部， １４３…パラメータ取得部， １４４…温度判定部， ２０…操作端末， ２１…通信部， ２２…入力部， ２３…表示部， ２４…記憶部， ２５…制御部， ２５１…通信制御部， ２５２…表示制御部， ３０…移動体， ３１…第１撮像部， ３２…第２撮像部， ３３…通信部， ３４…移動駆動部， ３５…記憶部， ３６…制御部， ３６１…撮像制御部， ３６２…物体判定部， ３６３…パラメータ取得部， ３６４…温度判定部， ３６５…通信制御部， ３６６…移動制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】