特開 2025-151949 飛行ロボットの画像表示装置および画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025151949

(43)【公開日】2025-10-09

(54)【発明の名称】飛行ロボットの画像表示装置および画像表示方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20251002BHJP

   B64U 20/87 20230101ALI20251002BHJP

   B64U 101/30 20230101ALN20251002BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 U

B64U20/87

B64U101:30

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2024053593

(22)【出願日】2024-03-28

(71)【出願人】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】100103850

【弁理士】

【氏名又は名称】田中 秀▲てつ▼

(74)【代理人】

【識別番号】100114177

【弁理士】

【氏名又は名称】小林 龍

(74)【代理人】

【識別番号】100066980

【弁理士】

【氏名又は名称】森 哲也

(72)【発明者】

【氏名】鈴木 大貴

(72)【発明者】

【氏名】光信 拓也

【テーマコード（参考）】

5C054

【Ｆターム（参考）】

5C054AA01

5C054CA04

5C054CC02

5C054CE00

5C054CF06

5C054CF08

5C054DA07

5C054EA01

5C054EA05

5C054FC12

5C054FC13

5C054FC14

5C054FC15

5C054FE09

5C054FE14

5C054FE16

5C054FE25

5C054HA19

(57)【要約】

【課題】飛行ロボットにより撮影した撮影画像から検出した物体を示すマークを撮影画像に重畳して表示する際に、撮影画像に重畳されたマークの視認性を向上する。
【解決手段】画像表示装置は、飛行ロボット１により撮影した撮影画像５を取得する取得部２４ｃと、撮影画像５から物体６を検出する物体検出部２４ｄと、撮影画像５の特性に応じて、検出した物体６を示すマーク７の表示様態を決定する決定部２４ｆと、決定した表示様態で表示されるようにマーク７が重畳された撮影画像５を表示する表示部２１と、を備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

飛行ロボットにより撮影した撮影画像を取得する取得部と、
前記撮影画像から物体を検出する物体検出部と、
前記撮影画像の特性に応じて、検出した前記物体を示すマークの表示様態を決定する決定部と、
前記表示様態で表示されるように前記マークが重畳された前記撮影画像を表示する表示部と、
を備えることを特徴とする飛行ロボットの画像表示装置。

【請求項2】

前記決定部は、前記撮影画像における背景情報に応じて、前記表示様態を決定することを特徴とする請求項１に記載の飛行ロボットの画像表示装置。

【請求項3】

前記決定部は、前記撮影画像において前記検出した物体の数、密度、又は色情報に応じて、前記表示様態を決定することを特徴とする請求項１に記載の飛行ロボットの画像表示装置。

【請求項4】

前記決定部は、前記撮影画像の領域のうち前記検出した物体の周囲の領域の色情報に応じて、前記表示様態である前記マークの色情報を決定することを特徴とする請求項２に記載の飛行ロボットの画像表示装置。

【請求項5】

前記決定部は、前記撮影画像の領域のうち前記検出した物体の周囲の領域の色情報と前記検出した物体の色情報との類似度に応じて、前記表示様態を決定することを特徴とする請求項２に記載の飛行ロボットの画像表示装置。

【請求項6】

前記決定部は、前記飛行ロボットの飛行情報に応じて、前記表示様態を決定することを特徴とする請求項１に記載の飛行ロボットの画像表示装置。

【請求項7】

前記決定部は、前記飛行ロボットの飛行情報として前記飛行ロボットの高度情報を用いて、前記飛行ロボットの高度が高いときの方が低いときよりも前記表示様態である前記マークの大きさを大きくすることを特徴とする請求項６に記載の飛行ロボットの画像表示装置。

【請求項8】

飛行ロボットにより撮影した撮影画像を取得する処理と、
前記撮影画像から物体を検出する処理と、
前記撮影画像の特性に応じて、検出した前記物体を示すマークの表示様態を決定する処理と、
前記表示様態で表示されるように前記マークが重畳された前記撮影画像を表示する処理と、
を少なくとも１つのコンピュータに実行させることを特徴とする画像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、飛行ロボットの画像表示装置および画像表示方法に関する。

【背景技術】

【0002】

下記特許文献１には、検出された人物の顔画像と、データベースに記憶されている特定の人物の顔の特徴情報と、に基づいて、検出された人物が特定の人物である信頼度を算出し、信頼度に基づいて検出枠の表示方法を変更する撮像装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許４８４０９７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

飛行ロボットにより撮影した撮影画像を監視する際に、撮影画像上で検出された物体がオペレータに把握され易くする為に、検出した物体を示すマーク（例えば検出した物体を囲む検出枠）を撮影画像に重畳して表示することがある。
しかしながら、飛行ロボットによる撮影条件は多様であり、物体を検出する状況や検出される物体の状態も多様である。このため、撮影条件、物体の検出状況、物体の状態によっては、撮影画像に重畳されたマークの視認性が乏しくなる虞がある。
本発明は、上記の問題点を鑑みてなされたものであり、飛行ロボットにより撮影した撮影画像から検出した物体を示すマークを撮影画像に重畳して表示する際に、撮影画像に重畳されたマークの視認性を向上することを目的とする。

【課題を解決するための手段】

【0005】

本発明の一形態による飛行ロボットの画像表示装置は、飛行ロボットにより撮影した撮影画像を取得する取得部と、撮影画像から物体を検出する物体検出部と、撮影画像の特性に応じて、検出した物体を示すマークの表示様態を決定する決定部と、表示様態で表示されるようにマークが重畳された撮影画像を表示する表示部と、を備える。

【発明の効果】

【0006】

本発明によれば、飛行ロボットにより撮影した撮影画像から検出した物体を示すマークを撮影画像に重畳して表示する際に、撮影画像に重畳されたマークの視認性を向上させることができる。

【図面の簡単な説明】

【0007】

【図1】本発明の実施形態の飛行ロボット制御システムの構成の一例を示す概略図である。

【図2】（ａ）及び（ｂ）は、撮影画像上の物体を示すマークが重畳された撮影画像の模式図である。

【図3】自律飛行ロボットの機能構成の一例のブロック図である。

【図4】管理装置の機能構成の一例のブロック図である。

【図5】操作端末の機能構成の一例のブロック図である。

【図6】実施形態の画像表示方法の一例のフローチャートである。

【発明を実施するための形態】

【0008】

以下において、図面を参照して本発明の実施形態を説明する。なお、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。

【0009】

以下、本発明を適用した飛行ロボット制御システム１００の概略構成を示した図１を参照して、本発明の実施の形態の構成を説明する。
（飛行ロボット制御システム１００）
飛行ロボット制御システム１００は、１台以上の自律飛行ロボット１と、操作端末２と、管理装置３とを有する。例えば、飛行ロボット制御システム１００は、予め設定された監視領域における巡回や、監視対象の異常対処や、点検などの幅広い用途に用いられる。

【0010】

自律飛行ロボット１による巡回飛行を行う場合には、自律飛行ロボット１に設けられたセンサ（例えばカメラ）で周囲の状況を検出しながら、例えば管理装置３で設定した飛行経路に沿って自律飛行ロボット１を自律飛行させる。遠隔のオペレータは、自律飛行ロボット１により撮影した撮影画像に基づいて、監視領域内の状況を確認する。

【0011】

自律飛行ロボット１は、オペレータが操作端末２を手動操作することによって操縦することも可能である。例えば、特定の地点における状況をより詳細に確認する必要が生じた場合には、オペレータが操作端末２を介して手動で自律飛行ロボット１を操縦することにより、特定の地点におけるより詳細な状況を確認できる。

【0012】

（実施形態の飛行制御方法の概要）
次に、図２（ａ）及び図２（ｂ）を参照して実施形態の画像表示方法の一例の概要を説明する。自律飛行ロボット１により撮影した撮影画像５は操作端末２に送信される。操作端末２は自律飛行ロボット１から受信した撮影画像５を表示装置（後述の表示部２１）に表示してオペレータに提示する。

【0013】

操作端末２は、画像認識処理により撮影画像５から人物や車両、人物以外の動物などの物体６（移動体）を検出する。操作端末２は、撮影画像５上で検出した物体６がオペレータに把握され易くする為に、検出した物体６を示すマーク７（例えば検出した物体を囲む検出枠）を撮影画像５に重畳して表示している。

【0014】

しかしながら、自律飛行ロボット１による撮影条件は多様であり、物体６を検出する状況や検出される物体６の状態も多様である。このため、これら撮影条件、物体６の検出状況、物体６の状態によっては、マーク７の視認性が乏しくなる虞がある。
例えば、マーク７の色の色相、明度、彩度が、撮影画像５の背景の色の色相、明度、彩度と大きく異なる場合には図２（ａ）に示すようにマーク７を視認しやすくなる。反対にマーク７の色の色相、明度、彩度が、撮影画像５の背景の色の色相、明度、彩度に近い場合には、マーク７が撮影画像５の背景に同化してしまいマーク７を視認しにくくなる。

【0015】

そこで操作端末２は、撮影画像５の特性に応じて、検出した物体６を示すマーク７の表示様態を決定する。
これにより、撮影画像５の撮影条件、物体６の検出状況、物体６の状態によって撮影画像５に重畳されたマーク７の視認性が乏しくなるのを抑制し、マーク７の視認性を向上させることができる。

【0016】

次に、自律飛行ロボット１、操作端末２、管理装置３の各々について説明する。
（自律飛行ロボット１）
図３は、自律飛行ロボットの機能構成の一例のブロック図である。自律飛行ロボット１は、例えば、ヘキサロータ型やクアッドロータ型の小型無人ヘリコプタであり、いわゆる、マルチコプタ、ドローン、ＵＡＶ（Unmanned Aerial Vehicle）等である。なお、ヘキサロータ型やクアッドロータ型の小型無人ヘリコプタに限定されるものではなく、シングルロータ型の小型無人ヘリコプタについても同様に適用することができる。
自律飛行ロボット１は、自律飛行ロボット１の飛行経路に係る情報（後述する経路情報）を操作端末２から受信する。

【0017】

自律飛行ロボット１を自律飛行させる場合、自律飛行ロボット１は所定の飛行条件に従って自動飛行する。
所定の飛行条件は、例えば管理装置３から受信した経路情報によって指定された飛行経路であってよい。自律飛行モードにおいて自律飛行ロボット１は、管理装置３により指定された飛行経路に沿って飛行する。
所定の飛行条件として目標位置を設定してもよい。この場合に自律飛行ロボット１は、障害物を回避しながら目標位置へ向かう飛行経路を検索し、検索した飛行経路に沿って飛行する。

【0018】

自律飛行ロボット１は、位置・姿勢センサ１０と、撮像装置１１と、通信部１２と、制御部１３と、記憶部１４と、モータ１５と、ロータ１６と備える。
位置・姿勢センサ１０は、自律飛行ロボット１の現在位置および姿勢を取得する。位置・姿勢センサ１０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）等の航法衛星（人工衛星）から送信される電波（航法信号）を受信する受信機、加速度を計測する加速度センサ、方位を計測する電子コンパス、および角速度を計測するジャイロセンサを備えている。

【0019】

例えば位置・姿勢センサ１０の受信機は、複数の航法衛星から送信される航法信号を受信して制御部１３に出力するとともに、電子コンパスおよびジャイロセンサは、計測信号を制御部１３に出力する。
現在位置を取得するために受信機に代えてレーザスキャナおよび気圧センサを用いるなど、他の既知のセンサを用いて既知の従来技術により現在位置および姿勢を得るための情報を取得するものとしてもよい。

【0020】

撮像装置１１は、自律飛行ロボット１の位置から見た画像を撮影するための撮像装置（例えばカメラ）である。例えば撮像装置１１は、画角や自律飛行ロボット１の前後方向に対する光軸方向が固定されたカメラであってもよく、画角や光軸方向が可変なカメラ（例えばＰＴＺカメラであってもよい）

【0021】

通信部１２は、操作端末２と自律飛行ロボット１との間で、及び管理装置３と自律飛行ロボット１との間で通信するための通信モジュールである。
記憶部１４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等の情報記憶装置である。記憶部１４は、各種プログラムや各種データを記憶し、制御部１３との間でこれらの情報を入出力する。各種データには、位置・姿勢情報１４ａ、経路情報１４ｂ等の制御部１３の処理に用いられる情報が含まれる。

【0022】

位置・姿勢情報１４ａは、位置・姿勢センサ１０によって取得された自律飛行ロボット１の現在位置と姿勢とを、予め定められた回数だけ循環記憶した位置と姿勢の履歴である。ここで、履歴内の最新の位置及び姿勢を特に現在位置及び現在姿勢と表記し、それ以外の位置及び姿勢を過去位置及び過去姿勢と表記することがある。
経路情報１４ｂは、自律飛行ロボット１が移動する予定である飛行経路に関する情報である。具体的には、飛行経路上における座標列である。経路情報１４ｂは、管理装置３から受信する。

【0023】

制御部１３は、ＣＰＵ（Central Processing Unit）等のプロセッサ、ＲＯＭ、ＲＡＭ等の周辺機器を備えたコンピュータである。制御部１３のプロセッサは、記憶部１４に格納されたコンピュータプログラムを実行することにより、以下に説明する制御部１３の機能を実現する。
制御部１３は、位置・姿勢算出部１３ａ、飛行制御部１３ｂ、経路探索部１３ｃ、飛行情報送信部１３ｄ、撮影画像送信部１３ｅ等として機能する。

【0024】

位置・姿勢算出部１３ａは、位置・姿勢センサ１０の出力から３次元的な移動領域（例えば飛行空間）における自律飛行ロボット１の現在位置および姿勢を算出し、位置・姿勢情報１４ａとして記憶部１４に記憶させる。
例えば位置・姿勢算出部１３ａは、位置・姿勢センサ１０によって出力された航法信号から緯度・経度・高度を求め、予め記憶した変換規則を用いて移動領域の座標系における位置に変換する。

【0025】

また、位置・姿勢算出部１３ａは、位置・姿勢センサ１０によって出力された加速度センサおよびジャイロセンサの計測信号から移動領域の座標系における現在姿勢を求める。
なお、位置・姿勢センサ１０によって出力された電子コンパスの計測信号から、移動領域の座標系における方位を求め、他のセンサからの計測信号を更に用いて現在姿勢を算出してもよい。
以上のように、位置・姿勢センサ１０と位置・姿勢算出部１３ａ（制御部１３）とが共働することにより自律飛行ロボット１の現在位置及び現在姿勢を検出する。

【0026】

飛行制御部１３ｂは、モータ１５の回転速度を制御することによって自律飛行ロボット１の飛行動作を制御する。自律飛行ロボット１には、４つ又は６つのロータ１６と、これらロータ１６にそれぞれ連結された回転軸を有するモータ１５が搭載されている。各モータ１５は、制御部１３に接続されて飛行制御部１３ｂから回転速度を指示される。４つ又は６つのロータ１６が独立して回転することにより自律飛行ロボット１に任意方向の加速度を発生させる。

【0027】

自律飛行ロボット１を自律飛行させる場合に、飛行制御部１３ｂは所定の飛行条件に従って自律飛行ロボット１を自動飛行させる。例えば所定の飛行条件として飛行経路が与えられている場合には、飛行制御部１３ｂは、経路情報１４ｂ、位置・姿勢情報１４ａを参照し、自律飛行ロボット１を経路情報１４ｂに記された飛行経路に追従して移動するようモータ１５の回転速度を制御する。具体的には、飛行制御部１３ｂは、経路情報１４ｂに記された現在時刻の位置（座標）と、位置・姿勢情報１４ａに記された現在位置との誤差が小さくなるようにモータ１５の回転速度を制御する。

【0028】

例えば所定の飛行条件として目標位置が与えられている場合には、障害物を回避しながら目標位置へ向かう飛行経路に沿って移動するように、モータ１５の回転速度を制御する。経路探索部１３ｃは、障害物を回避しながら目標位置へ向かう飛行経路を検索する。
自律飛行ロボット１を手動で操縦する場合には、飛行制御部１３ｂは操作端末２から受信した制御情報に基づいてモータ１５の回転速度を制御する。操作端末２は、例えば自律飛行ロボット１に発生させる３軸方向（前後方向、左右方向及び上下方向）の目標加速度の情報を制御情報として送信してよい。

【0029】

飛行情報送信部１３ｄは、自律飛行ロボット１の飛行に関する飛行情報を、通信部１２を介して操作端末２と管理装置３に送信する。
例えば飛行情報は、自律飛行ロボット１の現在位置、現在姿勢、高度、速度等の情報を含んでいてよい。
撮影画像送信部１３ｅは、撮像装置１１によって撮影された撮影画像を、通信部１２を介して操作端末２へ送信する。

【0030】

（管理装置３）
管理装置３は、所定位置（例えば監視領域や自律飛行ロボット１の移動領域、自律飛行ロボット１を運用する事業者の敷地など）に設置される。管理装置３は、自律飛行ロボット１から受信した現在位置から、自律飛行ロボット１の飛行先である目標位置に至る飛行経路を求め、自律飛行ロボット１に送信する。

【0031】

図４は、管理装置３の機能構成の一例のブロック図である。管理装置３は、通信部３０と、制御部３１と、記憶部３２とを備える。
通信部３０は、自律飛行ロボット１と管理装置３との間で、及び操作端末２と管理装置３との間で通信するための通信モジュールである。

【0032】

記憶部３２は、ＲＯＭ、ＲＡＭ、ＨＤＤ等の情報記憶装置である。記憶部３２は、各種プログラムや各種データを記憶し、制御部３１との間でこれらの情報を入出力する。各種データには、例えば監視領域及びその周辺領域の地図情報３２ａや、経路情報３２ｂや、自律飛行ロボット１から受信した飛行情報３２ｃ等の制御部３１の処理に用いられる情報が含まれる。
制御部３１は、ＣＰＵ等のプロセッサ、ＲＯＭ、ＲＡＭ等の周辺機器を備えたコンピュータである。制御部３１のプロセッサは、記憶部３２に格納されたコンピュータプログラムを実行することにより、以下に説明する制御部３１の機能を実現する。

【0033】

制御部３１は、飛行経路設定部３１ａ、飛行情報取得部３１ｂとして機能する。
飛行経路設定部３１ａは、自律飛行ロボット１の移動の開始位置（例えば、自律飛行ロボット１の現在位置）から、自律飛行ロボット１の飛行先として設定された目標位置まで、自律飛行ロボット１を移動させる飛行経路を探索して、探索した飛行経路の情報を経路情報３２ｂとして記憶部３２に記憶する。

【0034】

飛行経路設定部３１ａは、探索した飛行経路の情報を、通信部３０を介して自律飛行ロボット１に送信する。自律飛行ロボット１は、受信した飛行経路の情報を経路情報１４ｂとして記憶する。
飛行情報取得部３１ｂは、自律飛行ロボット１から送信された自律飛行ロボット１の飛行情報３２ｃを取得する。飛行情報取得部３１ｂは、取得した飛行情報３２ｃを記憶部３２に格納する。

【0035】

（操作端末２）
操作端末２は、オペレータによる自律飛行ロボット１の操縦や自律飛行ロボット１から送られてくる撮影画像の監視に用いられる端末装置である。例えば操作端末２は、オペレータが携行可能な遠隔操作装置（いわゆる「プロポ」）やタブレット端末であってもよく、監視卓等に固定されたパーソナルコンピュータであってよい。操作端末２は、特許請求の範囲に記載の「画像表示装置」の一例である。

【0036】

図５は、操作端末２の機能構成の一例のブロック図である。操作端末２は、通信部２０と、表示部２１と、操作部２２と、制御部２４と、記憶部２５を備える。
通信部２０は、自律飛行ロボット１と操作端末２との間で、及び管理装置３と操作端末２との間で通信するための通信モジュールである。例えば通信部２０は、自律飛行ロボット１から送信された撮影画像を受信する。

【0037】

表示部２１は、操作端末２からオペレータに提供される視覚的情報を表示するユーザインタフェース装置である。例えば操作端末２は、自律飛行ロボット１から受信した撮影画像を表示部２１に表示してオペレータに提示する。
操作部２２は、操作端末２に対するオペレータの操作入力を受け付けるユーザインタフェースである。操作部２２は、例えばグラフィカルユーザインタフェース（ＧＵＩ:Graphical User Interface）が表示される表示部２１の表示画面に設けられたタッチパネルであってもよく、ボタン、ダイヤル、スライダなどの物理的な操作部材を有してもよい。

【0038】

記憶部２５は、ＲＯＭ、ＲＡＭ、ＨＤＤ等の情報記憶装置である。記憶部２５は、各種プログラムや各種データを記憶し、制御部２４との間でこれらの情報を入出力する。各種データには、例えば監視領域及びその周辺領域の地図情報２５ａや、自律飛行ロボット１から受信した飛行情報２５ｂ等の制御部２４の処理に用いられる情報が含まれる。

【0039】

制御部２４は、ＣＰＵ等のプロセッサ、ＲＯＭ、ＲＡＭ等の周辺機器を備えたコンピュータである。制御部２４のプロセッサは、記憶部２５に格納されたコンピュータプログラムを実行することにより、以下に説明する制御部２４の機能を実現する。
制御部２４は、制御情報生成部２４ａ、飛行情報取得部２４ｂ、撮影画像受信部２４ｃ、物体検出部２４ｄ、色情報取得部２４ｅ、様態決定部２４ｆ、及び画像出力部２４ｇとして機能する。

【0040】

制御情報生成部２４ａは、自律飛行ロボット１を手動で操縦する場合に、操作部２２に対するオペレータの操作入力に基づいて、自律飛行ロボット１の飛行動作を制御するための制御情報を生成する。制御情報生成部２４ａは、通信部２０を介して制御情報を自律飛行ロボット１へ送信する。
飛行情報取得部２４ｂは、自律飛行ロボット１から送信された自律飛行ロボット１の飛行情報２５ｂを取得する。飛行情報取得部２４ｂは、取得した飛行情報２５ｂを記憶部２５に格納する。

【0041】

撮影画像受信部２４ｃは、自律飛行ロボット１から受信した撮影画像を取得する。以下、自律飛行ロボット１から受信した撮影画像の例として、図２（ａ）に示す撮影画像５を例示して物体検出部２４ｄ、様態決定部２４ｆ、画像出力部２４ｇを説明する。
物体検出部２４ｄは、画像認識処理により撮影画像５から物体６を検出する。物体検出部２４ｄにより検出される物体６は、例えばオペレータが注意すべき特定の種類の移動体や静止物体であってよい。例えば物体６は、人物や、人物以外の動物、人物以外の物体（例えば車両）などであってよい。

【0042】

色情報取得部２４ｅは、撮影画像５の特定領域における色情報を取得する。色情報として色相、明度、彩度の少なくとも一つを含む。例えば、撮影画像５としてＲＧＢ画像を取得し、ＲＧＢ色空間からＨＳＶ色空間に変換する。色情報取得部２４ｅは、ＨＳＶ画像を構成する画素ごとにＨＳＶ空間の色相値Ｈ（０°～３６０°）、明度Ｓ（０％～１００％）、彩度Ｖ（０％～１００％）を取得し、ＨＳＶの各値についてそれぞれヒストグラムを作成する。そして、各ヒストグラムの極大値をＨＳＶの各代表値として求め、撮影画像５における色情報とする。なお、代表値の算出に限らず、各画素のＨＳＶ値の平均値を算出して撮影画像５における色情報としてもよい。また、撮影画像５の全体を対象にして撮影画像５における色情報を取得する例に限らず、撮影画像５のうち物体６の画像位置の周囲の所定範囲（例えば物体６の画像位置を中心位置とする所定距離の範囲）を対象として、撮影画像５における色情報を取得してもよいし、撮影画像５のうち物体６の画像位置（すなわち、物体６）を対象として色情報を取得してもよい。
また、撮影画像におけるテクスチャ情報（例えば、影領域、模様、人物の服装等）を公知の手法により取得してもよい。なお、色情報とテクスチャ情報は特許請求の範囲に記載の「背景情報」の一例である。

【0043】

様態決定部２４ｆは、物体検出部２４ｄが検出した物体６を撮影画像５上で示すマーク７の表示様態を決定する。例えばマーク７は、物体６を囲む検出枠であってもよく、物体６の画像位置の付近に付与される絵や図形、記号などであってもよい。また、マーク７の表示様態は、例えばマーク７の大きさや、色（色情報）、形であってよく、検出枠や図形、記号を構成する線分の太さであってもよい。

【0044】

様態決定部２４ｆは、撮影画像５の特性に応じてマーク７の表示様態を決定する。
撮影画像５の特性は、例えば撮影画像５における色情報（例えば、色相、明度、彩度）であってよい。例えば様態決定部２４ｆは、撮影画像５における色情報に応じてマーク７の表示様態であるマーク７の色（例えば、色相、明度、彩度）を決定してよい。
様態決定部２４ｆは、撮影画像５の色の色相、明度、彩度のうち少なくとも１つが異なる色をマーク７の色として決定してよい。例えば様態決定部２４ｆは、撮影画像５の色とマーク７の色との間で色相、明度、彩度のうち少なくとも１つが閾値以上異なるように、マーク７の色を決定してよい。例えば様態決定部２４ｆは、撮影画像５の色の反対色や補色をマーク７の色として決定するものとし、撮影画像５の色情報として特定した色相値に対して、色相環において所定角度（例えば、１８０°）異なる色をマーク７の色とする。また、様態決定部２４ｆは、撮影画像５の色の明度または彩度と異なる色をマークの色として決定するものとし、撮影画像５の色情報として特定した明度または彩度に対して、閾値（例えば、３０％）以上異なる色をマークの色とする。
また、様態決定部２４ｆは、テクスチャ情報に応じて、マーク７の表示様態を決定してもよい。例えば、撮影画像５の背景が格子柄で構成されている場合、マーク７を四角形以外の形で表示することで、マーク７の視認性を高める。

【0045】

例えば様態決定部２４ｆは、撮影画像５のうち物体６の画像位置の周囲の所定範囲（例えば物体６の画像位置を中心位置とする所定距離の範囲）における色情報に基づいてマーク７の色を決定してよい。また例えば、物体６が移動した場合を考慮して、撮影画像５の全体の色情報に基づいてマーク７の色を決定してよい。例えば撮影画像５の全体の色相、明度、彩度のそれぞれの平均値に基づいてマーク７の色を決定してもよい。

【0046】

また例えば、撮影画像５のうち物体６の画像位置の周囲の所定範囲における色情報と物体６の色情報との類似度に基づいてマーク７の表示様態を決定してもよい。色情報の類似度は、例えば、ＨＳＶの各値うち少なくとも一つを比較対象として、差が閾値未満である場合に類似度が高いと判定する。類似度が高い場合、すなわち、物体６と背景とが同系色である場合、物体６が背景と同化して見えにくくなる虞があるため、マーク７の視認性をより高める必要がある。そのため、類似度が高い場合には、マーク７を構成する線分をより太くしたり、マーク７の大きさを撮影画像５上における物体６のサイズに応じて決定されるマーク７の大きさよりも大きくしてよい。

【0047】

また例えば、撮影画像５の特性は撮影画像５で検出された物体６の数、若しくは密度であってよい。すなわち、様態決定部２４ｆは、撮影画像５で検出された物体６の数、若しくは密度に応じてマーク７の表示様態を決定してよい。
撮影画像５で検出された物体６の総数が多い場合や、特定の範囲に物体６が集中することによって物体６の密度が高くなっている場合には、マーク７である検出枠や図形、記号を構成する線分が太すぎるとマーク７の視認性が乏しくなる虞がある。

【0048】

このため例えば様態決定部２４ｆは、撮影画像５で検出された物体６の数、若しくは密度に応じてマーク７を構成する線分の太さを決定してよい。例えば様態決定部２４ｆは、撮影画像５で検出された物体６の総数が少ない場合に比べて多い場合にマーク７を構成する線分をより細くしてもよい。また例えば様態決定部２４ｆは、撮影画像５を複数のエリアに分割し、分割されたエリアにおいて検出された物体６が少ない場合（すなわち密度が低い場合）に比べて多い場合（すなわち密度が高い場合）に、マーク７を構成する線分をより細くしてもよい。

【0049】

また例えば、撮影画像５の特性は、撮影画像５における物体６の画像の色情報であってもよい。すなわち様態決定部２４ｆは、物体６の画像の色情報に応じてマーク７の表示様態であるマーク７の色を決定してよい。
物体６の画像の色とマーク７の色が近いと、マーク７が物体６の画像と同化して視認性が低下する虞がある。

【0050】

このため様態決定部２４ｆは、物体６の画像の色の色相、明度、彩度のうち少なくとも１つが異なる色をマーク７の色として決定してよい。例えば様態決定部２４ｆは、物体６の画像の色とマーク７の色との間で色相、明度、彩度のうち少なくとも１つが閾値以上異なるように、マーク７の色を決定してよい。例えば様態決定部２４ｆは、物体６の画像の色の反対色や補色をマーク７の色として決定してよい。

【0051】

また例えば、撮影画像５の特性は、撮影画像５を撮影したときの自律飛行ロボット１の飛行情報であってよい。すなわち、様態決定部２４ｆは、撮影画像５が撮影されたときの自律飛行ロボット１の飛行情報に応じてマーク７の表示様態を決定してよい。
例えば、撮影画像５を撮影したときの自律飛行ロボット１の高度が高い場合には、撮影画像５上で物体６が小さく表示され易い。この結果、撮影画像５上における物体６のサイズに応じてマーク７（例えば検出枠）の大きさを決定すると、マーク７が見えにくくなる（すなわち物体６の位置が把握しにくくなる）虞がある。

【0052】

このため様態決定部２４ｆは、自律飛行ロボット１の飛行情報として自律飛行ロボット１の高度情報を用いてもよい。様態決定部２４ｆは、自律飛行ロボット１の高度に応じて、マーク７の表示様態であるマーク７の大きさを決定してもよい。
例えば自律飛行ロボット１の高度が閾値以上である場合には、物体６の位置を把握し易くするために、マーク７の大きさを、撮影画像５上における物体６のサイズに応じて決定されるマーク７の大きさよりも大きくしてよい。

【0053】

例えば、撮影画像５を撮影したときの自律飛行ロボット１の速度が高い場合には、物体６の位置がマーク７（例えば検出枠）から外れ易くなる。
このため様態決定部２４ｆは、自律飛行ロボット１の飛行情報として自律飛行ロボット１の速度を用いてもよい。様態決定部２４ｆは、自律飛行ロボット１の速度に応じてマーク７の表示様態であるマーク７の大きさを決定してもよい。例えば自律飛行ロボット１の速度が高い場合には低い場合に比べて、物体６の位置がマーク７から外れにくくなるように（例えば検出枠内に収まり易くなるように）マーク７を大きくしてもよい。例えば自律飛行ロボット１の速度が閾値以上である場合には、マーク７の大きさを、撮影画像５上における物体６のサイズに応じて決定されるマーク７の大きさよりも大きくしてよい。

【0054】

また例えば、撮影画像５のおおよその色情報を、撮影画像５の撮影したときの自律飛行ロボット１の飛行エリアに基づいて特定できる場合がある。例えば、飛行エリアが海である場合には撮影画像５の色はおおよそ青色であると特定でき、ゴルフ場である場合にはおおよそ緑色であると特定でき、農地である場合には農繁期ではおおよそ緑色であり農閑期ではおおよそ茶色であると特定できる。

【0055】

このため様態決定部２４ｆは、自律飛行ロボット１の飛行情報として自律飛行ロボット１の飛行エリアを用いてもよい。様態決定部２４ｆは、自律飛行ロボット１の現在位置と地図情報２５ａとに基づいて自律飛行ロボット１の飛行エリアの情報を取得してもよい。また例えば、自律飛行ロボット１の飛行プランに応じてオペレータが飛行エリアを判断し、オペレータが操作部２２を操作して飛行エリアを入力してもよい。

【0056】

様態決定部２４ｆは、自律飛行ロボット１の飛行エリアに応じて、マーク７の表示様態であるマーク７の色を決定してもよい。例えば、飛行エリアや飛行エリアの種類に応じたマーク７の色情報を予め設定して記憶部２５に記憶しておいてもよい。飛行エリアや飛行エリアの種類に応じたマーク７の色情報は、例えばそれぞれの飛行エリアにおいて撮影される撮影画像５の背景色に基づいて決定してよい。飛行エリアで撮影される撮影画像の背景色に対するマーク７の色の決定方法は、上述した撮影画像５や物体６の画像の色情報に対するマーク７の色の決定方法と同様であってよい。

【0057】

様態決定部２４ｆは、取得した飛行エリアに対応して予め設定された色情報を記憶部２５から読み出して、マーク７の色として決定してよい。
画像出力部２４ｇは、マーク７が重畳された撮影画像５を表示部２１に表示する。このとき画像出力部２４ｇは、表示部２１に表示されるマーク７の表示様態を、様態決定部２４ｆが決定した表示様態に設定する。

【0058】

なお、上記説明では、操作端末２がマーク７の表示様態を決定してマーク７を撮影画像５に重畳する実施態様を例示したが、これらの処理の一部又は全てを自律飛行ロボット１や管理装置３が実行してもよい。
例えば、操作端末２の物体検出部２４ｄ、様態決定部２４ｆ、画像出力部２４ｇの機能の一部又は全てを、自律飛行ロボット１の制御部１３又は管理装置３の制御部３１が実行してもよい。管理装置３は、マーク７が重畳された撮影画像５を表示する表示装置（図示せず）を備えてもよい。

【0059】

すなわち、操作端末２がマーク７の表示様態を決定してマーク７を撮影画像５に重畳するための処理の一部又は全部を、自律飛行ロボット１と、操作端末２と、管理装置３が分散して実行してもよく、自律飛行ロボット１の通信部１２と、操作端末２の通信部２０と、管理装置３の通信部３０は、処理に必要な情報を互いに送受信してもよい。

【0060】

（動作）
図６は、実施形態の画像表示方法の一例のフローチャートである。
ステップＳ１において撮影画像受信部２４ｃは、自律飛行ロボット１から受信した撮影画像５を取得する。
ステップＳ２において物体検出部２４ｄは、画像認識処理により撮影画像５から物体６を検出する。

【0061】

ステップＳ３において様態決定部２４ｆは、撮影画像５の特性に応じて、撮影画像５上で物体６を示すマーク７の表示様態を決定する。
ステップＳ４において画像出力部２４ｇは、ステップＳ３で決定した表示様態で表示されるようにマーク７が重畳された撮影画像５を表示部２１に表示する。
その後に処理は終了する。

【0062】

（実施形態の効果）
（１）画像表示装置は、自律飛行ロボット１により撮影した撮影画像を取得する撮影画像受信部２４ｃと、撮影画像から物体を検出する物体検出部２４ｄと、撮影画像の特性に応じて、検出した物体を示すマークの表示様態を決定する様態決定部２４ｆと、決定された表示様態で表示されるようにマークが重畳された撮影画像を表示する表示部２１と、を備える。
これにより、自律飛行ロボット１による撮影画像の撮影条件、物体の検出状況、物体の状態によって撮影画像に重畳されたマークの視認性が乏しくなるのを抑制し、マークの視認性を向上させることができる。

【0063】

（２）様態決定部２４ｆは、撮影画像における色情報に応じて、表示様態であるマークの色を決定してもよい。
これにより、撮影画像とマークの色が近いことによりマークの視認性が乏しくなるのを抑制し、マークの視認性を向上させることができる。

【0064】

（３）様態決定部２４ｆは、検出した物体の数、若しくは密度、又は撮影画像における検出した物体の色情報に応じて、表示様態を決定してもよい。
これにより、撮影画像における物体の検出状態によってマークの視認性が乏しくなるのを抑制し、マークの視認性を向上させることができる。

【0065】

（４）様態決定部２４ｆは、自律飛行ロボット１の飛行情報に応じて、表示様態を決定してもよい。
これにより、自律飛行ロボット１の飛行情報に応じて撮影画像に重畳されたマークの視認性が乏しくなるのを抑制し、マークの視認性を向上させることができる。

【0066】

本発明の一実施形態にかかる飛行ロボットの画像表示装置は、労働力人口減少や長時間労働などの社会課題の解決に貢献し得るものである。また、本発明の一実施形態にかかる画像表示装置は、国連で採択された持続可能な開発目標（ＳＤＧｓ）の目標９「産業と技術革新の基盤をつくろう」に貢献し得るものである。

【符号の説明】

【0067】

１…自律飛行ロボット、２…操作端末、３…管理装置、５…撮影画像、６…物体、７…マーク、１０…位置・姿勢センサ、１１…撮像装置、１２、２０、３０…通信部、１３、２４、３１…制御部、１３ａ…位置・姿勢算出部、１３ｂ…飛行制御部、１３ｃ…経路探索部、１３ｄ…飛行情報送信部、１３ｅ…撮影画像送信部、１４、２５、３２…記憶部、１４ａ…位置・姿勢情報、１４ｂ、３２ｂ…経路情報、１５…モータ、１６…ロータ、２１…表示部、２２…操作部、２４ａ…制御情報生成部、２４ｂ、３１ｂ…飛行情報取得部、２４ｃ…撮影画像受信部、２４ｄ…物体検出部、２４ｆ…様態決定部、２４ｇ…画像出力部、２５ａ、３２ａ…地図情報、２５ｂ、３２ｃ…飛行情報、３１ａ…飛行経路設定部、１００…飛行ロボット制御システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】