特許 7480072 情報処理装置、情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-26

(45)【発行日】2024-05-09

(54)【発明の名称】情報処理装置、情報処理プログラム

(51)【国際特許分類】

   G09G 5/14 20060101AFI20240430BHJP

   G09G 5/00 20060101ALI20240430BHJP

   G09G 5/37 20060101ALI20240430BHJP

   G09G 5/38 20060101ALI20240430BHJP

   G09G 5/36 20060101ALI20240430BHJP

   G06F 3/0481 20220101ALI20240430BHJP

   G06T 3/00 20240101ALI20240430BHJP

   G01N 21/952 20060101ALI20240430BHJP

   H04N 7/18 20060101ALI20240430BHJP

   H02G 1/02 20060101ALI20240430BHJP

   H02G 7/00 20060101ALI20240430BHJP

【ＦＩ】

G09G5/14 A

G09G5/00 550C

G09G5/37 320

G09G5/00 510D

G09G5/37 310

G09G5/38

G09G5/36 100

G09G5/00 510H

G09G5/36 400

G06F3/0481

G06T3/00 775

G01N21/952

H04N7/18 B

H02G1/02

H02G7/00

【請求項の数】 7

(21)【出願番号】P 2021007391

(22)【出願日】2021-01-20

(65)【公開番号】P2022111752

(43)【公開日】2022-08-01

【審査請求日】2023-05-09

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】二野屏 昌

(72)【発明者】

【氏名】入本 勇宇次

(72)【発明者】

【氏名】藤井 朗

(72)【発明者】

【氏名】三田 惠補

【審査官】小野 博之

(56)【参考文献】

【文献】国際公開第２０２０／０７５７８２（ＷＯ，Ａ１）

【文献】国際公開第２０２０／２４５８８９（ＷＯ，Ａ１）

【文献】国際公開第２０１６／１２５４２０（ＷＯ，Ａ１）

【文献】特開２０２０－０２２１５７（ＪＰ，Ａ）

【文献】特開２０１９－１２１８２１（ＪＰ，Ａ）

【文献】特開２０２０－０８０１１８（ＪＰ，Ａ）

【文献】特開２０１８－０７４７５７（ＪＰ，Ａ）

【文献】特開平０９－３０５７９０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／００－５／４２

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｔ ３／００

Ｈ０４Ｎ ７／１８

Ｈ０２Ｇ １／０２

Ｈ０２Ｇ ７／００

Ｇ０１Ｎ ２１／９５２

(57)【特許請求の範囲】

【請求項1】

被点検物を撮影した動画像を表す第１画像の画像データ及び前記第１画像の撮影に関する撮影データを含むデータを入力する入力手段と、
前記第１画像を表示するための第１領域、前記第１画像から切り出された被点検物を一部に含む画像に対して、前記被点検物の位置、方向、サイズとを予め決められた範囲で一定の状態となるように処理した、前記第１画像から切り出された被点検物を含む画像を拡大した第２画像を表示するための第２領域、前記第１領域に表示される前記第１画像及び前記第２領域で表示される前記第２画像に対応する前記撮影データの内容を表示するための第３領域とを設けた画面を表示装置に表示させ、前記第２領域に表示される前記第２画像の画像サイズと対応づけられた関心領域を、前記第１領域に表示される前記第１画像に対して設定する確認画面表示手段と、を有する情報処理装置。

【請求項2】

前記確認画面表示手段は、前記関心領域を示す矩形枠を、前記第１領域に表示される前記第１画像に対して設定する、請求項１記載の情報処理装置。

【請求項3】

前記第１画像の画像データに対して、前記第１画像における前記被点検物の位置を検出する検出手段をさらに有し、
前記確認画面表示手段は、前記被点検物の位置に基づいて、前記関心領域を設定する、請求項１または請求項２記載の情報処理装置。

【請求項4】

前記画像データをもとに前記被点検物に生じた異常の異常箇所候補を検出する異常箇所検出手段をさらに有し、
前記確認画面表示手段は、前記異常箇所候補が検出された画像を前記第２領域に表示させる、請求項１～３記載の何れかに記載の情報処理装置。

【請求項5】

前記確認画面表示手段は、
前記表示装置に表示させる画面において、さらに表示対象とする前記第１画像の全体の量を表すシークバーと共に、前記異常箇所候補が検出された前記第１画像の全体における位置を前記シークバーに表示するための第４領域とを設け、
前記シークバーにおいて表示された前記異常箇所候補の位置を選択する操作に応じて、選択された前記異常箇所候補に対応する前記第２画像を前記第２領域に表示させる請求項４記載の情報処理装置。

【請求項6】

前記第２領域に前記第２画像が表示されている時にデータ記憶の指示が入力された場合、指示が入力された時に表示された前記第１画像及び前記第２画像に対応する前記撮影データと、前記第１画像または前記第２画像の少なくとも一方の画像データとを記憶させる記憶手段を、さらに有する請求項１～５の何れかに記載の情報処理装置。

【請求項7】

コンピュータを、
被点検物を撮影した動画像を表す第１画像の画像データ及び前記第１画像の撮影に関する撮影データを含むデータを入力する入力手段と、
前記第１画像を表示するための第１領域、前記第１画像から切り出された被点検物を一部に含む画像に対して、前記被点検物の位置、方向、サイズとを予め決められた範囲で一定の状態となるように処理した、前記第１画像から切り出された被点検物を含む画像を拡大した第２画像を表示するための第２領域、前記第１領域に表示される前記第１画像及び前記第２領域で表示される前記第２画像に対応する前記撮影データの内容を表示するための第３領域とを設けた画面を表示装置に表示させ、前記第２領域に表示される前記第２画像の画像サイズと対応づけられた関心領域を、前記第１領域に表示される前記第１画像に対して設定する確認画面表示手段として機能させるための情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像等の処理に好適な情報処理装置、同装置で実行される情報処理プログラムに関する。

【背景技術】

【0002】

従来、ドローンなどの航空機に搭載されたカメラにより動画像として撮影された画像データをもとに送電線などの被点検物について点検するシステムがある。このようなシステムでは、異常箇所を検知すると異常箇所表示手段によって、作業者に対し異常箇所の画像を表示する機能を有している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－７４７５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、ドローンなどの航空機に搭載されたカメラによる撮影では、撮影時に航空機が風などの影響により揺動し易いために、被点検物を常に画像の中央位置に配置されるように撮像し続けることは難しい。

【0005】

このために、航空機により撮影された動画像について、目視によって異常箇所を確認する場合に、画像中の被写体の表示位置が頻繁に変動し、また画像中の被写体のサイズ、向きなどが変動するため、作業者にとって被点検物を継続して目視し続ける負担が大きく、異常箇所を確認し辛いという問題があった。

【0006】

本発明が解決しようとする課題は、動画像の被点検物に対する作業者による目視による確認を容易にすることができる情報処理装置、情報処理プログラムを提供することである。

【課題を解決するための手段】

【0007】

実施形態によれば、情報処理装置は、入力手段、確認画面表示手段を有する。入力手段は、被点検物を撮影した動画像を表す第１画像の画像データ及び前記第１画像の撮影に関する撮影データを含むデータを入力する。確認画面表示手段は、前記第１画像を表示するための第１領域、前記第１画像から切り出された被点検物を一部に含む画像に対して、前記被点検物の位置、方向、サイズとを予め決められた範囲で一定の状態となるように処理した、前記第１画像から切り出された被点検物を含む画像を拡大した第２画像を表示するための第２領域、前記第１領域に表示される前記第１画像及び前記第２領域で表示される前記第２画像に対応する前記撮影データの内容を表示するための第３領域とを設けた画面を表示装置に表示させ、前記第２領域に表示される前記第２画像の画像サイズと対応づけられた関心領域を、前記第１領域に表示される前記第１画像に対して設定する。

【図面の簡単な説明】

【0008】

【図1】本実施形態における点検システムの構成を示す図。

【図2】本実施形態における情報処理装置の構成を示すブロック図。

【図3】本実施形態における情報処理プログラムにより実現される機能構成を示す図。

【図4】本実施形態における動画処理部の機能構成を示すブロック図。

【図5】本実施形態における異常箇所検出処理を絶命するための示すフローチャート。

【図6】異常箇所検出処理中の動画再生処理を説明するためのフローチャート。

【図7】本実施形態における確認画面の一例を示す図。

【図8】本実施形態における「分割表示」がオン設定された場合の確認画面の一例を示す図。

【図9】本実施形態における異常箇所内容画面の一例を示す図。

【図10】本実施形態における位置情報画面の一例を示す図。

【発明を実施するための形態】

【0009】

以下、実施形態について図面を参照して説明する。

【0010】

図１は、本実施形態における点検システムの構成を示す図である。本実施形態における点検システムは、例えば発電所や変電所から送電するための送電設備（送電線、鉄塔）１７について、通常時あるいは事故発生時において、無人航空機（以下、ドローン１４と称する）を利用して点検するためのシステムである。点検システムは、ドローン１４と、ドローン１４に搭載されたカメラにより撮影された画像データをもとに、送電設備１７に含まれる被点検物（例えば、架空地線、送電線、鉄塔など）に生じた異常箇所を検出し、この検出結果を点検結果報告として記録する情報処理装置１０により構成される。

【0011】

なお、本実施形態では、送電設備１７に含まれる被点検物を例にして説明するが、他の施設や建造物（例えば、橋、鉄塔、道路、線路など）を被点検物とすることが可能である。

【0012】

本実施形態では、情報処理装置１０は、１つの装置として実現するが、クラウドコンピューティングにより実現されるものとし、ネットワーク（インターネット）を介して接続された１台のサーバ、あるいは複数のサーバが協働して動作することで実現されても良い。

【0013】

情報処理装置１０は、ドローン１４の航行の管理／制御、ドローン１４から取得された取得データ１８（画像データ（動画像、静止画像）、フライトログデータ等を含む）をもとにした被点検物に生じた異常箇所の検出、異常箇所の画像の確認処理、取得データ１８の整理／管理、取得データ１８に対する処理結果をまとめる処理（点検報告作成）などを実行する。

【0014】

ドローン１４は、情報処理装置１０により設定される送電設備１７を巡回するためのフライトプラン（飛行制御データ）をもとに、ＧＰＳ衛星１６から受信されるＧＰＳ信号から生成する位置データ等を利用して自律飛行し、点検対象とする送電設備１７を撮影して画像データ（動画像、静止画像）を記憶すると共に、画像の撮影に関するフライトログデータを記憶する。フライトログデータには、例えばフライトプランにおいて設定された点検対象とする施設等の情報（被点検物の種類、名称、位置（緯度、経度）など）、画像から検出された被点検物についての追尾開始・終了地点（動画像の記録開始からの時間（タイムコード））、基準位置から現在位置までの追尾飛行距離、位置情報（例えば、画像撮影時のドローン１４の緯度、経度、高度）などのデータが含まれる。なお、ドローン１４は、飛行中にリアルタイムで飛行制御データを情報処理装置１０から受信して、情報処理装置１０に対する作業者による操作に応じて、マニュアル制御により飛行することも可能である。

【0015】

図２は、本実施形態における情報処理装置１０の構成を示すブロック図である。情報処理装置１０は、例えばパーソナルコンピュータによって実現される。情報処理装置１０は、プロセッサ１０ａ、メモリ１０ｂ、記憶装置１０ｃ、入出力インタフェース（Ｉ／Ｆ）１０ｄ、表示装置１０ｅ、入力装置１０ｆ、無線通信装置１０ｇ、通信装置１０ｈを有する。

【0016】

プロセッサ１０ａは、メモリ１０ｂに記憶された基本プログラム（ＯＳ）やアプリケーションプログラムを実行して、各種の機能を実現する。例えば、プロセッサ１０ａは、情報処理プログラムを実行することで、ドローン１４の飛行を管理し、ドローン１４により撮影された画像をもとに、送電施設の被点検物に生じた異常箇所を検出し、その検出結果をもとに点検結果をまとめる処理を実行する（図３参照）。

【0017】

メモリ１０ｂは、プロセッサ１０ａにより実行されるプログラムや一時的なデータ等を記憶する。

【0018】

記憶装置１０ｃは、各種のプログラムや各種データが記憶される。記憶装置１０ｃに記憶されるデータには、ドローン１４の航行を制御するための飛行制御データ、ドローン１４から受信される取得データ１８（画像データ、フライトログデータ等）、異常箇所の画像データ（動画像、静止画像）、点検結果をまとめた点検データ（レポートファイル）などを含む。

【0019】

入出力Ｉ／Ｆ１０ｄは、外部機器とデータを送受信するためのインタフェースである。入出力Ｉ／Ｆ１０ｄは、例えば可搬型のメモリ媒体を介してデータを入出力することができる。

【0020】

表示装置１０ｅは、ＬＣＤ（Liquid Crystal Display）などであり、プロセッサ１０ａの処理に応じた画面を表示させる。入力装置１０ｆは、キーボードやポインティングデバイスなどであり、作業者等により操作される。

【0021】

無線通信装置１０ｇは、無線通信を制御するもので、ドローン１４との間、あるいは無線公衆網に収容された基地局との間の無線通信を制御する。

【0022】

通信装置１０ｈは、ネットワークを通じた外部装置、例えばクラウド（サーバ）、ドローン１４、他の情報処理装置１０との通信を制御する。ネットワークは、無線あるいは有線によるＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）等を含む。

【0023】

図３は、本実施形態における情報処理装置１０において、情報処理プログラムにより実現される機能構成を示す図である。以下では、点検対象とする被点検物として、送電設備１７に含まれる架空地線、送電線などの線状の物体を被点検物とし、ドローン１４により撮影された動画を表示装置に表示させて作業者が目視することで異常箇所を確認して、点検報告（レポート）を作成する場合について説明する。

【0024】

図３に示すように、情報処理プログラムは、線検出処理部２０を実現するプログラム（線検出データ作成ツール）、及び動画処理部２１を実現するプログラム（動画プレーヤ）を含む。

【0025】

線検出処理部２０を実現するプログラム（線検出データ作成ツール）は、取得データ１８（動画像データ、フライトログデータ）について、例えば動画像のフレーム毎に被点検物（架空地線、送電線など）とする線状の被点検物を検出して、被点検物の位置を示す線検出結果データ１９を生成する。

【0026】

動画処理部２１を実現するプログラム（動画プレーヤ）は、異常箇所検出処理を実行するもので、取得データ１８をもとに、作業者が動画像を目視することで異常箇所を確認するための確認画面（プレビュー画面）を表示装置１０ｅにおいて表示させる。確認画面（プレビュー画面）の詳細については後述する（図７～図９）。

【0027】

図４は、本実施形態における情報処理装置１０において、プロセッサ１０ａにより情報処理プログラムを実行することにより実現される動画処理部２１の機能構成を示すブロック図である。

【0028】

動画処理部２１は、ドローン１４から取得される取得データ（動画像データ、フライトログデータ）をもとに、ドローン１４により撮影された動画を表示装置に表示させて作業者が目視することで異常箇所を確認して、点検報告（レポート）を作成するための機能を有する。

【0029】

動画処理部２１は、学習モデル記憶部２１ａ、検出対象指示入力部２１ｂ、異常箇所候補検出部２１ｃ、取得データ記憶部２１ｄ、確認画面表示部２１ｅ、異常箇所表示部２１ｆ、異常箇所記憶部２１ｇ、指示入力部２１ｈ、確認データ記憶部２１ｋ、及び点検報告作成部２１ｍを含む。

【0030】

学習モデル記憶部２１ａは、ドローン１４から取得された画像データから被点検物に生じた異常を画像中から検出するための学習モデルを記憶する。学習モデルは、被点検物に生じる異常状態の特徴を表す。被点検物に生じる異常としては、例えば送電線に落雷があった場合に生じるアーク痕、素線切れ、炭付着、炭が剥がれた光沢などがある。学習モデルは、実際に生じた異常箇所（アーク痕）の画像データをもとにして、ニューラルネットワークを活用したディープラーニング（深層学習）の技術を利用して生成される。

【0031】

検出対象指示入力部２１ｂは、点検の対象とする送電設備１７に含まれる被点検物（ここでは架空地線、送電線など）、検出対象とする異常種類などの検出対象についての指示を作業者の入力操作に応じて入力する。

【0032】

異常箇所候補検出部２１ｃは、取得データ記憶部２１ｄに記憶された取得データから、学習モデル２１ａに記憶された学習モデル（被点検物の異常箇所の特徴）をもとにした画像処理により、検出対象指示入力部２１ｂにより入力された検出対象の指示に応じた異常箇所候補を検出する。

【0033】

取得データ記憶部２１ｄは、ドローン１４から取得された取得データ１８を記憶する。取得データ１８には、例えば、被点検物を撮影した動画像データ１８ａ（静止画像データでも良い）、フライトログデータ１８ｂが含まれる。フライトログデータ１８ｂには、例えば画像から検出された被点検物（例えば架空地線）についての追尾開始・終了地点（動画像の記録開始からの時間（タイムコード））、基準位置（例えば鉄塔の位置）から現在位置までの追尾飛行距離、位置情報（例えば、画像撮影時のドローン１４の緯度、経度、高度）などのデータが含まれる。

【0034】

確認画面表示部２１ｅは、取得データ記憶部２１ｄに記憶された取得データ１８（動画像データ１８ａ、フライトログデータ１８ｂ）、及び線検出処理部２０により検出された線検出結果データ１９をもとに、ドローン１４により撮影された画像から被点検物の異常箇所を目視により確認するための確認画面などを表示させる（図７～９参照。詳細については後述する）。

【0035】

確認画面表示部２１ｅは、確認画面において、動画エリア（第１領域）、拡大動画エリア（第２領域）、情報表示エリア（第３領域）、シークバー表示エリア（第４領域）を設ける。確認画面表示部２１ｅは、動画エリアにおける表示処理をする動画表示部３１、拡大動画エリアにおける表示処理をする拡大動画表示部３２、情報表示エリアにおける表示処理をする情報表示部３３を有する。

【0036】

異常箇所記憶部２１ｇは、異常箇所候補検出部２１ｃにより動画像データ１８ａから検出された異常箇所の候補とする異常箇所画像データと、異常箇所候補データに対応する各種データを記憶する。異常箇所記憶部２１ｇに記憶された異常箇所画像データは、動画処理部２１に読み出されて確認画面において表示される。

【0037】

指示入力部２１ｈは、確認画面において動画を表示している時に、作業者等による入力装置１０ｆに対する操作に応じて、データ記憶の指示を入力する。例えば、確認画面において、異常箇所候補の画像を作業者が確認した結果、異常箇所（欠陥）であることが確認された場合に、異常箇所候補の画像と、この画像に対応する画像の撮影に関する各種のデータ（フライトログデータなど）を点検報告の作成のために記憶させることができる。

【0038】

確認データ記憶部２１ｋは、指示入力部２１ｈにより入力された指示に応じて、確認画面において表示された画像に関する各種のデータを記憶させる。例えば、確認データ記憶部２１ｋは、確認画面において異常箇所であることが確認された画像と、この画像に対応する画像の撮影に関する各種のデータ（フライトログデータなど）を記憶させる。確認データ記憶部２１ｋにより記憶されるデータには、検出対象とする被点検物の種類（架空地線、送電線、鉄塔など）、検出対象とする異常種類（アーク痕、素線切れ、炭付着、光沢など）、検出日時などを示す各データを含んでいても良い。

【0039】

点検報告作成部２１ｍは、点検データ記憶部２２ａにより記憶されたデータをもとに、点検の結果をまとめた点検結果報告データを作成する。

【0040】

次に、本実施形態におけるシステムの動作について説明する。

【0041】

まず、ドローン１４による送電設備１７に対する動画の撮影について説明する。ドローン１４は、情報処理装置１０により作成される送電設備１７を巡回するためのフライトプラン（飛行制御データ）が設定される。

【0042】

ドローン１４は、情報処理装置１０から受信した飛行制御データを記憶した後、飛行開始が指示されると、飛行制御データに応じた経路を飛行させる飛行制御を開始する。ドローン１４は、ＧＰＳ衛星１６から受信されるＧＰＳ信号から生成する位置データ等を利用して、飛行制御データに従って自律飛行し、点検対象とする送電設備１７を撮影して画像データ（動画像、静止画像）を記憶すると共に、画像の撮影に関するフライトログデータを記憶する。

【0043】

すなわち、被点検物の撮影をした期間（あるい開始タイミング）を示す点検対象データ、カメラにより撮影される画像データ（ここでは動画像データ）の記録、位置データ等を記録する。例えば、ドローン１４は、被点検物を架空地線とする場合、撮影した画像から架空地線を検出した場合に、その位置（撮影開始からの時刻、飛行制御データが示す鉄塔等の基準位置からの距離）を示す点検対象データをフライトログデータとして記憶しておく。

【0044】

ドローン１４による被点検物の動画撮影が終了すると、ドローン１４により記録された動画像データ１８ａとフライトログデータ１８ｂが情報処理装置１０に入力される。情報処理装置１０は、ドローン１４からのデータを、例えばネットワークを通じて通信装置１０ｈから入力されても良いし、可搬型のメモリ媒体を介して入出力Ｉ／Ｆ１０ｄから入力されても良い。

【0045】

情報処理装置１０は、入力された取得データ１８（動画像データ１８ａ、フライトログデータ１８ｂ）を、取得データ記憶部２１ｄにより記憶装置１０に記憶させる。

【0046】

次に、本実施形態における情報処理装置１０の動作について説明する。

【0047】

まず、情報処理装置１０は、線検出処理部２０（線検出データ作成ツール）により、取得データ１８（動画像データ１８ａ、フライトログデータ１８ｂ）について、例えば動画像のフレーム毎に被点検物（架空地線、送電線など）とする線状の被点検物を検出して、フレーム中における被点検物の位置を示す線検出結果データ１９を生成する。被点検物の位置は、線状の被点検物の場合、例えば被点検物と背景との２本の境界の線位置となる。

【0048】

例えば、情報処理装置１０は、本出願人が先に出願した特開２０１９－１５９５９５号の明細書に記載された画像処理によって被点検物を検出することができる。特開２０１９－１５９５９５号に記載された画像処理は、画像中の直線検出に用いられてきたＨｏｕｇｈ変換を拡張したもので、輝度勾配ベクトルの向きが揃っている直線状の領域を安定して検出することができる。

【0049】

線検出処理部２０は、動画処理部２１により表示対象となる動画像データ１８ｂのみについて処理しても良いし、複数の動画像データ１８ａについて一括して処理し、それぞれの線検出結果データ１９を記憶しておいて動画処理部２１により選択的に利用できるようにしても良い。

【0050】

次に、情報処理装置１０の動画処理部２１（動画プレーヤ）における異常箇所検出処理について、図５に示すフローチャートを参照しながら説明する。図６は、異常箇所検出処理中の動画再生処理を説明するためのフローチャートである。

【0051】

まず、動画処理部２１は、異常箇所候補検出部２１ｃにより、動画像データ１８ａについて、動画像に撮影された被点検物に異常が発生している可能性がある異常箇所候補とする画像を検出する。異常箇所候補検出部２１ｃは、検出対象指示入力部２１ｂにより入力された検出対象とする被点検物（ここでは架空地線）に応じて、学習モデル記憶部２１ａに記憶された検査対象とする被点検物に応じた学習モデルを用いて異常箇所候補を検出する。

【0052】

例えば、異常箇所候補検出部２１ｃは、取得データ記憶部２１ｄに記憶された動画像データ１８ａから既存の画像処理により被点検物に相当する領域を検出し、その領域から異常画像候補領域を検索する（ステップＡ１）
すなわち、被点検物において周囲と異なる状態（形状、色等）にある異常箇所の可能性がある部分を検出する。異常箇所候補検出部２１ｃは、異常画像候補領域の画像データについて、被点検物に生じる異常種類の特徴を示す学習モデルを用いて、検出対象とする異常種類に相当する画像であるかを判定する。

【0053】

異常箇所候補が検索された場合（ステップＡ２）、異常箇所候補検出部２１ｃは、異常種類に相当する画像（異常画像）と判定された画像データ（異常箇所画像データ）を切り出すと共に、異常箇所画像データに対応する各種データを取得して異常箇所記憶部２１ｇに記憶させる（ステップＡ３）。異常箇所候補データに対応するデータには、例えば異常箇所画像データ、異常箇所画像データに対応する動画における位置データ（画像中における異常箇所エリア、動画記録時間など）、異常種類データ、異常箇所画像データを含む動画像データの範囲に対応する点検対象データ、動画像データに対応するドローン１４の飛行ルートなどを含む。

【0054】

異常箇所候補検出部２１ｃは、動画像全体について異常箇所候補の検索が終了していなければ（ステップＡ４、Ｎｏ）、前述した処理を繰り返して実行する（ステップＡ１～Ａ３）。動画像全体について異常箇所候補の検索が終了すると（ステップＡ４、Ｙｅｓ）、確認画面表示部２１ｅによる動画再生に移行する。

【0055】

こうして、動画像データ１８ａに対して事前に学習モデルを用いた異常箇所候補の検出することで、確認画面表示部２１ｅにより動画像を表示させながら異常箇所を目視に確認する際に、主に異常箇所候補と検出された部分について選択して動画像の再生をさせることができる。従って、動画像全体を確認する必要がないので、作業時間の短縮を図ることができる。

【0056】

なお、学習モデルを用いた異常箇所候補の検出では、確実に全ての異常箇所候補を検出することができない場合もあるため、異常箇所候補の検出結果を利用しつつ動画像の全体を目視により確認する場合もあり得る。また、動画像の全体を目視により確認する場合には、ステップＡ１～Ａ４に示す動画像データ１８ａに対して事前に学習モデルを用いた異常箇所候補の検出を省略してもよい。

【0057】

次に、確認画面表示部２１ｅは、取得データ記憶部２１ｄに記憶された取得データ１８（動画像データ１８ａ、フライトログデータ１８ｂ）、及び線検出処理部２０により検出された線検出結果データ１９をもとに、表示装置１０ｅにおいて確認画面を表示させて動画再生処理を実行する（ステップＡ５）。確認画面になおける動画像の再生は、目視による確認を容易にするために、撮影時の実速度よりも再生速度を遅くして実行される。

【0058】

図７は、本実施形態における情報処理装置１０において表示される確認画面の一例を示す図である。

【0059】

図７に示す確認画面には、動画エリア４１、拡大動画エリア４３、情報表示エリア４５、シークバー表示エリア４７が設けられている。

【0060】

動画エリア４１は、ドローン１４によって撮影された動画の動画像データ１８ａをもとに、オリジナル画像（動画像）を表示させるためのエリアである。動画エリア４１には、拡大動画エリア４３に表示させる画像サイズと対応づけられた関心領域４１Ｂが設定される。関心領域４１Ｂは、線検出結果データ１９をもとに画像中の被点検物４１Ａを含む画像領域に設定され、例えば所定の色（例えば水色）による矩形枠線によって明示される。また、関心領域４１Ｂでは、線検出結果データ１９が示す被点検物４１Ａの位置（線の境界）を示す所定の色（例えば緑色）の線を表示しても良い。

【0061】

基本的には、関心領域４１Ｂの中央付近に被点検物４１Ａが位置するように関心領域４１Ｂが設定される。動画エリア４１に表示された画像中の関心領域４１Ｂに相当する画像に対して所定の状態となるように処理して生成された画像が拡大動画エリア４３に表示される。

【0062】

拡大動画エリア４３は、動画エリア４１に設定された関心領域４１Ｂに相当する画像に対して、被点検物に応じて所定の状態となるように処理された拡大画像が表示される。

【0063】

例えば、架空地線や送電線などの線状の物体を被点検物とする場合、線検出結果データ１９が示す被点検物の位置をもとに、被点検物が拡大画像において横向き／水平となり、また拡大動画エリア４３に表示される拡大画像における被点検物のサイズ（例えば、線の太さ）が一定の状態となるように、関心領域４１Ｂの画像に対して画像処理されて生成された画像が表示される。動画エリア４１に表示されるオリジナル画像の一部の領域に設定された関心領域４１Ｂの画像を拡大動画エリア４３の全体に表示させるので、拡大動画エリア４３には関心領域４１Ｂの画像を拡大した拡大画像が表示される。

【0064】

なお、線状の被点検物を正確に横向き／水平の状態にする必要はなく、またサイズの関係についても完全に一定にする必要はなく、拡大動画エリア４３に表示された画像に対する目視による確認において、作業者による負担が許容範囲となる予め決められた範囲であれば変動していても良い。

【0065】

また、線状の被点検物に対応する所定の状態を横向き／水平とするだけでなく、例えば縦向き／垂直としても良い。何れの状態により拡大動画エリア４３に表示させるかは、作業者による操作によって変更できるようにしても良い。

【0066】

図７に示す例では、動画エリア４１には、ドローン１４によって撮影された架空地線と送電線を含むオリジナル画像が表示されている。ここでは、架空地線に関心領域４１Ｂが設定されている。架空地線について検査するためにドローン１４を用いて画像を撮影する場合、ドローン１４を架空地線に沿って自律飛行させるために、安定した飛行によって撮影されたオリジナル画像（動画像）では、架空地線と送電線とが縦向きの状態で表示される。

【0067】

また、撮影時にドローン１４が風などの影響により揺動した場合には、画像中の架空地線と送電線は、向きが斜め方向となったり、被点検物とドローン１４との距離が変化することにより被点検物の撮影サイズが変動したりするなど、頻繁に様々な状態に変動する。

【0068】

本実施形態における情報処理装置１０では、拡大動画エリア４３において、線検出結果データ１９をもとに、被点検物が画像中に横向き／水平であり、被点検物のサイズが一定の状態となるように表示させるので、動画像の被点検物に対して作業者が継続して目視し続ける作業の負担を軽減できる。従って、作業者の目視による被点検物に生じた異常についての確認を容易にすることが可能となる。

【0069】

なお、本実施形態では、送電設備１７に含まれる架空地線、送電線などの線状の物体を被点検物としているため、被点検物が画像中に横向き／水平の状態となるように、関心領域４１Ｂの画像に対して画像処理しているが、他の施設や建造物（例えば、橋、鉄塔、道路、線路など）に応じた画像処理が実行されるものとする。すなわち、拡大動画エリア４３に表示される被点検物が、常に画面表示上の同じ位置で、同じ大きさで表示されるように画像処理を実行する。

【0070】

情報表示エリア４５は、動画エリア４１に表示されるオリジナル画像、及び拡大動画エリア４３で表示される拡大画像に対応する（表示中の画像フレームに対応する）、画像の撮影に関する各種のデータ（フライトログデータなど）を含む撮影データ４５Ａの内容を表示するためのエリアである。

【0071】

情報表示エリア４５に表示される撮影データ４５Ａとしては、例えば、追尾開始地点、追尾終了地点、表示中の画像フレーム地点（Current）のそれぞれについて、動画の再生時間（TimeCode）、画像フレーム位置（Frame）、追尾開始地点（例えば鉄塔などの基準位置）からの距離（Distance）、画像の撮影位置を示す位置情報（緯度Pos(Lat)、経度Pos(Lon)）などがある。表示中の画像フレーム地点に対応する各データについては、動画エリア４１及び拡大動画エリア４３における動画の再生（画像フレームの変更）に応じて、表示が更新されて表示される。

【0072】

また、情報表示エリア４５には、画像の再生に関する設定情報が表示される。設定情報には、例えば表示画面の拡大率（Zoom）、再生速度の設定値（SpeedValue(Speed,fps)）、線追尾モード（オン／オフ）、線の９０度回転設定（Rotate ROI/Horizon Wire）（オン／オフ）と線の水平化設定（オン／オフ）（WireTrackingMode）がある。設定情報の内容については、入力装置１０ｆに対する操作によって変更することができる。動画表示部３１及び拡大動画表示部３２は、設定情報の内容に応じた動画像の再生制御を実行する。

【0073】

なお、線追尾モードがオンに設定された場合には、前述したように、線検出結果データ１９をもとに動画像に表示される被点検物を含む範囲に関心領域４１Ｂを継続して設定して、関心領域４１Ｂに対応する拡大画像を拡大動画エリア４３に表示させる。

【0074】

一方、線追尾モードがオフに設定された場合には、動画エリア４１に表示された関心領域４１Ｂを、例えば入力装置１０ｆによる操作によって任意の位置、サイズにより設定することができる。この場合、関心領域４１Ｂは、動画エリア４１において一定の位置／サイズで表示される。

【0075】

例えば、線追尾モードをオフにすることで、線検出処理部２０によって検出されていない、動画エリア４１に表示された線の画像において関心領域４１Ｂを設定することで、拡大動画エリア４３に拡大画像を表示させて確認することができる。

【0076】

また、情報表示エリア４５には、シークバー表示エリア４７のシークバー４７Ａに対してマーク設定された画像フレーム数（Mark Num）が表示される。マーク設定は、例えば作業者による動画像に対する目視によって異常箇所と確認された画像位置において、作業者によるマーク設定操作に応じて実行される。

【0077】

シークバー表示エリア４７は、表示対象とするオリジナル画像の全体の量を表すシークバー４７Ａと共に、表示対象とする画像フレームの位置に関する情報が表示される。例えば、シークバー表示エリア４７には、追尾開始フレーム位置（開始フレーム番号（図７では「ＴＳ３４４０」））、追尾終了フレーム位置（終了フレーム番号（図７では「ＴＥ７１６５」））、現在再生位置の画像フレーム番号（図７では「４１４７」）を表示する。

【0078】

また、シークバー４７Ａには、動画エリア４１及び拡大動画エリア４３において表示対象としている動画像の位置を示す現在再生位置マーク４７Ｃ、マーク設定された画像フレーム位置（異常箇所候補が検出された位置）を示すマーク情報４７Ｂが表示される。なお、シークバー４７Ａには、学習モデルを用いて異常箇所候補として検出された画像データ（異常箇所画像データ）の画像フレーム位置にマーク情報４７Ｂ（例えば、マーク設定とは異なる形態のマーク情報）が表示されるようにしても良い。

【0079】

シークバー４７Ａには、入力装置１０ｆによる入力操作によって、動画エリア４１及び拡大動画エリア４３に表示させる動画像の位置を指定することができる。動画表示部３１及び拡大動画表示部３２は、シークバー４７Ａに対して例えばポインティングデバイスにより位置の指定がされると指定された位置からの動画像を表示させる。

【0080】

従って、マーク設定された画像フレーム位置、あるいは異常箇所候補として検出された画像データの画像フレーム位置を任意に指定することで、選択的にマーク設定された位置付近の動画像を再生して、目視による確認をすることができる。従って、動画像全体から必要な部分のみを選択して確認することができるので、作業時間の短縮を図ることができる。

【0081】

なお、図７に示す確認画面では、入力装置１０ｆに対する入力操作により各種の処理を実行させることができる。例えば、キーボードのキー毎にコマンドが割り当てられており、キー操作に応じたコマンドの処理を実行する。

【0082】

例えば、予め用意されたコマンドには、画像の表示制御のための「再生/停止」「ジャンプ」「１０フレーム進む」「１０フレーム戻る」「１００フレーム進む／１００フレーム戻る」「５００フレーム進む／５００フレーム戻る」「追尾開始フレーム／動画開始フレームへジャンプ」「追尾終了フレーム／動画終了フレームへジャンプ」「再生速度変更（遅く／速く）」「ズーム（１～１０倍の指定）」「関心領域移動」「拡大画像の９０度回転」「水平化」「画面サイズ変更（動画エリア４１あるいは拡大動画エリア４３の画像）」「線追尾モード設定」「マークジャンプ（次のマークへ/前のマーク）」、拡大動画エリア４３を分割して表示させる「分割表示（オン／オフ）」（図８参照）などがある。

【0083】

確認画面での動画像の再生は、異常仮称を確認し易くするために動画像の撮影時の速度より遅くしているため、確認作業に時間を要する。本実施形態の情報処理装置１０では、予め用意された１０フレーム、１００フレーム、５００フレームの単位での動画像の再生ジャンプ、特定のフレームへのジャンプ、マーク設定された画像フレーム位置へのジャンプをできるようにすることで、確認が必要な箇所を操作性良く表示させることができ動画像の確認作業を効率化することができる。

【0084】

図８は、本実施形態における「分割表示」がオン設定された場合の確認画面の一例を示している。

【0085】

図８に示す確認画面では、図７に示す拡大動画エリア４３が、上下２段に拡大動画エリア４３Ａ，４３Ｂに分割されている。

【0086】

拡大動画エリア４３Ｂは、図７に示す拡大動画エリア４３と同様に画像が表示される。一方、拡大動画エリア４３Ａは、拡大動画エリア４３Ｂに表示された被点検物の画像に対して、線検出結果データ１９が示す被点検物の位置（境界）を示す線５１と、学習モデルをもとに検出された異常箇所候補データ（位置データ）が示す被点検物の異常箇所エリア５２，５３が表示されている。

【0087】

こうして、拡大動画エリア４３Ｂに表示された被点検物の拡大画像と、被点検物の位置（境界）を示す線５１と異常箇所エリア５２，５３が付加された被点検物の拡大画像とを並べて表示させることで、被点検物の異常箇所を見落とすことなく、確実に確認することが可能となる。

【0088】

また、予め用意されたコマンドには、点検報告の作成に使用される情報を記憶させるための「画面キャプチャ」「マーク設定（設定/解除）」「レポート出力」などがある。

【0089】

「画面キャプチャ」は、動画エリア４１、拡大動画エリア４３に表示されている画像を記憶させるためのものである。「画面キャプチャ」の実行が指示された場合、動画エリア４１あるいは拡大動画エリア４３の少なくとも何れか一方に表示された画像を記憶させる。

【0090】

「マーク設定」は、動画像の再生中に、例えば作業者による目視によって異常箇所と確認された画像位置にマークを設定するためのものである。「マーク設定」の実行が指示された場合、前述したように、シークバー４７Ａにマーク情報４７Ｂを表示させると共に、例えば、マーク設定が指示された画像フレームの「フレーム番号」「動画タイムコード(MM:SS.000)」「追尾距離(m)」「位置情報（緯度）（経度）」の各データを記憶させる。

【0091】

「レポート出力」は、点検報告作成のためのレポートファイルの作成を指示するためのものである。「レポート出力」の実行が指示された場合、例えば基本情報として「動画ファイル名、フライトログファイル名、フレームデータファイル名」、追尾情報（開始地点）、追尾情報（終了地点）、マーク情報をレポートファイルとして記憶させる。

【0092】

なお、前述した情報の記憶は一例であって、点検報告作成に利用できる、その他のデータを記憶させるようにしても良い。例えば、学習モデルをもとに検出された異常種類を示す情報などを含んでいても良い。

【0093】

また、前述した説明では、入力装置１０ｆのキーボードのキーに各種のコマンドが割り当てられているとしているが、確認画面において、各種コマンドの実行を指示するためのボタン（あるいはソフトウェアキーボード）を表示し、ボタン（ソフトウェアキーボード）に対する入力操作によって、コマンドの実行を指示できるようにしても良い。

【0094】

確認画面表示部２１ｅは、動画再生処理において（ステップＡ５）、図６に示すフローチャートの処理を実行する。

【0095】

確認画面表示部２１ｅの動画表示部３１は、動画像データ１８ａをもとに動画エリア４１に動画像を表示させる。また、動画表示部３１は、線追尾モードがオンに設定されている場合、線検出結果データ１９をもとに関心領域４１Ｂを設定して（ステップＢ１）、関心領域４１Ｂを動画エリア４１に設定する（ステップＢ２）。すなわち被点検物４１Ａを含む範囲を動画エリア４１とする矩形枠線を表示させる。

【0096】

また、確認画面表示部２１ｅの拡大動画表示部３２は、関心領域４１Ｂに相当する画像について、所定の状態となるように処理した画像を拡大動画エリア４３に表示させる（ステップＢ３）。ここでは、拡大動画表示部３２は、被点検物が拡大画像において横向き／水平となり、また拡大動画エリア４３に表示される拡大画像における被点検物のサイズ（例えば、線の太さ）が一定の状態となるように、関心領域４１Ｂの画像に対して画像処理して表示させる。

【0097】

また、確認画面表示部２１ｅの情報表示部３３は、動画表示部３１及び拡大動画表示部３２による動画像の表示に合わせて、表示対象とされている画像フレーム（表示中の画像フレーム地点（Current））に対応する、例えば、動画の再生時間（TimeCode）、画像フレーム位置（Frame）、追尾開始地点（例えば鉄塔などの基準位置）からの距離（Distance）、画像の撮影位置を示す位置情報（緯度Pos(Lat)、経度Pos(Lon)）を更新して表示させる（ステップＢ４）。

【0098】

また、確認画面表示部２１ｅは、シークバー４７Ａの現在再生位置マーク４７Ｃの表示位置を更新する（ステップＢ５）。

【0099】

確認画面表示部２１ｅは、動画再生処理が開始された後、前述したステップＢ１～Ｂ５の処理を継続して実行する。

【0100】

動画像の再生中に入力装置１０ｆに対する入力操作があった場合（ステップＡ６、Ｙｅｓ）、指示入力部２１ｈは、入力操作によって入力されたコマンドに応じた処理を実行させる。例えば、画像の表示制御のためのコマンドが入力された場合には、指示入力部２１ｈは、確認画面表示部２１ｅによりコマンドに応じた表示制御を実行させる。

【0101】

また、情報を記憶させるためのコマンドが入力された場合（ステップＡ８、Ｙｅｓ）、指示入力部２１ｈは、確認データ記憶部２１ｋによって、確認画面において表示された画像に関する各種のデータを記憶させる。確認データ記憶部２１ｋは、前述したように、「画面キャプチャ」「マーク設定」「レポート出力」のコマンドに応じた各データを記憶装置１０ｃに記憶させる。

【0102】

こうして、確認画面において動画像を表示させながら目視によって被点検物の異常箇所を確認することができ、確認内容に応じて点検報告（レポート）を作成するための各種のデータを簡単に記憶させておくことができる。

【0103】

点検報告作成部２１ｍは、動画像の再生時に記憶されたデータをもとに、点検の結果をまとめた点検結果報告データを作成し、記憶装置１０ｃに記憶させる。

【0104】

動画の再生が終了すると（ステップＡ１０、Ｙｅｓ）、動画処理部２１は、異常箇所検出処理を終了する。

【0105】

なお、情報処理装置１０は、図７または図８に示す確認画面から、動画像に対する処理結果の詳細について確認できる詳細確認用の画面を表示させることができる。

【0106】

図９は、本実施形態における異常箇所の詳細を表示する異常箇所内容画面の一例を示す図である。例えば、拡大動画エリア４３に表示された拡大画像から被点検物の異常が確認された時、異常箇所内容画面の表示を指示することで、拡大動画エリア４３に表示された拡大画像をさらに拡大した画像を表示させる。これにより、異常箇所の詳細な確認をできるようにする。

【0107】

また、図９に示す異常箇所内容画面では、動画像の撮影がされた送電設備１７の詳細を示す情報（例えば、送電線の路線名）を表示する。また、異常箇所候補として検出された画像が表示対象とされた場合には、学習モデルをもとに検出された異常種類の内容（ここでは「アーク痕」）を表示させて、拡大画像に対する確認結果と照合することができる。

【0108】

図１０は、本実施形態における異常箇所の位置情報の詳細を表示する位置情報画面の一例を示す図である。例えば、拡大動画エリア４３に表示された拡大画像から被点検物の異常が確認された時、位置情報画面の表示を指示することで、動画エリア４１及び拡大動画エリア４３において表示されている画像フレームに対応する情報表示エリア４５に表示された撮影データ４５Ａ（表示中の画像フレーム地点（Current）のデータ）をもとに位置情報の詳細を表示させる。

【0109】

例えば、撮影データ４５Ａに含まれる追尾開始地点（例えば鉄塔などの基準位置）からの距離（Distance）、画像の撮影位置を示す位置情報（緯度Pos(Lat)、経度Pos(Lon)）を表示する。また、位置情報をもとに、外部の地図サイト等から位置情報が示す場所の衛星（航空）写真画像あるいは地図を受信して表示させると共に、送電設備１７（ここでは架空地線、送電線、鉄塔）における位置情報が示す場所を所定のマークによって明示する。図１０に示す例では、送電設備１７における鉄塔に関する情報（鉄塔番号「Ｎｏ４２」「Ｎｏ４３」）が付加されている。

【0110】

これにより、被点検物から検出された異常箇所について、実際に現地に行って修理等をする場合の送電設備１７の状況、修理が必要な位置、周囲の環境などの確認を容易にすることができる。

【0111】

図９及び図１０に示す画面に表示された情報は、前述と同様にして、情報記憶の指示に応じて、点検報告のために記憶させておくことが可能である。

【0112】

このようにして、本実施形態における情報処理装置１０では、動画像の被点検物に対する作業者による目視による確認を容易にすることができ、点検方向に必要な情報を容易に記憶させておくことができる。

【0113】

なお、上記の各実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤなど）、光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体に格納して頒布することもできる。

【0114】

また、この記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であっても良い。

【0115】

また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウェア）等が上記実施形態を実現するための各処理の一部を実行しても良い。

【0116】

さらに、各実施形態における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。

【0117】

また、記憶媒体は１つに限らず、複数の媒体から上記の各実施形態における処理が実行される場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。

【0118】

なお、各実施形態におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、上記の各実施形態における各処理を実行するものであって、パーソナルコンピュータ等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。

【0119】

また、各実施形態におけるコンピュータとは、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。

【0120】

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0121】

１０…情報処理装置、１０ａ…プロセッサ、１０ｂ…メモリ、１０ｃ…記憶装置、１０ｄ…入出力インタフェース（Ｉ／Ｆ）、１０ｅ…表示装置、１０ｆ…入力装置、１４…ドローン、１７…送電設備、１８ａ…動画像データ、１８ｂ…フライトログデータ、１９…線検出結果データ、２０…線検出処理部、２１…動画処理部、２１ａ…学習モデル記憶部、２１ｂ…検出対象指示入力部、２１ｃ…異常箇所候補検出部、２１ｄ…取得データ記憶部、２１ｅ…確認画面表示部、２１ｆ…異常箇所表示部、２１ｇ…異常箇所記憶部、２１ｈ…指示入力部、２１ｋ…確認データ記憶部、２１ｍ…点検報告作成部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】