特開 2023-173405 物体検出装置及び物体検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023173405

(43)【公開日】2023-12-07

(54)【発明の名称】物体検出装置及び物体検出方法

(51)【国際特許分類】

   G01V 1/00 20060101AFI20231130BHJP

   G01S 15/89 20060101ALN20231130BHJP

【ＦＩ】

G01V1/00 A

G01S15/89 B

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022085637

(22)【出願日】2022-05-25

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】辰巳 嵩豊

(72)【発明者】

【氏名】秋山 靖浩

(72)【発明者】

【氏名】横山 徹

(72)【発明者】

【氏名】下脇 僚太

【テーマコード（参考）】

2G105

5J083

【Ｆターム（参考）】

2G105AA01

2G105BB02

2G105CC01

2G105DD02

2G105EE06

2G105HH04

5J083AA02

5J083AB01

5J083AC30

5J083AD01

5J083AD04

5J083AE04

5J083AF15

5J083DC05

(57)【要約】

【課題】物体検出装置において、サイズが大きい観測データであっても、機械学習手法により生成した識別器を用いた高精度なリアルタイム処理を可能とする。
【解決手段】相対的に移動する物体を観測して画像化した画像データを継続的に取得し、取得された画像データを識別器を用いて判別する物体検出装置において、画像化された観測データを取得して複数の分割画像を生成する（Ｓ２０１、Ｓ２０２）。識別機に分割画像を入力させる前に、分割画像のそれぞれに対して物体検出を行う優先順位を示す粗いランク付けを行い、ランクの高い順から所定数分の分割画像だけを選別して物体検出を行うようにした（Ｓ２０３、Ｓ２０４）。ランク付けは、前回取得された観測データにおける識別器のスコア値、分割画像内の最大値（輝度）、分割画像内の平均値等から求めるノイズ量を用いて行う。
【選択図】 図２

【特許請求の範囲】

【請求項1】

センサを用いて相対的に移動する物体を観測したデータを画像化した画像データを断続的に取得する解析対象取得部と、
前記解析対象取得部で取得された画像データを、複数の分割画像に分割する画像分割部と、
選択された前記分割画像を入力して前記分割画像内に検出対象の前記物体が含まれているか否か判別する推論部と、を有する物体検出装置において、
前記分割画像の中から物体検出処理を行う対象の分割画像をあらかじめ設定された探索数だけ選択する設定部を設け、
前記設定部は、選択された前記分割画像の物体検出に要する時間が目標時間を下回るように、探索範囲と、物体検出用の識別器の種類と、前記識別器におけるパラメータを設定し、
前記推論部は、前記設定部にて設定されたパラメータに従って前記分割画像の物体検出処理をおこなうことを特徴とする物体検出装置。

【請求項2】

前記設定部は、前記分割画像に対して一つあるいは複数の指標を複合した指標に基づいて物体検出処理をすべき対象であるかの優先順位を求め、前記優先順位が高い前記分割画像を前記探索数分だけ選択することを特徴とする請求項１に記載の物体検出装置。

【請求項3】

前記設定部は、前記パラメータのうち探索範囲、物体検出識別器、識別器の少なくとも一つを固定し、固定されていない項目を変化させることにより、物体検出処理に要する時間が前記目標時間を下回るように設定することを特徴とする請求項２に記載の物体検出装置。

【請求項4】

前記設定部は、物体を検出したとき、物体が検出できていないとき、あるいはユーザーが指定したときの状態、により前記パラメータとして異なる指標を用いることを特徴とする請求項２に記載の物体検出装置。

【請求項5】

前記設定部は、事前実験あるいはこれまでに取得したデータを用いた最適化手法によって定められた指標を用いて前記パラメータを設定することを特徴とする請求項２に記載の物体検出装置。

【請求項6】

請求項２に記載の物体検出装置において、
前記設定部は、優先順位が高い前記分割画像を前記探索数だけ前記推論部に伝送し、前記推論部の処理が終わった際に、目標時間に対して処理時間の余裕がある場合には、処理が終わった前記分割画像の次に優先順位が高い分割画像を前記推論部に伝送することを特徴とする物体検出装置。

【請求項7】

前記識別器において利用される前記パラメータを設定する入力インターフェースと、
前記解析対象取得部により取得された観測データの上に検出された物体を強調表示する出力インターフェース、を有し、
前記出力インターフェースを介してユーザーから物体検出に要する所定時間と、変更対象として探索範囲の絞り込みに用いる推論モデルの指定を受け取ることにより、前記設定部は前記パラメータを設定することを特徴とする請求項１に記載の物体検出装置。

【請求項8】

センサを用いて相対的に移動する物体を観測したデータを画像化した画像データを継続的に取得し、取得された前記画像データを分割して複数の分割画像を生成し、前記分割画像を入力として前記分割画像内に検出対象の前記物体が含まれているか否かを機械学習手法により生成した識別器を用いて検出する物体検出装置を用いた物体検出方法であって、
ａ）前記画像データを取得して、複数の前記分割画像を生成し、
ｂ）前記識別器に入力させる前に、前記分割画像のそれぞれに対して物体検出を行う優先順位を示す粗いランク付けを行い、
ｃ）ランクの高い順、又は、低い順から所定数の前記分割画像だけを選別して、前記識別器を用いた物体検出を行い、
ｄ）検出された物体の座標データを出力インターフェースを介して表示し、
ｅ）前記ａ）～ｄ）の処理を繰り返す、
ことを特徴とする物体検出方法。

【請求項9】

前記画像データは、一定の観測サイクルで繰り返し取得されるものであって、
前記分割画像の前記所定数は、分割された前記分割画像の総数よりも少なく、かつ、前記観測サイクル中に前記識別器を用いて物体検出処理を完了させることができる数の範囲内に収まるように設定されることを特徴とする請求項８に記載の物体検出方法。

【請求項10】

前記画像データは、一定の観測サイクルで繰り返し取得されるものであって、
前記画像データの観測サイクル中に設定された数の前記分割画像の物体検出処理が完了した際に、次の分割画像の物体検出処理を行う分の余裕時間が残っている場合には、次にランクが上位の前記分割画像の物体検出処理を実行することを特徴とする請求項８に記載の物体検出方法。

【請求項11】

前記物体検出装置は、事前実験あるいはこれまでに取得したデータを用いた最適化手法によって定められた指標を用いて探索数を決定することを特徴とする請求項９に記載の物体検出方法。

【請求項12】

前記粗いランク付けは、前回取得された観測データにおける前記識別器のスコア値、分割画像内の最大値（輝度）、分割画像内の平均値等から求めるノイズ量を用いて点数化されることを特徴とする請求項８に記載の物体検出方法。

【請求項13】

直近の時刻において物体が検知された前記分割画像に対して、前記点数を増加させる補正処理を行うことを特徴とする請求項１２に記載の物体検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、任意の間隔で得られる観測データから目標物体を検出する物体検出装置及び物体検出方法に関する。

【背景技術】

【0002】

対象物体の回収あるいは障害物の回避のために、自動車や船舶などの走行物体にセンサを取り付け、センサによって取得された観測データから物体を検出する方法の研究が進められている。例えば、走行物体の制御のためには、センサの観測範囲は広く設定され、その観測データからリアルタイムに物体を検出することが求められる。また、音波や電波などを用いたセンサでは周波数を低くすると観測距離が伸びるが、距離当たりの解像度、つまり分解能が低下することが知られている。走行物体における物体検出では分解能が低いデータを扱う場合がある。

【0003】

広大な範囲の観測データから効率的に物体を検出するために、特許文献１では観測領域全体を疎な密度で観測したデータから物体検出を行い、物体判定の信頼度が低い箇所に改めて高い密度で再観測を行って、再観測で得られたデータから物体を検出する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１７９３８８

【発明の概要】

【発明が解決しようとする課題】

【0005】

物体検出には機械学習手法により生成した識別器が用いられることが多い。識別器を用いると精度が良いからである。識別器に入力するデータのサイズは、予めが決まっていることが多いため、広大な範囲の観測データから物体を検出する場合は、入力された観測データを分割して複数回に分けて検出を行うことになる。また、識別器を用いて物体検出を行う場合には、従来の画像処理を用いた物体識別方法よりも処理時間を要するため、観測データの元の解像度のままの画像を対象として物体検出を行うと、次の観測データが取得されるタイミングまでの間（サイクルタイム内）に、観測領域全体に対する物体検出の処理が完了しない場合がありうる。この対策として、画像化された高解像度の画像データを圧縮して解像度を低下させることにより、識別機に入力される画像の量（分割画像の数）を少なくして、高速化を図ることが考えられる。しかしながら、画像データを圧縮する方法は、観測データの分解能が低い場合に、物体検出の性能が大きく低下するという問題が生じやすい。

【0006】

本発明は、上記背景に鑑みてなされたもので、機械学習で生成した識別器を用いつつ、サイズ（次元）が大きな観測データから効率よく、リアルタイムで物体の検出を可能にした物体検出装置及び物体検出方法を提供することにある。
本発明の他の目的は、容量の大きい観測データを分割した後に、どの分割画像を選択すべきかの粗い分類を行うことで、機械学習で生成した識別器に入力させる分割画像の数を絞ることにより、リアルタイムで物体の検出を可能にした物体検出装置及び物体検出方法を提供することにある。

【課題を解決するための手段】

【0007】

本願で開示される発明のうち代表的な特徴を説明すれば次の通りである。
本発明の一つの特徴によれば、センサを用いて相対的に移動する物体を観測したデータを画像化した画像データを断続的に取得する解析対象取得部と、解析対象取得部で取得された画像データを、複数の分割画像に分割する画像分割部と、選択された分割画像を入力して分割画像内に検出対象の物体が含まれているか否か判別する推論部と、を有する物体検出装置において、分割画像の中から物体検出処理を行う対象の分割画像をあらかじめ設定された探索数だけ選択する設定部を設けた。設定部は、選択された分割画像の物体検出に要する時間が目標時間を下回るように、探索範囲と、物体検出用の識別器の種類と、識別器におけるパラメータを設定する。上述の画像分割部、推論部、設定部は、コンピュータが特定のプログラムを実行することによってその機能を実現することができる。

【0008】

本発明の他の特徴によれば推論部は、設定部にて設定されたパラメータに従って、識別器を用いて分割画像の物体検出処理をおこなう。また、設定部は、分割画像に対して一つあるいは複数の指標を複合した指標に基づいて物体検出処理をすべき対象であるかの優先順位を求め、優先順位が高い分割画像を探索数分だけ選択する。分割画像を探索数は、検出対象の画像データを取得間隔（サイクルタイム内）で、選択された分割画像のすべての物体検出処理が完了するように設定される。尚、分割画像を探索数を固定するのではなく、設定数分の分割画像に対する処理が完了した後であって次の観測対象の画像データ取得までに余裕があり、さらなる分割画像に対する画像処理が実行できる場合は、残り時間内でさらなる分割画像に対する物体検出処理を行うように構成しても良い。

【発明の効果】

【0009】

本発明によれば、物体検出装置において、サイズが大きい観測データに対しても、機械学習手法により生成した識別器を適用できるようになった。また、物体の検出精度の高精度に保ったままで、識別器を用いたリアルタイムの物体検出処理が可能となった。

【図面の簡単な説明】

【0010】

【図1】本発明の第１の実施例に係る物体検出装置１００の機能構成例を示す概略ブロック図である。

【図2】本発明の第１の実施例に係る物体検出装置１００の処理手順を示すフローチャートである。

【図3】解析対象の観測画像から、複数の分割画像に分割する例を説明する図である。

【図4】分割された分割画像から識別対象の分割画像を選択する例を説明する図である。

【図5】追加の分割画像として、複数領域間をまたぐように切り出された画像の例を説明する図である。

【図6】検出された物体の座標を計算する例を説明する図である。

【図7】入力及び出力インターフェースの例を説明する図である。

【図8】本発明の第２の実施例に係る物体検出装置の処理手順を示すフローチャートである。

【図9】本発明の物体検出方法を使用したシステムの運用形態の一例を示す図であり、(a)は第1の運用形態を示し、(ｂ)は第２の運用形態を示す。

【発明を実施するための形態】

【0011】

以下、図面に基づき、本発明の実施形態を詳述する。本発明の物体検出システムの運用例として、音波を用いた沈没船などの人工物の探索や、魚群探知が挙げられる。これらの物体検出処理においては、水中に音波を発して反射された音波を検出し、検出された音波の観測データを画像化し、画像化された観測データを、機械学習で生成した識別機に入力することにより物体の検出を行う。物体を検出する場所は、河川をはじめ、海、湖、池などの水中や、プール等の人工的構造物に水が溜まった場所などがあげられる。また、本発明の物体検出装置は、水中だけでなく陸上、空中、地中などの音が伝搬する空間又は物質内にも適用可能である。尚、入力される観測データの画像への変換が可能であれば、観測データは音波で観測したものに限定されず、電波、カメラによる画像の撮影、磁気探査や電磁誘導探査などの幅広い探索方法によって得たものにも適用可能である。また、観測データを収集するセンサは、移動中の機器（船舶等）に直接設けられる場合だけでなく、移動する機器と同期して又は非同期に移動する物体に設けられるものでも良く、さらには、河川の中の魚の検出などのように、センサを河川の定位置に固定されているような場合にも適用可能である。

【実施例0012】

以下、本発明の実施例を説明する。以下の実施例では、水中に存在する対象物体の検出を想定したものであり、船舶が移動中又は停止中に水中に存在する物体を検出する。図１は、本実施例の物体検出装置１００の構成例を示す概略ブロック図である。物体検出装置１００は、例えば高性能の情報処理装置や、パーソナルコンピュータにより実現できる。物体検出装置１００は、解析対象取得部１０１、画像分割部１０２、設定部１０３、推論部１０４、入力インターフェース１０５、出力インターフェース１０６、記憶装置１０８を含んで構成され、これらはバス１０７を介して接続される。解析対象取得部１０１、画像分割部１０２、設定部１０３、推論部１０４は、コンピュータのプロセッサに特定のプログラムを実行させることによって各部の機能を実現できる。また、解析対象取得部１０１や画像分割部１０２は、プロセッサによってソフトウェアで処理されるのではなく、専用のハードウェア回路や、ハードウェア回路とソフトウェアの組み合わせによって実現しても良い。バス１０７は、バス１０７に接続されている各処理部で扱われるデータや、制御情報および解析情報の伝送を仲介する。

【0013】

解析対象取得部１０１は、情報処理装置１００の外部から解析対象とする画像を取得する。この画像は、例えば、不図示の音波センサから取得された観測データを画像に変換した画像データであって、解析対象取得部１０１に入力される前の段階で画像化されたデータを想定している。ただし、音波センサから取得された観測データを画像化する機器（又は処理部）をどこに設けるかは任意であり、音波データの観測データを直接情報処理装置１００に入力させて、情報処理装置１００内で観測データを画像データに変換するように構成しても良い。

【0014】

画像分割部１０２は、解析対象取得部１０１が取得した画像データを設定された大きさに分割し、推論部１０４に入力可能な複数の分割画像を生成する。また、元の観測データの大きさが大きすぎて、分割された画像数が多くなる場合や、分割した画像のサイズが推論部１０４の識別器に入力される画像のサイズと異なる場合は、そのサイズに合う様に拡大あるいは縮小の操作も行うように構成することも可能である。

【0015】

設定部１０３は、入力装置１１０から入力インターフェース１０５を介して入力される情報に基づき、推論部１０４で実行される条件に関する設定を行う。入力される情報には、目標時間、変更項目、選択指標がある。目標時間は入力装置１１０から入力インターフェース１０５を介してユーザーが入力してもよいし、センサの取得周期に基づきあらかじめ定められた時間が自動的に設定されるようにしても良い。変更項目の指定は、探索する分割画像の個数や割合、推論に用いる識別器の指定、推論の際のパラメータ等であり、これらのうち、少なくとも１つを固定するとしてもよいし、いずれも変更を許可しても良い。さらには、変更量を少なくしたい項目を特定するものでも良い。選択指標に基づき探索する分割画像を選択する。この際、一つの指標を用いてもよいし、複数の指標を重みづけして複合したものを用いても良い。設定部１０３により、探索する分割画像、推論に用いる識別器及びそのパラメータが決定される。

【0016】

推論部１０４は、設定部１０３によって決定された推論に用いる識別器及びそのパラメータを用いて、選択された分割画像に対して推論操作が行う。これにより、分割画像それぞれに対象物体が写っているか否かを判断することができる。なお、推論部１０４によって得られる出力結果は検出した物体の座標情報である。識別器は分割画像内における検出した物体の座標を出力するため、推論部１０４は観測データ全体における分割画像の原点の座標を考慮し、検出した物体の座標を求める。

【0017】

入力インターフェース１０５は、入力装置１１０と接続されており、入力装置１１０を用いて行われるユーザーの入力操作を受け付ける。入力装置１１０は、例えばマウスやキーボード等を用いて構成される。ユーザーが入力装置１１０を用いて情報処理装置１００に対する各種の指示操作や選択操作を入力すると、その入力操作内容が入力インターフェース１０５を介して、情報処理装置１００内の各部（１０１～１０４）に伝達される。これにより、各部（１０１～１０４）において、ユーザーの入力操作に応じた処理を行うことができる。例えば設定部１０３では、入力インターフェース１０６を介して行われたユーザーの入力操作に基づいて、解析対象とする分割画像や、推論に用いる識別器などを取得することができる。

【0018】

出力インターフェース１０６は、表示装置１１１と接続されており、表示装置１１１に文字、記号、画像、映像等をカラー表示にて出力可能とする。表示される画像データには、解析対象の観測データを画像化したもの、検出した物体の座標等の、物体検出のために関連する各種の情報が表示される。表示装置１１１は、例えば物体検出装置１００に接続されるディスプレイ装置である。出力インターフェース１０６は、検出した物体の座標をそのまま表示させてもよいし、画像化された観測データに物体の位置を示すマークを重畳させるようにして表示させても良い。尚、表示装置１１１は物体検出装置１００に直接接続された機器だけに限らず、ユーザーによって使用されるパーソナルコンピュータ、タブレット、スマートフォン等の表示画面に表示されるように構成しても良い。その場合は、出力インターフェース１０６から表示画面を有する機器に近接無線通信にて、又は、ネットワークを介して画面情報を送信すれば良い。このように、本発明は、物体検出装置１００をスタンドアロンのコンピュータ及びそれに有線で接続される周辺装置だけで構成せずに、物体検出装置１００と、無線又は有線によるネットワークを介して接続可能な外部の情報機器（上記のタブレットやスマートフォン、又は、別のコンピュータ）と組み合わせたシステムとしても構成しても良い。

【0019】

次に、本実施形態の物体検出装置１００における物体検出手順について図２のフローチャートを用いて説明する。図２に示すフローチャートは、物体検出装置１００に含まれる図示しないプロセッサが、コンピュータプログラムを実行することによって実現できる。

【0020】

最初に解析対象取得部１０１は、解析対象とする画像を取得する（ステップＳ２０１）。取得される画像は、上述の観測データを断続的に取得して画像化したものであって、例えば、１０万ピクセル以上の画像データである。音波を発する装置や、反射波を画像化する装置は、物体検出装置１００とは別途設けられる。ここで、「断続的」とは、特定地点の観測結果が所定の時間間隔（例えば数秒おき）で取得されるような場合を指している。例えば、観測領域全体を、特定のスキャン方向に沿って順次センスすることにより、一地点だけでみた場合の観測データが、一定又は不定の時間間隔毎に得られるような場合を指している。尚、ステップＳ２０１で取得される画像として、記憶装置２０８に格納されている画像のうち、ユーザーの操作によって入力装置１１０から選択された画像データを用いるようにしても良い。

【0021】

次に、画像分割部１０２は、ステップＳ２０１で取得された対象画像を分割する（ステップＳ２０２）。この画像の分割処理を、図３（ａ）を用いて説明する。図３（ａ）はステップＳ２０２で行われる画像分割の例であり、左側の図にて示すように、解析対象とする画像として対象画像３０１が取得されると、画像分割部１０２による分割処理が行われ、複数（ここでは６つ）の分割画像３０２ａ～３０２ｆが生成される。図３（ａ）に示す分割画像３０２ａ～３０２ｆは領域的には重複していない。分割処理の方法は、観測データの起点から固定で単純に一定の間隔で分割するものであって、分割境界が固定としたもので良い。また、移動物体の観測の場合は、センサに対する観測対象の移動量に基づき分割画像の起点をずらすようにしても良く、その場合は見つけたい物体を同じ分割画像内に捉え続けることができる。このようにして画像分割部１０２は、入力インターフェース１０５を介して入力された画像を、推論部１０４における識別器の入力の大きさに沿うように画像を分割する。この際、一部の分割画像において対象画像からはみ出た際は、背景としての値（０等）で補完すると良い。

【0022】

分割する大きさと識別器の入力の大きさが異なる場合は、図３（ｂ）に示すように、分割された画像３０２ａを識別器の入力の大きさに適するように拡大あるいは縮小することも有効である。図３（ｂ）では、画像３０２ａを横方向に縮小して縮小画像３０３ａを生成している。画像の縮小方法は公知の画像縮小アルゴリズムや、画像縮小プログラムを用いることができる。図３（ｂ）では分割された画像３０２ａだけの縮小処理を説明したが、同様にして残りの分割された画像３０２ｂ～３０２ｆも、同様に縮小され、縮小画像３０３ｂ～３０３ｆが準備される。尚、図３では、それぞれの分割画像３０２ａ～３０２ｆが重複しないようにしたが、一部を重複させるような画像分割を行うようにして、より多い数の分割画像を生成することも可能である。

【0023】

本実施例では、機械学習手法による識別器として深層学習等を想定するため、識別器の入力の大きさには深層学習で一般的な、３００×３００ピクセルの画像や５００×５００ピクセル等の正方形の分割画像が準備されるが、上記の画像縮小による分割画像の変形処理が適用できるため、分割する画像の大きさや形状には制限がない。ただし、拡大率あるいは縮小率は、複数の分割画像間で揃えられることが重要であり、識別器にとっての見え方を統一することが重要である。好ましくは、分割した画像の大きさは、機械学習の学習時と揃えて同じ解像度とすることが推奨される。

【0024】

図２の説明に戻ると、設定部１０３は、ステップＳ２０２で生成された分割画像の中から推論する分割画像の選択と、物体検出に使用する識別器の選択及びパラメータの指定を行う（ステップＳ２０３）。分割画像の選択とは、分割された観測データ（総数ｎ）の中から、識別器を用いて探索される分割画像の数ｍ（但しｍ＜ｎ）を絞り込む処理である。ここで、図４を用いて、ステップＳ２０３で行われる推論する分割画像の選択の例を説明する。

【0025】

図４は観測データが４０１ａから４０１ｆの６つの分割画像に分割され、そこから３つの分割画像を選択する例である。まず、それぞれの分割画像に対し、一つあるいは複数の指標に基づき、分割領域それぞれに点数による粗いランク付けを行う。選択指標の例として分割画像内の最大値（輝度）、分割画像内の平均値等から求めるノイズ量、前回取得されたデータにおける識別器のスコア値（対象物体らしさ）が考えられる。これらの選択指標を用いた演算式を設定して、図４に示すようにそれぞれの分割画像４０１ａ～４０１ｆに対して点数化する。例えば、最大輝度が大きい分割画像は、図４で示す点数を高くする。ノイズ量に関しては、観測対象によって図４で示す点数を高くする場合もあるし、低くする場合もある。この点数化のための演算式は、観測環境の特徴や観測対象の特性等を考慮の上、適宜設定することができる。さらに、これまでの状況に応じた指標として、直近の時刻において物体を検知した分割画像における上記の指標の値を２倍等に増加させるように点数を補正しても良いし、直近に選択されてからの経過時間が大きい分割画像は、点数を一定量、又は可変量だけ増加させるような補正をすることが考えられる。このように点数補正を行うことで、物体の存在が観測されて続けている領域の分割画像が確実に上位ランクに割り当てられる。また、複数回の観測データにわたって、識別器を用いた物体検出処理から除外されていた領域の分割画像を、複数回に一回は必ず物体検出処理が行われるように点数を調整することも可能となる。

【0026】

図４の例では指標値に基づき、６つの分割画像４０１ａ～４０１ｆと、それらの点数を数値にて示している。ここでは、分割画像４０１ｆ、４０１ａ、４０１ｅの順で、点数が、７４、５０、４３と大きいため、この３つの分割画像４０１ｆ、４０１ａ、４０１ｅが選択され、推論部１０４に入力される。図４の例では、点数が大きいものを３つだけ選択する例を示したが、選択する分割画像の数は３つに限られない。また、選択指標によっては、点数が小さい方から推論部１０４に入力される分割画像を選択する場合もある。また、上記の方法を採用すると、複数間隔で取得された観測データのうち、選択されないままの特定領域（図４では、４０１ｂ、４０１ｃ、４０１ｄに相当する領域）が生ずるので、連続して所定の回数選択されなかった領域の分割画像の点数を上げるようにして、推論部１０４へ全く入力されない未選択分割画像の発生を回避する。さらに、点数による粗いランク付けを、物体検出装置１００以外の外部機器から得られる外部指標を使って行うこともできる。

【0027】

図４では観測データを重なりなく等しい大きさの分割画像に分割されていたが、分割画像間で重なりがあるように分割されても良いし、さらには、分割画像の切り出し境界からずれた範囲で再度分割画像を切り出すようにしても良い。図５は、追加の分割画像として、複数領域間をまたぐようにして再切り出しされた分割画像の例を示す図である。ここでは、分割画像５１１～５１６を切り出した後に、直近（現時刻をＴとするとＴ－１）で対象物体を検知した座標５０１の付近に、新たな分割画像５１７が、切り出されている。つまり、図５で示す観測データから、合計７つの分割画像５１１～５１７が切り出されたことになる。これらの分割画像５１１～５１７は、図４で説明された方法と同様の方法で点数を算出し、点数が高い分割画像を所定数だけ選択して、推論部１０４に入力する。このように直近の状況に応じて分割画像の切り出し範囲を調整し、さらには、切り出し範囲が重複するような分割画像を準備することで、対象物体の見落としを高価的に抑制できる。

【0028】

物体検出に使用する識別器およびパラメータが決まっていると、事前実験や入力インターフェース１０５を介したユーザーによる指定から、分割画像１つあたりの物体検出に要する時間が精度良く推定できる。つまり、目標時間及び選択される分割画像の数は入力される画像データの大きさあるいは入力インターフェース１０５を介したユーザーによる指定から定まるため、目標時間を選択分割画像数で割ると１つの分割画像の物体検出処理に対してかけられる時間が算出できる。また、事前実験あるいは入力インターフェース１０５を介したユーザーによる指定から、識別器とパラメータの組み合わせにおける処理時間及び期待される精度がわかるので、１取得サイクルの中で推論部１０４による処理に割り当てられる目標処理時間が算出できる。推論部１０４における目標処理時間を、分割画像１つ当たりの物体検出に要する時間で割り、整数になるように切り捨てると、目標時間内で物体検出の処理が可能な分割画像の数が算出できる。ステップＳ２０３では、分割画像の順位が高い分割画像から、上記で求めた目標時間内で可能な分割画像の数だけ採用する。尚、分割画像の順位が所定個数内の分割画像であって、事前設定あるいは入力インターフェース１０５を介したユーザーによる指定による点数の閾値を満たした分割画像（例えば、図４（ａ）で点数が、５０以上）だけを推論部１０４による処理を行うように構成しても良い。

【0029】

図２の説明に戻ると、推論部１０４は、ステップＳ２０３での設定に基づき、物体検出処理を行う（ステップＳ２０４）。推論部１０４は、設定部１０３により選択された分割画像それぞれに対して、設定部１０３により選択された識別器およびパラメータで物体検出処理を行う。ここでの識別器としてＹＯＬＯ(You Only Look Once)やＳＳＤ(Single Shot multibox Detector)などの深層学習技術を用いたものや、ＳＶＭ(Support Vector Machine)やＲＦ(Random Forest)など深層学習技術に寄らないものなど、様々な機械学習技術により作成した学習済みモデルや、最大値（輝度）や形状などによって判断する画像処理手法など、公知の物体検出技術を適用できる。モデルの計算量（複雑さ）が減少すれば物体検出処理に要する時間が少なくなる。パラメータとしては、入力に用いる過去のデータの数（再帰数）や弱分類器の数など物体検出処理の時間にかかわるものや、検出する物体の数（閾値）が例として挙げられる。再帰数、弱分類器の数は繰り返し処理を行う回数であるため、それが減少すれば物体検出処理に要する時間が少なくなる。

【0030】

推論部１０４に含まれる識別器が出力するのは、検出された物体の座標（ａ，ｂ）である。この座標（ａ，ｂ）は分割画像内における座標であるので、分割画像の観測データにおける座標を加味することにより、観測データ内における検出された物体の座標を求めることができる。ここで、図６を用いて、ステップＳ２０４で行われる、観測データにおける検出された物体の座標を求める例を説明する。

【0031】

図６では検出された物体６０１の座標を観測データにおける原点６０２に対する座標を求める。識別器は分割画像６０３が入力された際に物体を検出する。その際に識別器が物体６０１を検出した場合は、分割画像６０３における原点６０４に対する物体６０１の座標を出力する。観測データにおける検出された物体の座標は分割画像６０３における原点６０４に対する座標（ａ，ｂ）であるので、観測データにおける物体６０１の座標は、原点６０２に対する分割画像６０３における原点６０４に対する座標（ｘ，ｙ）を加えた（ａ＋ｘ，ｂ＋ｙ）となる。

【0032】

図２の説明に戻る。ステップＳ２０４の次であって全体の処理としては最後に、推論部１０４は検出物体の座標を出力する（ステップＳ２０５）。ここで求められた座標は、文字ベースで出力装置１６に出力しても良いし、走行物体の制御機構などの外部の機構の表示画面に表示されるように伝送してもよいし、出力装置１６に表示される観測データの上に、マークをつけることにより検出された物体の位置を観測データに重畳させるようにして、グラフィカルにユーザーに提示するようにしても良い。

【0033】

図７を用いて、表示装置１１１での表示画面７００の一例を示す。表示画面７００には、入力インターフェース１０５を介して入力及び設定された内容と、出力インターフェース１０６を介して出力指示がされる内容の双方が表示される。先ず入力インターフェース１０５による設定対象に相当する入力欄７１１から７３３について説明する。

【0034】

入力欄７１１は観測データに対して物体検出処理を行う目標時間である。ここにはセンサの取得周期に基づいて定められた値あるいは、ユーザーが指定した値が入る。目標時間は、例えば数秒程度である。尚、ユーザーが指定しない場合は、センサの取得時間間隔と同じ時間又は、それより短い時間が自動で設定されるように構成しても良い。入力欄７２１は取得された対象画像３０１（図３（ａ）参照）を分割した後の分割画像３０２ａ～３０２ｆ（図３（ａ）参照）の大きさを数値にて入力するための欄である。ここでは、例えば分割画像が正方形とされ、３００×３００ピクセルを意味する“３００”が入力される。入力欄７２２は分割画像の重複度合に関する設定であり、隣接する分割画像との重複する領域を有するように切り出すか否かを数値に設定する。入力欄７１１～７１３には、学習時での設定に基づいて定められた値あるいは、ユーザーが指定した値が入る。

【0035】

入力欄７３１～７３３において、設定部１０３で変化を小さくとどめたい指標を指定すると良い。入力欄７３１は、１回の探索範囲中における検出される物体の最大数を示す探索数を数値にて記入する。識別器の選択欄７３２は、学習済みの識別器Ａ、Ｂの中からユーザーによっていずれかを選択する。図７の物体検出装置１では推論部１０４として“手法Ａ”（例えばＹＯＬＯ）と“手法Ｂ”（例えばＳＶＭ）のどちらかを選択する。パラメータの選択欄７３３は、パラメータの種類と、その数値を入力欄７３３ａ、７３３ｂのいずれかに記入することで指定する。ただし、探索数及びパラメータの数値は事前に設定されたものをそのまま用いても、ユーザーが記入し変更したものでも、いずれでも良い。

【0036】

次に出力インターフェース側に相当する観測画像７４０と、検出された物体７４１～７４３について説明する。観測画像７４０は、水中に音波を発して反射された音波の観測データが画像化されたもので、その観測画像７４０が船の移動に合わせて下から上方向にスクロールしながら表示される。例えば、観測画像７４０の中心点が音波による観測機器の設置位置に相当し、上方向が進行方向前側、下方向が進行方向後側に対応する。ここでは、識別器による物体検出処理により検出された３つの物体７４１～７４３が、物体７４１～７４３の位置に相当するマーカー（ここではバツ印）として、観測画像７４０上に重畳して表示されている。尚、図７では、検出された物体数が３つの場合を例示したので、マーカー７４１～７４３の３つしか表示されていない。しかしながら、入力欄７３１で設定された最大探索数（例えば１０）の範囲内で、検出された物体数に応じた数のマーカーが、観測画像７４０中に表示されることになる。

【0037】

以上説明したように、本実施例の物体検出装置１００では、観測データによる探索範囲の選定、物体検出識別器の選定、パラメータの調整等、探索範囲の絞り込みに用いる固定指標や優先指標について、ユーザーによって個々に指定できるようになったので、重み・使用の有無を指定でき、あるいは最適化手法によって求められた重みがかけられるようになった。また、探索範囲の絞り込みに用いる指標について、検知時や未検知時などの状態に合わせて変更ができるようになった。

【実施例0038】

実施例１では、識別器による１つの物体検出処理に要する時間（処理時間）は、一つの分割画像に対してほぼ一定であること（固定時間）を前提としていた。この固定時間は事前実験における処理時間の期待値（平均値）や最大値に基づいて設定される。しかし、観測画像７４０中に対象物体と思われる値が含まれないと推測された場合であって、識別器による個々の分割画像の物体検出処理を取りやめることが可能な物体検出手法を用いる場合は、分割画像によって処理時間がそれぞれ異なることがありうる。その場合、処理時間を固定時間として扱うと、分割画像の物体検出処理を途中で取りやめることにより、設定された探索数の分割画像の処理が終わった場合に、次の観測データが入力される前の余裕時間が生ずることになり、その余裕時間が有効に活用されないまま経過することになる。そこで、第２の実施例では、生じた余裕時間を無駄にすることなく、選択されなかった分割画像をさらに推論部１０４に入力して追加の物体検出処理を行うものである。

【0039】

図８は、本発明の第２の実施例に係る物体検出装置１の処理手順を示すフローチャートである。図８で示す処理手順を実行する物体検出装置１のハードウェア構成は、図２で示した構成と同じであり、ＣＰＵによって実行される設定部１０３を機能させるプログラムと、推論部１０４を機能させるプログラムをわずかに変更するだけで、ソフトウェアにより実現できる。

【0040】

最初に、実施例１と同様にステップＳ２０１、Ｓ２０２で対象画像を取得及び分割し、ステップＳ２０３の分割画像の順位付け、識別器及びパラメータの選択を行う。次に、ステップＳ２０４Ａでは、図２で示したステップＳ２０４のように優先順位の高い分割画像から一つずつ物体検出処理にかける。ただし、ＣＰＵやＧＰＵなどの計算資源が複数で構成され並列に処理が可能であるシステムである場合はその並列数分だけ分割画像を物体検出処理にかけることも可能である。

【0041】

目標時間に対する物体検出処理の余裕を調べる処理が追加されている（ステップＳ８０１）。物体検出処理が行われるたびに、１つの分割画像に対して物体検出処理に要する時間が計測され、その最大値および観測データに対して物体検出処理が開始されてからの累積時間が記録される。累積時間と物体検出処理にかかる時間の最大値の和が目標時間を超えない場合は処理時間に余裕があると判定され、次の順位の分割画像が物体検出処理にかけられる。一方で、累積時間と物体検出処理にかかる時間の最大値の和が目標時間を超える場合には、処理時間に余裕がないと判定され、ステップＳ２０５に移る。このように分割画像ごとに処理時間が異なる場合でも目標時間に近しい処理時間でできる限り多くの分割画像に対して物体検出処理を実行できる。

【0042】

ステップＳ２０５は実施例１と同様の処理になり、座標を文字ベースで出力し、走行物体の制御機構などの外部の機構に伝送してもよいし、観測データの上にマークをつけグラフィカルにユーザーに提示しても良い。第２の実施例では、物体検出装置１００に割り込み処理や、何らかの読み書き処理等により推論の実行に想定よりも時間がかかってしまい所定時間以内に予定した数の分割領域に対する物体検出処理が終わらないような場合であっても、次の観測データの物体検出処理に移行させることができる。

【0043】

図９は、本発明の物体検出方法を使用したシステムの運用形態の一例を示す図である。
図９（ａ）は、第１の運用形態を示す。第１の運用形態は、物体検出処理に必要な装置を船舶などの水上移動体に設置して識別処理をローカルシステムとして完結させる例である。音波を用いた観測装置９０１は、水中への音波送信および反射信号受信を行うと共に、受信した反射信号を観測画像として変換する。観測画像を入力として検出装置９０２で検出処理を行う。検出装置９０２が図１における物体検出装置１００にあたる。検出結果を検出結果表示装置（モニタ）９０３に表示する。検出結果表示装置９０３が図１の表示装置１１１に相当する。

【0044】

図９（ｂ）は、第２の運用形態を示すブロック図である。第２の運用形態は、物体検出処理に必要な装置をネットワーク越しに設置してリモートで識別処理を実施する例である。船舶などのローカルシステム側は、観測装置９１１、検出結果表示装置（モニタ）９１２およびローカル制御装置によって構成される。観測装置９１１によって観測・変換された観測画像は、ローカル制御装置およびネットワーク９１８を介してリモート側システムに伝送される。リモート側システムは、観測データ蓄積装置９１４、検出装置９１５、検出結果蓄積装置、リモート制御装置９１７で構成される。ネットワーク９１８を介して伝送された観測画像はリモート制御装置９１７によって受信され、観測データ蓄積装置に蓄積される。蓄積された観測画像は検出装置９１５で検出処理が行われ、その結果が検出結果蓄積装置９１６に蓄積される。また、検出結果はリモート制御装置９１７、ネットワーク９１８、ローカル制御装置９１３を介して検出結果表示装置（モニタ）９１２に表示される。

【0045】

ネットワーク９１８の通信状況によって観測データ蓄積装置９１４及び検出結果蓄積装置９１６はどちらか一方あるいは両方がローカル側に設置されても、設置されなくとも良い。それぞれの蓄積装置は通信に関するバッファとなることに加え、結果保存等に用いることで後から見返すことも可能となる。

【0046】

以上、本発明を実施形態に基づき説明したが、本発明は上述の実施形態に限定されるものではなく、その趣旨を逸脱しない範囲内で種々の変更が可能である。例えば、画像化される観測データは、音波の観測値だけに限られずに、カメラ等から取得された画像データ、電波によって操作されたレーダー画像等であっても良い。