特開 2025-164054 物体検出装置および物体検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025164054

(43)【公開日】2025-10-30

(54)【発明の名称】物体検出装置および物体検出方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20251023BHJP

   G01V 1/00 20240101ALI20251023BHJP

   G01V 11/00 20060101ALI20251023BHJP

   G06N 3/0464 20230101ALI20251023BHJP

【ＦＩ】

G06N20/00

G01V1/00 A

G01V11/00

G06N3/0464

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2024067781

(22)【出願日】2024-04-18

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】辰巳 嵩豊

(72)【発明者】

【氏名】秋山 靖浩

(72)【発明者】

【氏名】上里 達実

(72)【発明者】

【氏名】佐藤 慎祐

【テーマコード（参考）】

2G105

【Ｆターム（参考）】

2G105AA01

2G105BB02

2G105BB09

2G105CC01

2G105DD01

2G105DD02

2G105EE02

2G105FF03

2G105FF16

2G105GG03

2G105HH04

2G105KK06

(57)【要約】

【課題】物体の検出精度を向上させる。
【解決手段】物体検出装置１００は、対象物を検出する。物体検出装置１００は、観測データ取得部１０１と、関連データ取得部１０２と、情報整形部１０３と、推論部１０７と、表示部１０６と、を備える。観測データ取得部は、対象物をメインセンサ１１０が検出した観測データを取得する。関連データ取得部は、メインセンサのパラメータおよび観測環境を示す環境データを含む関連データを取得する。情報整形部は、関連データまたは関連データを識別器の少なくとも一部で処理した結果を、識別器に入力可能な形状に拡張した整形データを生成する。推論部は、関連データおよび整形データを識別器に入力して畳み込み処理によって対象物を推論する。表示部は、推論部による推論結果を表示させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象物を検出する物体検出装置であって、
前記対象物をメインセンサが検出した観測データを取得する観測データ取得部と、
前記メインセンサのパラメータおよび観測環境を示す環境データを含む関連データを取得する関連データ取得部と、
前記関連データまたは当該関連データを識別器の少なくとも一部で処理した結果を、前記識別器に入力可能な形状に拡張した整形データを生成する整形部と、
前記関連データおよび前記整形データを前記識別器に入力して畳み込み処理によって前記対象物を推論する推論部と、
前記推論部による推論結果を表示させる表示部と、を備える物体検出装置。

【請求項2】

前記観測データおよび前記整形データを学習する学習部を備える、
請求項１に記載の物体検出装置。

【請求項3】

前記観測データ取得部は、水中の前記対象物を前記メインセンサが検出した観測データを取得する、
請求項１に記載の物体検出装置。

【請求項4】

前記推論部は、前記関連データの一部を、確率的に欠損を表す値に置き換える、
請求項１に記載の物体検出装置。

【請求項5】

前記学習部は、複数の前記関連データそれぞれに対して、前記識別器への入力位置を決定する、
請求項２に記載の物体検出装置。

【請求項6】

前記学習部は、複数の前記関連データそれぞれに対して、前記識別器への入力可否および入力の位置が設定された複数のパターンを学習する、
請求項２に記載の物体検出装置。

【請求項7】

前記推論部は、複数の前記識別器のうち前記学習部で学習した識別器を選択する、
請求項２に記載の物体検出装置。

【請求項8】

前記表示部は、前記推論部に入力される前記関連データを表示させる、
請求項１に記載の物体検出装置。

【請求項9】

前記表示部は、前記推論部によって推論された前記対象物の検出結果を表示させる、
請求項１に記載の物体検出装置。

【請求項10】

対象物を検出する物体検出装置による物体検出方法であって、
前記対象物をメインセンサが検出した観測データを取得するステップと、
前記メインセンサのパラメータおよび観測環境を示す環境データを含む関連データを取得するステップと、
前記関連データまたは当該関連データを識別器の少なくとも一部で処理した結果を、前記識別器に入力可能な形状に拡張した整形データを生成するステップと、
前記観測データおよび前記整形データを学習するステップと、
前記関連データおよび前記整形データを前記識別器に入力して畳み込み処理によって前記対象物を推論するステップと、
前記推論の結果を表示させるステップと、を有する物体検出方法。
?

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体検出装置および物体検出方法に関する。

【背景技術】

【0002】

広域で対象物体を探索したり、その位置情報を用いて対象物体を回収または回避するために、船舶、自動車または無人機などの移動体にセンサを取り付け、センサから得られたデータを用いて対象物体を検出する研究が推進されている。

【0003】

広域を移動しながらあるいは状況が異なる様々な場所において、精度高く対象物体を検出することが求められており、近年では機械学習手法の適用が行われている。

【0004】

しかし、目標物体を探す対象である観測データは、光量、光源の位置、地形、地質、温度、ノイズなどに応じて性質が大きく異なるため、１つの識別器では高い精度で目標物体を検出できないこともある。

【0005】

非特許文献１には、観測データの画像に加えて、画像形式および数値形式の追加データを用いて推論することが記載されている。この文献では、画像形式のデータをＲｅｓＮｅｔ５０によってベクトル化すると共に、数値形式のデータをそのままの値で集め一列にし、全結合によって観測データにそれぞれのデータを付加している。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】西澤勇祐 本間伸一 戸邉勇人 宮嶋保幸 福島大介 マルチモーダル深層学習による切羽剥落の予測 ２０１９年度人工知能学会全国大会 ２０１９ ｐ．２

【発明の概要】

【発明が解決しようとする課題】

【0007】

物体検出において一つの識別器で様々な状況に対しても高い精度を実現するために、観測データに加えて、観測環境を示すデータ（以後、環境データと称する）やセンサのパラメータを含む関連データを用いることが考えられる。関連データを用いることで観測データからは得られない観測環境に関する情報が得られ、識別器が観測環境つまり観測データの性質に合わせて物体検出することができる。

【0008】

しかし、関連データの活用には、考慮すべき課題がある。課題の一つは、観測データと関連データの形式および性質が異なる場合である。物体検出において、観測データは、一般的に画像データで場所の意味を含むデータである。これに対し、関連データの中には、カメラの露光時間または移動体の移動速度などスカラー値であって、場所の意味を含まず、観測データ全体にかかわるデータがある。そのため、関連データを観測データに均一に適用できることが望ましい。

【0009】

課題のもう一つは、関連データを適用する位置である。近年、物体検出に用いられる手法は、深層学習が主流であり、層毎に処理が分かれていて分岐および統合ができることから、関連データ毎に付加（統合）する位置（層）が決められることが望ましい。

【0010】

しかしながら、非特許文献１では、１度に全結合で観測データに関連データを付加しているため、上記の要望を満たすことができない。

【0011】

そこで、本発明は、上記課題に鑑みてなされたもので、その目的は、物体の検出精度を向上させる技術を提供することにある。

【課題を解決するための手段】

【0012】

上記目的を解決するために、本発明は、対象物を検出する物体検出装置であって、前記対象物をメインセンサが検出した観測データを取得する観測データ取得部と、前記メインセンサのパラメータおよび観測環境を示す環境データを含む関連データを取得する関連データ取得部と、前記関連データまたは当該関連データを識別器の少なくとも一部で処理した結果を、前記識別器に入力可能な形状に拡張した整形データを生成する整形部と、前記関連データおよび前記整形データを前記識別器に入力して畳み込み処理によって前記対象物を推論する推論部と、前記推論部による推論結果を表示させる表示部と、を備える。

【発明の効果】

【0013】

本発明によれば、物体の検出精度を向上させることができる。

【図面の簡単な説明】

【0014】

【図1】実施例１に係る物体検出装置の構成例を示す概略ブロック図。

【図2】実施例１に係る物体検出装置のハードウェア構成の一例を示すブロック図。

【図3】実施例１に係る船上の物体検出装置の構成の一例を示す図。

【図4】実施例１に係る学習処理の一例を示すフローチャート。

【図5】実施例１に係る環境情報付加処理の一例を示すフローチャート。

【図6】実施例１に係る環境情報付加処理の他の例を示すフローチャート。

【図7】実施例１に係る物体検出処理の一例を示すフローチャート。

【図8】実施例１に係る出力装置の表示画面の一例を示す図。

【図9】実施例２に係る学習処理の一例を示すフローチャート。

【図10】実施例２に係る物体検出処理の一例を示すフローチャート。

【発明を実施するための形態】

【0015】

以下、図面を参照して本発明の実施例を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。

【0016】

本発明の物体検出装置は、例えば、音波を用いた魚群探知機に適用可能である。以下では、物体検出装置として魚群探知機の例を説明する。しかし、本発明の物体検出装置は、魚群探知機に限らない。

【0017】

魚群探知機などの水中物体検出装置は、水中に音波を発して反射波を観測し、その観測データを画像化した画像データを表示し、または観測データを識別器に入力することによって、対象物（魚群探知機であれば魚）を検出する。水中物体検出装置は、例えば、河川、海、湖、池などの水中、生け簀またはプールなどの人工的な構造物に水が溜まった場所などに適用される。

【0018】

関連データには、測定環境に関する情報（水深、水温、底質、気温、風速、風向、塩分濃度など）、およびメインセンサの設定（観測方向、ゲインなど）が含まれる。つまり、関連データは、メインセンサ、サブセンサによって検出されても良いし、データベース、人手による観測によって得られて良い。

【0019】

さらに、物体検出装置は、水中だけでなく、陸上、空中、地中などの音、光、電波などが伝搬する空間または物質内にも適用可能である。尚、観測データは、画像への変換が可能であれば、音波で観測した観測データに限定されず、電波、カメラによる画像の撮影、磁気探査または電磁誘導探査などの幅広い探索方法によって得られた観測データにも適用可能である。

【0020】

さらに、観測データを収集するセンサと、関連データを取得するセンサとは、船舶などの移動中の機器に直接設けられる場合に限らず、移動する機器と同期してまたは非同期に移動する物体に設けられても良い。さらに、それらセンサおよびサブセンサは、河川の中の魚の検出などのように、センサが河川の定位置に固定されているような場合にも適用可能である。

【実施例0021】

実施例１は、船舶が移動中または停止中に、水中に存在する対象物体を検出する例である。

【0022】

図１は、実施例１に係る物体検出装置の構成例を示す概略ブロック図である。

【0023】

物体検出装置１００は、高性能な計算機、パーソナルコンピュータ、あるいは携帯端末によって実現することができる。物体検出装置１００は、観測データ取得部１０１、関連データ取得部１０２、「整形部」の一例としての情報整形部１０３、入力インタフェース１０４、出力インタフェース１０５、表示部１０６、学習部１０７、および推論部１０８を備える。これら観測データ取得部１０１、関連データ取得部１０２、情報整形部１０３、入力インタフェース１０４、出力インタフェース１０５、表示部１０６、学習部１０７および推論部１０８は、バス１０９を介して通信可能に接続される。さらに、物体検出装置１００は、メインセンサ１１０、サブセンサ１１１、データベース１１２、入力装置１１３、および出力装置１１４と無線または有線で通信可能に接続される。

【0024】

メインセンサ１１０は、船舶３１０（図３参照）に設けられている。メインセンサ１１０は、水中に音波を発して反射された音波を観測データとして検出する。データ取得部１０１は、メインセンサ１１０で検出された観測データを、信号の正規化などの前処理および画像化する。尚、観測データは、メインセンサ１１０が画像化まで処理しても良い。さらに、メインセンサ１１０は、音波発信部分が設定された場所における水面あるいは底からの距離および水温などの観測環境を示す環境データを取得する機能を有しても良い。

【0025】

サブセンサ１１１は、気温などの一つの値を計測しても、気温に加え湿度、風向および風速などの様々な値を計測しても、船舶３１０を基準として水深および方向毎に計測した、水温および潮流などの画像状のデータを計測しても、それらのセンサを集めたものであっても良い。

【0026】

データベース１１２は、事前に計測された観測環境に関する環境データを記憶している。データベース１１２には、例えば、海図、つまり水深および底質が格納されている。観測環境における水深および底質のデータは、船舶３１０の位置情報に基づいて取得することができる。

【0027】

入力装置１１３は、キーボード、タッチパネル、カードリーダ、または音声入力装置などで良い。入力装置１１３は、ユーザからの入力を受け付ける。入力装置１１３への入力項目は、識別器に設定するパラメータの他に、人が観測したデータが含まれる。入力装置１１３には、これら識別器に設定するパラメータおよび人が観測したデータを、関連データとして入力することができる。入力インタフェース１０４は、これら識別器に設定するパラメータおよび人が観測したデータを各部に伝える。

【0028】

関連データ取得部１０２は、メインセンサ１１０、サブセンサ１１１、データベース１１２、および入力装置１１３から関連データを取得する。関連データの取得元は、メインセンサ１１０、サブセンサ１１１、データベース１１２、および入力装置１１３の４つ全てであっても、４つの中から一つあるいは複数選択されても良い。関連データには、メインセンサのパラメータおよび観測環境を示す環境データが含まれて良い。

【0029】

情報整形部１０３は、関連データ取得部１０２で取得した関連データを正規化などの前処理し、識別器に入力できる形に整える。即ち、情報整形部１０３は、関連データを識別器に入力可能な形状に拡張して整形データを生成する。整えられた形・大きさおよびその数は、識別器に依存する。情報整形部１０３は、関連データを識別器の少なくとも一部で処理した結果を、識別器に入力可能な形状に拡張して整形データを生成しても良い。

【0030】

学習部１０７は、観測データ取得部１０１を経由して得られた観測データと、情報整形部１０３で得られた整形データとに基づいて、観測データに「対象物」の一例としての対象物体が写っているか否かを判定する識別器を機械学習手法によって学習する（学習処理）。この時、学習部１０７は、入力インタフェース１０４を介して、識別器の構成および用いる関連データ、関連データを付加する位置が指定されても、指定されない場合にデフォルトの構成の識別器を基にしても良い。

【0031】

推論部１０８は、学習部１０７と同様に観測データ取得部１０１を経由して得られた観測データと、情報整形部１０３で得られた整形データに基づいて、観測データに対象物体が写っているか否かを判定する。推論部１０８は、検出したか否かのみを出力しても良いし、検出した対象物体の位置、大きさ、または検出の信頼度を表すスコアなどの付加的な情報を出力しても良い。

【0032】

出力装置１１４は、ディスプレイ、スピーカ、またはプリンタなどで良い。出力装置１１４は、出力インタフェース１０５を経由して取得したデータをユーザに対して出力する。出力インタフェース１０５は、出力装置１１４と通信可能に接続されており、出力装置１１４に文字、記号、画像、映像などを出力可能とする。出力装置１１４には、解析対象の観測データを画像化したもの、および検出した物体の座標など、物体検出に関連する各種の情報が表示される。出力装置１１４は、検出した物体の座標をそのまま表示しても良いし、画像化された観測データに物体の位置を示すマークを重畳させるようにして表示しても良い。

【0033】

尚、出力装置１１４は、物体検出装置１００に直接接続された機器に限られるものではなく、ユーザによって使用されるパーソナルコンピュータ、タブレット、またはスマートフォンなどの画面表示が可能な機器でも良い。その場合は、出力インタフェース１０５から表示画面を有する機器に無線通信にて、または、ネットワークを介して画面情報を送信すれば良い。

【0034】

このように、物体検出装置１００は、スタンドアロンのコンピュータおよびそれに有線で接続される周辺装置で構成する場合に限られるものではない。物体検出装置１００は、物体検出装置１００と無線又は有線によるネットワークを介して接続可能な外部の情報機器（上記のタブレット、スマートフォン、又は、別のコンピュータ）と組み合わせたシステムとして構成しても良い。

【0035】

図２は、実施例１に係る物体検出装置のハードウェア構成の一例を示すブロック図である。図１と同一の構成には、同一の符号を付し、説明を省略する。

【0036】

図１に示した物体検出装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、メモリ２０２、記憶装置２０３、通信部２０４、入力インタフェース１０４、および出力インタフェース１０５を備える。これらＣＰＵ２０１、メモリ２０２、記憶装置２０３、通信部２０４、入力インタフェース１０４、および出力インタフェース１０５は、バス１０９を介して相互に通信可能に接続される。

【0037】

ＣＰＵ２０１は、中央演算処理装置であり、メモリ２０２（または記憶装置２０３）に記憶されているプログラムを実行することで、必要な機能を実装する。メモリ２０２は、ＣＰＵ２０１が処理を実行する際に利用する主記憶装置であり、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性記憶素子で良い。記憶装置２０３は、ＣＰＵ２０１に提供する入力データ、およびＣＰＵ２０１から出力される出力データを保管するための補助記憶装置であり、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの不揮発性記憶素子で構成される。

【0038】

通信部２０４は、物体検出装置１００が外部装置と通信するために用いるインタフェースであり、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）などで良い。通信部２０４は、ネットワーク（例えばインターネット（登録商標））に接続され、ネットワークを介して外部装置との間で通信を行う。

【0039】

観測データ取得部１０１、関連データ取得部１０２、情報整形部１０３、学習部１０７および推論部１０８は、ＣＰＵ２０１に特定のプログラムを実行させることで各部の機能を実現できる。さらに、ＣＰＵでなく、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、専用のハードウェア回路、またはハードウェア回路とソフトウェアとの組み合わせによって実現しても良い。バス１０９は、バス１０９に接続されている各処理部で扱われるデータ、および制御データおよび解析データの伝送を仲介する。

【0040】

図３は、実施例１に係る物体検出装置の構成の一例を示す図である。

【0041】

物体検出装置１００は、船舶３１０上に設置されて良い。船舶３１０には、メインセンサ１１０およびサブセンサ１１１が設置されている。尚、図３には、物体検出装置１００、データベース１１２、入力装置１１３、および出力装置１１４が明記されていない。これら物体検出装置１００、データベース１１２、入力装置１１３、および出力装置１１４は、船舶３１０内に設置されて良い。メインセンサ１１０は、ソナー信号による観測を行い、対象物３１１を検出する。

【0042】

図４は、実施例１に係る学習処理の一例を示すフローチャートである。

【0043】

学習処理は、物体検出装置１００で物体検出処理に用いる識別器を学習する処理である。学習処理は、ＣＰＵ２０１が、メモリ２０２（または記憶装置２０３）に格納されたコンピュータプログラムを実行することによって実現できる。学習処理は、ステップＳ４０１からＳ４０６までのデータ取得フェーズと、ステップＳ４１０からＳ４１６までの学習フェーズとに大別される。

【0044】

最初に、ユーザは、入力インタフェース１０４を介して、メインセンサ１１０およびサブセンサ１１１の設定を行い、取得する観測データおよび関連データの取得条件を定める（ステップＳ４０１）。設定には、メインセンサ１１０の感度、取得間隔、および保存する関連データの選択が含まれる。この設定は、記憶装置２０３に保存される。

【0045】

次に、観測データ取得部１０１および関連データ取得部１０２は、各種データの取得を行う（ステップＳ４０２からＳ４０６）。

【0046】

観測データ取得部１０１は、メインセンサ１１０から観測データを受信し（ステップＳ４０３）、関連データ取得部１０２は、メインセンサ１１０、サブセンサ１１１、入力装置１１３から関連データを受信する（ステップＳ４０４）。観測データは、メインセンサ１１０によって観測された音波のデータである。関連データは、メインセンサ１１０の水面からの距離と水深、気温、湿度、風向、および風速などメインセンサ１１０、サブセンサ１１１、または入力装置１１３から得られるデータである。

【0047】

ここでは、観測データおよび環境データは、所定の時間間隔（例えば数秒おき）で取得される。例えば、観測データ取得部１０１は、観測領域全体を特定の方向に移動しながら順次観測することによって、ある一地点の観測データを一定または不定の時間間隔毎に取得する。

【0048】

観測データ取得部１０１および関連データ取得部１０２は、受信したデータを記憶装置２０３に記録する（ステップＳ４０５）。メインセンサ１１０、サブセンサ１１１、入力装置１１３から取得したデータは、時刻あるいはそれに準ずる値、例えば、観測データが取得される毎にインクリメントされるカウント値などと共に記録され、観測データと関連データの対応付けがなされる。

【0049】

観測データ取得部１０１および関連データ取得部１０２は、センサ類のトラブルなどによって関連データが取得できない場合、環境情報毎に定められる時間の閾値などを条件に、欠損値に相当する値を格納しても良い。

【0050】

観測データ取得部１０１および関連データ取得部１０２は、条件を満たした場合、データ取得を終了する（ステップＳ４０６）。終了条件は、事前に策定されたデータ取得計画の完遂、時刻の経過、船舶が特定の領域から出た場合、取得データ数が閾値以上となる場合などで良い。

【0051】

さらに、観測データに基づいてどの位置に対象物体が存在したかという答えの情報を、データの取得と同時に作成し保存しても良いし、データの取得が終わってから作成して保存しても良い。

【0052】

学習フェーズについて説明する。まず、ユーザは、学習設定を行う（ステップＳ４１０）。設定には、識別器の層構成または用いる関連データとその付加方法と付加位置などのアーキテクチャに関する設定、学習回数、または損失関数などの学習のパラメータに関する設定が含まれる。

【0053】

アーキテクチャに関する設定は、その都度作成し入力されも良いし、あらかじめテンプレートを作成し、その中から選択されも良い。アーキテクチャの設計には、メインセンサ１１０の特性および用いる機械学習手法に関する知識が必要となるため、非専門家が行うには難しい。テンプレートから選択すれば、非専門家でも良い精度の識別器を作成することが可能となる。

【0054】

学習部１０７および情報整形部１０３は、識別器の学習を行う（ステップＳ４１１からＳ４１５）。

【0055】

まず、学習部１０７は、識別器のアーキテクチャの構築および初期化などの学習開始の処理を行う（ステップＳ４１１）。

【0056】

次に、学習部１０７は、データ読み込みと前処理を行う（ステップＳ４１２）。関連データは、ステップＳ４０５で記憶装置２０３に記録されたデータ、またはデータベース１１２として記憶装置２０３に記録されたデータの中からステップＳ４１０で設定されたデータのみが読み出される。前処理は、観測データ、関連データそれぞれに対して行われ、多くの値の値域が一定の範囲に収まるような処理がなされる。

【0057】

情報整形部１０３は、観測データの形状に合わせて、関連データを整形する（ステップＳ４１３）。

【0058】

画像状のデータを深層学習で扱う際には、画像上の位置関係を保持できる、畳み込み処理が一般的に用いられる。しかしながら、関連データには、気温、水深、およびゲインなどスカラー値のものがある。スカラー値を含む複数のデータを組み合わせて推論を行うマルチモーダルな手法では、全結合処理が行われるため、畳み込み処理で保持してきた位置関係が失われる。さらに、全結合では、学習データで活性化したノードのみが更新されるため、ゲインなど観測データ全体に関わるデータであっても、全体的に考慮することができない。

【0059】

図５を一例として示す方法により、関連データを拡張し観測データに対応可能な形状に整形することで、観測データの位置関係を保持し、関連データを観測データに均一的に付加することができる。

【0060】

図５は、実施例１に係る環境情報付加処理の一例を示すフローチャートである。

【0061】

この例は、識別器の途中で関連データを付加する環境情報付加処理を示す。観測データ５０１を識別器の一部としての前半５０２に入力する。識別器の前半５０２は、畳み込み層を含むニューラルネットワークである。識別器の前半５０２は、縦ｘ、横ｙ、チャンネルｈの中間出力５０３を得る。

【0062】

一方、環境情報５１０は、全結合層５１１に入力される。図中、一つの〇印は、一つの関連データを表している。全結合層５１１は、縦１、横１、チャンネルｈ’の大きさのベクトル化信号５１２を得る。この時、任意の関連データの値そのものまたはその値を正規化したものを、チャンネル方向に付加（チャネルの大きさｈ’＋１）することによって、特定の関連データを重視して扱うことができる。ベクトル化信号５１２をｘ×ｙ個拡張し結合することによって、縦ｘ、横ｙ、チャンネルｈ’の整形信号５１３を得る。この整形処理により中間出力５０３と整形信号５１３は、縦ｘ、横ｙが一致する。

【0063】

中間出力５０３と整形信号５１３をチャンネル方向で結合し、縦ｘ、横ｙ、チャンネル（ｈ＋ｈ’）の信号５２０を得る。この信号５２０を識別器の「識別器」の一部としての後半５２１に入力し、物体検出を行う。

【0064】

畳み込み処理は、全ての縦ｘ、横ｙに対して同一の処理を行うため、この整形処理により、中間出力５０３の縦ｘ、横ｙそれぞれに対して同一のベクトル化信号５１２が適用され、関連データを均一的に付加することができる。さらに、学習する重みは、畳み込みのウインドウサイズ分だけで済むため、ｘ×ｙ×ｈ＋ｈ’をｘ×ｙ×（ｈ＋ｈ’）とする全結合処理よりメモリ使用量を低減することができる。さらに、関連データを用いない場合と比べて、チャンネル方向に大きくなるだけであるため、畳み込み処理におけるウインドウサイズなどのパラメータをそのまま用いることができる。

【0065】

さらに、観測データの位置情報を保つことができるため、関連データを付加する位置を自由に決めることができる。

【0066】

図６は、実施例１に係る環境情報付加処理の他の例を示すフローチャートである。

【0067】

この例は、観測データを識別器に入れる前、つまり入力の段階で関連データを付加する環境情報付加処理を示す。関連データに対する処理（整形信号５１３を得るまで）は、図５と同様である。ただし、縦ｘ、横ｙは、観測データのサイズと同一となる。観測データ（チャネルの大きさＣ）と整形信号５１３を結合し、縦ｘ、横ｙ、チャンネル（Ｃ＋ｈ’）の信号５３０を得る。この信号４３０を識別器４３１に入力し、物体検出を行う。

【0068】

図５および図６で示したように、関連データを任意の層で付加することができるため、環境情報を一度に付加する必要が無く、関連データそれぞれを対象物の検出率向上に一番効果が高い部分で付加し、より高精度な識別器を構築することができる。

【0069】

関連データの付加位置の決め方は、「ゲインアンプ利得は、観測データの信号の強さに直接関係するので入力の段階で付加」など関連データの特性を考慮しても、ランダムでも、事前の検証結果に基づいてパターン化されたものの中から選択されも良い。

【0070】

図４のステップＳ４１４に戻る。学習部１０７は、上述したアーキテクチャの識別器を観測データと関連データを用いて学習する。

【0071】

学習部１０７は、学習終了条件を満たしたとき、識別器の学習を終了する（ステップＳ４１５）。学習の終了条件は、学習回数が既定の回数に達したとき、または検証データにおける正答率が閾値を上回ったときなどで良い。

【0072】

学習部１０７は、学習が終了した識別器を記憶装置２０３に記録する（ステップＳ４１６）。この時、どんなアーキテクチャでどの層において何の関連データが付加されたかも記録される。

【0073】

図７は、実施例１に係る物体検出処理の一例を示すフローチャート。

【0074】

推論部１０８は、学習された識別器を用いて物体検出処理を実行する。

【0075】

まず、推論部１０８は、推論を行う際の設定を読み込み適用する（ステップＳ７０１）。記憶装置２０３および入力インタフェース１０４から用いる識別器の情報（どんなアーキテクチャでどの層において何の関連データが付加されたか、学習された識別器の重みパラメータ）を読み込み適用する。推論部１０８は、識別器の出力からどれを採用するかの基準、例えば検出の信頼度を表すスコアの閾値などを読み込み適用しても良い。

【0076】

推論部１０８は、Ｓ７０１の設定に基づいて推論を開始する（ステップＳ７０２）。

【0077】

推論部１０８は、観測データおよび関連データを受信し、前処理を行う（ステップＳ７０３）。推論部１０８は、メインセンサ１１０から観測データを受信すると共に、メインセンサ１１０、サブセンサ１１１、データベース１１２、および入力装置１１３から関連データを受信する。この時、受信する関連データは、ステップＳ７０１において設指定されたデータのみとする。

【0078】

推論部１０８は、受信した信号を前処理したものを整形する。この操作は、ステップＳ４１３と同様である。

【0079】

推論部１０８は、観測データおよび関連データに基づいて推論を行う（ステップＳ７０４）。識別器は、観測データおよび関連データを入力として、物体検出を行っても良い。表示部１０６は、対象物体を検出したか否かのみならず、検出した場合にはどの場所にどれくらいの大きさのものであるかなどを出力しても良い（ステップＳ７０５）。

【0080】

最後に、推論部１０８は、予め設定された処理を終了する条件に基づいて、処理を終了させるか否かを判定する（ステップＳ７０６）。終了条件は、物体検出装置１００が対象物体を検出して人間が目視できたこと、対象物体を回避したこと、対象物体を回収し存在しなくなったこと、メインセンサ１１０が観測を終了したこと、ユーザが終了の操作を行ったことなどで良い。推論部１０８は、ステップＳ７０６で処理を終了させると判定された場合、物体検出処理を終了する。

【0081】

図８は、実施例１に係る出力装置の表示画面の一例を示す図である。

【0082】

出力装置１１４には、表示画面８００が表示される。表示画面８００には、学習部１０７および推論部１０８で実行される処理の条件を設定するための入力インタフェース１０４によって表示される内容と、推論部１０８の推論結果を出力する出力インタフェース１０５によって表示される内容とが同時に表示される。

【0083】

先ず、入力インタフェース１０４による設定画面に相当する入力欄８０１，８０２について説明する。

【0084】

入力欄８０１は、識別器が学習操作あるいは推論操作を行う際に用いるパラメータを設定するパラメータ欄である。設定するパラメータは、用いる関連データ、関連データを付加する場所、ゲイン調整のための観測データの正規化、識別器に入力する観測データの範囲の指定、最大検出数などである。入力欄８０１では、複数のパラメータのうちの任意のパラメータが変更されても良いし、デフォルトで設定されているパラメータが用いても良い。この例では、情報Ｚが３に設定されている。手入力で関連データを入力する場合、または関連データ毎に更新間隔が異なる場合もあるため、関連データの項目には、どれくらい前からその値が入力されているかを表示する機能があっても良い。

【0085】

入力欄８０２は、識別器を設定する欄である。入力欄８０２には、物体検出装置１００が学習する識別器のアーキテクチャの候補、または、推論に用いるために記憶装置２０３に保持されている識別器が表示されている。この例では、識別器として識別器１が設定されている。さらに、推論時には、ここでの識別器の選択に基づいて入力欄８０１の用いる入力情報が決まる。

【0086】

次に、出力インタフェース１０５による結果表示に相当する出力欄８１０、観測画像８１１、および「推論結果」の一例としての検出結果８１２について説明する。

【0087】

表示欄８１０は、受信した関連データ５１０の値および検出状況などのステータスを表示する欄である。関連データの中には、手入力以外に、メインセンサ１１０、サブセンサ１１１、またはデータベース１１２から得るデータもある。したがって、それらを示すことにより、推論に用いる識別器を変える参考にすることができる。この例は、情報Ａおよび情報Ｂの値が表示され、情報Ｃは得られていないため表示されていない例を示している。

【0088】

観測画像８１１は、観測データが画像化されたものであり、メインセンサ１１０が移動しながら観測している場合、観測データが読み込まれる毎にスクロールしながら表示される。この例では、識別器による３つの検出結果８１２が観測画像８１１上に重畳して表示されている。

【0089】

入力欄８０１で設定する最大検出数は、表示画面８００に表示される検出結果８１２の最大数を表している。この例では、最大検出数が３に設定されており、３つの検出結果８１２が表示されている。識別器が対象物体を検出できない場合、検出結果８１２は、表示されない。尚、検出結果を船舶やロボットの制御に伝え、それに基づいて船舶やロボットが動作する場合、表示欄８１０、観測画像８１１および検出結果８１２は、必ずしも表示されなくても良い。

【0090】

表示する検出結果を選ぶ方法は、単純に検出の信頼度を表すスコアが高いほうから採用すされても、前時間において近傍に高スコアな検出解が存在するなどの条件が用いられても良い。

【0091】

以上説明したように、本実施例によれば、観測データのほかに、測定環境に関する情報、メインセンサの設定などを関連データとして識別器に入力し推論を行うことによって、観測データから物体を検出するときに物体の検出精度を向上させることができる。

【実施例0092】

実施例１では、ステップＳ７０４においてあらかじめ定められた識別機を用いて推論を行っていた。上述のように、移動体にセンサが設置され、移動しながら観測を行うと、大きく状況が変化する場合がある。例えば、底質が砂から泥に変わる、底の起伏がなだらかになる、水温が下がる、および塩分濃度が変わるなどによって、音波の進み具合または反射具合が変わり、観測データの様相に大きく影響するものが変化する場合がある。関連データを取得しているため、観測データがどのような様相であるかを推測することができる。

【0093】

さらに、識別器は、多くの場合に対応させるように汎用性を高めると、精度とのトレードオフとなる場合があり、高精度な物体検出を行いたい場合、一つの識別器にまとめずに、複数の識別器を用意することがある。ただし、適切な識別器を用いた場合、高い精度で目標物体を検出できる。しかし、適切でない識別器を用いた場合、目標物体を検出できないこと、および目標物体と関係のない背景ノイズを目標物体として誤って検出することが考えられる。そのため、適切な識別器を状況に応じて選択することが重要である。

【0094】

実施例２は、物体検出時に識別器を選ぶ方法の例について説明する。

【0095】

図９は、実施例２に係る学習処理の一例を示すフローチャートである。

【0096】

図９および後述する図１０に示す処理が実行される物体検出装置１００のハードウェア構成は、図２で示した構成と同じであり、実施例１を機能させるプログラムを変更することにより実現することができる。さらに、図９および図１０に示す処理は、物体検出装置１００のＣＰＵ２０１が、メモリ２０２（または記憶装置２０３）に格納されたコンピュータプログラムを実行することによって実現できる。尚、図４および図７と同一のステップには、同一の符号を付し、説明を省略する。

【0097】

データの取得まで（ステップＳ４０６）までは、実施例１と同様なため、説明を省略する。学習部１０７は、データの取得が完了した後、複数の識別器の学習を行う。学習フェーズの本体（ステップＳ４１０からＳ４１６）は、実施例１と同一である。実施例１との差異は、ステップＳ９０１およびＳ９０２であり、学習フェーズの本体（ステップＳ４１０からＳ４１６）を複数回繰り返すことである。

【0098】

学習する識別器の数および学習に用いるパラメータは、入力インタフェース１０４を介して決めても、検証データに対する正答ケースの網羅率などの指標に基づいて動的に決めても良い。

【0099】

識別器がステップＳ４１６において記録されるときに、学習に用いられた観測データおよび関連データの値域などの情報もともに記録する。これらを用いて、後述する識別器の選択を行う。

【0100】

図１０は、実施例２に係る物体検出処理の一例を示すフローチャートである。

【0101】

図７との差異は、識別器の選択（ステップＳ１００１）が追加されたことである。推論部１０８は、観測データおよび関連データを取得（ステップＳ７０３）した後、識別器の選択を行う。

【0102】

推論部１０８は、識別器の選択ではステップＳ７０３で取得された観測データおよび関連データをステップＳ４１６で記録された識別器毎の観測データおよび関連データと照合し、採用する識別器を決定する。推論部１０８は、観測データおよび関連データが値域に収まっている識別器を採用しても良い。さらに推論部１０８は、複数の識別器で値域に収まっている場合、現在採用されている識別器を優先して採用しても、直近での採用回数または検出率に基づいて採用する識別器を決めても良い。

【0103】

さらに、図１０では、観測データおよび関連データを取得するたびに識別器を選択している。しかし、毎回、識別器を選択せずに、一定の時間間隔あるいは入力インタフェース１０４を介した人手による操作をトリガーに識別器を選択しても良い。

【0104】

以上、本発明を実施形態に基づき説明したが、本発明は上述の実施形態に限定されるものではなく、その趣旨を逸脱しない範囲内で種々の変更が可能である。例えば、画像化される観測データは、音波の観測値だけに限られずに、カメラなどから取得された画像データ、電波によって操作されたレーダー画像などであっても良い。また、画像だけでなく、観測対象の状態を数値化した時系列データも適用可能である。