特開 2025-105137 対象物検知装置、対象物検知方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025105137

(43)【公開日】2025-07-10

(54)【発明の名称】対象物検知装置、対象物検知方法、プログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20250703BHJP

   H04N 7/18 20060101ALI20250703BHJP

   G08B 21/00 20060101ALI20250703BHJP

   G08B 25/00 20060101ALI20250703BHJP

   G08G 1/16 20060101ALI20250703BHJP

【ＦＩ】

G06T7/60 180B

H04N7/18 D

H04N7/18 K

G08B21/00 A

G08B25/00 510M

G08G1/16 C

G08G1/16 D

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023223466

(22)【出願日】2023-12-28

(71)【出願人】

【識別番号】517332845

【氏名又は名称】Ａｒｉｔｈｍｅｒ株式会社

(72)【発明者】

【氏名】ラヒムバディーナ ザリーナ

【テーマコード（参考）】

5C054

5C086

5C087

5H181

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FC14

5C054FC15

5C054FE09

5C054FE14

5C054FE28

5C054FF06

5C054HA19

5C086AA53

5C086CA28

5C086CB36

5C086DA08

5C086DA33

5C086FA15

5C087AA02

5C087AA03

5C087AA16

5C087DD03

5C087DD12

5C087EE07

5C087FF01

5C087FF04

5C087GG02

5C087GG08

5C087GG66

5H181AA07

5H181AA21

5H181AA27

5H181BB20

5H181CC04

5H181FF03

5H181LL01

5H181LL02

5H181LL04

5H181LL08

5H181LL15

5L096BA02

5L096DA02

5L096DA03

5L096FA16

5L096FA66

5L096FA67

5L096FA69

5L096FA72

5L096HA03

5L096KA04

(57)【要約】

【課題】対象物同士が衝突しないように、警告する。
【解決手段】対象物が写された学習画像を用いて、任意の動画像から対象物が写されている領域を含む画像を入力する入力部と、複数の学習画像によって識別された対象物を記憶する記憶部と、対象物が写されている領域に対応するバウンディングボックスが合成された画像を出力する出力部と、バウンディングボックス間で複数の対象物同士の距離を推定し、警告を発する制御部とを備えた対象物検知装置。
【選択図】 図１

【特許請求の範囲】

【請求項1】

対象物が写された学習画像を用いて、任意の動画像から、前記対象物が写されている領域を含む画像を入力する入力部と、
複数の前記学習画像によって識別された対象物を記憶する記憶部と、
前記対象物が写されている領域に対応するバウンディングボックスが合成された画像を出力する出力部と、
バウンディングボックス間の線分で複数の対象物同士の距離を推定し、複数の対象物同士がある距離に近づいた時、警告を発する制御部と、
を備えたことを特徴とする対象物検知装置。

【請求項2】

対象物が写された学習画像を用いて、任意の動画像から、前記対象物が写されている領域を含む画像を入力する入力部と、
複数の前記学習画像によって識別された対象物を記憶する記憶部と、
前記対象物が写されている領域に対応するバウンディングボックスが合成された画像を出力する出力部と、
前記動画像のフレーム間のバウンディングボックスの線分の移動距離と時間で前記対象物速度を推定し、ある速度を超えた時、警告を発する制御部と、
を備えたことを特徴とする対象物検知装置。

【請求項3】

対象物が写された学習画像を用いて、任意の動画像から、前記対象物が写されている領域を含む画像を入力する入力部と、
複数の前記学習画像によって識別された対象物を記憶する記憶部と、
前記対象物が写されている領域に対応するバウンディングボックスが合成された画像を出力する出力部と、
前記動画像のフレーム間のバウンディングボックスの中心点の移動方向で前記対象物の回転角度を推定し、ある角度を超えた時、警告を発する制御部と、
を備えたことを特徴とする対象物検知装置。

【請求項4】

二つの対象物が交差し、前記動画像の後方の対象物が部分的に遮蔽される場合、前記後方の対象物の位置情報が得られなくなるため、遮蔽前の前記後方の対象物の位置情報を記録し、遮蔽前の最後の動画像データに基づいて新たなバウンディングボックスを合成してディスプレイに表示させ、再度、前記後方の対象物がディスプレイに表示された場合、新しいデータを使用して前記後方の対象物の位置を再キャリブレーションする、
請求項１～３記載の対象物検知装置。

【請求項5】

二つの対象物が交差し、前記動画像の後方の対象物が完全遮蔽される場合、前記後方の対象物が移動して、ディスプレイに再表示された場合、前記後方の対象物につけた識別番号が以前と変化しないようにディスプレイに写った最後の位置を記録し、新たなバウンディングボックスを形成して、ディスプレイに表示させ、遮蔽された前記後方の対象物を継続して追跡し、再度、前記後方の対象物がディスプレイに表示された場合、システムは新しい映像を使用してデータ更新する、
請求項１～３記載の対象物検知装置。

【請求項6】

コンピュータを、
対象物が写された学習画像を用いて、任意の動画像から、前記対象物が写されている領域を含む画像を入力する入力部、
複数の前記学習画像によって識別された対象物を記憶する記憶部、
前記対象物が写されている領域に対応するバウンディングボックスが合成された画像を出力する出力部、
バウンディングボックス間の線分で複数の対象物同士の距離を推定し、複数の対象物同士がある距離に近づいた時、警告を発する制御部、
として機能させるプログラム。

【請求項7】

コンピュータを、
対象物が写された学習画像を用いて、任意の動画像から、前記対象物が写されている領域を含む画像を入力する入力部、
複数の前記学習画像によって識別された対象物を記憶する記憶部、
前記対象物が写されている領域に対応するバウンディングボックスが合成された画像を出力する出力部、
前記動画像のフレーム間のバウンディングボックスの線分の移動距離と時間で前記対象物速度を推定し、ある速度を超えた時、警告を発する制御部、
として機能させるプログラム。

【請求項8】

コンピュータを、
対象物が写された学習画像を用いて、任意の動画像から、前記対象物が写されている領域を含む画像を入力する入力部、
複数の前記学習画像によって識別された対象物を記憶する記憶部、
前記対象物が写されている領域に対応するバウンディングボックスが合成された画像を出力する出力部、
前記動画像のフレーム間のバウンディングボックスの中心点の移動方向で前記対象物の回転角度を推定し、ある角度を超えた時、警告を発する制御部、
として機能させるプログラム。

【請求項9】

コンピュータを用いた対象物検知方法であって、
対象物が写された学習画像を用いて、任意の動画像から、前記対象物が写されている領域を含む画像を入力する入力し、
複数の前記学習画像によって識別された対象物を記憶する記憶し、
前記対象物が写されている領域に対応するバウンディングボックスが合成された画像を出力する出力し、
バウンディングボックス間の線分で複数の対象物同士の距離を推定し、複数の対象物同士がある距離に近づいた時、警告を発して制御する、
対象物検知方法。

【請求項10】

コンピュータを用いた対象物検知方法であって、
対象物が写された学習画像を用いて、任意の動画像から、前記対象物が写されている領域を含む画像を入力する入力し、
複数の前記学習画像によって識別された対象物を記憶する記憶し、
前記対象物が写されている領域に対応するバウンディングボックスが合成された画像を出力する出力し、
前記動画像のフレーム間のバウンディングボックスの線分の移動距離と時間で前記対象物速度を推定し、ある速度を超えた時、警告を発して制御する、
対象物検知方法。

【請求項11】

コンピュータを用いた対象物検知方法であって、
対象物が写された学習画像を用いて、任意の動画像から、前記対象物が写されている領域を含む画像を入力する入力し、
複数の前記学習画像によって識別された対象物を記憶する記憶し、
前記対象物が写されている領域に対応するバウンディングボックスが合成された画像を出力する出力し、
前記動画像のフレーム間のバウンディングボックスの中心点の移動方向で前記対象物の回転角度を推定し、ある角度を超えた時、警告を発して制御する、
対象物検知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、対象物検知装置、対象物検知方法、プログラムに関する。

【背景技術】

【0002】

従来、対象物間の距離を測距センサ等を用いずに推定する方法が検討されている。例えば、特許文献 １（特開２０２１－０５６７１７号公報）の「発明が解決しようとする課題」には、バウンディングボックスの下端中央部分の座標を対象物の位置として、二次元座標から三次元座標に変換することにより対象物間の距離を推定する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０５６７１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載されているように、対象物間の距離は推定できるが、対象物間の衝突を防ぐことができない。

【課題を解決するための手段】

【0005】

第１観点の対象物検知装置は、対象物が写された学習画像を用いて、任意の動画像から、前記対象物が写されている領域を含む画像を入力する入力し、複数の前記学習画像によって識別された対象物を記憶する記憶し、前記対象物が写されている領域に対応するバウンディングボックスが合成された画像を出力する出力し、バウンディングボックス間で複数の対象物同士の距離を推定し、複数の対象物同士がある距離に近づいた時、警告を発して制御する。

【0006】

第２観点の対象物検知装置は、対象物が写された学習画像を用いて、任意の動画像から、前記対象物が写されている領域を含む画像を入力する入力し、複数の前記学習画像によって識別された対象物を記憶する記憶し、前記対象物が写されている領域に対応するバウンディングボックスが合成された画像を出力する出力し、前記動画像の各フレームのバウンディングボックスで前記対象物速度を推定し、ある速度を超えた時、警告を発して制御する。

【0007】

第３観点の対象物検知装置は、対象物が写された学習画像を用いて、任意の動画像から、前記対象物が写されている領域を含む画像を入力する入力し、複数の前記学習画像によって識別された対象物を記憶する記憶し、前記対象物が写されている領域に対応するバウンディングボックスが合成された画像を出力する出力し、前記動画像の各フレームのバウンディングボックスで前記対象物の回転角度を推定し、ある角度を超えた時、警告を発して制御する。

【図面の簡単な説明】

【0008】

【図1】対象物検知装置２０の構成を示す模式図である。

【図2】バウンディングボックスの一例を示す図である。

【図3】対象物間の距離の推定を示すための模式図である。

【図4】対象物の移動を示すための模式図である。

【図5】対象物の回転移動を示すための模式図である。

【発明を実施するための形態】

【0009】

＜１＞対象物検知装置の構成
以下、本開示の一実施形態に係る対象物検知装置の構成について図面を用いて説明する。
図１は本実施形態に係る対象物検知装置２０の構成を示す模式図である。対象物検知装置２０は、対象物Ｏ同士の衝突を避ける装置である。

【0010】

対象物Ｏの領域は、図２に示すように、画像内に合成されるバウンディングボックスＢの４つの頂点に対応する座標情報ｂ１～ｂ４で定義される。

【0011】

なお、図２における例では、対象物Ｏとして「フォークリフト」及び「人」が示されているが、対象物Ｏはこれに限定されるものではない。対象物Ｏは任意の物体を採用できる。また、対象物Ｏは物体の種類だけでなく、状態等を区別して設定することもできる。

【0012】

対象物検知装置２０は、任意のコンピュータにより実現することができ、記憶部２１、入力部２２、出力部２３、及び処理部２４を備える。なお対象物検知装置２０は、ＬＳＩ（ Large Scale Integration），ＡＳＩＣ（Application Specific Integrated Circuit）， ＦＰＧＡ（Field-Programmable Gate Array）などを用いてハードウェアとして実現されるものでもよい。

【0013】

記憶部２１は、各種情報を記憶するものであり、メモリ及びハードディスク等の任意の記憶装置により実現される。

【0014】

入力部２２は、キーボード、マウス、タッチパネル等の任意の入力装置により実現され、コンピュータに各種情報を入力する。

【0015】

出力部２３は、ディスプレイ、タッチパネル、スピーカー等の任意の出力装置により実現され、コンピュータから各種情報を出力する。

【0016】

処理部２４は、各種情報処理を実行するものであり、ＣＰＵ又はＧＰＵ等のプロセッサ、及びメモリにより実現される。ここでは、コンピュータのＣＰＵ，ＧＰＵ等に、記憶部２１に記憶された一又は複数のプログラムが読み込まれることにより、処理部２４が、生成部２４Ａ、合成部２４Ｂ、設定部２４Ｃ、及び制御部２４Ｄとして機能する。以下、処理部２４の各機能について説明する。

【0017】

生成部２４Ａは、対象物Ｏが写されている領域の座標情報を生成する。また、生成部２４Ａは、対象物Ｏが写されている領域に対応するバウンディングボックスＢの頂点の座標情報ｂ１～ｂ４が記述されたファイルを生成する。
なお、座標情報ｂ１～ｂ４は、各頂点の二次元座標で定義することができる。ただし、これに限らず、座標情報ｂ１～ｂ４は、バウンディングボックスＢが正方形又は長方形であることを前提に、１つの頂点の二次元座標と、その頂点からの幅及び高さとで定義することもできる。前者の場合は、二次元座標上での４つの頂点に対応する８つの値が記述されたファイルが生成される。後者の場合は、二次元座標上の１つの頂点に対応する２つの値と、そこからの幅及び高さを示す２つの値との合計４つの値が記述されたファイルが生成される。

【0018】

合成部２４Ｂは、バウンディングボックスＢを合成し、出力部２３のディスプレイに表示する。

【0019】

設定部２４Ｃは、座標を指定することで任意のバウンディングボックスＢを画像内に生成し、そのバウンディングボックスＢを用いて対象物Ｏが写されている対象物画像であることを設定する。

【0020】

制御部２４Ｄ、対象物Ｏ同士が衝突しないよう、それぞれのバウンディングボックスＢ間の距離を推定して、衝突しそうな場合、警報を出して制御する。その他、高速度、高速回転の時も警告を出す。

【0021】

＜２＞対象物検知装置の動作
本実施形態に係る対象物検知装置２０の動作を説明する。

【0022】

（１） 視覚検出モデルの学習:
1. データの準備:
倉庫環境内でのフォークリフト操作に焦点を当てたデータを収集した。この収集には、さまざまな方向と照明条件のフォークリフトが含まれていた。
ラベル付け過程では、フォークリフトを強調するために各画像に注釈が付けられた。この注釈は、モデルが環境内のフォークリフトを認識して区別するために必要である。

【0023】

2. モデルの学習:
物体検出モデルでの効率と精度で知られる、高度なＹｏｌｏＸ視覚検出モデルを選択した。
学習時間を大幅に短縮し、検出精度を向上させる。事前学習済みモデルを活用して学習を実施した。ここでは、ラベル付けられたデータをモデルにする。
事前学習されたＹｏｌｏＸモデルを微調整し、データ上のフォークリフトと人間とを正確に識別して区別できるようにした。これは非常に重要であり、モデルの汎化機能を最適化しながら過学習を防止し、実際のアプリケーションで信頼性の高いパフォーマンスを保証する。

【0024】

3. 結果と視覚化:
検出結果は、フレーム内で識別された対象物Ｏを囲むバウンディングボックスＢを通じて視覚化される。

【0025】

（２）視覚追跡モデル:
1. モデルの選択:
複数の物体追跡環境での有効性で知られる最適化されたアルゴリズムであるＯＣ－ＳＯＲＴ追跡モデルを利用する。この選択は、倉庫監視に適したパフォーマンス特性によるものである。

【0026】

2. 対象物の識別とラベル付け:
フレームの処理時に、検出された各対象物Ｏに識別番号 (ＩＤ) を割り当て、シーケンス全体で一貫した追跡を行う。これは、フレーム間で追跡データの連続性を維持するためである。
このシステムは、識別された対象物Ｏの種類、具体的には「人」か「フォークリフト」かを指定するラベルを記録する。

【0027】

3. 継続性の追跡とデータ管理:
連続するフレームにわたって、割り当てられたＩＤとラベルを監視する。ＯＣ－ＳＯＲＴ追跡モデルを採用し、倉庫内の視覚的な追跡を実現する。

【0028】

（３）カメラ入力だけからの倉庫の測定値の推定:
1.透視図への変換:
ここでは、「透視変換」として知られる技術を使用して、２次元のビデオ映像座標 (ピクセル単位で測定) を倉庫の実際の３次元空間 (通常はメートル単位) に関連付ける。

【0029】

2. 地表面の定義:
ビデオ映像では、地表面領域を特定し、その輪郭を台形として描く。この歪んだ形状はカメラの視点によるものである。このステップは、実際監視される対象領域をマークするために重要である。
遠近法により台形が歪んでいるのに対し、実際の倉庫床は正方形または長方形であると認識する。これが、観察をマッピングする領域である。

【0030】

3. ホモグラフィック変換の計算:
この座標変換には、「ホモグラフィー行列」の計算が含まれる。この行列は、歪んだ (台形) 座標と実際の (正方形) 座標の間の３×３行列である。

【0031】

4. 変換の適用:
台形内のすべての注目点にホモグラフィック変換を適用する。座標をビデオのピクセルベースのシステムから倉庫の床の現実の座標に変換する。
この変換は、自動ビデオ監視プロセス中の正確な活動監視、距離測定、および空間認識にとって非常に重要である。

【0032】

（４）近接性の推定:
人とフォークリフトとの間、フォークリフト同士の距離を計算する。図３を参照する。人とフォークリフトとの間、およびフォークリフト同士の間の近接リスクを避けるために、体系的な距離計算を採用している。
1. 基準点の特定:
フレーム内の人やフォークリフトを囲んだバウンディングボックスＢの下端中央部分を抽出する。これを、各対象物Ｏの基準位置とする。

【0033】

2. 距離推定:
識別された基準点の各ペアの間、特に人とフォークリフトとの間、および２台のフォークリフトとの間に線分を引く。実際の座標測定を使用して計算されたこの線分の長さは、２つの対象を隔てる実際の距離を表す。

【0034】

（５）フォークリフトの速度の推定 (図４を参照):
映像内のフォークリフトの速度を推定するには、座標変換と距離と速度の計算を含む一連の手順を実行する。
1. 距離の計算:
フレーム内のフォークリフトのバウンディングボックスＢの下端中心部分は、移動するフォークリフトの基準位置とする。
２つの連続するフレーム (フレームｎ－１とフレームｎ) の間でこの点が移動する距離を測定することにより、フォークリフトの変位を計算する。ここでは、これらのフレーム内の対応する実際の点の座標 (メートル) における位置の差を計算する。

【0035】

2. 速度の計算:
フレームは連続しているため、この間隔が映像のフレーム速度の逆数であり、２つのフレーム間の時間間隔を計算する。具体的には、映像が１秒あたり「ｆ」フレームで記録される場合、フレーム間の時間は １／ｆ秒になる。
計算された距離を時間間隔で割る。ただし、時間間隔は１／ｆであるため、式は次のようになる。
速度 = 距離 *ｆ
この式は、距離がメートル単位で測定され、フレーム速度が１秒あたりのフレーム数であると仮定して、フォークリフトの速度をメートル/秒で求める。

【0036】

（６）フォークリフトの移動方向の推定 (図５を参照):
1. 変位の評価:
フレーム内のフォークリフトのバウンディングボックスＢに焦点を当てる。具体的には、フォークリフトのバウンディングボックスＢの中心点に注目する。
２つの特定のフレーム (フレームｎとフレームｎ＋１) 間のこの中心点の変位を注目する。この変位は、フォークリフトの動作方向を決定するために必要なデータである。
なぜなら、ボンディングボックスＢの中心点を使用すると、ボンディングボックスＢの形状の変化の影響を受けにくいので、角度が測定しやすいためである。

【0037】

2. 角度の計算:
フレームｎとフレームｎ＋１の間のフォークリフトのバウンディングボックスＢの中心点のＸ座標の変化(dx)とＹ座標の変化(dy)を抽出する。
垂直変位と水平変位の比率を考慮する逆正接関数を使用して、移動角度αを計算する。 式は次のとおりである。
α = arctan(dy/dx)
ここで、「dy」は垂直座標の変化を表し、「dx」は水平座標の変化を表す。次に、逆正接関数は、この比率を角度αに変換し、倉庫の床面におけるフォークリフトの移動方向を表す。

【0038】

3. 定期的な計算:
連続するフレームごとに方向を計算するのではなく、この計算を一定の間隔で実行することで最適化する。実際の間隔は５フレームごとで、計算効率と正確な方向推定のための十分なデータ解像度のバランスをとることができる。

【0039】

（７）警告表示システム:
1. 近接警告:
重大な危険: フォークリフトと人 (または別のフォークリフト) との距離が３ｍ未満になると、システムは重大な危険の警告する。 ここでは、対象物Ｏ同士を囲むバウンディングボックスＢが赤に変わる。ボンディングボックスＢの下端中心部分を結ぶ赤い線分も表示され、近接していることが視覚的に強調される。
中程度の危険: 測定された距離が５ｍ未満、３ｍを超える場合、システムは中程度の危険レベルを示す。バウンディングボックスＢが黄色に変わり、注意を表し、バウンディングボックスＢの下端中心部分を結ぶ黄色の線分が表示される。

【0040】

2. 高速度警告 :
フォークリフトの速度が３ｍ／ｓを超えると作動する。このしきい値は、倉庫環境内で安全な速度制限を超えて動作しているとみなされる。検知すると、システムは高速動作を示すためにフォークリフトのバウンディングボックスＢをマゼンタで強調表示し、すぐに注意を引くために「高速」警告を表示する。

【0041】

3. 高速回転警告:
フォークリフトが３ｍ／ｓを超えて移動するだけでなく、３０度を超える角度で旋回するという、より特殊な条件下での作業の場合、このような操縦は事故の危険性を大幅に高める。これにシステムは、バウンディングボックスＢを緑色に着色して応答し、この複合的な危険を知らせるために「高速回転」警告を発する。

【0042】

これらの視覚的かつ直観的な段階的警告システムは、監督者やスタッフにとって即時の情報参照として機能するように設計されており、倉庫業務における潜在的な衝突への迅速な対応を可能にする。

【0043】

（８）その他
二つの対象物Ｏと対象物Ｏ’が交差し、後方の対象物Ｏ’が映像から遮蔽される場合、そのバウンディングボックスＢは縮小されるか、消去される。
バウンディングボックスＢが縮小される場合は、対象物Ｏ’が映像から部分的に遮蔽される場合である。その際、対象物Ｏ’の位置情報が得られなくなるため、遮蔽前の対象物Ｏ’の位置情報を記録し、遮蔽前の最後の画像データに基づいてバウンディングボックスＢ’を白色でディスプレイに表示させる。再度、対象物Ｏ’がディスプレイに表示された場合、新しいデータを使用して対象物Ｏ’の位置を再キャリブレーションする。

【0044】

バウンディングボックスＢが消去される場合は、対象物Ｏ’が完全遮蔽される場合である。その後対象物Ｏ’が移動して、ディスプレイに表示された場合、対象物Ｏ’につけたＩＤが以前と変化しないように、ディスプレイに映った最後の可視位置を記録し、バウンディングボックスＢ’を合成して、白色でディスプレイに表示させる。これによって、遮蔽された対象物Ｏ’を継続して追跡することができる。再度、対象物がディスプレイに表示された場合、システムは新しい映像を使用してデータ更新する。

【0045】

＜他の実施形態＞
本開示は、上記各実施形態そのままに限定されるものではない。本開示は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できるものである。また、本開示は、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の開示を形成できるものである。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよいものである。さらに、異なる実施形態に構成要素を適宜組み合わせてもよいものである。

【符号の説明】

【0046】

２０ 対象物検知装置
２１ 記憶部
２２ 入力部
２３ 出力部
２４ 処理部
２４Ａ 生成部
２４Ｂ 合成部
２４Ｃ 設定部
２４Ｄ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】