(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-07-06
(54)【発明の名称】対象探索用画像取得手段
(51)【国際特許分類】
H04N 5/232 20060101AFI20220629BHJP
G03B 15/00 20210101ALI20220629BHJP
G03B 17/56 20210101ALI20220629BHJP
【FI】
H04N5/232 990
G03B15/00 S
G03B15/00 P
G03B15/00 Q
G03B17/56 B
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021565041
(86)(22)【出願日】2019-05-03
(85)【翻訳文提出日】2021-12-22
(86)【国際出願番号】 EP2019061451
(87)【国際公開番号】W WO2020224752
(87)【国際公開日】2020-11-12
(81)【指定国・地域】
(71)【出願人】
【識別番号】511312997
【氏名又は名称】トヨタ モーター ヨーロッパ
(74)【代理人】
【識別番号】100099759
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100147555
【氏名又は名称】伊藤 公一
(74)【代理人】
【識別番号】100123593
【氏名又は名称】関根 宣夫
(74)【代理人】
【識別番号】100133835
【氏名又は名称】河野 努
(72)【発明者】
【氏名】山本 一哉
【テーマコード(参考)】
2H105
5C122
【Fターム(参考)】
2H105AA13
2H105AA14
5C122DA11
5C122DA16
5C122EA65
5C122FH11
5C122FH14
5C122GD04
5C122GD06
5C122HB01
5C122HB09
(57)【要約】
本願は、プロセッサ、プロセッサに通信可能に接続されたメモリモジュール、所定の対象を追跡し、パンチルトカメラの座標を感知するためにプロセッサに通信可能に接続された角度センサを含むパンチルトカメラ、及び、メモリモジュールに格納された機械可読命令を備える、追跡システム及び画像取得手段に関する。機械可読命令は、画像取得手段に、所定の対象が画像データの画像周辺内から失われたかを判断し、所定の対象が失われた場合、所定の対象が最後に追跡されたカメラの座標をメモリモジュールに記録させる。
【選択図】
図4A-4D
【特許請求の範囲】
【請求項1】
画像取得手段であって、
プロセッサ、
前記プロセッサに通信可能に接続されたメモリモジュール、
所定の対象を追跡し、パンチルトカメラの座標を感知するために前記プロセッサに通信可能に接続された角度センサを含む前記パンチルトカメラ、及び、
前記メモリモジュールに格納された機械可読命令を備え、前記機械可読命令は、前記プロセッサによって実行されると、前記画像取得手段に
前記カメラから、画像周辺を含む画像データを受信し、
前記画像データに基づいて、所定の移動可能な対象が存在するかを判断し、
前記所定の対象が存在する場合、前記パンチルトカメラで前記所定の対象を追跡し、
前記所定の対象が前記画像データの画像周辺内で失われるかを判断し、
前記所定の対象が失われた場合、前記所定の対象が最後に追跡された前記カメラの座標を、前記メモリモジュールに記録することを少なくとも実行させる、
画像取得手段。
【請求項2】
前記機械可読命令は、前記画像取得手段に、前記所定の対象が前記画像データの画像周辺内に見つかるかを判断し、前記所定の対象が見つかった場合、前記パンチルトカメラの座標を前記メモリモジュールに記録することを更に実行させる、請求項1に記載の画像取得手段。
【請求項3】
前記画像取得手段は、前記カメラの記録された座標を含む第1のリストを集計するように構成される、請求項1又は2の画像取得手段。
【請求項4】
前記画像取得手段は、前記第1のリストに記録された座標を所定の範囲内で平均化して前記平均化された座標の各々に重みを指定することによって第2のリストを集計し、前記平均化された座標の指定された重みに基づいて、前記第2のリストに優先順位を付けるように構成される、請求項3に記載の画像取得手段。
【請求項5】
前記画像取得手段は、所定の対象が検出されない場合に、所定の対象が検出されるまで、座標の前記第2のリストに則って前記パンチルトカメラを順次設定するように構成される、請求項4に記載の画像取得手段。
【請求項6】
前記画像取得手段は、前記第1及び第2のリストを継続的に更新するように構成される、請求項4及び5のいずれか一項に記載の画像取得手段。
【請求項7】
前記画像取得手段は、前記所定の対象が移動している場合に、前記パンチルトカメラを用いて前記所定の対象を追跡するように構成される、請求項1から6のいずれか一項に記載の画像取得手段。
【請求項8】
前記カメラは、RGBカメラである、請求項1から7のいずれか一項に記載の画像取得手段。
【請求項9】
前記カメラは、IRカメラである、請求項1~8のいずれか一項に記載の画像取得手段。
【請求項10】
請求項1から9のいずれか一項に記載の画像取得手段を複数備える、追跡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、対象(object)を探索するためのカメラ対応装置に関する。より具体的には、本開示は、密閉空間の入口と出口を学習することによって1人又は複数の個人を探索するためのカメラ対応装置に関する。
【背景技術】
【0002】
近年、個人を追跡するよう構成された監視システムが利用可能になっている。これらのシステムによって、操作者は対象の個人を選択し、その個人の自律監視を実施するように監視システムに指示することができる。
【0003】
いくつかの実装では、自律監視用カメラシステムは、定義された空間で対象の個人を追跡するよう実装され得る。カメラシステムは、対象の個人が定義された空間を離れるまでその個人を継続的に監視するように、対象の個人を「ハンドオフ」監視するよう構成され得る。例えば、米国特許第6437819(B1)号明細書は、自動化されたビデオ人追跡システムを開示している。
【発明の概要】
【0004】
本発明者らは、改良された自動追跡手段及びシステムの必要性を認識している。よって、画像取得手段が提供される。プロセッサ、プロセッサに通信可能に接続されたメモリモジュール、所定の対象を追跡し、パンチルトカメラ(pan-tilt camera)の座標を感知するためにプロセッサに通信可能に接続された角度センサを含むパンチルトカメラ、及び、メモリモジュールに格納された機械可読命令を備える画像取得手段。機械可読命令は、プロセッサによって実行されると、画像取得手段に少なくとも、カメラから画像の周辺を含む画像データを受信し、画像データに基づいて所定の移動可能な対象が存在するかを判断し、所定の対象が存在する場合、パンチルトカメラで所定の対象を追跡し、所定の対象が画像データの画像周辺内から失われたかを判断し、そして、所定の対象が失われた場合、所定の対象が最後に追跡されたカメラの座標をメモリモジュールに記録することを実行させることができる。
【0005】
本開示の実施形態は、関心対象又は所定の対象の追跡、及び、定義された空間の入口及び出口の学習を可能にし得る。定義された空間の入口及び出口を学習することにより、画像取得手段が関心対象(object of interest)を見失った場合に、画像取得手段が関心対象を迅速に見つける性能が補助される。
【0006】
関心対象には動物又はロボットエンティティが含まれ得るが、これらに限定されない。例えば、画像取得手段は、人を追跡し、カメラが人を見失った各場所を記録することによって、定義された空間の入口及び出口を学習し得る。カメラが人を見失う場所は、例えば、ドア又は玄関かもしれない。
【0007】
機械可読命令は、画像取得手段に、画像データの画像周辺内で所定の対象が見つかるかを判断し、所定の対象が見つかった場合には、パンチルトカメラの座標をメモリモジュールに記録するように更に実行させ得る。
【0008】
画像取得手段は、カメラの記録された座標を含む第1のリストを集計するように構成され得る。
【0009】
画像取得手段は、第1のリストに記録された座標を所定の範囲内で平均化して各々の平均座標に重みを指定することで第2のリストを集計し、平均座標の指定された重みに基づいて第2のリストに優先順位を付けるように構成され得る。
【0010】
画像取得手段は、所定の対象が検出されない場合に所定の対象が検出されるまで、第2の座標リストに則ってパンチルトカメラを順次設定するように構成され得る。
【0011】
画像取得手段は、第1及び第2のリストを継続的に更新するように構成され得る。
【0012】
画像取得手段は、所定の対象が移動している場合、パンチルトカメラを使用して所定の対象を追跡するように構成され得る。
【0013】
カメラは、RGBカメラであってもよい。
【0014】
カメラは、IRカメラであってもよい。
【0015】
上述の画像取得手段に係わる複数の画像取得手段を備える追跡システム。
【0016】
上記の要素と本明細書内の要素とは、矛盾する場合を除いて、組み合わせ得ることが意図される。
【0017】
上述の概説及び以下の詳細な説明は、共に例示及び説明のためのものであり、特許請求の範囲に記載された本開示を限定するものではないことが理解されるべきである。
【0018】
本明細書に援用されて本明細書の一部を構成する添付の図面は、本開示の実施形態を図示し、本詳細の説明と共に本開示の原理を説明するのに役立つ。
【図面の簡単な説明】
【0019】
【
図1】本開示の実施形態に係わる例示的な画像取得手段の外観を示す。
【
図2】例示的な画像取得手段の処理システムの図である。
【
図3】本開示の実施形態に係わる例示的な方法を示すフローチャートである。
【
図4A-4D】例示的な画像取得手段の動作を示す図である。
【
図5】例示的な画像取得手段によって蓄積された生のデータセットの例を示す表である。
【
図6】例示的な画像取得手段によって蓄積された処理済みデータセットの例を示す表である。
【発明を実施するための形態】
【0020】
次に、本開示の好ましい実施形態を詳細に参照する。その例は添付図面に示される。図面を通して、可能な限り、同一の参照番号は同一又は類似の部分を参照するために使用される。
【0021】
図1は、本開示の実施形態に係わる例示的な画像取得手段10の外観を示す。画像取得手段10は、カメラ12を含み得る。カメラ12は、例えば、カラーカメラ又は赤外線カメラなどの任意の適切なカメラでよい。画像取得手段10は、カメラ12をパン、チルト、ズーム(PTZ)するように構成され得る。特に、第1の回転部14はY軸(パン)を中心に回転し、第2の回転部16はY軸に対して直行するX軸(チルト)を中心に回転するように構成され得る。画像取得手段12は、面に取り付けるよう構成された基部18を含み得る。
【0022】
図2には、例示的システムの処理システムが図示される。画像取得手段10は、回転部14、16のパン及びチルトを制御するモータ14a、16a、1つ以上の角度センサ14b、16b、中央処理装置(CPU)などの処理手段20、メモリ30などを含み得る。
【0023】
画像取得手段10は、関心対象の追跡実行を補助するために、定義された空間又は所定の領域から取得されたデータを処理するように構成され得る。このような画像取得手段10は当技術分野で周知であり、このような画像取得手段10が本開示の範囲から逸脱することなく本システムとして実装され得ることが当業者には理解されるであろう。
【0024】
CPU20は、本開示の実施形態を実行するために、データを操作し、計算を行い、コードを実行するよう構成され得る。例えば、所定の対象の静止、移動を判断し、リストを集計し、リストに優先順位を付け、探索プロトコルを実行する。CPU20は、関心対象に関連するデータの保存を可能にするため、画像取得手段10に関連付けられた1つ以上のデータベース及び/又はその他のメモリ(例えば、RAM、ROM等)に接続され得る。そのようなデータベース及び/又はメモリに関して本明細書で議論される情報は限定されることが意図されないことが、当業者には認識されるであろう。
【0025】
CPU20は、1つ又は複数の角度センサ14a、14bからデータを受信するように構成され得る。例えば、CPU20は、第1及び第2のモータ14、16などの状態及び/又は位置に関するデータを受信してもよい。
【0026】
画像取得手段10は、1つ以上のシステムコントローラを含み得る。1つ以上のシステムコントローラは、CPU20から情報及び/又はコマンドを受信し、それらのコマンドを実行して画像取得手段10を制御するように構成され得る。例えば、制御部は、第1及び第2のモータ14及び16を、カメラ12が関心対象を見つけることができるような所定の入口/出口に関連付けられた座標に配置することができる。
【0027】
本開示の実施形態に係わる例示的方法を示す
図3のフローチャートを、画像取得手段10がどのように動作するかを示す
図4A~4Dの図と共に論じる。
【0028】
ステップ1
【0029】
本開示の実施形態によると、画像取得手段10は、関心対象を見つけた後、その対象を追跡するように構成されている。これは
図4Aに示される。
【0030】
ステップ2
【0031】
次に、画像取得手段10は、対象が失われたかを判断する。これは
図4Bに示される。
【0032】
ステップ3
【0033】
対象が失われたと判断された場合、画像取得手段10は、第1及び第2の角度センサから読み取った第1及び第2のモータの座標を記録する。このデータは、画像取得手段10のメモリ内に記録され、継続的に更新される。これらの座標は
図5に示すように、生のデータセットに集計される。
【0034】
次に、生のデータセットは、例えばDBSCANなどの密度に基づくクラスタリング方法を使用して処理される。取得した座標によって形成されるクラスタは、入口/出口とみなされる。各クラスタは、そのクラスタに関連付けられた一式の座標を持つ。一式の座標は、そのクラスタの平均座標である。各クラスタには、例えば、1、2、3、4などの場所も割り当てられる。
【0035】
場所1、2、3、4は、画像取得手段10が特定のクラスタ、つまり、場所に関連付けられた座標で関心対象を失うインスタンスの数に基づいて優先順位が付けられ得る。この処理され、優先順位が付けられた情報は、
図6に示すような処理済みデータセットとして集計される。
【0036】
図4A~4Dに示されるように、場所1、2、3、4はそれぞれ、人物として描かれる関心対象が視野から失われた入口/出口又は場所であると判断される。
図6では、場所1が場所2よりも優先順位が高く、これは入口/出口がより頻繁に使用されることを意味する。
【0037】
ステップ4
【0038】
図4Cに示されるように、対象が視野内で検出されない、又は「失われた」場合、CPUは探索プロトコルを実行する。
【0039】
ステップ5
【0040】
探索プロトコルは、優先順位が割り当てられた処理済みデータセットを使用して、画像取得手段10を優先順位が最高の場所と関連付けられた平均座標に方向付けることにより、優先順位が最高の場所において関心対象を探索することができる。しかしながら、画像取得手段10は、優先順位付けされた場所のリスト及び関連付けられた平均座標に則って、画像取得手段10、例えば、パンチルトカメラ12を順次方向付けることによって、関心対象が見つかるまで関心対象を探索し得ることも想定される。
【0041】
ステップ6
【0042】
関心対象が見つかったと判断されると、画像取得手段10、例えば、パンチルトカメラ12は対象の追跡を再開する。関心対象は割り当てられた特定の対象であってもよく、例えば、顔の特徴が顔認識データベースに記録されている個人であってもよい。このように、画像取得手段10は個人を探索することができる。しかしながら、関心対象は単純に、例えば、人、犬、ロボットなどの任意の分類である可能性も想定される。
【0043】
本開示は画像取得手段10を参照して論じたが、いくつかの画像取得手段10が追跡ネットワーク又はシステムとして一緒に動作するように構成され得ることが考えられる。追跡ネットワークは、無線で相互に接続してもよい。
【0044】
特許請求の範囲を含む本明細書全体を通して、「を備える」という用語は、特に明記しない限り、「少なくとも1つを備える」と同義であると理解されるべきである。さらに、特許請求の範囲を含む本明細書に記載される何らかの範囲は、特に明記しない限り、その両端値を含むものとして理解されるべきである。記載された要素の特定の値は、当業者に周知の、製造又は業界の許容範囲内であると理解されるべきであり、「実質的に」及び/又は「ほぼ」及び/又は「概して」という用語の使用は、そのような許容範囲内であることを意味すると理解される。
【0045】
国内、国際、又はその他の標準化機構の何らかの標準が参照される場合(例えばISOなど)、そのような参照は、本明細書の優先日時点で国内又は国際標準化機構によって定義されている標準を参照することが意図される。そのような標準に対するその後の実質的な変更は、本開示及び/又は特許請求の範囲の範囲及び/又は定義を変更することを意図するものではない。
【0046】
本開示は特定の実施形態を参照して記載されたが、これらの実施形態は本開示の原理及び適用の例示に過ぎないことが理解されるべきである。
【0047】
本明細書及び実施例は単なる例示とみなされるよう意図されており、本開示の真の範囲は下記の特許請求の範囲により示される。
【手続補正書】
【提出日】2021-12-22
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0021
【補正方法】変更
【補正の内容】
【0021】
図1は、本開示の実施形態に係わる例示的な画像取得手段10の外観を示す。画像取得手段10は、カメラ12を含み得る。カメラ12は、例えば、カラーカメラ又は赤外線カメラなどの任意の適切なカメラでよい。画像取得手段10は、カメラ12をパン、チルト、ズーム(PTZ)するように構成され得る。特に、第1の回転部14はY軸(パン)を中心に回転し、第2の回転部16はY軸に対して直行するX軸(チルト)を中心に回転するように構成され得る。画像取得手段
10は、面に取り付けるよう構成された基部18を含み得る。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0026
【補正方法】変更
【補正の内容】
【0026】
画像取得手段10は、1つ以上のシステムコントローラを含み得る。1つ以上のシステムコントローラは、CPU20から情報及び/又はコマンドを受信し、それらのコマンドを実行して画像取得手段10を制御するように構成され得る。例えば、コントローラは、第1及び第2のモータ14及び16を、カメラ12が関心対象を見つけることができるような所定の入口/出口に関連付けられた座標に配置することができる。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0047
【補正方法】変更
【補正の内容】
【0047】
本明細書及び実施例は単なる例示とみなされるよう意図されており、本開示の真の範囲は下記の特許請求の範囲により示される。
本明細書に開示される発明は以下の態様を含む。
〔態様1〕
画像取得手段であって、
プロセッサ、
前記プロセッサに通信可能に接続されたメモリモジュール、
所定の対象を追跡し、パンチルトカメラの座標を感知するために前記プロセッサに通信可能に接続された角度センサを含む前記パンチルトカメラ、及び、
前記メモリモジュールに格納された機械可読命令を備え、前記機械可読命令は、前記プロセッサによって実行されると、前記画像取得手段に
前記カメラから、画像周辺を含む画像データを受信し、
前記画像データに基づいて、所定の移動可能な対象が存在するかを判断し、
前記所定の対象が存在する場合、前記パンチルトカメラで前記所定の対象を追跡し、
前記所定の対象が前記画像データの画像周辺内で失われるかを判断し、
前記所定の対象が失われた場合、前記所定の対象が最後に追跡された前記カメラの座標を、前記メモリモジュールに記録することを少なくとも実行させる、
画像取得手段。
〔態様2〕
前記機械可読命令は、前記画像取得手段に、前記所定の対象が前記画像データの画像周辺内に見つかるかを判断し、前記所定の対象が見つかった場合、前記パンチルトカメラの座標を前記メモリモジュールに記録することを更に実行させる、態様1に記載の画像取得手段。
〔態様3〕
前記画像取得手段は、前記カメラの記録された座標を含む第1のリストを集計するように構成される、態様1又は2の画像取得手段。
〔態様4〕
前記画像取得手段は、前記第1のリストに記録された座標を所定の範囲内で平均化して前記平均化された座標の各々に重みを指定することによって第2のリストを集計し、前記平均化された座標の指定された重みに基づいて、前記第2のリストに優先順位を付けるように構成される、態様3に記載の画像取得手段。
〔態様5〕
前記画像取得手段は、所定の対象が検出されない場合に、所定の対象が検出されるまで、座標の前記第2のリストに則って前記パンチルトカメラを順次設定するように構成される、態様4に記載の画像取得手段。
〔態様6〕
前記画像取得手段は、前記第1及び第2のリストを継続的に更新するように構成される、態様4及び5のいずれか一態様に記載の画像取得手段。
〔態様7〕
前記画像取得手段は、前記所定の対象が移動している場合に、前記パンチルトカメラを用いて前記所定の対象を追跡するように構成される、態様1から6のいずれか一態様に記載の画像取得手段。
〔態様8〕
前記カメラは、RGBカメラである、態様1から7のいずれか一態様に記載の画像取得手段。
〔態様9〕
前記カメラは、IRカメラである、態様1~8のいずれか一態様に記載の画像取得手段。
〔態様10〕
態様1から9のいずれか一態様に記載の画像取得手段を複数備える、追跡システム。
【手続補正4】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像取得手段であって、
プロセッサ
(20)、
前記プロセッサに通信可能に接続されたメモリモジュール
(30)、
所定の対象を追跡し、パンチルトカメラの座標を感知するために前記プロセッサに通信可能に接続された角度センサを含む前記パンチルトカメラ
(12)、及び、
前記メモリモジュールに格納された機械可読命令を備え、前記機械可読命令は、前記プロセッサによって実行されると、前記画像取得手段に
前記
パンチルトカメラから、画像周辺を含む画像データを受信し、
前記画像データに基づいて、所定の移動可能な対象が存在するかを判断し、
前記所定の対象が存在する場合、前記パンチルトカメラで前記所定の対象を追跡し、
前記所定の対象が前記画像データの画像周辺内で失われるかを判断し、
前記所定の対象が失われた場合、前記所定の対象が最後に追跡された前記
パンチルトカメラの座標を、前記メモリモジュールに記録することを少なくとも実行させる、
画像取得手段。
【請求項2】
前記機械可読命令は、前記画像取得手段に、前記所定の対象が前記画像データの画像周辺内に見つかるかを判断し、前記所定の対象が見つかった場合、前記パンチルトカメラの座標を前記メモリモジュールに記録することを更に実行させる、請求項1に記載の画像取得手段。
【請求項3】
前記画像取得手段は、前記
パンチルトカメラの記録された座標を含む第1のリストを集計するように構成される、請求項1又は2の画像取得手段。
【請求項4】
前記画像取得手段は、前記第1のリストに記録された座標を所定の範囲内で平均化して前記平均化された座標の各々に重みを指定することによって第2のリストを集計し、前記平均化された座標の指定された重みに基づいて、前記第2のリストに優先順位を付けるように構成される、請求項3に記載の画像取得手段。
【請求項5】
前記画像取得手段は、所定の対象が検出されない場合に、所定の対象が検出されるまで、座標の前記第2のリストに則って前記パンチルトカメラ
(12)を順次設定するように構成される、請求項4に記載の画像取得手段。
【請求項6】
前記画像取得手段は、前記第1及び第2のリストを継続的に更新するように構成される、請求項4及び5のいずれか一項に記載の画像取得手段。
【請求項7】
前記画像取得手段は、前記所定の対象が移動している場合に、前記パンチルトカメラを用いて前記所定の対象を追跡するように構成される、請求項1から6のいずれか一項に記載の画像取得手段。
【請求項8】
前記
パンチルトカメラ
(12)は、RGBカメラである、請求項1から7のいずれか一項に記載の画像取得手段。
【請求項9】
前記
パンチルトカメラ
(12)は、IRカメラである、請求項1~8のいずれか一項に記載の画像取得手段。
【請求項10】
請求項1から9のいずれか一項に記載の画像取得手段を複数備える、追跡システム。
【国際調査報告】