特開 2022-117004 接触判定装置、接触判定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022117004

(43)【公開日】2022-08-10

(54)【発明の名称】接触判定装置、接触判定方法及びプログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20220803BHJP

   G01J 5/48 20220101ALI20220803BHJP

【ＦＩ】

G06T7/60 180A

G01J5/48 A

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021013459

(22)【出願日】2021-01-29

(71)【出願人】

【識別番号】000000170

【氏名又は名称】いすゞ自動車株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100124084

【弁理士】

【氏名又は名称】黒岩 久人

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】松下 真矢

(72)【発明者】

【氏名】下沢 智啓

(72)【発明者】

【氏名】下中 淳史

【テーマコード（参考）】

2G066

5L096

【Ｆターム（参考）】

2G066AC13

2G066BA13

2G066BA14

2G066BC15

5L096AA02

5L096AA03

5L096AA06

5L096BA02

5L096BA08

5L096CA04

5L096CA18

5L096DA02

5L096FA06

5L096FA66

5L096FA69

5L096GA08

5L096GA51

5L096HA02

(57)【要約】

【課題】人及び物体を限定せずに人と物体とが接触したか否かを判定できるようにする。
【解決手段】接触判定装置１０は、物体の少なくとも一部を覆っている被写体の画像データを含む撮像画像データを取得する画像データ取得部１２１と、撮像画像データに基づいて、被写体が物体の少なくとも一部を覆っている領域を含む第１領域と、物体における第１領域と異なる第２領域と、を特定する領域特定部１２２と、第１領域の温度を示す第１温度データと第２領域の温度を示す第２温度データとを取得する温度情報取得部１２３と、第１温度データが示す第１領域の温度と第２温度データが示す第２領域の温度との差が閾値以上である場合、被写体が物体と接触したと判定する判定部１２５と、を有する。
【選択図】図３

【特許請求の範囲】

【請求項1】

物体の少なくとも一部を覆っている被写体の画像データを含む撮像画像データを取得する画像データ取得部と、
前記撮像画像データに基づいて、前記被写体が前記物体の少なくとも一部を覆っている領域を含む第１領域と、前記物体における前記第１領域と異なる第２領域と、を特定する領域特定部と、
前記第１領域の温度を示す第１温度データと前記第２領域の温度を示す第２温度データとを取得する温度情報取得部と、
前記第１温度データが示す前記第１領域の温度と前記第２温度データが示す前記第２領域の温度との差が閾値以上である場合、前記被写体が前記物体と接触したと判定する判定部と、
を有する接触判定装置。

【請求項2】

前記撮像画像データに基づいて前記被写体が前記第１領域以外の領域に移動したことを検出する移動検出部をさらに有し、
前記判定部は、前記被写体が移動したことを前記移動検出部が検出した後に、前記被写体が前記物体と接触したか否かを判定する、
請求項１に記載の接触判定装置。

【請求項3】

前記領域特定部は、前記物体における前記第１領域と異なる領域である前記第２領域を特定する、
請求項１又は２に記載の接触判定装置。

【請求項4】

前記温度情報取得部は、前記第１領域に含まれる複数の位置それぞれの温度に基づいて算出した統計値である前記第１領域の温度を示す前記第１温度データと、前記第２領域に含まれる複数の位置それぞれの温度に基づいて算出した統計値である前記第２領域の温度を示す前記第２温度データと、を取得する、
請求項１から３のいずれか一項に記載の接触判定装置。

【請求項5】

前記被写体と前記物体との距離を特定する距離特定部をさらに有し、
前記判定部は、前記距離が閾値以下であることを条件として、前記被写体が前記物体と接触したか否かを判定する、
請求項１から４のいずれか一項に記載の接触判定装置。

【請求項6】

コンピュータが実行する、
物体の少なくとも一部を覆っている被写体の画像データを含む撮像画像データを取得するステップと、
前記撮像画像データに基づいて、前記被写体が前記物体の少なくとも一部を覆っている領域を含む第１領域と、前記物体における前記第１領域と異なる第２領域と、を特定するステップと、
前記第１領域の温度を示す第１温度データと前記第２領域の温度とを示す第２温度データを取得するステップと、
前記第１温度データが示す前記第１領域の温度と前記第２温度データが示す前記第２領域の温度との差が閾値以上である場合、前記被写体が前記物体と接触したと判定するステップと、
を有する接触判定方法。

【請求項7】

コンピュータに、
物体の少なくとも一部を覆っている被写体の画像データを含む撮像画像データを取得するステップと、
前記撮像画像データに基づいて、前記被写体が前記物体の少なくとも一部を覆っている領域を含む第１領域と、前記物体における前記第１領域と異なる第２領域と、を特定するステップと、
前記第１領域の温度を示す第１温度データと前記第２領域の温度とを示す第２温度データを取得するステップと、
前記第１温度データが示す前記第１領域の温度と前記第２温度データが示す前記第２領域の温度との差が閾値以上である場合、前記被写体が前記物体と接触したと判定するステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、接触判定装置、接触判定方法及びプログラムに関する。

【背景技術】

【0002】

従来、人が物体と接触したか否かを判定する技術が知られている。特許文献１には、人に印加した電圧の電位の変化に基づいて人と物体との接触を判定する情報処理システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開２０１９／１５０４２９号

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術を用いた場合、人と物体とが接触したか否かを判定するためには、電圧を印加するための装置を人に装着するか、接触を判定するための装置を物体に付けるかのいずれかを必要とする。その結果、電圧を印加するための装置を装着していない人が物体と接触したり、接触を判定するための装置を付けていない物体に人が接触したりしたとしても人と物体とが接触したと判定できないという問題が生じていた。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、人及び物体を限定せずに人と物体とが接触したか否かを判定できるようにすることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様に係る接触判定装置は、物体の少なくとも一部を覆っている被写体の画像データを含む撮像画像データを取得する画像データ取得部と、前記撮像画像データに基づいて、前記被写体が前記物体の少なくとも一部を覆っている領域を含む第１領域と、前記物体における前記第１領域と異なる第２領域と、を特定する領域特定部と、前記第１領域の温度を示す第１温度データと前記第２領域の温度を示す第２温度データとを取得する温度情報取得部と、前記第１温度データが示す前記第１領域の温度と前記第２温度データが示す前記第２領域の温度との差が閾値以上である場合、前記被写体が前記物体と接触したと判定する判定部と、を有する。

【0007】

前記撮像画像データに基づいて前記被写体が前記第１領域以外の領域に移動したことを検出する移動検出部をさらに有し、前記判定部は、前記被写体が移動したことを前記移動検出部が検出した後に、前記被写体が前記物体と接触したか否かを判定してもよい。

【0008】

前記領域特定部は、前記物体における前記第１領域と異なる領域である前記第２領域を特定してもよい。

【0009】

前記温度情報取得部は、前記第１領域に含まれる複数の位置それぞれの温度に基づいて算出した統計値である前記第１領域の温度を示す前記第１温度データと、前記第２領域に含まれる複数の位置それぞれの温度に基づいて算出した統計値である前記第２領域の温度を示す前記第２温度データと、を取得してもよい。

【0010】

前記被写体と前記物体との距離を特定する距離特定部をさらに有し、前記判定部は、前記距離が閾値以下であることを条件として、前記被写体が前記物体と接触したか否かを判定してもよい。

【0011】

本発明の第２の態様に係る接触判定方法は、コンピュータが実行する、物体の少なくとも一部を覆っている被写体の画像データを含む撮像画像データを取得するステップと、前記撮像画像データに基づいて、前記被写体が前記物体の少なくとも一部を覆っている領域を含む第１領域と、前記物体における前記第１領域と異なる第２領域と、を特定するステップと、前記第１領域の温度を示す第１温度データと前記第２領域の温度とを示す第２温度データを取得するステップと、前記第１温度データが示す前記第１領域の温度と前記第２温度データが示す前記第２領域の温度との差が閾値以上である場合、前記被写体が前記物体と接触したと判定するステップと、を有する。

【0012】

本発明の第３の態様に係るプログラムは、コンピュータに、物体の少なくとも一部を覆っている被写体の画像データを含む撮像画像データを取得するステップと、前記撮像画像データに基づいて、前記被写体が前記物体の少なくとも一部を覆っている領域を含む第１領域と、前記物体における前記第１領域と異なる第２領域と、を特定するステップと、前記第１領域の温度を示す第１温度データと前記第２領域の温度とを示す第２温度データを取得するステップと、前記第１温度データが示す前記第１領域の温度と前記第２温度データが示す前記第２領域の温度との差が閾値以上である場合、前記被写体が前記物体と接触したと判定するステップと、を実行させる。

【発明の効果】

【0013】

本発明によれば、人及び物体を限定せずに人と物体とが接触したか否かを判定できるようにするという効果を奏する。

【図面の簡単な説明】

【0014】

【図1】接触判定システムＳの構成を示す図である。

【図2】接触判定装置１０が人と物体との接触を判定する動作を説明するための図である。

【図3】接触判定装置１０の構成を示す図である。

【図4】接触判定装置１０の動作の一例を示すフローチャートである。

【図5】変形例に係る接触判定装置１０の構成を示す図である。

【発明を実施するための形態】

【0015】

［接触判定システムＳの概要］
図１は、接触判定システムＳの構成を示す図である。接触判定システムＳは、撮像装置１と、温度測定装置２と、出力装置３と、接触判定装置１０と、を備える。接触判定装置１０は、例えばＨＤＭＩ（High Definition Multimedia Interface）（登録商標）ケーブル又はＵＳＢ（Universal Serial Bus）ケーブルを介して撮像装置１、温度測定装置２及び出力装置３それぞれと接続されている。接触判定装置１０は、例えば有線ＬＡＮ（Local Area Network）又は無線ＬＡＮ等のネットワークを介して撮像装置１、温度測定装置２及び出力装置３と接続されていてもよい。

【0016】

接触判定システムＳは、人が物体と接触したか否かを判定するためのシステムである。物体は、例えば部屋に設置された椅子若しくは手すり、車両により運送する荷物、又は工場で使用する道具等の複数の人が接触する可能性がある物体である。人は、例えば手、腕、又は足等の特定の部位であってもよい。以下の説明においては、人の手が物体と接触したか否かを判定する場合を例示する。

【0017】

撮像装置１は、例えばＲＧＢカメラである。撮像装置１は、人と物体とを含む領域を撮像して生成した撮像画像データを接触判定装置１０に送信する。温度測定装置２は、例えばサーマルカメラである。温度測定装置２は、撮像装置１が撮像した領域の温度を測定することにより生成した温度データを接触判定装置１０に送信する。温度データは、例えば測定した領域に含まれる複数の位置それぞれの温度を示すデータである。出力装置３は、例えばディスプレイである。出力装置３は、接触判定装置１０が出力した人と物体とが接触したか否かの判定結果を表示する。

【0018】

接触判定装置１０は、例えばコンピュータである。接触判定装置１０は、単一のコンピュータでもよいし、例えばクラウド型サーバのように複数のコンピュータで構成されていてもよい。接触判定装置１０は、例えばＥＣＵ（Engine Control Unit）であってもよい。接触判定装置１０は、撮像装置１が出力した撮像画像データと温度測定装置２が出力した温度データとに基づいて、人と物体とが接触したか否かを判定し、判定結果を出力装置３に出力する。

【0019】

図２は、接触判定装置１０が人と物体との接触を判定する動作を説明するための図である。図２において、領域Ｔ１は、手Ａが物体の少なくとも一部を覆っている領域を含む領域である。領域Ｔ１の形状は任意であるが、例えば、手Ａが覆っている領域を含む最小の四辺形、又は最小の四辺形に対して所定の割合だけ大きい四辺形により形成される領域である。領域Ｔ２は、物体における領域Ｔ１と異なる領域であり、例えば領域Ｔ１と接しており、かつ領域Ｔ１の外側にある領域である。図２（ａ）は、手Ａが物体の少なくとも一部を覆っている状態を示す図である。図２（ｂ）は、手Ａが領域Ｔ１から移動した状態を示す図である。以下、図２を参照しながら、接触判定装置１０の動作の概要を説明する。

【0020】

図２（ａ）に示すように、接触判定装置１０は、物体が手Ａに覆われていることに基づいて領域Ｔ１及び領域Ｔ２を特定する。続いて、図２（ｂ）に示すように、接触判定装置１０は、手Ａが領域Ｔ１の外側に移動したことを検出した場合、領域Ｔ１の温度データと領域Ｔ２の温度データとの差を算出する。接触判定装置１０は、算出した温度の差が閾値以上である場合、手Ａと物体とが接触していたと判定する。閾値は、例えば物体の温度と手Ａの温度との差であり、手Ａと接触することにより物体の温度が上昇したと判定できる温度である。

【0021】

接触判定装置１０がこのように動作することで、接触判定装置１０は、例えば人又は物体が温度センサ等の接触を判定する装置を取り付けていない場合であっても、人が物体と接触したか否かを判定することができる。その結果、接触判定装置１０は、人又は物体を限定せずに人が物体と接触したか否かを判定することができる。

【0022】

［接触判定装置１０の構成］
図３は、接触判定装置１０の構成を示す図である。接触判定装置１０は、記憶部１１と、制御部１２と、を有する。制御部１２は、画像データ取得部１２１と、領域特定部１２２と、温度情報取得部１２３と、移動検出部１２４と、判定部１２５と、を有する。記憶部１１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＳＳＤ（Solid State Drive）等の記憶媒体を有する。記憶部１１は、制御部１２が実行するプログラムを記憶している。

【0023】

制御部１２は、例えばＣＰＵ（Central Processing Unit）である。制御部１２は、記憶部１１に記憶されているプログラムを実行することにより、画像データ取得部１２１、領域特定部１２２、温度情報取得部１２３、移動検出部１２４及び判定部１２５として動作する。

【0024】

画像データ取得部１２１は、撮像装置１が出力した撮像画像データを取得する。画像データ取得部１２１は、物体の少なくとも一部を覆っている被写体の画像データを含む撮像画像データを取得する。被写体は、例えば図２に示す手Ａである。

【0025】

領域特定部１２２は、撮像画像データに基づいて、被写体が物体の少なくとも一部を覆っている領域を含む第１領域と、物体における第１領域と異なる第２領域と、を特定する。領域特定部１２２は、例えば物体における第１領域と異なる領域である第２領域を特定する。第１領域は、例えば図２に示す領域Ｔ１であり、第２領域は領域Ｔ２である。領域特定部１２２は、例えば撮像画像データに基づいて物体の領域と手Ａの領域とを特定し、物体の領域のうち手Ａが覆っている領域を含む領域を第１領域として特定し、手Ａが覆っていない領域を第２領域として特定する。

【0026】

温度情報取得部１２３は、温度測定装置２が出力した温度データに基づいて第１領域の温度を示す第１温度データと第２領域の温度を示す第２温度データとを取得する。温度情報取得部１２３は、例えば温度データが示す複数の位置の温度のうち、領域Ｔ１に含まれる一以上の位置の温度を示す第１温度データと、領域Ｔ２に含まれる一以上の位置の温度を示す第２温度データとを取得する。

【0027】

温度情報取得部１２３は、第１領域に含まれる複数の位置それぞれの温度に基づいて算出した統計値である第１領域の温度を示す第１温度データと、第２領域に含まれる複数の位置それぞれの温度に基づいて算出した統計値である第２領域の温度を示す第２温度データと、を取得してもよい。統計値は、例えば複数の位置の温度の平均値又は中央値である。温度情報取得部１２３は、例えば領域Ｔ１及び領域Ｔ２それぞれに含まれる複数の位置の温度に基づいて算出した領域Ｔ１及び領域Ｔ２それぞれの温度の平均値又は中央値を第１温度データ及び第２温度データとして取得してもよい。

【0028】

移動検出部１２４は、撮像画像データに基づいて被写体が第１領域以外の領域に移動したことを検出する。移動検出部１２４は、例えば直前の時刻の撮像画像データに基づいて手Ａが領域Ｔ１の内側にあることを特定し、かつ現在の時刻の撮像画像データに基づいて手Ａが領域Ｔ１の外側にあることを特定することにより、手Ａが領域Ｔ１以外の領域に移動したことを検出する。

【0029】

判定部１２５は、第１温度データが示す第１領域の温度と第２温度データが示す第２領域の温度との差が閾値以上である場合、被写体が物体と接触したと判定する。閾値は、例えば被写体の温度と物体の温度との差であり、被写体と接触することにより物体の温度が上昇したと判定できる温度である。判定部１２５は、例えば物体のうち手Ａが覆っている領域Ｔ１の温度と、物体のうち手Ａが覆っていない領域Ｔ２の温度との差が閾値以上である場合、手Ａが物体と接触したと判定する。

【0030】

判定部１２５は、例えば被写体が移動したことを移動検出部１２４が検出した後に、被写体が物体と接触したか否かを判定する。判定部１２５は、例えば手Ａが領域Ｔ１から領域Ｔ１の外側に移動した後の領域Ｔ１の温度と領域Ｔ２の温度との差が閾値以上の場合、手Ａと物体とが接触したと判定する。

【0031】

具体的には、判定部１２５は、物体と手Ａとが接触していた場合、手Ａと接触することにより温度が上昇した領域Ｔ１の温度と手Ａが接触していないことにより温度が上昇していない領域Ｔ２の温度との差に基づいて手Ａと物体とが接触したと判定する。このように判定部１２５が動作することで、判定部１２５は、物体又は人に温度センサ等の接触を判定するための測定装置を取り付けなくても物体と人とが接触したか否かを判定できる。

【0032】

［接触判定装置１０のフローチャート］
図４は、接触判定装置１０の動作の一例を示すフローチャートである。図４に示すフローチャートは、接触判定装置１０が撮像画像データ及び温度データの取得を開始してから人と物体とが接触したか否かを判定するまでの動作を示している。

【0033】

画像データ取得部１２１は、撮像装置１が出力した撮像画像データの取得を開始する（Ｓ１１）。温度情報取得部１２３は、温度測定装置２が出力した温度データの取得を開始する（Ｓ１２）。領域特定部１２２は、取得した撮像画像データに含まれる物体の画像データと被写体の画像データとに基づいて第１領域と第２領域とを特定する（Ｓ１３）。

【0034】

移動検出部１２４は、被写体が第１領域の外側に移動したことを検出する（Ｓ１４）。被写体が第１領域の外側に移動したことを移動検出部１２４が検出していない場合（Ｓ１４のＮＯ）、移動検出部１２４は、被写体が第１領域の外側に移動したことを検出する動作を継続する。一方、被写体が第１領域の外側に移動したことを移動検出部１２４が検出した場合（Ｓ１４のＹＥＳ）、温度情報取得部１２３は、第１温度データと第２温度データとを取得する（Ｓ１５）。

【0035】

判定部１２５は、第１温度データが示す第１領域の温度と第２温度データが示す第２領域の温度との差を算出する（Ｓ１６）。判定部１２５は、算出した温度の差が閾値以上である場合（Ｓ１７のＹＥＳ）、物体と被写体とが接触したと判定する（Ｓ１８）。一方、算出した温度の差が閾値未満である場合（Ｓ１７のＮＯ）、判定部１２５は、物体と被写体とが接触していないと判定する（Ｓ１９）。

【0036】

接触判定装置１０は、処理を終了する操作が行われていない場合（Ｓ２０のＮＯ）、Ｓ１４からＳ２０までの処理を繰り返す。処理を終了する操作が行われた場合（Ｓ２０のＹＥＳ）、接触判定装置１０は、処理を終了する。

【0037】

［変形例］
以上の説明においては、移動検出部１２４が、被写体が第１領域の外側に移動したことを検出した後に、判定部１２５が被写体と物体とが接触したか否かを判定する動作を例示したが、判定部１２５は、被写体と物体との距離にさらに基づいて被写体と物体との接触を判定してもよい。

【0038】

図５は、変形例に係る接触判定装置１０の構成を示す図である。図５に示す接触判定装置１０は、距離特定部１２６を有する点で図３に示す接触判定装置１０と異なり、他の点において同じである。図５においては、被写体と物体との距離を測定して生成した距離データを出力する距離測定装置４も示されている。距離測定装置４は、例えば測距センサを有する装置である。

【0039】

距離特定部１２６は、距離測定装置４が出力した距離データに基づいて被写体と物体との距離を特定する。判定部１２５は、例えば距離特定部１２６が特定した距離が閾値以下であることを条件として、被写体が物体と接触したか否かを判定する。閾値は、被写体が物体に接触する可能性がある距離であり、例えば人が手を動かすことにより物体に接触する可能性がある距離である。

【0040】

判定部１２５は、距離特定部１２６が特定した距離が閾値を超えている場合、手Ａと物体とが接触していないと判定する。一方、距離特定部１２６が特定した距離が閾値以下である場合、判定部１２５は、領域Ｔ１の温度と領域Ｔ２の温度との差に基づいて手Ａと物体とが接触したか否かを判定する。

【0041】

このように判定部１２５が動作することで、判定部１２５は、撮像装置１から物体を撮像すると手Ａが物体を覆っているように見えるが、手Ａと物体とが接触できない距離である場合、距離特定部１２６が特定した距離に基づいて手Ａと物体とが接触していないと判定できる。その結果、判定部１２５は、温度データに基づいて手Ａと物体とが接触したか否かを判定する動作を省略できるため、判定する時間を短縮できる。さらに、判定部１２５は、手Ａと物体とが接触可能な距離である場合に限り領域Ｔ１及び領域Ｔ２それぞれの温度の差に基づいて手Ａと物体との接触を判定することで、手Ａと物体との距離が大きい場合の手Ａと物体との接触を判定する時間の短縮と、手Ａと物体の距離が小さい場合の判定精度の確保を両立できる。

【0042】

［接触判定装置１０の効果］
以上説明したように、接触判定装置１０は、撮像画像データに基づいて第１領域と、物体における第１領域と異なる第２領域と、を特定する領域特定部１２２と、第１領域の温度を示す第１温度データと第２領域の温度を示す第２温度データとを取得する温度情報取得部１２３と、を有する。そして、判定部１２５が、第１温度データが示す第１領域の温度と第２温度データが示す第２領域の温度との差が閾値以上である場合、被写体が物体と接触したと判定する。

【0043】

その結果、接触判定装置１０は、人又は被写体に温度センサ等の測定装置が取り付けられていない場合であっても人と被写体とが接触したか否かを判定することができるため、人及び物体を限定せずに人と物体とが接触したか否かを判定できるようにすることができる。接触判定装置１０のこの特徴は、例えば物体に接触した人の数に応じて物体の除菌回数又は除菌頻度を決定したり、物体を移動させる場合に人が適切な位置を持って移動させたかを判定したりする用途に好適である。

【0044】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0045】

１ 撮像装置
２ 温度測定装置
３ 出力装置
４ 距離測定装置
１０ 接触判定装置
１１ 記憶部
１２ 制御部
１２１ 画像データ取得部
１２２ 領域特定部
１２３ 温度情報取得部
１２４ 移動検出部
１２５ 判定部
１２６ 距離特定部

【図1】

【図2】

【図3】

【図4】

【図5】