(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0010】
本発明の実施形態に係る撮影システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【0011】
<システム概要>
図1は、本実施の形態に係る撮影システムの概要を説明するための模式図である。本実施の形態に係る撮影システムは、例えばレストラン又は喫茶店等の飲食店の店舗(施設)100に設置されるシステムである。
図1に示す例は、店舗100の壁101の付近に設けられた座席に2人の客102が対面して座っている様子を示している。本実施の形態に係る撮影システムは、撮影装置1及びディスプレイ装置2を備えている。撮影装置1は、店舗100の適宜の位置、例えば店舗100の座席に座る客102を撮影することができる位置に設置される。ディスプレイ装置2は、店舗100の適宜の位置、例えば店舗100のバックヤード等の客102から視認できない位置に設置される。
【0012】
撮影装置1及びディスプレイ装置2は、有線又は無線の通信を行って互いにデータを送受信することができる。撮影装置1は撮影により得られた画像(動画像)のデータをディスプレイ装置2へ送信し、ディスプレイ装置2は撮影装置1が撮影した画像を表示する。本実施の形態において撮影装置1は、撮影の機能に関して、シュリーレン法を利用して客102の呼気及び店舗100内の空気等の流れを可視化した画像を撮影する機能と、撮影対象の種々の角度の偏光状態を撮影する機能とを備えている。撮影装置1は、呼気及び空気等の流れを可視化した画像、並びに、偏光状態を撮影した画像をディスプレイ装置2へ送信し、ディスプレイ装置2にこれらの画像を表示させることができる。
【0013】
また本実施の形態に係る撮影装置1は、いわゆるエッジカメラ、AI(Artificial Intelligence)エッジカメラ又はエッジAIカメラ等の名称で呼ばれ得る装置であり、装置内に高度な演算処理を行うプロセッサ等が搭載されている。これにより撮影装置1は、呼気及び空気等の流れを可視化した画像、並びに、偏光状態を撮影した画像に基づいて、種々の画像処理又は判定処理等を行うことができ、処理結果を画像と共にディスプレイ装置2に表示させることができる。本実施の形態において撮影装置1は、撮影により得られた画像に基づいて、店舗100において十分な感染症対策が実施されているか否かの判定等を行い、感染症対策に関する警告又は注意喚起等の情報をディスプレイ装置2に表示させることができる。
【0014】
なお、
図1においては撮影装置1及びディスプレイ装置2がそれぞれ1つ図示されているが、店舗100には複数の撮影装置1及びディスプレイ装置2が設置されてよい。例えば複数の撮影装置1が撮影した複数の画像を1つのディスプレイ装置2に表示させてもよい。この場合にディスプレイ装置2は、複数の画像を切り替えて表示してもよく、表示画面を複数の領域に分割して各領域に画像を表示してもよい。また例えば1つの撮影装置1が撮影した画像を複数のディスプレイ装置2に表示させてもよい。この場合に複数のディスプレイ装置2は同じ画像を表示するのではなく、例えば第1のディスプレイ装置2が呼気及び空気の流れを可視化した画像を表示し、第2のディスプレイ装置2が偏光状態を撮影した画像を表示するなど、異なる画像を表示してよい。また例えば複数の撮影装置1が撮影した画像を複数のディスプレイ装置2に表示させてもよい。この場合に、撮影装置1の数とディスプレイ装置2の数とは等しくなくてよい。
【0015】
またディスプレイ装置2は、店舗100のバックヤード等の客102から視認できない位置に設置するものとしたが、これに限るものではない。例えば撮影装置1が撮影した画像を客102が視認することができるように、各座席にディスプレイ装置2を設置してもよい。これにより、店舗100における感染症対策の有無等を客102が把握することができる。
【0016】
図2は、本実施の形態に係る撮影装置1の構成を示す模式図である。本実施の形態に係る撮影装置1は、プロジェクタ10と、第1撮影部11と、第2撮影部12と、これらの動作を制御する情報処理装置20とを備えて構成されている。プロジェクタ10は、画像をスクリーン等に投影する装置であり、本実施の形態においては撮影装置1が設置された店舗100内の壁101等に対して、情報処理装置20が生成した画像の投影を行う。また本実施の形態に係るプロジェクタ10は、人間が見ることのできない不可視光線として赤外線による画像の投影を行う。このため店舗100を利用している客102は、壁101に対してプロジェクタ10が投影する画像は視認されない。
【0017】
第1撮影部11は、シュリーレン法による呼気及び空気等の流れを可視化した画像を撮影する撮影部である。第1撮影部11は、レンズ11a、カットオフグリッド11b及び赤外線用レンズ11c等を備えて構成されている。レンズ11a、カットオフグリッド11b及び赤外線用レンズ11cは、例えば円筒状のケースに並べて収容されている。レンズ11aは、光を屈折させて収束させる光学素子であり、第1撮影部11の撮影対象の像を結像する。カットオフグリッド11bは、レンズ11aから赤外線用レンズ11cへ至る光の一部をカット(遮断)する。本実施の形態においてカットオフグリッド11bは、例えば液晶パネルを用いて構成されており、光をカットするパターンを変更することができる。情報処理装置20は、カットオフグリッド11bによるカットパターンを制御する。赤外線用レンズ11cは、赤外線(例えば波長が0.7マイクロメートル〜1000マイクロメートルの光)を透過させ、赤外線以外の光を透過させない。赤外線用レンズ11cは、カットオフグリッド11bを通過した赤外線を撮像素子(図示は省略する)上へ収束する。第1撮影部11は、例えばCCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備えており、赤外線用レンズ11cが収束した赤外線による像を撮影し、撮影により得られる画像のデータを情報処理装置20へ出力する。
【0018】
第2撮影部12は、偏光状態を撮影する撮影部である。第2撮影部12は、偏光板12a及び可視光線用レンズ12bを備えて構成されている。偏光板12a及び可視光線用レンズ12bは、例えば円筒状のケースに並べて収容されている。偏光板12aは、特定方向の光を通過させ、これ以外の光を遮断する光学素子である。本実施の形態に係る偏光板12aは、例えばモータを用いた回転機構を有しており、情報処理装置20の制御に応じて回転させることができる。これにより第2撮影部12は、偏光板12aを任意の角度だけ回転させて、任意の方向で遮光した画像を撮影することができる。可視光線用レンズ12bは、可視光線(例えば波長が360ナノメートル〜830ナノメートルの光)を透過させ、これ以外の光を透過させない。可視光線用レンズ12bは、偏光板12aを通過した可視光線を撮像素子(図示は省略する)上へ収束する。第2撮影部12は、例えばCCD又はCMOS等の撮像素子を備えており、可視光線用レンズ12bが収束した像を撮影し、撮影により得られる画像のデータを情報処理装置20へ出力する。なお、第1撮影部11及び第2撮影部12は、個別に撮像素子を備えてもよく、1つの撮像素子を共有してもよい。
【0019】
情報処理装置20は、撮影装置1の各部の動作を制御すると共に、第1撮影部11及び第2撮影部12の撮影により得られた画像を利用する種々の処理を行う。
図3は、本実施の形態に係る撮影装置1の情報処理装置20の構成を示すブロック図である。本実施の形態に係る情報処理装置20は、処理部21、入出力部22、記憶部23及び通信部24等を備えて構成されている。
【0020】
処理部21は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)又はGPU(Graphics Processing Unit)等の演算処理装置、ROM(Read Only Memory)、及び、RAM(Random Access Memory)等を用いて構成されている。処理部21は、記憶部23に記憶されたプログラム23aを読み出して実行することにより、プロジェクタ10、第1撮影部11及び第2撮影部12等を制御する処理、並びに、撮影により得られた画像に基づく感染症対策の判定処理等の種々の処理を行う。
【0021】
入出力部22は、プロジェクタ10、第1撮影部11及び第2撮影部12との間でデータの入出力を行う。入出力部22は、例えば信号線を介してプロジェクタ10、第1撮影部11及び第2撮影部12と接続されており、信号線を介したシリアル通信又はパラレル通信等によりデータの入出力を行う。入出力部22は、処理部21から与えられたデータをプロジェクタ10、第1撮影部11又は第2撮影部12へ適宜に送信すると共に、プロジェクタ10、第1撮影部11又は第2撮影部12から入力されたデータを処理部21へ与える。
【0022】
記憶部23は、例えばフラッシュメモリ又はEEPROM(Electrically Erasable Programmable Read Only Memory)等の不揮発性のメモリ素子を用いて構成されている。記憶部23は、処理部21が実行する各種のプログラム、及び、処理部21の処理に必要な各種のデータを記憶する。本実施の形態において記憶部23は、処理部21が実行するプログラム23aを記憶する。また記憶部23は、プロジェクタ10が投影する画像のデータ、第1撮影部11及び第2撮影部12が撮影した画像のデータ等を記憶してもよい。
【0023】
通信部24は、車内LAN(Local Area Network)又は無線LAN(Local Area Network)等のネットワークを介して、種々の装置との間で通信を行う。本実施の形態において通信部24は、ディスプレイ装置2との間で通信を行い、第1撮影部11及び第2撮影部12が撮影した画像等のデータをディスプレイ装置2へ送信し、ディスプレイ装置2に画像を表示させる。通信部24及びディスプレイ装置2の間の通信は、有線又は無線のいずれであってもよい。通信部24は、処理部21から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部21へ与える。
【0024】
本実施の形態においてプログラム23aは、例えば撮影装置1の製造段階において記憶部23に書き込まれる。また例えばプログラム23aは、遠隔のサーバ装置等が配信するものを撮影装置1が通信にて取得してもよい。また例えばプログラム23aは、メモリカード又は光ディスク等の記録媒体に記録された態様で提供され、撮影装置1は記録媒体からプログラム23aを読み出して記憶部23に記憶してもよい。また例えばプログラム23aは、記録媒体に記録されたものを書込装置が読み出して撮影装置1の記憶部23に書き込んでもよい。プログラム23aは、ネットワークを介した配信の態様で提供されてもよく、記録媒体に記録された態様で提供されてもよい。
【0025】
また本実施の形態に係る撮影装置1の処理部21には、記憶部23に記憶されたプログラム23aを処理部21が読み出して実行することにより、投影用画像生成部21a、撮影処理部21b及び感染症対策判定部21c等がソフトウェア的な機能部として実現される。
【0026】
投影用画像生成部21aは、プロジェクタ10が投影する画像のデータを生成する処理を行う。プロジェクタ10が投影する画像は、シュリーレン法による呼気等を可視化した画像を第1撮影部11にて撮影するために用いられる。本実施の形態においてプロジェクタ10が投影する画像のパターンは、例えば白黒又はモノクローム等による縞模様(グリッド模様)の画像が採用されるが、これに限るものではなく、種々のパターン(模様)が採用され得る。また本実施の形態において投影用画像生成部21aは、プロジェクタ10が画像を投影する投影先(
図2に示す例では壁101)の形状及び模様等に応じて、プロジェクタ10が投影する縞模様を調整した画像を生成する。投影用画像生成部21aは、投影先の形状及び模様等に応じて、投影する縞模様の形状及び大きさ等を最適化し、最適化した縞模様の画像を生成してプロジェクタ10へ与えることにより、生成した画像をプロジェクタ10に投影させる。なお本実施の形態においては、プロジェクタ10は縞模様の画像を赤外線で投影する。
【0027】
撮影処理部21bは、第1撮影部11及び第2撮影部12による撮影を制御する処理を行う。撮影処理部21bは、第1撮影部11による呼気等を可視化した画像の撮影を行う。このときに撮影処理部21bは、第1撮影部11のカットオフグリッド11bが光りを遮断するパターンを、プロジェクタ10が投影先の壁101等に投影したパターン(模様)に応じて変化させる。本実施の形態において撮影処理部21bは、プロジェクタ10が投影する縞模様の白黒を反転したパターン、即ちプロジェクタ10が投影した縞模様の白に相当する部分を遮断するパターンとなるように、カットオフグリッド11bによる遮断のパターンを制御する。このパターンでカットオフグリッド11bが光を遮断することにより、第1撮影部11は、撮影装置1とプロジェクタ10の映像が投影される壁101等との間に存在する客102の呼気及び店舗100内の空気の流れ等をシュリーレン法により可視化した画像を撮影することができる。なお本実施の形態において撮影処理部21bは、第1撮影部11にて呼気等を可視化した画像を動画像として撮影する。
【0028】
なお本実施の形態においてカットオフグリッド11bは、プロジェクタ10が投影したパターンを反転したパターンで光を遮断するものとするが、これに限るものではない。カットオフグリッド11bは、プロジェクタ10の投影パターンに対して、完全な反転パターンではなく、完全な反転パターンに対して多少のずれ又は相違等のある不完全な反転パターンで光を遮断してもよく、この場合であっても第1撮影部11にて呼気等を可視化した画像を撮影することはできる。カットオフグリッド11bによる遮断パターンは、第1撮影部11により呼気等を可視化した画像を撮影し得るパターンであればどのようなパターンであってもよい。
【0029】
また撮影処理部21bは、第2撮影部12による偏光状態の撮影を行う。このときに撮影処理部21bは、第2撮影部12の偏光板12aに設けられた回転機構の回転角度を制御して、第2撮影部12による撮影を行う。撮影処理部21bは、例えば回転機構を所定角度(例えば1°又は10°等)ずつ回転させて、偏光板12aによる偏光の角度を所定角度ずつ変化させて、第2撮影部12による撮影を行う。例えば店舗100の座席を第2撮影部12の偏光板12aを通して撮影することで、座席のテーブルに付着した水滴又は食べ残し等の汚れの存在を撮影することができる。また撮影処理部21bが偏光板12aを回転させて偏光の角度を変化させることで、1つの角度では発見が難しい汚れを別の角度からの撮影で発見することができる。撮影処理部21bは、所定のタイミングで複数回、例えば座席を客102が使用する前と後とに、偏光板12aを1回転させてそれぞれ複数回の撮影を行う。撮影処理部21bは、偏光の角度が同じであり且つ異なるタイミングで撮影された2つの画像を比較することで、偏光状態の変化の有無を判定する。使用前の汚れのないテーブルの偏光状態を基準として、使用後の偏光状態との比較を行うことで、撮影処理部21bは、使用に伴うテーブルの汚れ、又は、店舗100における清掃が十分でない箇所等の清掃を行うべき対象物(被清掃対象物)を精度よく検出することができる。
【0030】
また撮影処理部21bは、上記のように所定のタイミングで偏光板12aを回転させて第2撮影部12による撮影を行う場合以外には、回転機構を回転させずに偏光板12aの角度を固定した状態で第2撮影部12による撮影を継続的に行う。このときに撮影された画像は、例えば画像から人の顔を検出する処理、人体を検出する処理又は人の行動を認識する処理等に用いられる。即ち撮影処理部21bは、第2撮影部12により通常の店舗100内の撮影を行い、所定のタイミングで偏光板12aの角度を変化させて第2撮影部12による偏光状態の撮影を行っている。第2撮影部12による通常の撮影で得られた画像から例えば座席の客102による仕様の前後のタイミングを判断し、撮影処理部21bは、偏光板12aの角度を変化させて偏光状態の撮影を行う。
【0031】
感染症対策判定部21cは、第1撮影部11及び第2撮影部12の撮影により得られた画像に基づいて、店舗100内で感染症対策が実施されているか否か、実施されている感染症対策が十分であるか否か等を判定する処理を行う。なお本実施の形態において感染症は、例えば新型コロナウイルス又はインフルエンザウイルス等のウイルスによる感染症を想定しているが、これに限るものではなく、どのようなウイルス又は細菌等による感染症であってもよい。また感染症対策としては、客102の間に十分な距離(いわゆる、ソーシャルディスタンス)を確保すること、及び、座席等の汚れを残さないよう清潔に保つこと等の対策を想定しているが、これに限るものではない。
【0032】
例えば感染症対策判定部21cは、第1撮影部11が撮影した呼気を可視化した画像に基づいて、客102の呼気が届く距離を算出する。感染症対策判定部21cは、算出した距離の範囲内に別の客102が存在している場合、感染症対策が十分ではないと判定する。このときに感染症対策判定部21cは、例えば第2撮影部12が撮影した画像から客102の人体検出又は顔検出等を行って客102の位置を検出し、客102の顔の付近から吹き出される呼気の到達範囲を判定することができる。例えば感染症対策判定部21cは、撮影画像中の呼気に相当する屈折率が変化している箇所を抽出し、顔検出結果に基づいて息を吐いた人の位置を始点とし、この人から最も離れた呼気の端部分を終点として、始点から終点までの距離を算出することができる。また感染症対策判定部21cは、顔検出の結果に基づいて、2人の客102の距離を算出することができる。1人の客102の呼気が他の客102の付近にまで到達する場合、即ち2人の客102の距離が呼気の到達する距離より短い場合、感染症対策判定部21cはこの2人の客102の距離は十分ではないと判断できる。
【0033】
また例えば感染症対策判定部21cは、第2撮影部12が撮影した偏光状態に関する画像に基づいて、店舗100内が清潔に保たれているか否かを判定する。このときに感染症対策判定部21cは、第2撮影部12が撮影した画像から客102及び店員等の人体検出を行って、検出した人の行動パターンを解析する。解析結果に基づいて感染症対策判定部21cは、客102による座席の使用の有無及び店員による座席の清掃の有無等を判定する。感染症対策判定部21cは、客102が使用する前等の座席が清潔な状態において偏光板12aの角度を変化させて撮影した偏光状態の画像を基準とし、客102が座席を使用した後又は更にその後に店員が座席を清掃した後において偏光板12aの角度を変化させて撮影した偏光状態の画像との比較を行う。感染症対策判定部21cは、異なる2つのタイミングで撮影された画像を比較して偏光状態が変化しているか否かを判定する。偏光状態が変化している場合、感染症対策判定部21cは、後のタイミングに撮影された画像において偏光状態が変化している箇所が、例えば水滴又は食べこぼし等の汚れであるか否か(清掃を行うべき非清掃対象物であるか否か)を判定し、汚れである場合には感染症対策が十分でないと判定する。なお偏光状態が変化している箇所が汚れであるか否かの判定は、どのような方法で行われてもよいが、例えば汚れた座席と清潔な座席とを識別するように予め機械学習がなされた学習モデルを利用して行われ得る。
【0034】
<呼気等の可視化処理>
本実施の形態に係る撮影装置1は、プロジェクタ10及び第1撮影部11により、シュリーレン法を用いた呼気等を可視化した画像の撮影を行う。シュリーレン法は、透明な気体中の密度勾配により通過する光が屈折する現象を利用し、屈折率の変化を明暗の差として観測する方法である。従来のシュリーレン法ではナイフエッジを含む光学系が利用されていたが、近年ではデジタルフォーカシングシュリーレン法又は背景指向性シュリーレン法と呼ばれる方法が提案されている。これらのシュリーレン法では、観測対象の背景に縞模様等の背景画像を配置し、背景画像に対応するカットオフグリッドを通して撮影を行うことで、観測対象における屈折率の変化を明暗の差とした画像を撮影することができ、観測対象の呼気又は空気の流れ等を可視化した画像を得ることができる。
図1及び
図2に示す例では、店舗100の壁101にプロジェクタ10が投影する画像が背景画像となる。
【0035】
図4及び
図5は、背景画像及びカットオフグリッドの一例を示す模式図である。なお
図4及び
図5に示す背景画像は、プロジェクタ10が壁101に投影したものを、カットオフグリッド11bによる遮断なしで、第1撮影部11が撮影する画像に相当する。この背景画像は、プロジェクタ10が投影する画像に必ずしも一致しない。図示の背景画像は、ハッチングを付した領域が黒(暗)色であり、ハッチングを付していない領域が白(明)色である。また
図4及び
図5に示すカットオフグリッドは、第1撮影部11のカットオフグリッド11bにて光を遮断するパターンである。図示のカットオフグリッドは、ハッチングを付した領域が光を遮断する領域であり、ハッチングを付していない領域が光りを透過させる領域である。
【0036】
図4に示す背景画像は、モノクロームの横縞模様であり、本例では黒色領域が太く、白色領域が細い縞模様となっている。これに対応するカットオフグリッドは、背景画像の白黒を反転させたパターンであり、本例では遮断領域が細く、透過領域が太い横縞模様のパターンとなる。撮影装置1の撮影処理部21bは、プロジェクタ10が投影した背景画像を反転させたパターンで光を遮断すべく、カットオフグリッド11bによる遮断のパターンを制御する。また背景画像及びカットオフグリッドは縞模様に限らず、例えば
図5に示すような円形の図形が並べられた模様、いわゆる水玉模様であってもよく、また例えば文字又は数字等が適宜に並べられたパターンであってもよく、これら以外の様々なパターンであってよい。本実施の形態に係る撮影装置1は、プロジェクタ10の投影先となる壁101の形状、色及び模様等に応じて、プロジェクタ10が投影する画像を適宜に調整及び変更等して最適化する。
【0037】
このため、本実施の形態に係る撮影装置1は、例えば店舗100等に設置された際に、プロジェクタ10が投影する画像を決定する処理を行う。撮影装置1は、例えば初期設定等の操作がユーザによりなされた場合に、記憶部23にデフォルトの投影用画像として記憶された画像をプロジェクタ10にて店舗100の壁101へ投影する。撮影装置1は、第1撮影部11のカットオフグリッド11bを全領域について光を遮断しない状態とし、第1撮影部11にて壁101に投影された画像の撮影を行う。撮影装置1は、第1撮影部11にて撮影した画像に基づいて、デフォルトの投影用画像を修正する。
【0038】
図6は、投影用画像の修正を説明するための模式図である。
図6の上段左側には、撮影装置1が記憶するデフォルトの投影用画像の一例として、横縞模様の画像が示されている。撮影装置1がこの投影用画像をプロジェクタ10にて店舗100の壁101へ投影し、第1撮影部11にて撮影して得られた画像が、
図6の上段右側に示す撮影画像であるとする。例えば店舗100の壁101に凹凸又は段差等のような形状が変化する箇所が存在する場合に、プロジェクタ10が投影した画像はこの箇所で屈曲又は湾曲等の歪みが生じた状態で第1撮影部11にて撮影される。
【0039】
撮影装置1は、第1撮影部11にて撮影した画像に基づいて、撮影画像をデフォルトの投影用画像に近付けるよう(撮影画像とデフォルトの投影用画像とが一致するよう)、投影用画像を修正する。
図6の下段左側には、修正後の投影用画像の一例が示されている。撮影装置1は、例えば第1撮影部11にて撮影した画像から横縞模様が歪んでいる箇所を検出し、この歪みを取り除く方向へデフォルトの撮影用画像の該当箇所を歪ませることで、撮影用画像を修正することができる。なお、この撮影装置1による撮影用画像の修正方法は一例であり、これに限るものではなく、種々の修正方法が採用されてよい。撮影用画像の修正には、例えばプロジェクションマッピング等の技術を用いることができる。また例えば、予め機械学習がなされた学習モデルを用いて投影用画像を生成してもよい。この場合に学習モデルは、例えば投影された歪みのある模様を撮影した画像と、この画像を適切に修正した投影用画像とを対応付けた教師データを用いて予め機械学習がなされ、第1撮影部11が撮影した画像を入力することで投影用画像を出力するよう構成され得る。
【0040】
また
図6に示した投影用画像を修正の例は、投影用画像の形状を修正するものである。図示は省略するが、撮影装置1は、投影用画像の濃淡を修正してもよい。例えば店舗100の壁101に模様等が描かれている場合、プロジェクタ10が投影した模様に濃淡が生じる場合がある。そこで撮影装置1は、第1撮影部11にて撮影した撮影画像の縞模様の濃淡が均一になるように、投影用画像の濃淡を修正する。撮影装置1は、例えば壁101に描かれている模様等において光をより吸収する部分に対し、より強い光を出力するように、投影の際の光の強弱を修正する。
【0041】
図7は、撮影装置1が行う投影用画像の生成処理の手順を示すフローチャートである。本実施の形態に係る撮影装置1の処理部21の投影用画像生成部21aは、記憶部23に記憶されたデフォルトの投影用画像を読み出してプロジェクタ10へ与えることにより、デフォルトの投影用画像をプロジェクタ10にて投影する(ステップS1)。投影用画像生成部21aは、プロジェクタ10により投影された画像を、第1撮影部11にて撮影する(ステップS2)。なおこのときに投影用画像生成部21aは、第1撮影部11のカットオフグリッド11bについて、光を遮断しないように遮断のパターンを制御する。投影用画像生成部21aは、第1撮影部11にて撮影した画像に基づいて、撮影画像中の模様がデフォルトの投影用画像の模様と同じになるように、デフォルトの投影用画像を修正する(ステップS3)。
【0042】
次いで投影用画像生成部21aは、修正後の投影用画像をプロジェクタ10へ与えることにより、修正後の投影用画像をプロジェクタ10にて投影する(ステップS4)。投影用画像生成部21aは、プロジェクタ10により投影された画像を、第1撮影部11にて撮影する(ステップS5)。なおこのときにも投影用画像生成部21aは、第1撮影部11のカットオフグリッド11bについて、光を遮断しないように遮断のパターンを制御する。投影用画像生成部21aは、第1撮影部11のカットオフグリッド11bによる光を遮断するパターンを、ステップS5にて撮影した画像の濃淡(白黒)を反転させたパターンとなるように決定し(ステップS6)、処理を終了する。
【0043】
なお、撮影装置1による投影用画像の修正及びカットオフグリッド11bによる遮断のパターンの決定等は、撮影装置1が店舗100に設置された際に行うのみでなく、例えば1日に1回又は1ヶ月に1回等の適宜のタイミングで行われてよい。
【0044】
上述の手順によりプロジェクタ10が投影する投影用画像の生成、及び、第1撮影部11のカットオフグリッド11bによる遮断パターンの決定等を行った後、撮影装置1は、修正後の投影用画像をプロジェクタ10にて店舗100の壁101へ向けて投影し、決定した遮断のパターンでカットオフグリッド11bによる光の遮断を行い、第1撮影部11による撮影を行う。この撮影により撮影装置1は、客102の呼気又は店舗100内の空気の流れ等を可視化した画像を撮影することができ、撮影した画像をディスプレイ装置2に表示させることができる。
図8は、呼気等を可視化した画像の一例を示す模式図である。なお図示の画像は、撮影装置1が撮影する画像から人の呼気が可視化されている箇所を拡大して抜き出した画像に相当する。客102の呼気を可視化した画像をディスプレイ装置2に表示することによって、店舗100の店員等は、客102の呼気が他の客102に到達しているか否か、客102及び座席等の間隔が十分であるか否か等を、容易に目視で確認することができる。
【0045】
また本実施の形態に係る撮影装置1は、呼気を可視化した画像に基づいて客102の呼気の到達範囲等を判定し、店舗100の感染症対策が十分になされているか否かを判定する処理を行う。
図9は、撮影装置1が行う感染症対策の判定を説明するための模式図である。撮影装置1は、第1撮影部11が撮影した画像に基づいて、画像中の屈折率が変化した箇所、即ち客102の呼気等が生じた箇所を検出する。
図9の左上には、第1撮影部11が撮影した呼気を可視化した画像が示されている。呼気に相当する箇所が屈折率の変化として可視化されており、撮影装置1は屈折率が変化している箇所を検出することができる。
【0046】
また撮影装置1は、第2撮影部12が撮影した画像に基づいて、画像に映された客102又は店員等の人について人体検出又は顔検出等を行う。人体検出及び顔検出等の処理は、既存の技術であるため、詳細な説明を省略する。
図9の右上には、第2撮影部12が撮影した画像にて人の顔検出を行った結果が図示されている。人の顔部分を囲む四角枠が顔検出の結果である。撮影装置1は、呼気の検出結果と人の顔の検出結果とを
図9の下段に示す図のように重ね合わせることで、息を吐いた人がいずれの人であるかを判断することができる。また撮影装置1は、顔及び人体の検出結果に基づいて、撮影された人の位置を判断することができる。例えば撮影装置1は、足の位置から奥行き方向について人の位置を判断することができる。また撮影装置1は、この人の呼気の到達距離を画像から算出し、この到達距離の範囲内に別の人が存在するか否かを、別の人の顔及び人体の検出結果から判断することができる。撮影装置1は、客102の呼気の到達範囲内に別の客102の顔又は身体等が存在すると判定した場合、例えばディスプレイ装置2に警告メッセージ等を表示する。このときに撮影装置1は、警告メッセージと共に、例えば判定に用いた呼気の画像、及び、顔検出結果等の情報を表示してもよい。また撮影装置1は、呼気の到達距離に予め設定されたマージンの距離を加えた合計距離を算出し、この合計距離の範囲内に別の客102が存在するか否かを判定してもよい。マージンの距離は、例えば本システムの開発者等が設定してもよく、また例えば店舗100の店員等が設定してもよい。
【0047】
図10は、本実施の形態に係る撮影装置1が行う感染症対策判定処理の手順を示すフローチャートである。本実施の形態に係る撮影装置1の処理部21の撮影処理部21bは、第1撮影部11による撮影を行って、撮影した画像を取得する(ステップS11)。処理部21の感染症対策判定部21cは、第1撮影部11の撮影画像に屈折率が変化している箇所があるか否かを判定する(ステップS12)。屈折率が変化している箇所がない場合(S12:NO)、感染症対策判定部21cは、撮影画像中に呼気が存在しないと判断して、処理を終了する。
【0048】
屈折率が変化している箇所がある場合(S12:YES)、感染症対策判定部21cは、第2撮影部12が撮影した画像を取得する(ステップS13)。感染症対策判定部21cは、第2撮影部12の撮影画像に対して人の顔及び体等を検出する処理を行う(ステップS14)。感染症対策判定部21cは、第1撮影部11の撮影画像において屈折率が変化している箇所、即ち呼気の箇所と、第2撮影部12の撮影画像からの顔検出処理の結果とに基づき、店舗100内の人又は座席等の距離が適切であるか否かを判定する(ステップS15)。このときに感染症対策判定部21cは、例えば人の呼気の到達範囲内に他の人が存在するか否かを判定する。人の呼気の到達範囲内に他の人の顔及び体等が存在せず、距離が適切であると判定した場合(S15:YES)、感染症対策判定部21cは、処理を終了する。人の呼気の到達範囲内に他の人の顔又は身体等が存在し、距離が適切でないと判定した場合(S15:NO)、感染症対策判定部21cは、ディスプレイ装置2にて警告メッセージ等の表示を行い(ステップS16)、処理を終了する。
【0049】
<偏光状態に基づく判定処理>
本実施の形態に係る撮影装置1は、偏光板12aを回転させて偏光の角度を変化させることにより、複数の角度での偏光状態を第2撮影部12にて撮影することができる。
図11は、偏光板12aの有無による撮影画像の差異を説明するための画像例である。
図11に示す2つの画像は、水滴がこぼれた机を撮影したものである。
図11の左側の画像が偏光板12aによる偏光なしでの撮影画像であり、右側の画像が偏光板12aを用いた所定角度の偏光ありでの撮影画像である。偏光なしの撮影画像では、透明な水滴の存在を確認することは難しい。これに対して偏光ありの撮影画像では、机にこぼれた水滴の存在を目視で確認することができる。撮影装置1は、偏光板12aを通して撮影した画像をディスプレイ装置2に表示してもよい。
【0050】
また撮影装置1は、撮影対象となる店内及び座席等が清潔な状態で第2撮影部12が撮影した複数の偏光の角度における画像を、基準となる画像として記憶部23に記憶している。撮影装置1は、例えば客102が座席を使用した後等の適宜のタイミングで、第2撮影部12により複数の偏光の角度での撮影を行う。撮影装置1は、基準となる画像と、適宜のタイミングで撮影した画像とを比較して、例えば2つの画像の画素値の差を算出して、偏光状態が変化した箇所を検出することができる。
【0051】
また本実施の形態に係る撮影装置1は、例えばニューラルネットワークによる学習モデルを用いることにより、第2撮影部12が撮影した画像に基づいて店舗100内の店員等の行動認知処理を行う。学習モデルは、店員等が座席を清掃する行動が識別可能となるように、機械学習又は深層学習等の学習処理がなされる。学習モデルの学習処理は、例えば撮影装置1が行ってもよく、また例えば撮影装置1とは異なるサーバ装置等が学習処理を行って学習済の学習モデルを撮影装置1がサーバ装置等から取得してもよい。なお、学習モデルを用いた行動認知処理は、既存の技術であるため、詳細な説明を省略する。
【0052】
撮影装置1は、第2撮影部12が撮影した画像を学習モデルへ入力し、店員等が座席を清掃する行動を行ったと学習モデルが認識した場合に、偏光板12aを回転させることで偏光の角度を変化させて第2撮影部12による撮影を行う。撮影装置1は、基準となる画像と、撮影した画像とを比較して、偏光状態の変化の有無を判定する。例えば撮影装置1は、基準となる画像との画素値の差が閾値を超える箇所が存在するか否かに応じて、撮影した画像に偏光状態の変化があるか否かを判定することができる。偏光状態の変化がない場合に、撮影装置1は、撮影した座席等に汚れが付着しておらず、座席等が清潔であると判断することができる。偏光状態の変化がある場合、撮影装置1は、座席等に汚れが付着している可能性があると判断することができ、感染症対策が不十分であるとの警告メッセージ等をディスプレイ装置2に表示することができる。
【0053】
また撮影装置1は、第2撮影部12が撮影した画像と清潔な状態の基準となる画像との比較により汚れの付着の有無を判定するのではなく、又は、この判定と共に、例えばニューラルネットワークによる学習モデルを用いて座席等が清潔であるか否かを判定してもよい。学習モデルは、様々な角度で偏光状態を撮影した清潔な座席等の対象の画像と、同じく様々な角度で偏光状態を撮影した汚れた対象の画像とを教師データとして、予め機械学習又は深層学習等の学習処理がなされる。清潔な座席等は、例えばアルコール消毒等がなされた座席等とすることができる。汚れた座席等は、例えば食べこぼし又は水滴等が付着した座席等とすることができる。学習処理により、学習モデルはこれらの清潔な座席等と汚れた座席等とを第2撮影部12の撮影画像から判定することが可能となる。学習モデルの学習処理は、例えば撮影装置1が行ってもよく、また例えば撮影装置1とは異なるサーバ装置等が学習処理を行って学習済の学習モデルを撮影装置1がサーバ装置等から取得してもよい。
【0054】
撮影装置1は、例えば行動認知処理を行う学習モデルにより店員等が座席を清掃する行動を行ったと判断した場合に、第2撮影部12による一又は複数の偏光状態を撮影した画像を、汚れの有無を判定する学習モデルへ入力する。撮影装置1は、入力した画像に応じて学習モデルが出力する汚れの有無の判定結果を取得し、座席等に汚れが付着しているとの判定結果が得られた場合には、感染症対策が不十分であるとの警告メッセージ等をディスプレイ装置2に表示することができる。
【0055】
図12は、本実施の形態に係る撮影装置1が行う感染症対策判定処理の手順を示すフローチャートである。本実施の形態に係る撮影装置1の処理部21の感染症対策判定部21cは、第2撮影部12が撮影した画像に基づいて学習モデルを用いた行動認知処理を行う(ステップS21)。これにより感染症対策判定部21cは、例えば店舗100の店員が座席を清掃する行動を認知し、店員が座席を清掃したことを感染症対策の有無の判定タイミングとして処理を行うことができる。感染症対策判定部21cは、行動認知処理の結果に基づいて、感染症対策の有無の判定タイミングに至ったか否かを判定する(ステップS22)。判定タイミングに至っていない場合(S22:NO)、感染症対策判定部21cは、ステップS21へ処理を戻し、判定タイミングに至るまで行動認知処理を継続して行う。
【0056】
判定タイミングに至った場合(S22:YES)、感染症対策判定部21cは、第2撮影部12の偏光板12aの角度を変化させて、複数の偏光方向における偏光状態の撮影を行う(ステップS23)。感染症対策判定部21cは、基準となる画像と、ステップS23にて撮影した画像とを比較することにより、偏光状態の変化の有無を判定する(ステップS24)。偏光状態に変化がない場合(S24:NO)、感染症対策判定部21cは、処理を終了する。
【0057】
偏光状態に変化がある場合(S24:YES)、感染症対策判定部21cは、ステップS23にて撮影した画像を、汚れの有無を判定する学習モデルへ入力する(ステップS25)。感染症対策判定部21cは、学習モデルが出力する情報を取得して、撮影された座席等が清潔であるか否かを判定する(ステップS26)。清潔であると判定した場合(S26:YES)、感染症対策判定部21cは、処理を終了する。座席等に汚れがあり、清潔ではないと判定した場合(S26:NO)、感染症対策判定部21cは、ディスプレイ装置2にて警告メッセージ等の表示を行い(ステップS27)、処理を終了する。
【0058】
<まとめ>
以上の構成の本実施の形態に係る撮影装置1は、プロジェクタ10による画像の投影先となる店舗100の壁101の形状又は模様等に応じて、プロジェクタ10が投影する模様の画像を生成する。撮影装置1は、プロジェクタ10が投影した模様に応じてカットオフグリッド11bによる光を遮断するパターンを制御する。撮影装置1は、プロジェクタ10が投影した模様を背景として、カットオフグリッド11bを介した撮影を第1撮影部11にて行う。これにより撮影装置1は、人の呼気又は空気の流れ等を可視化した画像を撮影することができる。
【0059】
また本実施の形態に係る撮影装置1は、プロジェクタ10が赤外線により模様の投影を行い、第1撮影部11が赤外線による撮影を行う。これにより、撮影装置1のプロジェクタ10が投影する模様は人間が不可視の模様となるため、店舗100の壁101等に投影しても客102に視認されることがない。よって、店舗100等に撮影装置1等を導入することに対する難易度を低減することが期待できる。
【0060】
また本実施の形態に係る撮影装置1は、プロジェクタ10が投影した模様を第1撮影部11にて撮影し、撮影した模様を反転したパターンでカットオフグリッド11bによる光の遮断を行う。これにより撮影装置1は、シュリーレン法により、撮影空間における屈折率の変化を光学的な輝度の変化として第1撮影部11にて撮影することができる。
【0061】
また本実施の形態に係る撮影装置1は、偏光板12aを回転機構にて回転することで偏光の方向を変更することを可能とし、偏光板12aを介した撮影を第2撮影部12が行う。これにより撮影装置1は、種々の方向について偏光状態を撮影することができ、撮影対象に付着した水滴又は食べ残し等の汚れを精度よく検出することが期待できる。
【0062】
また本実施の形態に係る撮影装置1は、プロジェクタ10、第1撮影部11及び第2撮影部12を備えて構成されている。これらを1つの撮影装置1に搭載することによって、呼気等を可視化した画像を撮影するシステム、及び、偏光状態を撮影するシステムを店舗100等に導入することを容易化することが期待できる。
【0063】
また本実施の形態に係る撮影装置1は、デフォルトの投影用画像として記憶した基本の模様(基本パターン)をプロジェクタ10にて投影し、プロジェクタ10が投影した模様を第1撮影部11にて撮影し、撮影した模様が基本の模様(基本パターン)となるように、プロジェクタ10が投影する投影用画像の模様を調整することで、投影先の壁101の形状又は模様等に応じた模様の投影を行う。これにより第1撮影部11は、精度のよい縞模様等の模様を背景に撮影を行うことができ、精度のよい呼気等の可視化を行うことができる。
【0064】
また本実施の形態に係る撮影装置1は、店舗100等の施設内の撮影を行って、撮影結果に基づいて施設内における感染症対策の実施の有無を判定する。これにより店舗100の定員等は、店舗100内における感染症対策が十分になされているか否かをよういに判断することができる。
【0065】
なお本実施の形態においては、撮影装置1を店舗100等の施設内に設置するものとしたが、撮影装置1の設置は店舗100に限らない。撮影装置1は、例えばライブハウス、イベント会場、映画館、スポーツジム、学校又は会社等の種々の施設に設置され得る。また撮影装置1の設置は施設内に限らず、屋外であってもよい。
【0066】
また本実施の形態においては、撮影画像に基づく感染症対策の実施の有無の判定を撮影装置1が行う構成としているが、これに限るものではない。例えば撮影装置1に有線又は無線で接続されたPC(パーソナルコンピュータ)又はディスプレイ装置2が撮影装置1により撮影された画像を取得してこれらの判定処理を行ってもよい。また例えば、撮影装置1が遠隔のサーバ装置へ撮影した画像を送信し、画像を受信したサーバ装置が判定処理を行って判定結果を撮影装置1又はディスプレイ装置2等へ送信する構成、いわゆるクラウドコンピューティングの構成が採用されてもよい。
【0067】
また本実施の形態においては、撮影装置1のプロジェクタ10が赤外線で模様を投影し、第1撮影部11が赤外線用レンズ11cにて撮影を行う構成を採用したが、これに限るものではない。例えば赤外線以外の不可視光線を用いて投影及び撮影が行われてもよく、また例えば可視光線を用いて投影及び撮影が行われてもよい。
【0068】
また本実施の形態においては、撮影装置1が偏光の角度を可変とした第2撮影部12を備える構成としたが、これに限るものではなく、撮影装置1は第2撮影部12を備えていなくてもよい。即ち、撮影装置1は、呼気等を可視化した画像を撮影して感染症対策の有無を判定する機能を有し、偏光状態に基づく感染症対策の有無を判定する機能を有していなくてもよい。ただしこの場合であっても、撮影装置1は、赤外線での撮影を行う第1撮影部11とは別に、可視光線での撮影を行う撮影部を備えていることが好ましい。
【0069】
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【解決手段】本実施の形態に係る撮影装置は、偏光の方向を変更することが可能な偏光部と、前記偏光部を介した撮影を行う撮影部とを備える。撮影装置は、前記撮影部が施設内を撮影した画像に基づいて、前記施設内に存在する被清掃対象物を検出する検出部を備えてもよい。前記検出部は、前記被清掃対象物が存在しない前記施設内を撮影した基準画像と、前記撮影部が撮影した画像とを比較することで、前記被清掃対象物を検出してもよい。撮影装置は、前記検出部の検出結果に基づいて、前記施設内における感染症対策の実施の有無を判定する判定部を備えてもよい。