(54)【発明の名称】魚眼レンズが装着された2次元カメラを使用して2次元イメージショットで乗客の状態を予測するための方法及び装置{METHOD AND DEVICE FOR ESTIMATING PASSENGER STATUSES IN 2 DIMENSION IMAGE SHOT BY USING 2 DIMENSION CAMERA WITH FISHEYE LENS}
(58)【調査した分野】(Int.Cl.,DB名)
前記リファレンスポイント及び前記特定のポーズポイントを前記車両の全体の車軸方向及び全体の車幅方向により形成された平面上にそれぞれ投影して、投影されたリファレンスポイント及び投影された特定のポーズポイントそれぞれを取得した状態で、前記特定の車軸方向距離は、前記投影されたリファレンスポイント及び前記投影された特定のポーズポイントの間の距離であり、前記特定の車幅方向距離は、前記投影されたリファレンスポイントから全体の車軸方向に延長されたベースライン及び前記投影されたポーズポイントの間の距離であることを特徴とする請求項2に記載の方法。
(c)前記乗客状態検出装置が、(i)前記車両の非常状況で前記各乗客を保護するための、前記車両の少なくとも一つのアプリケーションをもって、前記乗客それぞれの状態にしたがって作動させるか、(ii)前記乗客それぞれの状態を参照して前記乗客それぞれの一つ以上の行動パターンを分析して前記乗客それぞれの走行安全状態それぞれを確認させる段階;
をさらに含むことを特徴とする請求項1に記載の方法。
前記リファレンスポイント及び前記特定のポーズポイントを前記車両の全体の車軸方向及び全体の車幅方向により形成された平面上にそれぞれ投影して、投影されたリファレンスポイント及び投影された特定のポーズポイントそれぞれを取得した状態で、前記特定の車軸方向距離は前記投影されたリファレンスポイント及び前記投影された特定のポーズポイントの間の距離であり、前記特定の車幅方向距離は、前記投影されたリファレンスポイントから全体の車軸方向に延長されたベースライン及び前記投影されたポーズポイントの間の距離であることを特徴とする請求項8に記載の方法。
(III)(i)前記車両の非常状況において、前記各乗客を保護するための、前記車両の少なくとも一つのアプリケーションをもって、前記乗客それぞれの状態によって作動させるか、(ii)前記乗客それぞれの状態を参照して前記乗客それぞれの一つ以上の行動パターンを分析して、前記乗客それぞれの走行安全状態それぞれを確認させるプロセス;
をさらに遂行することを特徴とする請求項7に記載の装置。
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明は、前述した問題点を全て解決することをその目的とする。
【0010】
本発明は、費用の増加なしに一人以上の乗客の一つ以上の状態を検出し得るようにすることを他の目的とする。
【0011】
本発明は、走行環境に影響されずに各乗客の状態を検出し得るようにすることをまた他の目的とする。
【0012】
本発明は、処理すべき情報を最小化して、各乗客の状態を検出し得るようにすることをまた他の目的とする。
【課題を解決するための手段】
【0013】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下のとおりである。
【0014】
本発明の一態様によると、車両の室内イメージを分析することによって、一人以上の乗客の状態を検出する方法において、(a)魚眼レンズが装着された少なくとも一つのカメラにより撮影された車両の室内に対する少なくとも一つの2D室内イメージが取得されると、乗客状態検出装置が、前記2D室内イメージをポーズ予測ネットワークに入力することによって、前記ポーズ予測ネットワークをもって、前記2D室内イメージから一人以上の乗客それぞれに対応する一つ以上のポーズポイントを取得させる段階;及び(b)前記乗客状態検出装置が、(i)予め設定されたピクセル及び角度(pixel−angle)テーブルを参照して前記車両の予め設定された
リファレンスポイントを基準として前記乗客それぞれに対応する前記ポーズポイントに関する各位置情報を演算し、(ii)前記乗客それぞれに対応する前記ポーズポイントに関する前記位置情報を参照して前記乗客それぞれの状態を検出する段階;を含み、前記ピクセル及び角度テーブルは、前記車両の室内にグリッドセル(grid cells)からなるグリッドボード(grid board)を設置した状態で、第1ライン及びそれぞれの第2ラインにより形成されたそれぞれの垂直角度及びそれぞれの水平角度が前記グリッドセルの各コーナーのピクセルそれぞれに対応するように生成されたテーブルであり、前記第1ラインは、前記カメラで撮影したグリッドイメージ上の前記グリッドボードの上端中央及び前記カメラを連結し、前記それぞれの第2ラインは、前記それぞれのコーナー及び前記カメラを連結したことを特徴とする方法が提供される。
【0015】
一実施例において、前記(b)段階で、前記乗客状態検出装置は、(i)前記乗客それぞれに対応する前記各ポーズポイントのうち特定のポーズポイントが位置する特定のグリッドセルのコーナーに関する前記各位置情報を利用してバイリニア補間法(bilinear interpolation)により前記特定のポーズポイントの特定高さを取得し、(ii)前記各グリッドセルの前記各コーナーの前記垂直角度及び前記水平角度を利用してバイリニア補間法により前記特定のポーズポイントの特定の垂直角度及び特定の水平角度を取得し、(iii)前記特定高さ、前記特定の垂直角度及び前記特定の水平角度を参照して、前記特定のポーズポイント及び前記リファレンスポイントの間の特定の車軸方向距離及び特定の車幅方向距離を取得することを特徴とする方法が提供される。
【0016】
一実施例において、前記リファレンスポイント及び前記特定のポーズポイントを前記車両の全体の車軸方向及び全体の車幅方向により形成された平面上にそれぞれ投影して、投影されたリファレンスポイント及び投影された特定のポーズポイントそれぞれを取得した状態で、前記特定の車軸方向距離は、前記投影されたリファレンスポイント及び前記投影された特定のポーズポイントの間の距離であり、前記特定の車幅方向距離は、前記投影されたリファレンスポイントから全体の車軸方向に延長されたベースライン及び前記投影されたポーズポイントの間の距離であることを特徴とする方法が提供される。
【0017】
一実施例において、(c)前記乗客状態検出装置が、(i)前記車両の非常状況で前記各乗客を保護するための、前記車両の少なくとも一つのアプリケーションをもって、前記乗客それぞれの状態にしたがって動作させるか、(ii)前記乗客それぞれの状態を参照して前記乗客それぞれの一つ以上の行動パターンを分析して前記乗客それぞれの走行安全状態それぞれを確認させる段階;をさらに含むことを特徴とする方法が提供される。
【0018】
一実施例において、前記(a)段階で、前記乗客状態検出装置は、前記ポーズ予測ネットワークをもって、(i)特徴抽出ネットワークを通じて前記2D室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソル(feature tensor)を出力させ、(ii)キーポイントヒートマップ及びパートアフィニティフィールド抽出器を通じて前記特徴テンソルそれぞれに対応する一つ以上のチャンネルを有する少なくとも一つのキーポイントヒートマップ及び少なくとも一つのパートアフィニティフィールドを生成させ、(iii)キーポイント検出器を通じて前記キーポイントヒートマップにおいて一つ以上のキーポイントを抽出し、前記パートアフィニティフィールドを参照して前記抽出されたキーポイントをグルーピングして前記乗客それぞれに対応する前記ポーズポイントを生成させることを特徴とする方法が提供される。
【0019】
一実施例において、前記(a)段階で、前記乗客状態検出装置は、前記ポーズ予測ネットワークをもって、(i)特徴抽出ネットワークを通じて前記2D室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソルを出力させ、(ii)フルコンボリューションネットワーク(fully convolution network)を通じて前記特徴テンソルにフルコンボリューション演算を適用して一つ以上のヒートマップを生成させ、(iii)前記ヒートマップにおいて前記各ポーズポイントを取得させることを特徴とする方法が提供される。
【0020】
本発明の他の態様によると、車両の室内イメージを分析することによって一人以上の乗客の状態を検出する乗客状態検出装置において、少なくとも一つのインストラクションを格納する少なくとも一つのメモリと、前記各インストラクションを遂行するように設定された少なくとも一つのプロセッサとを含み、前記プロセッサは、(I)魚眼レンズが装着された少なくとも一つのカメラにより撮影された車両の室内に対する少なくとも一つの2D室内イメージが取得されると、前記2D室内イメージをポーズ予測ネットワークに入力することによって、前記ポーズ予測ネットワークをもって、前記2D室内イメージから一人以上の乗客それぞれに対応する一つ以上のポーズポイントを取得させるプロセス;及び(II)(i)予め設定されたピクセル及び角度(pixel−angle)テーブルを参照して前記車両の予め設定された
リファレンスポイントを基準として前記乗客それぞれに対応する前記ポーズポイントに関する各位置情報を演算し、(ii)前記乗客それぞれに対応する前記ポーズポイントに関する前記位置情報を参照して前記乗客それぞれの状態を検出するプロセス;を遂行し、前記ピクセル及び角度テーブルは、前記車両の室内にグリッドセル(grid cells)からなるグリッドボード(grid board)を設置した状態で、第1ライン及びそれぞれの第2ラインにより形成されたそれぞれの垂直角度及びそれぞれの水平角度が前記グリッドセルの各コーナーのピクセルそれぞれに対応するように生成されたテーブルであり、前記第1ラインは、前記カメラで撮影したグリッドイメージ上の前記グリッドボードの上端中央及び前記カメラを連結し、前記それぞれの第2ラインは、前記それぞれのコーナー及び前記カメラを連結したことを特徴とする装置が提供される。
【0021】
一実施例において、前記(II)プロセスは、前記プロセッサが、(i)前記乗客それぞれに対応する前記各ポーズポイントのうち特定のポーズポイントが位置する特定のグリッドセルのコーナーに関する前記各位置情報を利用してバイリニア補間法(bilinear interpolation)により前記特定のポーズポイントの特定高さを取得し、(ii)前記各グリッドセルの前記各コーナーの前記垂直角度及び前記水平角度を利用してバイリニア補間法により前記特定のポーズポイントの特定の垂直角度及び特定の水平角度を取得し、(iii)前記特定高さ、前記特定の垂直角度及び前記特定の水平角度を参照して前記特定のポーズポイント及び前記リファレンスポイントの間の特定の車軸方向距離及び特定の車幅方向距離を取得することを特徴とする装置が提供される。
【0022】
一実施例において、前記リファレンスポイント及び前記特定のポーズポイントを前記車両の全体の車軸方向及び全体の車幅方向により形成された平面上にそれぞれ投影して、投影されたリファレンスポイント及び投影された特定のポーズポイントそれぞれを取得した状態で、前記特定の車軸方向距離は前記投影されたリファレンスポイント及び前記投影された特定のポーズポイントの間の距離であり、前記特定の車幅方向距離は、前記投影されたリファレンスポイントから全体の車軸方向に延長されたベースライン及び前記投影されたポーズポイントの間の距離であることを特徴とする装置が提供される。
【0023】
一実施例において、(III)(i)前記車両の非常状況において、前記各乗客を保護するための、前記車両の少なくとも一つのアプリケーションをもって、前記乗客それぞれの状態によって作動させるか、(ii)前記乗客それぞれの状態を参照して前記乗客それぞれの一つ以上の行動パターンを分析して、前記乗客それぞれの走行安全状態それぞれを確認させるプロセス;をさらに遂行することを特徴とする装置が提供される。
【0024】
一実施例において、前記(I)プロセスは、前記プロセッサが、前記ポーズ予測ネットワークをもって、(i)特徴抽出ネットワークを通じて前記2D室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソル(feature tensor)を出力させ、(ii)キーポイントヒートマップ及びパートアフィニティフィールド抽出器を通じて前記特徴テンソルそれぞれに対応する一つ以上のチャンネルを有する少なくとも一つのキーポイントヒートマップ及び少なくとも一つのパートアフィニティフィールドを生成させ、(iii)キーポイント検出器を通じて前記キーポイントヒートマップにおいて一つ以上のキーポイントを抽出し、前記パートアフィニティフィールドを参照して前記抽出されたキーポイントをグルーピングして前記乗客それぞれに対応する前記ポーズポイントを生成させることを特徴とする装置が提供される。
【0025】
一実施例において、前記(I)プロセスは、前記プロセッサが、前記ポーズ予測ネットワークをもって、(i)特徴抽出ネットワークを通じて前記2D室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソルを出力させ、(ii)フルコンボリューションネットワーク(fully convolution network)を通じて前記特徴テンソルにフルコンボリューション演算を適用して一つ以上のヒートマップを生成させ、(iii)前記ヒートマップにおいて前記各ポーズポイントを取得させることを特徴とする装置が提供される。
【0026】
その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
【発明の効果】
【0027】
本発明は、カメラを利用して撮影された車両室内の2D室内イメージを分析して各乗客の状態を検出するため、従来のセンサ方式に比べて費用を節減することができる。
【0028】
本発明は、カメラを利用して撮影された車両室内の2D室内イメージを分析して各乗客の状態を検出するため、車両の周辺環境に影響されずに各乗客の状態を検出することができるようになる。
【0029】
本発明は、カメラを利用して撮影された車両室内の2D室内イメージを分析して各乗客の状態を検出するため、従来のセンサ方式に比べて処理しなければならない情報が少ないので、従来のセンサ方式に比べて処理速度を向上させることが可能になる。
【0030】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者(以下「通常の技術者」)にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
【発明を実施するための形態】
【0032】
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、類似する機能を指す。
【0033】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は、本説明書から、また一部は、本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【0034】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体(例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物)を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ(例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ)でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体(例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物)を想定し得るが、必ずしもこれに限定されるものではない。
【0035】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
【0036】
図1は、本発明の一実施例にしたがって、少なくとも一つの2Dカメラを利用して一人以上の乗客の状態を検出する乗客状態検出装置を簡略に示した図面である。
図1を参照すると、乗客状態検出装置100は、少なくとも一つの2Dカメラを利用して乗客の状態を検出するための各インストラクションを格納するメモリ110と、メモリ110に格納された各インストラクションに対応して2Dカメラを利用して乗客の状態を検出する動作を遂行するプロセッサ120と、を含むことができる。
【0037】
具体的に、乗客状態検出装置100は、典型的に少なくとも一つのコンピューティング装置(例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置、出力装置、その他既存のコンピューティング装置の各構成要素を含むことができる装置;ルータまたはスイッチなどのような電子通信装置;ネットワーク接続ストレージ(NAS)及びストレージ領域ネットワーク(SAN)のような電子情報ストレージシステム)と少なくとも一つのコンピュータソフトウェア(コンピューティング装置をもって特定の方式で機能させる各インストラクション)との組み合わせを利用して所望のシステム性能を達成するものであり得る。
【0038】
また、コンピューティング装置のプロセッサは、MPU(Micro Processing Unit)またはCPU(Central Processing Unit)、キャッシュメモリ(Cache Memory)、データバス(Data Bus)などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
【0039】
しかし、このようにコンピューティング装置が描写されたからといって、コンピューティング装置が本発明を実施するためのミディアム、プロセッサ、及びメモリが統合された形態である統合プロセッサを含む場合を排除するわけではない。
【0040】
このように構成された本発明の一実施例による乗客状態検出装置100を利用して、2Dカメラを通じて撮影された車両室内の少なくとも一つの2D室内イメージを分析して乗客の状態を検出する方法を説明すると次のとおりである。
【0041】
まず、
図2を参照すると、車両の室内に設けられた少なくとも一つのカメラ10により撮影された車両の2D室内イメージが取得され得る。ここで、2D室内イメージは、車両の運転者のような一人以上の乗客を含むことができる。
【0042】
ここで、カメラ10は、車両室内の前方上部領域に設けられ得、カメラ10の設置高さは予め設定された
リファレンスポイントからカメラ10が設けられた位置までの垂直距離により取得され得る。そして、リファレンスポイントは、車両の室内床面、車両の座席、車両のダッシュボードなどに設定され得るが、本発明がこれに限定されるわけではなく、車両において垂直高さを取得するために使用され得る任意の位置をリファレンスポイントとして設定することができる。リファレンスポイントは、車両の緊急状況において各乗客を保護するために使用される車両のアプリケーション、一例として、エアバッグなどが設けられた位置であり得る。
【0043】
また、カメラ10は2Dカメラであり得、車両の室内全体を広い視野角で撮影することができるように魚眼レンズ(fisheye lens)を備えることができる。
【0044】
ここで、x軸は車両の車幅方向に対応するように設定され得、y軸は高さ方向、すなわち、カメラの高さ方向に対応するように設定され得、z軸は車両の車軸方向に対応するように設定され得る。
【0045】
次に、
図3を参照すると、乗客状態検出装置100は、コンピュータビジョン技術を利用したポーズ予測ネットワークを通じて2D室内イメージから乗客それぞれに対応する各ポーズポイント(pp1、pp2、…、ppn)を取得することができる。
【0046】
一例として、
図4を参照すると、2D室内イメージが取得されると、ポーズ予測ネットワーク150は2D室内イメージを特徴抽出ネットワーク151に入力することによって、特徴抽出ネットワーク151をもって2D室内イメージにコンボリューション演算を適用して、2D室内イメージに対応する一つ以上のチャンネルを有する一つ以上の特徴テンソルを生成させることができる。ここで、特徴抽出ネットワーク151は、少なくとも一つのコンボリューション演算を遂行することができる一つ以上のコンボリューションレイヤを含む一つ以上のコンボリューションブロックをもって、2D室内イメージに多重コンボリューション演算を適用させることができる。
【0047】
そして、ポーズ予測ネットワーク150は、特徴テンソルをキーポイントヒートマップ及びパートアフィニティフィールド抽出器152に入力することによって、キーポイントヒートマップ及びパートアフィニティフィールド抽出器152をもって、特徴テンソルそれぞれに対応する一つ以上のキーポイントヒートマップ及び一つ以上のパートアフィニティフィールドを生成させることができる。ここで、キーポイントヒートマップ及びパートアフィニティフィールド抽出器152は、フルコンボリューションネットワークを含むことができる。また、キーポイントヒートマップ及びパートアフィニティフィールド抽出器152は、特徴テンソルに少なくとも一つの1x1コンボリューション演算を適用する一つ以上の1x1コンボリューションレイヤを含むことができる。
【0048】
一方、キーポイントヒートマップは、熱を意味するヒート(heat)と地図を意味するマップ(map)とを結合させたものであって、色相で表現することができる様々な情報を所定のイメージ上に熱分布形態のビジュアルなグラフィックで生成したものであり得る。
【0049】
そして、パートアフィニティフィールドは、各キーポイント間の関係を表現する一種のベクトルマップであり得る。すなわち、パートアフィニティフィールドは、特定のキーポイントと他の各キーポイントとの連結を表すマップであり得、それぞれのキーポイントヒートマップのペアに含まれているそれぞれの各キーポイントが相互に連結される確率を表すマップであり得る。
【0050】
ここで、キーポイントヒートマップ及びパートアフィニティフィールド抽出器152は、二部分マッチング(bipartite matching)を利用して各キーポイントの間の関係を検出することによってパートアフィニティフィールドを生成することができる。すなわち、各キーポイントがそれぞれどの乗客のものであるのか、各キーポイントの関係がどのようなものであるのかを二部分マッチングにより確認することができる。
【0051】
以後、ポーズ予測ネットワーク150は、キーポイントヒートマップ及びパートアフィニティフィールドをキーポイント検出器153に入力することによって、キーポイント検出器153をもってキーポイントヒートマップから少なくとも一つのキーポイントを抽出し得るようにし、パートアフィニティフィールドを参照して抽出された各キーポイントをグルーピングして、2D室内イメージ内に位置する乗客それぞれに対応するそれぞれの乗客ごとの各ポーズポイントを検出させることができる。ここで、キーポイント検出器153は、キーポイントヒートマップそれぞれのチャンネルそれぞれにおいて最も高いポイント、すなわち、キーポイントヒートマップそれぞれに対応する各キーポイントとして最も高いヒート値を有するポイントそれぞれを抽出することができ、抽出された各キーポイントのうち相互に連結される確率が最も高い各キーポイントをペアリングすることによって、パートアフィニティフィールドを参照して抽出された各キーポイントをグルーピングし、結果として、各ポーズポイントを取得することができる。一例として、抽出されたキーポイントのうちで第2キーポイントが第1キーポイントに連結される可能性が最も高いものと決定される場合、抽出されたキーポイントのうち第1キーポイント及び抽出されたキーポイントのうち第2キーポイントをペアとして連結する過程が遂行され得る。ここで、このようなプロセスは、抽出された全てのキーポイントに対して遂行され得る。結果として、抽出されたキーポイントは、一つ以上のグループに分類され得る。ここで、グループの数は、2D室内イメージにおいて乗客の数によって決定され得る。
【0052】
その他の例として、乗客状態検出装置100は、ポーズ予測ネットワーク150をもって、(i)特徴抽出ネットワークを通じて前記2D室内イメージに対応するチャンネルを有する特徴テンソルを出力させ、(ii)フルコンボリューションネットワークを通じて前記特徴テンソルにフルコンボリューション演算を適用して少なくとも一つのヒートマップを生成させ、(iii)前記ヒートマップにおいて、前記各ポーズポイントを取得させることができる。
【0053】
これ以外にも、ポーズポイントは様々な方法により取得され得、本発明では各乗客のポーズポイントを求める方法について限定されない。
【0054】
すなわち、ポーズ予測ネットワークは、CPM(Convolutional Pose Machines)、コンボリューションニューラルネットワーク、フルコンボリューションネットワークまたはヒートマップなどを利用して各乗客のポーズポイントを取得することができる。
【0055】
次に、乗客状態検出装置100は、(i)予め設定されたピクセル及び角度(pixel−angle)テーブルを参照して前記車両の予め設定された
リファレンスポイントを基準として前記乗客それぞれに対応する前記ポーズポイントに関する各位置情報を算出し、(ii)前記乗客それぞれに対応する前記ポーズポイントに関する前記各位置情報を参照して、前記乗客それぞれの状態を検出することができる。
【0056】
ここで、ピクセル及び角度テーブルは、前記車両の室内にグリッドセル(grid cells)からなるグリッドボード(grid board)を設置した状態で、第1ライン及びそれぞれの第2ラインにより形成されたそれぞれの垂直角度及びそれぞれの水平角度が前記グリッドセルの各コーナーのピクセルそれぞれに対応するように生成されたテーブルであり、前記第1ラインは、魚眼レンズが装着された2Dカメラで撮影したグリッドイメージ上の前記グリッドボードの上端中央TC及び2Dカメラを連結し、前記それぞれの第2ラインは前記それぞれのコーナーSP及び2Dカメラを連結したものである。
【0057】
一例として、
図5を参照すると、それぞれのサイドが2インチであるグリッドセルからなるグリッドボードは車両室内のカメラの正面方向に設けられ、魚眼レンズを装着した2Dカメラでグリッドボードを撮影して、2Dイメージであるグリッドイメージを取得することができる。
【0058】
そして、グリッドセルそれぞれのコーナーSPのピクセル値は、グリッドイメージから検出され得る。ここで、グリッドボードが車両の室内をいっぱいに満たすことができない場合に仮想で拡張することもできる。
【0059】
そうすると、リファレンスポイントからそれぞれのグリッドセルのそれぞれのコーナーSPまでの垂直距離であるそれぞれの高さが計算され得る。
【0060】
そして、(i)第1ライン及びそれぞれの第2ラインにより形成されたそれぞれの垂直角度及びそれぞれの水平角度を測定し、(ii)それぞれの垂直角度及びそれぞれの水平角度をグリッドセルの各コーナーに対応するピクセルそれぞれにマッチングしてピクセル及び角度テーブルを生成することができる。ここで、第1ラインは、グリッドイメージ上の前記グリッドボードの上端中央TC及び2Dカメラを連結し、前記それぞれの第2ラインは、グリッドイメージ上の前記それぞれのコーナーSP及び2Dカメラを連結したものである。
【0061】
ここで、
図6を参照すると、グリッドセルのすべてのコーナーSPにおいて角度を測定することとは異なり、上端中央から垂直方向に位置するすべてのピクセルにおける垂直角度
【数1】
は、上端中央から垂直方向のコーナーにおける垂直角度
【数2】
を測定し、これらの関係を示す数学式を導き出すことによって取得され得、上端中央から水平方向に位置するすべてのピクセルにおける水平角度
【数3】
は、上端中央から水平方向のコーナーにおける水平角度
【数4】
を測定し、これらの関係を示す数学式を導き出すことによって取得され得る。
【0062】
一方、第1ライン及び第2ラインの間の角度を測定するために、カメラ位置においてレーザーポイントを利用することができる。レーザーポイントを利用して上端中央TCとコーナーSPとの間の回転角度を測定することによって、第1ライン及び第2ラインの間の角度を測定することができる。
【0063】
一方、2Dカメラからイメージの深さを取得する方法は、論文‘Depth and geometry from a single 2d image using triangulation, Y Salih, AS Malik−Multimedia and Expo Workshops(ICMEW),2012’に開示されている。
【0064】
しかし、前記論文には、イメージ上の幅と高さとが互いに線形に比例して一定の間隔に分けることができるという仮定、すなわち、イメージから角度を計算することができると仮定する。しかしながら、現在車両に利用される車両のアプリケーションは、一般的に広い視野角を確保するために魚眼レンズを使用するので、線形によって一定の間隔に分けることは不可能である。
【0065】
したがって、魚眼レンズによる歪曲により非線形に一定でない間隔に分けられて、前記論文における方法が使用することができなくなる。
【0066】
つまり、一般のカメラはFOV(Field Of View)が約60度ないし70度であるので、車両の内部全体を見ることができない。よって、このような場合、魚眼レンズを使用しなければならないが、魚眼レンズで歪曲されたイメージは歪曲されていない状態に戻すことが難しいため、前記論文で提示した方法を使用することができない。
【0067】
したがって、本発明では、前記のように非線形で一定でない間隔を有する2D室内イメージに対応するグリッドボードを利用して各グリッドセルのそれぞれのコーナーで測定された角度を示すピクセル及び角度テーブルを生成し、ピクセル及び角度テーブルを利用して各乗客のポーズポイントの深さを検出することができるようになる。
【0068】
すなわち、
図7を参照すると、乗客状態検出装置100は、乗客それぞれに対応するポーズポイントのうち特定のポーズポイントPPが位置する特定のグリッドセルのコーナーSP1、SP2、SP3、SP4の位置情報を利用して、バイリニア補間法(bilinear interpolation)により特定のポーズポイントPPの特定高さを取得することができる。
【0069】
一例として、乗客状態検出装置100は(i)特定のポーズポイントPPが位置する特定のグリッドセルのコーナーSP1、SP2、SP3、SP4のうちコーナーSP1とコーナーSP2との各高さを利用したバイリニア補間法、または(ii)コーナーSP3とコーナーSP4との高さを利用したバイリニア補間法により特定のポーズポイントPPの特定高さを取得することができる。
【0070】
そして、乗客状態検出装置100は、特定のポーズポイントPPが位置する特定のグリッドセルの各コーナーSP1、SP2、SP3、SP4の位置情報に含まれた各垂直角度及び各水平角度を利用したバイリニア補間法により、特定のポーズポイントPPの特定の垂直角度及び特定の水平角度を取得することができる。
【0071】
一例として、乗客状態検出装置100は、(i)特定のグリッドセルのコーナーSP1、SP2、SP3、SP4の各垂直角度及び各水平角度を利用したバイリニア補間法により(i−1)特定のポーズポイントPPが垂直方向に特定のグリッドセルの面と接する各接点RP1、RP3、及び(i−2)特定のポーズポイントPPが水平方向に特定のグリッドセルの面と接する接点RP2、RP4における各垂直角度及び各水平角度を計算するか、(ii)
図6のように、数学式により生成されたピクセル及び角度テーブルから各接点RP1、RP2、RP3、RP4それぞれにおける垂直角度及び水平角度を検索することができる。
【0072】
そして、乗客状態検出装置100は、接点RP1の垂直角度と接点RP3の垂直角度とを利用したバイリニア補間法により特定のポーズポイントPPの特定の垂直角度を取得することができ、接点RP2の水平角度と接点RP4の水平角度とを利用したバイリニア補間法により特定のポーズポイントPPの特定の水平角度を取得することができる。
【0073】
以後、乗客状態検出装置100は、特定のポーズポイントの特定高さと、特定のポーズポイントの特定の垂直角度と、特定のポーズポイントの特定の水平角度とを参照して特定のポーズポイントと
リファレンスポイントとの間の特定の車軸方向距離及び特定の車幅方向距離を取得することができる。
【0074】
一例として、
図8を参照すると、
リファレンスポイントからの、カメラ10の高さH、特定のポーズポイントPPの高さY、及び特定のポーズポイントPPの特定の垂直角度
【数5】
が取得された状態で、乗客状態検出装置100は、下記の数学式1を利用して特定のポーズポイントPPと
リファレンスポイントとの間の特定の車軸方向距離Zを測定することができる。ここで、特定の車軸方向距離Zは、リファレンスポイント及び特定のポーズポイントPPを車両の全体の車軸方向及び全体の車幅方向により形成された平面上に投影して、投影されたリファレンスポイント及び投影された特定のポーズポイントそれぞれを取得した状態で、投影されたリファレンスポイント及び投影された特定のポーズポイントとの間の距離であり得る。
[数学式1]
【数6】
【数7】
【数8】
【0075】
すなわち、数学式1によると、乗客状態検出装置100は、カメラの高さH及び特定のポーズポイントPPの間の各垂直角度を利用して、カメラ10及び特定のポーズポイントPPを通り過ぎるラインが
リファレンスポイントに対応する平面と接する接点A及びリファレンスポイントOの間の距離Z2を計算することができる。そして、乗客状態検出装置100は、計算された接点A及びリファレンスポイントOの間の距離Z2、カメラ10の高さH、特定のポーズポイントPPの高さYを利用して、接点Aと特定のポーズポイントPPとの間の車
軸方向距離Z1を計算することができる。以後、乗客状態検出装置100は、接点Aと特定のポーズポイントPPとの間における車
軸方向距離Z1及び接点Aと
リファレンスポイントOとの間の距離Z2を利用して、特定のポーズポイントPPの車
軸方向距離Zを計算することができる。
【0076】
以後、
図9を参照すると、(i)特定のポーズポイントPPの水平角度、(ii)数学式1を使用して取得された距離Z2、(iii)数学式1を使用して取得された車
軸方向距離Zが取得された状態で、乗客状態検出装置100は、以下の数学式2を利用して特定のポーズポイントPP及び
リファレンスポイントとの間の特定の車幅方向距離Xを計算することができる。ここで、リファレンスポイント及び特定のポーズポイントPPそれぞれを車両の全体の車軸方向及び全体の車幅方向により形成される平面上に投影して、投影されたリファレンスポイント及び投影された特定のポーズポイントそれぞれを取得した状態で、特定の車幅方向距離Xは、投影されたリファレンスポイントから全体の車軸方向に延長される
ベースライン及び投影されたポーズポイントの間の距離であり得る。
[数学式2]
【数9】
【数10】
【数11】
【0077】
すなわち、数学式2によって、(i)接点(A)と特定のポーズポイントPPとの間の車幅方向距離Z2、及び(ii)特定のポーズポイントPPの特定の水平角度を利用して接点Bと
リファレンスポイントとの間の距離T2を演算し、前記接点Bは、
リファレンスポイントOから車
軸方向に延長されたラインと接点Aから延長されたラインとが直交する点である。そして、乗客状態検出装置100は、接点Bと
リファレンスポイントとの間の距離T2及び特定のポーズポイントPPの特定の水平角度を利用して接点Aと接点Bとの間の距離X2を計算することができ、接点Aと接点Bとの間の距離X2、接点Aと
リファレンスポイントOとの間の距離Z2、及び特定のポーズポイントPPの車
軸方向距離Zを利用して、特定のポーズポイントPPの車幅方向距離Xを計算することができる。
【0078】
次に、前記のような方法により乗客状態検出装置100はカメラ及び乗客それぞれに対応するポーズポイントそれぞれの間の距離それぞれを測定することによって、各乗客の状態に関する情報、すなわち、乗客が位置する高さ、車両室内における左右方向への乗客の位置、
リファレンスポイントから乗客の距離などの情報を認識することができるようになり、認識された各乗客の状態にしたがって、乗客の安全及び便宜のためにさまざまな車両のアプリケーションを遂行することができる。
【0079】
一例として、乗客状態検出装置100は、前記車両の非常状況において、前記乗客を保護するための、少なくとも一つの車両のアプリケーション(例えば、エアバック)をもって、乗客それぞれの状態に対応して動作させることができる。
【0080】
また、乗客状態検出装置100は、乗客それぞれの状態を参照して乗客それぞれの動作パターンを分析して、乗客それぞれの走行安全状態を確認することができる。
【0081】
一例として、乗客状態検出装置100は、各乗客のポーズポイントに関する位置情報の移動パターンを使用することによって、運転者のような乗客の居眠り運転状態、前屈した危険状態、疾病などにより正しい運転姿勢を保持することが難しい運転不可能な状態などを判断することができ、各乗客の状態にしたがって警報を発生させるか非常の状況に対応するための車両のアプリケーションを遂行することができる。
【0082】
前記で説明したように、本発明は、カメラにより取得された室内イメージに対してポーズ予測を遂行ことによって各乗客に対応するポーズポイントを検出し、検出されたポーズポイントに対して単一カメラで深さ予測を遂行し、予測された深さを利用して乗客の座席位置、乗客の位置高さ、乗客との距離などのような状態を認識し、乗客の認識された状態にしたがって車両のアプリケーションを遂行することができる。
【0083】
また、以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカルディスク(Floptical Disk)のような磁気−光メディア(Magneto−Optical Media)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【0084】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは、本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
【0085】
したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。